答(da)：搜索引(yin)擎通過一種程(cheng)序(xu)robot（又稱spider），自動(dong)訪問互聯網(wang)上的網(wang)頁并獲(huo)取網(wang)頁信(xin)息(xi)。

可以在(zai)網(wang)站中創建(jian)一(yi)個純文本(ben)文件robots.txt，在(zai)這(zhe)個文件中聲明該(gai)網(wang)站中不(bu)想被(bei)(bei)robot訪問的(de)部分(fen)，這(zhe)樣，該(gai)網(wang)站的(de)部分(fen)或全部內容就可以不(bu)被(bei)(bei)搜索(suo)引(yin)擎(qing)收(shou)錄了，或者指(zhi)定搜索(suo)引(yin)擎(qing)只(zhi)收(shou)錄指(zhi)定的(de)內容。

robots.txt文(wen)件(jian)(jian)應該(gai)放在網(wang)(wang)站根目錄下。舉例來說，當robots訪(fang)(fang)問(wen)一個(ge)網(wang)(wang)站（比如(ru)//www.abc.com）時，首先會(hui)檢查(cha)該(gai)網(wang)(wang)站中是否存在//www.abc.com/robots.txt這(zhe)個(ge)文(wen)件(jian)(jian)，如(ru)果(guo)機(ji)器人找(zhao)到這(zhe)個(ge)文(wen)件(jian)(jian)，它就會(hui)根據這(zhe)個(ge)文(wen)件(jian)(jian)的內(nei)容，來確定(ding)它訪(fang)(fang)問(wen)權限的范(fan)圍(wei)。