答：搜索引(yin)擎通(tong)過一種(zhong)程序robot（又稱(cheng)spider），自動訪問(wen)互聯網上的網頁并獲取網頁信息。

可以(yi)在網(wang)站(zhan)中(zhong)創建一(yi)個(ge)純文本文件(jian)robots.txt，在這(zhe)個(ge)文件(jian)中(zhong)聲明該網(wang)站(zhan)中(zhong)不想被(bei)robot訪問的部分，這(zhe)樣，該網(wang)站(zhan)的部分或全部內(nei)容就可以(yi)不被(bei)搜(sou)索(suo)引(yin)擎收錄了，或者(zhe)指定(ding)搜(sou)索(suo)引(yin)擎只收錄指定(ding)的內(nei)容。

robots.txt文(wen)件(jian)(jian)(jian)應(ying)該放(fang)在網站(zhan)根目錄下。舉例來(lai)說，當robots訪問一個網站(zhan)（比如(ru)//www.abc.com）時，首先會檢查該網站(zhan)中是否存在//www.abc.com/robots.txt這個文(wen)件(jian)(jian)(jian)，如(ru)果(guo)機(ji)器(qi)人找(zhao)到這個文(wen)件(jian)(jian)(jian)，它就(jiu)會根據(ju)這個文(wen)件(jian)(jian)(jian)的內容(rong)，來(lai)確定它訪問權限(xian)的范圍。