答(da)：搜(sou)索引擎(qing)通過一種程序robot（又(you)稱spider），自動訪問(wen)互聯網上的網頁并(bing)獲取網頁信(xin)息。

可以在(zai)網站(zhan)中(zhong)創建一個純文本文件robots.txt，在(zai)這個文件中(zhong)聲明該網站(zhan)中(zhong)不想被(bei)robot訪問的(de)部分，這樣，該網站(zhan)的(de)部分或全(quan)部內容就可以不被(bei)搜索(suo)引擎(qing)收錄了，或者指(zhi)定搜索(suo)引擎(qing)只收錄指(zhi)定的(de)內容。

robots.txt文(wen)(wen)件應該放在網(wang)站根(gen)目錄(lu)下。舉(ju)例(li)來說，當robots訪問一個(ge)網(wang)站（比如//www.abc.com）時，首(shou)先會檢(jian)查該網(wang)站中(zhong)是否存(cun)在//www.abc.com/robots.txt這(zhe)個(ge)文(wen)(wen)件，如果(guo)機器人找(zhao)到這(zhe)個(ge)文(wen)(wen)件，它就(jiu)會根(gen)據這(zhe)個(ge)文(wen)(wen)件的內容，來確(que)定它訪問權限的范圍。