答：搜索引擎通過一種程序robot（又稱spider），自動訪問互(hu)聯(lian)網(wang)上的網(wang)頁(ye)并獲取(qu)網(wang)頁(ye)信息。

可以在網站(zhan)中創建一個純文(wen)本(ben)文(wen)件(jian)robots.txt，在這(zhe)(zhe)個文(wen)件(jian)中聲明該網站(zhan)中不想被robot訪問的部分，這(zhe)(zhe)樣(yang)，該網站(zhan)的部分或全(quan)部內容就(jiu)可以不被搜(sou)索(suo)引擎收(shou)錄(lu)了，或者指定搜(sou)索(suo)引擎只收(shou)錄(lu)指定的內容。

robots.txt文(wen)(wen)(wen)件(jian)應該(gai)放在(zai)網(wang)站根(gen)目錄下。舉例來(lai)說(shuo)，當robots訪(fang)問一(yi)個網(wang)站（比如//www.abc.com）時，首先會(hui)檢查該(gai)網(wang)站中是否存在(zai)//www.abc.com/robots.txt這(zhe)個文(wen)(wen)(wen)件(jian)，如果(guo)機器人找到這(zhe)個文(wen)(wen)(wen)件(jian)，它就會(hui)根(gen)據這(zhe)個文(wen)(wen)(wen)件(jian)的(de)內(nei)容，來(lai)確(que)定它訪(fang)問權限的(de)范圍。