答：搜索引擎通(tong)過(guo)一種程序robot（又稱spider），自動訪問互聯網(wang)上(shang)的網(wang)頁(ye)并獲取網(wang)頁(ye)信息。

可以(yi)在網站中創建一個純文本文件robots.txt，在這個文件中聲明該網站中不(bu)想(xiang)被robot訪問的(de)部分，這樣，該網站的(de)部分或全部內(nei)容(rong)就(jiu)可以(yi)不(bu)被搜索(suo)引(yin)擎收(shou)錄了(le)，或者指定(ding)搜索(suo)引(yin)擎只收(shou)錄指定(ding)的(de)內(nei)容(rong)。

robots.txt文(wen)件應該放在(zai)網(wang)站(zhan)根目錄下。舉例來說，當robots訪(fang)問一個網(wang)站(zhan)（比如//www.abc.com）時，首先會(hui)檢查該網(wang)站(zhan)中是否存在(zai)//www.abc.com/robots.txt這(zhe)個文(wen)件，如果(guo)機(ji)器人找到(dao)這(zhe)個文(wen)件，它就會(hui)根據這(zhe)個文(wen)件的(de)內容，來確定它訪(fang)問權限的(de)范圍。