答：搜索(suo)引擎通過一種程序robot（又稱spider），自動訪(fang)問(wen)互聯網上的網頁并獲取網頁信息。

可以(yi)在網站中(zhong)創(chuang)建(jian)一個(ge)純文(wen)本文(wen)件(jian)robots.txt，在這個(ge)文(wen)件(jian)中(zhong)聲明該網站中(zhong)不想被robot訪問(wen)的(de)部分(fen)，這樣，該網站的(de)部分(fen)或全部內容(rong)(rong)就(jiu)可以(yi)不被搜(sou)索引擎(qing)收(shou)錄了，或者指定(ding)(ding)搜(sou)索引擎(qing)只收(shou)錄指定(ding)(ding)的(de)內容(rong)(rong)。

robots.txt文(wen)件應該(gai)放在(zai)網站(zhan)根目錄下。舉例來說(shuo)，當robots訪(fang)問一個(ge)網站(zhan)（比如//www.abc.com）時，首(shou)先會檢查該(gai)網站(zhan)中是否存在(zai)//www.abc.com/robots.txt這(zhe)個(ge)文(wen)件，如果機器人(ren)找到這(zhe)個(ge)文(wen)件，它(ta)就(jiu)會根據這(zhe)個(ge)文(wen)件的內容(rong)，來確定(ding)它(ta)訪(fang)問權限的范圍。