答：搜索(suo)引擎通(tong)過一種(zhong)程序robot（又稱spider），自動訪(fang)問互聯網(wang)上的(de)網(wang)頁(ye)(ye)并(bing)獲(huo)取網(wang)頁(ye)(ye)信息。

可以(yi)在網(wang)站中創建(jian)一個純文(wen)本文(wen)件robots.txt，在這個文(wen)件中聲明該(gai)網(wang)站中不想被robot訪問的(de)部(bu)分(fen)，這樣，該(gai)網(wang)站的(de)部(bu)分(fen)或全部(bu)內容(rong)就(jiu)可以(yi)不被搜索引擎(qing)收錄了，或者指定搜索引擎(qing)只收錄指定的(de)內容(rong)。

robots.txt文(wen)件(jian)應該放在網站根目錄(lu)下。舉例(li)來說，當robots訪問一個(ge)網站（比如(ru)//www.abc.com）時，首先會(hui)檢(jian)查該網站中(zhong)是否(fou)存在//www.abc.com/robots.txt這(zhe)個(ge)文(wen)件(jian)，如(ru)果機器人找到這(zhe)個(ge)文(wen)件(jian)，它(ta)就會(hui)根據這(zhe)個(ge)文(wen)件(jian)的內容，來確定它(ta)訪問權限的范圍。