答：搜索(suo)引擎通過一種程序robot（又稱spider），自動訪問互聯網上的網頁(ye)并獲取(qu)網頁(ye)信息。

可(ke)以在(zai)網站(zhan)(zhan)中(zhong)創建一個純(chun)文(wen)本(ben)文(wen)件robots.txt，在(zai)這個文(wen)件中(zhong)聲明該網站(zhan)(zhan)中(zhong)不想被(bei)robot訪問的(de)部(bu)分(fen)，這樣，該網站(zhan)(zhan)的(de)部(bu)分(fen)或全(quan)部(bu)內(nei)容(rong)就(jiu)可(ke)以不被(bei)搜(sou)(sou)索(suo)引擎收(shou)(shou)錄了(le)，或者(zhe)指(zhi)定搜(sou)(sou)索(suo)引擎只收(shou)(shou)錄指(zhi)定的(de)內(nei)容(rong)。

robots.txt文(wen)件(jian)應該放在網(wang)站根(gen)目錄下。舉例來(lai)說(shuo)，當robots訪(fang)問一(yi)個(ge)網(wang)站（比(bi)如(ru)//www.abc.com）時，首先會檢查(cha)該網(wang)站中是否存(cun)在//www.abc.com/robots.txt這個(ge)文(wen)件(jian)，如(ru)果(guo)機器人找到這個(ge)文(wen)件(jian)，它就(jiu)會根(gen)據這個(ge)文(wen)件(jian)的內容(rong)，來(lai)確定它訪(fang)問權限的范(fan)圍。