答：搜索引(yin)擎(qing)通過一種程序robot（又(you)稱spider），自動訪問互(hu)聯(lian)網(wang)(wang)上的網(wang)(wang)頁并獲取網(wang)(wang)頁信息。

可(ke)以在網(wang)站中(zhong)創(chuang)建一個(ge)純(chun)文(wen)本文(wen)件robots.txt，在這個(ge)文(wen)件中(zhong)聲明該網(wang)站中(zhong)不(bu)想被robot訪(fang)問(wen)的部分，這樣，該網(wang)站的部分或全部內(nei)容就可(ke)以不(bu)被搜索引擎收(shou)錄(lu)了，或者(zhe)指(zhi)定搜索引擎只收(shou)錄(lu)指(zhi)定的內(nei)容。

robots.txt文(wen)件(jian)應該放在(zai)網(wang)站(zhan)根目錄下。舉例來(lai)(lai)說，當robots訪問一個(ge)網(wang)站(zhan)（比(bi)如//www.abc.com）時，首先會檢查該網(wang)站(zhan)中是否存在(zai)//www.abc.com/robots.txt這個(ge)文(wen)件(jian)，如果機器人找(zhao)到這個(ge)文(wen)件(jian)，它就會根據這個(ge)文(wen)件(jian)的內容，來(lai)(lai)確(que)定它訪問權限的范(fan)圍。