答：搜索引擎通過一種程序robot（又稱spider），自動(dong)訪問互聯網上(shang)的網頁并獲取網頁信(xin)息(xi)。

可(ke)以在網站中(zhong)創(chuang)建一個純文本文件(jian)robots.txt，在這個文件(jian)中(zhong)聲明該網站中(zhong)不(bu)想被(bei)robot訪問的(de)部分，這樣，該網站的(de)部分或全部內(nei)容(rong)(rong)就可(ke)以不(bu)被(bei)搜索(suo)引(yin)擎(qing)收(shou)錄了，或者指(zhi)定搜索(suo)引(yin)擎(qing)只收(shou)錄指(zhi)定的(de)內(nei)容(rong)(rong)。

robots.txt文(wen)件(jian)應該放在網站(zhan)根(gen)目錄下(xia)。舉(ju)例來(lai)說，當robots訪問一個(ge)網站(zhan)（比如(ru)//www.abc.com）時，首先會檢查該網站(zhan)中是否存在//www.abc.com/robots.txt這個(ge)文(wen)件(jian)，如(ru)果機(ji)器(qi)人(ren)找(zhao)到這個(ge)文(wen)件(jian)，它就會根(gen)據(ju)這個(ge)文(wen)件(jian)的(de)內(nei)容，來(lai)確定(ding)它訪問權限的(de)范圍(wei)。