答：搜索引擎通(tong)過一(yi)種程(cheng)序robot（又(you)稱spider），自動訪問互聯網(wang)上的(de)網(wang)頁并獲(huo)取(qu)網(wang)頁信息(xi)。

可(ke)以(yi)在網站(zhan)中創建一個(ge)純(chun)文本文件robots.txt，在這個(ge)文件中聲(sheng)明該(gai)(gai)網站(zhan)中不想(xiang)被(bei)robot訪問(wen)的(de)部(bu)分，這樣，該(gai)(gai)網站(zhan)的(de)部(bu)分或(huo)(huo)全部(bu)內(nei)容就(jiu)可(ke)以(yi)不被(bei)搜索引(yin)(yin)擎(qing)收錄了，或(huo)(huo)者指定搜索引(yin)(yin)擎(qing)只收錄指定的(de)內(nei)容。

robots.txt文(wen)(wen)件應該放在網站(zhan)根(gen)目(mu)錄下。舉例來說(shuo)，當robots訪問一個網站(zhan)（比如//www.abc.com）時，首先會檢(jian)查該網站(zhan)中是否存在//www.abc.com/robots.txt這個文(wen)(wen)件，如果機器人找到這個文(wen)(wen)件，它就會根(gen)據這個文(wen)(wen)件的內容，來確定它訪問權限的范圍。