答：搜索引擎通過一種程序robot（又稱spider），自(zi)動訪問(wen)互(hu)聯網(wang)(wang)上的網(wang)(wang)頁并獲取網(wang)(wang)頁信息(xi)。

可以在網(wang)站中(zhong)創建一個(ge)純文(wen)(wen)本文(wen)(wen)件(jian)robots.txt，在這個(ge)文(wen)(wen)件(jian)中(zhong)聲(sheng)明(ming)該(gai)網(wang)站中(zhong)不(bu)想被robot訪問(wen)的(de)部分，這樣，該(gai)網(wang)站的(de)部分或全部內(nei)容就可以不(bu)被搜(sou)索(suo)引擎收錄(lu)了，或者指(zhi)定搜(sou)索(suo)引擎只收錄(lu)指(zhi)定的(de)內(nei)容。

robots.txt文(wen)件(jian)應該(gai)放在網(wang)站(zhan)根(gen)目錄下。舉例(li)來說，當robots訪(fang)問(wen)一(yi)個網(wang)站(zhan)（比如(ru)//www.abc.com）時，首先(xian)會(hui)檢查該(gai)網(wang)站(zhan)中(zhong)是否存在//www.abc.com/robots.txt這個文(wen)件(jian)，如(ru)果機器(qi)人找到這個文(wen)件(jian)，它就會(hui)根(gen)據這個文(wen)件(jian)的內容，來確(que)定它訪(fang)問(wen)權限的范圍(wei)。