答：搜索引擎通(tong)過一種程序robot（又稱spider），自動訪(fang)問(wen)互聯網上的網頁并獲取網頁信息(xi)。

可以在網站(zhan)中(zhong)創建一個純文本(ben)文件(jian)(jian)robots.txt，在這個文件(jian)(jian)中(zhong)聲(sheng)明該網站(zhan)中(zhong)不(bu)(bu)想被robot訪問的部(bu)(bu)(bu)分，這樣，該網站(zhan)的部(bu)(bu)(bu)分或(huo)全部(bu)(bu)(bu)內容就可以不(bu)(bu)被搜(sou)索(suo)引擎收錄(lu)了，或(huo)者指(zhi)定搜(sou)索(suo)引擎只收錄(lu)指(zhi)定的內容。

robots.txt文件應(ying)該放(fang)在(zai)網站根目錄下。舉例來說，當robots訪(fang)問一個網站（比如(ru)//www.abc.com）時(shi)，首先會檢查該網站中是否(fou)存(cun)在(zai)//www.abc.com/robots.txt這(zhe)個文件，如(ru)果機(ji)器人找到這(zhe)個文件，它就(jiu)會根據這(zhe)個文件的內容，來確定它訪(fang)問權限的范圍。