答：搜(sou)索(suo)引擎(qing)通(tong)過一種程序robot（又稱spider），自(zi)動(dong)訪問(wen)互聯網(wang)上的網(wang)頁(ye)并獲取網(wang)頁(ye)信(xin)息。

可(ke)以在(zai)網站(zhan)中創建(jian)一(yi)個純文本文件(jian)robots.txt，在(zai)這個文件(jian)中聲明該(gai)網站(zhan)中不(bu)(bu)想被(bei)robot訪問的(de)部(bu)分(fen)，這樣(yang)，該(gai)網站(zhan)的(de)部(bu)分(fen)或全部(bu)內容就可(ke)以不(bu)(bu)被(bei)搜索(suo)引擎收(shou)錄了，或者(zhe)指定搜索(suo)引擎只收(shou)錄指定的(de)內容。

robots.txt文件(jian)(jian)應(ying)該(gai)放(fang)在(zai)網站根目錄下。舉例來(lai)說(shuo)，當robots訪問(wen)一個(ge)網站（比如//www.abc.com）時，首先會檢查該(gai)網站中是否存在(zai)//www.abc.com/robots.txt這個(ge)文件(jian)(jian)，如果機器人找(zhao)到這個(ge)文件(jian)(jian)，它(ta)(ta)就會根據這個(ge)文件(jian)(jian)的內容，來(lai)確定它(ta)(ta)訪問(wen)權限的范圍。