答：搜(sou)索引擎通過一(yi)種程序robot（又稱(cheng)spider），自動訪問互聯網(wang)上的(de)網(wang)頁(ye)并獲取網(wang)頁(ye)信息。

可(ke)以在網(wang)站(zhan)中創建一個純文本文件robots.txt，在這個文件中聲明(ming)該網(wang)站(zhan)中不想被robot訪(fang)問的(de)部(bu)分，這樣，該網(wang)站(zhan)的(de)部(bu)分或(huo)全部(bu)內(nei)容(rong)就可(ke)以不被搜(sou)索引(yin)擎收錄了，或(huo)者指定(ding)搜(sou)索引(yin)擎只收錄指定(ding)的(de)內(nei)容(rong)。

robots.txt文件(jian)應該放在(zai)網(wang)站(zhan)根目錄下(xia)。舉例(li)來說，當(dang)robots訪(fang)(fang)問(wen)一個(ge)網(wang)站(zhan)（比如//www.abc.com）時(shi)，首先會檢(jian)查該網(wang)站(zhan)中(zhong)是(shi)否存在(zai)//www.abc.com/robots.txt這個(ge)文件(jian)，如果機器人找到這個(ge)文件(jian)，它(ta)就會根據這個(ge)文件(jian)的內容，來確定(ding)它(ta)訪(fang)(fang)問(wen)權限(xian)的范圍。