答：搜索引擎通(tong)過一種程序robot（又稱spider），自動訪問互(hu)聯網上的(de)網頁(ye)并獲取網頁(ye)信(xin)息。

可以在(zai)網站中(zhong)創(chuang)建(jian)一個純文本文件robots.txt，在(zai)這個文件中(zhong)聲(sheng)明該網站中(zhong)不(bu)想被(bei)robot訪問的(de)部分，這樣(yang)，該網站的(de)部分或(huo)全部內容就(jiu)可以不(bu)被(bei)搜索引擎收錄了，或(huo)者指定(ding)搜索引擎只收錄指定(ding)的(de)內容。

robots.txt文(wen)件應該(gai)放在網站(zhan)根目錄下。舉例來說，當robots訪(fang)(fang)問(wen)一個網站(zhan)（比(bi)如//www.abc.com）時，首先(xian)會檢查(cha)該(gai)網站(zhan)中是否存在//www.abc.com/robots.txt這(zhe)個文(wen)件，如果機器人找到(dao)這(zhe)個文(wen)件，它(ta)就會根據這(zhe)個文(wen)件的內容，來確定它(ta)訪(fang)(fang)問(wen)權(quan)限的范圍(wei)。