答(da)：搜索引擎通過一種程序robot（又(you)稱spider），自(zi)動訪問互聯網(wang)(wang)上的網(wang)(wang)頁并獲(huo)取網(wang)(wang)頁信(xin)息(xi)。

 可以在(zai)網站中(zhong)(zhong)創建一(yi)個(ge)純文本文件(jian)robots.txt，在(zai)這個(ge)文件(jian)中(zhong)(zhong)聲明該網站中(zhong)(zhong)不想被robot訪問的部(bu)分(fen)，這樣，該網站的部(bu)分(fen)或全部(bu)內容就可以不被搜(sou)索(suo)引(yin)擎收錄了，或者(zhe)指定搜(sou)索(suo)引(yin)擎只收錄指定的內容。

robots.txt文(wen)(wen)件(jian)(jian)應(ying)該放在(zai)(zai)網(wang)(wang)站(zhan)(zhan)根(gen)(gen)目錄下。舉例(li)來說，當robots訪(fang)問一個網(wang)(wang)站(zhan)(zhan)（比如//www.abc.com）時，首先會檢查該網(wang)(wang)站(zhan)(zhan)中是否存在(zai)(zai)//www.abc.com/robots.txt這(zhe)個文(wen)(wen)件(jian)(jian)，如果機器(qi)人找到這(zhe)個文(wen)(wen)件(jian)(jian)，它(ta)就會根(gen)(gen)據這(zhe)個文(wen)(wen)件(jian)(jian)的(de)(de)內容，來確定它(ta)訪(fang)問權限的(de)(de)范圍。