答(da)：搜索引擎通過一(yi)種程序robot（又稱spider），自動訪問(wen)互聯網上的(de)網頁(ye)并獲取網頁(ye)信息(xi)。

可以在網(wang)站中(zhong)創(chuang)建一個(ge)純文本文件robots.txt，在這(zhe)個(ge)文件中(zhong)聲明該網(wang)站中(zhong)不想被robot訪問的部分(fen)，這(zhe)樣，該網(wang)站的部分(fen)或(huo)全(quan)部內(nei)容就可以不被搜索(suo)引擎收錄了，或(huo)者指(zhi)定搜索(suo)引擎只收錄指(zhi)定的內(nei)容。

robots.txt文(wen)件應該(gai)(gai)放(fang)在網(wang)站根目錄下(xia)。舉例來(lai)說，當robots訪問一個(ge)網(wang)站（比如//www.abc.com）時(shi)，首(shou)先(xian)會(hui)檢查該(gai)(gai)網(wang)站中是否存在//www.abc.com/robots.txt這(zhe)個(ge)文(wen)件，如果(guo)機(ji)器人找到這(zhe)個(ge)文(wen)件，它就會(hui)根據這(zhe)個(ge)文(wen)件的(de)內(nei)容，來(lai)確定它訪問權限的(de)范圍。