答：搜索引擎(qing)通過一種程(cheng)序robot（又稱(cheng)spider），自動訪(fang)問互聯(lian)網(wang)上的網(wang)頁(ye)并獲(huo)取網(wang)頁(ye)信息。
可以(yi)在網站中(zhong)創建一個(ge)純文本(ben)文件robots.txt，在這個(ge)文件中(zhong)聲明該網站中(zhong)不想被robot訪問的(de)部(bu)分，這樣，該網站的(de)部(bu)分或全(quan)部(bu)內容(rong)就可以(yi)不被搜索(suo)引擎收(shou)(shou)錄了，或者(zhe)指定搜索(suo)引擎只收(shou)(shou)錄指定的(de)內容(rong)。
robots.txt文(wen)件應該(gai)放(fang)在網站根目錄下(xia)。舉例來(lai)說，當robots訪問一(yi)個網站（比如(ru)//www.abc.com）時，首先會(hui)檢查(cha)該(gai)網站中是否存在//www.abc.com/robots.txt這個文(wen)件，如(ru)果機器人找到這個文(wen)件，它就會(hui)根據這個文(wen)件的內容，來(lai)確定它訪問權限的范圍。
旗下網站：耐思智慧 - - - 中文域名：
耐(nai)思智慧 © 版權所有(you) Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明：本網(wang)站(zhan)中所(suo)(suo)使用到的(de)其他各種(zhong)版權(quan)(quan)內(nei)容，包括但不(bu)限于文(wen)章、圖片、視頻、音頻、字體等內(nei)容版權(quan)(quan)歸原作者所(suo)(suo)有，如權(quan)(quan)利所(suo)(suo)有人(ren)發現，請(qing)及時(shi)告知，以便我們刪除版權(quan)(quan)內(nei)容
本站程序界面、源代碼受(shou)相關法律保護(hu), 未(wei)經授權, 嚴(yan)禁(jin)(jin)使用; 耐思智慧 © 為我公司注(zhu)冊(ce)商標, 未(wei)經授權, 嚴(yan)禁(jin)(jin)使用
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568