答：搜索引擎通過一種程序robot（又(you)稱spider），自動訪問互聯網(wang)上(shang)的(de)網(wang)頁(ye)并獲(huo)取網(wang)頁(ye)信息。
可(ke)以在網站(zhan)中創建一個(ge)純(chun)文(wen)本文(wen)件robots.txt，在這個(ge)文(wen)件中聲明該網站(zhan)中不(bu)想被(bei)(bei)robot訪問的(de)(de)部(bu)分，這樣，該網站(zhan)的(de)(de)部(bu)分或全部(bu)內容(rong)就可(ke)以不(bu)被(bei)(bei)搜索引擎(qing)收錄(lu)了，或者指(zhi)定搜索引擎(qing)只收錄(lu)指(zhi)定的(de)(de)內容(rong)。
robots.txt文件應該放(fang)在網站根(gen)目(mu)錄下。舉例來(lai)說，當robots訪問一個(ge)網站（比如//www.abc.com）時，首先會(hui)檢查該網站中是否存在//www.abc.com/robots.txt這(zhe)個(ge)文件，如果機器(qi)人找到這(zhe)個(ge)文件，它就會(hui)根(gen)據這(zhe)個(ge)文件的內容(rong)，來(lai)確定它訪問權限的范(fan)圍。
旗下網站：耐思智慧 - - - 中文域名(ming)：
耐思智慧 © 版權所有(you) Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明：本網站中所使用(yong)到的(de)其他各種版權(quan)內(nei)(nei)容(rong)(rong)，包括但不限于文章(zhang)、圖片、視頻、音頻、字體等內(nei)(nei)容(rong)(rong)版權(quan)歸原作(zuo)者所有(you)，如權(quan)利(li)所有(you)人發現，請(qing)及時(shi)告(gao)知，以便我(wo)們刪除版權(quan)內(nei)(nei)容(rong)(rong)
本站(zhan)程序界面、源代碼受相關(guan)法律保護, 未(wei)(wei)經(jing)授權, 嚴禁(jin)使(shi)(shi)用; 耐(nai)思智慧 © 為我公(gong)司注冊(ce)商標, 未(wei)(wei)經(jing)授權, 嚴禁(jin)使(shi)(shi)用
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568