答：搜索引擎(qing)通過一(yi)種程(cheng)序robot（又(you)稱spider），自動訪問互聯(lian)網上的網頁并獲(huo)取(qu)網頁信息(xi)。
可(ke)(ke)以在(zai)網站中創(chuang)建一(yi)個(ge)純文(wen)本文(wen)件robots.txt，在(zai)這(zhe)個(ge)文(wen)件中聲明該網站中不(bu)想被robot訪問的部(bu)分，這(zhe)樣，該網站的部(bu)分或全部(bu)內(nei)容就(jiu)可(ke)(ke)以不(bu)被搜(sou)索引(yin)擎收錄了，或者指定搜(sou)索引(yin)擎只收錄指定的內(nei)容。
robots.txt文件應該(gai)放在網站根目錄下。舉例來(lai)說，當robots訪(fang)問(wen)一個網站（比如//www.abc.com）時，首先會檢查該(gai)網站中是否存在//www.abc.com/robots.txt這個文件，如果機器人找到這個文件，它就會根據這個文件的內容，來(lai)確定它訪(fang)問(wen)權限的范(fan)圍。
旗下網站：耐思智慧 - - - 中文域名(ming)：
耐思智慧(hui) © 版權所有(you) Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明：本網站(zhan)中所(suo)使用到的其他各種版(ban)(ban)權內容(rong)，包(bao)括但(dan)不(bu)限于文章、圖片、視頻、音頻、字體等內容(rong)版(ban)(ban)權歸原作(zuo)者所(suo)有，如權利所(suo)有人發現，請(qing)及時告知(zhi)，以便我們刪除版(ban)(ban)權內容(rong)
本站程序界面、源代碼受相關法律保(bao)護, 未(wei)經(jing)授(shou)(shou)權, 嚴(yan)禁(jin)使(shi)用; 耐思智慧 © 為我公(gong)司注冊(ce)商標, 未(wei)經(jing)授(shou)(shou)權, 嚴(yan)禁(jin)使(shi)用
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568