答:搜索引擎(qing)通過一種程序robot(又稱(cheng)spider),自動訪問互聯網(wang)上的網(wang)頁并獲取(qu)網(wang)頁信息。
可以在網站中創建一個純文(wen)本文(wen)件robots.txt,在這個文(wen)件中聲明該(gai)網站中不想(xiang)被robot訪問的部分,這樣,該(gai)網站的部分或(huo)全部內(nei)容(rong)就可以不被搜索引擎(qing)收錄了(le),或(huo)者指定搜索引擎(qing)只收錄指定的內(nei)容(rong)。
robots.txt文(wen)(wen)件(jian)應該(gai)放在網站根(gen)目錄下。舉例來說(shuo),當(dang)robots訪問(wen)一(yi)個網站(比如(ru)//www.abc.com)時(shi),首先會(hui)(hui)檢查該(gai)網站中是否存在//www.abc.com/robots.txt這(zhe)個文(wen)(wen)件(jian),如(ru)果機器人找到這(zhe)個文(wen)(wen)件(jian),它就會(hui)(hui)根(gen)據這(zhe)個文(wen)(wen)件(jian)的內容,來確定它訪問(wen)權限的范圍。
旗下網站:耐思智慧 - - - 中文域名:
耐思智慧 © 版權所有 Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼:
公安備案號:
聲明:本網站(zhan)中所(suo)使用到的其他(ta)各種版(ban)(ban)權(quan)內(nei)容(rong)(rong),包括(kuo)但(dan)不(bu)限于(yu)文章、圖片、視頻、音頻、字體等(deng)內(nei)容(rong)(rong)版(ban)(ban)權(quan)歸原作者(zhe)所(suo)有,如權(quan)利所(suo)有人發現,請及時告知(zhi),以(yi)便我們刪除(chu)版(ban)(ban)權(quan)內(nei)容(rong)(rong)
本站程(cheng)序界面、源(yuan)代碼(ma)受相關法律保(bao)護, 未經(jing)(jing)授(shou)權, 嚴禁使用; 耐思智慧 © 為我(wo)公司注冊商(shang)標, 未經(jing)(jing)授(shou)權, 嚴禁使用
法律顧問: