答:搜索引擎通過一(yi)種程(cheng)序robot(又(you)稱spider),自動訪問互聯網(wang)上的網(wang)頁并獲取網(wang)頁信息。
可(ke)以在(zai)網(wang)站中創建一(yi)個純文本(ben)文件robots.txt,在(zai)這個文件中聲明該網(wang)站中不(bu)想被(bei)robot訪問的(de)部分(fen),這樣,該網(wang)站的(de)部分(fen)或(huo)全(quan)部內(nei)(nei)容就(jiu)可(ke)以不(bu)被(bei)搜索引擎(qing)收錄(lu)了,或(huo)者(zhe)指定搜索引擎(qing)只收錄(lu)指定的(de)內(nei)(nei)容。
robots.txt文(wen)(wen)件(jian)應該(gai)放在網(wang)(wang)站根(gen)目錄下(xia)。舉例來說,當robots訪問一個(ge)網(wang)(wang)站(比如//www.abc.com)時,首(shou)先會(hui)(hui)檢查該(gai)網(wang)(wang)站中是(shi)否存在//www.abc.com/robots.txt這個(ge)文(wen)(wen)件(jian),如果(guo)機器(qi)人找到(dao)這個(ge)文(wen)(wen)件(jian),它(ta)就(jiu)會(hui)(hui)根(gen)據這個(ge)文(wen)(wen)件(jian)的(de)內容,來確定它(ta)訪問權限(xian)的(de)范(fan)圍。
旗下網站:耐思智慧 - - - 中文域名:
耐思(si)智(zhi)慧 © 版(ban)權所(suo)有(you) Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼:
公安備案號:
聲明:本網站中所(suo)(suo)使用到的其(qi)他各種版(ban)權(quan)(quan)內容,包括但不限于文章、圖(tu)片(pian)、視頻、音頻、字體等內容版(ban)權(quan)(quan)歸原作者所(suo)(suo)有,如權(quan)(quan)利所(suo)(suo)有人發現,請及時告知,以便我們刪除版(ban)權(quan)(quan)內容
本站程序界面、源代碼受相(xiang)關法律保護, 未經授權, 嚴禁(jin)使(shi)用(yong); 耐思智慧 © 為(wei)我公司注冊(ce)商標, 未經授權, 嚴禁(jin)使(shi)用(yong)
法律顧問: