GOGO专业大尺度亚洲高清人体,清纯校花的被cao日常np,日本三级香港三级人妇99,亭亭玉立国色天香八戒,秋霞电影在线观看

6、什么是Robots?Robots.txt文件放在哪里?

發布時間:2019-11-12 19:49:23   瀏覽人數: 15627 次  

答:搜索引擎通過一(yi)種程(cheng)序robot(又(you)稱spider),自動訪問互聯網(wang)上的網(wang)頁并獲取網(wang)頁信息。

可(ke)以在(zai)網(wang)站中創建一(yi)個純文本(ben)文件robots.txt,在(zai)這個文件中聲明該網(wang)站中不(bu)想被(bei)robot訪問的(de)部分(fen),這樣,該網(wang)站的(de)部分(fen)或(huo)全(quan)部內(nei)(nei)容就(jiu)可(ke)以不(bu)被(bei)搜索引擎(qing)收錄(lu)了,或(huo)者(zhe)指定搜索引擎(qing)只收錄(lu)指定的(de)內(nei)(nei)容。

robots.txt文(wen)(wen)件(jian)應該(gai)放在網(wang)(wang)站根(gen)目錄下(xia)。舉例來說,當robots訪問一個(ge)網(wang)(wang)站(比如//www.abc.com)時,首(shou)先會(hui)(hui)檢查該(gai)網(wang)(wang)站中是(shi)否存在//www.abc.com/robots.txt這個(ge)文(wen)(wen)件(jian),如果(guo)機器(qi)人找到(dao)這個(ge)文(wen)(wen)件(jian),它(ta)就(jiu)會(hui)(hui)根(gen)據這個(ge)文(wen)(wen)件(jian)的(de)內容,來確定它(ta)訪問權限(xian)的(de)范(fan)圍。


資料來源網絡,僅供學習交流,如您發現本文中有涉嫌抄襲,請發送郵件至:support@szjicheng.cn,一經查實,本站將立刻刪除涉嫌侵權內容。


上一篇:7、什么是外鏈?如何做?
下一篇:5、什么是sitemap?

旗下網站:耐思智慧 - - - 中文域名:

耐思(si)智(zhi)慧 © 版(ban)權所(suo)有(you) Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved

備案號碼:   公安備案號: 公安備案

聲明:本網站中所(suo)(suo)使用到的其(qi)他各種版(ban)權(quan)(quan)內容,包括但不限于文章、圖(tu)片(pian)、視頻、音頻、字體等內容版(ban)權(quan)(quan)歸原作者所(suo)(suo)有,如權(quan)(quan)利所(suo)(suo)有人發現,請及時告知,以便我們刪除版(ban)權(quan)(quan)內容

本站程序界面、源代碼受相(xiang)關法律保護, 未經授權, 嚴禁(jin)使(shi)用(yong); 耐思智慧 © 為(wei)我公司注冊(ce)商標, 未經授權, 嚴禁(jin)使(shi)用(yong)

法律顧問: