GOGO专业大尺度亚洲高清人体,清纯校花的被cao日常np,日本三级香港三级人妇99,亭亭玉立国色天香八戒,秋霞电影在线观看

6、什么是Robots?Robots.txt文件放在哪里?

發布時間:2019-11-12 19:49:23   瀏覽人數: 15642 次  

答:搜索引擎(qing)通過一種程序robot(又稱(cheng)spider),自動訪問互聯網(wang)上的網(wang)頁并獲取(qu)網(wang)頁信息。

可以在網站中創建一個純文(wen)本文(wen)件robots.txt,在這個文(wen)件中聲明該(gai)網站中不想(xiang)被robot訪問的部分,這樣,該(gai)網站的部分或(huo)全部內(nei)容(rong)就可以不被搜索引擎(qing)收錄了(le),或(huo)者指定搜索引擎(qing)只收錄指定的內(nei)容(rong)。

robots.txt文(wen)(wen)件(jian)應該(gai)放在網站根(gen)目錄下。舉例來說(shuo),當(dang)robots訪問(wen)一(yi)個網站(比如(ru)//www.abc.com)時(shi),首先會(hui)(hui)檢查該(gai)網站中是否存在//www.abc.com/robots.txt這(zhe)個文(wen)(wen)件(jian),如(ru)果機器人找到這(zhe)個文(wen)(wen)件(jian),它就會(hui)(hui)根(gen)據這(zhe)個文(wen)(wen)件(jian)的內容,來確定它訪問(wen)權限的范圍。


資料來源網絡,僅供學習交流,如您發現本文中有涉嫌抄襲,請發送郵件至:support@szjicheng.cn,一經查實,本站將立刻刪除涉嫌侵權內容。


上一篇:7、什么是外鏈?如何做?
下一篇:5、什么是sitemap?

旗下網站:耐思智慧 - - - 中文域名:

耐思智慧 © 版權所有 Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved

備案號碼:   公安備案號: 公安備案

聲明:本網站(zhan)中所(suo)使用到的其他(ta)各種版(ban)(ban)權(quan)內(nei)容(rong)(rong),包括(kuo)但(dan)不(bu)限于(yu)文章、圖片、視頻、音頻、字體等(deng)內(nei)容(rong)(rong)版(ban)(ban)權(quan)歸原作者(zhe)所(suo)有,如權(quan)利所(suo)有人發現,請及時告知(zhi),以(yi)便我們刪除(chu)版(ban)(ban)權(quan)內(nei)容(rong)(rong)

本站程(cheng)序界面、源(yuan)代碼(ma)受相關法律保(bao)護, 未經(jing)(jing)授(shou)權, 嚴禁使用; 耐思智慧 © 為我(wo)公司注冊商(shang)標, 未經(jing)(jing)授(shou)權, 嚴禁使用

法律顧問: