答(da)：搜(sou)索引擎通過一(yi)種程序robot（又稱spider），自(zi)動訪問(wen)互聯(lian)網上的網頁(ye)并獲取網頁(ye)信息。

可(ke)以在(zai)網站中(zhong)創(chuang)建一(yi)個純文(wen)(wen)本文(wen)(wen)件(jian)robots.txt，在(zai)這個文(wen)(wen)件(jian)中(zhong)聲明該(gai)網站中(zhong)不想(xiang)被robot訪問的部(bu)分(fen)，這樣，該(gai)網站的部(bu)分(fen)或(huo)(huo)全部(bu)內容就可(ke)以不被搜索引(yin)擎收錄了(le)，或(huo)(huo)者指定搜索引(yin)擎只收錄指定的內容。

robots.txt文(wen)件應該(gai)放在(zai)網站(zhan)根(gen)目錄下。舉例(li)來說，當robots訪問一個(ge)網站(zhan)（比如(ru)//www.abc.com）時(shi)，首(shou)先會(hui)檢查該(gai)網站(zhan)中是(shi)否存(cun)在(zai)//www.abc.com/robots.txt這個(ge)文(wen)件，如(ru)果機器人找到這個(ge)文(wen)件，它就(jiu)會(hui)根(gen)據這個(ge)文(wen)件的內容(rong)，來確定它訪問權(quan)限的范圍。