User-agent: *
Disallow: /
3. 禁止所有搜索引擎訪問網(wǎng)站中所有的動(dòng)態(tài)頁面
User-agent: *
Disallow: /*?*
4. 禁止網(wǎng)站上的程序文件被搜索引擎蜘蛛索引，這樣可以節(jié)省服務(wù)器資源。
一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。
User-agent: *
Disallow: /admin/ 后臺(tái)管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 圖片
Disallow: /data/ 數(shù)據(jù)庫文件
Disallow: /template/ 模板文件
Disallow: /css/ 樣式表文件
Disallow: /lang/ 編碼文件
Disallow: /script/ 腳本文件
注：每個(gè)網(wǎng)站的文件夾名字可能會(huì)不一樣
標(biāo)簽：鄭州 新鄉(xiāng) 運(yùn)城 莆田 荊門 鹽城 天門 紅河
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《SEO教程 robots.txt文件常見用途》，本文關(guān)鍵詞 SEO,教程,robots.txt,文件,常見,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
