用DEDECMS建站的站長會發現,DEDECMS自帶的robots.txt文件設置很簡單(開發者基于每個網站的目錄結構和優化目的不同的考慮),并不能完全滿足網站的優化要求,那怎樣才能結合自己網站的情況,做好robots.txt優化呢?以下介紹一點自己的想法,僅供參考。
適用于未偽靜態的DEDECMS網站。
User-agent: * Disallow: /dede 管理后臺目錄,需要改名,具體設置后面具體講 Disallow: /include 程序核心文件目錄 Disallow: /member 會員管理目錄,有些文件可以開放 Disallow: /plus 插件及輔助功能目錄 ,有些文件可以開放,如search.php Disallow: /templets 默認模板存放目錄 Disallow: /data 系統緩存或其它可寫入數據存放目錄 Disallow: /uploads 上傳下載文件保存目錄,不想搜索引擎引用圖片的話,禁止 Disallow: /images 系統默認模板圖片存放目錄 Disallow: /index.php 網站默認首頁,靜態化的話,最好禁止 Disallow: /404.html Allow: /plus/search.php 開放禁止目錄里的具體文件 ...