小提示:系統更新不會涉及前臺模板及網站數據等。
更新日志:
1、[新增]Robots.txt技巧指南;
2、[優化]屏蔽部分無效的URL,搜索引擎抓取時返回404;
3、[優化]屏蔽部分無效的爬蟲,減低對服務器的壓力;
4、[修復]后臺無法登錄的問題;
更新下插件。另外怕蜘蛛抓取的話 可以在網站協議里面添加下 禁止爬取 即可!
可以查看蜘蛛插件說明
如何拒絕搜索引擎爬取不相關的JS接口URL;
如下圖所示:JS接口URL都有一個特性,前綴是 /index.php?m=api&c=Ajax&a=

可以編輯網站的根目錄下robots.txt文件,追加一條如下代碼:
Disallow: /index.php?m=api&c=Ajax&a=*
2、如何拒絕搜索引擎爬取不想被收錄的插件URL;
如下圖所示:每個插件URL都有一個特性,前綴是 /index.php?m=plugins&c=插件標識

紅色圈住的是一個微信分享插件,如果這個URL在瀏覽器上打開是無效頁面,可以通過如下robots.txt規則進行屏蔽,拒絕搜索引擎爬取。
編輯網站的根目錄下robots.txt文件,追加一條如下代碼:
Disallow: /index.php?m=plugins&c=WeixinShare&a=*