什么情況下要設置禁止搜索引擎抓取自己的網站呢？
公司內部測試的網站，或者內部網，或者后臺登錄的頁面，肯定不希望被外面的人搜索到，所以要禁止搜索引擎抓取。還有在我們的網站還未正式上線之前，我們需要做大量的修改工作，如果還未修改完成又沒有設置禁止抓取，那么網站就有可能會被收錄了，后期我們對網站再進行修改操作，就會對網站造成影響。
搜索引擎第一個訪問的文件就是robots.txt，禁止所有搜索引擎訪問網站的所有部分 robots.txt寫法如下：
User-agent: *
Disallow: /
網站有內容不想讓搜索引擎收錄，就可以在robots.txt里聲明。
