關于robots.txt寫法大全

關于robots.txt寫法大全，很少有人談起，其實用好robots是很容易為你網站提升權重的，這里啟邁網絡公司告訴大家5種對應的寫法：

1、用robots保護網站安全
不少低級黑客就是通過搜索默認后臺登陸，以達到＊＊網站的目標，為了防止后臺被蜘蛛抓取，可以采用以下寫法，保護網站安全。
User-agent： * 《*代表所有》
Disallow： /admin/ 《禁止蜘蛛抓取admin目錄下所有文件》

2、防止盜鏈
一旦被搜索引擎“盜鏈”那家伙你100M寬帶也吃不消，如果你做的不是圖片網站，又不想被搜索引擎“盜鏈”你的網站圖片，那么可以寫
User-agent： *
Disallow： .jpg$

3、用robots屏蔽網站重復頁
很多網站一個內容提供多種瀏覽版本，雖然很方便用戶卻對蜘蛛造成了困難，因為它分不清那個是主，那個是次
User-agent： *
Disallow： /sitemap/ 《禁止蜘蛛抓取 文本網頁》

4、提交網站地圖
現(xiàn)在做優(yōu)化的都知道做網站地圖了，可是卻沒幾個會提交的，絕大多數(shù)人是干脆在網頁上加個鏈接，其實robots是支持這個功能的
Sitemap： http://www.relaxplaylist.com/sitemap.xml

5、禁止某二級域名的抓取
一些網站會對VIP會員提供一些特殊服務，卻又不想這個服務被搜索引擎檢索到
User-agent： *
Disallow： /

以上五招robots寫法足以讓你對搜索引擎蜘蛛掌控能力提升不少，希望對大家有所幫助。啟邁網絡公司