如果你的站點對所有搜索引擎公開,則不用做這個文件或者robots.txt為空就行


點擊次數: 次 發布時間:2013-1-29

  必須命名為:robots.txt,都是小寫,robot后面加"s"。
  robots.txt必須放置在一個站點的根目錄下。如:通過http://www.uxwnmr.live/robots.txt 可以成功訪問到,則說明本站的放置正確。每一次搜索引擎的蜘蛛都會第一訪問這個文件;來判斷網站哪些文件可以正常抓取;
  一般情況下,robots.txt里只寫著兩個函數:User-agent和 Disallow。
  觀察這個頁面并修改為自己的:http://www.uxwnmr.live/robots.txt
  有幾個禁止,就得有幾個Disallow函數,并分行描述。
  至少要有一個Disallow函數,如果都允許收錄,則寫: Disallow: ,如果都不允許收錄,則寫:Disallow: / (注:只是差一個斜桿)。
補充說明:
  User-agent: * 星號說明允許所有搜索引擎收錄
  Disallow: /images/ 說明 http://www.uxwnmr.live/images/ 這個目錄禁止搜索引擎抓取。
  合理的優化robots.txt文件可以讓蜘蛛在網站抓取工作提高質量,也可以減少服務器資源的浪費,讓蜘蛛明確自己的任務。
作者天宇科技 - 如果你的站點對所有搜索引擎公開,則不用做這個文件或者robots.txt為空就行

本文地址:http://www.uxwnmr.live/News_Show_91_1.html   手機地址http://www.uxwnmr.live/Mobile/News_Show_91_1.html

版權所有 © 轉載時必須以鏈接形式注明作者和原始出處!
相關文章
關于我們
關于我們
企業文化
最新資訊
核心服務
品牌形象
邢臺網站建設
邢臺網站優化
成功案例
品牌設計
公司成功案例
邢臺網站優化
解決方案
邢臺網絡公司
邢臺網站維護
邢臺網絡營銷
招賢納士
加入我們
學習發展
常見問題
聯系我們
聯系我們
我要留言
如何合作
首頁
手機網站
FLASH版
舊版邢臺網絡公司
本站關鍵詞邢臺網站建設邢臺網站制作邢臺網站設計,交換鏈接QQ:83004814 鏈接要求:pr>=3,百度快照三天內。
幸运赛车走势图带坐标 竞彩比分直播500w 大赢家比分即时比分直播 河南麻将属于什么麻将 世界杯竞彩比分预测 一元麻将点炮怎么算东北 可以上分的贵州麻将 新时时彩 波克安徽麻将作弊视频 排列三和值走势图综合版 混合过关 qq游戏大厅麻将 海南麻将规则图解 福建十一选五一定牛 3g即时比分 国标麻将比赛规则 山东体彩十一选五