更新记录
2016.4.18:在线robots.txt文件生成工具完成上线

在线robots.txt文件生成工具

 这款在线robots.txt生成器提供多种常见的设置选项供站长选择使用,可根据具体需要生成符合robots协议的robots文件,是一款非常实用的SEO工具


默认 - 所有机器人是:  
检索间隔:
Sitemap: (留空为无)
   
普通搜索机器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti
   
特殊搜索机器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9
   
限制目录: 路径是相对的,但每个路径之前都要包含:"/"
 
 
 
 
 
   
   

现在,你创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去。把“robots.txt”放在你网站的根目录,并确保他能让访问者(如搜索引擎)访问到。

脚本之家工具类小程序上线了!微信小程序搜索 脚本之家工具箱 或者扫描如下小程序码直接打开小程序!

推荐一个Chrome浏览器插件合作站点


为回馈广大用户对脚本之家的关注,脚本之家不定期开展红包、图书、礼品大放送活动

关注官方微信公众平台即可参与活动!

最后,感谢您对脚本之家在线工具的支持!