robots.txt爬虫规则搜索引擎抓取
输入输入页面标题、链接、正文或站点配置。
处理先检查核心问题，不要一开始就堆太多规则。
结果把生成结果放回网站前，再按真实页面核对一次。
输入
结果
处理结果会显示在这里。
什么时候用Robots.txt 工具
这个页面更适合先把“哪些页面该放出来、哪些页面先别抓”想清楚，再生成 robots.txt。它更像一个抓取范围说明，不是解决收录问题的万能按钮。
站点上线时先给搜索引擎一个清楚的抓取边界。
临时目录、后台路径、测试路径不想被抓取时快速整理规则。
排查是不是某条 robots 规则误伤了正常页面。
需要配合 sitemap 一起整理基础收录配置。
可以先这样用
先列出哪些目录一定不能抓，比如后台、测试页、临时页，再列出哪些核心页面需要正常放开。不要一上来写很复杂的规则，先把最关键的路径控制住。
先写简单规则，复杂规则越多，误伤越容易发生。
不要把真正想收录的目录顺手也拦掉。
robots 更适合控制抓取，不代表页面一定会收录或不收录。
常见问题
Robots.txt 工具适合什么场景？
适合新站配置、目录抓取控制、测试路径屏蔽、后台路径限制和 robots 规则排查。
屏蔽了某个页面，是不是搜索里就一定不会出现？
不一定。robots 主要是告诉爬虫别抓，不等于一定完全不出现。是否展示还和外部链接、历史抓取等因素有关。
robots 和 noindex 有什么直观区别？
简单理解，robots 更偏“别来抓”，noindex 更偏“抓到也别收录”。具体怎么用，要看你想控制的是抓取还是收录。