User-Agent是什么？如何识别浏览器、系统、设备和搜索引擎爬虫
介绍User-Agent字符串的用途、局限，以及如何通过UA初步判断浏览器、设备类型和爬虫来源。
相关工具
User-Agent是什么
User-Agent是客户端在HTTP请求中发送的一个请求头，用来描述访问者的大致软件环境。它可能包含浏览器名称、版本、操作系统、设备类型、渲染引擎等信息。服务器、统计系统和日志分析工具经常用它判断访问来源。
例如Chrome、Safari、Firefox、Edge都有自己的UA特征，手机浏览器通常会带Mobile或设备型号，搜索引擎爬虫会带Baiduspider、Googlebot、bingbot等标识。工具帮的User-Agent解析工具可以把一长串UA拆成更容易理解的信息。
UA能做什么，不能做什么
UA可以用于粗略判断设备类型、浏览器兼容性、爬虫访问和日志统计。比如你发现某类用户页面异常，可以先看是不是某个旧浏览器；你想观察百度或Google是否抓取站点，也可以在Nginx日志里搜索爬虫UA。
但UA不是绝对可信的。任何客户端都可以伪造User-Agent，扫描器也经常伪装成正常浏览器。因此安全策略不能只依赖UA。识别爬虫时，最好结合IP反查、访问频率、请求路径、robots行为和日志特征综合判断。
如何识别搜索引擎爬虫
常见爬虫会在UA中包含名称，例如Baiduspider、Googlebot、bingbot、Sogou web spider、360Spider、Bytespider等。网站上线后，可以通过Nginx日志查看这些爬虫是否访问robots.txt、sitemap.xml和工具页面。
需要注意，UA里写Googlebot不代表一定是真Googlebot。高价值场景下应通过反向DNS验证IP归属。一般个人工具站做基础SEO观察时，先用日志筛选UA即可，重点看爬虫是否能返回200、是否频繁遇到404或500。
UA解析的实际用途
前端兼容排查、移动端适配、访问统计、异常流量识别都可能用到UA。比如某些用户反馈按钮不能点，你可以查看浏览器版本；某个IP大量请求奇怪路径，UA却伪装成Chrome，就可能是扫描器。
不过现代网站更推荐基于特性检测而不是只看UA。也就是说，判断浏览器是否支持某个API，应尽量检测API本身，而不是根据UA猜测。UA适合辅助判断，不适合作为唯一依据。
落地检查和使用建议
上线后建议定期从日志中统计User-Agent，观察真实用户、搜索引擎爬虫和异常扫描器的比例。正常用户通常访问首页、工具页和静态资源，异常扫描器则常访问/.env、/wp-admin、/phpmyadmin等与你网站无关的路径。
对SEO来说，看到Baiduspider、Googlebot或bingbot只是第一步，还要确认这些请求返回200而不是403、404、500。如果爬虫一直访问失败，说明站点可抓取性存在问题，需要回到robots、sitemap、Nginx和页面状态码继续排查。
常见问题
User-Agent可以伪造吗？
可以，因此不能作为安全判断的唯一依据。
怎么看百度爬虫有没有来？
可以在访问日志中搜索Baiduspider，并观察请求路径和状态码。
UA能准确识别手机型号吗？
不一定。部分浏览器会隐藏或简化设备信息。