For site owners
关于 Site Checkup 的爬取
如果您在访问日志中看到包含 SiteKenshin/1.0 的记录,这是智能手机应用 Site Checkup 的用户检查网站中过旧的软件或设置缺陷时产生的请求。本页说明我们会获取什么、不会做什么,以及如何阻止。
- 从用户的手机发送与浏览公开页面相同的请求(GET、HEAD)。对同一域名下所有服务器的请求,间隔合计至少 1 秒。
- 不提交表单,也不发送任何构成攻击的请求。
- 在 robots.txt 中指定
User-agent: SiteKenshin即可阻止。
User-Agent
iPhone 和 Android 应用都会发送以下字符串。
Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 SiteKenshin/1.0 (+https://teractor.co.jp/site-diagnosis/bot)
请求直接从用户的手机发出,并非由我们的服务器发送,因此来源 IP 地址是用户所用网络的地址。
目的
Site Checkup 是一款应用,用于检查网站使用的 CMS、插件、JavaScript 库、服务器软件及其版本,并将已知漏洞、已停止支持的软件和设置缺陷告知网站管理员。用户在开始检测前,需要确认“自己是该网站的管理员,或受管理员委托进行检测”。
获取的内容
- 以输入的页面为起点,通过链接和网站地图找到的同一注册域名下的页面。包含 www、shop 等子域名,合计最多 100 页,深度 3
- 这些页面加载的 JavaScript、CSS 等文件(包括外部来源的文件)
- 所浏览的每个主机的
/robots.txt。起点主机的网站地图和/.well-known/security.txt - 用 http 打开起点主机时,确认是否跳转到 https(1 次)
- 起点主机上不存在的 URL
/sitekenshin-check-<random>(为确认 404 页面,1 次)
同时,通过用户设备操作系统的机制,查询该域名的 DNS(TXT、MX、CAA 等)。
发送方式
| 请求类型 | 仅 GET 和 HEAD |
|---|---|
| 间隔 | 同时只发 1 个请求。对同一注册域名下主机(www、shop 等)的请求,合计以每秒 1 次的固定间隔发送 |
| 数量 | 单次检测最多 100 页(含子域名)。单个文件达到 5MB、合计达到 100MB 时停止获取 |
| 中止 | 连续出现 5 次错误时停止爬取 |
不会做的事
- 提交表单
- 篡改 URL 参数、发送攻击字符串
- POST、PUT、DELETE 等请求,端口扫描
- 同时使用多个连接造成负载
如何阻止
在 robots.txt 中写入以下内容,Site Checkup 就不会爬取。
User-agent: SiteKenshin Disallow: /
如只需排除部分路径,请像 Disallow: /private/ 这样指定路径。如果没有 User-agent: SiteKenshin 组,则遵循 User-agent: * 的设置。robots.txt 按主机分别读取。要阻止子域名时,请写在该子域名的 robots.txt 中。
- robots.txt、网站地图、security.txt、http 跳转确认、404 确认,无论如何设置都会获取。
爬取是从用户的手机直接进行的,不经过我们的服务器。因此,我们无法从本公司一侧阻止特定用户的爬取。如需阻止爬取,请使用 robots.txt。
联系方式
如对爬取有任何疑问或意见,请发送至以下联系方式。若能附上日期时间、来源 IP 地址和被访问的 URL,将便于我们确认。
运营:TERACTOR LLC