Site Checkup
简体中文

For site owners

关于 Site Checkup 的爬取

如果您在访问日志中看到包含 SiteKenshin/1.0 的记录,这是智能手机应用 Site Checkup 的用户检查网站中过旧的软件或设置缺陷时产生的请求。本页说明我们会获取什么、不会做什么,以及如何阻止。

  • 从用户的手机发送与浏览公开页面相同的请求(GET、HEAD)。对同一域名下所有服务器的请求,间隔合计至少 1 秒。
  • 不提交表单,也不发送任何构成攻击的请求。
  • 在 robots.txt 中指定 User-agent: SiteKenshin 即可阻止。

User-Agent

iPhone 和 Android 应用都会发送以下字符串。

Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 SiteKenshin/1.0 (+https://teractor.co.jp/site-diagnosis/bot)

请求直接从用户的手机发出,并非由我们的服务器发送,因此来源 IP 地址是用户所用网络的地址。

目的

Site Checkup 是一款应用,用于检查网站使用的 CMS、插件、JavaScript 库、服务器软件及其版本,并将已知漏洞、已停止支持的软件和设置缺陷告知网站管理员。用户在开始检测前,需要确认“自己是该网站的管理员,或受管理员委托进行检测”。

获取的内容

同时,通过用户设备操作系统的机制,查询该域名的 DNS(TXT、MX、CAA 等)。

发送方式

请求类型仅 GET 和 HEAD
间隔同时只发 1 个请求。对同一注册域名下主机(www、shop 等)的请求,合计以每秒 1 次的固定间隔发送
数量单次检测最多 100 页(含子域名)。单个文件达到 5MB、合计达到 100MB 时停止获取
中止连续出现 5 次错误时停止爬取

不会做的事

如何阻止

在 robots.txt 中写入以下内容,Site Checkup 就不会爬取。

User-agent: SiteKenshin
Disallow: /

如只需排除部分路径,请像 Disallow: /private/ 这样指定路径。如果没有 User-agent: SiteKenshin 组,则遵循 User-agent: * 的设置。robots.txt 按主机分别读取。要阻止子域名时,请写在该子域名的 robots.txt 中。

爬取是从用户的手机直接进行的,不经过我们的服务器。因此,我们无法从本公司一侧阻止特定用户的爬取。如需阻止爬取,请使用 robots.txt。

联系方式

如对爬取有任何疑问或意见,请发送至以下联系方式。若能附上日期时间、来源 IP 地址和被访问的 URL,将便于我们确认。

site-diagnosis@teractor.co.jp

运营:TERACTOR LLC

Site Checkup网站漏洞检测应用