For site owners
關於 Site Checkup 的爬取
如果您在存取記錄中看到包含 SiteKenshin/1.0 的紀錄,這是手機 App Site Checkup 的使用者檢查網站中過舊的軟體或設定缺失時所產生的請求。本頁說明我們會取得什麼、不會做什麼,以及如何阻止。
- 從使用者的手機傳送與瀏覽公開頁面相同的請求(GET、HEAD)。對同一網域下所有伺服器的請求,間隔合計至少 1 秒。
- 不送出表單,也不傳送任何構成攻擊的請求。
- 在 robots.txt 中指定
User-agent: SiteKenshin即可阻止。
User-Agent
iPhone 與 Android 的 App 都會傳送以下字串。
Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 SiteKenshin/1.0 (+https://teractor.co.jp/site-diagnosis/bot)
請求直接從使用者的手機發出,並非由我們的伺服器傳送,因此來源 IP 位址是使用者所用網路的位址。
目的
Site Checkup 是一款 App,用於檢查網站使用的 CMS、外掛、JavaScript 函式庫、伺服器軟體及其版本,並將已知漏洞、已終止支援的軟體與設定缺失告知網站管理員。使用者在開始檢測前,需要確認「自己是該網站的管理員,或受管理員委託進行檢測」。
取得的內容
- 以輸入的頁面為起點,透過連結與網站地圖找到的同一註冊網域下的頁面。包含 www、shop 等子網域,合計最多 100 頁,深度 3
- 這些頁面載入的 JavaScript、CSS 等檔案(包括外部來源的檔案)
- 所瀏覽的每個主機的
/robots.txt。起點主機的網站地圖與/.well-known/security.txt - 以 http 開啟起點主機時,確認是否轉址到 https(1 次)
- 起點主機上不存在的 URL
/sitekenshin-check-<random>(為確認 404 頁面,1 次)
同時,透過使用者裝置作業系統的機制,查詢該網域的 DNS(TXT、MX、CAA 等)。
傳送方式
| 請求類型 | 僅 GET 與 HEAD |
|---|---|
| 間隔 | 同時只傳送 1 個請求。對同一註冊網域下主機(www、shop 等)的請求,合計以每秒 1 次的固定間隔傳送 |
| 數量 | 單次檢測最多 100 頁(含子網域)。單一檔案達到 5MB、合計達到 100MB 時停止取得 |
| 中止 | 連續發生 5 次錯誤時停止爬取 |
不會做的事
- 送出表單
- 竄改 URL 參數、傳送攻擊字串
- POST、PUT、DELETE 等請求,連接埠掃描
- 同時使用多個連線造成負載
如何阻止
在 robots.txt 中寫入以下內容,Site Checkup 就不會爬取。
User-agent: SiteKenshin Disallow: /
如只需排除部分路徑,請像 Disallow: /private/ 這樣指定路徑。如果沒有 User-agent: SiteKenshin 群組,則遵循 User-agent: * 的設定。robots.txt 依主機分別讀取。要阻止子網域時,請寫在該子網域的 robots.txt 中。
- robots.txt、網站地圖、security.txt、http 轉址確認、404 確認,無論如何設定都會取得。
爬取是從使用者的手機直接進行,不會經過我們的伺服器。因此,我們無法從本公司端阻止特定使用者的爬取。如需阻止爬取,請使用 robots.txt。
聯絡方式
如對爬取有任何疑問或意見,請寄至以下聯絡信箱。若能附上日期時間、來源 IP 位址與被存取的 URL,將有助於我們確認。
營運:TERACTOR LLC