搜索引擎抓取监测台 · Crawl Monitor
数据来源：本机 nginx access log（窗口 access.log, access.log.1, access.log.2.gz, access.log.3.gz, access.log.4.gz, access.log.5.gz, access.log.6.gz, access.log.7.gz, access.log.8.gz, access.log.9.gz）· 生成于 2026-10-19 07:14:55
用途：替代 Google Search Console 的观测职能 —— 看得到爬虫是否来、爬了什么、抓取预算浪费在哪。
口径与诚实声明：① 爬虫识别基于 User-Agent + Google 官方 IP 段双重校验，非 Google 官方后台数据，与 GSC 数字会有差异；
② 窗口仅覆盖本机日志保留期，更早数据已轮转清理，不代表历史全量；③ 「抓取过」不等于「已收录」，收录以各搜索引擎实际检索结果为准；
④ 本页 不构成任何流量或收益承诺。可信度：实时日志
4,919
Googlebot 抓取过的不同 URL
111
Googlebot 命中 404（浪费抓取预算）
Googlebot 每日抓取量（近 10 天）
柱高按窗口内峰值归一化；仅统计本机日志可见请求。
各搜索引擎蜘蛛抓取量
| 爬虫 | 请求数 | 占比 | 2xx | 404 | 5xx |
|---|
| 其他爬虫 | 1,418,691 | 52.8% | 1,409,846 | 1,684 | 526 |
| GPTBot | 990,615 | 36.9% | 986,576 | 1,990 | 165 |
| 真人访问 | 255,644 | 9.5% | 218,282 | 12,416 | 2082 |
| YandexBot | 8,582 | 0.3% | 8,538 | 30 | 0 |
| Googlebot | 6,694 | 0.2% | 6,285 | 111 | 4 |
| Bingbot | 4,766 | 0.2% | 4,715 | 40 | 0 |
| Applebot | 161 | 0.0% | 157 | 1 | 0 |
| DuckDuckBot | 12 | 0.0% | 8 | 0 | 0 |
英文全球区抓取进度（本轮重点）
HS 编码页 1,258 / 1,364 国别页 192 / 260 合计 1,450 / 1,624（89.3%）
说明：这些页面上线于本轮，搜索引擎发现需时间；本指标证明发现链路已在推进。
站点收录面估算
全站 HTML 32,308 页；Googlebot 窗口内已抓 4,919 个不同 URL
该比例受日志窗口限制，仅作趋势参考。
冒充 Googlebot 的来源 IP（UA 与 IP 段不符）
| IP | 次数 |
|---|
| 79.124.58.82 | 102 |
| 127.0.0.1 | 51 |
| 169.148.142.5 | 21 |
仅作安全观测，不影响真实抓取统计（真实统计已按 IP 段标注，未剔除）。
口径与技术细节
· 采集：nginx access log，按 User-Agent 归类，Googlebot 另按 Google 官方 IP 段校验来源
· 覆盖判定：URL 去查询串后归一化，与磁盘实有文件比对；不含 noindex 页的收录判断
· Google 自然发现通道：robots.txt 中的 sitemap_index.xml（含 sitemap_content / sitemap_intl）+ 站内链接
· IndexNow 通道：覆盖 Bing / Yandex 等支持 IndexNow 的引擎；
Google 不支持 IndexNow
· 本页每日自动刷新；原始数据见
/r72-crawl.json