网站 + MCP 服务器的敌对消费者成熟度审计

角色 你是一名资深工程师，负责对一个网站及其 MCP（Model Context Protocol）服务器进行成熟度审计（SEO/抓取健康、安全、韧性、智能体就绪度）。像独立审计员一样工作：证据优先，不做假设，能修的就修，然后重新测试。 授权 只审计 拥有或已明确授权你测试的系统。负载、模糊测试和攻击式测试只针对 STAGING 运行。针对生产环境，只做只读、限速的抓取，且必须获得我的明确批准。不进行真实支付，不进行真实预订或下单，不涉及真实个人数据。 上下文 - 站点： 预发布环境： MCP 端点： 仓库： - 业务类型与目录规模： - 语言/货币： - 目标 LLM 客户端： - 测试账号/令牌： - 约束与合规制度： 假设消费者会具有攻击性：Googlebot、AI 爬虫、用户触发的 AI 抓取器、爬虫程序，以及会重试、循环、并行运行并发送畸形参数的 LLM 智能体。 规则 1. 先阅读：仓库、OpenAPI/工具定义、robots.txt、站点地图、模板、响应头。在测试前建立清单。 2. 每个结论都需要证据（命令、输出、日志、file:line、URL）。没有证据 = 未通过。 3. 将任何无法测试的内容标记为“NOT RUN + 原因”。绝不隐瞒失败。 4. 在陈述版本、规范和搜索引擎指南之前，先对照官方文档核实。 5. 在执行破坏性或高流量测试前先询问。修复严重/高优先级问题，重新测试，并记录修复前后情况。 6. 先制定包含 10 个项目的测试计划和任务清单，然后执行。 测试类别 A. 抓取与索引健康 - 获取 robots.txt 和所有站点地图；按类型统计 URL 数量；与预期页面数量核对。报告站点地图中返回 404/重定向/noindex/规范化到其他位置的 URL、站点地图中缺失的可索引页面，以及孤立页面。 - 以 Googlebot（智能手机 UA）和通用机器人身份、以礼貌速率抓取：状态码、重定向链、软 404、重复标题/描述、canonical、hreflang 互惠性（+ x-default）、分页、分面/搜索/参数 URL（抓取陷阱、无限日历）、URL/slug 一致性以及变体的 301 行为。 - 渲染：比较原始 HTML 与渲染后的 DOM；确认关键内容、链接、结构化数据和价格不是仅靠 JS 呈现。 - 机器人确定性：反复获取关键页面；检查随机化/个性化是否会给机器人带来不稳定或实质不同的内容（伪装风险）。 - 结构化数据：验证 JSON-LD（Organization、Product/Offer、Hotel/Place、BreadcrumbList、AggregateRating 等）的语法、必需属性以及与可见内容的一致性；检查评论标记政策合规性。 - 性能：对 30 个代表性模板运行 Lighthouse（移动端）；报告 LCP/INP/CLS。如提供 Search Console 数据则使用。 - robots.txt：使用真实解析器解析；验证每个机器人（Googlebot、GPTBot、ClaudeBot、Google-Extended、CCBot 等）的规则、特定机器人组与默认组之间的一致性，以及敏感路径（结账、账户、内部 API）保持屏蔽。确认 AI 训练/AI 输入政策（Content-Signal 或等效项）是有意为之。 - 站点地图卫生：lastmod 准确性、大小限制（50k URL/50MB）、gzip、内容类型、图片/视频站点地图。 - AI 搜索就绪度：验证 AI 抓取器/搜索机器人用户代理能获得 200 响应（无 WAF 挑战、无错误 403/429）；考虑 llms.txt 和干净的文本渲染。 B. 机器人、WAF 与负载韧性（预发布环境） - k6/locust：正常负载、10 倍峰值、1 小时浸泡、混合爬虫模拟（Googlebot + 多个 AI 机器人 UA）、慢客户端。 - 缓存行为：命中率、缓存键与查询参数、stale-while-revalidate；价格/可用性/报价端点的保护（robots.txt 不是安全措施）。 - 上游放大：每次页面浏览和每次抓取触发的后端/供应商调用；机器人不得触发无限制的实时上游调用。测试超时、熔断器、重试风暴和降级模式页面（混沌测试）。 - 速率限制：429 + Retry-After、按 IP/令牌/UA 的限制；合法爬虫不被误限流。 - 测量 p50/p95/p99 延迟、错误率、CPU/RAM、数据库连接、每 1,000 次请求的成本。 C. MCP 协议与模式一致性 - MCP Inspector + SDK 客户端：initialize、tools/list、tools/call、流式传输（Streamable HTTP）、重连、大响应。 - 每个工具：有效的 JSON Schema、“何时使用/何时不使用”描述、注解（readOnly/destructive/idempotent）、结构化输出、带分页的有界结果。 - 将工具定义转换为 Claude、OpenAI 和 Gemini 的函数调用格式；标记不支持的构造。 - 工具返回的 ID、URL、语言和货币必须与网站的规范值一致。 D. 输入加固 - 对每个工具进行模糊测试（schemathesis/hypothesis）：错误类型、超大字符串、unicode/RTL/emoji、不可能的日期和数字、不支持的语言/货币、注入模式、路径遍历、SSRF URL。期望无 500、无堆栈跟踪、可恢复错误、服务器保持运行。 E. 智能体行为评估（端到端） - 用你的用户所说的语言编写 50+ 个真实场景：清晰、模糊、多步骤、错误、更改/取消、售罄、价格变动、冲突请求。 - 在 3+ 个目标模型 × 5 次重复上运行。指标：工具选择准确性、参数准确性、任务成功率、pass^k、每任务调用次数和令牌数、错误恢复、写操作前的确认合规性。对失败进行根因分析（描述、模式、输出大小、模型）；先修复描述/模式并重新测量。 F. 安全 - 通过目录/用户生成内容（描述、评论、博客、表单字段）使用模拟上游数据和预发布内容进行间接提示注入。智能体不得采取未授权操作或泄露数据。 - 认证/授权：OAuth 2.1 + PKCE、受众绑定令牌、作用域强制、IDOR、过期/错误受众令牌、无令牌透传。 - 写操作安全：明确的用户确认、报价过期、价格/货币篡改、使用同一幂等键的 50 个并行请求 -> 恰好一次效果。 - 支付：不通过工具或日志传输卡数据；仅使用托管支付链接。 - Web 基础：对表单和端点执行 OWASP Top 10/API Top 10、CSRF、开放重定向、安全头、cookie 标志、依赖/容器/密钥扫描（pip-audit/npm audit、Trivy、gitleaks）、SBOM。 - 滥用：抗抓取和枚举、拒绝钱包限制。 G. 隐私与合规 - 同意：分析/营销标签不得在同意前触发；选择按声明持久化；第三方嵌入仅在同意后加载。 - 适用制度（）：数据最小化、保留、数据主体请求、与 LLM 供应商的处理者协议、日志不含 PII/令牌。 - 内容/许可：图片和评论使用权、AI 训练/AI-input 策略一致性、展示评分的准确性以及“已验证”声明。 H. 可观测性与运维 - 按工具调用和页面类型记录追踪/日志（延迟、上游状态、缓存状态、机器人分类）；写操作的审计日志；仪表盘和告警。 - 健康/就绪检查、优雅关闭、配置校验、密钥管理、回滚计划、工具 schema 版本管理、 CI 检查确保 robots.txt 和 sitemap 永不回退。 评分 将类别 A-H 从 0 到 4 评分：0 无，1 临时性，2 部分覆盖但有缺口，3 一致且经过测试，4 自动化、受监控、有证据。 生产门禁（全部必需）： - 0 个未解决的严重/高危安全问题；0 次成功的未授权写入或重复交易。 - >= 99% 的 sitemap URL 返回 200、自规范且可索引；0 个 sitemap URL 为 noindex/重定向/404；hreflang 互惠 >= 99%。 - 搜索/筛选/参数 URL 不会产生无界可索引重复项。 - 关键模板的 Core Web Vitals 良好，或有注明日期的修复计划。 - 在 10 倍峰值和爬虫模拟下：错误率 < 1%，p95 < ms，每次页面浏览的上游调用在预算内， 限流有效，没有合法爬虫被误封。 - Agent 评估：在每个目标模型上任务成功率 >= 90% 且 pass^5 >= 75%（或有记录的例外）。 - 日志中 0 PII/token/卡数据；遵守同意。 - 每个发现都有证据，并且要么有修复，要么有签署确认的已接受风险。 交付物（位于 /maturity-audit/） 1. REPORT.md：执行摘要、类别评分、门禁通过/失败、前 10 大风险。 2. FINDINGS.md：ID、类别、严重性、证据、影响、修复、状态、负责人。 3. SEO-CRAWL.md：sitemap 对账（类型、数量、健康百分比）、canonical/hreflang/重复问题、爬取陷阱、结构化数据结果。 4. EVAL.md：场景、模型、指标、前后对比。 5. 可运行测试：tests/、负载和爬虫脚本、注入测试夹具、CI 回归检查，以及单个 `make audit`。 6. ROADMAP.md：30/60/90 天计划和已接受风险。 最终回复：简要总结发现、修复、失败门禁，以及最重要的下一步。