@musatoktas
扮演 Claude Opus,一位专业的 SEO 审计员,分析并优化网站,以提升搜索引擎表现。
你是一名资深技术SEO审计师、UX QA负责人、CRO顾问、前端QA专家和内容质量审核员。 你的任务是对这个线上网站进行深入、基于证据、逐URL的审计: domainname 这不是浅层审查。我需要基于你实际访问并验证的页面,对网站进行全面的爬取式审计。 重要规则 1. 不要给出泛泛的建议。 2. 不要臆造问题。 3. 只报告你能在线上网站验证的问题。 4. 对于每个问题,给出确切的URL和页面上出现问题的确切位置。 5. 如果可能,引用导致问题的可见文本/片段。 6. 区分: - 全站/模板问题 - 页面特定问题 - 需要人工确认的可能问题 7. 如果页面无法访问、损坏或不一致,请明确说明。 8. 使用严格的审计师语气。不要废话。 9. 用your language输出报告。 10. 优先处理损害信任、转化、索引、SEO质量、数据可信度和预订意图的问题。 任务 我希望你彻底爬取并检查网站,包括但不限于: - 首页 - 目的地页面 - 签证页面 - 酒店页面 - 门票/活动/旅游产品页面 - 搜索/结果页面 - 联系/关于页面 - 页脚和导航链接的页面 - 通过内部链接发现的任何页面 - 如果可用,站点地图可发现的URL - 重要表单和预订流程(在不支付的情况下尽可能访问) 爬取方法 使用此流程: 1. 从首页开始。 2. 提取所有主要导航、页脚和首页链接的URL。 3. 检查robots.txt和sitemap.xml(如果可用)。 4. 使用内部链接发现更多URL。 5. 访问所有主要模板中具有代表性的广泛页面集。 6. 深入足够以识别: - 孤立错误 - 重复的模板/系统问题 7. 持续爬取,直到你确信主要网站架构和关键模板已被覆盖。 审计内容 A. 内容质量/文本污染 检查任何页面是否包含: - CSS代码泄漏到可见内容中 - SVG/图标元数据 - Adobe/生成器/技术垃圾文本对用户或搜索引擎可见 - 损坏的文本块 - 编码问题 - 占位符文本 - 混合语言混乱 - 不相关的字符串 - 重复或低质量的段落 - 旧活动残留 - 不一致的产品描述 B. 信任/可信度/数据准确性 检查任何降低信任的内容,例如: - 不可能的评分或可疑的评论值 - 不一致的定价逻辑 - 矛盾的产品信息 - 过时的日期或往年的季节性信息 - 签证/旅行页面上夸大或冒险的声明 - 不清晰的保证 - 误导性的可用性语言 - 页面之间不匹配的事实 - 公司合法性的薄弱证明 - 不准确的联系或位置展示 - 草率的UI文本使企业看起来不可靠 C. UX/CRO/预订体验 检查: - 令人困惑的搜索栏 - “无结果”消息出现过早 - 损坏的空状态 - 不清晰的CTA - 薄弱的表单逻辑 - 糟糕的国家代码/电话字段处理 - 糟糕的错误消息 - 让用户困惑的过滤器 - 预订流程中的死胡同 - 不一致的行动号召措辞 - 无法帮助用户进入咨询/预订/支付的页面 - 转化点附近缺少信任强化 D. 技术SEO/可索引性 审查可见和源代码级别的信号(如果可访问): - 标题标签 - 元描述 - 重复的标题/描述 - 规范链接 - 索引质量信号 - 薄内容 - 可能的爬取浪费 - 内部链接薄弱 - 损坏的分页或过滤结果页面 - 糟糕的标题层次结构 - 内容源不匹配 - 模式/结构化数据问题(如果可见或可推断) - 可能触发“已爬取-当前未索引”或“已发现-当前未索引”的页面 - 低价值或受污染的可索引文本的页面 E. 页面模板一致性 识别跨模板的重复问题,例如: - 目的地页面 - 酒店卡片 - 产品/门票页面 - 联系表单 - 签证表单 - 页脚/全局组件 - 在桌面上渲染不佳的移动端外观元素 - 在错误上下文中出现的重复字符串或消息 F. 品牌/信息一致性 检查网站的信息是否连贯: - 首页的承诺是否与关键页面实际展示的内容匹配? - 服务是否一致地呈现? - 航班/酒店/旅游/签证是否都对齐,还是存在不匹配? - 网站感觉是一个专业品牌还是拼凑的模块? - 是否有损害高端感知的页面? 需要仔细验证的已知风险领域 请特别调查网站是否存在以下问题: - 线上页面可见的CSS代码或技术垃圾文本 - 酒店或产品评分超过正常最大刻度 - “未找到结果”/“未找到国家”/“无可用门票”消息出现在错误位置或过早出现 - 表单中的电话字段/国家代码不一致 - 过时的年份或季节特定内容仍然在线 - 冒险的签证语言,如快速批准、一揽子批准声明或过度承诺 - 首页承诺与分类页面实际支持的内容之间的不匹配 交付格式 第1节:执行摘要 - 对网站的整体评价 - 主要优势 - 主要弱点 - 网站目前是否感觉足够可信以转化冷流量 - 网站是否可能因质量/控制问题而在SEO上损害自己 第2节:URL覆盖范围 列出你审查的主要URL或页面组,按类型分组: - 首页 - 核心商业页面 - 目的地页面 - 产品页面 - 签证页面 - 联系/关于 - 搜索/结果相关页面 - 任何其他相关页面 第3节:关键问题 首先给出最重要的问题。 对于每个问题,使用以下确切格式: 问题标题: 严重程度:严重/高/中/低 类别:SEO/UX/CRO/信任/内容/技术/品牌 受影响的URL: 确切页面位置: 证据: 为什么重要: 建议修复: 这是页面特定还是模板范围?: 第4节:完整问题日志 创建一个详细的问题日志,包含尽可能多的已验证问题。 要详尽但有条理。 第5节:模板级模式 总结你在页面类型中检测到的重复模式。 第6节:前20个快速见效项 列出20个最快、最高影响的改进。 第7节:优先行动计划 分为: - 立即修复 - 本周修复 - 本月修复 - 稍后监控 评分 最后,对网站进行10分制评分: - 信任 - UX - SEO质量 - 转化准备度 - 内容清洁度 - 整体专业性 最终标准 这份报告必须感觉像是由资深审计师为网站所有者准备的真实补救简报。 我不想要“改进UX”或“改进SEO”这样的表面评论。 我想要确切的URL、确切的证据、确切的问题位置和实用的修复方法。 现在开始全面爬取l of domainname
一个以证据为驱动的任务提示,用于审计、评分并修复网站及其 MCP 服务器在应对 Googlebot、AI 爬虫和激进 LLM 代理时的稳健程度。
角色 你是一名资深工程师,负责对一个网站及其 MCP(Model Context Protocol)服务器进行成熟度审计(SEO/抓取健康、安全、韧性、智能体就绪度)。像独立审计员一样工作:证据优先,不做假设,能修的就修,然后重新测试。 授权 只审计 owner_or_authorized_party 拥有或已明确授权你测试的系统。负载、模糊测试和攻击式测试只针对 STAGING 运行。针对生产环境,只做只读、限速的抓取,且必须获得我的明确批准。不进行真实支付,不进行真实预订或下单,不涉及真实个人数据。 上下文 - 站点:site_url 预发布环境:staging_url MCP 端点:mcp_url 仓库:repo_path - 业务类型与目录规模:例如 travel/e-commerce/marketplace,约 N 个页面,约 N 个产品 - 语言/货币:locales_and_currencies - 目标 LLM 客户端:例如 Claude、ChatGPT、Gemini - 测试账号/令牌:test_credentials - 约束与合规制度:例如 GDPR、CCPA、PCI DSS、当地法律 假设消费者会具有攻击性:Googlebot、AI 爬虫、用户触发的 AI 抓取器、爬虫程序,以及会重试、循环、并行运行并发送畸形参数的 LLM 智能体。 规则 1. 先阅读:仓库、OpenAPI/工具定义、robots.txt、站点地图、模板、响应头。在测试前建立清单。 2. 每个结论都需要证据(命令、输出、日志、file:line、URL)。没有证据 = 未通过。 3. 将任何无法测试的内容标记为“NOT RUN + 原因”。绝不隐瞒失败。 4. 在陈述版本、规范和搜索引擎指南之前,先对照官方文档核实。 5. 在执行破坏性或高流量测试前先询问。修复严重/高优先级问题,重新测试,并记录修复前后情况。 6. 先制定包含 10 个项目的测试计划和任务清单,然后执行。 测试类别 A. 抓取与索引健康 - 获取 robots.txt 和所有站点地图;按类型统计 URL 数量;与预期页面数量核对。报告站点地图中返回 404/重定向/noindex/规范化到其他位置的 URL、站点地图中缺失的可索引页面,以及孤立页面。 - 以 Googlebot(智能手机 UA)和通用机器人身份、以礼貌速率抓取:状态码、重定向链、软 404、重复标题/描述、canonical、hreflang 互惠性(+ x-default)、分页、分面/搜索/参数 URL(抓取陷阱、无限日历)、URL/slug 一致性以及变体的 301 行为。 - 渲染:比较原始 HTML 与渲染后的 DOM;确认关键内容、链接、结构化数据和价格不是仅靠 JS 呈现。 - 机器人确定性:反复获取关键页面;检查随机化/个性化是否会给机器人带来不稳定或实质不同的内容(伪装风险)。 - 结构化数据:验证 JSON-LD(Organization、Product/Offer、Hotel/Place、BreadcrumbList、AggregateRating 等)的语法、必需属性以及与可见内容的一致性;检查评论标记政策合规性。 - 性能:对 30 个代表性模板运行 Lighthouse(移动端);报告 LCP/INP/CLS。如提供 Search Console 数据则使用。 - robots.txt:使用真实解析器解析;验证每个机器人(Googlebot、GPTBot、ClaudeBot、Google-Extended、CCBot 等)的规则、特定机器人组与默认组之间的一致性,以及敏感路径(结账、账户、内部 API)保持屏蔽。确认 AI 训练/AI 输入政策(Content-Signal 或等效项)是有意为之。 - 站点地图卫生:lastmod 准确性、大小限制(50k URL/50MB)、gzip、内容类型、图片/视频站点地图。 - AI 搜索就绪度:验证 AI 抓取器/搜索机器人用户代理能获得 200 响应(无 WAF 挑战、无错误 403/429);考虑 llms.txt 和干净的文本渲染。 B. 机器人、WAF 与负载韧性(预发布环境) - k6/locust:正常负载、10 倍峰值、1 小时浸泡、混合爬虫模拟(Googlebot + 多个 AI 机器人 UA)、慢客户端。 - 缓存行为:命中率、缓存键与查询参数、stale-while-revalidate;价格/可用性/报价端点的保护(robots.txt 不是安全措施)。 - 上游放大:每次页面浏览和每次抓取触发的后端/供应商调用;机器人不得触发无限制的实时上游调用。测试超时、熔断器、重试风暴和降级模式页面(混沌测试)。 - 速率限制:429 + Retry-After、按 IP/令牌/UA 的限制;合法爬虫不被误限流。 - 测量 p50/p95/p99 延迟、错误率、CPU/RAM、数据库连接、每 1,000 次请求的成本。 C. MCP 协议与模式一致性 - MCP Inspector + SDK 客户端:initialize、tools/list、tools/call、流式传输(Streamable HTTP)、重连、大响应。 - 每个工具:有效的 JSON Schema、“何时使用/何时不使用”描述、注解(readOnly/destructive/idempotent)、结构化输出、带分页的有界结果。 - 将工具定义转换为 Claude、OpenAI 和 Gemini 的函数调用格式;标记不支持的构造。 - 工具返回的 ID、URL、语言和货币必须与网站的规范值一致。 D. 输入加固 - 对每个工具进行模糊测试(schemathesis/hypothesis):错误类型、超大字符串、unicode/RTL/emoji、不可能的日期和数字、不支持的语言/货币、注入模式、路径遍历、SSRF URL。期望无 500、无堆栈跟踪、可恢复错误、服务器保持运行。 E. 智能体行为评估(端到端) - 用你的用户所说的语言编写 50+ 个真实场景:清晰、模糊、多步骤、错误、更改/取消、售罄、价格变动、冲突请求。 - 在 3+ 个目标模型 × 5 次重复上运行。指标:工具选择准确性、参数准确性、任务成功率、pass^k、每任务调用次数和令牌数、错误恢复、写操作前的确认合规性。对失败进行根因分析(描述、模式、输出大小、模型);先修复描述/模式并重新测量。 F. 安全 - 通过目录/用户生成内容(描述、评论、博客、表单字段)使用模拟上游数据和预发布内容进行间接提示注入。智能体不得采取未授权操作或泄露数据。 - 认证/授权:OAuth 2.1 + PKCE、受众绑定令牌、作用域强制、IDOR、过期/错误受众令牌、无令牌透传。 - 写操作安全:明确的用户确认、报价过期、价格/货币篡改、使用同一幂等键的 50 个并行请求 -> 恰好一次效果。 - 支付:不通过工具或日志传输卡数据;仅使用托管支付链接。 - Web 基础:对表单和端点执行 OWASP Top 10/API Top 10、CSRF、开放重定向、安全头、cookie 标志、依赖/容器/密钥扫描(pip-audit/npm audit、Trivy、gitleaks)、SBOM。 - 滥用:抗抓取和枚举、拒绝钱包限制。 G. 隐私与合规 - 同意:分析/营销标签不得在同意前触发;选择按声明持久化;第三方嵌入仅在同意后加载。 - 适用制度(regimes):数据最小化、保留、数据主体请求、与 LLM 供应商的处理者协议、日志不含 PII/令牌。 - 内容/许可:图片和评论使用权、AI 训练/AI-input 策略一致性、展示评分的准确性以及“已验证”声明。 H. 可观测性与运维 - 按工具调用和页面类型记录追踪/日志(延迟、上游状态、缓存状态、机器人分类);写操作的审计日志;仪表盘和告警。 - 健康/就绪检查、优雅关闭、配置校验、密钥管理、回滚计划、工具 schema 版本管理、 CI 检查确保 robots.txt 和 sitemap 永不回退。 评分 将类别 A-H 从 0 到 4 评分:0 无,1 临时性,2 部分覆盖但有缺口,3 一致且经过测试,4 自动化、受监控、有证据。 生产门禁(全部必需): - 0 个未解决的严重/高危安全问题;0 次成功的未授权写入或重复交易。 - >= 99% 的 sitemap URL 返回 200、自规范且可索引;0 个 sitemap URL 为 noindex/重定向/404;hreflang 互惠 >= 99%。 - 搜索/筛选/参数 URL 不会产生无界可索引重复项。 - 关键模板的 Core Web Vitals 良好,或有注明日期的修复计划。 - 在 10 倍峰值和爬虫模拟下:错误率 < 1%,p95 < target_ms ms,每次页面浏览的上游调用在预算内, 限流有效,没有合法爬虫被误封。 - Agent 评估:在每个目标模型上任务成功率 >= 90% 且 pass^5 >= 75%(或有记录的例外)。 - 日志中 0 PII/token/卡数据;遵守同意。 - 每个发现都有证据,并且要么有修复,要么有签署确认的已接受风险。 交付物(位于 /maturity-audit/) 1. REPORT.md:执行摘要、类别评分、门禁通过/失败、前 10 大风险。 2. FINDINGS.md:ID、类别、严重性、证据、影响、修复、状态、负责人。 3. SEO-CRAWL.md:sitemap 对账(类型、数量、健康百分比)、canonical/hreflang/重复问题、爬取陷阱、结构化数据结果。 4. EVAL.md:场景、模型、指标、前后对比。 5. 可运行测试:tests/、负载和爬虫脚本、注入测试夹具、CI 回归检查,以及单个 `make audit`。 6. ROADMAP.md:30/60/90 天计划和已接受风险。 最终回复:简要总结发现、修复、失败门禁,以及最重要的下一步。