# 司盟企服官网 robots.txt
#
# 爬虫权限策略（2026-08-04 修订）：
# 1) OpenAI 两个爬虫用途不同，必须区分：
#    - OAI-SearchBot：用于 ChatGPT 搜索摘要与引用，想进入摘要/引用务必放行（切勿屏蔽）。
#    - GPTBot：主要用于模型训练，与搜索摘要无关；此处仍放行，如未来想退出训练可单独 Disallow。
# 2) 不要使用 Disallow: /*?* 这类一刀切规则——会把所有带参数页面（含正常追踪参数）全部屏蔽。
#    正确做法：搜索结果类页面用 <meta name="robots" content="noindex,follow">；重复参数页用 canonical；
#    robots 只屏蔽明确无价值的路径（如必要时屏蔽 /search 后端）。
# 3) llms.txt 不是抓取控制文件；本文件与 sitemap.xml / canonical 才是抓取与收录的权威来源。

# ===== 搜索引擎爬虫 =====
User-agent: Googlebot
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Baiduspider
Allow: /

# ===== AI 爬虫 =====
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Bytespider
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Cohere-AI
Allow: /

User-agent: YouBot
Allow: /

User-agent: Amazonbot
Allow: /

# ===== 通配规则（兜底）=====
User-agent: *
Allow: /
Allow: /css/
Allow: /js/
Allow: /images/

# Sitemap
Sitemap: https://smqifu.com/sitemap.xml