# koegura.com robots.txt
# 正本: vault 01_Project/ポッドキャスト配信基盤/LP/v3/robots.txt（public_html/ へ scp）
# LP（/）は検索エンジンと AI の両方に公開する。配信基盤の閉鎖ページ（/p/ /e/ /embed）は仕様 F8 に従い検索結果と AI から外す。
# 閉鎖ページは meta robots と X-Robots-Tag で noindex を返す。検索エンジンにはクロールを許可して noindex を読ませる。
# robots.txt で拒否すると noindex が読まれず、他サイトからリンクされた URL が検索結果に出ることがある（Google Search Central）。
# 経緯: 01_Project/ポッドキャスト配信基盤/変更記録_robots_検索エンジンにnoindexを読ませる_2026-10-05.md

# AI の学習・回答用のクローラーと制御トークン: 閉鎖ページを拒否する（LP は許可）
# 検索エンジンの組より前に置く（先頭一致で解釈するパーサーでも Applebot-Extended がこの組に入るように）
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Bytespider
User-agent: Meta-ExternalAgent
Disallow: /p/
Disallow: /e/
Disallow: /embed
Disallow: /sign
Disallow: /audio
Disallow: /admin
Disallow: /health

# 検索エンジン: 閉鎖ページのクロールを許可し noindex を読ませる。音源・署名・管理・監視は拒否する
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
Disallow: /sign
Disallow: /audio
Disallow: /admin
Disallow: /health

# 上記以外のクローラー: 閉鎖ページを拒否する
User-agent: *
Disallow: /p/
Disallow: /e/
Disallow: /embed
Disallow: /sign
Disallow: /audio
Disallow: /admin
Disallow: /health

Sitemap: https://koegura.com/sitemap.xml