User-agent: IndeedJobBot
Disallow: /

User-agent: Indeedbot
Disallow: /

User-agent: Indeedshopbot
Disallow: /

User-agent: *
Allow: /jobs/
Allow: /lp/
Allow: /talents
Allow: /frechet/novel/
Allow: /corporate/
# 非公開求人（meta noindex 済み）はクロールバジェット節約のため明示 Disallow
# （Allow より一致パスが長いため Disallow が優先される）
Disallow: /jobs/n/
# 収集求人（契約の無い求人）は Google 等のクロール対象から外し、クロールの枠を契約求人に集める（2026-09-24）。
# Bing は下の bingbot のグループで引き続きクロールする。
Disallow: /jobs/x/
Disallow: /api/
Disallow: /_expo/
Disallow: /auth/
# Code Trail の投稿・匿名受付状況はHTMLのnoindexを読ませ、公開回答だけを専用 sitemap へ載せる

# AI 検索（ChatGPT / Bing Copilot / Claude / Perplexity）向け。
# 検索・引用・ユーザー操作での取得は許可し、学習専用ボットは拒否する。
# 案内文: https://aile-ai.jp/llms.txt  詳細: https://aile-ai.jp/llms-full.txt
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-AdsBot
Allow: /

User-agent: bingbot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Applebot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# 自ホスト（aile-ai.jp）のサイトマップを先頭に列挙（発見性優先）
Sitemap: https://aile-ai.jp/sitemap.xml
# 自社ブログ専用。記事の発見・表示進捗を企業ページ群と分けて計測する
Sitemap: https://aile-ai.jp/sitemap-blog.xml
Sitemap: https://aile-ai.jp/sitemap-jobs.xml
# 求人詳細（JobPosting）専用サイトマップ。しごと検索の索引進捗を独立計測するためハブと分離
Sitemap: https://aile-ai.jp/sitemap-job-details.xml
# 収集在庫（/jobs/x/）のサイトマップは robots.txt に載せない（Google のクロール対象から外したため）。
# Bing には Bing Webmaster Tools の登録（https://aile-ai.jp/sitemap-jobs-x.xml）で出している。
Sitemap: https://aile-ai.jp/qa/sitemap
Sitemap: https://aile-ai.jp/learn/questions/sitemap