robots.txt
robots.txtとは
サイトのルート直下(https://example.com/robots.txt)に置くプレーンテキストのファイル。 User-Agent(クローラーの種類)ごとにAllow / Disallowを記述します。 検索エンジン向けの一般的なクローラーだけでなく、ChatGPT Search(OAI-SearchBot)、GPTBot、ClaudeBot、PerplexityBot、Google-Extendedなど、AI関連の20種類以上のUser-Agentも個別に設定できます。
なぜ重要か
サイト全体の「クロールの入り口」であり、個別ページの最適化以前の最も基礎的な土台です。 ファイル自体が完全に存在しない場合やAIボットを全遮断している場合は、他の指摘とは別格の重大度(CRITICAL)として扱われます。
User-agent: * Disallow: User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / Sitemap: https://example.com/sitemap.xml
# パターンA: ファイル自体が存在せず404エラー # パターンB: 知らずにAIを全面拒否 User-agent: * Disallow: / # パターンC: AIクローラーの個別意思表示が一切ない