robots.txt 完全構文ガイド：
Disallow・Allow・Crawl-delay・ワイルドカード徹底解説

# ===================================
# robots.txt の基本構造
# ===================================

# グループ1：すべてのクローラーに適用
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /admin/public-page/

# グループ2：Googlebotに個別設定
User-agent: Googlebot
Allow: /important-assets/

# グループ3：画像クローラーに個別設定
User-agent: Googlebot-Image
Disallow: /no-image-crawl/

# サイトマップの場所を通知
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml

# ディレクトリ全体をブロック（末尾スラッシュは重要）
Disallow: /admin/

# 特定ファイルをブロック
Disallow: /private.html

# ルート直下のすべてをブロック（サイト全体をブロック）
Disallow: /

# 何もブロックしない（すべて許可）= 空の Disallow
Disallow:

# クエリパラメータを含むURLをブロック
Disallow: /search?

# 特定拡張子のファイルをブロック
Disallow: /*.pdf$

User-agent: Googlebot

# /private/ 以下をすべてブロック
Disallow: /private/

# ただし /private/press-release/ だけは許可
Allow: /private/press-release/

# ===================================
# ルール競合時の優先順位
# ===================================
# より長い（具体的な）パスが優先される

Disallow: /    # サイト全体をブロック
Allow: /public/ # /public/ は許可
# → /public/ 以下は許可される（Allow の方が具体的）

# Bing系など一部クローラーでは Crawl-delay が解釈されることがある
User-agent: bingbot
Crawl-delay: 2

# Googlebotは Crawl-delay を処理しない
User-agent: Googlebot
Crawl-delay: 1  # Google向けには効果なし

User-agent: *
Disallow: /admin/

# サイトマップの場所（絶対URLで記述）
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml
Sitemap: https://example.com/sitemap-images.xml

User-agent: *

# クエリパラメータを含むURLをすべてブロック
# （ECサイトのフィルター・ソートURL対策）
Disallow: /*?*

# 特定の拡張子ファイルをブロック
Disallow: /*.pdf$
Disallow: /*.zip$
Disallow: /*.xlsx$

# /tmp/ または /temp/ 以下をブロック
Disallow: /tmp/
Disallow: /temp/

# 特定パターンのURLをブロック（セッションID付きURL）
Disallow: /*?session=*
Disallow: /*&session=*

# 開発・ステージング環境のパスをブロック
Disallow: /staging/
Disallow: /dev/
Disallow: /api/            # APIエンドポイント

// app/robots.ts
import { MetadataRoute } from 'next';

export default function robots(): MetadataRoute.Robots {
  const baseUrl = process.env.NEXT_PUBLIC_SITE_URL
    || 'https://example.com';

  return {
    rules: [
      // すべてのクローラーに適用するデフォルトルール
      {
        userAgent: '*',
        allow: '/',
        disallow: [
          '/admin/',
          '/api/',
          '/private/',
          '/tmp/',
        ],
      },
      // OpenAI 学習用クローラーへの個別設定
      {
        userAgent: 'GPTBot',
        allow: '/',  // AI学習を許可する場合
        // disallow: ['/'],  // 禁止する場合はこちら
      },
      // OpenAI 検索用クローラーへの個別設定
      {
        userAgent: 'OAI-SearchBot',
        allow: '/',
      },
    ],
    // サイトマップの場所を明示
    sitemap: `${baseUrl}/sitemap.xml`,
  };
}