運用・診断編：インデックス問題の診断フローと
継続的なクローラー管理

name: robots.txt Safety Check

on:
  push:
    branches: [main]
  pull_request:
    paths:
      - 'app/robots.ts'
      - 'public/robots.txt'

jobs:
  validate-robots:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4

      - name: Check for sitewide block
        run: |
          # 生成済みの robots.txt を確認（静的ファイルの場合）
          if [ -f public/robots.txt ]; then
            if grep -qE "^Disallow:[[:space:]]*/[[:space:]]*$" public/robots.txt; then
              echo "FAIL: Disallow: / が設定されています（サイト全体ブロック）"
              exit 1
            fi
            echo "PASS: サイト全体ブロックは検出されませんでした"
          fi

      - name: Check Sitemap directive exists
        run: |
          if [ -f public/robots.txt ]; then
            if ! grep -qi "^Sitemap:" public/robots.txt; then
              echo "WARN: Sitemap ディレクティブが見つかりません"
            else
              echo "PASS: Sitemap ディレクティブあり"
            fi
          fi

#!/bin/bash
SITE_URL="${1:-https://example.com}"

echo "=== robots.txt 診断: $SITE_URL ==="
ROBOTS=$(curl -sL --max-time 10 "$SITE_URL/robots.txt")

if [ -z "$ROBOTS" ]; then
  echo "FAIL: robots.txt を取得できませんでした"
  exit 1
fi

# ブロックオール検出
if echo "$ROBOTS" | grep -qE "^Disallow:[[:space:]]*/[[:space:]]*$"; then
  echo "FAIL: サイト全体がブロックされています"
  exit 1
fi
echo "PASS: サイト全体ブロックなし"

# Sitemap ディレクティブ確認
if echo "$ROBOTS" | grep -qi "^Sitemap:"; then
  echo "PASS: Sitemap ディレクティブあり"
else
  echo "WARN: Sitemap ディレクティブが見当たりません"
fi

echo "=== 診断完了 ==="