実践ガイド
AIを通すrobots.txtの実物。AI流入が立ち上がった自社サイトの設定を、コピペできる形で公開する
先に結論
AI検索に拾われるかどうかは、robots.txtというテキストファイルの数行で決まります。ここでAIのクローラーを弾いていると、どれだけ良いページを作っても、AIの回答には一生出てきません。
この記事では、立ち上がりの1ヶ月でAI・Bing流入が伸びた自社サイト（VEIL）が実際に使っている設定と、各AI企業の公式仕様で裏取りした2026年版のテンプレートを、そのままコピペできる形で公開します。
まず、その自社サイトの実物
VEILのrobots.txtの、AIに関わる部分はこうなっています。飾りはありません。
User-agent: *
Allow: /
# AI Crawlers
User-agent: GPTBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://masanosuke.net/sitemap-index.xmlやっていることは一つだけ。AIのクローラーを、明示的に通している。 特別な記述も、裏技もありません。多くのサイトがここで Disallow: / と書いてAIを締め出すなか、VEILはただ扉を開けていた。それだけで、流入の8割をBingとAIから得ています（4サイトの実測）。
ちなみに上の設定は、必要十分ではあるけれど、2026年の今ならもう少し足せます。次がその完全版です。
2026年版・コピペ用テンプレート（各社公式で裏取り済み）
検索表示用のクローラーを全部通し、必要なら学習だけ止められるようにした版です。各ボット名は2026年5月時点で各社公式ドキュメントを確認しています。
User-agent: *
Allow: /
# --- OpenAI ---
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
# --- Anthropic（Claude）---
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# --- Perplexity ---
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
# --- Google / Microsoft / Apple / Amazon / Common Crawl ---
User-agent: Google-Extended
Allow: /
User-agent: Bingbot
Allow: /
User-agent: Applebot
Allow: /
User-agent: Amazonbot
Allow: /
User-agent: CCBot
Allow: /
Sitemap: https://example.com/sitemap-index.xml最後のSitemapの行だけ、自分のサイトのアドレスに書き換えてください。これをドメイン直下（https://example.com/robots.txt）に置けば、主要なAI検索の入口が開きます。
「検索表示用」と「学習用」は分けられる
「AIに学習させたくない」という不安はよく聞きます。そこは、分けて考えられます。AIのボットは、役割ごとに名前が違うからです。
| ボット | 運営 | 役割 |
|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT検索での表示 |
| GPTBot | OpenAI | モデルの学習 |
| Claude-SearchBot | Anthropic | 検索結果の品質向上 |
| ClaudeBot | Anthropic | モデルの学習 |
| PerplexityBot | Perplexity | 検索インデックス（回答での表示） |
| Google-Extended | Geminiの学習可否を制御 |
学習されたくないなら、学習用（GPTBot・ClaudeBot・Google-Extended）だけをDisallowし、検索表示用（OAI-SearchBot・Claude-SearchBot・PerplexityBot・Bingbot）は許可する。 こう書けば、学習は拒みつつ、AIの回答には出られます。
# 学習は拒否、検索表示は許可する場合の例
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /各ボットの一覧はAIクローラー User-Agent 一覧に、コピペできる実装の周辺は実装スニペット集にまとめてあります。
置いたあとの確認
3つだけ確かめてください。
- ブラウザで
https://自分のドメイン/robots.txtを開く … 中身がそのまま表示されればOK - 検索表示用のボットを
Disallowしていないか … 過去の設定で弾いていないか見る - Sitemapの行が自分のサイトを指しているか
WordPressならプラグインかテーマの設定で、ShopifyやXserverでも編集できます。やってはいけないのは、すべてのAIクローラーを一律 Disallow: / で締め出すこと。それは、AI検索という入口を自分の手で閉じる行為です（締め出していないか確認する）。
よくある質問
Q. robots.txtでAIクローラーを許可しないとどうなる？ AIの回答に引用されなくなる。検索表示用（OAI-SearchBot・PerplexityBot・Bingbot等）を弾くと、ChatGPT検索・Perplexity・Copilotの回答に出られない。
Q. 学習に使われたくない場合は？ 学習用と検索表示用は別のボット。学習用（GPTBot・ClaudeBot・Google-Extended）だけ拒否し、検索表示用は許可すれば、学習を拒みつつ回答には出られる。
Q. robots.txtはどこに置く？
ドメイン直下（https://example.com/robots.txt）。置いたらブラウザで直接開いて中身を確認する。
最後に
AI検索の入口は、派手な施策の先にあるわけではありません。テキストファイル1枚、数行の Allow。それを書いているか、弾いているか。
立ち上がったサイトがやっていたのは、扉を開けておく、それだけでした。