llms.txtとは？書き方とAIクローラ設定の実践手順をまとめて解説

llms.txtは、サイトのルート直下（/llms.txt）に置くMarkdownファイルで、AIモデルやAIエージェントに対して「このサイトが何を扱っているか」を簡潔に伝える役割を持ちます。提案元であるllmstxt.org（Jeremy Howard氏らによる仕様提案サイト）によると、背景にあるのはAIモデルの文脈window（一度に読み込める情報量）の制約です。要点を絞ったMarkdownを用意することで、AIが少ない情報量で正確にサイトを把握できるようにする、という考え方にもとづいています。

ここで重要なのは、llms.txtはMarkdown形式であるという点です。人間にもAIにも読みやすいMarkdownを採用しているのは、AIモデルの学習データの多くがMarkdownを含む自然文であり、追加の解析処理なしにそのまま文脈として扱いやすいためです。

3つのファイルは似た場所（ルート直下）に置かれますが、目的がまったく異なります。

※ llmstxt.orgの説明によれば、sitemap.xmlが「網羅的なURL一覧」であるのに対し、llms.txtは「選び抜かれた、専門家レベルの簡潔な情報」を提供する点が異なります。3つは併用が前提です。

llmstxt.orgの仕様が定める構造は、次の順番です。

1. H1（必須）：サイト・プロジェクト名。仕様上、必須なのはこの見出しのみです。
2. 引用ブロック（blockquote）：サイトの短い要約。何をしているサイトかを1〜2文で示します。
3. 本文セクション：見出しを使わない補足説明の段落やリスト。
4. H2見出しごとのリンク一覧：[ページ名](URL): 説明の形式で、主要ページへのMarkdownリンクをH2見出しでグループ化して並べます。
5. 「Optional」セクション：文脈window節約のため省略してもよい、優先度の低いリンクをまとめる任意の見出し。

実装のイメージとしては、次のような構成になります（実際の内容はサイトに合わせて調整してください）。

あわせて、llmstxt.orgでは各ページのMarkdown版をページURL + .md（例：/page.html.md）で用意することも案内されています。これにより、AIがHTMLの装飾やナビゲーションを取り除いた、本文だけのクリーンなテキストを取得しやすくなります。サイト全体を1つに結合した/llms-full.txtを追加で用意する運用も広く行われています。

llms.txtを用意しても、そもそもAIクローラがサイトにアクセスできなければ意味がありません。主要なAI事業者は、それぞれ独自のユーザーエージェント名でrobots.txtの許可・禁止を判断しています。代表的なものは次のとおりです。

※ 各社ともrobots.txtの尊重を明言していますが、遵守の徹底度はクローラごとに差があると報告されています。設定後は自社のサーバーログでアクセス状況を確認するのが確実です。

設定例（サイト全体を許可しつつ、学習用クローラだけ制限したい場合）：

会員専用ページなど、AIに読ませたくない範囲だけをDisallowで指定し、公開情報は許可したままにするのが基本的な考え方です。全面的にブロックすると、AI経由での言及・引用の機会そのものを失う可能性がある点は踏まえておく必要があります。

2026年に入って複数の実測レポートが指摘しているのが、主要なAIクローラの多くがJavaScriptを実行しないという点です。GPTBot・ClaudeBot・PerplexityBotなどは初期HTMLのみを取得し、クライアントサイドで描画されるコンテンツは読み取れないケースが多いと報告されています。検索エンジンのGooglebotがJavaScriptレンダリングに対応しているのとは対照的で、SPA（シングルページアプリケーション）構成のサイトほど影響を受けやすい傾向があります。

• 初期HTMLに本文を含める：クライアントサイドのJavaScriptで後から流し込む本文は、AIクローラに届かない可能性があります。サーバーサイドレンダリング（SSR）や静的生成（SSG）で、初期HTMLの時点で主要な文章を出力しておくのが安全です。
• llms.txtとMarkdown版ページを補完として使う：JS依存のUIをすぐに作り直せない場合でも、llms.txtや各ページの.md版を用意しておけば、AIが参照できる経路を別途確保できます。
• 構造化データも併用する：本記事のようにJSON-LD（Article・FAQPageなど）を初期HTMLに埋め込んでおくと、AIクローラ・検索エンジンの双方にとって内容が理解しやすくなります。

1. サイトの主要ページを棚卸しし、AIに伝えたい要点を1〜2文で言語化する
2. /llms.txtをMarkdown形式で作成し、H1・要約・主要ページへのリンクを記載する
3. robots.txtでGPTBot・ClaudeBot・PerplexityBot等の許可範囲を明示的に設定する
4. 主要ページの本文が初期HTMLに含まれているか（JS依存で後から描画されていないか）を確認する
5. 更新のたびにllms.txtとページ内容を見直し、日付情報を最新に保つ

これらは、サイトの更新に合わせて継続的にメンテナンスする性質のものです。継続的な運用体制については、今後、診断・構築を支援するサービスの案内を予定しています。まずは自分のサイトで/llms.txtを実際に用意し、初期HTMLの中身を確認するところから始めてみてください。

llms.txtは検索エンジン向けのSEOだけでなく、AIコーディングエージェントに自分のサイトやプロダクトの構造を伝える手がかりとしても使えます。個人開発者がllms.txtを用意しておくと、AIコーディングエージェントに「このサイトのAPI仕様は？」「この用語の定義は？」と尋ねられたときに、エージェントが正しいページへたどり着きやすくなります。

実務では、開発中のプロダクトのドキュメントルート直下に/llms.txtを置き、README・APIリファレンス・用語集など「AIに読ませたい一次情報」へのリンクを整理しておくと、社内外でAIコーディングエージェントを使った調査・実装依頼がスムーズになります。AIコーディングエージェントの基礎はAIコーディングエージェントとはで解説しています。

Q1. llms.txtを設置すると検索順位が上がりますか？
llms.txtは検索エンジンのランキング要因ではなく、AIチャットサービスなどが文脈を理解する際の手がかりを提供する仕組みです。設置したからといって順位や引用が保証されるものではありませんが、AIがサイト内容を誤解なく要約しやすくなる効果は期待できます。

Q2. llms.txtとrobots.txt・sitemap.xmlは何が違いますか？
robots.txtはクローラのアクセス可否を制御するファイル、sitemap.xmlはインデックスしてほしい全ページのURL一覧です。llms.txtはどちらとも異なり、AIモデルが文脈を理解しやすいよう、サイトの要点をMarkdownで要約して伝えるためのファイルです。3つは役割が異なるため、併用が前提になります。

Q3. llms.txtに対応していないAIには意味がありませんか？
2026年8月時点で、llms.txtを直接参照することを公式に明言している主要AIサービスは限定的です。ただし、llms.txtを作る過程でサイトの要点をMarkdownで整理する作業自体が、通常のHTMLページの構造化やAIクローラ向けの情報整理にもつながるため、無駄になりにくい取り組みだといえます。

ここまではサイトをAIに正しく読ませるための取り組みでした。逆に、AIエージェント自身が「どの組織が運営しているか」を示す仕組みも登場しています。運営会社（株式会社バーニングトライブ）が公開するAIエージェント登録台帳は、AIエージェントの名称と運営法人を公開・検証できる台帳です（現時点では登録受付中で掲載数はまだありません）。サイト側の整備とあわせて、参考程度に見ておくとよいかもしれません。

• MCP（Model Context Protocol）とは：AIエージェントとツールをつなぐ仕組み
• MCPサーバーおすすめ導入ガイド 2026
• READMEとドキュメントをAIに書かせて維持する

この記事は無料で読める実践ガイドです。AIに正しく伝わるサイト・ドキュメントの作り方を含む全12週のシラバスを公開しています（成果や収益をお約束するものではありません）。先行案内はこちら。