ページが検索結果とAIの回答に届くまで
クロール、インデックス登録、回答生成は別々の段階である。ページが見つからない、または誤って引用される原因を段階ごとに分け、サイトで直す箇所と外部で観測する結果を定める。
同じページが画面・検索・AIの回答で違って見える理由
ブラウザーでは利用案内が見えていても、検索結果には出ないことがある。検索には出ても、AIが古い時間表を答えることがある。画面の生成、文書の収集、質問に合う資料を選んで答える処理は、それぞれ別の段階で行われるからだ。
架空の図書館サイトを例にする。最新の案内には日曜日の開館時間があるが、サーバーの最初の応答には読み込み中の表示しかなく、詳細記事の正規URLはホームを指している。以前の時間表には適用期間がない。本文の配信、文書のアドレス、事実の有効時点に、それぞれ問題がある。この三つを分ければ、どのコードと原稿から直すかを決められる。
この状態でタイトルに「日曜日」を増やしても、サーバーが送る本文は空のままだ。本文を埋めても、古い時間表に適用期間がなければ、現在の質問に過去の事実を使う混乱が残る。本文の配信を直せば読める資料ができ、アドレスを直せば資料を識別する場所が定まり、期間と例外を書けば質問に合う事実を選ぶ手掛かりができる。それぞれの変更が作用する段階は異なる。
クロール・インデックス登録・検索結果・AI引用の違いを理解する
SEO(Search Engine Optimization)は、文書を必要とする人が検索を通じて発見し、理解し、利用できるよう、コンテンツとサイトを構成することだ。GEO(Generative Engine Optimization)は、生成型検索・回答における資料の発見と利用を扱う。AEO(Answer Engine Optimization)は、質問に必要な答えが選ばれ、届けられることに焦点を当てる。三つの範囲は重なり、提供者がすべて同じ名称や指標を使うわけではない。まず読者の質問とサービスの目標を定め、アクセス・本文・出典を実装してから実際の結果を観測する。
クローラー(crawler)またはボット(bot)は、アドレスをたどって文書を自動でリクエストするプログラムだ。クロール(crawling)は、そのプログラムがページやリソースを取得する過程を指す。レンダリング(rendering)は、HTMLとデータから画面の構造を作る過程だ。JavaScriptで本文を作るページでは、取得後にコードの実行や追加データのリクエストが必要な場合がある。
インデックス登録(indexing)は、検索システムが取得した文書の内容とアドレスを処理し、検索に使う資料として保存する過程だ。ランキング(ranking)は、検索語に応じて結果の順序を決める過程だ。クロールに成功しても、重複URLの選択や内容の処理結果によって登録状態は変わりうる。サイトではアクセス・本文・正規URLを直し、実際の登録状態は検索ツールで確認する。
AIの引用(citation)は、回答が根拠としてリンクした文書を指す。言及(mention)はサイトや人物の名前が出た場合で、出典リンクがないこともある。回答の適合性は、答えが質問の対象・時点・条件に合うことを意味する。日曜日の開館時間を尋ねたのに平日の時間表を引用した場合、出典へのリンクはあっても質問に合う答えではない。
学習済みの知識と検索で取得した資料を区別する
言語モデルは学習で得た情報を使って文章を生成できる。いまウェブページを修正しても、そのリクエストだけで学習済みモデル内部の知識が更新されるわけではない。ウェブ検索や資料取得ツールを使う回答は、リクエスト時に外部資料を取得して利用できる。
検索拡張生成(RAG、Retrieval-Augmented Generation)は、質問に関連する資料を検索し、モデルへの入力に加えて答えを生成する構成だ。一般の検索エンジン、サイト内インデックス、分割した文書などを検索に利用できる。チャンク(chunk)は検索に使うために分割した文書の断片、埋め込み(embedding)は資料の特徴を数値で表したものだ。独自のRAGを構築する際は、文書構造と検索結果を比較してチャンクの大きさと保存方法を決める。利用案内を外部に提供する際は、日曜日の時間・休館の例外・現行案内へのリンクをHTML本文に置く。
独自のチャットボットは、サイトが管理する検索用ストレージから資料を取得する。記事を公開・撤回するときは、このストレージも更新する必要がある。外部AIサービスは独自の収集・検索経路から資料を取得するため、サイト側のストレージを更新した時点と、回答に新しい内容が現れる時点は異なる場合がある。
AIが回答にリンクを付けても、その資料が主張全体を裏付けるかどうかは別に読む必要がある。検索対象に入ったか、出典に選ばれたか、出典の条件と日付を正しく使ったかを、それぞれ観測する。Googleの生成型検索ガイドは、アクセス可能な内容・本文情報・検索要件を扱っている。
外部検索を使うAIの回答を改善するには、サイトの公開文書がその検索・取得経路に入る必要がある。例えば休館日をCMSにだけ保存して公開本文に出力しなければ、ページを取得したツールにも休館日は伝わらない。公開本文に出力した後、取得された文書と引用箇所にその文があるか確認する。独自のRAGでは、検索用ストレージの更新と取得チャンクの確認も加わる。
検索・根拠との接続・文章生成で生じる違いを理解する
検索(retrieval)は、保存済みの候補から質問に関係する資料を取り出す段階だ。関連性(relevance)は、質問と資料がどれほど合うかを指す。キーワード検索は表現の一致、ベクトル検索は埋め込みで表された類似性を使える。再ランキング(reranking)は、取得した候補を追加の基準で並べ直す段階だ。独自のRAGでは、まず必要な文書が検索結果に含まれるかを確認し、含まれていても順位が低い場合に再ランキングを検討する。
groundingは、回答を確認可能な資料に結び付けることを指す。Googleは生成型検索について、検索インデックスから資料を取得するRAGと、関連する検索語を生成するquery fan-outを説明している。例えば「子どもと今度の日曜日に図書館」なら、開館時間・休館日・子ども向けプログラムをそれぞれ確認できる。Googleの生成型検索ガイド
モデルが一度に参照できる入力の範囲をコンテキストウィンドウ(context window)と呼ぶ。検索ツールが文書の一部だけを取得する場合もある。「第1日曜日を除く」が別の段落にしかなければ、「日曜日10〜17時」を取得した資料から例外が抜けることがある。「日曜日は10〜17時開館し、第1日曜日と祝日は休館」のように答えと条件を近くに書けば、一緒に読める。独自のRAGなら、実際に取得されたチャンクに両方の情報が残るか検査する。
ハルシネーション(hallucination)は、もっともらしくても事実や資料に基づかない内容を生成する現象だ。出典を検索しても、異なる年の料金を混ぜたり、例外を落としたりする場合がある。名前の言及、実際のリンク引用、引用が主張を支えるか、答えが事実に合うかを分けて検査する。RAGの原論文とALCEの引用評価研究は、検索と生成、回答と引用を区別して読む出発点になる。
検索・回答ツールが読む資料は、HTML本文、画像、動画、フィードに分かれていることがある。本文には「第1日曜日休館」とあるのに、共有した動画の冒頭には「日曜日開館」としかなければ、取得した資料によって答えが変わる。原文と例外、動画の該当区間を結び付けると、読者は回答の根拠をたどれる。動画区間と根拠の作成で、この接続を実装する。
小さい写真を配信する処理は、訪問者が資料を見るまでの時間を短くする。記事に写真のアドレスと説明を付ける処理は、その写真がどの記事に属するかを伝える。新しい記事をフィードで提供する処理は、購読ツールが新しいアドレスを発見できるようにする。三つの作業は、配信速度・資料の解釈・発見経路で、それぞれ異なる問題を解く。画像の実習とフィード生成で、リクエストと結果を比較する。
作業目標を質問とページで書く
まず利用者が答えを求める質問を書く。図書館の案内サイトなら「日曜日も開いているか」「貸出申請にどの書類が必要か」「昨年告知された利用料はいまも同じか」のように、実際の利用目的を書く。各質問に、答えを提供するURLと判断の根拠を対応させる。答えるページがなければコンテンツ作成の課題となり、ページはあるのに読めなければアクセス・レンダリングの課題になる。
利用時間の案内を改善するなら、現行の開館時間と休館の例外を本文に書き、根拠へのリンクを付ける。応答HTMLでその内容と正規URLを確認する。デプロイ後は検索ツールでそのURLの登録状態を読み、AIの日曜日の利用案内がこの文書を引用し、休館の例外まで説明するか確認する。
同じ質問を検索結果と回答で比較する
「2026年11月1日に架空の図書館へ行けますか」という質問を基準に比較する。11月1日は第1日曜日であり、実習用の開館案内は第1日曜日を休館としている。通常検索で開館案内のリンクを見つけること、強調された回答で休館案内を読むこと、生成型回答が日付を計算して休館と答えることは、それぞれ別の結果だ。
SEOは、検索で文書を発見して利用する過程全体を扱う。AEOは質問に必要な答えが選択・表現される側面を強調し、強調スニペットや音声回答にも使われる表現だ。GEOは生成型回答で資料が選択・引用・使用される側面を強調する。一つのページの開館時間と休館日を直すと、三つの作業に同時に影響しうる。
Googleは、AEO・GEOと呼ばれる作業もSEOの延長として説明している。生成型検索にも、クロール可能な本文・インデックス登録・スニペット表示の要件が適用される。開館案内なら、日曜日の時間と休館の例外を一緒に書くことで、日付を指定した質問に答える資料になる。Googleの生成型検索ガイド
用語を引き直すための表
初めて読むときは意味を確認し、実装するときはリンク先ノートの例と結果を一緒に読む。表の用語は作業目的ごとにまとめた。
概念を適用するときは、検索意図, 文書と時間, 実装, URLとクロール, コンテンツと出典, 検索観測, AI評価の例へ進む。