クローラーログ入門：インデックス漏れの見つけ方

大規模サイトでは、XMLサイトマップと実際のクロール行動が一致しないことがあります。本稿では、提供される匿名化ログサンプルを使い、ステータスコードとURLパターンで漏れを特定する方法を解説します。

まず、404/5xxの急増日を特定し、リリースやリダイレクト変更と照合します。次に、重要テンプレート（製品、事例、ホワイトペーパー）ごとにクロール頻度を比較します。頻度が極端に低いパターンは、内部リンクまたはサイトマップの問題が疑われます。

ログ解析は、Screaming Frogのクロール結果とセットで見ると誤判定が減ります。単独では「クロールされていない＝インデックスされていない」とは限らないため、Search Consoleのインデックスレポートで確認してください。

エンタープライズ向けの詳細は、「テクニカルSEO実践ラボ」および「エンタープライズSEOオペレーション」で扱います。