「検出 – インデックス未登録」と「クロール済み – インデックス未登録」をサーチコンソール上で大量発生しているのを見たことはありませんか？
動的に生成しているＵＲＬがあるサイトでは、よくみかける光景だと思います。
今回は、なぜ「検出 – インデックス未登録」と「クロール済み – インデックス未登録」が発生するのか、その違いは何か、対応策として何ができるのかを解説していきます。
検出 – インデックス未登録とクロール済み – インデックス未登録とは
インデックスは、クローラがＵＲＬを発見⇒クロール⇒インデックス の順番で進みます。
厳密にいうと、URLを発見後⇒リストアップ⇒そのリストにあるＵＲＬをクロールとなります。発見とクロールは同タイミングで行っていると勘違いさせている方が結構いますが、実は別タイミングで行う別動作なのです。
「検出 – インデックス未登録」と「クロール済み – インデックス未登録」とは何か？その違いは何か？簡単には以下の通りです。
- 検出 – インデックス未登録:
- ウェブサイトやページが検索エンジンによって検出されたが、まだインデックスに登録されていない状態です。
- クロール済み – インデックス未登録:
- ウェブサイトやページが検索エンジンによってクロールされ、コンテンツが確認されたが、まだインデックスに登録されていない状態です。
| エラー内容 | URLを発見 | クロール | インデックス |
| 検出 – インデックス未登録 | 〇 | × | × |
| クロール済み – インデックス未登録 | 〇 | 〇 | × |
さらに、あるタイミングで増えたり減ったりしている事ありませんか？
googleは年に１，２回クロールを一斉に実施することがあります。その際に一気にインデックス数量が増えるのですが、その後減少します。
これは、一度クロールするものの後述の原因からインデックスしないと割り振られてしまうからです。
サーチコンソールを使用して状況をモニタリングし、必要に応じて対策を講じることが重要です。
考えられる原因
「検出 – インデックス未登録」や「クロール済み – インデックス未登録」の状態が発生する原因は様々ですが、以下が考えられる原因です。
処理の遅延: クローラがウェブサイトやページのクロールを時間や容量、サーバー負荷の問題等を理由に処理を遅らせる事があります。
クロールの制限: robots.txtやメタタグなどでユーザー側がクロール制御をかけていることがあります。
検索エンジンアルゴリズムの変更: 検索エンジンがアルゴリズムを変更し、特定のページを優先的にインデックスに登録する際に遅延が発生することがあります。これは検索エンジンの最適化の一環として行われる変更です。
コンテンツの品質: クロールされたページが十分なコンテンツや重要な情報を提供していない場合、検索エンジンはそのページを優先的にインデックスに登録しない可能性があります。
検索エンジンのキャッシュ: 検索エンジンがウェブページのキャッシュを使用している場合、クロールされた最新のバージョンがまだキャッシュに反映されていない可能性があります。
これらの原因に対処するためには、ウェブマスターツールを使用してエラーメッセージや警告を確認し、必要に応じてサイトマップを提出したり、クロールの優先度を高めるためにコンテンツの品質を向上させたりすることが役立ちます。
検出 – インデックス未登録とクロール済み – インデックス未登録の対応策
「検出 – インデックス未登録」と「クロール済み – インデックス未登録」は、ウェブサイトやウェブページが検索エンジンによってクロールされたものの、まだインデックスに登録されていない状態を示しています。これを解決するためには、以下の手順を検討してみてください。
事前に確認すること（そもそも物）
うっかり忘れてしまいがちな項目として以下のことがあります。まずはこちらを確認してください。
- robots.txt ファイルの確認: ウェブサイトの robots.txt ファイルを確認して、クロールがブロックされていないことを確認してください。このファイルによって、クローラーがアクセスできる範囲が指定されています。
- メタタグの確認: ウェブページのHTMLには、クロールやインデックスの設定を指定するためのメタタグがあります。
<meta name="robots" content="noindex, nofollow">というようなインデックスをそもそもさせない記述をしていないか確認します。 - リンク導線が無い:クローラがインデックスするためには、インデックスさせたいＵＲＬへ辿りつかなくてはなりません。クローラはリンクを辿るのでそのリンク導線を結ぶ必要があります。
技術的な対応策
サイトマップの提出: ウェブサイトのサイトマップを作成し、それを検索エンジンに提出します。これによって、検索エンジンはウェブサイト全体の構造を理解し、すべてのページをクロールしやすくなります。
コンテンツの質と重要性: クロールされたページが十分なコンテンツを持ち、検索エンジンにとって重要であることを確認してください。質の高いコンテンツは、検索エンジンによってより早くインデックスされる可能性があります。
ページの品質向上: ページの品質向上やユーザーエクスペリエンスの改善は、検索エンジンランキングにも影響を与えます。サイトが信頼性があり、良いユーザーエクスペリエンスを提供することで、検索エンジンによって評価されやすくなります。
ページスピードの改善:ページスピードを改善することによりページ容量を減少、またはクロールへの負荷を減らすことができます。負荷が減った分、他のURLをクロールすることができるようになります。
無駄クロールの削減:無駄なクロールをさせないことで、負荷を削減することができます。特にソフト404のような必要のないページなのにステータスコード200で返してしまっているようなページ、検索数が0件のページ等は404に変える等の改修が必要です。
アクセスを稼ぐ:アクセスが全くないＵＲＬは、クローラから重要性が低いと判断されます。評価が低ければインデックスする必要が無いと判断されてしまう可能性が高くなります。よってユーザーがアクセスしやすいような内部リンク導線や外部リンク導線を用意してアクセスさせやすくします。
サーバーのスペックＵＰ:クローラはサーバー負荷も考えてクロールをしています。サーバーのスペックが高ければ、その分不可耐久力も高くなるためクロール量が増える可能性があります。
時間の経過: クロール済みであるがインデックスに登録されていない場合、検索エンジンがデータを処理するまで時間がかかることがあります。しばらく待ってみて、状況が改善されるかどうかを確認してください。
通常、これらを実施しても翌日に改善という事はありません。1ヶ月以上経つことはよくあります。私の場合1年近くかかったものもありました。
一回の数字の変化に一喜一憂するのではなく、継続的な改善を目標に長期的に見ることをお勧めします。
追記：コンテンツの価値を上げるには以下の通りとgoogleは案内をしています。↓↓
<興味深く有益なサイトにする>
検索結果での存在感を高めるには、魅力的で役立つコンテンツを作成することが、このガイドで説明している他のどの方法よりも有効であると考えられます。魅力的で、役に立つコンテンツといっても、その意味は人によって異なりますが、一般的には以下のような点で共通しています。
- 文章が読みやすく、よく整理されている: 文章をよく練り、わかりやすく自然な言葉を使い、誤字脱字や文法的な誤りをなくします。長い文章は段落や章などに分け、全体を見通せるように見出しを付けてください。
- コンテンツに独自性がある: 新規のコンテンツを作成する際は、たとえ一部であっても他人のコンテンツをコピーしないでください。ご自身の知識に基づいて、自分で作成してください。誰かが公開したコンテンツの焼き直しはしないでください。
- コンテンツが最新: 公開済みのコンテンツを確認し、必要なら更新し、的外れになったら削除します。
- コンテンツが有用で信頼性が高くユーザーを第一に考えている: 読者から役に立ち信頼できると思われるようなコンテンツを作ってください。たとえば、専門知識や豊富な経験を持つ情報発信者が書いた記事であれば、記事の専門性を理解してもらえます。
となります。ただ動的に生成される検索結果一覧のようなページでこれらを満たすとなるとなかなか難易度が高いと思います。ユニーク性を考えたＤＢ項目を作るという事ができると解決できるかと思います。
