Googleにインデックスされないことはウェブサイトやオンラインプレゼンスにとって大きな問題となります。
Googleにインデックスされないと、検索結果に表示されず、関連するキーワードで検索されたユーザーにサイトが表示されません。
このことは、
A．新しいコンテンツの発見が遅れる
B．競合他社に対する競争力の低下
C．オンライン可視性の低下
D．ビジネスやブランドの信頼性の低下
などのデメリットがあります。
インデックスされない原因と対応策
googleがインデックスできない要因はgoogleのヘルプに以下のように書いてあります。
- サイトがウェブ上の他のサイトから十分にリンクされていない。
- 新しく立ち上げたばかりのサイトで、Google がまだクロールできていない。
- サイトのデザイン上の問題により、Google がコンテンツを効果的にクロールできない。
- Google がサイトをクロールしようとした際にエラーが発生した。
- サイトのポリシーによって Google によるサイトのクロールをブロックしている。
これらにはそもそもと言いたくなるものもあります。具体例として以下が挙げられます。その対応策も紹介します。
１．リンク導線が無い
クローラはリンクを辿ってURLを発見します。どことも繋がりが無ければ見つけようがありません。自分のサイトはもちろん、外部ドメインからのリンクでもリンク遷移ができればクロールできます。
対応策：自サイト、別ドメインにリンクを設置する。
２．サイトの速度
ページの読み込みが遅い場合、Googleはそのページをインデックスしない可能性があります。
対応策: ページの読み込み速度を向上させるために、画像の最適化、キャッシュの活用、コンテンツデリバリーネットワーク（CDN）の利用など、適切な対策を講じます。
３．クロールバジェット上限
Google がサイトのクロールに費やす時間とリソースは、通常、サイトのクロールバジェットと呼ばれます。各ドメイン別にクロールバジェットが割り振られています。サイトの応答が遅くなった場合やサーバーエラーが返された場合はクロール頻度の上限が下がり、Googlebot によるクロールが減ります。
対応策：ページの表示速度の改善、アクセスの改善によりバジェットは増加すると考えられます。また、無駄なページをクロールさせないようにすることも重要です。ソフト404のようなエラーは発生させないようにします。
４．サイトの品質
Googleは高品質のコンテンツを好みます。コピーされたコンテンツ、スパム的なコンテンツ、または低品質なコンテンツが含まれている場合、Googleはサイトをインデックスしないかもしれません。
対応策: 高品質でオリジナルなコンテンツを提供し、ウェブマスターツールで検索品質のガイドラインに従ってサイトを最適化します。
５．クローラブロック
robots.txt ファイルでクローラに対してアクセスを制限している場合、Googleはそのサイトをクロールできません。robots.txtを確認し、不要な制限を解除するか、必要なページへのアクセスを許可してください。
対応策: robots.txt ファイルを適切に設定し、Googleのクローラがサイトを訪れられるようにします。
６．メタタグの設定
サイトのメタタグが正しく設定されていない場合、Googleはページを正しくインデックスできません。特に <meta name=”robots” content=”noindex”> のような設定がされていないか確認してください。
対応策: メタタグを正しく設定し、Googleにインデックスすることを許可するようにします。
７．サイトマップの提出
サイトマップが提出されていない場合、または不正確な場合、Googleはサイトを正しくクロールできない可能性があります。
対応策: Google Search Consoleなどを使用してサイトマップを提出し、正確で最新の情報を提供します。
またこのほか、Google Search Consoleからインデックスのリクエスト送信もできますがあまり効果は望めません。
2021年ごろからインデックスされずらくなっている
これは私の肌感覚にもなりますが、2021年ごろから確実にインデックスされるスピードは遅くなってきていますし、インデックスの難易度が上がっているように感じます。
下層ページでクロールが進まないと思ったら前述のことを確認してください。
ＳＥＯでわからないことがありましたらお問い合わせからご質問下さい。
