「検索してもうちのサイトが出てこないんですけど」
とあるお客様のサイトを公開した翌日、こんな電話を受けたことがあります。
むしろ１回ではなく何度か経験があります。
インターネット上にページを公開すると、インターネットに繋がっていれば確認することができるため大変便利です。
サイトの公開まで打ち合わせを重ね、ひとつずつ形にしていった物がオープンすると、早速ホームページを検索したくなる気持ちもわかります。
ですが、ここで大切なことがひとつ。
「検索される状態にないと、検索しようにも出てきません」
つまり、どういうことかといいますと。
電話帳でとあるお店の番号を調べようと思ったけれど、調べても調べても出てこない。
原因は、そのお店が電話帳に電話番号を掲載していなかったから。
そりゃ出てこないよ！と思うでしょう。
同じことがインターネットの世界でも当てはまります。
ページを公開しても、直後では検索に出てこない。
つまり、この状態では「電話帳（検索システム）に掲載されていない」状況だと言えます。
検索システムに認識されることを「インデックスされる」といい、サイトやページが検索システム（例えばGoogle）に認識されて初めて検索するとヒットするようになります。
サイトを公開しても検索に出てこないんだけど、の原因がここにあるのです。
※上位表示されない、という場合はまた別の要因です。
では、「いつインデックスされるの？」という疑問が生まれますね。
検索システムは日々プログラムを動かしインターネット上に新しいページがないか、情報が更新されたページはどこか探しています。
このインターネット上で新しいページを探しているプログラムのことを「クローラー」と呼び、クローラーがサイトに訪れてデータを確認して初めて「あ、ここにサイトがあるぞ」と認識されるわけです。
そしてサイトのデータがデータベースに登録された後、初めて検索から利用できるようになるのです。
そのために、まずはクローラーに自分のサイトを認識してもらう必要があるのです。
クローラーのクロールタイミング
記事やサイト、ページの内容によって異なりますがクローラーがやってくる頻度はまちまちです。
早いときは数時間でインデックスされていたりしますし、長いときは2～3週間待ってやっとインデックスされるということもあります。
Googleの中の人の発表では「2、3ヶ月かかるかもしれないし2、3日かもしれない。それは更新の内容によるし量にもよる」とのこと。
そのため、明確に「○日でインデックスされます！」ということは言えない（正確には、わからない）のです。
これは弊社でも、他の制作会社さんやSEO業者さんでも同様でしょう。
大まかな目安と予測値は考えることができるものの、正確な日数やタイミングはわかりません。
クロールされやすいサイト作り
さて、このインデックスのためのクローラーは、サイト内のリンクを辿ったり、Search Consoleからの通知によって様々なサイトを巡っていますが、全てのサイトやコンテンツをクロールするわけではありません。
サイトが表示されるまでにとても時間がかかるサイトだと、クローラーがクロールを諦めてしまったりすることもあります。
また、noindexやrobot.textなどクローラーに対する指示によりクロールをしない場合もあります。
複雑な階層や大きすぎる画像、構成などクローラーが見にくい仕様は避けた方が良いでしょう。
また、そういったサイトは人間の目にも優しくないサイトであることが多いため、ユーザーのためにも避けた方が良いですね。
クローラーを呼び込むには？
しかし、せっかく公開したサイトですからきちんとクローラーを呼んで検索に出てほしい！
そのための手段として、サイトを更新する、例えば日記やコラムなどの記事を更新するなどが挙げられます。
その他にもサーチコンソールの中にあるFetch as Google（フェッチアズグーグル）を活用したURLの送信という方法もありますが、ご存知でしょうか？
ページを公開したけれどなかなかインデックスされない時、どうもクローラーが来ていないような時、クローラーを呼び込むリクエストを送ることができます。
※送信すれば必ずインデックスされる！というわけではありません。
Fetch as Googleが消えた・・・・！？
以前まで、サーチコンソール内のFetch as Googleから新しいページのURLを申請することができました。
しかし、新しいSearch Consoleではその仕組みが見当たりません。
Fetch as Googleが消えた！？
大丈夫、URL検査から同様のリクエストを送信することができます。
検索ボックスの中にURLを入れ、検査。
登録する場合は「インデックス登録をリクエスト」をクリックします。
説明文が無いので一見するを分かりにくいかもしれませんが、Search Consoleにログインしていればどこのページからでも申請ができるので、これはこれで便利です。
クローラーとSEO
さて、ここまでサイトを公開してから検索システムの世界では何が置きているのかというポイントをまとめました。
- サイトやページを公開した直後に、検索ではヒットしない。
- 検索にヒットさせるためには、「インデックスされること」が重要
- インデックスされるためには「クローラー」を呼び込む事が必要
- 大きすぎる画像は使わない
- クローラーを呼ぶフェッチアズグーグル（URL検査）も活用する
「いつクローラーが来るか」、「いつインデックスされるのか」など更新の内容やサイトの要素に左右される部分があるのも重要なところです。
サイトを公開したり修正したときにはうまく活用して、まず検索に自分のサイトがヒットする状態をつくりましょう。
その後、検索順位を向上させるSEOやコンテンツマーケティングなどの分野へと広がって行くのです。