Google と Yahoo の crawler の違いは、パワーショベルとスコップの関係: 実践ビジネス発想法

今回は、柄にもなく検索エンジン対策（ＳＥＯ）の話です。サイトを立ち上げた当初は、アクセス数をアップするために、Mybloglist、Blogpeople、人気ブログランキングの定番サービスから、あまり有名でないものまで、手当たり次第に自分のブログを登録しました。あわせて、検索エンジン対策（ＳＥＯ）関連の書籍も読み漁りました。私の場合は、生来飽きっぽい性格なので、一通りのことを済ますと、急に興味を失って何もしなくなると言うのは、いつものことです。アクセスアップ対策も、その例外ではなく、現在は何も考えていなくて、日々のアクセスログを解析して、対策を講じるなんてことは、何も手をつけていないのが現状です。

そうは言っても、参考にしているサイトがやっていることを真似したがる性格でもあります。それで始めたのが、Su-Jineさんの間接型ロボットチェッカーという無料サービスです。これは、Google や Yahoo などのサーチエンジンのロボットが、自分のサイトをチェックした記録を取るものです。サンプルは、こちらにあります。導入の動機は、ロボットごときがこちらをチェックするなら、こっちもそちらをチェックするのは当然である、程度の軽い気持ちです。

このサービスを始めると、サーチエンジンロボットの仕組みそのものを、深く理解しているわけではないのですが、その訪問記録だけは気になってくるものです。毎日これといった目的もなく、チェックし続けています。これが、私のサイトのここ数日間のチェック記録です。

左から、　アクセス日時ホストロボット

2004/07/25 09:37:59 fj5000.inktomisearch.com Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

2004/07/27 09:38:01 fj5000.inktomisearch.com Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

2004/07/29 09:38:04 fj5000.inktomisearch.com Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

2004/07/30 21:48:17 crawler10.googlebot.com Googlebot/2.1 (+http://www.google.com/bot.html)

2004/07/31 09:38:07 fj5000.inktomisearch.com Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

このサイトには、Google の crawler である Googlebot は、せいぜい１週間に１度程度しか来てくれません。一方、Yahoo の Slurp の方は、几帳面にも毎朝９時３８分に定時観測に来ます。その誤差も10秒以内という正確さで。そうなると、毎日チェックしているのだから、日々刻々変化が起きているはずと考え、こちらも几帳面に、Yahoo で自分のサイトを検索することになります。その結果は、前日とほとんど変わらないことを確認します。サーチエンジンといっても、巨大なデータベースなわけで、そうそうダイナミックな更新が行われるはずはないと、頭では理解しています。それでも、すぐ結果を求めたがる性分は直らないものです。

Google と Yahoo の検索エンジンの習性の違いを知ろうと考え、今月のインターネットマガジンの特集記事を読んでみました。特集記事の101から102ページにかけて「同じロボットでも性格はまったくちがう：Yhoo! Slurp と Googlebot の特徴をつかめ」という記述があります。

インターネットマガジン　2004年9月号
ヤフーを制すればアクセスを制す？
特集1では、検索エンジンを独自システムのYSTに切り替えたYahoo! JAPANについて解説する。YSTへのシステム変更により重要となってくる、ウェブ管理者が押さえておきたいSEO対策、SEM手法からGoogleとの比較まで　“これから”の検索エンジン攻略法をまとめてみました。日本最大のアクセス数を誇るヤフーの検索エンジンに最適化して、さらに多くのアクセスを稼ごう。

以下に記事の中から、該当部分を抜粋します。

Yahoo! Slurp と Googlebot のアクセス動向を次に示す。

ロボットページビュー平均ページビュー最大ページビュー

Yahoo! Slurp 36,570 1.7 2.6

Googlebot 316,141 226.1 374.1

対照的な結果となっているが、これは同じサイトでの分析結果だ。ヤフーは訪問１回あたり１．７ページしか見ていない。一番ゆっくり見ていった日でも平均２．６ページとなっている。一方でグーグルは訪問回数１回あたり平均226ページも見ていた。これはこの例が大企業で、ニュースコーナーだけでも非常に大きいためだが、もっともディープにクロールした日は、１回訪れて374ページも見ていた。

現在ヤフーは大人数（といってもロボットだが）で押しかけて巡回している印象だ。「グーグルに追いつこうとしている」というのは少しうがった見方だろうか。昆虫にたとえるなら、アリの大軍が、大きな荷物を運ぼうと大挙してやってきたような印象だ。

グーグルは10～30のロボットが、情報の受け渡しをしながら、入れ替わり立ち替わり訪れて必要なものを運んでいく。アリに対してハチが蜜を集めに仲間に情報を発信しながら動いている感じと言えよう。

確かに、各々の検索エンジンの性格の違いはよく分かりました。表現としては、アリとハチの対比と言うよりも、スコップとパワーショベルの違いと表現した方が、分かりやすいと思います。それでは、その対策はどうするのかというのが、当然気になるところです。

（グーグルの場合）しっかりディープクロールされるのは月に１回程度なので、その更新のタイミングに間に合うようにサイトを更新したい。

と書いてあります。それじゃ、次回の訪問時となる「そのタイミング」はどうやって予想することができるのでしょうか。そのヒントになるようのことは、この記事中には見つかりません。私自身の経験からも、グーグルの方は訪問に一定の周期性が発見できていません。どなたがご存知の方がいらっしゃったら、是非とも教えていただきたいものです。

これで終わってしまうと、せっかくここまで読んでいただいた方に、何ら有益な情報を提供できないことになっていまいます。そこで、他の箇所から若干でも、Yahoo のＳＥＯ対策につながりそうなものをピックアップしてみました。

Yahoo は、META タグは有効（特に、descrption と　keywords）
Yahoo は、サイトを引っ越して、新しいURLにリダイレクトするようにしても、、旧URLを登録し続ける問題がある
それ以外のＳＥＯ対策は、Yahoo も Google もほぼ大差なし

まだ、雑誌全体を読みきっていないので、それ以外に注目すべきところがあれば、あらためてご報告します。

★この記事が面白いと思った人は『人気ブログランキング』をクリックしてもらえるとハッピーです。

【アクセスアップに役立つ本】

ホームページアクセスアップ完全計画
―検索エンジンからのリンクがどんどん増える!
水野貴明 (著)
SEO(検索エンジン最適化)やアクセス解析サービスを駆使して、あなたのホームページを人気サイトにする絶対必須テクニックを大公開。人が集まるようにするための一工夫を使って、めざせ、千客万来、アクセス激増!