Google と Yahoo の crawler の違いは、パワーショベルとスコップの関係
2004年07月31日
今回は、柄にもなく検索エンジン対策(SEO)の話です。サイトを立ち上げた当初は、アクセス数をアップするために、Mybloglist、Blogpeople、人気ブログランキングの定番サービスから、あまり有名でないものまで、手当たり次第に自分のブログを登録しました。あわせて、検索エンジン対策(SEO)関連の書籍も読み漁りました。私の場合は、生来飽きっぽい性格なので、一通りのことを済ますと、急に興味を失って何もしなくなると言うのは、いつものことです。アクセスアップ対策も、その例外ではなく、現在は何も考えていなくて、日々のアクセスログを解析して、対策を講じるなんてことは、何も手をつけていないのが現状です。
そうは言っても、参考にしているサイトがやっていることを真似したがる性格でもあります。それで始めたのが、Su-Jineさんの間接型ロボットチェッカーという無料サービスです。これは、Google や Yahoo などのサーチエンジンのロボットが、自分のサイトをチェックした記録を取るものです。サンプルは、 こちらにあります。導入の動機は、ロボットごときがこちらをチェックするなら、こっちもそちらをチェックするのは当然である、程度の軽い気持ちです。
このサービスを始めると、サーチエンジンロボットの仕組みそのものを、深く理解しているわけではないのですが、その訪問記録だけは気になってくるものです。毎日これといった目的もなく、チェックし続けています。これが、私のサイトのここ数日間のチェック記録です。
左から、 アクセス 日時 ホスト ロボット
2004/07/25 09:37:59 fj5000.inktomisearch.com Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
2004/07/27 09:38:01 fj5000.inktomisearch.com Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
2004/07/29 09:38:04 fj5000.inktomisearch.com Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
2004/07/30 21:48:17 crawler10.googlebot.com Googlebot/2.1 (+http://www.google.com/bot.html)
2004/07/31 09:38:07 fj5000.inktomisearch.com Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
このサイトには、Google の crawler である Googlebot は、せいぜい1週間に1度程度しか来てくれません。一方、Yahoo の Slurp の方は、几帳面にも毎朝9時38分に定時観測に来ます。その誤差も10秒以内という正確さで。 そうなると、毎日チェックしているのだから、日々刻々変化が起きているはずと考え、こちらも几帳面に、Yahoo で自分のサイトを検索することになります。その結果は、前日とほとんど変わらないことを確認します。サーチエンジンといっても、巨大なデータベースなわけで、そうそうダイナミックな更新が行われるはずはないと、頭では理解しています。それでも、すぐ結果を求めたがる性分は直らないものです。
Google と Yahoo の検索エンジンの習性の違いを知ろうと考え、今月のインターネットマガジンの特集記事を読んでみました。特集記事の101から102ページにかけて「同じロボットでも性格はまったくちがう:Yhoo! Slurp と Googlebot の特徴をつかめ」という記述があります。
インターネットマガジン 2004年9月号ヤフーを制すればアクセスを制す?
特集1では、検索エンジンを独自システムのYSTに切り替えたYahoo! JAPANについて解説する。YSTへのシステム変更により重要となってくる、ウェブ管理者が押さえておきたいSEO対策、SEM手法からGoogleとの比較まで “これから”の検索エンジン攻略法をまとめてみました。日本最大のアクセス数を誇るヤフーの検索エンジンに最適化して、さらに多くのアクセスを稼ごう。
以下に記事の中から、該当部分を抜粋します。
徹底追及個人情報流出事件
公認会計士が冬の時代?
ロースクール広告特集
独立コンサルタント・個人事業主・フリーランス・独立希望者のための『インディペンデント・コントラクターズ・フォーラム2004(略称:ICF2004)』
日経ビジネス
Weekly AERA 2004年7月19日号