クローラーのUser-Agentを設定ファイルに書いておくと、クローラーからのアクセスが判別でき、PIやアプリケーションでクローラー向けの処理を書くことができます。
●クローラーグループの設定
クローラーグループを設定するファイルはCSV形式のテキストファイルです。
クローラーグループ名,ユーザーエージェントパターン
ユーザーエージェントパターンの比較方法に関する詳しい解説については「開発リファレンス」を参照してください(デベロッパーコネクションにて公開中)。
ラウンドアバウトには以下のクローラーグループが予め設定されています。サイト開発者で追加・変更も可能です。CSV形式なのでExcelなどを利用して簡単に編集できます。
crawlerFroute,*symphonybot1.froute.jp crawlerGoo,*ichiro/mobile goo crawlerGoogle,*Googlebot-Mobile crawlerLivedoor,*LD_mobile_bot crawlerMbga,*moba-crawler crawlerMsn,*MSNBOT-MOBILE crawlerRakuten,*RFCrawler-Mobile crawlerYahoo,*Y!J-MBS crawlerYahoo,*Y!J-SRD
●クローラーグループ名の利用
クローラーグループ名をユーザー端末グループの設定ファイル内で使うこともできます。
(クローラーグループをまとめて一つにグルーピングする)
crawler { <?ra device-group="crawlerFroute|crawlerGoo|crawlerGoogle|crawlerLivedoor|crawlerMbga|crawlerMsn|crawlerRakuten|crawlerYahoo" ?> }
(トラッキングパラメータやセッションIDなどが重複コンテンツのURLを正規化する)
<?ra device-group="crawler" ?><link rel="canonical" href="http://www.symmetric.co.jp/" />
このようにHTML上のPIにユーザー端末グループを使っておけば、将来クローラーの種類が増えたりUser-Agentが変わっても、各HTMLのPIに修正を加えることなく、クローラーグループ設定とユーザー端末グループの設定の変更だけで対応することができます。
0 コメント:
コメントを投稿