クローラに負けるな

大量な記事があるところや、データを検索して表示するサイトは、Googlebot などのクローラが回ってきたときに結構な負荷になる。で、サーバも耐えれなくなってしまったり。 そんなときには「If-Modified-Sinc … “クローラに負けるな” の続きを読む

大量な記事があるところや、データを検索して表示するサイトは、Googlebot などのクローラが回ってきたときに結構な負荷になる。で、サーバも耐えれなくなってしまったり。

クロール?


そんなときには「If-Modified-Since:」の対応したほうがいいみたい。これは常に更新がある場合には役立たないかな。

Google のこの情報みると、クロール時には、このヘッダを送ってくるみたいなので、負荷対策にもなるんだね。

Google 情報。これに対応することで、結構なトラフィック対策になるんですね。

更新が無い場合には、すんなりヘッダ返して処理おしまい。静的な情報の場合には、ウェブサーバ側で対応できているけど、動的の場合にはプログラム内から対応なのかな。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です