[Tep-j-general] Re: ある朝突然、立ち上がらなくなりました

アーカイブの一覧に戻る

hamada bungu****@leo*****
2004年 7月 28日 (水) 13:55:06 JST


こんにちわ。

On Wed, 28 Jul 2004 13:24:50 +0900
TAMURA Toshihiko <tamur****@bitsc*****> wrote:

> (謎の?)検索エンジンからの集中アクセスが原因の場合もあるようなので、
> アクセスログを確認するのもいいと思います。

あ、その可能性もありますね。毎秒数回という高密度集中爆撃を仕掛けてくる
Openbotとか、すげぇヤバい(^_^;)

今回のエラーが自サイトへの集中爆撃によって発生したのかどうか解りませんけ
ど、アクセスログで集中爆撃が確認され、サイトのルートディレクトリを触れる
のなら、ルートディレクトリのrobots.txtに

> User-Agent: Openbot*
> Disallow: /catalog/

とか書いとくといいかもしれません。

なお、robots.txtで複数のUAをブロックしたい場合は

> User-agent: Naver*
> Disallow: /catalog/
> 
> User-Agent: Openbot*
> Disallow: /catalog/

ってな感じで空行を入れとかなきゃいけないそうですので、念のため。

サイトのルートディレクトリが触れない=robots.txtが使えない場合は/catalog
に

> # Bad agent
> SetEnvIf User-Agent "dloader" BadRobot
> SetEnvIf User-Agent "SakaBot" BadRobot
> SetEnvIf User-Agent "Openbot" BadRobot
> 
> <Files *>
> Order allow,deny
> Allow from all
> Deny from env=BadRobot
> </Files>

↑こんな感じの.htaccessを置く手もありますが、クローラーが来ると死ぬほど
403エラーが出ちゃう(^^;のでrobots.txt推奨。

あと、適切にキャッシュが使える環境ならosCのキャッシュをオンにしとくと劇
的にデータベースへのアクセスを減らすことが出来るようです。

はまだ






Tep-j-general メーリングリストの案内
アーカイブの一覧に戻る