ダウンロードリスト

プロジェクト概要

Ebot は拡張性と distribuited の Web クローラーです。Url が、NOSQL データベース (マップまたは軽減のクエリをサポートしています) に保存されますも HTTP 要求またはお好みのプログラミング言語を使用してを通じてクエリできること。分析対象とする必要がある Url は、AMQP キューに送信されます。この方法でいくつかのクローラーが並列で実行し停止および Url を失うことがなくそれらを起動することが可能です。

システム要件

システム要件が設定されていません
プロジェクトのリリース情報やプロジェクトリソースの情報です。
注: プロジェクトリソースの情報は Freecode.com ページからの引用です。ダウンロードそのものは、OSDNにホスティングされているものではありません。

2010-12-30 13:03
0.9

より良いアーキテクチャをプラグインです。画像のURLとHTMLページのタイトルを保存するための新しいプラグイン。
A better plugin architecture. New plugins for saving image URLs and titles of HTML pages.

2010-12-18 18:59
0.8

このリリースでは、rabbitmq(2.2.0)とcouchbeamの最新情報に更新されました。いくつかのバグが修正されました。
This release was updated to the latest releases of rabbitmq (2.2.0) and couchbeam. Some bugs were fixed.

2010-09-18 07:05
0.7

ErlangのR14Aとの互換性。 Debianのテストでテストされています。
Compatibility with Erlang R14A. Tested with Debian Testing.

2010-08-27 07:24
0.6

最新の(開発)との互換性が必要なライブラリとソフトウェア(rabbitmq、CouchDBは、webmachine、riakなど)のリリース
Compatibility with the latest (development) releases of required libraries and software (rabbitmq, couchdb, webmachine, riak, etc.)

2010-06-20 23:18
0.5

優れたスケーラビリティ、新しいAMQPのキューは、(.* .* .* ebot.refused .*)とクローラ(ebot_web古いコア)ebot.completed現在、2つの異なる並列モジュールで分割されてebot.fetched ebot.newを使用している/プロセス(ebot_htmlとebot_web)。
For better scalability, new amqp queues are used (ebot.new.* ebot.fetched.* ebot.completed.* ebot.refused.*) and the old core of the crawler (ebot_web) is now split in two different and parallel modules/processes (ebot_html and ebot_web).

プロジェクトリソース