HITCrawler

HITCrawler は、軽量で使いやすい cralwer です。ユーザーより重要な web サイトは、開始 Url から最初に得ることができます。一年の時 HITCrawler 私たちの年間のプロジェクトです。次の利点がある: 1。 より重要な web サイトは最初に取得することができます。2. ユーザーは、タスクとコンピューターの構成情報に基づいて、ソフトウェアが使用するメモリを設定できます。3. 使いやすい、高速走行速度。ただし、次の欠点があります: 1. 1 つのスレッドに基づきます。クロールの速度は、マルチ スレッドの cralwer よりもはるかに遅いです。2. 私たちは、ウェブサイト、接続時間などのシードを設定することができます構成ファイルを持っていません。それらのコードを変更する必要があります。