ubicast Crawler（ユビキャストクローラー）とは

ubicast Crawler（ユビキャスト クローラー）はubicastが開発したクロールエンジン(webクローラー)です。

クロールとはHTMLスクレイピングとも呼ばれWebサイトのHTML等から必要な情報を取得する技術です。

指定したURLにクローラーと呼ばれるプログラム（ロボット）がアクセスし、HTMLやFlash等のコンテンツを解析（HTMLスクレイピング)しリンク先を辿ったり、ページに含まれるテキストや画像ファイル等を取得します。取得された情報は構文解析や形素解析を行い、分類されDBに保管されます。定期的に指定したURLにアクセスすることで差分情報を検知し、変化をメールやRSSを利用して通知します。蓄積したデータは差分のみを保持しますので取得した情報の最小化を行えます。

情報を取得するだけでなく予め設定した入力作業を行うこともできます。ブラウザをインターフェースとした情報登録サイトなどへDB内に格納された情報を投稿できます。認証ページでは、人手の代わりにログインします。これら機能により、通常ブラウザー上で人手で行う作業等を自動化し、省人化とミスのない作業を実現します。

ubicastでは、お客様の特定用途に合わせたクロールエンジンの開発をいたします。