クロール技術について

クロール技術を利用したシステム開発

クロール技術について

ubicastではウェブページの巡回・解析技術に注力しております。

クロールとはウェブページを自動的に取得し、ページ内のリンクを抽出してさらにそのリンク先のページ・画像などを取得・蓄積する技術です。一般にクローラーはページのHTMLを解析してリンクを取り出しますが、弊社独自開発のWebスクレイピング(データ抽出)技術により、HTML以外にも Flash や Javascript からリンクを抽出することができるので、フルFlash サイトなどにも対応可能です。また、定期的に指定したURLにアクセスすることで差分情報を検知し、変化をメールやRSSを利用して通知します。過去にクロールしたデータもすべて蓄積するので、ページ内での詳しい変更箇所の検出が可能です。

ubicastでは、これらの技術や検索システム構築技術を応用しお客様の特定用途に合わせたクロールエンジン・検索システムの構築をいたします。

さらに、この技術をベースとした自動監視・自動ログイン・自動書き込み・自動連携技術もございます。