captha等の画像または文字認証先のページをクローリング・スクレイピング

クローリングの難易度が高いSPA(シングルページアプリケーション)サイトをクロールする場合、一般的にヘッドレスブラウザをjavascriptで操作する手法が一般的ですが、ヘッドレスブラウザは名前の通りGUIをもたないブラウザです。ブラウザと同レベルの操作を可能にする技術とはいえ、ヘッドレスブラウザが動いている最中の実際の表示を目で見ることができません。つまりcaptha等、画像または文字認証を用いたサイトには対応できません。

WebクローラーDIGは独自の方法でこの問題を解決しました。

・クローリング・スクレイピングを業者に依頼してみたが画像または文字認証の問題で断られた。
・クローラーの開発を独自で行なっているがこの問題をどうしても解決できず、実現できる業者を探している。

等でお困りでしたらWebクローラーDIGへお気軽にお問い合わせください。