Firecrawl

Firecrawl とは

Firecrawl は AI 利用を目的としたウェブ取得とデータ抽出のプラットフォーム。単一ページの取得、サイト全体の巡回、サイト構造のマッピング、ウェブ検索、構造化抽出を行い、言語モデルに適した Markdown、JSON、HTML を返す。

動的な JavaScript の内容に対応し、プロキシを切り替え、Python、Node、Go、Rust 向けの SDK と、LangChain、LlamaIndex、Dify といったフレームワークとの連携を備える。セルフホスティングにも対応。

できること

• ページをきれいな Markdown や JSON に変換する
• ナレッジベースのためにサイトを巡回する
• スキーマで構造化した項目を抽出する
• エージェントのパイプライン内で抽出を動かす

向いている人

• RAG システムを作る開発者
• 市場情報を動かすチーム
• ページデータを必要とするエンジニアリング部門

注意点

• サイトの規約、robots の指示、データ保護法が収集を認める範囲を依然として縛る
• ブロック回避やプロキシ切り替えは、ペイウォール、ログイン、アクセス制御を抜く目的に使ってはならない
• 個人データの取得は独自の法的義務を伴う
• セルフホスティングはデータ共有を減らすが運用の手間を増やす