同步与异步
XCrawl 的 scrape 接口支持 同步 与 异步 两种模式。
Scrape
mode=sync(默认):- 在同一次请求中完成抓取
- 返回完整结果
mode=async:- 立即返回
scrape_id - 支持设置 Webhook 回调
- 立即返回
Scrape 状态枚举
pending:任务排队中crawling:任务执行中completed:完成failed:失败
Crawl
POST /v1/crawl 创建批量抓取任务后,会返回 crawl_id。使用 GET /v1/crawl/{crawl_id} 查询任务状态。
Crawl 状态枚举
pending:任务排队中crawling:任务执行中completed:完成failed:失败
Webhook 回调
Webhook 的事件定义与配置见:Webhook 回调
