Skip to content

XXL-CRAWLER v1.2.2,分布式爬虫框架

Compare
Choose a tag to compare
@xuxueli xuxueli released this 24 Oct 00:25
· 18 commits to master since this release

新特性

  • 1、系统底层重构,规范包名;
  • 2、采集线程白名单过滤优化,避免冗余失败重试;
  • 3、增强JS渲染方式采集能力,原生新提供 "SeleniumPhantomjsPageLoader",支持以 "selenisum + phantomjs" 方式采集页面数据;
  • 4、支持采集非Web页面,如JSON接口等,直接输出响应数据;选择 "NonPageParser" 即可;