ZSAIm / VideoCrawlerEngine

起源于旧项目爱奇艺解析器(iqiyi-parser)在开发、维护和扩展的过程中遇到的一些问题,而实现的一个基于任务流式的可视化爬虫引擎。引擎的执行单元是节点。脚本节点(script)作为根节点来完成对节点和流程的描述,经由任务节点(task)解析流程描述并生成节点的执行队列,最后交由工作者执行池处理。整个过程可视可控,所有节点处理器都以插件的形式导入,以最大程度实现易扩展性。
461Updated 2 years ago

Alternatives and similar repositories for VideoCrawlerEngine:

Users that are interested in VideoCrawlerEngine are comparing it to the libraries listed below