Alternatives and similar repositories for Scrapy-Kafka-Demo

Users that are interested in Scrapy-Kafka-Demo are comparing it to the libraries listed below

• adrian9631 / CrawlerMonitor
  爬虫监控及可视化 ( Prometheus and Grafana ) Building a crawler with distributed task queues (Celery) and fetching data with a reliable monitor sy…
  ☆45Updated 2 years ago
• tenlee2012 / scrapy-kafka-redis
  Distributed crawling/scraping, Kafka And Redis based components for Scrapy
  ☆46Updated 4 years ago
• aleimu / asyncio_different
  go与python的协程对比,以及python中协程的改进历史,和示例代码
  ☆39Updated 5 years ago
• ltachi1 / amasd
  Amasd是一款基于scrapyd的scrapy部署工具
  ☆28Updated 5 years ago
• Python3WebSpider / AjaxHookSpider
  Ajax Hook Demo
  ☆29Updated 5 years ago
• Germey / DragCaptcha
  Drag Captcha
  ☆20Updated 4 years ago
• Metatronxl / phantom
  怪盗キッド（Kaitou Kiddo）
  ☆23Updated 2 years ago
• who0sy / geetest
  全国组织结构统一社会信用代码服务中心滑块验证码破解
  ☆16Updated 2 years ago
• shiqinying / AdslProxy
  自己搭建的adsl动态拨号代理池
  ☆14Updated 5 years ago
• minner-fun / douyin_spider
  APP端爬取抖音数据
  ☆9Updated 5 years ago
• jinuljt / wechat-web-auth
  对微信网页授权获取用户信息的封装
  ☆10Updated 9 years ago
• binghe001 / bytecode
  java字节码编程，持续更新中，详情关注 冰河技术 微信公众号阅读相关文章
  ☆10Updated 3 years ago
• xiantang / Spider
  web crawler
  ☆42Updated 5 years ago
• ydf0509 / object_pool_proj
  pip install universal_object_pool ,万能通用对象池，可以池化任意自定义类型的对象。
  ☆20Updated 2 years ago
• runtangr / taoyoulue_spider
  基于mongodb存储，redis缓存，celery 实现的分布式爬虫。
  ☆13Updated 2 years ago
• ciknight / wbot
  Deprecated，https://github.com/PY-Learning/wbot
  ☆11Updated 8 years ago
• five3 / Flask-App
  create application template for flask.
  ☆23Updated 5 years ago
• sml2h3 / openlawClawer
  openlaw数据爬虫v1.1 更新日期:2017.12.16 解决新版openlaw多种加密问题。引入celery轻松异步分布式，爬取速度再次翻倍！！
  ☆57Updated 5 years ago
• CreditTone / mitmproxy-hub
  mitmproxy非常适合捕捉网络流量，但是对于Java用户没有简单的接口。软件测试社区，特别是爬虫、中间人攻击测试人员，希望能够捕获设备在Java/golang/c++测试期间发出的网络请求。为此,基于grpc开发了mitmproxy的中央服务，任何语言都可以基于mitm…
  ☆49Updated 3 years ago
• xsren / frontera-docs-zh_CN
  frontera的中文翻译文档
  ☆36Updated 7 years ago
• crawlab-team / crawlab-sdk
  SDK for Crawlab, including SDK for different programming languages such as Python, Node.js and Java, and a CLI Tool written in Python.
  ☆55Updated last year
• zjucx / DistributedCrawler
  分布式爬虫，redis缓存，mysql持久化，rpc实现分布式。可用docker部署
  ☆48Updated 7 years ago
• xiaowan / pyclient
  脚本类快速开发脚手架，集成了mysql/redis/rabbitmq/mongodb/elasticsearch，可快速进行业务开发
  ☆51Updated 6 years ago
• CooperMin / qichacha
  企查查企业分类信息采集
  ☆43Updated 5 years ago
• zhangheli / flask-google
  快速开发一个基于 Flask 搭建的 Google 镜像
  ☆7Updated 3 years ago
• xiaosimao / weibo_spider
  ☆20Updated 8 years ago
• HiddenStrawberry / meituan-movie-price-crawler
  美团电影/猫眼价格爬虫，借助tesseractocr破解美团电影价格图片混淆
  ☆28Updated 7 years ago
• Ryuchen / DeadPool
  该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。
  ☆41Updated 2 years ago
• miracledan / raindrop-spider
  A simple distribute spider based on scrapy framework.
  ☆26Updated 9 years ago
• PyCN / lagou_spider
  拉勾网爬虫, 利用通过微信公众号推送数据
  ☆8Updated 8 years ago