Alternatives and similar repositories for Scrapy-Kafka-Demo

Users that are interested in Scrapy-Kafka-Demo are comparing it to the libraries listed below

• yeyeye777 / weixin_article_spider
  搜狗微信文章爬虫，对于临时链接进行转换为永久链接。
  ☆10Updated 5 years ago
• aleimu / asyncio_different
  go与python的协程对比,以及python中协程的改进历史,和示例代码
  ☆39Updated 5 years ago
• crawlab-team / crawlab-sdk
  SDK for Crawlab, including SDK for different programming languages such as Python, Node.js and Java, and a CLI Tool written in Python.
  ☆57Updated last year
• adrian9631 / CrawlerMonitor
  爬虫监控及可视化 ( Prometheus and Grafana ) Building a crawler with distributed task queues (Celery) and fetching data with a reliable monitor sy…
  ☆45Updated 2 years ago
• shiqinying / AdslProxy
  自己搭建的adsl动态拨号代理池
  ☆14Updated 6 years ago
• yangxb2010000 / delay-schedule
  分布式、高可用的延迟调度系统、可以配合消息队列实现延迟任务队列
  ☆12Updated last year
• Ryuchen / DeadPool
  该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。
  ☆40Updated 3 years ago
• CreditTone / mitmproxy-hub
  mitmproxy非常适合捕捉网络流量，但是对于Java用户没有简单的接口。软件测试社区，特别是爬虫、中间人攻击测试人员，希望能够捕获设备在Java/golang/c++测试期间发出的网络请求。为此,基于grpc开发了mitmproxy的中央服务，任何语言都可以基于mitm…
  ☆50Updated 3 years ago
• tenlee2012 / scrapy-kafka-redis
  Distributed crawling/scraping, Kafka And Redis based components for Scrapy
  ☆45Updated 4 years ago
• ciknight / wbot
  Deprecated，https://github.com/PY-Learning/wbot
  ☆11Updated 8 years ago
• CloudmindsRobot / superBI
  SuperBI 是达闼科技以开源项目superset为基础开发的企业级快速BI应用。 可扩展的框架设计，支持多种DBMS数据源，让数据BI更加简单。 superbi提供直观的UI，拖拽式的编辑体验，配置式的图例创建，轻松创建数据可视化dashboard的能力。
  ☆48Updated 4 years ago
• yanfeng9507 / TianYanChaCrawler
  天眼查网站批量查询工具
  ☆49Updated 2 years ago
• Germey / Review_Reverse
  2019年末总结下今年做过的逆向，整理代码，复习思路。拼夕夕Web端anti_content参数逆向分析 WEB淘宝sign逆向分析；努比亚Cookie生成逆向分析；百度指数data加密逆向分析 今日头条WEB端_signature、as、cp参数逆向分析知乎登录formd…
  ☆47Updated 5 years ago
• KXCY-AI / MLVP
  可视编程机器学习平台 - 『人人可做的机器学习』-《智能数据挖掘》实战系列视频演示实验数据集与数据分析流
  ☆20Updated 4 years ago
• KBDY / pholcus
  Pholcus（幽灵蛛）是一款纯Go语言编写的支持分布式的高并发、重量级爬虫软件，定位于互联网数据采集，为具备一定Go或JS编程基础的人提供一个只需关注规则定制的功能强大的爬虫工具。
  ☆36Updated 6 years ago
• cyhleo / DaZongDianPing
  爬取大众点评中11205条厦门美食商铺信息，其中包含店名、人均消费、所属菜系、所属商圈、详细地址、口味评分、环境评分、服务评分信息。
  ☆20Updated 5 years ago
• NetEaseGame / Sentry
  Sentry is cross-platform crash reporting built with love. 网易内网使用的二次开发版本。
  ☆21Updated 5 years ago
• zjucx / DistributedCrawler
  分布式爬虫，redis缓存，mysql持久化，rpc实现分布式。可用docker部署
  ☆48Updated 8 years ago
• littlepai / Unofficial-Zhihu-API
  深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取
  ☆77Updated 2 years ago
• CooperMin / qichacha
  企查查企业分类信息采集
  ☆43Updated 5 years ago
• apachecn / fastapi-docs-cn
  官方文档已经有翻译的人在做了，
  ☆27Updated 5 years ago
• saintic / flask-thirdLogin-demo
  使用Flask的第三方社会化账号登录演示样例，QQ、Weibo、GitHub等。
  ☆21Updated 8 years ago
• apachecn / team-wiki
  iBooker 团队知识库
  ☆67Updated 3 years ago
• 111hunter / spider
  各种爬虫，js破解，模拟登录等
  ☆13Updated 5 years ago
• xiaowan / pyclient
  脚本类快速开发脚手架，集成了mysql/redis/rabbitmq/mongodb/elasticsearch，可快速进行业务开发
  ☆52Updated 6 years ago
• xiantang / Spider
  web crawler
  ☆41Updated 5 years ago
• Mr0x01 / PythonExercise
  Python练习项目，当前实现了：homes.jp爬虫、大悦城自动签到、人人网相册爬虫、mm131爬虫、人力系统验证码识别、每日NHK爬虫
  ☆10Updated 6 years ago
• longxiaofei / spider-lianjia
  链家二手房爬虫
  ☆11Updated 7 years ago
• ToonoW / SpiderManager
  爬虫管理平台
  ☆31Updated 2 years ago
• Germey / DragCaptcha
  Drag Captcha
  ☆20Updated 4 years ago