sunhailin-Leo / Scrapy-Kafka-Demo

Related projects ⓘ

Alternatives and complementary repositories for Scrapy-Kafka-Demo

• runtangr / taoyoulue_spider
  基于mongodb存储，redis缓存，celery 实现的分布式爬虫。
  ☆12Updated last year
• solarhell / ZhihuZhuanlanCrawler
  知乎专栏爬虫
  ☆22Updated 3 years ago
• Ryuchen / DeadPool
  该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。
  ☆40Updated 2 years ago
• NetEaseGame / Sentry
  Sentry is cross-platform crash reporting built with love. 网易内网使用的二次开发版本。
  ☆19Updated 4 years ago
• fandsimple / chrome_copy
  chrome浏览器扩展，复制各大平台文章为本地文章
  ☆26Updated 4 years ago
• adrian9631 / CrawlerMonitor
  爬虫监控及可视化 ( Prometheus and Grafana ) Building a crawler with distributed task queues (Celery) and fetching data with a reliable monitor sy…
  ☆44Updated last year
• tenlee2012 / scrapy-kafka-redis
  Distributed crawling/scraping, Kafka And Redis based components for Scrapy
  ☆46Updated 4 years ago
• aleimu / asyncio_different
  go与python的协程对比,以及python中协程的改进历史,和示例代码
  ☆39Updated 4 years ago
• Python3WebSpider / ElasticSearchTest
  Elastic Search Code
  ☆22Updated 3 years ago
• shiqinying / AdslProxy
  自己搭建的adsl动态拨号代理池
  ☆14Updated 5 years ago
• who0sy / geetest
  全国组织结构统一社会信用代码服务中心滑块验证码破解
  ☆15Updated 2 years ago
• crawlab-team / crawlab-sdk
  SDK for Crawlab, including SDK for different programming languages such as Python, Node.js and Java, and a CLI Tool written in Python.
  ☆55Updated 5 months ago
• jinuljt / wechat-web-auth
  对微信网页授权获取用户信息的封装
  ☆10Updated 9 years ago
• Python3WebSpider / AjaxHookSpider
  Ajax Hook Demo
  ☆30Updated 4 years ago
• CooperMin / qichacha
  企查查企业分类信息采集
  ☆40Updated 4 years ago
• cyhleo / DaZongDianPing
  爬取大众点评中11205条厦门美食商铺信息，其中包含店名、人均消费、所属菜系、所属商圈、详细地址、口味评分、环境评分、服务评分信息。
  ☆19Updated 4 years ago
• da2vin / fetchman
  fetchman is a simple crawler system/简单好用的爬虫框架
  ☆76Updated 2 years ago
• xiaowan / pyclient
  脚本类快速开发脚手架，集成了mysql/redis/rabbitmq/mongodb/elasticsearch，可快速进行业务开发
  ☆51Updated 5 years ago
• backto17 / SinaHouseCrawler
  基于scrapy,scrapy-redis实现的一个分布式网络爬虫,爬取了新浪房产的楼盘信息及户型图片,实现了常用的爬虫功能需求.
  ☆40Updated 7 years ago
• qi20172017 / douyin_spider
  APP端爬取抖音数据
  ☆9Updated 5 years ago
• CloudmindsRobot / superBI
  SuperBI 是达闼科技以开源项目superset为基础开发的企业级快速BI应用。 可扩展的框架设计，支持多种DBMS数据源，让数据BI更加简单。 superbi提供直观的UI，拖拽式的编辑体验，配置式的图例创建，轻松创建数据可视化dashboard的能力。
  ☆46Updated 3 years ago
• accevolve / elk-easy-setup
  Easy to setup ELK Suite. (Elasticsearch / Logtash / Kibana)
  ☆92Updated 2 years ago
• yangxb2010000 / delay-schedule
  分布式、高可用的延迟调度系统、可以配合消息队列实现延迟任务队列
  ☆12Updated 11 months ago
• ToonoW / SpiderManager
  爬虫管理平台
  ☆31Updated last year
• leffss / ScrapyRedisBloomFilterBlockCluster
  Scrapy Redis with Bloom Filter，support redis sentinel and cluster
  ☆23Updated last year
• minminmsn / accesslog-analysis-alarm
  日志分析产品，该解决方案整合了filebeat、kafka、logstash、elasticsearch、kibana、grafana、elastalert等开源产品，能够实现海量日志实时分析及错误报警，另外还具有日常报表功能
  ☆21Updated 5 years ago