Alternatives and similar repositories for Spider

Users that are interested in Spider are comparing it to the libraries listed below

• LianZS / spyderpro
  基于celery大规模爬虫
  ☆10Updated 5 years ago
• adrian9631 / CrawlerMonitor
  爬虫监控及可视化 ( Prometheus and Grafana ) Building a crawler with distributed task queues (Celery) and fetching data with a reliable monitor sy…
  ☆45Updated 2 years ago
• littlepai / Unofficial-Zhihu-API
  深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取
  ☆77Updated 2 years ago
• Ryuchen / DeadPool
  该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。
  ☆41Updated 2 years ago
• kingking888 / CommNewsExtractor
  通用文章提取，正文，标题，时间，作者，图片，音视频，联系方式等
  ☆23Updated 2 years ago
• striver-ing / distributed-spider
  通用新闻类网站分布式爬虫
  ☆76Updated 6 years ago
• Python3WebSpider / ElasticSearchTest
  Elastic Search Code
  ☆22Updated 3 years ago
• bytebuff / dj-poetry-es
  django+es搭建的前后端分离，唐诗宋词搜索引擎。
  ☆34Updated 3 years ago
• da2vin / fetchman
  fetchman is a simple crawler system/简单好用的爬虫框架
  ☆78Updated 2 years ago
• reilost / appspider
  app爬虫
  ☆10Updated 7 years ago
• wkunzhi / SpiderUtilPackage
  📦 原创开发的 爬虫实用工具 【特定代理池】【特定cookies池】【注册辅助工具】
  ☆119Updated 5 years ago
• ioiogoo / scrapy-monitor
  scrapy-monitor，实现爬虫可视化，监控实时状态
  ☆109Updated 8 years ago
• saintic / flask-thirdLogin-demo
  使用Flask的第三方社会化账号登录演示样例，QQ、Weibo、GitHub等。
  ☆21Updated 8 years ago
• MgArcher / jiasule
  最新破解国家企业信用信息公示系统加速乐加密cookies
  ☆41Updated 2 years ago
• ydf0509 / pysnooper_click_able
  pip install pysnooper_click_able 神级别黑科技装饰器，实现难度5颗星。不用打断点不用到处加print的deubg工具，可以精确显示代码运行率轨迹并点击。base pysnooper, but can click and jump to c…
  ☆21Updated 3 years ago
• Sssmeb / BloomFilter
  BloomFilter Based on py3(基于py3的布隆过滤器)
  ☆25Updated 2 years ago
• arthurmmm / hq-proxies
  A daemon to maintain a high-quality HTTP proxy pool
  ☆57Updated 8 years ago
• MgArcher / wenshu_jia
  基于scrapy实现裁判文书网爬虫
  ☆27Updated 4 years ago
• AaronJny / scrapy_redis_expiredupefilter
  scrapy-redis-expiredupefilter是基于scrapy-redis修改来的一款scrapy分布式爬虫框架，它支持为请求指纹设置生命周期，请求指纹生命周期结束后将在不影响其他指纹的情况下自动清除。
  ☆11Updated 5 years ago
• runtangr / taoyoulue_spider
  基于mongodb存储，redis缓存，celery 实现的分布式爬虫。
  ☆13Updated 2 years ago
• bytebuff / aioScrapy
  基于asyncio与aiohttp的异步协程爬虫框架 欢迎Star
  ☆35Updated 5 years ago
• xiaxichen / zh_login
  知乎登录
  ☆22Updated 6 years ago
• Germey / AQIStudy
  ☆23Updated 7 years ago
• HatBoy / RTask
  Python3+Huey+Zerorpc+Redis+Flask=RTask 轻量级分布式任务管理系统
  ☆74Updated 8 years ago
• sml2h3 / openlawClawer
  openlaw数据爬虫v1.1 更新日期:2017.12.16 解决新版openlaw多种加密问题。引入celery轻松异步分布式，爬取速度再次翻倍！！
  ☆57Updated 5 years ago
• hl10502 / scrapy_site
  使用Scrapy框架，通过关键字检索，爬取招标网站的招投标信息，每天定时发送Email
  ☆56Updated 8 years ago
• leffss / ScrapyRedisBloomFilterBlockCluster
  Scrapy Redis with Bloom Filter，support redis sentinel and cluster
  ☆24Updated 2 years ago
• apachecn / fastapi-docs-cn
  官方文档已经有翻译的人在做了，
  ☆27Updated 5 years ago
• cyhleo / DaZongDianPing
  爬取大众点评中11205条厦门美食商铺信息，其中包含店名、人均消费、所属菜系、所属商圈、详细地址、口味评分、环境评分、服务评分信息。
  ☆19Updated 5 years ago
• langgithub / python_spider
  爬虫知识梳理 某宝爬虫 某运营商爬虫 某行征信爬虫 在线爬虫设计 密码控件爬虫 离线爬虫设计
  ☆18Updated 5 years ago