Alternatives and similar repositories for SpiderRef:

Users that are interested in SpiderRef are comparing it to the libraries listed below

• wwj718 / jobSpider
  jobSpider是一只scrapy爬虫，用于爬取职位信息
  ☆27Updated 8 years ago
• netxfly / dianying
  中国主流在线电影网站爬虫及搜索web代码
  ☆34Updated 10 years ago
• PyCN / lagou_spider
  拉勾网爬虫, 利用通过微信公众号推送数据
  ☆8Updated 8 years ago
• yorkoliu / training
  Linux、Python、自动化运维、Docker、大数据技术培训（第一期）
  ☆23Updated 10 years ago
• backto17 / SinaHouseCrawler
  基于scrapy,scrapy-redis实现的一个分布式网络爬虫,爬取了新浪房产的楼盘信息及户型图片,实现了常用的爬虫功能需求.
  ☆40Updated 8 years ago
• daoluan / WXSender-Python
  模拟登录微信公众平台群发消息
  ☆40Updated 11 years ago
• shelmesky / crawler
  淘宝爬虫原型，基于gevent
  ☆49Updated 11 years ago
• mysql-inception / inception-document
  一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具之手册部分
  ☆38Updated 6 years ago
• weizetao / spider-roach
  分布式定向抓取集群
  ☆71Updated 7 years ago
• junhuster / JDFS
  一款小巧的分布式文件管理系统JDFS，在一个用vmware player搭建的虚拟集群上，JDFS客户端可以把本地文件分片，并流式、冗余地存储到集群上，显示特定文件元信息，从集群上读取文件，删除文件等。后续可能会以JDFS为文件存储系统，开发一个map-reduce引擎
  ☆23Updated 7 years ago
• oule / loganalysis.py
  loganalysis.py 是一个通过python语言实现的WEB服务器访问日志统计分析应用。
  ☆17Updated 11 years ago
• A1014280203 / Ugly-Distributed-Crawler
  基于Redis实现的简单到爆的分布式爬虫
  ☆46Updated 7 years ago
• qiwsir / BitJSCode
  ☆23Updated 9 years ago
• Wooden-Robot / spider-practice
  ☆20Updated 8 years ago
• muyannian / higo
  海狗-多维在线分析系统
  ☆73Updated 10 years ago
• owenliang / kafka
  使用Pykafka的正确姿势
  ☆32Updated 9 years ago
• 521xueweihan / PySpider
  Python爬虫的学习历程
  ☆51Updated 7 years ago
• da2vin / Spider_index
  爬取百度指数和阿里指数，采用selenium，存入hbase，验证码自动识别，多线程控制
  ☆32Updated 8 years ago
• ddviplinux / crawler-framework
  分布式爬虫框架,基于webdrvier模拟用户请求,kafka消息传递,分布式网页存储使用hbase,task异步任务多线程解析,提供基础服务如:proxy ip服务和号码验证服务等, proxy page使用H5和we版进行接入
  ☆13Updated 9 years ago
• dinp / dinp-demo-python-flask
  DINP demo：使用Flask的Python项目
  ☆15Updated 10 years ago
• allwefantasy / godear
  ServiceFramework 示例项目
  ☆10Updated 8 years ago
• LiuRoy / spider_docker
  为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq
  ☆36Updated 9 years ago
• phodal / ml
  Python Github
  ☆16Updated 10 years ago
• svenlu / conn
  堡垒机，支持详细日志审计和录像功能
  ☆20Updated 10 years ago
• younghz / sr-chn
  scrapy-redis代码研究
  ☆14Updated 10 years ago
• zhuzhibo0 / hbasepacket
  基于HBASE的 分布式包记录、回溯 工具
  ☆21Updated 8 years ago
• yxlHuster / news-duplicated
  文本去重算法，研究自推荐系统中新闻的去重，采用了雅虎的Near-duplicates and shingling算法，服务端用c实现，客户端用java实现，利用thrift框架进行通信，为了提高扩展性，去重可以在服务端实现，服务器也提供了计算的接口，方便客户端自己扩展
  ☆23Updated 11 years ago
• loveNight / PythonScripts
  用于保存自己写的一些Python脚本
  ☆6Updated 8 years ago
• zihaolucky / Undergraduate-Innovation-Program
  SNS用户交互学习行为研究
  ☆45Updated 10 years ago
• ISADBA / anemometerAudit_SQL
  Box anemometer add audit sql function.
  ☆28Updated 10 years ago