Alternatives and similar repositories for SpiderRef:

Users that are interested in SpiderRef are comparing it to the libraries listed below

• netxfly / dianying
  中国主流在线电影网站爬虫及搜索web代码
  ☆34Updated 10 years ago
• weizetao / spider-roach
  分布式定向抓取集群
  ☆71Updated 7 years ago
• Wooden-Robot / spider-practice
  ☆20Updated 8 years ago
• awolfly9 / job_wxbot
  微信机器人抓取并分发招聘信息
  ☆25Updated 8 years ago
• LiuRoy / spider_docker
  为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq
  ☆37Updated 9 years ago
• daoluan / WXSender-Python
  模拟登录微信公众平台群发消息
  ☆40Updated 11 years ago
• shelmesky / crawler
  淘宝爬虫原型，基于gevent
  ☆49Updated 11 years ago
• mysql-inception / inception-document
  一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具之手册部分
  ☆38Updated 6 years ago
• A1014280203 / Ugly-Distributed-Crawler
  基于Redis实现的简单到爆的分布式爬虫
  ☆46Updated 7 years ago
• PyCN / lagou_spider
  拉勾网爬虫, 利用通过微信公众号推送数据
  ☆8Updated 8 years ago
• heartfly / ajax_crawler
  A flexible web crawler based on Scrapy for fetching most of Ajax or other various types of web pages. Easy to use: To customize a new web…
  ☆45Updated 9 years ago
• da2vin / Spider_index
  爬取百度指数和阿里指数，采用selenium，存入hbase，验证码自动识别，多线程控制
  ☆32Updated 8 years ago
• yorkoliu / training
  Linux、Python、自动化运维、Docker、大数据技术培训（第一期）
  ☆23Updated 10 years ago
• wyaming89 / guidetodatamining
  http://guidetodatamining.com
  ☆49Updated 6 years ago
• backto17 / SinaHouseCrawler
  基于scrapy,scrapy-redis实现的一个分布式网络爬虫,爬取了新浪房产的楼盘信息及户型图片,实现了常用的爬虫功能需求.
  ☆40Updated 8 years ago
• wwj718 / jobSpider
  jobSpider是一只scrapy爬虫，用于爬取职位信息
  ☆27Updated 8 years ago
• svenlu / conn
  堡垒机，支持详细日志审计和录像功能
  ☆20Updated 10 years ago
• wklken / KeepLearning
  之前学习一些东西的代码集合, 一般跟某份教程或者某本书一致. 代码+详细注释, 可执行
  ☆21Updated 9 years ago
• muyannian / higo
  海狗-多维在线分析系统
  ☆72Updated 10 years ago
• 521xueweihan / PySpider
  Python爬虫的学习历程
  ☆51Updated 7 years ago
• wanghuafeng / baidu_spider
  百度爬虫：热词，词频，音乐，poi信息
  ☆22Updated 10 years ago
• owenliang / kafka
  使用Pykafka的正确姿势
  ☆32Updated 9 years ago
• oule / loganalysis.py
  loganalysis.py 是一个通过python语言实现的WEB服务器访问日志统计分析应用。
  ☆17Updated 11 years ago
• phodal / ml
  Python Github
  ☆16Updated 11 years ago
• zhuzhibo0 / hbasepacket
  基于HBASE的 分布式包记录、回溯 工具
  ☆21Updated 8 years ago
• younghz / sr-chn
  scrapy-redis代码研究
  ☆14Updated 10 years ago
• handalin / CharlieLrc
  查理歌词, 一个微信公众帐号, 1.0版本. 暂时可以实现快速查找歌词.
  ☆67Updated 10 years ago
• CrawlScript / DataHref
  数据挖掘算法及工具教程
  ☆27Updated 8 years ago
• limboinf / PersonNotes
  个人笔记集中营，快糙猛的形式记录技术性Notes .. 📚☕️⌨️🎧
  ☆63Updated 5 years ago
• bigdata-labs / spark2-hadoop2.6-hbase-labs
  ☆39Updated 8 years ago