Alternatives and similar repositories for spider:

Users that are interested in spider are comparing it to the libraries listed below

• xuxueli / xxl-crawler
  A lightweight web crawler framework.（Java爬虫框架）
  ☆716Updated 2 months ago
• zhegexiaohuozi / SeimiCrawler
  一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.
  ☆1,986Updated 4 months ago
• CrawlScript / WebCollector
  WebCollector is an open source web crawler framework based on Java.It provides some simple interfaces for crawling the Web,you can setup …
  ☆3,074Updated 2 months ago
• wucao / JDeploy
  JDeploy自动化部署平台
  ☆586Updated 2 years ago
• sd4324530 / fastweixin
  极其方便的实现微信公众平台服务端开发，2行代码完成服务器绑定，3行代码实现用户消息监听
  ☆774Updated 8 months ago
• webmagic-io / jobhunter
  使用WebMagic抓取招聘信息，并且持久化到Mysql的例子。
  ☆224Updated 8 years ago
• xtuhcy / gecco
  Easy to use lightweight web crawler（易用的轻量化网络爬虫）
  ☆2,511Updated last year
• zhangkaitao / es
  JavaEE项目开发脚手架（我的公众号：kaitao-1234567，我的新书：《亿级流量网站架构核心技术》）
  ☆2,162Updated 6 years ago
• wycm / zhihu-crawler
  zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目
  ☆915Updated 6 years ago
• pzhgugu / goshop2
  在goshop的基础上进行重构，将逐步完善分布式、高可用、多店铺电商系统
  ☆1,106Updated 7 years ago
• alibaba / mdrill
  for千亿数据即席分析
  ☆1,540Updated 7 years ago
• yuki-lau / weibo-spider
  新浪微博爬虫，采用Java语言开发，基于HTTPClient 4.0，采用MySQL存储爬取数据，支持多进程并发执行。功能包括：爬取微博、评论、转发、关注列表（层次）。根据数据需求，持续更新...
  ☆353Updated 11 years ago
• fengzhizi715 / ProxyPool
  给爬虫使用的代理IP池
  ☆555Updated 5 years ago
• zhegexiaohuozi / SeimiAgent
  A headless,standalone webkit server which make grabing dynamic web page easier.
  ☆225Updated 6 years ago
• FastBootWeixin / FastBootWeixin
  基于Spring Boot的注解驱动式公众号极速开发框架，用注解重新定义公众号开发
  ☆652Updated 2 years ago
• foxinmy / weixin4j
  (微信开发工具包)weixin sdk for Java
  ☆817Updated 3 months ago
• lionsoul2014 / jcseg
  Jcseg is a light weight NLP framework developed with Java. Provide CJK and English segmentation based on MMSEG algorithm, With also keywo…
  ☆923Updated last year
• JFanZhao / spider
  使用java+httpclient+httpcleaner，多线程、分布式爬去电商网站商品信息，数据存储在hbase上，并使用solr对商品建立索引，使用redis队列存储一个共享的url仓库；使用zookeeper对爬虫节点生命周期进行监视等。
  ☆231Updated 4 years ago
• ysc / APDPlat
  APDPlat是Application Product Development Platform的缩写，即应用级产品开发平台。
  ☆521Updated 2 years ago
• fengzhizi715 / NetDiscovery
  NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。
  ☆641Updated 4 years ago
• javamonkey / beetl2.0
  beetl2.0
  ☆415Updated 5 years ago
• cyfonly / FLogger
  基于双缓冲队列、多刷盘机制的超轻量级 java 日志
  ☆516Updated 6 years ago
• xujeff / tianti
  java轻量级的CMS解决方案-天梯。天梯是一个用java相关技术搭建的后台CMS解决方案，用户可以结合自身业务进行相应扩展，同时提供了针对dao、service等的代码生成工具。技术选型：Spring Data JPA、Hibernate、Shiro、 Spring MV…
  ☆1,103Updated 2 years ago
• ihaolin / antares
  分布式任务调度平台(Distributed Job Schedule Platform)
  ☆559Updated 2 years ago
• Dreampie / Resty
  The minimalist framework of RESTful(server and client) - Resty
  ☆1,244Updated 3 years ago
• Martin404 / PayMap
  Java后端实现三方支付集成支付宝（国内、国际、移动端、PC端）、微信、银联（acp、upop）、光大（网关、网页）、邮政支付
  ☆788Updated 7 years ago
• xuxueli / xxl-api
  A api management platform.（API管理平台XXL-API）
  ☆921Updated 4 months ago
• ysc / word
  Java分布式中文分词组件 - word分词
  ☆1,818Updated 4 years ago
• bluejoe2008 / openwebflow
  基于Activiti的工作流引擎扩展，接管了Activiti对活动权限以及用户表的管理，并提供了催办、代办、加签（包括前加签/后加签）、自由跳转、分裂节点等功能
  ☆949Updated 4 years ago
• yinchuandong / JavaVerify
  A Java CAPTCHA recognition library for sticky characters
  ☆207Updated 10 years ago