Alternatives and similar repositories for crawler4j

Users that are interested in crawler4j are comparing it to the libraries listed below

• NLPchina / nlp_china_web
  nutz+jetty+h2 做的一个web应用
  ☆40Updated 9 years ago
• shamphone / jigsaw-nlp
  本项目转移到https://github.com/cocolian/cocolian-nlp
  ☆34Updated 11 years ago
• saymagic / Swordfish
  Set up Wechat Pub with Docker.
  ☆31Updated 8 years ago
• yinchuandong / DistributedCrawler
  java分布式爬虫，主机和从机控制的机制
  ☆14Updated 10 years ago
• hfut-dmic / ContentExtractor
  自动抽取网页正文的算法，用JAVA实现
  ☆106Updated 8 years ago
• duoan / codes-scratch-crawler
  读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘
  ☆47Updated 10 years ago
• shenbaise / goodcrawler
  网络爬虫
  ☆52Updated 11 years ago
• liuxinglanyue / distributed-session-manager
  分布式session管理
  ☆11Updated 10 years ago
• qwIvan / 5184CAPTCHA
  识别5184验证码
  ☆79Updated 9 years ago
• shunfa / crawlzilla
  ☆77Updated 2 years ago
• allwefantasy / godear
  ServiceFramework 示例项目
  ☆10Updated 9 years ago
• ZeryZhang / Lagou
  拉勾数据采集
  ☆17Updated 9 years ago
• yxlHuster / news-duplicated
  文本去重算法，研究自推荐系统中新闻的去重，采用了雅虎的Near-duplicates and shingling算法，服务端用c实现，客户端用java实现，利用thrift框架进行通信，为了提高扩展性，去重可以在服务端实现，服务器也提供了计算的接口，方便客户端自己扩展
  ☆24Updated 11 years ago
• RockeyHoo / messenger
  rpc_learn Spring + Netty + Protostuff + ZooKeeper 实现了一个轻量级 RPC 框架，使用 Spring 提供依赖注入与参数配置，使用 Netty 实现 NIO 方式的数据传输，使用 Protostuff 实现对象序列化，使用 …
  ☆19Updated 10 years ago
• shelmesky / crawler
  淘宝爬虫原型，基于gevent
  ☆49Updated 12 years ago
• QiuMing / zhihuWebSpider
  知乎爬虫，基于webmagic框架 .A java web spider base on webmagic.
  ☆69Updated 9 years ago
• pangge / python-crawler-ccw
  web resources crawler for pdf or doc by python 3
  ☆27Updated 10 years ago
• advanced-programs / weibo-service
  微博数据分析服务框架。
  ☆12Updated 9 years ago
• zongtui / zongtui-webcrawler
  基于hadoop思维的分布式网络爬虫。
  ☆86Updated 9 years ago
• chenkai1100 / SpiderFrame
  分布式网络爬虫架构
  ☆16Updated 8 years ago
• ysc / rank
  rank是一个seo工具，用于分析网站的搜索引擎收录排名。
  ☆67Updated 8 years ago
• handalin / CharlieLrc
  查理歌词, 一个微信公众帐号, 1.0版本. 暂时可以实现快速查找歌词.
  ☆67Updated 10 years ago
• xautlx / nutch-htmlunit
  基于Apache Nutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件
  ☆124Updated 10 years ago
• dpy1123 / coupon
  个性化的促销信息推荐系统
  ☆27Updated 8 years ago
• johnhany / WPCrawler
  a web crawler for single WordPress site
  ☆47Updated 11 years ago
• weizetao / spider-roach
  分布式定向抓取集群
  ☆71Updated 7 years ago
• justinscript / shopping.plat
  社交化导购平台
  ☆37Updated 6 years ago
• drogba321 / easy-recommender
  个性化推荐算法的通用处理框架，基于Mahout和Lucene
  ☆18Updated 10 years ago
• Glacier759 / Get_58_Data
  利用WebMagic框架进行58同城数据的抓取
  ☆12Updated 10 years ago
• lpe234 / meizi_spider
  scrapy demo
  ☆25Updated 6 years ago