zhuoran / crawler4jLinks
Open Source Simple Web Crawler for Java. Simple Flexible And Lightweight
☆29Updated 3 years ago
Alternatives and similar repositories for crawler4j
Users that are interested in crawler4j are comparing it to the libraries listed below
Sorting:
- nutz+jetty+h2 做的一个web应用☆40Updated 9 years ago
- Set up Wechat Pub with Docker.☆31Updated 8 years ago
- 本项目转移到https://github.com/cocolian/cocolian-nlp☆34Updated 11 years ago
- 读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘☆47Updated 10 years ago
- 自动抽取网页正文的算法，用JAVA实现☆109Updated 8 years ago
- 识别5184验证码☆79Updated 9 years ago
- ServiceFramework 示例项目☆10Updated 9 years ago
- 查理歌词, 一个微信公众帐号, 1.0版本. 暂时可以实现快速查找歌词.☆67Updated 10 years ago
- 基于hadoop思维的分布式网络爬虫。☆86Updated 9 years ago
- 个性化的促销信息推荐系统☆27Updated 8 years ago
- 基于词频密度过滤、利用百度、谷歌、搜搜、360搜索4个引擎为种子来源的多线程爬虫，结果存入mysql。☆97Updated 11 years ago
- 淘宝爬虫原型，基于gevent☆49Updated 12 years ago
- 文本去重算法，研究自推荐系统中新闻的去重，采用了雅虎的Near-duplicates and shingling算法，服务端用c实现，客户端用java实现，利用thrift框架进行通信，为了提高扩展性，去重可以在服务端实现，服务器也提供了计算的接口，方便客户端自己扩展☆24Updated 11 years ago
- Academic Search Engine using Scrapy, MongoDB, Lucene/Solr, Tika, Struts2, Jquery, Bootstrap, D3, CAS☆100Updated 12 years ago
- 基于Apache Nutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件☆125Updated 10 years ago
- ☆76Updated 3 years ago
- 爬虫资料汇总☆17Updated 9 years ago
- 爬取百度指数和阿里指数，采用selenium，存入hbase，验证码自动识别，多线程控制☆32Updated 8 years ago
- ☆20Updated 8 years ago
- 网络爬虫☆51Updated 11 years ago
- 分布式session管理☆11Updated 10 years ago
- A scrapy zhihu crawler☆76Updated 6 years ago
- 别人的一个模仿微信范本，用来参考参考☆26Updated 12 years ago
- rpc_learn Spring + Netty + Protostuff + ZooKeeper 实现了一个轻量级 RPC 框架，使用 Spring 提供依赖注入与参数配置，使用 Netty 实现 NIO 方式的数据传输，使用 Protostuff 实现对象序列化，使用 …☆19Updated 10 years ago
- rank是一个seo工具，用于分析网站的搜索引擎收录排名。☆68Updated 8 years ago
- 社交化导购平台☆37Updated 6 years ago
- 舆情搜索服务框架，其中lucene和solr版本为4.8。☆61Updated 9 years ago
- 基于Redis实现的简单到爆的分布式爬虫☆45Updated 8 years ago
- java分布式爬虫，主机和从机控制的机制☆14Updated 10 years ago
- Yo demo made by YunBa android SDK☆25Updated 11 years ago