zhuoran / crawler4j
Open Source Simple Web Crawler for Java. Simple Flexible And Lightweight
☆30Updated 2 years ago
Related projects ⓘ
Alternatives and complementary repositories for crawler4j
- ServiceFramework 示例项目☆10Updated 8 years ago
- 个性化的促销信息推荐系统☆26Updated 7 years ago
- rpc_learn Spring + Netty + Protostuff + ZooKeeper 实现了一个轻量级 RPC 框架，使用 Spring 提供依赖注入与参数配置，使用 Netty 实现 NIO 方式的数据传输，使用 Protostuff 实现对象序列化，使用 …☆19Updated 9 years ago
- nutz+jetty+h2 做的一个web应用☆40Updated 8 years ago
- 本项目转移到https://github.com/cocolian/cocolian-nlp☆34Updated 10 years ago
- 文本去重算法，研究自推荐系统中新闻的去重，采用了雅虎的Near-duplicates and shingling算法，服务端用c实现，客户端用java实现，利用thrift框架进行通信，为了提高扩展性，去重可以在服务端实现，服务器也提供了计算的接口，方便客户端自己扩展☆22Updated 10 years ago
- 分布式session管理☆11Updated 9 years ago
- 数据虫巢官网(mite8.com)站点源码，包括站点基础数据爬取代码，以及重构的NLP分词工具等。☆48Updated 7 years ago
- java分布式爬虫，主机和从机控制的机制☆14Updated 9 years ago
- 分布式环境下的原子计数器和API每天调用次数限制☆17Updated 7 years ago
- 爬取百 度指数和阿里指数，采用selenium，存入hbase，验证码自动识别，多线程控制☆32Updated 7 years ago
- 微博数据分析服务框架。☆12Updated 9 years ago
- 爬虫资料汇总☆17Updated 8 years ago
- 读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘☆47Updated 9 years ago
- jobSpider是一只scrapy爬虫，用于爬取职位信息☆27Updated 8 years ago
- 搜狐实习自动回复项目：语音识别、问题过滤、答案推荐☆8Updated 10 years ago
- 目前生产环境使用的elasticsearch☆10Updated 10 years ago
- 网络爬虫☆51Updated 10 years ago
- 轻量级的rpc框架☆10Updated 8 years ago
- 基于mybatis + spring + maven + mysql 自动生成的工具☆13Updated 11 years ago
- class热部署☆11Updated 9 years ago
- Document preprocessing for preparing formatted input data which is suitable for LibSVM tool.☆50Updated 7 years ago
- conbine flume,spark-streaming and redis for real-time computing☆22Updated 10 years ago
- 新浪微博搜索工具☆44Updated 11 years ago
- jstorm开发demo，小例子☆23Updated 9 years ago
- A experiment for hot word recommend using Openresty & Redis☆19Updated 7 years ago
- 下载51job招聘信息，公司简介，岗位简介，经纬度☆31Updated 9 years ago