yangguang2014 / distributedCrawlerLinks
华南理工大学高英实验室进行的分布式爬虫项目,除了实验室内部人员外,不得私自传播.
☆21Updated 11 years ago
Alternatives and similar repositories for distributedCrawler
Users that are interested in distributedCrawler are comparing it to the libraries listed below
Sorting:
- 读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信 息挖掘☆47Updated 10 years ago
- 模仿Java标准库的一些API实现的算法库，包括了数据结构，字符串处理（StringBuilder），图（有向图）。原来是用Python实现的，但是Python实现的并没有经过完整的测试，不能够保证完全的正确性。 使用Java实现的集合库都经过完整的测试，实际上，我在实现的…☆48Updated 10 years ago
- 文本去重算法，研究自推荐系统中新闻的去重，采用了雅虎的Near-duplicates and shingling算法，服务端用c实现，客户端用java实现，利用thrift框架进行通信，为了提高扩展性，去重可以在服务端实现，服务器也提供了计算的接口，方便客户端自己扩展☆24Updated 11 years ago
- Search Engine for Chinese base on Solr（基于solr的中文搜索引擎框架）☆27Updated 12 years ago
- it's a simple and easy net framework with nio mode written by java☆41Updated 8 years ago
- DistributeCrawler的Maven版☆10Updated 3 years ago
- java分布式爬虫，主机和从机控制的机制☆14Updated 10 years ago
- 推荐算法☆30Updated 10 years ago
- A self-taught project codes to learn Java.☆8Updated 2 years ago
- 2016年阿里中间件性能挑战赛初赛题，RocketMQ+JStorm+Tair实时统计双11交易金额☆43Updated 6 years ago
- JBFS 是基于facebook haystack 开发的一套分布式海量小文件存储系统☆18Updated 9 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 8 years ago
- rank是一个seo工具，用于分析网站的搜索引擎收录排名。☆67Updated 8 years ago
- 网络爬虫☆51Updated 11 years ago
- 大规模分布式系统的跟踪、监控、告警平台☆55Updated 11 years ago
- 参照官方wiki的motan使用demo☆14Updated 9 years ago
- A experiment for hot word recommend using Openresty & Redis☆19Updated 8 years ago
- rpc_learn Spring + Netty + Protostuff + ZooKeeper 实现了一个轻量级 RPC 框架，使用 Spring 提供依赖注入与参数配置，使用 Netty 实现 NIO 方式的数据传输，使用 Protostuff 实现对象序列化，使用 …☆19Updated 10 years ago
- 读书笔记系列之JDK，高性能编程☆34Updated 8 years ago
- 用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 8 years ago
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Updated 8 years ago
- 分布式session管理☆11Updated 10 years ago
- Cassandra java-driver源代码学习研究(包括代码注释、文档、用于代码分析的测试用例)☆29Updated 9 years ago
- 基于SpringBoot(2.0.3)的微服务的单应用秒杀、分布式秒杀示例☆11Updated last year
- 海狗-多维在线分析系统☆72Updated 10 years ago
- 常用开发工具包的封装☆28Updated 6 years ago
- 基于逐渐熟悉深入多线程，缓存，数据库，网络编程等相关内容 尝试着积累一些自己研究的工具集合或框架☆11Updated 8 years ago
- ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…☆24Updated 10 years ago
- 基于 Java 的免费开源跨平台系统运行监控服务应用及引擎框架。A free, open source, cross-platform system running monitoring service application and engine framework ba…☆17Updated 5 years ago
- Java 7并发编程实战手册，示例代码☆8Updated 9 years ago