canghaiyisu666 / spiderView external linksLinks
爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。
☆19Oct 7, 2015Updated 10 years ago
Alternatives and similar repositories for spider
Users that are interested in spider are comparing it to the libraries listed below
Sorting:
- java分布式爬虫，主机和从机控制的机制☆14May 21, 2015Updated 10 years ago
- image server base on nosql☆10Aug 24, 2016Updated 9 years ago
- word,excel转pdf☆11Oct 26, 2018Updated 7 years ago
- 基于ffmpeg+spring+quartz+dubbo+zookeeper+MyBatis服务化的视频转换分布式服务☆12Jul 21, 2016Updated 9 years ago
- 基于openoffice+jodconverter-core-3.0-beta-4-dist+spring+quartz+dubbo+zookeeper+MyBatis服务化的文档转换服务☆13Jul 21, 2016Updated 9 years ago
- j360系列 - 缓存异步写数据库的框架☆15Apr 14, 2016Updated 9 years ago
- Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的☆16Nov 8, 2015Updated 10 years ago
- akka学习理解，使用了maven、sbt两种构建方式，同时使用量java和scala两种语言实现。akka入门，清晰理解akka流程☆13Oct 18, 2015Updated 10 years ago
- 微信短视频后端☆14Oct 11, 2023Updated 2 years ago
- rpc_learn Spring + Netty + Protostuff + ZooKeeper 实现了一个轻量级 RPC 框架，使用 Spring 提供依赖注入与参数配置，使用 Netty 实现 NIO 方式的数据传输，使用 Protostuff 实现对象序列化，使用 …☆19May 26, 2015Updated 10 years ago
- 利用WebMagic框架进行58同城数据的抓取☆12Oct 13, 2014Updated 11 years ago
- mysql数据实时同步到redis，基于mysql binlog实现的同步方案☆10Dec 12, 2015Updated 10 years ago
- a simple rpc framework for java☆14Dec 9, 2014Updated 11 years ago
- 基于Mole的一个企业级web应用的架子☆25Jan 30, 2015Updated 11 years ago
- 个性化推荐算法的通用处理框架，基于Mahout和Lucene☆18May 25, 2015Updated 10 years ago
- Integration of vertx-web & spring framework☆18Oct 18, 2017Updated 8 years ago
- zookeeper官方提供的分布式锁，选举master，和分布式队列实现☆16Mar 11, 2014Updated 11 years ago
- 基于阿里Dubbo框架的服务切换工具☆19Jul 21, 2017Updated 8 years ago
- 数据平台(DataPlateform)，最初的设计想法是：当今大数据横行，我们也不能落后。所以就想着写一个这样的平台系统。此项目集爬虫、搜索、Hadoop、Dwr推送、Quartz定时任务于一体的平台，其目的是想通过抓取互联网数据，通过大数据推测人或者某一事物的下一行为。C…☆18Jul 31, 2017Updated 8 years ago
- JBFS 是基于facebook haystack 开发的一套分布式海量小文件存储系统☆18Feb 25, 2016Updated 9 years ago
- 基于Disruptor的异步并行框架☆20Jun 8, 2015Updated 10 years ago
- Strom 实时风控统计☆21Nov 30, 2017Updated 8 years ago
- 基于 Spring 和 Jedis 的 Disque 封装，使用注解驱动☆22Feb 15, 2016Updated 10 years ago
- 实时数据分析平台☆42Jun 26, 2013Updated 12 years ago
- 视频、音频、图片内容识别、语音转写、语音合成 / easy convert video audio image to text, and revert text to audio(base64)☆24Dec 3, 2025Updated 2 months ago
- Vert.x-Web 3.2.1 same as spring framework web， not dependent spring ，annotation develop. Vertx-RPC remote call, annotation .☆21Feb 10, 2023Updated 3 years ago
- 关于通过百度地图API采集POI数据，并存储到HBase的项目。☆25Mar 14, 2016Updated 9 years ago
- Google 在 2018 年下旬开源了一款新的 Java 工具 Jib，可以轻松地将 Java 应用程序容器化。通过 Jib，我们不需要编写 Dockerfile 或安装 Docker，通过集成到 Maven 或 Gradle 插件，就可以立即将 Java 应用程序容器化…☆21Apr 7, 2019Updated 6 years ago
- 一个支持多级缓存的分布式缓存系统☆20Dec 27, 2017Updated 8 years ago
- douyin api,抖音上传接口,抖音接口，抖音搬家，视频备份☆19Aug 9, 2020Updated 5 years ago
- 针对阿里巴巴 canal客户端封装，与spring无缝衔接☆25Dec 16, 2022Updated 3 years ago
- 数据挖掘十大算法Java实现。☆22Sep 18, 2018Updated 7 years ago
- 参加阿里巴巴中间件比赛时的mom项目源码☆22Nov 12, 2015Updated 10 years ago
- 基于zookeeper的分布式锁的实现☆22Feb 15, 2016Updated 10 years ago
- 🚜线程安全、网络编程、消息中间件文章源码🚜☆29Apr 19, 2018Updated 7 years ago
- 项目名：物流优化管理系统；服务器：springboot；数据库：msyql 5.7 ; 前端：bootstrap；核心算法：Dijkstra算法☆24Dec 16, 2023Updated 2 years ago
- Fast HTTP protocol with separate netty+disruptor based server☆41Apr 29, 2012Updated 13 years ago
- 游戏中常用的线程池，顺序队列和非顺序队列☆22Jun 6, 2017Updated 8 years ago
- 基于无锁队列（RingBuffer）实现的具备轮转功能的异步日志。☆21Apr 12, 2017Updated 8 years ago