爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。
☆17Oct 7, 2015Updated 11 years ago
Alternatives and similar repositories for spider
Users that are interested in spider are comparing it to the libraries listed below. We may earn a commission when you buy through links labeled 'Ad' on this page.
Sorting:
- akka学习理解，使用了maven、sbt两种构建方式，同时使用量java和scala两种语言实现。akka入门，清晰理解akka流程☆13Oct 18, 2015Updated 11 years ago
- java分布式爬虫，主机和从机控制的机制☆14May 21, 2015Updated 11 years ago
- This is a Java-based benchmark for matrix approximation based collaborative filtering☆11Jul 12, 2025Updated last year
- 基于openoffice+jodconverter-core-3.0-beta-4-dist+spring+quartz+dubbo+zookeeper+MyBatis服务化的文档转换服务☆13Jul 21, 2016Updated 10 years ago
- image server base on nosql☆10Aug 24, 2016Updated 10 years ago
- Bare Metal GPUs on DigitalOcean Gradient AI • AdPurpose-built for serious AI teams training foundational models, running large-scale inference, and pushing the boundaries of what's possible.
- 数据平台(DataPlateform)，最初的设计想法是：当今大数据横行，我们也不能落后。所以就想着写一个这样的平台系统。此项目集爬虫、搜索、Hadoop、Dwr推送、Quartz定时任务于一体的平台，其目的是想通过抓取互联网数据，通过大数据推测人或者某一事物的下一行为。C…☆18Jul 31, 2017Updated 9 years ago
- 基于ffmpeg+spring+quartz+dubbo+zookeeper+MyBatis服务化的视频转换分布式服务☆12Jul 21, 2016Updated 10 years ago
- 关于通过百度地图API采集POI数据，并存储到HBase的项目。☆25Mar 14, 2016Updated 10 years ago
- Google 在 2018 年下旬开源了一款新的 Java 工具 Jib，可以轻松地将 Java 应用程序容器化。通过 Jib，我们不需要编写 Dockerfile 或安装 Docker，通过集成到 Maven 或 Gradle 插件，就可以立即将 Java 应用程序容器化…☆21Apr 7, 2019Updated 7 years ago
- j360系列 - 缓存异步写数据库的框架☆15Apr 14, 2016Updated 10 years ago
- rpc_learn Spring + Netty + Protostuff + ZooKeeper 实现了一个轻量级 RPC 框架，使用 Spring 提供依赖注入与参数配置，使用 Netty 实现 NIO 方式的数据传输，使用 Protostuff 实现对象序列化，使用 …☆19May 26, 2015Updated 11 years ago
- 集成第三方登录功能（新浪微博，腾讯QQ，微信，公众号登录）☆24Mar 23, 2017Updated 9 years ago
- 通用化任务管理，包含多样化的任务管理、调度、监控等，即成rabbitmq、kudu、kafka、opentsdb、zookeeper等组件☆11Nov 24, 2017Updated 8 years ago
- No More than a C build system for clang, gcc and msvc☆13Mar 20, 2025Updated last year
- Managed Kubernetes at scale on DigitalOcean • AdDigitalOcean Kubernetes includes the control plane, bandwidth allowance, container registry, automatic updates, and more for free.
- 大数据实时计算的基础框架☆48Jan 12, 2015Updated 11 years ago
- 基于Mole的一个企业级web应用的架子☆25Jan 30, 2015Updated 11 years ago
- word,excel转pdf☆11Oct 26, 2018Updated 8 years ago
- 参加阿里巴巴中间件比赛时的mom项目源码☆22Nov 12, 2015Updated 10 years ago
- Sync是一款分布式场景下基于Redis的安全高效的线程同步组件，提供分布式可重入互斥锁、分布式可重入读写锁、分布式信号量。提供相应注解，使用简单，可与spring-boot无缝集成。☆14Oct 8, 2022Updated 4 years ago
- 个性化推荐算法的通用处理框架，基于Mahout和Lucene☆18May 25, 2015Updated 11 years ago
- douyin api,抖音上传接口,抖音接口，抖音搬家，视频备份☆19Aug 9, 2020Updated 6 years ago
- mysql数据实时同步到redis，基于mysql binlog实现的同步方案☆10Dec 12, 2015Updated 10 years ago
- 基于CAS单点登录服务端进行二次开发的SpringBoot版轻量级CAS-Server☆10Aug 4, 2022Updated 4 years ago
- End-to-end encrypted email - Proton Mail • AdSpecial offer: 40% Off Yearly / 80% Off First Month. All Proton services are open source and independently audited for security.
- 基于阿里Dubbo框架的服务切换工具☆19Jul 21, 2017Updated 9 years ago
- Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的☆16Nov 8, 2015Updated 10 years ago
- jdk源码学习与分析（version7，附注释）主要包括集合包，并发包，线程池，类加载器等☆51Apr 9, 2018Updated 8 years ago
- 分布式爬虫框架,基于webdrvier模拟用户请求,kafka消息传递,分布式网页存储使用hbase,task异步任务多线程解析,提供基础服务如:proxy ip服务和号码验证服务等, proxy page使用H5和we版进行接入☆13Dec 18, 2015Updated 10 years ago
- Netty 源码分析，包含各种流程图☆11Jun 23, 2020Updated 6 years ago
- 开源项目，供学习☆10May 7, 2021Updated 5 years ago
- ServiceFramework 示例项目☆10Apr 2, 2016Updated 10 years ago
- 一个基于redis消息队列的livePush推流器的分布式服务，修改部分livePush推流实现，采用监听redis消息队列方式控制推流和停止☆11Sep 22, 2016Updated 10 years ago
- 基于grpc开发的跨语言的交互系统，集成B/C/S，Brower基于SpringBoot2开发，使用Netty+WebSocket实现QQ功能，Client基于PyQt5，实现用户管理和博客管理。图片服务和博客服务基于Go语言开发，并且提供了HTTP的图片服务功能。☆14Apr 14, 2021Updated 5 years ago
- Deploy on Railway without the complexity - Free Credits Offer • AdConnect your repo and Railway handles the rest with instant previews. Quickly provision container image services, databases, and storage volumes.
- 数据挖掘十大算法Java实现。☆23Sep 18, 2018Updated 8 years ago
- 使用java+httpclient+httpcleaner，多线程、分布式爬去电商网站商品信息，数据存储在hbase上，并使用solr对商品建立索引，使用redis队列存储一个共享的url仓库；使用zookeeper对爬虫节点生命周期进行监视等。☆233Nov 6, 2020Updated 6 years ago
- zookeeper官方提供的分布式锁，选举master，和分布式队列实现☆16Mar 11, 2014Updated 12 years ago
- 一个支持多级缓存的分布式缓存系统☆21Dec 27, 2017Updated 8 years ago
- Integration of vertx-web & spring framework☆17Oct 18, 2017Updated 9 years ago
- 66道算法题目+php解题+java解题☆11Sep 12, 2018Updated 8 years ago
- Automatically exported from code.google.com/p/core-java-performance-examples☆10Jul 18, 2015Updated 11 years ago