xpleaf / ispiderLinks
A Distributed Crawler System Designed By Java.
☆213Updated 7 years ago
Alternatives and similar repositories for ispider
Users that are interested in ispider are comparing it to the libraries listed below
Sorting:
- 使用java+httpclient+httpcleaner,多线程、分布式爬去电商网站商品信息,数据存储在hbase上,并使用solr对商品建立索引,使用redis队列存储一个共享的url仓库;使用zookeeper对爬虫节点生命周期进行监视等。☆232Updated 4 years ago
- clover 1、开发server和client端 定时向zk集群发送心跳数据包,利用Java自带的timer程序实现该功能 2、开发整天的monitor程序,用来定时向zk中获取server和client端的心跳数据信息,如果超过指定时间没有收到最新的数据包,那么任务se…☆196Updated 10 years ago
- 本项目已废弃,笔记收藏整 理参考:☆69Updated 4 years ago
- 基于springboot的rest调用框架,定义接口然后即可直接注入使用。☆149Updated 7 years ago
- SpingBoot框架使用与研究项目。☆176Updated 6 years ago
- ElasticSearch Java Rest Client Examples☆189Updated 2 years ago
- 分布式锁的简单实现☆108Updated 8 years ago
- 一个采用Netty实现的RPC框架,适用于Spring Boot,Spring Cloud!☆163Updated 4 years ago
- 一个基于webmagic框架二次开发的java爬虫框架实战,已实现能爬取腾讯,搜狐,今日头条(单独集成功能)等资讯内容,配合elasticsearch框架用法,实现了自动爬虫,已投入线上生产使用。☆343Updated 2 years ago
- ElasticSearch的使用笔记,包括使用sdk,使用springboot+Jest、rollover索引切分和使用docker启动完成es的部署索引和搜索等☆86Updated 3 years ago
- JAVA LocalCache -- JAVA 本地缓存工具类☆63Updated 8 years ago
- 👨🎓学习各种知识的记录☆169Updated 4 years ago
- 一个基于Spring Boot的Storm开发手脚架,开箱即用!集成读写Kafka、写Redis、写MySQL示例。☆59Updated 6 years ago
- Spring Boot 整合Mybatis、Druid、PageHelper、Swagger 、AOP、过滤器、拦截器、thymeleaf 基础入门demo☆133Updated 6 years ago
- 日积月累,开源框架学习(Thrift、Dubbo、Spring、Guava ... )☆76Updated 3 years ago
- 实现定时爬取与IP代理池☆149Updated 7 years ago
- netty实现的websocket推送框架☆102Updated 6 years ago
- 🍁spring-boot及相关知识练习,Java生态研究学习(spring ,redis,ignite,tasks,zookeeper,dubbo,mybatis,kafka,rabbitmq,webflux);前沿新技术的探索,webflux,响应式编程,kontlin…☆73Updated 6 years ago
- Java实现秒杀系统☆71Updated 7 years ago
- 基于Spring Boot + Quartz 的分布式任务调度系统☆248Updated 4 years ago
- elasticsearch+hbase海量数据查询,支持千万数据秒回查询☆281Updated 8 years ago
- 对定时任务调度框架quartz源码的阅读和注释(comments on quartz-core source)☆357Updated 3 years ago
- 基于spring boot上的注解缓存,自带轻量级缓存管理页面。@Cache比spring cache更轻量的缓存,支持单个缓存设置过期时间,可以根据前缀移除缓存。采用fastjson序列化与反序列化,以json串存于缓存之中。ace-cache可以快速用于日常的sprin…☆176Updated 2 months ago
- init project☆74Updated 4 years ago
- 使用WebMagic抓取招聘信息,并且持久化到Mysql的例子。☆224Updated 8 years ago
- 天气爬虫(全国城镇天气自动定时抓取更新,并开放RESTful查询接口),附带代理IP池定时更新并检测其可用性☆366Updated 7 years ago
- 基于Spring AOP 使用元注解 实现系统操作日志记录☆83Updated 9 months ago
- Spring-boot 集成druid数据库连接池,Spring-boot实现druid的动态数据源,Spring-boot实现定时任务schedule,spring-boot集成mybatis☆185Updated 7 years ago
- Java网络编程:BIO、NIO、AIO☆136Updated 3 years ago
- 🔥springcloud脚手架,配置中心(apollo/nacos) 注册中心(consul/nacos) 分布式事物(seata) 调用链(skywalking) 日志(ELK)监控(prometheus与grafana) 等,适合学习与快速开发使用☆83Updated 3 years ago