xpleaf / ispiderLinks
A Distributed Crawler System Designed By Java.
☆210Updated 7 years ago
Alternatives and similar repositories for ispider
Users that are interested in ispider are comparing it to the libraries listed below
Sorting:
- 使用java+httpclient+httpcleaner,多线程、分布式爬去电商网站商品信息,数据存储在hbase上,并使用solr对商品建立索引,使用redis队列存储一个共享的url仓库;使用zookeeper对爬虫节点生命周期进行监视等。☆232Updated 4 years ago
- 基于springboot的rest调用框架,定义接口然后即可直接注入使用。☆149Updated 7 years ago
- 一个基于webmagic框架二次开发的java爬虫框架实战,已实现能爬取腾讯,搜狐,今日头条(单独集成功能)等资讯内容,配合elasticsearch框架用法,实现了自动爬虫,已投入线上生产使用。☆338Updated 2 years ago
- 一个采用Netty实现的RPC框架,适用于Spring Boot,Spring Cloud!☆164Updated 3 years ago
- ☆155Updated 9 years ago
- 实现定时爬取与IP代理池☆148Updated 7 years ago
- 分布式锁的简单实现☆107Updated 8 years ago
- Java底层知识点、源码解读,技术栈相关原理知识点、工具解读最佳实践、功能点实战,问题排查,开发技巧等☆131Updated 2 years ago
- ☆119Updated 7 years ago
- 基于Redis的分布式限流组件,注解支持☆144Updated 6 years ago
- 本项目已废弃,笔记收藏整理参考:☆70Updated 4 years ago
- 基于SpringCloud 的微服务,订单,支付,商场(活动),工作流,用户,短信,极光☆203Updated 7 months ago
- springboot 学习mybatis+mysql读写分离(一写多读)+事务☆124Updated 6 years ago
- Exception异常管理平台,支持Java、PHP、Python等多种语言☆85Updated 2 years ago
- 豆瓣电影爬虫——a crawler which is able to crawl movie detail and short comments, save them to database mysql, also include Sentiment analysis ba…☆69Updated 6 years ago
- 无侵入的应用级网关限流框架,无需配置文件,细粒度控制,高灵活性,高可用性,使用redis+lua脚本实现。☆151Updated 4 months ago
- Spring-boot 集成druid数据库连接池,Spring-boot实现druid的动态数据源,Spring-boot实现定时任务schedule,spring-boot集成mybatis☆186Updated 7 years ago
- Song Parser SPI Demo is a simple example of Java SPI.☆49Updated 2 years ago
- 用netty实现长连接和心跳监测的示例代码☆135Updated 6 years ago
- jdk源码学习笔记,人话翻译☆131Updated 7 years ago
- 实战虚拟机☆94Updated 4 years ago
- ElasticSearch的使用笔记,包括使用sdk,使用springboot+Jest、rollover索引切分和使用docker启动完成es的部署索引和搜索等☆85Updated 2 years ago
- 秒杀与抢购系统架构设计与实现☆276Updated 7 years ago
- 利用spring boot + webmagic 开发的java爬虫系统☆62Updated 8 years ago
- spring+mybatis实现数据库读写分离☆5Updated 8 years ago
- What the ZNS is an implementation of distribution RPC.☆72Updated 3 years ago
- netty实现的websocket推送框架☆102Updated 6 years ago
- 随着技术日新月异,新技术新平台不断出现,对现如今的开发人员来说选择快速高效的框架进行项目开发,既能提高产出,又能节约时间。本框架无需开发即可实现服务注册、服务发现、负载均衡、服务网关、配置中心、API管理、分布式事务、支撑平台、集成框架、数据传输加密等功能,是学习Sprin…☆359Updated 9 months ago
- 基于 Spring 和 Redis 的分布式消息队列(MessageQueue)实现☆117Updated 9 years ago
- 基于spring boot上的注解缓存,自带轻量级缓存管理页面。@Cache比spring cache更轻量的缓存,支持单个缓存设置过期时间,可以根据前缀移除缓存。采用fastjson序列化与反序列化,以json串存于缓存之中。ace-cache可以快速用于日常的sprin…☆176Updated 2 years ago