bcqtt / article-spiderLinks
1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置 10、OpenCV图像处理技术 11、缓存Ehcache 12、java设计模式练习、Demo
☆16Updated 3 years ago
Alternatives and similar repositories for article-spider
Users that are interested in article-spider are comparing it to the libraries listed below
Sorting:
- 用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 8 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 10 years ago
- ☆43Updated 2 years ago
- 微信小程序-基于SpringBoot的实现Maven聚合,分为core核心模块,service服务模块，gateway对外网关模块，目前已经实现Shrio鉴权jwt监控鉴权,为小程序提供统一规范接口，以及小程序配套后台.☆57Updated 3 years ago
- Java JUC 学习项目 包括各种并发多线程的高级使用。java自带多线程并发锁高级应用☆15Updated 7 years ago
- 使用 SpringBoot2.0+ElasticSearch 实现的开源电影搜索引擎☆88Updated 3 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 10 years ago
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 8 years ago
- 一个用Solr做企业应用内的搜索引擎的SpringBoot项目☆22Updated 7 years ago
- cglib轻量化mvc框架(ioc+aop+mvc+orm+切面级事物)☆28Updated 7 years ago
- Java高级工程师面试资料☆20Updated 6 years ago
- 大数据量Excel读取工具☆13Updated 3 years ago
- SpringBoot+Solr + webmagic JD商品爬取数据，放入solr中做搜索，学习下solr使用☆44Updated 8 years ago
- 百灵权限管理系统，是一款构建在用户、角色、权限、日志、在线用户、用户下线、系统设置、日志管理之基础上等开源权限管理系统。 当前系统允许通过设置角色对应的权限，而权限通过Shiro可以控制到相应的操作菜单、操作按钮，并通过角色授权给用户在细化后权限范围内进行相关操作；同时，系…☆101Updated 7 years ago
- 个人学习xxl-job源码 核心部分加上了中文注释☆16Updated 7 years ago
- 模拟电商下单->订单处理->订单结果通知的完整流程，基于RocketMQ进行实现☆62Updated 2 years ago
- 基于spring mvc+redis+logback+elk的日志demo☆12Updated 8 years ago
- 单点登录系统☆26Updated 8 years ago
- DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。☆23Updated 4 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆39Updated 2 years ago
- 面向互联网金融行业的支付系统(模块)☆53Updated 5 years ago
- SpringBoot操作Elasticsearch的实战案例，elasticsearch 2.4.5/5.6.1☆35Updated 5 years ago
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Updated 8 years ago
- 人工智能开放平台☆32Updated 6 years ago
- mybatis3在spring中的分库分表☆26Updated 8 years ago
- 大数据生态圈学习☆18Updated 3 years ago
- 一个通用的开源工具集，集Web、Restful服务、分布式服务、分布式数据库、分布式事务、大数据、数据分析、云计算、人工智能、深度学习、机器学习、算法等为一体的通用开源解决方案，持续更新中。。。☆79Updated 3 years ago
- 基于ElasticSearch的分布式舆情检索统计服务。☆11Updated last year
- java spring redies：订阅/发布系统；统一配置管理；lua脚本实现分布式锁；缓存应用（连接池，切片连接池，哨兵模式）☆29Updated 2 years ago