bcqtt / article-spider
1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置 10、OpenCV图像处理技术 11、缓存Ehcache 12、java设计模式练习、Demo
☆16Updated 2 years ago
Alternatives and similar repositories for article-spider:
Users that are interested in article-spider are comparing it to the libraries listed below
- 用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 7 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- 个人学习xxl-job源码 核心部分加上了中文注释☆16Updated 6 years ago
- java方向书籍的学习，包括《java编程思想》,《实战java虚拟机》（作者：葛一鸣）《java高并发》（作者：葛一鸣）。☆18Updated 6 years ago
- 大数据生态圈学习☆18Updated 2 years ago
- Java高级工程师面试资料☆20Updated 6 years ago
- ☆43Updated 2 years ago
- Java架构师学习☆11Updated 6 years ago
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 7 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 6 years ago
- 基于redis的分布式锁，适用于秒杀，自增ID等web分布式开发场景☆11Updated 8 years ago
- 单点登录系统☆26Updated 7 years ago
- cglib轻量化mvc框架(ioc+aop+mvc+orm+切面级事物)☆28Updated 7 years ago
- 阿布的个人网站 SpringBoot(框架)-Mybatis(持久层)-Druid(数据监控)-Redis(缓存)-RabbitMQ(消息中间件)☆14Updated 7 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 10 years ago
- 数据平台(DataPlateform)，最初的设计想法是：当今大数据横行，我们也不能落后。所以就想着写一个这样的平台系统。此项目集爬虫、搜索、Hadoop、Dwr推送、Quartz定时任务于一体的平台，其目的是想通过抓取互联网数据，通过大数据推测人或者某一事物的下一行为。C…☆18Updated 7 years ago
- Java JUC 学习项目 包括各种并发多线程的高级使用。java自带多线程并发锁高级应用☆15Updated 6 years ago
- xxl-job-admin 任务调度平台 Spring Boot 版本[后台部分] ，统一改为rest接口☆38Updated 2 years ago
- 一个用Solr做企业应用内的搜索引擎的SpringBoot项目☆22Updated 6 years ago
- Spark混合推荐系统大数据监控平台☆11Updated 7 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 7 years ago
- SpringBoot+Solr + webmagic JD商品爬取数据，放入solr中做搜索，学习下solr使用☆44Updated 7 years ago
- 一个基于java的多线程爬虫项目,拜读了《并发变成实战》以及《并发编程艺术》后决定写个项目来巩固一下学到的东西.☆28Updated 2 years ago
- 多租户架构实现企业进销存☆20Updated 8 years ago
- 大数据量Excel读取工具☆13Updated 2 years ago
- springboot项目使用脚手架，集成redis、mysql、pg，hbase、elasticsearch、kafka等常用组件功能☆21Updated 2 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆75Updated 2 years ago
- JEECG是一款基于代码生成器的J2EE快速开发平台，开源界“小普元”超越传统商业企业级开发平台。引领新的开发模式(Online Coding模式(自定义表单) -> 代码生成器模式 -> 手工MERGE智能开发)， 可以帮助解决Java项目60%的重复工作，让…☆16Updated 7 years ago
- redis缓存和mysql集成的示例☆25Updated last year