peopleindreamdontsleep / SparkanSpider
java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES
☆21Updated 6 years ago
Alternatives and similar repositories for SparkanSpider
Users that are interested in SparkanSpider are comparing it to the libraries listed below
Sorting:
- 量化交易网站 java☆11Updated 8 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 7 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆75Updated 2 years ago
- 对大数据相关技术的研究和实践☆8Updated 2 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 7 years ago
- 蜂鸟数据分析平台帮助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景☆21Updated 6 years ago
- 移动用户行为统计系统，服务器端的数据采集分析，参考开源的cobub razor的设计☆36Updated 8 years ago
- 一个优秀的大数据查询平台，提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 7 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆51Updated 2 years ago
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间 的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆17Updated 2 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理； 2、跨站全文检索、数据共享； 3、微官网/手机网站同步建设； 4、高效二次开发的插件化管理 5、支持可视化模板制作；☆26Updated 8 years ago
- 股票交易数据处理的整个业务流程 数据源--->数据采集--->数据归类--->数据储存--->数据分析--->数据可视化☆31Updated 8 years ago
- Spark混合推荐系统大数据监控平台☆11Updated 7 years ago
- 各大电商网站数据抓取分析☆33Updated 11 years ago
- 用户画像代码，根据算法推算出用户的性别和年龄比率☆11Updated 7 years ago
- 基于ElasticSearch的分布式舆情检索统计服务。☆11Updated last year
- 线程池、任务、任务组、任务池，定时任务的类库☆23Updated 4 months ago
- SparkSQL数据 分析案例☆23Updated 8 years ago
- 用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 7 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆34Updated 2 years ago
- 数据处理平台☆16Updated 8 years ago
- 多租户架构实现企业进销存☆20Updated 8 years ago
- 基于Spring boot 实现的股票基金爬虫工具☆32Updated 7 months ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 7 years ago
- 基于flink的推荐系统，实时获取kafka数据进行数据清洗，离线计算进行文件读取（文件,mongodb,hbase）运用协同过滤算法进行计算得出推荐数据☆18Updated 2 years ago
- DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。☆23Updated 3 years ago
- 全渠道整合智能在线客服系统☆38Updated 7 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 10 years ago
- 使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装☆33Updated 8 years ago
- 🍰springboot2.1.4、mybatis、bootstrap、代码生成器、shiro权限管理、前后端分离、自用型java通用后台管理系统快速开发框架 集成通用controller 通用mapper 通用service、脚手架、起手式，让web后台开发变得简单～！！☆24Updated 2 years ago