大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
☆74Nov 4, 2022Updated 3 years ago
Alternatives and similar repositories for DataMingProject
Users that are interested in DataMingProject are comparing it to the libraries listed below
Sorting:
- 【易车】- Spark、flink、HBase、Hive、flume集成了一些Hadoop的原生api的一些demo（如HDFS、MapReduce：目前就这两个）；同时测试一些异常功能☆16Apr 4, 2019Updated 6 years ago
- 蓝泰源大数据基础平台☆17Mar 7, 2018Updated 8 years ago
- Spark Streaming监控平台，支持任务部署与告警、自启动☆129Mar 29, 2018Updated 7 years ago
- 分布式大数据SQL查询可视化界面！☆68Sep 29, 2015Updated 10 years ago
- 电商用户行为分析大数据平台☆1,091Nov 16, 2022Updated 3 years ago
- BigData Project 大数据项目由浅入深☆649Nov 30, 2017Updated 8 years ago
- POC for all the stack of big data (kafka, spark, cassandra, hdfs, docker, springboot)☆12Dec 16, 2022Updated 3 years ago
- tools for bigData☆38Dec 19, 2018Updated 7 years ago
- Java调用Kettle API执行转换和作业，Java代码生成Kettle转换。☆21Mar 9, 2018Updated 8 years ago
- 电商+大数据+spark机器学习☆17Dec 5, 2017Updated 8 years ago
- 各大电商网站数据抓取分析☆32Sep 17, 2013Updated 12 years ago
- better performance for kylin query☆15Jun 14, 2019Updated 6 years ago
- 使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装☆32May 6, 2017Updated 8 years ago
- 用户画像代码，根据算法推算出用户的性别和年龄比率☆11Dec 18, 2017Updated 8 years ago
- 基于hadoop，利用ssh框架实现hdfs网盘☆27Sep 5, 2012Updated 13 years ago
- 基于Spark和Kubernetes的机器学习平台☆31Mar 13, 2018Updated 8 years ago
- SparkStreaming项目，显示flume->Kafka->Spark->hbase(实 时数据处理方案)，Scala实现☆36Feb 19, 2018Updated 8 years ago
- 关于大数据的面试题，包括hadoop、hbase、hive、spark、storm、zookeeper、kafka、flume、logstash、redis、ELK、ETL、算法等等，持续更新中☆446Mar 31, 2019Updated 6 years ago
- 流程化 机器学习框架 基于 scala java语言 ,一站式自动机器学习平台 ,主要包括数据分析 特征工程 ，机器模型，自动部署，超参数优化，模型自动优化，自动扩容分配创建功能，类似第四范式、阿里PAI平台、google autoMl、亚马逊SageMaker☆66Aug 1, 2018Updated 7 years ago
- CCF大数据竞赛--中文地址魔方大赛--第一名☆37Apr 14, 2017Updated 8 years ago
- bigdata note☆39Jul 20, 2023Updated 2 years ago
- 大数据招聘信息分析平台☆46Feb 25, 2016Updated 10 years ago
- 基于zookeeper的分布式配置管理中心，在分布式系统中，配置文件经常多而繁杂，更新容易丢，有了这个组件，可以热更新，并且不会哪台机子上漏了哪个配置。☆35Feb 15, 2016Updated 10 years ago
- 一个大数据架构师应该掌握的技能☆471Sep 2, 2019Updated 6 years ago
- elasticsearch+hbase海量数据查询,支持千万数据秒回查询☆280Jan 1, 2017Updated 9 years ago
- Java开发者或者大数据开发者面试知识点整理☆254Feb 25, 2019Updated 7 years ago
- Storm Kafka 流数据 处理系统☆20Oct 10, 2018Updated 7 years ago
- 数据仓库KETTLE ETL资源库☆14Jun 11, 2015Updated 10 years ago
- WiFi大数据分析项目☆107Jun 9, 2018Updated 7 years ago
- 使用Spark的MLlib、Hbase作为模型、Hive作数据清洗的核心推荐引擎,在Spark on Yarn测试通过☆30Mar 9, 2017Updated 9 years ago
- 基于WIFI探针的商业大数据分析技术☆301Nov 16, 2022Updated 3 years ago
- Spark混合推荐系统大数据监控平台☆11May 1, 2018Updated 7 years ago
- 基于TBSchedule开发的一个分布式任务调度框架，可以解析任务间的依赖，并执行任务（执行Shell、bat脚本）☆12Aug 5, 2016Updated 9 years ago
- hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs☆21Sep 21, 2018Updated 7 years ago
- HBase数据库源代码学习研究(包括代码注释、文档、用于代码分析的测试用例)☆10May 18, 2017Updated 8 years ago
- 一个基于Softflowd，Kafka，Spark Streaming，Elk，Django开发的网络数据流监控分析后台， 支持Netflow V9与Netflow V5。可以对进入和流出的流量进行异常分析并执行自动化漏洞修复。☆25Jun 10, 2021Updated 4 years ago
- 封装sparkstreaming动态调节batch time(有数据就执行计算)； 支持运行过程中增删topic； 封装sparkstreaming 1.6 - kafka 010 用以支持 SSL。☆180Apr 15, 2021Updated 4 years ago
- hadoop_storm_spark结合实验的例子，模拟淘宝双11节，根据订单详细信息，汇总出总销售量，各个省份销售排行，以及后期的SQL分析，数据分析，数据挖掘等。 --------大概流程------- 第一阶段（storm实时报表） 第二阶段（离线报表）第三阶段（大规…☆325Feb 25, 2015Updated 11 years ago
- 在规格文件上直接执行SQL，无数据库依赖，基于Java8的流计算和Lamdba表达式。☆10Jun 15, 2017Updated 8 years ago