大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
☆74Nov 4, 2022Updated 3 years ago
Alternatives and similar repositories for DataMingProject
Users that are interested in DataMingProject are comparing it to the libraries listed below. We may earn a commission when you buy through links labeled 'Ad' on this page.
Sorting:
- 【易车】- Spark、flink、HBase、Hive、flume集成了一些Hadoop的原生api的一些demo（如HDFS、MapReduce：目前就这两个）；同时测试一些异常功能☆16Apr 4, 2019Updated 7 years ago
- 蓝泰源大数据基础平台☆17Mar 7, 2018Updated 8 years ago
- Spark Streaming监控平台，支持任务部署与告警、自启动☆129Mar 29, 2018Updated 8 years ago
- 分布式大数据SQL查询可视化界面！☆68Sep 29, 2015Updated 10 years ago
- 电商用户行为分析大数据平台☆1,105Nov 16, 2022Updated 3 years ago
- Managed Database hosting by DigitalOcean • AdPostgreSQL, MySQL, MongoDB, Kafka, Valkey, and OpenSearch available. Automatically scale up storage and focus on building your apps.
- BigData Project 大数据项目由浅入深☆648Nov 30, 2017Updated 8 years ago
- POC for all the stack of big data (kafka, spark, cassandra, hdfs, docker, springboot)☆12Dec 16, 2022Updated 3 years ago
- Java调用Kettle API执行转换和作业，Java代码生成Kettle转换。☆21Mar 9, 2018Updated 8 years ago
- 电商+大数据+spark机器学习☆17Dec 5, 2017Updated 8 years ago
- better performance for kylin query☆15Jun 14, 2019Updated 6 years ago
- 各大电商网站数据抓取分析☆32Sep 17, 2013Updated 12 years ago
- 使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装☆32May 6, 2017Updated 8 years ago
- 用户画像代码，根据算法推算出用户的性别和年龄比率☆11Dec 18, 2017Updated 8 years ago
- 基于hadoop，利用ssh框架实现hdfs网盘☆27Sep 5, 2012Updated 13 years ago
- Bare Metal GPUs on DigitalOcean Gradient AI • AdPurpose-built for serious AI teams training foundational models, running large-scale inference, and pushing the boundaries of what's possible.
- 基于Spark和Kubernetes的机器学习平台☆31Mar 13, 2018Updated 8 years ago
- SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现☆36Feb 19, 2018Updated 8 years ago
- 关于大数据的面试题，包括hadoop、hbase、hive、spark、storm、zookeeper、kafka、flume、logstash、redis、ELK、ETL、算法等等，持续更新中☆448Mar 31, 2019Updated 7 years ago
- 流程化 机器学习框架 基于 scala java语言 ,一站式自动机器学习平台 ,主要包括数据分析 特征工程 ，机器模型，自动部署，超参数优化，模型自动优化，自动扩容分配创建功能，类似第四范式、阿里PAI平台、google autoMl、亚马逊SageMaker☆67Aug 1, 2018Updated 7 years ago
- 一个为spark 批量导入数据到hbase的库☆43Nov 18, 2016Updated 9 years ago
- 清华大数据作业MapReduce处理几百个G的JSON数据☆50Jun 27, 2016Updated 9 years ago
- bigdata note☆39Jul 20, 2023Updated 2 years ago
- 数据库访问中间件，统一的标准sql查询，底层可以是不同的数据库包括mysql、ElasticSearch、kylin、presto等。☆14Apr 21, 2018Updated 8 years ago
- 大数据招聘信息分析平台☆46Feb 25, 2016Updated 10 years ago
- Deploy open-source AI quickly and easily - Special Bonus Offer • AdRunpod Hub is built for open source. One-click deployment and autoscaling endpoints without provisioning your own infrastructure.
- 基于知识图谱技术的搜素引擎研发☆19Apr 24, 2017Updated 9 years ago
- 基于zookeeper的分布式配置管理中心，在分布式系统中，配置文件经常多而繁杂，更新容易丢，有了这个组件，可以热更新，并且不会哪台机子上漏了哪个配置。☆35Feb 15, 2016Updated 10 years ago
- 一个大数据架构师应该掌握的技能☆471Sep 2, 2019Updated 6 years ago
- elasticsearch+hbase海量数据查询,支持千万数据秒回查询☆279Jan 1, 2017Updated 9 years ago
- Java开发者或者大数据开发者面试知识点整理☆253Feb 25, 2019Updated 7 years ago
- Storm Kafka 流数据 处理系统☆20Oct 10, 2018Updated 7 years ago
- 数据仓库KETTLE ETL资源库☆14Jun 11, 2015Updated 10 years ago
- 使用Spark的MLlib、Hbase作为模型、Hive作数据清洗的核心推荐引擎,在Spark on Yarn测试通过☆30Mar 9, 2017Updated 9 years ago
- 基于WIFI探针的商业大数据分析技术☆301Nov 16, 2022Updated 3 years ago
- Deploy open-source AI quickly and easily - Special Bonus Offer • AdRunpod Hub is built for open source. One-click deployment and autoscaling endpoints without provisioning your own infrastructure.
- Spark混合推荐系统大数据监控平台☆11May 1, 2018Updated 7 years ago
- Deworm的软工三大作业迭代三：NBA数据采集、数据提供、数据展现、数据分析、数据同步☆28Mar 21, 2016Updated 10 years ago
- 基于TBSchedule开发的一个分布式任务调度框架，可以解析任务间的依赖，并执行任务（执行Shell、bat脚本）☆12Aug 5, 2016Updated 9 years ago
- hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs☆21Sep 21, 2018Updated 7 years ago
- 一个基于Softflowd，Kafka，Spark Streaming，Elk，Django开发的网络数据流监控分析后台， 支持Netflow V9与Netflow V5。可以对进入和流出的流量进行异常分析并执行自动化漏洞修复。☆25Jun 10, 2021Updated 4 years ago
- 封装sparkstreaming动态调节batch time(有数据就执行计算)； 支持运行过程中增删topic； 封装sparkstreaming 1.6 - kafka 010 用以支持 SSL。☆181Apr 15, 2021Updated 5 years ago
- hadoop_storm_spark结合实验的例子，模拟淘宝双11节，根据订单详细信息，汇总出总销售量，各个省份销售排行，以及后期的SQL分析，数据分析，数据挖掘等。 --------大概流程------- 第一阶段（storm实时报表） 第二阶段（离线报表）第三阶段（大规…☆325Feb 25, 2015Updated 11 years ago