yikuangcloud / 1kuang_datas
亿矿云大数据处理框架：借助Hadoop、Spark、Storm等分布式处理架构，满足海量数据的批处理和流处理计算需求。 亿矿云大数据预处理：运用数据冗余剔除、异常检测、归一化等方法对原始数据进行清洗，为后续存储、管理与分析提高质量数据来源。 亿矿云大数据存储与管理：通过分布式文件系统、NoSQL数据库、关系数据库、时序数据库等不同的数据管理引擎实现海量工业数据的分区选择、存储、编目与索引等。
☆16Updated last year
Related projects ⓘ
Alternatives and complementary repositories for 1kuang_datas
- 本项目主要用于搭建一个基于docker的实时监控系统，涉及的大数据相关组件有Filebeat，Kafka，Zookeeper，Flink，后端主要使用了SpringBoot进行开发，数据库使用了Redis做缓存，前端用了Vue框架，通过Ant Design组件库和Echar…☆39Updated last year
- ❄️本仓库包含Java学习笔记和大数据学习笔记，主要包含Java基础、JavaWEB、Java框架、大数据主要框架。主要内容为：Java、Mysql、SSM、SpringBoot、MyBatisPlus、MyBatis、Hadoop、Hive、Flume、Kakfa、HBa…☆21Updated last year
- 基于hadoop生态搭建的电商数据仓库，整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等☆50Updated 2 years ago
- 一个使用 Python 且基于 Flask Web 框架开发的 MVC 架构的个人博客系统。☆10Updated 6 months ago
- zxl-hadoop是一个大数据服务管理工具，基于Web界面，提供服务器集群的各种指标监控，并提供HDFS、MapReduce、Hive、Flink、Habase、Zookeeper、Kafka、Sqoop等大数据组件的一键式安装。☆17Updated 3 years ago
- ☆17Updated last year
- 007 基于网络爬虫技术的新闻分析系统-毕业设计展示 python django vue scrapy jieba nlp 爬虫抓取 新闻列表 新闻详情 新闻分类 新闻摘要抽取 关键词分析 情感分析 朴素贝叶斯算法 词性分析 后台管理新闻数据☆10Updated last year
- SmartCommunity是一套适合互联网企业使用的开源应急管理综合应用平台统，是充分利用移动互联网信息技术的集成应用，以家庭为中心、结合社区、商家等服务主体，将物业服务、社区服务等整合在一个高效的系统之中。让市民轻松享受安全、便捷、精彩、健康、幸福的智慧生活，本项目为前…☆35Updated last month
- 数据大屏可视化,大数据分析（SpringBoot+hiveJDBC+echarts)☆37Updated 2 years ago
- 基于标签的用户行为日志大数据分析系统☆20Updated 3 years ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆48Updated 2 years ago
- 汽车TBOX数据采集及分析系统设计与实现☆28Updated 3 years ago
- 清新&优雅的高校图书馆管理及可视化平台，以郑州GS学院（ZTBU）图书馆设施为研究对象，有着极高的代码规范和架构模式。基于SpringBoot + Mybatis Plus + VUE(Naive UI)实现的高校图书馆管理系统+用户行为数据可视化平台，支持RBAC动态权限…☆18Updated 7 months ago
- 本项目分别电商数据统计模块及业务采集及数仓搭建模块，利用hive统计每个区域热门商品进行统计；依据业务数据实现离线业务数仓搭建。☆15Updated 2 years ago
- 传统大数据分析工具以Hadoop、Spark为代表，集成了大量的技术框架， 对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHou…☆62Updated 4 years ago
- 此项目是对大学生的一卡通消费数据、图书借阅记录和图书馆门禁数据在spark集 群的大数据框架环境之下进行聚类、关联分析，分析出学生的消费水平、生活规律、学习强度等聚类结果，以及将聚类结果进行FPGrowth关联分析得出学生聚类之间存在的关联性，此项目是使用scala语言，利用…☆60Updated last month
- healthyCheck是一套适合互联网企业使用的开源体检管理系统，可直接用于健康体检、职业体检、从业体检，适合个体检中心使用，可以对接医院各个设备、LIS、PACS、HIS系统便于数据录入以及出具体检报告，本项目为后端代码工程。☆17Updated 2 months ago
- 027 基于Spark协同过滤的农产品个性推荐系统-设计展示 python pyspark hadoop django scrapy vue element-plus 协同过滤算法 通过scrapy爬虫框架抓取“惠农网”网站上的农产品数据 前台用户通过登陆注册后进入系统 用…☆7Updated last year
- 毕设项目--面向短视频的流量数据爬取和分析系统☆27Updated 4 years ago
- 房价可视化监控系统☆34Updated last year
- 分布式通用爬虫平台(可视化生成css选择器,自定义设置抓取流程,正文自动提取,邮件通知)☆17Updated 3 years ago
- 金融反欺诈预测系统，技术涉及Vue3、Flask、XGBoost等。本 项目提供了完整的Web系统，系统功能包括信贷数据分析、信贷欺诈数据检测、用户历史预测记录、用户数据管理等。项目整体并不复杂，适合新手练手学习机器学习与Web系统的结合。☆36Updated 2 years ago
- 分析各区域热门商品 —— 使用 Flume 采集数据，MapReduce 或 Spark Core 进行数据清洗，最后使用 Hive 或 Spark SQL 进行数据的分析和处理。☆14Updated 5 years ago
- 2018全国云计算应用创新大赛一等奖作品。从零开始设计并构建“金科云盾”网站防护系统。该系统实现了大规模日志数据收集、高可用存储、分类归档、快速检索；基 于神经网络实时、精准地识别DDOS、慢连接等恶意攻击并直观展示；采用黑名单+防火墙封杀恶意IP，邮件实时告警。整个系 统…☆31Updated 3 years ago
- 使用scrapy从全国六大较权威的新闻网站(澎湃新闻、新华网、新京报、凤 凰网、光明网、人民网)爬取最近15天内的新闻，利用爬取数据提取省份信息、计算新闻热点值、使用预训练模型生成新闻类别后存入Mysql数据库，网页使用HTML、CSS、JavaScript进行编写，采用开…☆24Updated 2 years ago
- 跟着pink老师学前端，包括html5 css3和其他内容的学习笔记及练习文件☆13Updated last year
- 1.本项目利用Hadoop处理高校无线定位大数据,有效地将位置信息应用于学生时空行为模式挖掘，建立基于精准位置信息的行为数据挖掘计算模型。 2.基于Hadoop计算平台，并实现对大数据进行可视化分析的Web系统。 3.利用一些合适的算法实现校园热点区域提取、学生异常轨迹探测…☆47Updated last year
- 基于SpringCloud Alibaba 微服务的前后端分离项目实现。欢迎大家拉取代码学习或者优化。简介：简单来说就是实现一个校园范围内的微博，是一个社交网站，让你的朋友圈扩大到你所在的整个校园范围内☆37Updated last week
- 万信金融-银行存管系统☆9Updated 3 years ago