jacklon / bi_development_source_code
传统大数据分析工具以Hadoop、Spark为代表，集成了大量的技术框架， 对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHouse做为中间数据存储源，通过视图关联构建大数据集，解决亿万级数据的即时分析性能，再辅以强大的数据可视化设计前端，通过用户自定义菜单和模板进行呈现，实现用户的自助式分析和探索。通过灵活的预警功能，设置一些自定义的监控指标，当监控指标超过异常值时，系统会自动以短信、邮件或微信、钉钉等消息推送至相关人员,变原来的被动查询为主动推送,这样 就能够及时发现问题。通过结合人工智能算法的预测模型，可以就未来的趋势做一下预测。通过以上…
☆62Updated 4 years ago
Related projects ⓘ
Alternatives and complementary repositories for bi_development_source_code
- 基于开源Litemall电商项目的大数据项目，包含前端埋点(openresty+lua)、后端埋点；数据仓库(五层)、实时计算和用户画像。大数据平台采用CDH6.3.2(已使用vagrant+ansible脚本化)，同时也包含了Azkaban的workflow。☆100Updated 2 years ago
- 快速采集清洗，任务管理，实时流和批处理数据分析，数据可视化展现，快速数据模板开发，ETL工具集、数据科学等。是轻量级的一站式的大数据平台。帮用户快速搭建CDP客户数据平台，实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其…☆56Updated last year
- 大数据建模分析平台☆60Updated 5 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆33Updated last year
- 基于Spark企业级用户画像项目☆109Updated last year
- 用户画像平台，涵盖标签管理，用户画像报告，用户分群，用户360视角，oneId服务☆94Updated last year
- 数据分析快速开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现☆22Updated 6 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆52Updated last year
- Flink 案例开发数据清洗、数据报表☆52Updated 2 years ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆47Updated 2 years ago
- 大数据招聘信息分析平台☆40Updated 8 years ago
- zhili数据平台主要包含统一认证(zhili-auth)、元数据管理（zhili-metadata）、即席查询(zhili-adhoc)、数据服务(zhili-dataservice)、数据采集(zhili-collect)等子项目。☆55Updated 2 years ago
- 电商平台数据仓库搭建☆122Updated 2 years ago
- 蓝泰源大数据基础平台☆17Updated 6 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 5 years ago
- 本项目主要用于搭建一个基于docker的实时监控系统，涉及的大数据相关组件有Filebeat，Kafka，Zookeeper，Flink，后端主要使用了SpringBoot进行开发，数据库使用了Redis做缓存，前端用了Vue框架，通过Ant Design组件库和Echar…☆39Updated last year
- 模拟电商系统上线运行一段时间后，根据收集到大量的用户行为数据，利用大数据技术（Flink）进行深入挖掘和分析，进而得到感兴趣的商业指标并增强对风险的控制。 整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏…☆110Updated 4 years ago
- 大数据全栈学习【生态组件，技术栈，数据流，数据仓库，数据库，指标体系，血缘关系，元数据管理，数据质量，DataWorks，Hadoop，Spark，Flink，面试，笔记文档，实战练习，公共脚本，常用Shell脚本，Java，Scala，离线，实时，采集，计算，存储，可视化…☆113Updated 4 years ago
- 通过图形界面为数据监控以及数据同步提高良好的服务，可支持数据同步的数据源或数据库有：SQL数据源、NoSQL数据源、数据引擎、数据仓库、消息队列；通过Canal可支持数据库监控以及数据备份。☆25Updated 3 years ago
- Flink 电商指标分析系统☆33Updated 11 months ago
- 数据治理、数据质量检核/监控平台（Django+jQuery+MySQL）☆179Updated last year
- 信托数据仓库及商业智能☆32Updated 6 years ago
- Flink电商项目，实时统计分析 + 风控☆23Updated 4 years ago
- 此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。☆60Updated 11 months ago
- 数据治理、数据标准相关的 web 工具☆35Updated 2 years ago
- davinci 的一键启动版本，不会出现启动报错， Maven导包出错，去掉注册之后的邮箱验证，注册之后直接登录， 适合想自己快速部署起来查看效果的， 所有许可权限归原作者所有：☆57Updated last year
- 元数据管理系统☆18Updated 6 years ago
- 小象数据完整产品包括用户行为分析、用户画像、智慧运营，通过采集用户行为数据和第三方数据进行实时处理和分析，实时获取用户操作、产品体验和运营活动的数据反馈。兼容神策SDK，完整产品包括用户行为分析、用户画像、智慧运营，通过采集用户行为数据和第三方数据进行实时处理和分析，实时获…☆36Updated 7 months ago