peopleindreamdontsleep / SparkanSpiderLinks
java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES
☆20Updated 6 years ago
Alternatives and similar repositories for SparkanSpider
Users that are interested in SparkanSpider are comparing it to the libraries listed below
Sorting:
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆75Updated 2 years ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 7 years ago
- 数据库访问中间件，统一的标准sql查询，底层可以是不同的数据库包括mysql、ElasticSearch、kylin、presto等。☆15Updated 7 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 7 years ago
- Fitting是一个面向大数据的统一的开发框架，由大快搜索主导并完全开源，克服了大数据技术开发涉及技术面广,各组件间缺乏统一规范等问题，能有效降低大数据的学习难度，并提高大数据项目的开发效率并可与开源项目混用。 Fitting遵循Apache2.0开源协议，采用类黑箱框架模…☆177Updated 2 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆30Updated 7 years ago
- 使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装☆33Updated 8 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆51Updated 2 years ago
- 数据可视化, 数据挖掘, 数据处理 ETL分析☆168Updated 3 years ago
- 蜂鸟数据分析平台帮助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景☆21Updated 6 years ago
- 用户画像代码，根据算法推算出用户的性别和年龄比率☆11Updated 7 years ago
- 基于flink的推荐系统，实时获取kafka数据进行数据清洗，离线计算进行文件读取（文件,mongodb,hbase）运用协同过滤算法进行计算得出推荐数据☆20Updated 3 years ago
- 基于Flume、Kafka、SparkSql模拟的实时日志分析系统☆12Updated 9 years ago
- 用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 8 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆34Updated 2 years ago
- 数据分析快速开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现☆23Updated 7 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理； 2、跨站全文检索、数据共享； 3、微官网/手机网站同步建设； 4、高效二次开发的插件化管理 5、支持可视化模板制作；☆26Updated 8 years ago
- 移动用户行为统计系统，服务器端的数据采集分析，参考开源的cobub razor的设计☆36Updated 8 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆38Updated last year
- 以知乎日报为数据源，全流程实践一个机器学习过程，从数据获取到数据分析，对知乎日报进行聚类、分类，并可视化这一过程☆17Updated 9 years ago
- 实时风控系统，基于spark-streaming、drools、kafka、redis☆53Updated 6 years ago
- 基于springbook+spark的机器学习应用开发☆12Updated 2 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 8 years ago
- SpringMVC+mybaits+Maven+anguljs+html5+mysql+nodejs+BO报表 集成的大数据地产分析项目☆26Updated 9 years ago
- 基于wifi抓取信息的大数据查询分析系统☆107Updated 8 years ago
- 信托数据仓库及商业智能☆32Updated 7 years ago
- 多租户架构实现企业进销存☆20Updated 9 years ago
- 分布式大数据SQL查询可视化界面！☆68Updated 9 years ago
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- 大数据招聘信息分析平台☆44Updated 9 years ago