peopleindreamdontsleep / SparkanSpider
java爬虫,反爬虫策略、ETL清洗数据,以及spark离线和实时分析新闻并存入ES
☆21Updated 6 years ago
Alternatives and similar repositories for SparkanSpider
Users that are interested in SparkanSpider are comparing it to the libraries listed below
Sorting:
- 量化交易网站 java☆11Updated 8 years ago
- 论坛日志分析系统清洗程序(包含IP规则库,UDF开发,MapReduce程序,日志数据)☆33Updated 7 years ago
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆75Updated 2 years ago
- 对大数据相关技术的研究和实践☆8Updated 2 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 7 years ago
- 蜂鸟数据分析平台帮助企业快速完成多数据整合,建立统一数据口径,支持自助式数据准备(ETL), 并提供可视化分析,帮助企业构建贴合自身业务的企业洞察,并将数据决策覆盖各层员工及应用场景☆21Updated 6 years ago
- 移动用户行为统计系统,服务器端的数据采集分析,参考开源的cobub razor的设计☆36Updated 8 years ago
- 一个优秀的大数据查询平台,提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 7 years ago
- 使用Storm实时处理交通大数据(数据源:kafka,集群管理:zookeeper)☆51Updated 2 years ago
- spring cloud集成全渠道在线客服以及后台管理系统,所有微服务之间 的消息传递采用区块链技术,持续更新中~~目标是:第一阶段:采用spring cloud微服务搭建后台管理系统第二阶段:集成在线客服,采用netty实现websocket长连接第三阶段:集成h5、微信、…☆17Updated 2 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理; 2、跨站全文检索、数据共享; 3、微官网/手机网站同步建设; 4、高效二次开发的插件化管理 5、支持可视化模板制作;☆26Updated 8 years ago
- 股票交易数据处理的整个业务流程 数据源--->数据采集--->数据归类--->数据储存--->数据分析--->数据可视化☆31Updated 8 years ago
- Spark混合推荐系统大数据监控平台☆11Updated 7 years ago
- 各大电商网站数据抓取分析☆33Updated 11 years ago
- 用户画像代码,根据算法推算出用户的性别和年龄比率☆11Updated 7 years ago
- 基于ElasticSearch的分布式舆情检索统计服务。☆11Updated last year
- 线程池、任务、任务组、任务池,定时任务的类库☆23Updated 4 months ago
- SparkSQL数据 分析案例☆23Updated 8 years ago
- 用于数据迁移、缓存预热,springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 7 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆34Updated 2 years ago
- 数据处理平台☆16Updated 8 years ago
- 多租户架构实现企业进销存☆20Updated 8 years ago
- 基于Spring boot 实现的股票基金爬虫工具☆32Updated 7 months ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 7 years ago
- 基于flink的推荐系统,实时获取kafka数据进行数据清洗,离线计算进行文件读取(文件,mongodb,hbase)运用协同过滤算法进行计算得出推荐数据☆18Updated 2 years ago
- DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。☆23Updated 3 years ago
- 全渠道整合智能在线客服系统☆38Updated 7 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 10 years ago
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆33Updated 8 years ago
- 🍰springboot2.1.4、mybatis、bootstrap、代码生成器、shiro权限管理、前后端分离、自用型java通用后台管理系统快速开发框架 集成通用controller 通用mapper 通用service、脚手架、起手式,让web后台开发变得简单~!!☆24Updated 2 years ago