peopleindreamdontsleep / SparkanSpiderView external linksLinks
java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES
☆20Nov 26, 2018Updated 7 years ago
Alternatives and similar repositories for SparkanSpider
Users that are interested in SparkanSpider are comparing it to the libraries listed below
Sorting:
- 用java写的搜狐新闻爬虫☆14May 2, 2017Updated 8 years ago
- 用户画像代码，根据算法推算出用户的性别和年龄比率☆11Dec 18, 2017Updated 8 years ago
- dw etl 工具 mysql 增量、全量抽取 to hive. 合并 hive 数据表, 等数据平台清洗工具☆10Dec 21, 2016Updated 9 years ago
- 网络爬虫 主要抓取的是股票数据，外汇数据，股票背景资料，股票及时新闻☆12Aug 13, 2018Updated 7 years ago
- 股票交易数据处理的整个业务流程 数据源--->数据采集--->数据归类--->数据储存--->数据分析--->数据可视化☆31Nov 23, 2016Updated 9 years ago
- Spark混合推荐系统大数据监控平台☆11May 1, 2018Updated 7 years ago
- 新浪新闻爬虫☆15Feb 14, 2015Updated 11 years ago
- 大数据【企业级360°全方位用户画像】标签开发部分源码☆19Dec 18, 2020Updated 5 years ago
- spring+spark streaming+kafka 10版本集成和异常问题处理☆17Jul 21, 2017Updated 8 years ago
- 视频教育网站☆17Sep 25, 2018Updated 7 years ago
- 使用flink快速构建实时监控系统报警☆19Sep 7, 2019Updated 6 years ago
- 使用Hive进行大数据分析实战☆23Aug 8, 2018Updated 7 years ago
- k8s hadoop,在k8s上快速搭建一个hadoop/hbase/hive环境，很早的项目自已用，腾讯tbds培训，以此为基础(多了一个kafka/flink)搭一套环境练习，又捡起来了☆22Mar 21, 2021Updated 4 years ago
- java 版本 logstash input 插件☆21Dec 20, 2018Updated 7 years ago
- SparkSQL数据分析案例☆23Dec 3, 2016Updated 9 years ago
- springboot+vue页面 REST代码生成器，生成单表的增删改查☆30May 14, 2023Updated 2 years ago
- 使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装☆33May 6, 2017Updated 8 years ago
- sql实现Structured Streaming☆39Jan 4, 2019Updated 7 years ago
- TuShare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。☆39Mar 19, 2016Updated 9 years ago
- 一个大数据实时流处理日志分析系统 Demo☆30Nov 16, 2022Updated 3 years ago
- A batch-processing system base on Spring Boot and Spring Batch. 一个基于SpringBoot和SpringBatch的批处理系统。☆10Sep 10, 2018Updated 7 years ago
- 股票行情--来源恒生，新浪，腾讯，网易☆32Oct 16, 2018Updated 7 years ago
- 使用springboot+mybatis后台框架 前端bootstrap框架 添加web socket实时提醒订单消息 使用springsecurity进行权限拦截 邮箱+短信验证 ，echart图表显示用户订单信息，poi表报打印等等。。。☆12Oct 25, 2017Updated 8 years ago
- 新型的免登录微博爬虫，自动获取Cookie直接进行抓取和解析微博数据，免去了账号登录的过程，彻底摆脱账号被封的困扰☆35Oct 15, 2017Updated 8 years ago
- Data self exporting and monitoring platform based on Hive data warehouse. https://hc.smartloli.org☆36Jul 28, 2017Updated 8 years ago
- 今日头条搜索引擎以及新闻详情页爬虫（Selenium）☆15Mar 13, 2025Updated 11 months ago
- ☆11Sep 1, 2022Updated 3 years ago
- zdh系列-基于java的经营风控引擎☆13Jan 24, 2026Updated 3 weeks ago
- Spark projects. Learning book "Machine Learning with Spark"☆10Jun 3, 2017Updated 8 years ago
- 华为软件精英挑战赛2019，实时计算全图路况，每辆车在每个时刻(或隔几个时刻)根据自身信息生成自己的权重矩阵，利用SPFA算法动态规划路径☆10Apr 14, 2019Updated 6 years ago
- 晋江文学城大数据分析项目☆11Jul 6, 2019Updated 6 years ago
- spark tutorial for big data mining。包括app流量运营分析、als推荐、smote样本采样、RFM客户价值分群、AHP层次分析客户价值得分、手机定位数据商圈挖掘、马尔可夫智能邮件预测、时序预测、关联规则、推荐电影好友等。☆40Sep 10, 2022Updated 3 years ago
- 这是居于 derby 源代码，通过删减的方式，从里面抽取出sql解析功能。并在此基础上开发出跨库连接查询器。通过该工具可以将连接查询分割成多个单表查询，再将单表结果集进行连接，即将数据库的连接功能上移到工具执行。详情可以查看wiki：readme☆10Feb 14, 2017Updated 9 years ago
- A solution for UpLoad data(TXT,ScreenShot) to server,Contact with PHP ( 数据上传解决方案，比如上传log信息，上传屏幕截图，PHP后端交互存储文件）☆11Aug 22, 2018Updated 7 years ago
- 一个基于ElasticSearch的业务日志记录工具☆10Nov 5, 2018Updated 7 years ago
- 襄阳智慧交通大数据平台建设☆15Jun 25, 2022Updated 3 years ago
- A shell script to automate the operations of sqoop☆11Mar 29, 2021Updated 4 years ago
- ☆12Jan 5, 2019Updated 7 years ago
- 知网、万方、专利局爬虫☆11Mar 20, 2019Updated 6 years ago