jangocheng / bdp-baseLinks
大数据生态解决方案基础平台: 搜索系统、公共系统、任务管理系统、数据binlog采集、基础爬虫系统、数据传输系统、运维告警系统、APM、报表系统
☆11Updated 4 years ago
Alternatives and similar repositories for bdp-base
Users that are interested in bdp-base are comparing it to the libraries listed below
Sorting:
- 007 基于网络爬虫技术的新闻分析系统-毕业设计展示 python django vue scrapy jieba nlp 爬虫抓取 新闻列表 新闻详情 新闻分类 新闻摘要抽取 关键词分析 情感分析 朴素贝叶斯算法 词性分析 后台管理新闻数据☆14Updated 2 years ago
- 使用scrapy从全国六大较权威的新闻网站(澎湃新闻、新华网、新京报、凤 凰网、光明网、人民网)爬取最近15天内的新闻，利用爬取数据提取省份信息、计算新闻热点值、使用预训练模型生成新闻类别后存入Mysql数据库，网页使用HTML、CSS、JavaScript进行编写，采用开…☆29Updated 3 years ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆57Updated 3 years ago
- 给定文本和图片，自动生成一个相应的含字幕的短视频。完全自动化，可批量生成☆27Updated last year
- 跨境电商ERP，跨境电商crm，亚马逊MWS，amazon mws，亚马逊crm，亚马逊erp，wish erp、ebay erp、速卖通erp、shopify erp、shopee erp(虾皮erp)、lazada erp跨境电商平台Java ERP系统。☆76Updated 5 years ago
- 毕设项目--面向短视频的流量数据爬取和分析系统☆36Updated 5 years ago
- 小宝人工智能和量化平台BaoAI后端项目。BaoAI采用前后端分离框架，前端项目baoaifront，后端项目baoaiback。BaoAI是简洁、直观、强大的前端和后端SPA开发框架，支持国际化，以模块为基础，让WEB应用、人工智能和量化系统开发更迅速、更简单。平台包含多…☆35Updated 2 years ago
- vue+Python+flask 资产管理系统☆35Updated 2 years ago
- 使用fastapi做后端，vue-element-admin作为前端的后台管理系统☆47Updated 4 years ago
- 基于Hadoop和Django开发的用户画像系统☆24Updated 7 years ago
- 基于scrapy的中国国内各大新闻网站内容爬虫☆28Updated 3 years ago
- 高考成绩分析系统☆15Updated 7 years ago
- 毕业设计京东商品评论爬虫分析☆14Updated 6 years ago
- 淘宝模拟登录，销售数据，评论数据，商品评分数据爬取（学数据分析的可以用于获取淘宝电商的销售数据，学爬虫的可以参考一下思路和方法），由于评论数据比较大，暂时没办法上传，大家也可以直接用下面的代码爬取☆47Updated 5 years ago
- 定时爬取百度搜索风云 榜实时热点.☆35Updated this week
- python实现实时自动生成短视频☆60Updated 4 years ago
- 智能舆情分析与商品评价系统 python flask。2019年（第12届）中国大学生计算机设计大赛国赛三等奖。河北省第七☆13Updated 4 years ago
- 基于LDA+SVM可拓展的短文本分类。股市舆情监控系统☆28Updated 6 years ago
- 基于Python3爬取知乎每日热点、每小时更新一次，并归档☆22Updated 6 months ago
- 基于python的二手商品交易平台 python+django开发的供需平台 - 毕业设计 - 课程设计☆38Updated last year
- 该项目是基于Scrapy框架的Python新闻爬虫，能够爬取网易，搜狐，凤凰和澎湃网站上的新闻，将标题，内容，评论，时间等内容整理并保存到本地☆39Updated 6 years ago
- NCEPU-EDM（NCEPU和EDM分别是华北电力大学和教育数据挖掘的缩写）软件是专门为华北电力大学本科生所开发的一款简单软件，具有查询和数据挖掘两大功能模块。其中查询模块为学生提供成绩、课表、考试、GPA、培养方案、成绩总表以及综合测评等教务查询。同时该模块对学生的成绩…☆26Updated 3 years ago
- 使用 python 操作大数据的各种组件☆68Updated 2 years ago
- 本项目是基于OpenCV的人脸识别技术，将一个完整的视频中自己想要了解的某个具体的人物片段，通过将视频分割成帧并且训练需要提取人物的面部特征，通过主成分分析算法进行人脸模型清洗并通过特征脸算法进行人脸识别，将该人物从视频中识别出来并将他的片段提取出来，组合成专属个人的视频剪…☆64Updated 4 years ago
- 本项目主要用于搭建一个基于docker的实时监控系统，涉及的大数据相关组件有Filebeat，Kafka，Zookeeper，Flink，后端主要使用了SpringBoot进行开发，数据库使用了Redis做缓存，前端用了Vue框架，通过Ant Design组件库和Echar…☆42Updated 2 years ago
- [2023.05.09]基于selenium的新浪微博关键字搜索结果全自动爬虫，支持自定义搜素关键字、搜索起始时间、爬取起始页数（以实现中断后接上次继续爬取）。爬取内容包括微博账号、发文时间、发送平台、微博内容、转发次数、评论次数、点赞次数、原博地址。☆31Updated 2 years ago
- 其中包括：Python的数据结构和算法相关内容，一个完整的Django的web项目，还有MiniWeb相关内容，和多线程的协程、进程、线程，和网络编程，还有和数据库的交互，比如Mongodb、Mysql、Redis，其中还有PyQt5，还有可视化内容相 关，还有整套Pytho…☆17Updated 2 years ago
- 项目名称：基于Python的疫情实时监控系统。项目基于Python语言、Python的Flask框架和Echarts来做的，涉及的技术有Python网络爬虫；Python与MySQL数据库的交互；Flask框架构建Web项目；Echarts数据可视化显示；Linux部署we…☆31Updated 5 years ago
- 大数据生态平台解决方案：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据生态平台解决方案。☆16Updated 4 years ago
- 基于 Scrapy 的新闻智能分类微信小程序，是一个文本分类相关的应用，目的是打造出一个可以对新闻进行智能分类的微信小程序。技术栈：Python + Scrapy + MongoDB + scikit-learn + Flask + 微信小程序，涉及爬虫、文本分类、Web …☆63Updated 6 years ago