jangocheng / bdp-baseLinks
大数据生态解决方案基础平台: 搜索系统、公共系统、任务管理系统、数据binlog采集、基础爬虫系统、数据传输系统、运维告警系统、APM、报表系统
☆11Updated 4 years ago
Alternatives and similar repositories for bdp-base
Users that are interested in bdp-base are comparing it to the libraries listed below
Sorting:
- 007 基于网络爬虫技术的新闻分析系统-毕业设计展示 python django vue scrapy jieba nlp 爬虫抓取 新闻列表 新闻详情 新闻分类 新闻摘要抽取 关键词分析 情感分析 朴素贝叶斯算法 词性分析 后台管理新闻数据☆14Updated 2 years ago
- 使用scrapy从全国六大较权威的新闻网站(澎湃新闻、新华网、新京报、凤 凰网、光明网、人民网)爬取最近15天内的新闻，利用爬取数据提取省份信息、计算新闻热点值、使用预训练模型生成新闻类别后存入Mysql数据库，网页使用HTML、CSS、JavaScript进行编写，采用开…☆29Updated 3 years ago
- 基于python的二手商品交易平台 python+django开发的供需平台 - 毕业设计 - 课程设计☆38Updated last year
- ElasticSearch+Django+Scrapy搜索引擎☆28Updated 3 years ago
- vue+Python+flask 资产管理系统☆35Updated 2 years ago
- 毕设项目--面向短视频的流量数据爬取和分析系统☆36Updated 5 years ago
- 网络舆情分析系统☆192Updated 9 years ago
- django实现的前后端分离在线教育系统，包含考试和视频点播☆36Updated 2 years ago
- 系统从互联网爬取资讯，对热点公共事件进行检测、聚合和追踪，多维度分析事件内容，监测时间传播路径，分析用户的观点和和情绪，形成摘要、报告、图表等分析结果，实现公共事件的舆情分析可视化系统，提供专业的舆情监测、分析和预警服务☆99Updated 7 years ago
- Python网络爬虫与推荐算法新闻推荐平台：网络爬虫：通过Python实现新浪新闻的爬取，可爬取新闻页面上的标题、文本、图片、视频链接（保留排版） 推荐算法：权重衰减+标签推荐+区域推荐+热点推荐☆119Updated 4 years ago
- 项目名称：基于Python的疫情实时监控系统。项目基于Python语言、Python的Flask框架和Echarts来做的，涉及的技术有Python网络爬虫；Python与MySQL数据库的交互；Flask框架构建Web项目；Echarts数据可视化显示；Linux部署we…☆30Updated 5 years ago
- 给定文本和图片，自动生成一个相应的含字幕的短视频。完全自动化，可批量生成☆27Updated last year
- 基于 Scrapy 的新闻智能分类微信小程序，是一个文本分类相关的应用，目的是打造出一个可以对新闻进行智能分类的微信小程序。技术栈：Python + Scrapy + MongoDB + scikit-learn + Flask + 微信小程序，涉及爬虫、文本分类、Web …☆63Updated 6 years ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆57Updated 3 years ago
- 高考成绩分析系统☆15Updated 7 years ago
- 使用fastapi做后端，vue-element-admin作为前端的后台管理系统☆47Updated 4 years ago
- 毕业设计京东商品评论爬虫分析☆14Updated 6 years ago
- 基于Hadoop和Django开发的用户画像系统☆24Updated 7 years ago
- 该项目是基于Scrapy框架的Python新闻爬虫，能够爬取网易，搜狐，凤凰和澎湃网站上的新闻，将标题，内容，评论，时间等内容整理并保存到本地☆38Updated 6 years ago
- 更新给出selenium库的爬虫，效率很高，且能直接用。 python，大众点评的爬虫，突破反爬，获取关于任意店铺的评论和评分之类的。给出破解css加密的逻辑☆41Updated 5 years ago
- 基于python和llm大模型开发 的数据处理和任务调度系统。 支持数据源管理，数据模型管理，数据集成，数据查询API接口，低代码自定义数据处理任务模版，单任务及dag任务工作流调度等功能。集成了llm模块实现rag知识库问答，链接各数据源数据进行数据对话问答，交互式数据分析…☆257Updated this week
- 舆情分析平台☆34Updated 8 years ago
- 本人本科比赛期间开发的机器视觉相关的系统，包括完整的模型训练代码(机器学习代码参考众多大佬的开源项目实现)，同时还含有完整的Web端(Vue)、小程序(Uniapp)、以及后端(FastApi)完整代码☆33Updated 3 years ago
- 可视化爬虫自动采集平台☆186Updated 2 years ago
- 一款基于多模态信息融合的体质分析与膳食推荐微信小程序☆32Updated 4 years ago
- 跨境电商ERP，跨境电商crm，亚马逊MWS，amazon mws，亚马逊crm，亚马逊erp，wish erp、ebay erp、速卖通erp、shopify erp、shopee erp(虾皮erp)、lazada erp跨境电商平台Java ERP系统。☆76Updated 5 years ago
- 爬取智联招聘网数据，并对其进行招聘数据可视化，爬虫，Data visualization，Django2，echarts☆137Updated 2 years ago
- 后端使用Django，前端使用Vue3，爬虫使用Scrapy ，数据库使用Mysql实现的资讯综合网站，包含微博、b站、知乎的热榜信息以及微博和b站的博主的动态信息，并将其统一展示在网页中以方便浏览，还包含完善的个人管理页面和超级用户管理页面☆14Updated 2 years ago
- 这是一个Python FastAPI项目工程库，包含DB、Redis、MongoDB、JSON等工具和基础服务类。☆22Updated 5 years ago
- 淘宝模拟登录，销售数据，评论数据，商品评分数据爬取（学数据分析的可以用于获取淘宝电商的销售数据，学爬虫的可以参考一下思路和方法），由于评论数据比较大，暂时没办法上传，大家也可以直接 用下面的代码爬取☆49Updated 5 years ago