jangocheng / bdp-base
大数据生态解决方案基础平台: 搜索系统、公共系统、任务管理系统、数据binlog采集、基础爬虫系统、数据传输系统、运维告警系统、APM、报表系统
☆10Updated 3 years ago
Alternatives and similar repositories for bdp-base:
Users that are interested in bdp-base are comparing it to the libraries listed below
- 007 基于网络爬虫技术的新闻分析系统-毕业设计展示 python django vue scrapy jieba nlp 爬虫抓取 新闻列表 新闻详情 新闻分类 新闻摘要抽取 关键词分析 情感分析 朴素贝叶斯算法 词性分析 后台管理新闻数据☆11Updated last year
- 基于关键字的配置化电商爬虫，目前已实现京东和苏宁（淘宝反爬太严重，因为没有使用selenium）☆13Updated 4 years ago
- 使用scrapy从全国六大较权威的新闻网站(澎湃新闻、新华网、新京报、凤 凰网、光明网、人民网)爬取最近15天内的新闻，利用爬取数据提取省份信息、计算新闻热点值、使用预训练模型生成新闻类别后存入Mysql数据库，网页使用HTML、CSS、JavaScript进行编写，采用开…☆24Updated 2 years ago
- 淘宝模拟登录，销售数据，评论数据，商品评分数据爬取（学数据分析的可以用于获取淘宝电商的销售数据，学爬虫的可以参考一下思路和方法），由于评论数据比较大，暂时没办法上传，大家也可以直接用下面的代码爬取☆37Updated 4 years ago
- 高考成绩分析系统☆14Updated 6 years ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆49Updated 2 years ago
- 电商平台API接入(天猫，淘宝，京东，抖音，拼多多，快手，小红书，得物，微信视频号，当当，1688，微店，有赞，快团团，网易考拉等)，通过各平台API将平台订单接入到自有ERP/WMS等系统，从而实现在自有系统内对订单进行打单发货等操作。☆9Updated 10 months ago
- 生成短视频（翻译字幕，生成AI语音，图片合成动态视频，反向解析视频中单图）☆26Updated last year
- 传统大数据分析工具以Hadoop、Spark为代表，集成了大量的技术框架， 对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHou…☆64Updated 4 years ago
- 使用网络爬虫搜索视频源，支持关键字和链接搜索，主要的解析源来自全民解析，通过网络爬虫对播放页面进行解析，找出最原始的播放网页，然后拿出最原始的播放链接（无广告效果）对URL进行显示在Django网页上，通过Django桥接的方式进行VIP视频观看，利用js+css制作搜索页…☆14Updated 5 years ago
- 淘宝，京东，苏宁Scrapy爬虫☆9Updated 2 years ago
- 小宝人工智能和量化平台BaoAI后端项目。BaoAI采用前后端分离框架，前端项目baoaifront，后端项目baoaiback。BaoAI是简洁、直观、强大的前端和后端SPA开发框架，支持国际化，以模块为基础，让WEB应用、人工智能和量化系统开发更迅速、更简单。平台包含多 …☆34Updated 2 years ago
- vue+Python+flask 资产管理系统☆33Updated 2 years ago
- 电子商务网站：京东，淘宝，拼多多的爬虫集合☆30Updated 4 years ago
- 给定文本和图片，自动生成一个相应的含字幕的短视频。完全自动化，可批量生成☆21Updated 6 months ago
- django+es搭建的前后端分离，唐诗宋词搜索引擎。☆34Updated 2 years ago
- MT-WMS 是开源的支持多仓多货主(multi warehouses, mulit owners)的WMS(仓储管理系统) 遵循Apache License 2.0协议☆42Updated 4 months ago
- 基于LDA+SVM可拓展的短文本分类。股市舆情监控系统☆30Updated 5 years ago
- 跨境电商ERP系统，集成速卖通，阿里巴巴采购，京东API等电商平台数据，实现订单处理采购管理数据互通☆25Updated 6 years ago
- 基于scrapy爬虫和single-pass聚类算法的微博话题检测系统☆9Updated 4 years ago
- 数据采集、数据审核、数据分析平台☆11Updated 2 years ago
- 其中包括：Python的数据结构和算法相关内容，一个完整的Django的web项目，还有MiniWeb相关内容，和多线程的协程、进程、线程，和网络编程，还有和数据库的交互，比如Mongodb、Mysql、Redis，其中还有PyQt5，还有可视化内容相关，还有整套Pytho…☆17Updated last year
- 一个python版flask web项目,同时也对接了CAS单点登录,简单集成chatterbot和qqbot的智能聊天机器人。☆14Updated 7 years ago
- 基于Flask,Vue.js 2.0的 学生综合素质可视化系统 后端项目☆18Updated 2 years ago
- 搜索引擎关键词排位爬虫，包括百度，搜狗，360的搜索引擎关键词排位爬虫，关键词从百度热词中取得，排位分别从三个搜索引擎中抓取。☆19Updated 5 years ago
- 爬虫爬取各大视频门户网站（豆瓣、腾讯、爱奇艺、搜狐、IMDB、1905、乐视、猫眼）电影信息并存储到mysql数据库。☆23Updated 2 years ago
- ElasticSearch+Django+Scrapy搜索引擎☆27Updated 2 years ago
- 基于scrapy的中国国内各大新闻网站内容爬虫☆26Updated 2 years ago