xiaobaiaixibai / Real-time-visualization-of-national-news
使用scrapy从全国六大较权威的新闻网站(澎湃新闻、新华网、新京报、凤 凰网、光明网、人民网)爬取最近15天内的新闻,利用爬取数据提取省份信息、计算新闻热点值、使用预训练模型生成新闻类别后存入Mysql数据库,网页使用HTML、CSS、JavaScript进行编写,采用开源的echarts对处理后的新闻内容进行可视化展示。展示分为以下5个方面: ① 时间新闻标题弹幕,展示最近新闻的标题 ② 最新新闻图谱,展示前10条最新新闻的标题 ③ 新闻热点地图,展现全国城市发生新闻的概况 ④ 省市关键字图谱,展示各个城市发生新闻的关键词 ⑤ 新闻分类占比饼状图,展示各个类别的新闻的占比。
☆24Updated 2 years ago
Related projects ⓘ
Alternatives and complementary repositories for Real-time-visualization-of-national-news
- 007 基于网络爬虫技术的新闻分析系统-毕业设计展示 python django vue scrapy jieba nlp 爬虫抓取 新闻列表 新闻详情 新闻分类 新闻摘要抽取 关键词分析 情感分析 朴素贝叶斯算法 词性分析 后台管理新闻数据☆10Updated last year
- 利用Python编程爬虫搜集微博平台上关于大学生网课的评论,使用SPSS、机器学习、自然语言处理等方法,对收集到的文本数据进行分词、数据清洗、词频统计和聚类分析。最后根据所得到的数据进行以及分析,发现目前在线教学 中学生体验的现状、趋势以及一些待解决的问题。☆40Updated 3 years ago
- 通过python爬虫获取人民网、新浪等网站新闻作为训练集,基于BERT构建新闻文本分类模型,并结合node.js + vue完成了一个可视化界面。☆36Updated 2 years ago
- 携程旅游景点爬虫☆21Updated 5 years ago
- 微博评论情感分析,爬虫,文本分类,Web。☆42Updated last year
- 请切换分支到Django-vue!!!毕业设计-中国知网(cnki)爬虫及数据可视化,采用Django和Celery将爬虫内置在网站内,展示实时爬取的数据☆77Updated 3 years ago
- 基于微博用户信息数据的分布式爬虫所做的毕业设计,有一小部分简单的数据分析。这个也是为了纪念大学四年!里面包括了源代码,论文的一稿二稿等等还有查重终稿,UML图 、PPT等等☆68Updated 6 years ago
- Python 数据分析案例。包含【电影评论分析】、【慕课数据分析】、【医疗花销分析】、【心脏病、癌症、糖尿病预测】☆37Updated 3 years ago
- 一个自然语言处理的可视化系统,实现自动生成词云图、文章关键信息提取、多文档主题分布、文本分类等功能,还有一些业务数据的可视化图表展示。☆32Updated 3 years ago
- 系统从互联网爬取资讯,对热点公共事件进行检测、聚合和追踪,多维度分析事件内容,监测时间传播路径,分析用户的观点和和情绪,形成摘要、报告、图表等分析结果,实现公共事件的舆情分析可视化系统,提供专业的舆情监测、分析和预警服务☆78Updated 6 years ago
- 分布式采集拉钩网中杭州爬虫相关职位的数据并使用Flask进行数据的可视化与分析☆37Updated 6 years ago
- 智慧物流算法大赛简介: 根据包括货值、路程和油价等字段的数据集,对每趟货物运送的运价进行回归预测。 本项目为我的参赛代码,分为四个主要的部分:1.数据预处理;2.特征 工程;3.建模调参训练;4.数据可视化。 最终获得了大赛的二等奖。☆33Updated 5 years ago
- 数据分析和可视化毕设☆74Updated 6 years ago
- 关键词:京东商品评论爬虫 苏宁商品评论爬虫 评论情感分析 爬取京东苏宁商品信息(手机 笔记本电脑) 以及商品的评论 然后集成到web上,实现了价格评价的比较 并且对每件商品评论进行了情感分析,绘制了评论的词云☆48Updated last year
- 基于UIE的舆论情感分析Web系统,前后端分离式架构部署,支持单文本属性级情感分析及上传txt文 件进行批量情感分析,并支持分析结果的可视化展示。 技术栈:后端:FastAPI + UIE;前端:Vue + ElementUI + Echarts。☆47Updated last year
- 毕设项目--面向短视频的流量数据爬取和分析系统☆26Updated 4 years ago
- Python网络爬虫与推荐算法新闻推荐平台:网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题、文本、图片、视频链接(保留排版) 推荐算法:权重衰减+标签推荐+区域推荐+热点推荐☆97Updated 3 years ago
- 豆瓣Top250影评爬虫(用于情感分析语料)☆20Updated last year
- 携程/榛果民宿实时评论挖掘软件,包含数据的实时采集/数据清洗/结构化保存/ UGC 数据主题提取/情感分析/后结构化可视化等技术的综合性演示 Demo。基于在线民宿 UGC 数据的意见挖掘项目,包含数据挖掘和 NLP 相关的处理,负责数据采集、主题抽取、情感分析等任务。主要…☆68Updated 3 years ago
- 基于机器学习的商品评论情感分析——毕业设计项目☆144Updated last year
- 软件工程课程设计项目/Lab409:基于词典方法和机基于器学习方法的中文情感倾向分析(Web)☆118Updated 6 years ago
- 基于Django的定点景点及酒店推荐预订系统☆30Updated 3 years ago
- 豆瓣电影top250爬虫,并对数据进行可视化分析,运用Echarts插件☆38Updated 6 years ago
- 基于 Scrapy 的新闻智能分类微信小程序,是一个文本分类相关的应 用,目的是打造出一个可以对新闻进行智能分类的微信小程序。技术栈:Python + Scrapy + MongoDB + scikit-learn + Flask + 微信小程序,涉及爬虫、文本分类、Web …☆57Updated 5 years ago
- [2023.05.09]基于selenium的新浪微博关键字搜索结果全自动爬虫,支持自定义搜素关键字、搜索起始时间、爬取起始页数(以实现中断后接上次继续爬取)。爬取内容包括微博账号、发文时间、发送平台、微博内容、转发次数、评论次数、点赞次数、原博地址。☆28Updated last year
- 金融反欺诈预测系统,技术涉及Vue3、Flask、XGBoost等。本项目提供了完整的Web系统,系统功能包括信贷数据分析、信贷欺诈数据检测、用户历史预测记录、用户数据管理等。项目整体并不复杂,适合新手练手学习机器学习与Web系统的结合。☆36Updated 2 years ago
- 计算社会学,爬虫,机器学习,情感分析,疫情舆论☆16Updated 3 years ago
- 智能中医药数据分析系统☆9Updated 3 years ago