HuQi2018 / Douban-Explorer

豆瓣探索者这个作品是依托豆瓣这个平台制作的一个数据分析系统。本作品使用Python的BeautifulSoup库爬取了电影、图书、音乐这三个方向的数据存入MongoDB的NoSQL数据库,使用Pyecharts库得到了诸如单部电影评分分布的一维数据图、评分与评论数关系的二维数据图甚至于多维数据图,并结合Django框架、前后端分离技术进行展示。 本系统还有搜索功能,可以具体查询某一部电影、音乐或图书的数据分析,同时当搜索到一个数据库中不存在的数据时,后台将自动进行在线爬取存入数据库,即我们将数据搜集的过程也加入到了网站上,从而实现了数据收集、预处理、存储、处理与分析、可视化的集成系统。
75Updated 3 years ago

Related projects

Alternatives and complementary repositories for Douban-Explorer