msft-vivi / JobNews-ElasticSearch-Scrapy_redis
项目整体分为scrapy-redis分布式爬虫爬取数据、基于ElasticSearch数据检索和前端界面展示三大模块。做此项目是为了熟悉scrapy-redis的基本流程，以及其背后的原理，同时熟悉ElasticSearch的使用。本项目可以作为一个基于ES存储的简单但是相对全面的全栈开发的Demo。项目中所采用的组件均在win10本地环境搭建（伪分布），旨在演示项目流程。你可以参考该项目，并将其扩展到多个主机上，实现分布式ES以及分布式Scrapy。
☆25Updated 2 years ago
Alternatives and similar repositories for JobNews-ElasticSearch-Scrapy_redis:
Users that are interested in JobNews-ElasticSearch-Scrapy_redis are comparing it to the libraries listed below
- 基于Scrapy和Django的二手房爬虫及可视化☆10Updated 2 years ago
- 爬取智联招聘网数据，并对其进行招聘数据可视化，爬虫，Data visualization，Django2，echarts☆125Updated last year
- 分布式采集拉钩网中杭州爬虫相关职位的数据并使用Flask进行数据的可视化与分析☆37Updated 6 years ago
- 项目名称：基于Python的疫情实时监控系统。项目基于Python语言、Python的Flask框架和Echarts来做的，涉及的技术有Python网络爬虫；Python与MySQL数据库的交互；Flask框架构建Web项目；Echarts数据可视化显示；Linux部署we…☆27Updated 4 years ago
- 基于python开发爬虫脚本,并使用django,echarts对数据进行分析☆26Updated 5 years ago
- ElasticSearch+Django+Scrapy搜索引擎☆27Updated 2 years ago
- recruit 招聘爬虫+数据分析 1.爬虫： 采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条 2.数据处理： 采用pandas对爬取的数据进行清洗和处理 2.数据分析： …☆134Updated 2 years ago
- 美团民宿房源数据抓取以及可视化分析，使用scrapy+django，进行数据抓取以及数据管理和可视化展示的构建。☆31Updated 3 years ago
- 基于elasticsearch的电影搜索引擎☆55Updated 2 years ago
- 拉勾网+BOSS直聘网招聘信息大数据分析项目_数据获取+数据清洗+数据分析+数据可视化☆158Updated 2 years ago
- python搭建搜索引擎☆30Updated 2 years ago
- 使用scrapy从全国六大较权威的新闻网站(澎湃新闻、新华网、新京报、凤 凰网、光明网、人民网)爬取最近15天内的新闻，利用爬取数据提取省份信息、计算新闻热点值、使用预训练模型生成新闻类别后存入Mysql数据库，网页使用HTML、CSS、JavaScript进行编写，采用开…☆24Updated 2 years ago
- 使用 python 操作大数据的各种组件☆62Updated last year
- 使用Django2.2+MySQL+spark实现在线电影推荐系统。其中MySQL部分支持在线计算，spark支持离线计算。☆35Updated 5 years ago
- 基于 flask 和 echarts 的数据可视化工具☆85Updated 4 years ago
- 该项目是基于Scrapy框架的Python新闻爬虫，能够爬取网易，搜狐，凤凰和澎湃网站上的新闻，将标题，内容，评论，时间等内容整理并保存到本地☆37Updated 5 years ago
- python小项目之统计代码行数与美化打印，数据存储，分析等等☆38Updated 6 years ago
- elasticsearch实现增强百科搜索，scrapy实现百科爬虫，项目通过Django呈现web☆14Updated 4 years ago
- 通用新闻类网站分布式爬虫☆74Updated 6 years ago
- Python网络爬虫与推荐算法新闻推荐平台：网络爬虫：通过Python实现新浪新闻的爬取，可爬取新闻页面上的标题、文本、图片、视频链接（保留排版） 推荐算法：权重衰减+标签推荐+区域推荐+热点推荐☆105Updated 3 years ago
- 数据挖掘可视化系统（Data Mining Visualization System）通过数据挖掘理论、机器学习算法以及数据可视化等信息技术，并基于 Flask 框架搭建 Web 服务器，实现数据挖掘可视化。☆98Updated 3 years ago
- 一个基于elasticsearch开发的搜索引擎网站☆14Updated 2 years ago
- 一个数据可视化使用ECharts框架，后端使用Django框架的历史天气数据展示项目☆31Updated 6 years ago
- ☆11Updated 3 years ago
- 🐟🍎🐔一个在线生鲜电商网站，前端使用vue，后端使用Python的web框架django进行开发！☆96Updated 3 years ago
- 🔎 Boss 直聘 Python 招聘岗位信息爬取和分析🔎☆70Updated 5 years ago
- 数据获取（Python爬虫）>>数据持久化（MySQL）>>Flask搭建Web后台>>数据可视化(H5+Echarts)☆37Updated 3 years ago
- 从零开始构建的一个宠物识别系统，包括爬虫、深度学习模型和WEB服务。爬虫使用requests+beautifulsoup4+gevent，深度学习模型使用TensoFlow 2.0，WEB服务使用Vue.js+Element UI。☆66Updated last year
- 在线论坛平台，使用Python Web全栈开发，使用Flask框架进行开发☆41Updated 3 years ago
- 基于Scrapy-Redis框架与Mongodb的分布式爬虫-elasticsearch搜索引擎打造☆18Updated 4 years ago