msft-vivi / JobNews-ElasticSearch-Scrapy_redisLinks
项目整体分为scrapy-redis分布式爬虫爬取数据、基于ElasticSearch数据检索和前端界面展示三大模块。做此项目是为了熟悉scrapy-redis的基本流程，以及其背后的原理，同时熟 悉ElasticSearch的使用。本项目可以作为一个基于ES存储的简单但是相对全面的全栈开发的Demo。项目中所采用的组件均在win10本地环境搭建（伪分布），旨在演示项目流程。你可以参考该项目，并将其扩展到多个主机上，实现分布式ES以及分布式Scrapy。
☆27Updated 2 years ago
Alternatives and similar repositories for JobNews-ElasticSearch-Scrapy_redis
Users that are interested in JobNews-ElasticSearch-Scrapy_redis are comparing it to the libraries listed below
Sorting:
- Word2vec 个性化搜索实现 +Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索☆248Updated 2 years ago
- 爬取智联招聘网数据，并对其进行招聘数据可视化，爬虫，Data visualization，Django2，echarts☆134Updated last year
- Flask_Movie_Website基于Python的Flask框架在线电影网站系统☆130Updated 4 years ago
- 请切换分支到Django-vue！！！毕业设计-中国知网（cnki）爬虫及数据可视化，采用Django和Celery将爬虫内置在网站内，展示实时爬取的数据☆78Updated 4 years ago
- 用于职位发布，简历投递，招聘管理的开源项目，一个即刻能用的项目，Powered by Python & Django☆128Updated last year
- 基于elasticsearch的电影搜索引擎☆55Updated 2 years ago
- python flask vue-element-admin selenium 爬虫 后台☆170Updated 4 years ago
- Python Web 实战项目，Flask + Jinja2 + Bootstrap 开发的招聘网站☆264Updated 2 years ago
- recruit 招聘爬虫+数据分析 1.爬虫： 采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条 2.数据处理： 采用pandas对爬取的数据进行清洗和处理 2.数据分析： …☆143Updated 3 years ago
- 基于Django和Hadoop集群进行的大数据分析平台☆68Updated 7 years ago
- ✨ DJANGO3.1 网站，集成用户管理，文章博客管理，算法模型可视化系统等功能☆76Updated 2 years ago
- 基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等☆57Updated 6 years ago
- Flask 入门项目☆58Updated 2 years ago
- 基于Django开发的个人博客系统:CoolBlog☆13Updated 7 years ago
- 后 端使用Django，前端使用Vue3，爬虫使用Scrapy ，数据库使用Mysql实现的资讯综合网站，包含微博、b站、知乎的热榜信息以及微博和b站的博主的动态信息，并将其统一展示在网页中以方便浏览，还包含完善的个人管理页面和超级用户管理页面☆15Updated 2 years ago
- Flask微电影网站开发：前端+后台☆98Updated 2 years ago
- 本项目旨在建立一个基于大数据处理的大学生就业方向分析预测系统，通过爬虫技术获取各大公司和著名招聘网站的大量招聘信息，然后将获取的数据进行清洗分类后储存在数据库中，最后从大学生的就业角度出发，通过算法分析数据，建立一个帮助大学生明确就业方向与社会需求的平台☆115Updated 6 years ago
- 基于Scrapy和Django的二手房爬虫及可视化☆10Updated 2 years ago
- 爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析☆65Updated 7 years ago
- 基于 Scrapy 的新闻智能分类微信小程序，是一个文本分类相关的应用，目的是打造出一个可以对新闻进行智能分类的微信小程序。技术栈：Python + Scrapy + MongoDB + scikit-learn + Flask + 微信小程序，涉及爬虫、文本分类、Web …☆63Updated 6 years ago
- 一个简单的Hive项目，使用了Sqoop、Hadoop、Hive、MySQL，对电商数据进行分析☆52Updated 6 years ago
- Django实现微电影网站☆41Updated 2 years ago
- 基于Python+scrapy+redis的分布式爬虫实现框架☆60Updated 5 years ago
- 基于Flask和Vue的前后端分离Web后台管理系统☆81Updated 7 years ago
- flask + Vue => 前后端分离, 提供一个可以复用的 用户注册登录，QQ邮箱接收验证码，Token验证，session/cookie 登录的 模板☆170Updated 7 years ago
- 基于Python+Flask+Echarts的疫情爬虫&数据可视化项目☆221Updated 5 years ago
- 在线考试系统后端☀️☆109Updated 4 months ago
- 🌶使用Python的web框架Django进行开发的一个在线教育系统！☆33Updated 7 years ago
- 京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据☆185Updated 2 years ago
- 拉勾网+BOSS直聘网招聘信息大数据分析项目_数据获取+数据清洗+数据分析+数据可视化☆163Updated 2 years ago