msft-vivi / JobNews-ElasticSearch-Scrapy_redisLinks
项目整体分为scrapy-redis分布式爬虫爬取数据、基于ElasticSearch数据检索和前端界面展示三大模块。做此项目是为了熟悉scrapy-redis的基本流程，以及其背后的原理，同时熟悉ElasticSearch的使用。本项目可以作为一个基于ES存储的简单但是相对全面的全栈开发的Demo。项目中所采用的组件均在win10本地环境搭建（伪分布），旨在演示项目流程。你可以参考该项目，并将其扩展到多个主机上，实现分布式ES以及分布式Scrapy。
☆26Updated 3 years ago
Alternatives and similar repositories for JobNews-ElasticSearch-Scrapy_redis
Users that are interested in JobNews-ElasticSearch-Scrapy_redis are comparing it to the libraries listed below
Sorting:
- 爬取智联招聘网数据，并对其进行招聘数据可视化，爬虫，Data visualization，Django2，echarts☆137Updated 2 years ago
- 美团民宿房源数据抓取以及可视化分析，使用scrapy+django，进行数据抓取以及数据管理和可视化展示的构建。☆34Updated 4 years ago
- python flask vue-element-admin selenium 爬虫 后台☆169Updated 4 years ago
- Word2vec 个性化搜索实现 +Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索☆247Updated 3 years ago
- 分布式采集拉钩网中杭州爬虫相关职位的数据并使用Flask进行数据的可视化与分析☆36Updated 7 years ago
- flask + Vue => 前后端分离, 提供一个可以复用的 用户注册登录，QQ邮箱接收验证码，Token验证，session/cookie 登录的 模板☆170Updated 7 years ago
- flask图书管理系统2.0——使用flask blueprint蓝图；原系统+使用说明在https://github.com/lyric777/Book-Management-System☆67Updated 5 years ago
- 请切换分支到Django-vue！！！毕业设计-中国知网（cnki）爬虫及数据可视化，采用Django和Celery将爬虫内置在网站内，展示实时爬取的数据☆80Updated 4 years ago
- Flask微电影网站开发：前端+后台☆98Updated 3 years ago
- 基于Scrapy和Django的二手房爬虫及可视化☆10Updated 3 years ago
- 京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据☆188Updated 3 years ago
- flask 大型项目的模板 包含基础的用户登录、权限管理☆67Updated 5 years ago
- recruit 招聘爬虫+数据分析 1.爬虫： 采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条 2.数据处理： 采用pandas对爬取的数据进行清洗和处理 2.数据分析： …☆143Updated 3 years ago
- 生鲜购物网站☆254Updated 2 years ago
- 南工二手交易市场☆112Updated 2 years ago
- Flask_Movie_Website基于Python的Flask框架在线电影网站系统☆133Updated 5 years ago
- scrapy框架爬取51job(scrapy.Spider)，智联招聘(扒接口)，拉勾网(CrawlSpider)☆200Updated 2 years ago
- 爬虫项目：链家网（普通/scrapy）、虎扑、维基百科、百度地图api、房天下（分布式爬虫）、微信公众号（代理池爬取）☆212Updated 3 years ago
- Python Web 实战项目，Flask + Jinja2 + Bootstrap 开发的招聘网站☆275Updated 2 years ago
- python+flask大型区块链论坛项目☆35Updated 7 years ago
- 用于职位发布，简历投递，招聘管理的开源项目，一个即刻能用的项目，Powered by Python & Django☆131Updated last year
- 在线考试系统后端☀️☆115Updated 9 months ago
- 使用 Vue 和 Flask 搭建前后端分离的 RESTful 个人博客☆168Updated 2 years ago
- 爬虫+数据分析可视化。爬取的网站有：知乎，淘宝，新浪微博，微信公众号，猫途鹰，今日头条，虎嗅网，人人都是产品经理，猫眼电影☆76Updated 6 years ago
- 基于 Scrapy 的新闻智能分类微信小程序，是一个文本分类相关的应用，目的是打造出一个可以对新闻进行智能分类的微信小程序。技术栈：Python + Scrapy + MongoDB + scikit-learn + Flask + 微信小程序，涉及爬虫、文本分类、Web …☆63Updated 6 years ago
- 基于Python+Flask+Echarts的疫情爬虫&数据可视化项目☆222Updated 5 years ago
- 基于Python+scrapy+redis的分布式爬虫实现框架☆59Updated 5 years ago
- 基于Django做的一个新闻网站，有新闻展示、搜索、在线视频播放、资源下载、订单支付、后台CMS管理等功能☆116Updated 3 years ago
- 基于Flask和Vue的前后端分离Web后台管理系统☆84Updated 7 years ago
- 🔎 Boss 直聘 Python 招聘岗位信息爬取和分析🔎☆73Updated 6 years ago