msft-vivi / JobNews-ElasticSearch-Scrapy_redisLinks
项目整体分为scrapy-redis分布式爬虫爬取数据、基于ElasticSearch数据检索和前端界面展示三大模块。做此项目是为了熟悉scrapy-redis的基本流程，以及其背后的原理，同时熟悉ElasticSearch的使用。本项目可以作为一个基于ES存储的简单但是相对全面的全栈开发的Demo。项目中所采用的组件均在win10本地环境搭建（伪分布），旨在演示项目流程。你可以参考该项目，并将其扩展到多个主机上，实现分布式ES以及分布式Scrapy。
☆27Updated 2 years ago
Alternatives and similar repositories for JobNews-ElasticSearch-Scrapy_redis
Users that are interested in JobNews-ElasticSearch-Scrapy_redis are comparing it to the libraries listed below
Sorting:
- 分布式采集拉钩网中杭州爬虫相关职位的数据并使用Flask进行数据的可视化与分析☆37Updated 7 years ago
- 链家房屋数据爬虫以及数据分析☆20Updated 5 years ago
- 使用 python 操作大数据的各种组件☆66Updated 2 years ago
- 基于Scrapy和Django的二手房爬虫及可视化☆10Updated 2 years ago
- 基于Django和Hadoop集群进行的大数据分析平台☆66Updated 7 years ago
- Crawling zhihu, jobbole, lagou by Scrapy, and using Elasticsearch+Django to build a Search Engine website --- README_zh.md (including: i…☆38Updated 6 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 6 years ago
- 此项目是对大学生的一卡通消费数据、图书借阅记录和图书馆门禁数据在spark集群的大数据框架环境之下进行聚类、关联分析，分析出学生的消费水平、生活规律、学习强度等聚类结果，以及将聚类结果进行FPGrowth关联分析得出学生聚类之间存在的关联性，此项目是使用scala语言，利用…☆64Updated 8 months ago
- 基于scrapy-redis的分布式新闻爬虫，可同时获取腾讯、网易、搜狐、凤凰网、新浪、东方财富、人民网等各大平台新闻资讯☆44Updated 7 years ago
- 基于python开发爬虫脚本,并使用django,echarts对数据进行分析☆26Updated 6 years ago
- 基于微信网页版爬虫来对微信中获取到的联系人相关信息Flask，Echarts进行数据分析☆13Updated 6 years ago
- 基于Django做的一个新闻网站，有新闻展示、搜索、在线视频播放、资源下载、订单支付、后台CMS管理等功能☆113Updated 2 years ago
- 通过CSDN爬虫爬取博客，利用Whoosh实现倒排索引与排序，django作为后端实现小型CSDN搜索引擎。并实现高亮、相关搜索等功能。☆30Updated 6 years ago
- 爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析☆66Updated 6 years ago
- 基于flask构建微电影网站，已部署测试(附线上部署过程)，增加异步功能，项目结构优化，发送弹幕，速率控制☆66Updated 6 years ago
- ElasticSearch+Django+Scrapy搜索引擎☆28Updated 2 years ago
- 基于 flask 和 echarts 的数据可视化工具☆86Updated 4 years ago
- 模拟电商系统上线运行一段时间后，根据收集到大量的用户行为数据，利用大数据技术（Flink）进行深入挖掘和分析，进而得到感兴趣的商业指标并增强对风险的控制。 整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏…☆126Updated 5 years ago
- 拉勾网+BOSS直聘网招聘信息大数据分析项目_数据获取+数据清洗+数据分析+数据可视化☆162Updated 2 years ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆52Updated 2 years ago
- recruit 招聘爬虫+数据分析 1.爬虫： 采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条 2.数据处理： 采用pandas对爬取的数据进行清洗和处理 2.数据分析： …☆141Updated 3 years ago
- 大数据生态解决方案基础平台: 搜索系统、公共系统、任务管理系统、数据binlog采集、基础爬虫系统、数据传输系统、运维告警系统、APM、报表系统☆10Updated 4 years ago
- 使用Python2.7.x与Django1.9开发的在线教育平台网站（跟着慕课booby老师的课程学习开发）☆19Updated 6 years ago
- 百度贴吧Scrapy爬虫，附简单可视化分析☆38Updated 7 years ago
- 利用flask进行echarts/pyecharts，Web程序开发，机器学习模型部署☆28Updated 2 years ago
- 电商个人开发的小项目走一个 : 该项目是商城系统，主要功能有: 首 页展示，商品详情列表，购物车，用户中心, 后台管理系统等☆30Updated 6 years ago
- 基于Python+scrapy+redis的分布式爬虫实现框架☆60Updated 5 years ago
- 深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取☆77Updated 2 years ago
- 爬取智联招聘网数据，并对其进行招聘数据可视化，爬虫，Data visualization，Django2，echarts☆135Updated last year
- 一个基于elasticsearch开发的搜索引擎网站☆14Updated 2 years ago