lsdlab / 80s_spider
www.80s.tw 爬虫，用 pyspider，只爬电影、电视剧、动漫、综艺，爬取后存储至 MongoDB。
☆16Updated 7 years ago
Alternatives and similar repositories for 80s_spider:
Users that are interested in 80s_spider are comparing it to the libraries listed below
- Python爬虫的学习历程☆51Updated 7 years ago
- 58同城 智联招聘 hao123 网易云课堂 中国大学排名 等 的python的一些爬虫☆28Updated 5 years ago
- 土巴兔和谷居装修网站爬虫☆108Updated 5 years ago
- 从各大动漫网站抓取到数据后存储在mongodb中，然后用python(flask)提供的路由和接口，在前端用react+echarts进行数据展示，数据的获取，可以搭配使用爬虫https://github.com/buptyyf/scrapy-cartoon☆49Updated 6 years ago
- 微信机器人抓取并分发招聘信息☆25Updated 8 years ago
- 百万英雄、冲顶大会等HQ类答题游戏辅助。Android、iOS均支持，推荐答案标红显示。☆84Updated 7 years ago
- 使用Scrapy采集淘宝数据，Flask展示☆65Updated 7 years ago
- 爬取百度指数和阿里指数，采用selenium，存入hbase，验证码自动识别，多线程控制☆32Updated 8 years ago
- 拉钩职位爬虫☆26Updated 7 years ago
- 新闻聚合网站，抓取科技圈主流媒体报道的即将发生的事☆58Updated 2 years ago
- python多线程爬虫爬取电影天堂资源☆91Updated 4 years ago
- 本项目为企业工商信息网络爬虫，输入行业关键字，例如“铜箔”，可爬取八方资源网等工商信息网上所有与铜箔有关企业的工商信息。☆24Updated 6 years ago
- Python爬虫和练习☆60Updated 6 years ago
- jobSpider是一只scrapy爬虫，用于爬取职位信息☆27Updated 8 years ago
- 实现数据存储到数据库的爬虫实例☆68Updated 8 years ago
- 👮 美女写真图爬虫 gevent 版☆39Updated 6 years ago
- 一个向往成为程序员的码奴的Scrapy学习笔记☆42Updated 6 years ago
- A python crawler for 1024 jap video from a mystery website. (No url)☆58Updated 7 years ago
- 基于Redis实现的简单到爆的分布式爬虫☆46Updated 7 years ago
- 利用 tesseract 解析简单数字验证码图片☆21Updated 6 years ago
- 荐乎 是自己创业时候的一个 to B 的商业项目，后台技术栈基于 Django，数据库使用 mysql+redis，前端使用jQuery-weui，界面及图标设计来自于腾讯某设计师。☆52Updated 7 years ago
- 模拟拉勾app系列---数据准备爬虫☆20Updated 6 years ago
- 当初为某个站长编写的爬虫，可以用来爬去优酷视频，电影天堂，搜狗等站的资源，采用多线程，可以在配置文件里面给定关键词，数据库配置信息等，自动更新到极光cms中(现在好像找不到了).所以此代码只给想要学习用python编写爬虫的同学学习☆36Updated 9 years ago
- 该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。☆35Updated 5 years ago
- 实现多个爬虫共同工作的scrapy爬虫实例☆43Updated 8 years ago
- 电视剧爬虫，抓取各大视频网站电视剧信息☆16Updated 8 years ago
- 微信公众号批量抓取器☆56Updated 8 years ago
- 抓取网页文章，生成 mobi 格式电子书。主要便于导入 Kindle 阅读及存档。目前支持：微信公众号，知乎收藏，投资知道……☆33Updated 4 years ago
- LOL直播视频聚合☆10Updated 5 years ago
- Python爬虫，抓取“mzitu.com”网站上的美女图片。支持将单一界面的多相册下的图片下载到本地。用到第三方库BeautifulSoup、request☆86Updated 8 years ago