Alternatives and similar repositories for web_spider:

Users that are interested in web_spider are comparing it to the libraries listed below

• SAH01 / python-crawler
  爬虫爬取各大视频门户网站（豆瓣、腾讯、爱奇艺、搜狐、IMDB、1905、乐视、猫眼）电影信息并存储到mysql数据库。
  ☆24Updated 3 years ago
• pujinxiao / TaoBao
  scrapy淘宝天猫实战
  ☆27Updated 8 years ago
• monkey-soft / MoivesSpider
  爬取电影天堂的电影爬虫
  ☆140Updated 7 years ago
• dengqiuhua / owl
  猫头鹰搜索引擎，爬虫，分词，索引，搜索
  ☆27Updated 9 years ago
• nladuo / novelRS
  一个简单的网络小说推荐系统。
  ☆126Updated 6 years ago
• xqtbox / AutoHomeSpider_Scrapy
  爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析
  ☆62Updated 7 years ago
• ZKeeer / IPProxy
  爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口
  ☆140Updated 7 years ago
• fantasysea / jaychou
  python爬取QQ音乐某个歌手的全部专辑歌词并生成文字云图片
  ☆28Updated 8 years ago
• Grois / Python-Video
  Python代码爬取国内几大视频网站的视频信息，持续更新（腾讯视频、爱奇艺视频、土豆优酷）电视剧、电影、动漫、综艺
  ☆58Updated 6 years ago
• brady-chen / tbNews
  金融新闻增量式聚焦爬虫
  ☆20Updated 7 years ago
• FWC1994 / Python-Crawler
  python多线程爬虫爬取电影天堂资源
  ☆91Updated 4 years ago
• hl10502 / scrapy_site
  使用Scrapy框架，通过关键字检索，爬取招标网站的招投标信息，每天定时发送Email
  ☆56Updated 8 years ago
• qqxx6661 / scrapy-yzd
  该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。
  ☆35Updated 5 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆118Updated 6 years ago
• qqxx6661 / flask_yzd
  旧版某东监控网站前后端，轻量级Flask网站，可用作学习Flask
  ☆74Updated 2 years ago
• zhangslob / Taobao_duoshou
  使用Scrapy采集淘宝数据，Flask展示
  ☆65Updated 7 years ago
• xiaobeibei26 / jingdong
  京东爬虫
  ☆28Updated 7 years ago
• brantou / crawler
  爬虫, http代理, 模拟登陆!
  ☆108Updated 7 years ago
• NGUWQ / Python3Spider
  爬虫项目
  ☆69Updated 6 years ago
• smilemilk1992 / scrapy_redis_mongodb
  基于Python+scrapy+redis的分布式爬虫实现框架
  ☆59Updated 5 years ago
• TongzheZhang / DF-competition-sogou
  大数据精准营销中搜狗用户画像挖掘
  ☆36Updated 8 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆71Updated 5 years ago
• xiaosimao / AiSpider
  爬虫轻型框架
  ☆230Updated 6 years ago
• terry2tan / weiboCAR
  【爬虫】基于Scrapy开发的微博（评论、转发、点赞）爬虫，可以批量抓取。
  ☆27Updated 8 years ago
• LoseNine / TopList-python
  今日热榜项目TopList的Python实现，异步爬取微博热榜，知乎，V2EX，GIthub，通过Flask展示。
  ☆70Updated 5 years ago
• NiShuang / new_media_fans_cralwer
  facebook，微博，twitter，youtube，优酷 信息爬虫
  ☆20Updated 6 years ago
• cw1997 / get-email-by-tieba
  用于抓取贴吧发帖中的手机号和电子邮箱的一个爬虫
  ☆63Updated 7 years ago
• Thinkgamer / HIW
  基于Django和Hadoop集群进行的大数据分析平台
  ☆64Updated 7 years ago
• mindawei / p2p
  一个基于 python 的 flask 框架的资讯网站， http://119.29.100.53:8086/
  ☆32Updated 6 years ago
• chenqing / spider
  爬一些常用的电影网站的连接
  ☆88Updated 11 years ago