Alternatives and similar repositories for Spiders:

Users that are interested in Spiders are comparing it to the libraries listed below

• qqxx6661 / scrapy-yzd
  该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。
  ☆35Updated 6 years ago
• csurong / Manyuewan
  flask + 爬虫 = 小说 + 漫画
  ☆33Updated 2 years ago
• Wangler2333 / bilibili_video_stat
  爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析
  ☆66Updated 6 years ago
• Grois / Python-Video
  Python代码爬取国内几大视频网站的视频信息，持续更新（腾讯视频、爱奇艺视频、土豆优酷）电视剧、电影、动漫、综艺
  ☆59Updated 6 years ago
• LoseNine / TopList-python
  今日热榜项目TopList的Python实现，异步爬取微博热榜，知乎，V2EX，GIthub，通过Flask展示。
  ☆71Updated 5 years ago
• ErisYoung / douyin_spider
  🎨One simple and easy to use crawler for DouYin（一个简单易用的抖音爬虫,可下载指定用户,挑战,音乐的视频,音频和数据)
  ☆66Updated 5 years ago
• Henryhaohao / DouYin_Video
  DouYin_Video抖音APP视频下载
  ☆31Updated 6 years ago
• wenguan0927 / WechatSpider
  微信公众号爬虫：服务端公众号文章数据采集
  ☆43Updated 2 years ago
• zkqiang / job-spider
  多线程爬取互联网行业常用招聘网站
  ☆29Updated 7 years ago
• whbing / taobaospider
  scrapy爬虫天猫（淘宝）店铺店名、月销售量、价格等详细信息。涉及分类大类30多个，小类数百个。总爬取结果50万+条
  ☆57Updated 7 years ago
• dongshaohui / AdsRobot
  联盟广告机器人，自动切换代理、点击广告
  ☆30Updated 9 years ago
• zhangslob / Taobao_duoshou
  使用Scrapy采集淘宝数据，Flask展示
  ☆66Updated 7 years ago
• henrylee123 / gzssztCrawler
  scrapy实现商事主体信息公示平台爬虫。查询工商注册信息的网站，输入关键词可以爬相关所有注册企业数据的数据。 网址：http://cri.gz.gov.cn/
  ☆26Updated 6 years ago
• naginoa / python-spider
  58同城 智联招聘 hao123 网易云课堂 中国大学排名 等 的python的一些爬虫
  ☆28Updated 5 years ago
• xiaobeibei26 / yisou_spider
  宜搜数十万小说爬虫
  ☆41Updated 8 years ago
• markstock7 / Simple-Computer-Robot
  当初为某个站长编写的爬虫，可以用来爬去优酷视频，电影天堂，搜狗等站的资源，采用多线程，可以在配置文件里面给定关键词，数据库配置信息等，自动更新到极光cms中(现在好像找不到了).所以此代码只给想要学习用python编写爬虫的同学学习
  ☆36Updated 9 years ago
• calme-toi / Douyin-Watermark-Free-Batch-Downloader
  抖音无水印批量下载脚本
  ☆37Updated 6 years ago
• scienceswork / python-alibaba
  使用python采集阿里巴巴(http://www.1688.com)百万商户信息简易版
  ☆52Updated 8 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆72Updated 5 years ago
• yinzishao / NewsScrapy
  基于scrapy的新闻爬虫
  ☆101Updated 5 years ago
• wanghuafeng / e-business
  电商爬虫系统：京东，当当，一号店，国美爬虫（代理使用）；论坛、新闻、豆瓣爬虫
  ☆106Updated 7 years ago
• CatWang / Lago-data-analysis
  本文使用Python编写爬虫，通过向端口传送请求并且抓取传输过来的json字符串来获取招聘职位信息，并且分类保存为csv格式的表格文件。最后通过长时间的爬取，最终得到37.7MB的表格数据，共计314093个招聘信息。之后通过SPSS对数据进行预处理和统计，再进行深度数据分…
  ☆36Updated 9 years ago
• LoyalWilliams / comic
  scrapy漫画爬虫+django页面展示项目，网易163漫画、腾讯漫画、神漫画在线爬取
  ☆101Updated 3 years ago
• ChenHuabin321 / company_ino_spider
  本项目为企业工商信息网络爬虫，输入行业关键字，例如“铜箔”，可爬取八方资源网等工商信息网上所有与铜箔有关企业的工商信息。
  ☆24Updated 6 years ago
• perfect-network / scrapy_for_video
  爬取国内各大视频网站(腾讯视频，爱奇艺，乐视视频，芒果TV，bilibili，优酷等)的视频信息（电影，电视剧，纪录片，动漫，等......）
  ☆80Updated 6 years ago
• kinghows / Alpha-D
  人工智能刷抖音
  ☆13Updated 5 years ago
• ctts / TopSearch
  基于node.js的抓取微博、百度热搜、知乎日报、bilibili等热榜榜爬虫
  ☆27Updated 2 years ago
• chenjiandongx / pyocr
  利用 tesseract 解析简单数字验证码图片
  ☆21Updated 6 years ago
• hfuuss / python-movie
  基于flask+mysql的电影视频网站。
  ☆67Updated 7 years ago
• wjllp / douyin_spider
  批量下载收藏的抖音短视频
  ☆108Updated 6 years ago