Alternatives and similar repositories for mainWebsitesProject:

Users that are interested in mainWebsitesProject are comparing it to the libraries listed below

• henrylee123 / gzssztCrawler
  scrapy实现商事主体信息公示平台爬虫。查询工商注册信息的网站，输入关键词可以爬相关所有注册企业数据的数据。 网址：http://cri.gz.gov.cn/
  ☆25Updated 5 years ago
• qihangchenhao / Amazon_Spider_Sys
  Amazon Spider 亚马逊商品信息抓取系统，包含商品监控模块，商品评价监控模块，商品库存监控系统，评论词云模块，用户管理模块
  ☆61Updated 2 years ago
• FuroOuO / XianyuAuto
  闲鱼编辑商品自动化
  ☆30Updated 6 years ago
• chenjiandongx / photo-gevent
  👮 美女写真图爬虫 gevent 版
  ☆40Updated 6 years ago
• pujinxiao / TaoBao
  scrapy淘宝天猫实战
  ☆27Updated 7 years ago
• 1061700625 / Download-Souhu-Article
  现在有很多自媒体平台，如头条号、搜狐号、大鱼号、百家号等，每个人都可以成为创作者发布自己的作品。如果想把某个作者的文章都下下来，一篇一篇的下载会很麻烦，而用爬虫则会很简单，顺便还能练练手。这里就以抓取规则比较简单的搜狐号为例。
  ☆17Updated 5 years ago
• pymyworld / xingji100_spider
  主播数据平台基础数据爬虫，包括斗鱼、企鹅、熊猫、b站、全民、虎牙、龙珠、战旗、火猫
  ☆17Updated 6 years ago
• xxduck / xianyu
  基于Python-Scrapy框架的闲鱼二手网站信息抓取
  ☆60Updated 7 years ago
• CooperMin / qichacha
  企查查企业分类信息采集
  ☆40Updated 4 years ago
• qi20172017 / douyin_spider
  APP端爬取抖音数据
  ☆9Updated 5 years ago
• cyril0216 / jd-master
  京东茅台odoo自动抢购
  ☆14Updated 3 years ago
• feiweiwei / WeixinSpider
  爬虫爬取微信公众号文章
  ☆104Updated 6 years ago
• CarryChang / Video-Assistance
  自己使用Request+PyQT编写可视化视频解析工具，主要借用全民解析API的进行的各源头VIP视频解析，软件主要有各大厂的视频VIP解析功能，主要通过网络爬虫解析视频源，实现点击线路即可自动加载浏览器播放视频的功能，还有在加载视频的同时也生成对应的链接二维码，微信扫一扫…
  ☆24Updated 4 years ago
• maodunWorld / WLWH_LAST
  爱奇艺，腾讯视频爬虫。趣头条，大鱼号，qq cookies http客户端。含腾讯视频滑块破解，视频接口逆向。a webspider for many chainese video website
  ☆25Updated 2 years ago
• qqxx6661 / scrapy-yzd
  该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。
  ☆35Updated 5 years ago
• 52Lau / weixin_crawler-1
  高效微信公众号历史文章和阅读数据爬虫powered by scrapy 微信公众号爬虫 微信采集 公众号采集
  ☆64Updated 5 years ago
• xiucaicoder / douyin-spider
  抖音无水印视频爬虫
  ☆11Updated 4 years ago
• xiaobeibei26 / weixin_spider
  微信文章爬虫，加入代理池中间件
  ☆17Updated 7 years ago
• mymusise / Baidu-Hot
  记录每天百度搜索热点
  ☆24Updated 2 years ago
• Henryhaohao / IT_Orange
  Multiprocessing多进程爬取IT桔子网站的10万+公司信息
  ☆16Updated 6 years ago
• panoslin / DouYinSpider
  Fiddler + Appium + Mitmproxy + Android Emulator
  ☆71Updated 4 years ago
• MagicDu / mywpspider
  增强版Python+wordpress爬虫
  ☆14Updated 7 years ago
• AwesomeCrawler / taobao_login
  淘宝登录，获取Cookies
  ☆78Updated 4 years ago
• xgkmxxx / Guazi
  scrapy抓取，mysql储存，django展示
  ☆12Updated 9 years ago
• hi-andy / article-to-mobi
  抓取网页文章，生成 mobi 格式电子书。主要便于导入 Kindle 阅读及存档。目前支持：微信公众号，知乎收藏，投资知道……
  ☆33Updated 4 years ago
• whbing / taobaospider
  scrapy爬虫天猫（淘宝）店铺店名、月销售量、价格等详细信息。涉及分类大类30多个，小类数百个。总爬取结果50万+条
  ☆55Updated 7 years ago
• brandonchow1997 / Ele-Spider
  饿了么商家信息爬虫
  ☆33Updated 6 years ago
• swukong / douyin_signature
  抖音接口signature的生成破解
  ☆84Updated 6 years ago
• guapier / zufang
  租房爬虫，基于flask，采用apscheduler定时任务，通过微信，定时给用户推送想要的租房信息
  ☆14Updated 5 years ago
• mark2016goog / wechat_spider
  nodejs+anyproxy / appium+python 自动化抓取微信公众号文章
  ☆16Updated 6 years ago