Alternatives and similar repositories for WYYScrapy

Users that are interested in WYYScrapy are comparing it to the libraries listed below

• gyqlr / weibo_spider
  微博爬虫，爬去微博语料，情感分析，user-agent池，充足IP，scrapy，mongodb
  ☆16Updated 6 years ago
• moxi255 / jd-spider
  毕业设计京东商品评论爬虫分析
  ☆13Updated 6 years ago
• kong36088 / ZhihuSpider
  多线程知乎用户爬虫，基于python3
  ☆249Updated 2 years ago
• starFalll / Spider
  新浪微博爬虫(Sina weibo spider)，百度搜索结果 爬虫
  ☆196Updated 2 years ago
• cuanboy / scrapyTest
  SCRAPY爬虫实验，主要是一些简单的栗子，让你快速了解scrapy玩法！
  ☆135Updated 7 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆72Updated 5 years ago
• xiaobeibei26 / weibo_spider
  微博财经信息爬虫（根据关键字）
  ☆9Updated 8 years ago
• Google1234 / Information_retrieva_Projectl-
  新闻检索：爬虫定向采集3-4个网页，实现网页信息的抽取、检索和索引。网页个数不少于10个，能按时间、相关度、热度等属性进行排序，并实现相似主题的自动聚类。可以实现：有相关搜索推荐、snippet生成、结果预览(鼠标移到相关结果， 能预览)功能
  ☆128Updated 8 years ago
• lynings / weibo_twitter_earnings_analysis
  基于 python3 ，使用 scrapy 爬取新浪微博和 Twitter 的财报数据，再将数据进行整理和分析并持久化到 json 文件，最终使用 Flask 和 baidu echarts 对数据进行可视化。
  ☆16Updated 7 years ago
• hahaha108 / MyNews
  基于scrapy-redis的分布式新闻爬虫，可同时获取腾讯、网易、搜狐、凤凰网、新浪、东方财富、人民网等各大平台新闻资讯
  ☆44Updated 7 years ago
• 15920036578 / JD_Spider
  京东爬虫（大量注释，对刚入门爬虫者极度友好）
  ☆72Updated 6 years ago
• linukey / DataMining-And-Social-Sentiment-Analysis-Based-On-Weibo
  基于微博的数据挖掘与社交舆情分析
  ☆216Updated 7 years ago
• smilemilk1992 / scrapy_redis_mongodb
  基于Python+scrapy+redis的分布式爬虫实现框架
  ☆60Updated 5 years ago
• longxiaofei / dianping
  大众点评商家评论爬虫
  ☆48Updated 5 years ago
• Frank-qlu / recruit
  recruit 招聘爬虫+数据分析 1.爬虫： 采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条 2.数据处理： 采用pandas对爬取的数据进行清洗和处理 2.数据分析： …
  ☆142Updated 3 years ago
• Germey / Zhihu
  Zhihu User Spider
  ☆134Updated 6 years ago
• xiaosimao / wx_code
  公众号文章代码
  ☆62Updated 6 years ago
• keleqnma / flask-vuejs-nlp
  flask+vue 期末大作业，一个有nlp分析文本功能的爬虫小说网站
  ☆12Updated 2 years ago
• Yanxueshan / Scrapy-Redis-Zhihu
  基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等
  ☆57Updated 6 years ago
• hrwhisper / twitterDataMining
  Twitter数据挖掘及其可视化
  ☆196Updated 8 years ago
• zlikun / python-crawler-douban-movie
  豆瓣电影（短评）爬虫
  ☆52Updated 6 years ago
• langgithub / yuqing_system
  线下爬虫设计 舆情新闻系统 LDA主题分类 关键字提取 实现一个文本分类器
  ☆15Updated 5 years ago
• Germey / TouTiao
  TouTiao Spider Demo
  ☆177Updated 6 years ago
• kba977 / Scrapy_Projects
  🕷一些Scrapy爬虫的练手项目
  ☆75Updated 6 years ago
• brantou / crawler
  爬虫, http代理, 模拟登陆!
  ☆108Updated 7 years ago
• MaxwellJack / pinglun_spyder
  关于百度旅游、大众点评、驴妈妈、猫途鹰、携程的评论爬虫
  ☆23Updated 6 years ago
• lawlite19 / PythonCrawler-Scrapy-Mysql-File-Template
  scrapy爬虫框架模板，将数据保存到Mysql数据库或者文件中。
  ☆215Updated 8 years ago
• panxl6 / douban-movie
  豆瓣电影爬虫
  ☆332Updated 2 years ago
• Wangler2333 / bilibili_video_stat
  爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析
  ☆65Updated 7 years ago
• zyingzhou / music163-spiders
  网易云音乐歌曲评论爬虫
  ☆270Updated 5 years ago