IshtarTang / weibo_spider
新浪微博爬虫，保存一个用户发过的所有内容，保存包括原链接、正文、评论等21个字段（停止更新）（微博换新UI后已无法使用，主页有匹配新UI的项目可以用那个）
☆19Updated 3 years ago
Alternatives and similar repositories for weibo_spider:
Users that are interested in weibo_spider are comparing it to the libraries listed below
- 微博的爬虫，爬个人主页，用的scrapy 框架☆23Updated 8 months ago
- 无cookie版微博爬虫，可以连续爬取一个或多个新浪微博用户信息、用户微博及其微博评论转发。☆154Updated 2 years ago
- 根据关键词抓取微博数据，再生成词云☆221Updated 6 years ago
- 爱奇艺，腾讯视频爬虫。趣头条，大鱼号，qq cookies http客户端。含腾讯视频滑块破解，视频接口逆向。a webspider for many chainese video website☆25Updated 2 years ago
- 各种爬虫（目前支持Instagram、Weibo、Twitter）Miscellaneous crawlers (currently including instagram, twitter, weibo etc.).☆32Updated 7 months ago
- 一个基于关键词爬虫生成词云的网络内容可视化工具，可爬取百度、谷歌、必应、知乎、微博、微信公众平台☆35Updated 4 years ago
- 微博内容及评论自动爬取☆45Updated 4 years ago
- 可自定义关键词获取一定时间范围内几乎所有数据的微博爬虫项目☆10Updated last year
- 微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据☆271Updated 4 years ago
- 一些 Python 爬虫练习：bilibili用户信息爬取、下载工具、房天下新房二手房redis分布式爬虫、简书全站文章爬取、观察者网站首页新闻爬取、淘宝模拟登陆、淘宝搜索商品信息爬取及可视化展示、知乎问题回答信息爬取\抖音无水印视频下载☆122Updated this week
- 爬取关注列表中微博账号的微博☆185Updated 8 months ago
- Aqistudy_Weather加密破解Aqistudy中国城市空气质量在线检测平台☆16Updated 6 years ago
- 基于Python的天眼查爬虫，爬取完整的公司数据（可爬需要VIP才能用的邮箱和电话等）☆49Updated 5 years ago
- 最新的自动爬取微信公众号的实时更新文章、历史文章的爬虫，可以设置爬取关键词黑名单和白名单，支持对公众号的自动评论、点赞、转发。☆12Updated 9 months ago
- 电商爬虫，一个用于收集商品图片和信息的爬虫项目。A scrapy project for crawl product pictures and informations.☆10Updated 8 months ago
- 关于快手视频的django项目，之前使用爬虫，可以获取快手视频网站的视频，输入用户主页地址，就可以获取用户的视频地址、粉丝数、点赞数等。现在这个项目准备实现：随机获取用户id并且去重，然后根据id获取主页视频信息，将获取的内容展示到网页上。后期还可以开发用户注册登录系统，可…☆19Updated 3 years ago
- python办公自动化☆19Updated 4 years ago
- 使用Scrapy编写的拉勾网爬虫，添加了代理IP池、增量爬取机制☆11Updated last year
- 本项目是一个微博爬虫项目，旨在通过微博的mid获取到其对应的所有点赞、转发、评论与二级评论的相关数据。☆49Updated 2 years ago
- 微博自动化运营：自动登录，加关注，写评论，发微博☆38Updated 5 years ago
- 抖音无水印视频爬虫☆11Updated 4 years ago
- 记录微博热搜、热门话题，每小时更新，按天归档。☆62Updated this week
- 百度搜索爬虫，爬取百度搜索结果☆16Updated 2 years ago
- 爬虫爬取微信公众号文章☆104Updated 6 years ago
- 该项目是基于Scrapy框架的Python新闻爬虫，能够爬取网易，搜狐，凤凰和澎湃网站上的新闻，将标题，内容，评论，时间等内容整理并保存到本地☆37Updated 5 years ago
- 关注于某个大的话题，按关键字搜索总话题，分为各个分话题，在每个分话题下爬取多条热门微博及其评论数据，保证内容和评论的多样性☆17Updated 4 years ago
- 爬虫项目：链家网（普通/scrapy）、虎扑、维基百科、百度地图api、房天下（分布式爬虫）、微信公众号（代理池爬取）☆211Updated 2 years ago
- [2023.05.09]基于selenium的新浪微博关键字搜索结果全自动爬虫，支持自定义搜素关键字、搜索起始时间、爬取起始页数（以实现中断后接上次继续爬取）。爬取内容包括微博账号、发文时间、发送平台、微博内容、转发次数、评论次数、点赞次数、原博地址。☆29Updated last year