cafedeflore / mini_spiderLinks
在调研过程中，经常需要对一些网站进行定向抓取。由于python包含各种强大的库，使用python做定向抓取比较简单。请使用python开发一个迷你定向抓取器mini_spider.py，实现对种子链接的广度优先抓取，并把URL长相符合特定pattern的网页保存到磁盘上。
☆18Updated 10 years ago
Alternatives and similar repositories for mini_spider
Users that are interested in mini_spider are comparing it to the libraries listed below
Sorting:
- 微信好友爬虫，图片处理☆50Updated 8 years ago
- 点睛 - 头条号文章标题生成工具 （Dianjing, AI to write Title for Articles）☆242Updated 7 years ago
- 以文搜诗，以图搜诗 - 不必再局限于关键字匹配，而是根据语义和语境排序返回结果.☆23Updated 2 years ago
- python脚本爬取今日头条视频数据☆93Updated 6 years ago
- 基于Char RNN实现的“作家”应用，可以写诗也可以生成名字，看起来还☆88Updated 5 years ago
- 抖音、火山、快手最简代码获取去水印视频☆12Updated 5 years ago
- 一个色情小说检测项目☆124Updated 7 years ago
- 微信公众号爬取(中间人代理法)☆30Updated 3 years ago
- 抖音视频下载器，批量下载自己喜欢过的视频/上传的视频/关注用户发布的视频/关注用户喜欢的视频。当前已经无法爬取，项目暂时废弃，只能用于学习了。☆193Updated 3 years ago
- 百度知道爬虫，爬取问答对☆19Updated 10 years ago
- 一些小爬虫 : )☆60Updated 7 years ago
- 使用３w多唐诗训练好的lstm,能够自动生成诗词和藏头诗☆56Updated 9 years ago
- 爬虫脚本，目前支持抓取懂车帝车品牌、车型，汽车图片等; 简书30热搜、简书刷评论；拉勾教育专栏文章；mm131图片；影视资源站视频抓取。☆74Updated 2 years ago
- 简单、实用的爬虫工具，仅需四步创建属于你的爬虫程序！☆50Updated 8 years ago
- 百度新闻的热搜关键词抓取，并根据关键词抓取新闻☆47Updated 8 years ago
- 微信公众号批量抓取器☆57Updated 9 years ago
- 使用python抓取京东全站数据（商品，店铺，分类，评论）☆67Updated 3 years ago
- facebook，微博，twitter，youtube，优酷 信息爬虫☆22Updated 7 years ago
- Python 爬取抖音小姐姐的视频列表，去水印下载一步到位☆158Updated 3 years ago
- some simple wechat scripts based on itchat ,which may be useful for your daily life☆76Updated 8 years ago
- 基于Python3的12306抢票爬虫，10个线程开抢，智能过滤凌晨12：00到7：00发车的车次。☆113Updated 9 years ago
- 新闻网站爬虫,目前能够爬取网易，新浪，qq，搜狐等三家网站的新闻页面，并保存到本地。☆34Updated 10 years ago
- 百度网盘爬虫2017☆19Updated 8 years ago
- Android下的公众号按键精灵，自动点击公众号历史消息☆20Updated 7 years ago
- 基于中间人截获的微信公众号爬虫☆20Updated 8 years ago
- 微博爬虫。通过调用weibo api，而非暴力爬取的方式获取信息。☆32Updated 9 years ago
- 模仿莎士比亚创作戏剧！屌炸天的是还能创作金庸武侠小说！快star，保持更新！！☆266Updated 8 years ago
- 新闻聚合网站，抓取科技圈主流媒体报道的即将发生的事☆60Updated 3 years ago
- 抖音视频下载☆126Updated 7 years ago
- 【图文详解】scrapy爬虫与动态页面——爬取拉勾网职位信息（1）☆83Updated 9 years ago