fundoop / api_collection
收集的各类数据接口，包括股票数据（新浪API、Tushare）、新闻数据（新浪、头条）、购物（京东）、地图（高德、百度）、Hadoop操作方式等
☆13Updated 5 years ago
Related projects ⓘ
Alternatives and complementary repositories for api_collection
- 淘宝商品详情+评论爬虫+天猫工商执照（Scrapy、Redis）☆26Updated 6 years ago
- 金融新闻增量式聚焦爬虫☆20Updated 7 years ago
- 今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。☆71Updated 5 years ago
- 自动化爬取各大媒体网站网站视频，文章，然后处理后自动上传到头条号☆42Updated 5 years ago
- Python编写的爬虫合集，欢迎Star(豆瓣，百度翻译，斗鱼，优酷，B站，今日头条，笔趣阁，Unsplash，起点中文网， 一点资讯，空气质量， 酷酷漫画)☆37Updated 5 years ago
- 淘宝客链接转换为淘宝客链接工具☆19Updated 11 years ago
- 搜索引擎关键词排位爬虫，包括百度，搜狗，360的搜索引擎关键词排位爬虫，关键词从百度热词中取得，排位分别从三个搜索引擎中抓取。☆19Updated 5 years ago
- 使用python抓取京东全站数据（商品，店铺，分类，评论）☆62Updated last year
- 爬取快手热门视频,每个视频评论,用户详情数据,用户所有个人作品☆13Updated 5 years ago
- 今日头条科技新闻接口爬虫☆17Updated 7 years ago
- Python开发的图片批量处理工具，可以为图片添加文字水印、图片水印，也可以对图片批量重命名☆31Updated 5 years ago
- 闲鱼编辑商品自动化☆30Updated 5 years ago
- Slider_Captcha_Crack某教育网站滑动验证码破解(识别率100%)☆51Updated 6 years ago
- 淘宝爬虫命令行版，指定爬取淘宝商品和评论，利用selenium爬取商品信息，requests爬取评论信息。☆88Updated 4 years ago
- 爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析☆64Updated 6 years ago
- scrapy实现商事主体信息公示平台爬虫。查询工商注册信息的网站，输入关键词可以爬相关所有注册企业数据的数据。 网址：http://cri.gz.gov.cn/☆25Updated 5 years ago
- 批量下载快手任意主播的作品☆23Updated 6 years ago
- 股票实时查看并告警工具☆12Updated last year
- 租房爬虫，基于flask，采用apscheduler定时任务，通过微信，定时给用户推送想要的租房信息☆14Updated 5 years ago
- 微信公众号爬虫：服务端公众号文章数据采集☆43Updated last year
- 联盟广告机器人，自动切换代理、点击广告☆29Updated 9 years ago
- 尝试网站刷流量的自动化工具☆39Updated 4 years ago
- 爬虫项目，领英、专利、乐捐、好大夫、阿里拍卖、看准网、实习僧、百度百科、51job、智联招聘等近80个网站☆79Updated 4 years ago
- 淘宝爬虫，可获得某关键词的所有商品名称、店铺、销量、评论数、图片、优惠、出货地、原价等等☆36Updated 5 years ago
- scrapy爬虫天猫（淘宝）店铺店名、月销售量、价格等详细信息。涉及分类大类30多个，小类数百个。总爬取结果50万+条☆53Updated 6 years ago
- 使用python scrapy爬取全国小区信息（包括小区价格，经纬度，面积，户数等），并保存到mysql和excel☆28Updated 4 years ago