Y-Matin / NewsSpiderLinks
毕设：使用PYQT5 和 scrapy框架 结合readability正文提取算法，再用pyinstaller打包. 开发一个通用的爬虫系统
☆10Updated 5 years ago
Alternatives and similar repositories for NewsSpider
Users that are interested in NewsSpider are comparing it to the libraries listed below
Sorting:
- 招投标网站数据采集☆20Updated 5 years ago
- 抖音无水印视频爬虫☆11Updated 5 years ago
- 爱奇艺，腾讯视频爬虫。趣头条，大鱼号，qq cookies http客户端。含腾讯视频滑块破解，视频接口逆向。a webspider for many chainese video website☆26Updated 2 years ago
- 抖音,淘宝系,常见新闻爬虫☆13Updated 3 years ago
- 基于pyppeteer实现对淘宝网的模拟登陆☆11Updated 5 years ago
- 基于浏览器端，通过JavaScript的小红书爬虫☆14Updated 2 years ago
- 自己使用Request+PyQT编写可视化视频解析工具，主要借用全民解析API的进行的各源头VIP视频解析，软件主要有各大厂的视频VIP解析功能，主要通过网络爬虫解析视频源，实现点击线路即可自动加载浏览器播放视频的功能，还有在加载视频的同时也生成对应的链接二维码，微信扫一扫…☆24Updated 5 years ago
- 基于文字密度的新闻正文提取模块，兼容python2和python3，传入新闻网址或者网页源码即可返回标题，发布时间和正文内容。☆14Updated 7 years ago
- 关于快手视频的django项目，之前使用爬虫，可以获取快手视频网站的视频，输入用户主页地址，就可以获取用户的视频地址、粉丝数、点赞数等。现在这个项目准备实现：随机获取用户id并且去重，然后根据id获取主页视频信息，将获取的内容展示到网页上。后期还可以开发用户注册登录系统，可…☆21Updated 4 years ago
- web版抖音采集的一种解决方案☆19Updated 4 years ago
- 使用Scrapy爬取主流网站的项目集合，持续更新。☆10Updated 7 months ago
- APP端爬取抖音数据☆9Updated 5 years ago
- 通用文章提取 ，正文，标题，时间，作者，图片，音视频，联系方式等☆23Updated 2 years ago
- scrapy+pyppeteer，爬取今日头条中新闻及热门评论信息。☆12Updated 5 years ago
- 各个主流电商平台商品信息爬虫☆24Updated 5 years ago
- 抖音自动化爬取☆12Updated 5 years ago
- 最新的自动爬取微信公众号的实时更新文章、历史文章的爬虫，可以设置爬取关键词黑名单和白名单，支持对公众号的自动评论、点赞、转发。☆13Updated last year
- 对不同模板的静态网页，识别并提取正文、标题、时间等元素☆15Updated 8 years ago
- 滑动验证码缺口数据集，Yolo3（腾讯007，极验，网易...）☆14Updated 4 years ago
- 中国土地市场网(landchina.com)爬虫,反爬虫,字体反爬虫☆8Updated 4 years ago
- 爬虫知识梳理 某宝爬虫 某运营商爬虫 某行征信爬虫 在线爬虫设计 密码控件爬虫 离线爬虫设计☆18Updated 5 years ago
- ElasticSearch+Django+Scrapy搜索引擎☆28Updated 2 years ago
- 抖 音扫码登录2023最新接口☆9Updated last year
- django+es搭建的前后端分离，唐诗宋词搜索引擎。☆34Updated 3 years ago
- 淘宝商品详情+评论爬虫+天猫工商执照（Scrapy、Redis）☆26Updated 7 years ago
- 中国新闻网爬虫（全站增量爬虫，可用时间至2019.7）☆17Updated 5 years ago
- 租房爬虫，基于flask，采用apscheduler定时任务，通过微信，定时给用户推送想要的租房信息☆14Updated 6 years ago
- 一个简单的web爬虫框架，借鉴scrapy结构开发而来，并为scrapy使用者提供通用轮子^.^☆13Updated 4 years ago
- scrapy-redis-expiredupefilter是基于scrapy-redis修改来的一款scrapy分布式爬虫框架，它支持为请求指纹设置生命周期，请求指纹生命周期结束后将在不影响其他指纹的情况下自动清除。☆11Updated 5 years ago
- 该工具旨在整合Appium、Selenium和Requests工具，为测试开发工作提供支持。它的目标是让整合能够跨越不同工具之间的隔阂，实现全方位的测试覆盖。该框架融合了Python编程与测试理论，是一项高级学习成果，具有思想上的广泛性。未来可以进一步完善，加入界面化设计，…☆26Updated 10 months ago