kingname / AutoCrawler
☆28Updated 6 months ago
Alternatives and similar repositories for AutoCrawler:
Users that are interested in AutoCrawler are comparing it to the libraries listed below
- open-llms-next-web,一个类似于chatgpt-next-web的开源 大型语言模型web演示,支持离线开源大模型和PEFT模型☆18Updated 11 months ago
- MNBVC项目-ShareGPT语料清洗☆15Updated last year
- SiliconCloud Cookbook☆19Updated 2 months ago
- 爬虫管理平台,轻量级Python任务调度,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代…☆77Updated this week
- 通用新闻类网站分布式爬虫☆75Updated 6 years ago
- 通过 airtest + mitmproxy 抓取手机端微信的公众号信息☆38Updated 5 years ago
- By leveraging Bocha AI Search API , your AI applications can now access high-quality, up-to-date knowledge from billions of web pages and…☆19Updated 3 months ago
- ☆11Updated 2 years ago
- ☆42Updated last year
- 本项目主要对开源的MOSS SFT数据进行整理 ,转换成mnbvc多轮对话格式。MOSS-003涵盖用性、忠实性、无害性三个层面,共353w样本,MOSS-003 包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数,共630w样本,☆11Updated last year
- ☆20Updated last year
- 爬虫管理系统,支持集群,弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本☆116Updated 5 months ago
- A chrome extension to get XPath of list items in webpage easily.☆35Updated 3 years ago
- Ajax Hook Demo☆29Updated 4 years ago
- 企查查企业分类信息采集☆43Updated 5 years ago
- An intelligent web service to automatically detect web content and extract information from it.☆86Updated last year
- 基于浏览器端,通过JavaScript的小红书爬虫☆14Updated 2 years ago
- 微信公众号聚合平台,获取多个公众号的博文进行筛选、过滤,使用户更方便的读取公众号上的所有文章,每日爬取文章并在个人博客上更新 https://zejuncao.github.io/☆46Updated last week
- selenium裁判文书网爬虫,文书网登录☆38Updated 2 years ago
- 最新的自动爬取微信公众号的实时更新文章、历史文章的爬虫,可以设置爬取关键词黑名单和白名单,支持对公众号的自动评论、点赞、转发。☆14Updated 8 months ago
- 裁判文书网 Android App 详情及列表接口,2021/6/9加入用户校验, 列表接口失效, 但详情接口仍可用, 项目不再进行维护☆50Updated 3 years ago
- 基于chatgpt-next-web 增强版本,后台管理,接入知识库等。将按需持续接入midjourney绘画功能,接入了stable-diffusion,支持oss,支持dall-e-3、gpt-4-vision-preview、whisper、tts,支持gpt-4-a…☆36Updated last year
- 本意是想做一个直接调用kimi的API帮我读论文的程序,然后发现API太贵了,但kimi网页版免费,就结合chrome和python写了这么个东西☆11Updated last year
- Claude prompts|中文调教指南|提示词指南|学习指南|注意事项🌈☆29Updated last year
- Account Pool☆44Updated last year
- 基于PlayWright和xvfb实现对js渲染的动态网页进行抓取,包含网页源码、截图、网站入口发现、网页交互过程、Web 指纹信息等等,支持优先级任务调度。☆45Updated 3 years ago
- 通用文章提取,正文,标题,时间,作者,图片,音视频,联系方式等☆23Updated 2 years ago
- self complemented AlindexSpyder based on Selenium ,阿里商品指数抓取,包括淘宝采购指数,淘宝供应指数,1688供应指数。☆21Updated 6 years ago
- 爬取知识星球内容,并制作成PDF电子书。☆69Updated 8 months ago
- 基于wechaty开发的微信机器人☆11Updated 3 years ago