Simuoss / ResilientCrawlerVault
**ResilientCrawlerVault** 是一个高度稳定且智能的网络爬虫程序，用来迭代式爬取特定域名下的所有网页并进行清洗，专为大规模数据收集和处理设计。它具备以下特点：实时去重，确保不重复收集；自动将网页内容转换为Markdown格式， 便于后续处理和存储；强大的断点重续机制，即使断电也能无缝恢复爬取任务；完善的重定向处理，保证不漏掉任何重要信息。**ResilientCrawlerVault** 适合需要长时间运行和处理复杂网络结构的场景。
☆9Updated 2 months ago
Related projects ⓘ
Alternatives and complementary repositories for ResilientCrawlerVault
- GO语言写的微信全版本聊天记录导出，红队工具，用于在cs上线后无需交互的导出微信聊天记录，进行更进一步的信息收集☆23Updated 2 months ago
- ☆12Updated last year
- exchange接口爆破|邮箱爆破☆13Updated last month
- 一款识别域名是否使用cdn的工具☆13Updated last year
- burp联动ez批量扫描页面中可能存在的sql注入、log4j、可能存在的rce漏洞，让你在红蓝攻防中快人一步。☆16Updated 2 months ago
- Shiro后渗透工具☆12Updated last year
- 承影用的 nuclei 漏扫模板☆16Updated last year
- echoes(回响)是一款Github，红队监测工具☆14Updated 2 years ago
- 棱角社区在线工具库☆15Updated 7 months ago
- （0day）DBSyncer后台自定义插件上传-注入内存马☆13Updated 2 months ago
- JavaAgent内存马实现、检测、修复demo☆11Updated last year
- jwtCracker是一款go语言编写的jwt常见安全问题利用工具☆11Updated 6 months ago
- BCEL编解码工具☆16Updated 2 years ago
- Exchange proxylogon 批量漏洞版本扫描工具☆13Updated 8 months ago
- 某免杀webshell☆18Updated last year
- P001water的渗透笔记☆5Updated 2 months ago
- 通过ptr记录使用ip反查内网域名☆17Updated 2 months ago
- jshERP Exploit GUI☆10Updated 2 months ago
- 内存马生成工具 Tomcat、Weblogic、CMD、Behinder、Godzilla、Suo5......☆19Updated 2 weeks ago
- ☆12Updated last year
- 二开了MYExploit项目，其实也没改多少，就是新增了一些POC。☆13Updated 10 months ago
- .NET实现的shellcode加载器大集合，不断更新中☆13Updated 2 months ago
- 加密app渗透测试包，用于brida和frida练习hook逆向技术的安卓apk源码。尝试暴破出加密密码并进行登录即可通关。自动加解密。☆11Updated 3 months ago
- 练习Golang的时候写的一个Ysoserial图形化工具☆12Updated last year
- 读取dump向日葵&Todesk进程的文件获得连接信息☆12Updated last month
- ARL 灯塔的 WIH 利用☆14Updated 4 months ago