FrankCy / spring-boot-frank-spider

Java 电商爬虫,动态代理请自行更换!爬取目标:京东、考拉、丝芙兰;使用工具:HtmlUnit(单线程,大部分网站通过代理可以获取,但是反爬多层JS的无法取到)、ChromeDriver(多进程,需要考虑销毁机制)等(其它的不咋好用)(此项目只为研究各个工具的优劣,并不支持商用)
10Updated 2 years ago

Related projects

Alternatives and complementary repositories for spring-boot-frank-spider