coopersong / mini-spider

在调研过程中,经常需要对一些网站进行定向抓取。由于Go语言包含各种强大的库,使用Go语言做定向抓取比较简单。这是一个使用Go语言开发的迷你定向抓取器,实现对种子链接的抓取,并把URL长相符合特定正则表达式的网页保存到磁盘上。
21Updated last year

Alternatives and similar repositories for mini-spider:

Users that are interested in mini-spider are comparing it to the libraries listed below