【Java转Go】Go爬虫篇一（goquery）

一时失言乱红尘 2024-03-24 21:59 43阅读 0赞

## 前言 ##

学了网络编程，那咱得用，于是就去查了下go爬虫方面的应用，一般来说是使用 go-colly 和 goquery 框架，我这篇用的是 goquery 。

本来我想打算用豆瓣电影来试试的，但是我用 `res, err = http.Get(url);` 发送了请求，请求地址是没错的，但是没有响应数据，是空的。不知道是不是因为它这个网页是动态的？或者是做了什么反爬机制？

我也不是很懂这方面的知识，之前也就顶多用Java jsoup 去解析过一些小说网站下载小说。而这对我个不懂爬虫的人来说，我也就会解析个html，要是拿不到html，那就没办法了(⊙o⊙)

**所以这篇文章的前提是，给那个网站发送请求，返回回来的响应数据能拿到html。**

这里演示的是去某小说网站下载小说。

## goquery ##

要用这个框架，还是老规矩，我们得先去下载：

go get github.com/PuerkitoBio/goquery

## 实现 ##

### 思路 ###

比如我要下载某本小说，先点进这本小说主页，然后我们需要获取它的文章目录列表，按F12，查看目录列表的元素，是什么class或者id。

后续我们拿到html时，就去body里面找到对应的目录列表的id或class。

比如目录列表是一个ul标签，ul下的li标签就是每一章的章节。然后这个ul有个id，我们可以通过这个id定位到这个ul，然后拿到它下面的所有li标签。

又或者是ul没有id，而是class，li标签也有class，这样就需要通过class来查找元素。

拿到目录列表后，遍历目录，一般会有a标签，a标签的href就是每章的地址。比如li标签里面放的a标签。

定位到a标签，拿到 href 属性的值，也就是章节地址，那我们就可以向这个地址发送请求了。

请求后解析响应数据，获取到文章正文内容。一般正文内容是放在p标签里，也有一些网站不用p标签，而是直接整章内容放在div里面，通过br标签换行和 &nbsp; 缩进。

拿到文章内容后，就可以输出到文件了。

### 代码 ###

前面学了管道和协程，学了就要用嘛，所以我这里也用了这两个。

定义一个管道，用来存放章节地址。协程的话，我只开了两个协程，一个是用来读取章节列表，并放入管道中；第二个是遍历管道，去发送请求，拿到章节内容。

因为我是把整本小说写入到一个txt文件中，不能开多个协程去发送请求，不然拿到的章节内容有可能是乱的，不是按顺序来的。如果你是将每个章节都单独写入到一个txt文件，那就无所谓顺序了。

package main
    
    import (
    	"bufio"
    	"fmt"
    	"github.com/PuerkitoBio/goquery"
    	"net/http"
    	"os"
    	"sync"
    )
    
    var wg sync.WaitGroup
    var chan1 = make(chan string, 10) // 存放章节地址
    
    func main() {
        
    	// 输出文件路径
    	outPath := "C:\\Users\\Administrator\\Desktop\\1.txt"
    	// 小说url地址
    	var url = ""
    	start(url, outPath)
    }
    
    func start(url string, outPath string) {
        
    	var res *http.Response
    	var err error
    	// 输出到文件
    	file, err := os.OpenFile(outPath, os.O_WRONLY|os.O_CREATE, 0666)
    	if err != nil {
        
    		fmt.Printf("文件打开失败：%v", err)
    	}
    	defer file.Close() // 按照defer的先进后出原则，这句代码会最后执行
    	if res, err = http.Get(url); err != nil {
        
    		fmt.Println(err)
    		return
    	}
    	defer res.Body.Close() // 这句代码比 defer file.Close() 先执行
    	doc, err := goquery.NewDocumentFromReader(res.Body)
    	if err != nil {
        
    		fmt.Println(err)
    		return
    	}
    	writer := bufio.NewWriter(file) // NewWriter 带缓冲区的写入，写完之后要用flush刷新。
    	wg.Add(2)                       // 下面开启了2个协程
    	go getChapterList(doc)          // 开启一个协程，读取章节列表，并放入到管道中
    	go getChapterContent(writer)    // 开启一个协程，读取 chan1管道中的href，去发送请求，拿到章节内容（这里不能开多个协程去请求，不然有可能不是按章节顺序去请求的）
    	wg.Wait()                       // 等待协程执行完毕
    	writer.Flush()
    }
    
    // 获取章节列表
    func getChapterList(doc *goquery.Document) {
        
    	// 获取章节列表
    	doc.Find(".chapters").Each(func(i int, selection *goquery.Selection) {
        
    		// 拿到 calss 为 .chapters 的li元素下的 a 标签
    		attr := selection.First().Get(0).FirstChild.Attr
    		href := attr[0].Val // 拿到a标签的href值
    		chan1 <- href
    	})
    	close(chan1) // 将章节href全部写入完后，关闭管道
    	wg.Done()    // 同时，主线程等待执行的协程数量-1
    }
    
    // 获取章节内容，并写入到文件中
    func getChapterContent(writer *bufio.Writer) {
        
    	var res *http.Response
    	var err error
    	for v := range chan1 {
        
    		fmt.Println("正在下载：", v)
    		if res, err = http.Get(v); err != nil {
        
    			fmt.Println(err)
    			return
    		}
    		doc, err := goquery.NewDocumentFromReader(res.Body)
    		if err != nil {
        
    			fmt.Println(err)
    			return
    		}
    		var result string
    		doc.Find("#content").Find("p").Each(func(i int, selection *goquery.Selection) {
        
    			result += selection.Text() + "\r\n" // 每读一个p标签的内容，要加换行符，不然全部内容挤在一块了
    		})
    		writer.WriteString(result)
    	}
    	defer res.Body.Close() // 执行完这个函数后，关闭
    	wg.Done()              // 同时，主线程等待执行的协程数量-1
    }

怎么样，是不是感觉很简单？确实还挺简单的，要是能拿到html，那也就定位元素稍微要注意一点。其他的倒也没什么了。

ok，以上就是本篇文章的全部内容了，我们下篇文章见！