答案：使用Golang的net/http发起请求，结合goquery解析HTML，通过CSS选择器提取数据，实现高效轻量级爬虫。
用Golang结合
net/http
和
goquery
编写一个简单的爬虫，其核心在于利用
net/http
标准库来发起HTTP请求并获取网页内容，再通过
goquery
这个强大的库，以类似jQuery的CSS选择器能力进行高效的DOM解析和数据提取。在我看来，这套组合拳，简直是轻量级爬虫开发的黄金搭档，既保持了Go语言的高效并发特性，又提供了jQuery般便捷的DOM操作体验，让原本繁琐的HTML解析变得异常优雅。
解决方案
编写一个基于
net/http
和
goquery
的Go语言爬虫，通常会遵循几个步骤：发起HTTP请求、处理响应、解析HTML并提取数据。下面是一个简单的例子，演示如何抓取一个虚构的博客文章列表，提取每篇文章的标题和链接。
package mainimport ( "fmt" "log" "net/http" "os" "strings" "github.com/PuerkitoBio/goquery")// Article represents a scraped article with its title and URL.type Article struct { Title string URL string}func main() { // 定义目标URL targetURL := "http://example.com/blog" // 假设这是一个博客列表页 // 发起HTTP GET请求 resp, err := http.Get(targetURL) if err != nil { log.Fatalf("发起HTTP请求失败: %v", err) } defer func() { if closeErr := resp.Body.Close(); closeErr != nil { log.Printf("关闭响应体失败: %v", closeErr) } }() // 检查HTTP状态码 if resp.StatusCode != http.StatusOK { log.Fatalf("请求失败，状态码: %d %s", resp.StatusCode, resp.Status) } // 使用goquery创建一个新的文档 doc, err := goquery.NewDocumentFromReader(resp.Body) if err != nil { log.Fatalf("解析HTML文档失败: %v", err) } var articles []Article // 使用CSS选择器查找文章列表项 // 假设每篇文章在一个 class 为 "post-item" 的 div 中，标题在 h2 标签内，链接在 a 标签的 href 属性中 doc.Find(".post-item").Each(func(i int, s *goquery.Selection) { title := s.Find("h2 a").Text() href, exists := s.Find("h2 a").Attr("href") if exists && title != "" { // 确保链接是绝对路径，如果不是，则进行拼接 if !strings.HasPrefix(href, "http") { // 简单的拼接，实际情况可能需要更复杂的URL解析 href = targetURL + href // 假设是相对路径 } articles = append(articles, Article{Title: strings.TrimSpace(title), URL: href}) } }) // 打印提取到的文章信息 if len(articles) == 0 { fmt.Println("没有找到任何文章。请检查选择器或目标网站结构。") } else { fmt.Println("成功提取到文章列表:") for _, article := range articles { fmt.Printf("标题: %sn链接: %sn---n", article.Title, article.URL) } }}// 注意：实际运行时，请将 targetURL 替换为真实可访问的网站URL，// 并根据目标网站的HTML结构调整 goquery 的选择器。// 例如，如果目标网站是 'https://news.ycombinator.com/'，你可能需要这样的选择器：// doc.Find(".athing").Each(func(i int, s *goquery.Selection) {// title := s.Find(".titleline a").Text()// href, exists := s.Find(".titleline a").Attr("href")// // ... 后续处理// })
这段代码展示了一个基础的爬虫骨架。我们首先用
http.Get
获取网页内容，然后用
goquery.NewDocumentFromReader
将响应体转换为可操作的DOM对象。接着，通过
doc.Find(".post-item").Each(...)
，我们遍历所有匹配
.post-item
选择器的元素，并在每个元素内部进一步查找
h2 a
标签，提取其文本作为标题，
href
属性作为链接。这里还加入了一个简单的相对路径处理，这在实际爬虫中是常见且必要的。
为什么选择Go语言和goquery来开发爬虫？
我个人对Go语言和
goquery
的组合情有独钟，这并非偶然。选择它们来开发爬虫，背后有几个非常实际且有力的理由：
立即学习“go语言免费学习笔记（深入）”；
Go语言本身就为高并发、高性能而生。它的Goroutine和Channel机制，让编写并发代码变得异常简单和高效。爬虫本质上就是I/O密集型任务，需要同时处理大量的网络请求。Go的并发模型，能够以极低的资源消耗启动成千上万个并发请求，这在其他语言中可能需要复杂的线程池或异步框架才能实现。我曾经尝试用Python写一些大规模爬虫，虽然生态丰富，但在高并发场景下，GIL（全局解释器锁）和异步IO的调试成本，有时会让人感到头疼。Go语言在这里提供了一种更为直接和高效的解决方案，它的编译型特性也意味着更快的执行速度和更低的内存占用，部署起来也特别省心，一个静态编译的二进制文件就能搞定一切。
至于
goquery
，它简直是前端开发者或熟悉jQuery的人的福音。我记得刚开始接触爬虫时，处理HTML文档是一件很痛苦的事情，要么是复杂的正则表达式，要么是冗长的DOM遍历。
goquery
通过提供jQuery风格的API，让CSS选择器直接作用于Go的HTML解析结果，这让数据提取变得直观、简洁且不易出错。你不需要重新学习一套新的API，直接用熟悉的CSS选择器就能精准定位元素，这种“所见即所得”的开发体验，大大提升了开发效率。它底层基于
golang.org/x/net/html
库，解析性能也相当可靠，不会成为瓶颈。所以，对我来说，Go的并发能力是骨架，
goquery
则是那双能精准摘取数据的巧手，两者结合，事半功倍。
在Go语言爬虫开发中，如何处理常见的反爬机制？
反爬机制就像一场猫鼠游戏，没有一劳永逸的解决方案，但我们总能找到一些策略来应对。在Go语言爬虫中，处理常见的反爬机制，通常需要我们模拟更真实的浏览器行为，并适当地控制请求节奏。
一个最基础的应对是设置User-Agent请求头。很多网站会根据User-Agent来判断请求来源是浏览器还是爬虫。默认的Go HTTP客户端User-Agent通常是
Go-http-client/1.1
，这很容易被识别。我们可以在请求中加入
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")
这样的代码，模拟一个主流浏览器的User-Agent。
// ...req, err := http.NewRequest("GET", targetURL, nil)if err != nil { log.Fatalf("创建请求失败: %v", err)}req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")client := &http.Client{}resp, err := client.Do(req)// ...
IP代理池是另一个重要的策略，尤其当网站对单个IP的访问频率有严格限制时。我们可以维护一个代理IP列表，并在每次请求时随机选择一个代理IP。Go的
http.Client
可以很方便地配置
Transport
来使用代理：
proxyURL, _ := url.Parse("http://your-proxy-ip:port") // 替换为你的代理IP和端口client := &http.Client{ Transport: &http.Transport{ Proxy: http.ProxyURL(proxyURL), },}// 使用这个client发起请求resp, err := client.Do(req)
当然，更复杂的代理池可能涉及代理可用性检测、轮换策略等。
请求频率控制同样关键。频繁的请求会触发网站的限流机制。最简单的方式是使用
time.Sleep()
在每次请求之间引入延迟。更高级的策略是实现令牌桶或漏桶算法，以更平滑地控制请求速率。
// 简单的延迟time.Sleep(2 * time.Second) // 每次请求前等待2秒// 或者使用channel限制并发和频率// 假设你有一个workCh channel来分发任务// var rateLimiter = time.Tick(time.Millisecond * 500) // 每500毫秒生成一个"令牌"// for task := range workCh {// <-rateLimiter // 阻塞直到有令牌可用// go processTask(task)// }
对于需要Cookies或Session管理的网站，
http.Client
的
Jar
字段可以自动处理Cookie的存储和发送：
jar, _ := cookiejar.New(nil)client := &http.Client{ Jar: jar, // 客户端会自动管理cookies}// ...
至于JavaScript渲染的页面和验证码，这就超出了
net/http
和
goquery
的范畴了。对于JS渲染，我们可能需要引入无头浏览器（如
chromedp
），它能模拟真实的浏览器执行JS并渲染页面。验证码则需要结合OCR技术或人工打码平台。这些都是更高级的爬虫技术，在编写简单爬虫时，通常会先选择那些不需要处理这些复杂机制的目标。
总的来说，处理反爬机制是一个不断学习和适应的过程。关键在于理解目标网站的防护策略，然后有针对性地模拟真实用户行为，而非盲目地堆砌技术。
如何优化Go语言爬虫的性能和并发处理？
Go语言天生就擅长并发，但如果用不好，它的并发优势也可能带来资源耗尽的问题。所以，优化Go语言爬虫的性能和并发处理，关键在于精细的控制和合理的资源管理。
首先，并发控制是重中之重。无限制地启动Goroutine可能会耗尽系统资源，导致程序崩溃或效率低下。我们可以使用有缓冲的Channel或者
sync.WaitGroup
结合信号量模式来限制并发数量。
一个常见的模式是使用一个固定大小的Channel作为“工作池”或“信号量”：
// 假设有100个URL需要爬取urlsToCrawl := []string{"url1", "url2", ..., "url100"}maxConcurrency := 10 // 最大并发数sem := make(chan struct{}, maxConcurrency) // 信号量，容量为最大并发数var wg sync.WaitGroupfor _, url := range urlsToCrawl { wg.Add(1) sem <- struct{}{} // 获取一个信号量，如果满了会阻塞 go func(u string) { defer wg.Done() defer func() { <-sem }() // 释放信号量 // 这里执行爬取逻辑 fmt.Printf("正在爬取: %sn", u) time.Sleep(time.Millisecond * 500) // 模拟网络请求和处理时间 }(url)}wg.Wait() // 等待所有Goroutine完成fmt.Println("所有URL爬取完成。")
通过
sem <- struct{}{}
和
<-sem
，我们确保了同时运行的爬取Goroutine不会超过
maxConcurrency
个。
其次，连接复用对HTTP请求性能至关重要。每次发起HTTP请求都重新建立TCP连接，会带来不必要的握手开销。
http.Client
默认会复用连接，但如果你的爬虫会访问大量不同的域名，或者你需要更精细的控制，可以自定义
http.Transport
来配置连接池的大小、空闲连接的超时时间等。
client := &http.Client{ Transport: &http.Transport{ MaxIdleConns: 100, // 最大空闲连接数 IdleConnTimeout: 90 * time.Second, // 空闲连接超时时间 MaxConnsPerHost: 20, // 每个host的最大连接数 DisableKeepAlives: false, // 启用Keep-Alive }, Timeout: 30 * time.Second, // 整个请求的超时时间}// 使用这个client发起所有HTTP请求
错误处理与重试机制也不容忽视。网络抖动、目标网站临时故障等都可能导致请求失败。实现一个带指数退避（Exponential Backoff）的重试机制，可以在不给目标网站造成过大压力的前提下，提高爬虫的健壮性。
// 简单的重试逻辑maxRetries := 3for i := 0; i < maxRetries; i++ { resp, err := client.Do(req) if err == nil && resp.StatusCode == http.StatusOK { // 成功，处理响应 // ... resp.Body.Close() break } log.Printf("请求失败或状态码异常，第%d次重试: %v", i+1, err) time.Sleep(time.Duration(1<<(i+1)) * time.Second) // 指数退避 if resp != nil { resp.Body.Close() }}
最后，数据存储优化也是性能考量的一部分。如果爬取的数据量很大，频繁地单条写入数据库或文件系统可能会成为瓶颈。考虑批量写入数据库、使用消息队列（如Kafka、RabbitMQ）进行异步处理，或者将数据暂存到内存中，达到一定量后再进行持久化。
我个人觉得，Go的并发优势如果用不好，反而可能适得其反，导致资源耗尽。所以，精细的并发控制比无脑启动大量Goroutine更重要。这就像开跑车，不是踩油门到底就行，还得会刹车和转弯。合理的配置和策略，才能让Go爬虫既高效又稳定。
以上就是Golang编写简单爬虫 net/http与goquery结合的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1401984.html
微信扫一扫 
支付宝扫一扫 
