go 爬虫速度控制

使用go语言用原生net/http写爬虫如何优雅的控制并发和请求速度

go程序的执行效率相对python要快的多，且占用的内存和cpu更少
本教程实现控制爬虫程序并发上限，同时控制程序对外请求上限。

如果只是控制并发程序对外请求速度并不稳定，所以我们需要同时控制请求速度

控制并发

var maxTaskLen = make(chan bool, 1000) // 通过管道控制并发数量，最大100个并发
var wg = sync.WaitGroup{}             // 计数器，记录正在执行的任务数量
func main()  {
	for i:=0;i<= 100;i++{
		// 提交异步任务
		maxTaskLen <- true // 当管道满了。会在这里阻塞
		wg.Add(1)          // 计数器加一
		// 开启协程
		go func(goodsId string, mongoObjectId string) {
			defer func() {
				<-maxTaskLen // 从管道取出一个
				wg.Done()    // 并发计数器减一
			}()
			TB(goodsId, mongoObjectId)  // 爬虫函数
		}(result.GoodsId, result.Id)
	}
	wg.Wait() // 等待计数器归零（所有任务执行完毕）再结束主进程
}

限流

var rateLimit = rate.NewLimiter(500, 20)	// 限流
func main()  {
	for i:=0;i<= 100;i++{
		// 限流
		for {
			if rateLimit.Allow() {  // 桶满了阻塞在这里
				break
			}
		}
		// 开启协程
		go func(goodsId string, mongoObjectId string) {
			TB(goodsId, mongoObjectId)  // 爬虫函数
		}(result.GoodsId, result.Id)
	}
}

并发和限流的区别

简单说明

可以将整个采集流程看成一段河流，将数据当作水。
并发就相当于河道的宽度，河道越宽单位时间内流过的水就越多。
而限流就相当于桥洞，河流要经过桥洞，桥洞的大小决定了瞬间有多少水流过河流

有了并发控制为什么还要限流

采集过程中需要使用代理，代理是有并发和带宽的上限的，代理的上限就是限流的大小，限流只控制爬虫调用代理的速度，踩着代理的上限跑爬虫

最总代码

var maxTaskLen = make(chan bool, 1000) // 通过管道控制并发数量，最大100个并发
var wg = sync.WaitGroup{}             // 计数器，记录正在执行的任务数量
var rateLimit = rate.NewLimiter(500, 20)	// 限流
func main()  {
	for i:=0;i<= 100;i++{

		// 限流
		for {
			if rateLimit.Allow() {  // 桶满了阻塞在这里
				break
			}
		}
		
		// 提交异步任务
		maxTaskLen <- true // 当管道满了。会在这里阻塞
		wg.Add(1)          // 计数器加一
		// 开启协程
		go func(goodsId string, mongoObjectId string) {
			defer func() {
				<-maxTaskLen // 从管道取出一个
				wg.Done()    // 并发计数器减一
			}()
			TB(goodsId, mongoObjectId)  // 爬虫函数
		}(result.GoodsId, result.Id)
	}
	wg.Wait() // 等待计数器归零（所有任务执行完毕）再结束主进程
}

代码007普通

打赏 收藏 海报 链接