go实现限流功能示例

引言

需求背景

web demo搭建

限制访问次数编写

功能测试

总结

引言

在我们日常维护中，经常有爬虫进行爬取网页，少则1秒钟请求数十次，多则达百次，严重消耗了服务器带宽，且影响正常使用者，好在nginx可以配合lua可以完成类似的需求，本次我们将使用go来完成本需求。

需求背景

在我们日常维护中，可能需要这样一种工具，来对某些路由，对特定IP或者用户ID,在特定时间内，限制最大访问次数，这样有效的避免服务器带宽资源的浪费的同时也能接入更多用户请求，本次使用go来做一个类似的。

web demo搭建

我们先来使用SampleHttp编写一个最简单的web服务器，定义路由queryAll，收到后，假设将返回客户端1w字节的数据信息。

在启动web服务器后，我们使用curl进行测试

命令：

curl 127.0.0.1:8083/queryAll

限制访问次数编写

在上述整体需求的情况下，我们需要编写在规定时间限制访问次数的需求，这里我们为了方便，使用ip来作为限制条件，其核心功能分类大致分为：

从未访问过web服务器

访问过web服务器，在规定时间内没有超出限制

访问过web服务器，在在规定时间内超出了限制

访问过web服务器，时间间隔超过了规定时间

如上分类，除了第三种需要限流外，其他则视为正常访问即可。

核心存储，我们可以选择go map，其中key为ip，value为结构体，该结构体包含访问次数和创建间戳。

其定义如下

我们来根据如上定义的核心功能来编写程序

从未访问过服务器

我们根据map中是否存在这个key来判断，如

_, ok := visitHashMap[ip]; if !ok {
    // 如果没有该ip的访问次数,则新增记录
}

访问过服务器，在规定时间超过了限制

if time.Now().Unix()-visit.createUnixTime >= interval*60 {
    // 在规定时间超过了限制，需要重新计算阈值
}

超过最大允许访问数

if visitHashMap[ip].number >= maxNum {
    // 超过允许最大访问次数
}

整理为其核心函数如下

功能测试

我们在定义路由地方，将来访者IP传入，就可以根据其返回的bool值来判断是否需要限制访问了。

其main函数定义如下:

func main() {
SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
ip := strings.Split(info.RemoteIP,":")[0]
if ! limits(ip) {
info.Write([]byte(fmt.Sprintf("%s 已经被限制访问，在%d分钟内，访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
return
}
info.Write([]byte(fmt.Sprintf("%s 收到queryAll请求,开始查询,返回1W字节数据信息...,统计信息: 在%d分钟内，访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
})
visitHashMap = make(map[string]visitInfo,0)
SampleHttp.StartServer("0.0.0.0:8083")
}

我们将开启服务器来测试一下