kingshard性能优化网络篇

最近kingshard的功能开发节奏慢了许多。一方面是工作确实比较忙，另一方面是我觉得kingshard的功能已经比较完善了，下一步的开发重点应该是性能优化。毕竟作为一个MySQL proxy,如果转发SQL的性能很差，再多的功能都无济于事。所以这个周末一直宅在家里优化kingshard的转发性能。经过两天的探索发现，将kingshard的转发SQL性能提升了18%左右，在这个过程中学到了一下知识。借此机会分享一下，同时也是督促一下自己写博客的积极性。：）

1. 发现kingshard的性能瓶颈

首选，对kingshard进行性能优化，我们必须要找到kingshard的性能瓶颈在哪里。Go语言在性能优化支持方面做的非常好，借助于go语言的pprof工具，我们可以通过简单的几个步骤，就能得到kingshard在转发SQL请求时的各个函数耗时情况。

1.1 环境搭建

根据kingshard使用指南搭建一个kingshard代理环境。我是用macbook搭建的环境，硬件参数如下所示：

CPU： 2.2GHZ * 4内存：16GB硬盘: 256GB

1.2 性能测试步骤

具体步骤如下所述：

1.获取一个性能分析的封装库

go get github.com/davecheney/profile

2.在工程内import这个组件

3.在kingshard/cmd/kingshard/main.go的main函数开始部分添加CPU监控的启动和停止入口

func main() {    defer profile.Start(profile.CPUProfile).Stop()    fmt.Print(banner)    runtime.GOMAXPROCS(runtime.NumCPU())    flag.Parse()    ....}

4.重新编译工程, 运行kingshard

./bin/kingshard -config=etc/ks.yaml

5.kingshard启动后会在终端输出下面一段提示：

2015/10/31 10:28:06 profile: cpu profiling enabled, /var/folders/4q/zzb55sfj377b6vdyz2brt6sc0000gn/T/profile205276958/cpu.pprof

后面的路径就是pprof性能分析文件的位置，Ctrl+C中断服务器

6.这时候用sysbench对kingshard进行压力测试，得到QPS（有关sysbench的安装和使用，请自行Google解决）。具体的代码如下所示：

sysbench --test=oltp --num-threads=16 --max-requests=160000 --oltp-test-mode=nontrx --db-driver=mysql --mysql-db=kingshard --mysql-host=127.0.0.1 --mysql-port=9696 --mysql-table-engine=innodb --oltp-table-size=10000 --mysql-user=kingshard --mysql-password=kingshard --oltp-nontrx-mode=select --db-ps-mode=disable run

得到如下结果:

OLTP test statistics:    queries performed:        read:160071        write: 0        other: 0        total: 160071    transactions:160071 (16552.58 per sec.)    deadlocks: 0      (0.00 per sec.)    read/write requests:     160071 (16552.58 per sec.)    other operations:        0      (0.00 per sec.)Test execution summary:    total time:9.6705s    total number of events:  160071    total time taken by event execution: 154.4474    per-request statistics:         min:      0.29ms         avg:      0.96ms         max:     14.17ms         approx.  95 percentile:   1.37msThreads fairness:    events (avg/stddev):           10004.4375/24.95    execution time (avg/stddev):   9.6530/0.00

• 按照上述步骤测试三次（16552.58,16769.72,16550.16）取平均值，得到优化前kingshard的QPS是：16624.15

• 按照上述步骤，直连MySQL。测试直连MySQL的QPS，同样测试三次QPS（27730.90，28499.05，27119.20），得到直连MySQL的QPS是：27783.05。

• 从上述数据可以计算出kingshard转发SQL的性能是直连MySQL的59%左右。

7.将cpu.prof拷贝到bin/kingshard所在位置

8.调用go tool工具制作CPU耗时的PDF文档

go tool pprof -pdf ./kingshard cpu.pprof > report.pdf

2. 性能测试报告分析

通过上述命令，可以生成压测期间主要函数耗时情况。从report来看，主要的耗时在TCP层数据包的收发上面。那我们应该主要考虑如何优化TCP层数据的收发方面。优化TCP传输效率，我首先想到了减少系统调用，每个数据包传输尽量多的数据。

在通过 TCP socket 进行通信时，数据都拆分成了数据块，这样它们就可以封装到给定连接的 TCP payload（指 TCP 数据包中的有效负荷）中了。TCP payload 的大小取决于几个因素（例如最大报文长度和路径），但是这些因素在连接发起时都是已知的。为了达到最好的性能，我们的目标是使用尽可能多的可用数据来填充每个报文。当没有足够的数据来填充 payload 时（也称为最大报文段长度（maximum segment size） 或 MSS），TCP 就会采用 Nagle 算法自动将一些小的缓冲区连接到一个报文段中。这样可以通过最小化所发送的报文的数量来提高应用程序的效率，并减轻整体的网络拥塞问题。

由于这种算法对数据进行合并，试图构成一个完整的 TCP 报文段，因此它会引入一些延时。但是这种算法可以最小化在线路上发送的报文的数量，因此可以最小化网络拥塞的问题。但是在需要最小化传输延时的情况中，GO语言中Sockets API 可以提供一种解决方案。就是通过：

func (c *TCPConn) SetNoDelay(noDelay bool) error

这个函数在Go中默认情况下，是设置为true，也就是未开启延迟选项。我们需要将其设置为false选项，来达到每个数据包传输尽量多的数据，减少系统调用的目的。

2.1 代码修改和性能测试

发现了性能瓶颈以后，修改proxy/server/server.go文件中的newClientConn函数和backend/backend_conn.go中的ReConnect函数，分别设置client与kingshard之间的连接和kingshard到MySQL之间的连接为最小化传输延时。具体的代码修改可以查看这个commit。

修改后我们利用sysbench重新测试，测试命令和上述测试一致。得到的结果如下所示：

OLTP test statistics:    queries performed:        read:160174        write: 0        other: 0        total: 160174    transactions:160174 (21291.68 per sec.)    deadlocks: 0      (0.00 per sec.)    read/write requests:     160174 (21291.68 per sec.)    other operations:        0      (0.00 per sec.)Test execution summary:    total time:7.5228s    total number of events:  160174    total time taken by event execution: 119.9655    per-request statistics:         min:      0.26ms         avg:      0.75ms         max:     10.78ms         approx.  95 percentile:   1.13msThreads fairness:    events (avg/stddev):           10010.8750/38.65    execution time (avg/stddev):   7.4978/0.00

测试三次得到的QPS为：21291.68,21670.85,21463.44。 相当于直连MySQL性能的77%左右，通过这个优化性能提升了18%左右。

总结

通过这篇文章，介绍了通过Go语言提供的pprof对kingshard进行性能分析的详细步骤。对于其他Go语言项目也可以通过类似步骤生成性能报告文档。性能优化的关键是发现性能瓶颈，再去找优化方案。有时候简单的优化，就可以达到预想不到的效果，希望本文能给Go开发者在性能优化方面提供一个思路。最后打个广告：kingshard作为一个支持sharding的开源MySQL中间件项目，目前已经比较稳定了，且经过性能优化后，转发SQL的性能提升了不少。后续我还会在锁和内存方面对kingshard进行优化，敬请期待。

github: https://github.com/flike/kingshard