引言
之前参加中间件比赛,以及一些日常开发的经验,在这里总结了一些提升程序性能(qps/tps)的技巧,持续更新。一些只适用与比赛而不适合实际工程的技巧我会用斜体(only race)标注
1、减小锁的粒度
案例:
- ConcurrentHashMap采用分段锁提升了并发时map的性能
- SkipList(跳表):跳表相比红黑树的优势就是,红黑树的一次插入删除操作经常会导致全局的调整,导致整棵树被锁,而跳表的插入和删除只涉及局部操作,所以可以减小锁的粒度,得到更好的性能。所以JDK中选择跳表实现有序的并发map,对应的类是ConcurrentSkipListMap和ConcurrentSkipListSet。Redis中的有序列表(zset)结构也是用跳表实现的
2、减小调度的粒度
传统的基于线程的调度模型调度粒度过大,往往导致频繁的上下文切换影响程序性能
案例:
- 协程(Coroutine):在单线程中利用子程序的中断与返回模拟出类似多线程的效果,有点是省去了很多同步操作以及线程上下文切换的开销。kotlin,lua,python和Go语言都原生支持协程,Java也可以通过一些开源库模拟出来,比如Quasar
- Actor模型:Scala的并发包中提供了一种比线程粒度更细的Actor模型,使用ForkJoinPool来调度线程资源,使用消息传递来代替共享变量的同步操作,降低了编程难度的同时提升了性能
3、避免伪共享
CPU的缓存都是以缓存行(通常为64B)为单位的,即使互相之间不需要同步的变量,只要位于同一个缓存行中,一个变量的改变也会导致整个CPU缓存的失效。
案例:
- Disruptor的RingBuffer的对应策略:给RingBuffer中每个对象的前后增加padding(即8个long类型),这样就能保证这个对象是独立的位于CPU缓存行中了,同时为了避免JVM在动态编译的过程中优化掉这些padding变量,Disruptor会在序号管理器中返回对padding变量进行加减操作
- Java新出现的注解@sun.misc.Contended(需要配合虚拟机参数-XX:-RestrictContended使用)可以更加优雅地解决伪共享问题
4、尽可能地重用对象,减少GC
案例:
- netty中可以使用Recycler来实现对象池
- Disruptor中的RingBuffer就是由可重用的对象组成,GC友好
- 利用apache common pool重用对象
5、数据多版本(使用快照)
案例:
- mysql使用MVCC控制并发,每个事务在undo日志有一个自己的数据快照,这样select语句就全部变成不需要加锁的快照读
- JDK中也有类似思想的实现,即CopyOnWriteArrayList,在写入时会进行一次自我复制,这样就能够实现无等待的读操作,适用于读多写少的场景
6、将竞争分散
案例:
- CLH锁算法:基于local-spin的思想,将标志位的竞争分散到了队列中每个节点的前继上,这样每个CPU都可以基于自己的缓存自旋
- Java8新引入的LongAdder:将一个long拆分成多个部分,每个线程还需要在属于自己的一部分上进行加法即可,减少了竞争
7、尽量不要使用库 (only race)
这一条只适用于竞赛的情况,在竞赛中的往往线上资源的CPU不是很充足,而库中往往包含大量的判断校验等逻辑,比较浪费CPU,所以我们应该尽量将库中的核心代码手工抽取出来进行调用。
注:这里的库包括JDK
8、Less is More
很多东西并不是越多越好,特别是那些会占用资源的东西。
案例(比赛中实测的一些结果):
- 单线程读写同一个硬盘往往比多线程快
- 使用单条tcp连接往往比多条tcp连接快
- 单个消费线程往往比多个消费线程快
9、不变模式
当一个对象不会再发生状态改变时,线程对这个对象的访问自然就不需要任何同步。
所以有一个技巧,当有多个线程尝试着访问同一个对象时,可以思考能否将这个对象拆成多份,并且其中有一些是只读的,这样只读的部分就可以应用不变模式,线程访问不需要任何同步操作。
案例:
- LevelDB中当MemTable达到一定大小后不会直接将其落盘,而是而是先将其转换成不变的ImmutableMemTable,之后另一个线程将ImmutableMemTable落盘,写线程则在新建立的MemTable中写数据。这种将内存数据拆成MemTable和ImmutableMemTable的做法巧妙的避开了生成者与消费者之间的同步操作,方便了实现也提高了性能
10、线程亲和性
线程亲和性技术能够让开发人员将某个重要的线程直接绑定到某个CPU上面,保证这个重要的线程始终拥有CPU资源,不会因为时间片耗尽而被换出去。Java中有封装好的线程亲和性实现:https://github.com/OpenHFT/Java-Thread-Affinity