不严谨的不同语言下大 Excel 文件写入的性能比较

March 2019 · 1 minute read

背景

去年因为线上系统需要导出大量数据(大概是 11 万行)到 Excel,代码是 Python 2.7 写的,除去数据库查询耗时,整个的 Excel 文件生成也还要耗费几十秒的时间,这听起来真是一个非常夸张的事情。后来为其更换了号称性能表现最好的 pyexcelerate 库,性能确实有提升,但是仍是差强人意的在小几十秒。

昨天突发奇想,如果是换成其他语言,这个 excel 导出是否还需要这么长时间?于是经过一番试验之后,就有了今天的这篇文章。

特别声明:试验只是为了感官上做个简单对比,测试结果采集数据只考虑了耗时,没有考虑资源消耗等情况,需要严谨的性能对比的读者,可以放弃阅读了。

测试内容

使用不同的语言及其版本,测试各自完成包含 100,000 行 x 50 列单元格的 excel 文件的生成,对比其各自耗费时间,3次重复执行取其平均值后进行横向比较。

已经测试的语言及版本

测试代码

https://github.com/Martin91/excel-writors-benchmark

结果

benchmark.png

结论

就这个测试场景来说: 1. Go 1.10.1 + gooxml 0.8 是最快的; 2. 同样是 pyexcelerate 0.7.3,Python 2.7 性能优于 Python 3.6; 3. Ruby 2.6 + axlsx 2.0.1 表现最不给力,这里有个题外话,选择的 axlsx 本身并不是性能最好的 gem,只是流行度够高,Ruby 有一个专门针对性能优化后的 gem,但是因为知之甚少,没有采用。