大数据量统计运算提速方式探讨

 时间:2026-02-17 09:58:48

1、抛开升级硬件,更换开发工具、数据库软件等手段,我们可以通过空间换时间的方式来达到提速的目的。将运算从集中运算分摊到系统的空闲时间来完成,并将中间结果(或最终结果)存储,用于用户统计时使用。对比如下图:

大数据量统计运算提速方式探讨

2、具体实施时我们常用的有两种方式:

方式1:

       实时计算中间结果并存储,统计时用中间结果快速生成统计结果。

方式2:

       计算最终统计结果并存储,使用时直接显示结果。这种方式根据使用情况不同又可分为两种:

       实时运算:如当前系统的年总用水量,每次系统中有新数据则累加到总量上即可,系统结果实时更新。

       定时运算:如每月20日为结算日,这时可以在20日2点执行结算统计,并将结果存储起来供调用。

3、方式1:

       实时计算中间结果并存储,统计时用中间结果快速生成统计结果。

       优点:中间结果可以作为多种统计运算的源数据。

       缺点:系统复杂度增加;存储的数据量变大。

       关键点:

       1.中间结果的量应远小于原始数据,否则达不到加速的目的。

       2.中间结果应根据项目情况来选取,没有哪种中间结果是适用所有统计的。

       3. 需处理好原始数据与中间结果的一致性问题。

4、方式2:

       计算最终统计结果并存储,使用时直接显示结果。这种方式根据使用情况不同又可分为两种:

       实时运算:如当前系统的年总用水量,每次系统中有新数据则累加到总量上即可,系统结果实时更新。

       定时运算:如每月20日为结算日,这时可以在20日2点执行结算统计,并将结果存储起来供调用。

       优点:仅存储最终结果,系统数据量小;使用时直接显示结果,显示速度快。

       缺点:运算模块通用性差,基本上属于定制。

       关键点:

       1.此种方式适用于不需要外部输入条件的统计。

       2.根据用户使用需求,正确选择是实时运算还是定时运算。

5、       以上只是对于大数据量的统计运算的一种处理思路,仅供参考。

  • excel如何随机生成两个区间内的整数
  • 如何在sublime上运行python
  • 如何用Excel制作动态图表
  • 如何在Excel指定区域内生成随机数字
  • LinkLab原创:需要了解更多的巢式病例-对照研究
  • 热门搜索
    皮肌炎是什么病 94年属什么生肖 moq是什么意思 喜出望外的望是什么意思 乌龙球是什么意思 什么是质量 什么叫质数 dps是什么意思 南京有什么大学 留什么给你