VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

来源:互联网 阅读:- 发布:2023-04-11 10:45:08

      VaR值是银行风险控制中最基础的风险度量指标之一,可以用来度量在一定时间区间内,某个投资组合或资产价值可能出现的最大亏损,帮助投资者了解自己的风险承受能力,制定风险控制策略,降低投资风险。

      提升VaR值计算的性能对银行机构有重要的意义,不仅能够帮助机构提高风险控制能力,同时还可以实现对资本分配和决策的优化。

      某头部银行机构的原有系统,处理IRS VaR 业务的每日平均时长高达40分钟,随着数据量的不断增加和业务优化,该银行急需对原有系统进行改造升级。经过多轮对比测试,他们最终选择了DB-Engines 时序数据库榜单上国内排名第一的DolphinDB,实现对系统和业务的全面升级。


      IRS VaR 业务性能提升千倍

      在计算VaR值的过程中,需要用到大量的历史数据,这些数据往往可能分散在不同的系统或数据库中;同时,VaR计算需要对多维度、大规模的数据进行数值计算,因此对多数据源的采集处理能力和复杂计算能力是提升VaR值计算性能的关键。

      通过DolphinDB语法对IRS VaR任务进行改造,该任务通过上游交易系统日终文件交换获取当日IRS交易明细、中债估值 、曲线等相关业务数据,生成金融市场数据集市内部模型数据,并根据下游Risk Matrix所需要的VaR报表计算逻辑生成供数文件。根据当前生产运行情况统计,该计算任务的每日平均处理时长由原来的40分钟降至3.5秒,提升近千倍。


      逐笔数据处理延时由300-500毫秒降至10毫秒以下

      除了对 IRS VaR 业务的改造升级,DolphinDB还帮助用户大幅降低了逐笔数据处理的延时。该银行业务需要根据外汇交易中心数据接口技术规范,通过 API 形式获取 CMDS 利率互换实时逐笔行情及成交数据并落库。根据当前生产运行情况监测,该接口逐笔数据处理延迟约300-500毫秒。

      经过 DolphinDB 改造升级后,在 TPS 1000笔的实时流数据吞吐量压力下,整体延时少于10 毫秒,CPU使用率低于20%,内存使用率低于60%,实时流处理队列没有堆积。


      用 DolphinDB 实现底层替换

      在对上述两项业务改造升级的过程中,DolphinDB在存储、查询方面展现出的领先性能和强大的计算和流数据实时分析能力,让该头部外资银行看到了更多的可能性。为了实现更多业务面的提升和降本增效,该银行决定选择 DolphinDB 从底层对原有的Oracle进行替换。

      1.对原有系统的生态兼容

      无论是常用数据类型、语法、函数,或是客户端等,DolphinDB 对 Oracle 的生态系统都具备非常好的支持。其中,对常用数据类型和语法的覆盖率均达到98%以上,常用函数兼容性高达96%以上。相较于Oracle,DolphinDB 的语法不存在明显差异,常用语法不需要进行改造即可使用。

      此外,DolphinDB 支持多种语言的 API 和多种应用插件,对各种报表软件与其他类型数据库都具有良好支持。

      2. 保证现存数据的顺利迁移和迭代

      Oracle 现存数亿级别关键市场数据,针对这些现有数据的平迁与新业务数据迭代,该银行在第三方服务商 Tracade 团队的帮助下,完成了全量数据迁移。通过业务测试数据的对比,数据结构兼容性为100%,数据一致性为100%。

      在这个过程中,依托 DolphinDB 灵活的数据分区控制、高覆盖的数据类型和语法兼容性,数据查询速度得到了提升,性能优化了5倍左右。

      3. 对现有 SmartBI、Birt 报表平台的兼容

      DolphinDB 完美兼容了 SmartBI、Birt 报表平台,实现了2000多张报表的平迁,并通过 API 支持了银行业务系统的调用。

      以 SmartBI 报表平台为例,该平台原本通过 Oralce 数据库生成银行业务所需报表,而替换成 DolphinDB 后,仅通过切换数据源,即可保障相关系统业务报表的正常使用,实现报表的批量平迁。


      总结

      本案例中,该银行面临日益增长的数据量和不断升级的数据安全要求,并且需要支撑低延时的报表分析业务,因而传统老牌数据库 Oracle 已逐渐难以满足需求。在 Tracade 的帮助下,该银行用国产自研产品 DolphinDB 替换了 Oracle。

      作为一个基于数据库管理系统,支持数据分析、流数据处理的低延时平台,DolphinDB 不仅帮助用户快速实现了全量数据的平迁和迭代,还显著提升了原有业务的效率:

      ·IRS VaR 业务的每日平均处理时长由40分钟降至3.5秒,提升近千倍。

      ·CMDS 实时数据接口延时由300-500毫秒降至10毫秒以下

      ·整体报表查询速度提升近5倍

      可以说,该银行从 Oracle 到 DolphinDB 的实践,不仅是一次成功的国产替换,更是从存储、查询到实时流数据处理性能的全方位升级。

推荐阅读:叶紫网