[发明专利]基于分布式数据流基金资产实时估值的方法、系统及应用

摘要

本发明提出一种分布式数据流基金资产实时估值的方法、系统及应用在横向扩展基础计算资源的基础上，能够稳定快速进行大量基金资产数据导入并处理是实时计算，可以满足10000支产品3秒内完成基金所有资产的估值核算，同时输出资产净值、单位净值、实收资本等关键指标数据。解决了基金管理人无法实时获取基金资产净值波动的问题，使用户能够在市场行情波动以及基金经理投资后立马获取基金实时的资产净值。使用本发明方法和系统投资人员能够在日间及时准确感知基金投资结果，基金经理在投资后能立即感知基金净值的变化，能获取反馈基金净值。本发明方法和系统。

主权项

1.一种基于分布式数据流基金资产实时估值的方法，其特征在于包括：步骤1、产品基础数据同步；根据产品类别、产品资金账户、产品证券账户，使用多线程按照数据来源分类抽取基金估值所需最近日期的估值表、交易数据、汇率数据、基金申购赎回数据；步骤2、数据分布化；获取到步骤1相应数据后，根据产品账户进行分类，将相同产品的相同类型数据分别归类，并按照产品代码、表名、日期等作为主键，数据内容作为键值存储至内存数据库Redis中进行数据分布化；步骤3、实时交易数据同步；根据产品类别、产品资金账户、产品证券账户，使用多线程按照数据来源分类抽取基金估值所需实时交易数据，剔除上次已抽取数据，同时记录本次数据抽取位置；执行完本步骤后进行步骤2；步骤4、持仓计算任务生成；根据产品列表，生成唯一任务ID，任务生成时间以及待估值产品代码，拼接后形成任务信息表；通过消息分发服务高吞吐量的分布式发布订阅消息系统中不同的TOPIC，向服务端分别发布持仓计算任务和基金净值计算任务；步骤5、计算任务分布化；本步骤在服务端完成，由storm进行自动分布式计算，根据步骤3中的任务信息表，将任务拆分为“任务号+时间+产品代码”的格式，并将各任务分发至storm中的计算核心进行计算，同时由storm进行自动负载均衡；步骤6、持仓分布式计算；每个计算核心以产品为维度进行计算；在收到持仓计算任务时，每个计算核心从Redis中根据主键获取待计算产品的基础持仓，根据步骤1和步骤2所生成至Redis；然后计算核心从Redis中获取基金交易数据，根据步骤3和步骤2所生成至Redis，在计算核心内存重新计算基金的持仓数据，并将最新持仓更新至Redis中；步骤7、基金净值行情分布式计算；每个计算核心以产品为维度进行计算；在收到行情更新任务时，每个计算核心从Redis中根据主键获取待计算产品的最新持仓表，根据步骤6更新；然后计算核心根据持仓表逐个获取持仓证券的行情，从Redis中行情源获取，并计算各持仓证券的市值；计算核心加总所有资产净值后利用公式“单位净值=round(资产净值/基金份额,4)”，得出最终的基金净值行情；最后通过Kafka将结果发布到指定TOPIC中，并通过kafka负载均衡分散至不同的TOPIC分区中；步骤8、 接收计算结果；客户端根据基金净值结果TOPIC的分区数量建立对应的线程；当基金净值行情结果中存在未消费数据，对应线程将接受数据，按照当前任务ID过滤，满足条件存入内存中；当接受到所有产品估值结果后，将内存中结果转存，并存储至数据库中；完成单次估值后等待定时器触发步骤3或者步骤4。