[发明专利]一种解耦合的弹性数据仓库架构在审
申请号: | 201910362554.9 | 申请日: | 2019-04-30 |
公开(公告)号: | CN110162515A | 公开(公告)日: | 2019-08-23 |
发明(设计)人: | 伍浩文;白童心;须成忠 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/242;G06F16/28 |
代理公司: | 深圳市科进知识产权代理事务所(普通合伙) 44316 | 代理人: | 曹卫良 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及数据仓库领域,具体涉及一种解耦合的弹性数据仓库架构。包括:数据仓库前端,用于使用PostgreSQL作为数据仓库前端的基础,处理进出数据、提供控制和查询用户界面及管理底层存储;数据仓库后端,用于可扩展和弹性的资源管理、单个或并发查询;分离数据仓库中间件,用于使用Dex协调数据仓库前端和数据仓库后端之间的消息传递和数据传输。通过将数据管理和数据计算功能相分离,以实现独立的可扩展性,探索了云的弹性数据仓库体系结构。数据仓库前端接收数据、管理存储并提供高可用性。数据仓库后端用于数据分析的查询。通过分离数据管理和数据计算,本发明可以在单一的数据仓库中获得弹性。 | ||
搜索关键词: | 数据仓库 弹性数据 仓库 数据管理 数据计算 解耦合 查询 架构 分离数据 高可用性 管理存储 可扩展性 前端接收 数据传输 数据分析 体系结构 消息传递 用户界面 资源管理 弹性的 功能相 可扩展 中间件 并发 存储 探索 协调 管理 | ||
【主权项】:
1.一种解耦合的弹性数据仓库架构,其特征在于,包括:数据仓库前端,用于使用PostgreSQL作为数据仓库前端的基础,处理进出数据、提供控制和查询用户界面及管理底层存储;其中在管理底层存储中在名为xschema的PostgreSQL扩展中实现所有分片逻辑;数据仓库后端,用于可扩展和弹性的资源管理、单个或并发查询;其中资源分配分两个阶段进行,第一个阶段是在安装时,总资源最初是从云端分配;第二个阶段是在集群设置之后,用户在会话启动时传递参数;并使用Spark SQL作为底层查询引擎;分离数据仓库中间件,用于使用Dex协调数据仓库前端和数据仓库后端之间的消息传递和数据传输。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910362554.9/,转载请声明来源钻瓜专利网。