选择语言
< 返回主菜单
08.jpg

大容量高性能新型大数据存储系统-

高鸣宇

课题介绍

我们通过对不同存储技术在容量、性能、成本等方面的折中,采用异构系统架构实现大容量与高性能这两个在传统架构中相矛盾的设计目标。我们研究的课题包括硬件层面的系统架构设计及软件层面的算法结构优化两个方向。

在硬件方面,传统异构内存系统中元数据的存储空间和访问延时随着系统容量和复杂度提升而明显增大。为克服此问题,我们设计提出了一种多级重映射表的结构,显著节省不必要的元数据开销,并将之作为数据缓存空间提升性能。同时通过在处理器末级数据缓存中嵌入重映射缓存,将元数据访问与数据缓存访问重叠以隐藏其延时影响,并降低额外硬件成本。此两项技术可在现有设计上达到平均12.6%、最高36.5%的性能提升。

MTY4ODg1MTkyMzczNTI5Ng_315062_vXj60hCsztBNevwU_1635317410.png

MTY4ODg1MTkyMzczNTI5Ng_435665_-xPfZgdDFA0zadYa_1635317415.png

    图为多级重映射表和嵌入重映射缓存

同时,为提高异构内存系统中高速存储部分的空间利用率,使更多数据放置于其中便于快速访问,我们进一步提出,在高速存储部分通过数据压缩解决不必要数据冗余,通过子块划分解决低局部性无用数据占用。本设计采用多粒度元数据格式,并创新性地利用暂存区高效压缩和重整数据以达到稳定数据布局。本设计相比2020年发表的最优设计,可提升性能最高达17%,能耗降低11%。

MTY4ODg1MTkyMzczNTI5Ng_865239_Pks7J1c029f7d-VZ_1635317423.png           

图为异构内存中数据压缩和子块划分元数据格式

在软件方面,针对现有实际商用持久内存上的数据库和键值存储等应用,我们提出了一种高效的索引结构,可扩展基数树(ERT)。ERT集成了一个针对持久内存优化的可扩展哈希表作为基数树的节点结构,以同时实现极低的树深度和树节点内的快速搜索,提供高性能。使用可扩展哈希还允许ERT增量管理和调整其节点,避免过多写入开销。ERT的内部结构自然匹配持久内存的读/写粒度,并进一步支持范围查询。与当前最优的树索引设计相比,ERT可达到1.76倍的搜索加速和1.82倍的插入加速。

1630304276544319.png         

图为可扩展基数树(ERT)结构