聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

2022年毕业生成果展示系列 之二 分布式系统研究室

2022-07-11 13:28 浏览: 798717 次 我要评论(0 条) 字号:

2022毕业季

时光飞逝,光阴流转。实验室迎来了2022届毕业生,他们在实验室学习、交流与分享,在这个温暖的大家庭茁壮成长。

正如他们在致谢感言中提到的:

在科研探索过程中,我学习了科研方法,了解了如何抓住关键问题开展科研工作,如何分析解决问题,如何完成学术论文的撰写。科研工作中工程实现方面的挑战也培养了我的动手能力,让我能熟练地去学习探索未知的知识。

除了专业技能上的增长,在实验室我还结识了许多良师益友,他们在我的学习和科研工作中给予了极大的帮助。在我的科研工作陷入困境时,他们总能提出建设性的意见指导我渡过难关;在生活中,他们也给予了我许多关心与鼓励,让我感受到家人般的温暖。

今天的毕业生成果展示系列向大家介绍“分布式系统研究室”的10位硕士毕业生。


陈鹏飞

论文标题:容器环境下I/O资源竞争的分析与优化

论文发表在International Conference on Virtual Execution Environments(VEE 2022)。

研究方向:容器虚拟化、文件系统

导      师:吴松

指导老师:吴松

毕业去向:华为技术有限公司武汉研究所

论文摘要:

容器感知的I/O栈(Container-aware I/O Stack,CAST)可以解决资源竞争问题。CAST由三个部分组成。首先是层感知的虚拟文件系统(Layer-aware VFS,LaVFS),LaVFS通过层感知的路径切换,减少了文件打开过程中不必要的目录项构建次数,缓解了容器对目录项缓存的竞争;LaVFS还实现了层感知的无锁重命名策略,减少了重命名过程中加锁等待时延。其次是容器感知的本地文件系统(Container-aware Ext4,Caxt),Caxt通过将系统日志服务替换为多个微日志服务,并基于容器进行灵活的微日志管理,缓解了容器对日志服务的竞争;Caxt还基于容器来执行数据块的分配,通过将不同容器的数据块分配到不同的块组中,避免了容器对块组资源的竞争。最后是容器识别器,其将为LaVFS和Caxt提供容器感知能力,包括容器层级信息获取和操作来源识别。

实验结果表明,相较于内核原有的I/O栈,CAST在引入较小资源开销的前提下,减少了69%到99%的I/O栈中共享资源获取时延,实现了149%到211%的系统调用级别的文件操作速率提升,以及38%到98%的应用程序级别的I/O传输速率提升。


●   谷雨鸿 

论文标题:基于实体匹配的服务发现研究

论文被ACM Conference on Management of Data(SIGMOD 2022)录用。

研究方向:分布式计算、自然语言理解

导      师:吕新桥

指导老师:姚德中

毕业去向:北京志凌海纳科技有限公司

论文摘要:

通过将服务建模为一种特殊的实体,提出了一种新型基于实体匹配的服务发现算法,该算法设计了一种基于预训练自注意力机制的模型,来解决服务需求与服务描述匹配过程中的歧义与异构问题。自注意力机制能够提取出描述中具有分辨性的关键信息,去除歧义影响,使得服务匹配更加准确,并且具有很强通用性。基于此方案实现了一个通用实体匹配算法HierGAT,该算法在多个领域的公开数据集上的匹配精度F1比传统方案有显著提升。通过对此通用实体匹配算法优化,设计实现了服务匹配算法APIMatcher,该算法利用多层注意力计算策略,分别提取出服务需求与服务描述中的关键部分,并利用注意力机制进行匹配计算,提高了实际部署的可用性。在不同的服务匹配过程中,APIMatcher算法将动态提取服务描述的关键部分以适应不同服务需求,更利于多服务发现,解决应用需求复杂的挑战。

在通用匹配评测基准上的实验结果表明,所提出的算法相较于主流实体与服务匹配算法F1性能最高提升8.7%与8.4%,获得了当前最领先的性能。基于APIMatcher算法实现的服务自动发现框架,在世界最大的服务仓库ProgrammableWeb上为现实复杂应用需求提供了服务发现机制。


王  昊

论文标题:基于增量学习的工业物联网模式识别方法研究

论文被Journal of Circuits, Systems, and Computers录用。

研究方向:增量学习、模式识别

导      师:余辰

指导老师:余辰

毕业去向:北京达佳互联信息技术有限公司

论文摘要:

针对工业环境特征不均匀的数据流输入,提出了基于记忆回放的工业增量(Industrial Memory Recall,IMR)模式识别方法,以实现工业物联网场景下模式识别模型的增量训练。基于工业事件的工况数据划分方法被提出,可以将工业传感器数据流划分为增量数据集多次训练,从而以有限的硬件条件应对无限增长的工业数据规模。提出利用工业设备资源筛选与存储旧样本,模型可以在增量训练过程中回放旧的数据特征,学习新输入数据的特征分布,以适应工业数据流的特征分布变化。在增量训练过程中引入样本选择策略,进一步提升了模式识别模型的增量训练效率,以保证在储存条件受限的工业场景下的模型性能。

基于穿戴式传感器的工人活动数据与工业场景下传感器的特征变化规律,实验对比了IMR模型与非增量模型的性能。由实验结果可得,IMR系列模型在多种特征不均匀的数据划分情况下,较非增量模型准确率平均提升7.4%。对于工业场景存储和内存受限的情况,IMR系列模型低成本实现了增量训练,较非增量模型准确率平均提升7.36%。实验结果说明,增量方法有效避免了工业物联网场景下模型的失效与遗忘问题,为未来研究提供了一个可扩展的思路。

●   赵雨晴 

论文标题:面向容器环境的弹性CPU资源管理优化方法研究

论文发表在IEEE Transactions on Computers。

研究方向:容器、调度

导      师:王多强

指导老师:吴松

毕业去向:阿里巴巴(中国)有限公司

论文摘要:

开展了面向容器环境的弹性CPU资源管理机制研究,提出了优化方法。首先,根据大量实验分析与验证,提出基于容器CPU资源弹性的应用程序并行度设置策略。该策略为应用程序设置合适的并行度并优化线程阻塞同步机制,使应用程序可以适应容器CPU资源的弹性变化,从而提高应用性能。其次,提出面向NUMA架构的容器CPU资源弹性调度策略。该策略基于NUMA拓扑结构为容器分配合适的CPU资源,并依据负载变化实时地调整资源分配,从而有效降低NUMA架构下的远程内存访问比例以提升容器性能。最后,集成上述两种优化方法,设计实现一种面向容器环境的弹性CPU资源管理系统,从而有效提升容器运行性能。

实验结果表明, 基于容器CPU资源弹性的应用程序并行度设置策略可以分别在系统低负载和高负载情况下最高缩短52%和18%的应用执行时间;相对于流行的NUMA感知调度策略,面向NUMA架构的容器CPU资源弹性调度策略可以分别在单个容器层面和具有相关性的容器组层面最高缩短28%和27%的应用执行时间;集成以上两种优化,面向容器环境的弹性CPU资源管理系统相对于流行的调度策略可以分别在系统低负载和高负载情况下最高缩短47%和30%的应用执行时间。



钟帅豪

论文标题:基于领域知识的HPC容器镜像自动构建方法研究

论文发表在Wireless Communication and Mobile Computing。

研究方向:容器、知识图谱

导      师:张宇

指导老师:王多强

毕业去向:国网河南省电力郑州供电公司

论文摘要:

提出了一种结合知识图谱和推荐系统实现HPC容器镜像自动构建的方法,基于该方法设计并实现了一个镜像定义文件自动生成原型系统Burner。主要工作包括,提出了基于抽象语法树的两阶段解析方法,能够从镜像定义文件抽取基础镜像和软件包实体及软件包依赖关系等容器镜像构建所需的关键知识,并利用抽取到的细粒度知识建立了容器领域知识库;提出了基于TF-IDF(Term Frequency Inverse Document Frequency)改进的推荐方法TB-TFIDF,利用HPC应用相关的典型标签实现基础镜像和软件包等实体的定制化推荐;最后依据构建的知识库中软件包之间的依赖关系等信息进行软件包安装顺序推断,实现了镜像定义文件的自动生成。

测试结果表明,提出的两阶段解析方法比Hadolint工具中的一阶段解析方法的解析成功率提高10.1%,TB-TFIDF推荐方法与现有最优的协同过滤推荐方法相比实现了最高50.86%的性能提升。在容器镜像构建测试中, Burner系统的镜像构建成功率最高达80%,较Github中现有的统计结果有较大提升。


●   陈  健 

论文标题:基于 V2V 网络的移动边缘计算动态部署机制

研究方向:移动边缘计算

导      师:刘方明

指导老师:刘方明

毕业去向:华为技术有限公司武汉研究所

论文摘要:

随着计算和通信技术的发展,越来越多的智能车辆正在出现。基于车对车(Vehicle to Vehicle,V2V)网络的移动边缘计算(Mobile Edge Computing,MEC)技术可以为在车辆之间共享电力和资源提供一个可行的环境,并分担计算密集型边缘计算卸载任务。然而由于道路交通条件和车辆机动性的不可预测变化,在基于V2V网络的不稳定MEC环境中部署边缘计算卸载任务成为一个挑战。这种计算卸载任务受车辆用户移动性的影响而容易被中断,会导致计算卸载任务频繁地在车辆间切换,严重降低边缘计算的服务质量。

主要研究了基于V2V网络的不稳定MEC环境中的卸载问题。首先将其建模为一个分布式在线服务优化问题,并证明该问题的NP-hard属性。为了最大限度地减少服务失效时间(即服务不匹配时间、服务切换时间和服务妥协时间)并提高边缘计算的服务效率和质量,提出了一种分布式的感知不稳定性的在线卸载(Online Instability-aware Computation Offloading,OICO)启发式算法。同时为了最小化服务不匹配率,设计了一种高效的服务路径匹配(Service Path Matching,SPM)算法来辅助OICO算法,将具有最长公共路径且需要卸载计算服务的用户与提供边缘计算服务的服务器进行匹配。

通过实际的滴滴GAIA开放轨迹数据集来评估OICO,实验结果表明,所提出的OICO方法相比于领域内传统方案可以将服务匹配率提高约25%,并将用户的功耗降低约54%。

程超逸

论文标题:服务器无感知计算环境下热数据感知的缓存策略研究

研究方向:云计算、服务器无感知计算

导      师:吴松

指导老师:吴松

毕业去向:北京字节跳动科技有限公司

论文摘要:

传统缓存策略的缺陷在于:第一,有状态应用中大量存在的冷数据会在被读取时直接缓存,导致较长读取间隔的次热数据被驱逐,降低了缓存命中率;第二,热数据会被并发云函数共享,它们被频繁读取后快速变冷,传统缓存策略无法立即驱逐它们,降低了内存利用率;第三,热数据之间具有相关性,它们会被周期性地读取,传统缓存策略无法有效预取这些数据。基于上述观察,提出了热数据感知的缓存替换策略MListCache,其设计原则是绕过被读取一次的冷数据,尽快地缓存热数据,同时减少对次热数据的驱逐。首先,MListCache通过记录不同数据的读取时间,绕过只被读取一次的冷数据,并在热数据第一次出现时直接缓存它们;其次,为了高效驱逐缓存中快速变冷的数据,MListCache基于数据读取间隔的变化预测缓存中数据继续被读取的概率,优先驱逐读取概率较低的数据,以减少驱逐较长读取间隔的次热数据;最后,MListCache建立数据之间的相关性,在某个数据的读取请求到来时,预取与它相关的数据。

相比传统缓存策略,MListCache对命中率的提高可达174%,对远程读取延迟的降低可达80%,并且将95%分位的长尾延迟减少了60%。与原生的MinIO对象存储服务相比,MListCache使远程数据读取延迟降低了90%,同时仅引入13%的额外成本开销。与Redis相比,MListCache 达到其90%的吞吐量,并且节省71%的成本。


●   雷  宇 

论文标题:面向容器网络的资源管理系统研究

研究方向:容器网络、网络功能虚拟化

导      师:羌卫中

指导老师:顾琳

毕业去向:华为技术有限公司杭州研究所

论文摘要:

针对容器Overlay网络模型和内核流量控制的特性,提出了一套面向多用户多容器环境的网络资源管理系统,为用户提供了包括容器带宽精确控制、多层次网络资源管理和个性化网络服务配置等功能的容器网络资源管理服务。该网络资源管理系统,首先重构了宿主机流量控制模块的网络数据包识别方式,实现了对容器Overlay网络数据包的精确识别。然后,进一步提出了多层次树状结构的管理架构,针对云环境中用户和容器的多样化带宽需求,为用户提供公平的网络带宽分配。最后,为主流容器平台提供了命令行和配置文件两种形式的网络资源管理接口,实现了对容器网络带宽的个性化配置。

测试结果表明,该基于容器Overlay网络的资源管理系统能够为不同数据大小的不同类型数据流在容器级别和网络级别两种层面上提供精确的带宽控制,并进一步保障多个容器网络流在网络带宽上的公平性。同时,使用通用微服务性能测试基准,从容器级别和网络级别进行流量控制实验,表明了系统相比于现有主流容器平台,将单应用环境和多应用环境的99%尾时延最高降低37.53%和22.33%。


 王玉珏

论文标题:工业物联网中的多模态数据融合方法研究

研究方向:多模态数据融合、工业物联网

导      师:余辰

指导老师:余辰

毕业去向:中国建设银行股份有限公司湖北省分行

论文摘要:

在人工装配线中,工人的错误操作影响自身安全和产线效率,因此,提出了应用于工人活动监测的多模态数据融合模型,该模型是基于视觉和肢体动作的特征级融合模型,即FFVM(Feature-level Fusion based on Vision and Motion)模型。为了获取装配流程中指定步骤的详细信息,对工业场景下的装配流程进行细粒度划分,构建装配线生产活动监测的多模态数据集。通过处理工人的多模态数据,得到不同模态特征的识别要素,并提出能够有效融合多模态特征的多重融合策略,以适应工业物联网中不断增加的传感器数据种类,最后训练分类器以优化FFVM模型,使其能够有效识别工人装配流程中的细粒度操作。

基于工业场景下的工人操作识别测试,FFVM模型提高了工业物联网中工人装配操作识别的精度和粒度,在工人生产活动的多模态数据集中达到了98.39%的识别精度。分析工业场景下不同数据源的识别方法,结果显示多数据源的识别方法比单一数据源方法的识别准确度提高了7.8%左右,并在每个装配操作中保持了96%以上的识别率。考虑工业场景下传感器数据量的变化,模型时间成本的增长速率比其他模型低了24.4%左右。结果表明工业物联网中的多模态数据融合方法有利于提高基于活动识别的工人监测系统的准确性,能够为工业生产过程提供更加精准的智能化和自动化管理。


●   张伟颖 

论文标题:基于元强化学习的容器化网络功能服务部署优化研究

研究方向:容器、网络功能虚拟化、元强化学习

导      师:郑龙

指导老师:顾琳

毕业去向:亚马逊(中国)投资有限公司

论文摘要:

受元强化学习在其他领域现有研究的启发,提出并改进了基于元优势演员-评论家(Meta-Advantage Actor-Critic,Meta-Critic)的CNF服务实例动态部署算法,通过研究动态网络环境下多种CNF服务实例的部署策略,优化CNF服务平台性能。首先,考虑CNF服务平台长期运行的场景,结合用户对服务请求的动态变化和对服务种类的多样需求,将CNF服务动态部署优化问题抽象化为一个混合整数优化问题,并证明了该问题的NP难特性。其次,由于NP难问题难以在多项式时间内求解,故将上述问题转化为马尔可夫决策过程,建立模型并设计实现了基于Meta-Critic部署优化问题的算法。最后,为进一步提升算法性能,提出基于数学模型辅助的Meta-Critic(Model-Assisted Meta-Critic,mMeta-Critic)算法,利用Instant数学模型辅助Meta-Critic前期训练,实现CNF服务实例部署方案的快速决策,进一步提升平台整体性能。

通过不同规模场景下的实验验证了mMeta-Critic算法在CNF服务动态部署问题上的有效性和稳定性。实验结果表明,与Meta-Critic算法和传统的强化学习算法A2C相比,mMeta-Critic算法能够实现新任务场景下训练的快速收敛,收敛速度最高提升了89.80%,5000回合下的奖励值最高提升了83.42%。同时,与传统的启发式算法Greedy算法和Instant算法相比,mMeta-Critic算法能够实现更低的回合累积运营成本,优化服务性能。


鹰击天风壮,鹏飞海浪春。

实验室希望同学们用才智、胆略和毅力,开辟出一块属于你们自己的沃土,生长出美丽芬芳的梦想之花和饱满成熟的累累硕果!



网友评论已有0条评论, 我也要评论

发表评论

*

* (保密)

Ctrl+Enter 快捷回复