Graph Mamba进阶与应用
虽然Transformer作为基础模型架构在各深度学习任务中获得大量应用，但其二次的推理复杂度限制了其在大模型等长序列输入场景下的实际部署。作为一种改进，以Mamba为典型样例的选择性状态空间模型（Selective State Space Model, SSM）近期获得了广泛关注。作为一种新型网络结构，其替换了Transformer中的自注意层，能够实现线性的推理复杂度。然而，鉴于其建模能力的有限，纯Mamba网络结构依然难以在各种任务的精度上超过Transformer，如何在保持线性复杂度下提高Mamba的建模能力成为了一大挑战。另一方面，如何将Mamba更好得应用到视觉、图结构、时序等非文本数据上的探索依然不多。本课题面向Mamba结构与图神经网络（Graph Neural Network, GNN）的结合，探索新一代Graph Mamba网络结构，并扩展其在各类模态下游任务中的应用。
本课程将带领同学们深入学习选择性状态空间模型、图神经网络的基础与进阶知识，讲解Graph Mamba相关的现有论文，鼓励学生通过新的思路和方法对Graph Mamba进行改进并应用于特定领域，力求在学术顶会和期刊上发表高质量论文。