上海模板建站公司/图片搜索识图入口

Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks

​#paper/GFM/GNN-BASED#​ #paper/⭐⭐⭐#​

注意：这篇文章是每个图一个GCN模型，而不是所有图一个GCN 模型

算是最早的涉及异配图的prompt了

贡献和动机：

1. 非对称图对比学习（GraphACL）
   提出一种预训练方法，通过非对称对比学习捕获节点间的高阶相似性，避免传统方法对同质图（homophily）的依赖，有效处理异质图。

2. 统一任务模板
   将预训练与下游任务（如节点分类、链接预测）统一为相似性计算模板，减少目标差异导致的负迁移问题。例如，节点分类通过类原型（class prototype）与节点的相似性进行预测。

3. 自适配器与参数重用
   重用预训练阶段的投影器（projector）作为下游任务的适配器（self-adapter），无需额外参数，显著提升调优效率。

4. 自提示机制

   • 结构提示：通过添加两跳邻居等结构信息增强上下文表示。
   • 语义提示：利用节点属性（如替换邻接矩阵为单位矩阵）保留语义信息。
     提示生成基于图自身信息，而非随机初始化，提升稳定性和泛化能力。

方法：

对比学习的三种方法：

​​

作者使用了第三种方法，并认为$g(\cdot )$可以引入语义信息

方法框架：

​​

由于对应上面第三种方法，其对比损失可以为：

$\mathcal{L}=-\frac{1}{|\mathcal{V}|}{\sum }_{v\in \mathcal{V}}\frac{1}{|\mathcal{N}(v)|}{\sum }_{v^{+}\in \mathcal{N}(v)}\log \frac{\exp ({\mathbf{z}}_v{}^{\mathsf{T}}{\mathbf{h}}_{v^{+}}/\tau )}{\exp ({\mathbf{z}}_v{}^{\mathsf{T}}{\mathbf{h}}_{v^{+}}/\tau )+{\sum }_{v^{-}\in {\mathcal{V}}^{-}}\exp ({\mathbf{h}}_v{}^{\mathsf{T}}{\mathbf{h}}_{v^{-}}/\tau )},$

其中，z是映射头g的输出。

节点分类任务

节点分类任务的话，作者采用了原型向量(prototype： C = { t 1 , t 2 , … , t C } \mathcal{C}=\{\mathbf{t}_1,\mathbf{t}_2,\ldots,\mathbf{t}_C\} C={t1​,t2​,…,tC​}。作者通过labeled节点的token均值来初始化原型向量。

${\mathbf{t}}_c=\frac{1}{N_c}{\sum }_{v\in {\mathcal{V}}_L,y_v=c}{\mathbf{t}}_v,\forall c\in 1,2,\dots C,$

Self-prompt结构：

1. 预训练的架构：${\theta }^{\ast },{\varphi }^{\ast }=\arg {\min }_{\theta ,\varphi }{\mathcal{L}}_{pre}(f_{\theta },g_{\varphi },\mathcal{G})$

2. prompt时，GNN backbone应该是冻结的。作者认为$g_{\varphi }$可以包含更多的语义，应该用于下游训练。因此下游任务的优化可以表示为：${\varphi }^{\ast \ast }=\arg {\min }_{{\varphi }^{\ast }}{\mathcal{L}}_{dow}(g_{{\varphi }^{\ast }},{\mathcal{V}}_L,\mathcal{Y})$

3. 自结构语义的构建：作者认为2-hop代表同配性，并包含丰富的语义信息。因此：${\mathbf{t}}_v=f_{\theta }({\mathcal{G}}_2)[v]=f_{\theta }({\mathbf{A}}_2,\mathbf{X})[v]$

4. 子语义提示：

   ${\mathbf{s}}_v=f_{\theta }({\mathcal{G}}_I)[v]=f_{\theta }(\mathbf{I},\mathbf{X})[v].$

   ${\mathbf{h}}_v=f_{\theta }(\mathcal{G})[v]=f_{\theta }(\mathbf{A},\mathbf{X})[v].$​

   ${\mathbf{t}}_v=w_v{\mathbf{s}}_v+(1-w_v){\mathbf{h}}_v,w_v=sim(h_v,s_v),$

5. Prompt tuning：节点分类：${\mathcal{L}}_{dow}=-{\sum }_{v\in {\mathcal{V}}_L}\log \frac{\exp ({{\mathbf{t}}^{\prime }}_v{{\mathbf{t}}^{\prime }}_{y_v}/\tau )}{\exp ({{\mathbf{t}}^{\prime }}_v^{\mathsf{T}}{{\mathbf{t}}^{\prime }}_{y_v}/\tau )+{\sum }_{c=1,c\ne y_v}^C\exp ({{\mathbf{t}}^{\prime }}_v^{\mathsf{T}}{{\mathbf{t}}^{\prime }}_c/\tau )},$其中，${{\mathbf{t}}^{\prime }}_v=q_{\varphi }({\mathbf{t}}_v)$

6. ${\mathcal{L}}_{dow}=-{\sum }_{(v,a,b)\in \mathcal{T}}\log \frac{\exp ({{\mathbf{t}}^{\prime }}_v^{\mathsf{T}}{{\mathbf{t}}^{\prime }}_a/\tau )}{\exp ({{\mathbf{t}}^{\prime }}_v^{\mathsf{T}}{{\mathbf{t}}^{\prime }}_a/\tau )+\exp ({{\mathbf{t}}^{\prime }}_v^{\mathsf{T}}{{\mathbf{t}}^{\prime }}_b/\tau )}$

结果：

​​

​​