https://baijiahao.baidu.com/s?id=1671028964544884749&wfr=spider&for=pc
图神经网络 GNN 把深度学习应用到图结构 (Graph) 中，其中的图卷积网络 GCN 可以在 Graph 上进行卷积操作。但是 GCN 存在一些缺陷：
- 依赖拉普拉斯矩阵，不能直接用于有向图；
- 模型训练依赖于整个图结构，不能用于动态图（只能处理 transductive 任务，不能处理 inductive 任务。transductive 指训练和测试的时候基于相同的图结构，例如在一个社交网络上，知道一部分人的类别，预测另一部分人的类别。inductive 指训练和测试使用不同的图结构，例如在一个社交网络上训练，在另一个社交网络上预测。）
- 卷积的时候没办法为邻居节点分配不同的权重。
因此 2018 年图注意力网络 GAT (Graph Attention Network) 被提出，解决 GCN 存在的问题。
对节点特征向量 h 进行线性变换，可以得到新的特征向量 h’i，维度是 F’，如下所示，W 为线性变换（从旧特征到新特征）的矩阵：
节点 j 是节点 i 的邻居，则可以使用 Attention 机制计算节点 j 对于节点 i 的重要性，即 Attention Score：
Attention 做法如下，把节点 i、j 的特征向量 h’i、h’j 拼接在一起，然后和一个 2F’ 维的向量 a 计算内积。激活函数采用 LeakyReLU
