- 虚拟核专家
- Virtual-Kernel Experts: 一个VKE用来建模用户喜好的一方面，精准描述用户表示。
- 所有的VKE共享相同的特征输入层，在每个VKE内部，配有一个可以学习的变量: Virtual Kernel。
- 设计了一个注意力计算层决策特征的组合方式，Key和Value都是用户特征的embedding。
- Key和Value都是用户的特征embedding，Query是虚拟核向量，使得每个专家专注于某一子领域的用户喜好建模。
- 不同的VKE指导下会输出不同的用户向量表示，这些表示各向量侧重在不同方面的用户喜好学习。
- 向量表示的最后阶段，还是会通过VGE进行表征
问题1: 怎么可以保证不同的virtul kernel学习的表示具备差异性
问题2: 最后需要VKG去选择VKE的融合方式的话，线上部署当中怎么能够事Tag Input独立出来？
问题3: 什么是Key什么是Value，什么是这个里面的Query？
- 虚拟核门限
- VGE(Virtual-Kernel Gate, VKG): Attention是一个注意力机制的加权门限网络，用于将多面的用户表达结合为最终完整用户表达。
- 这个加权是在标签塔的指导下对VKG进行选择完成的，不同的VKE结果由标签塔通过VKG指导得到
Mixture of Virtual-Kernel Experts for Multi-Objective User Profile Modeling