• 虚拟核专家
  • Virtual-Kernel Experts: 一个VKE用来建模用户喜好的一方面，精准描述用户表示。
  • 所有的VKE共享相同的特征输入层，在每个VKE内部，配有一个可以学习的变量: Virtual Kernel。
  • 设计了一个注意力计算层决策特征的组合方式，Key和Value都是用户特征的embedding。
  • Key和Value都是用户的特征embedding，Query是虚拟核向量，使得每个专家专注于某一子领域的用户喜好建模。
  • 不同的VKE指导下会输出不同的用户向量表示，这些表示各向量侧重在不同方面的用户喜好学习。
  • 向量表示的最后阶段，还是会通过VGE进行表征

问题1: 怎么可以保证不同的virtul kernel学习的表示具备差异性

问题2: 最后需要VKG去选择VKE的融合方式的话，线上部署当中怎么能够事Tag Input独立出来？

问题3: 什么是Key什么是Value，什么是这个里面的Query？

• 虚拟核门限
  • VGE(Virtual-Kernel Gate, VKG): Attention是一个注意力机制的加权门限网络，用于将多面的用户表达结合为最终完整用户表达。
  • 这个加权是在标签塔的指导下对VKG进行选择完成的，不同的VKE结果由标签塔通过VKG指导得到

Mixture of Virtual-Kernel Experts for Multi-Objective User Profile Modeling

           我是谁？我从哪里来？我为什么会走到这里？我会去到哪里，是什么让我走向那里？我将与谁相遇？我愿和谁同行？

—— 寻沂

           我是谁？我从哪里来？我为什么会走到这里？我会去到哪里，是什么让我走向那里？我将与谁相遇？我愿和谁同行？

—— 寻沂

           我是谁？我从哪里来？我为什么会走到这里？我会去到哪里，是什么让我走向那里？我将与谁相遇？我愿和谁同行？

—— 寻沂

小学

• 2008年，汶川地震。我印象深刻的是那天课间操，校长站在乒乓球主席台上。哽咽着读完汶川地震的简报，举国同悲。
• 同样是2008年，我去镇里的初中参加小升初的考试。其他的都忘了，我只记得学校里有一条小溪穿过围墙从教学楼前蜿蜒而过，我很喜欢。这个学校竟然有小溪哎。

初中

• 初一，班主任姓肖，是一个刚毕业的小姑娘，教英语。我是小考班里的第一，顺理成章当了班长。可是，我天生性子懦弱不是当班长的性格。班级里纪律混乱，我想管但是力不从心。我总是害怕那些高个子的成绩不好的同学会来报复我，所以对班级管理有心无力。初一，英语不好在班级里的成绩并不出色，很多同学成绩都在我之前；从第一名到第六、第七甚至更后，颇有遗憾。看着小学里那些成绩不好的同学月考超过我，我很难受。我记起来有人说:“有些人小学的时候成绩好，到了初中就不行了。” 我记得班主任有一次叫我们写心里话，我写了好多关于家里的事情，写我如何想争气，写父母如何辛苦。后来班主任找我出去聊，聊着聊着我就哭了。她安慰着我说:“知道我很懂事。”

• 初二，没有做班长了。原来在初一三班后来去了五班。忘记了班主任的姓，只是记得似乎叫艳梅。我还是喜欢初一的班主任多一些。初一的暑假在家里拿着姐姐的书提前预习物理知识，没想到初二新开的几门课程: 物理、历史、政治都出奇的好。虽然英语还是略差但是整体排名到了班里前三，有的时候甚至是第一名。突然获得了极大的自信。有个成绩很好的小女生突然问我:“以前怎么没听过你？”我又自豪又觉得遗憾，原来我曾经都不被知道哇～

  初二时候映像最深刻的事情有两件:

  • 第一次月考政治老师在晚自习坐班，大家吵吵闹闹的我和另外一个同学说话，被抓了典型。他把我们拉到前面去揍了一顿。政治书直接往我脸上招呼过来，疼倒是不疼。我只是记得他嘴里说了一句: “有些人玷污了五班。” 第一次月考成绩出来之后，我政治似乎是考了全班第一，他对我的映像有所改观。这件事我虽然记得，倒不怎么恨他。可能是他后来对我挺好的缘故吧。关于这个老师，我还记得另外一件事。我初三那年，运动会彩排，我是红旗方阵的执旗手。他好像在运动会的组织上有什么事情没做好，校长当众训斥他，我看着他唯唯诺诺，心里觉得他可怜，又替他委屈；心里还有点得意:”恶人自有恶人磨”; 不够更多的是悲戚，难道做人、做下属就该唯唯诺诺嘛？
  • 第二件事和班主任有关。男生宿舍的钥匙总是没有人带，或者管钥匙的人开门来的晚。大家赶着吃饭，几个性子急的直接把门踹开。门是钉锁，踹完又能钉回去。有一次被班主任逮住了，整个宿舍被拖出去，没有人站出来承认是自己做的。于是株连每个人都挨揍。(关于株连的事情初一也有一处案例，初中时期的株连事件经常发生，学校老师懒得细问是一方面。更多的可能是年龄那个时候年纪还小，把自己摘出来的能力还未习得；犯错者又没有“一人做事一人当”的觉悟。) 我被揍了又丈着自己成绩好，心里不服气跟班主任顶了几句嘴，心里委屈的不行。她教训了我几句让我进教室里去。我跑回教室蒙着头哭，又委屈又后悔。现在回过头去想: “竟然这样索性不如默默挨打了事，反抗又反抗得不够坚决，承受又承受得不够甘愿”。不过，不管怎么样那是我从小到大少数勇敢的几次了。

• 初三的班主任我很不喜欢，虽然他很喜欢我。现在我爸仍会跟我说：“那个老八很负责，经常给我打电话，说孩子在长身体多弄点好吃的给他吃。” 我承认，他在某种程度上是个好老师，但在某种程度上也不是。我不喜欢他的原因是因为他的圆滑和匪气，以及他对好学生和差学生的区分对待(虽然我是被善待的那个)。初三的事情记不得太多，只是想家的时候会多很多，吃过晚饭经常会趴在栏杆上看日落心里想着：“这个时候妈妈会在干些什么呀？她干完活回家了吗？在吃饭了没有？” 我记得初三有一次睡觉做梦，半夜梦到爷爷去世了，从梦里哭醒。年幼时未见过至亲别离，只是在梦中迷迷糊糊做了预演，没想到长大后那些生死梦幻痛的还是那么真切，那么遗憾；若是能早些懂是不是会好些？后来，提前考上去了高中，度过了人生中最快乐的一段时间。那段日子觉得未来无限广大，当下又甚是轻松，感觉整个世界的希望都在我们身上。

• 初中的一些零碎:

  • 初中生活里抢水是很重要的一部分，姐姐每次会用一个大桶装了水。她会打了饭菜过来找我，我们在树下吃饭然后用她接的水煮饭。晚上她又会接第二天需要洗漱用的水。现在回想起来，小时候蒙她照顾太多；又顽劣得太多，没有做个乖乖听话的好弟弟，倒是成了个窝里横的。如今看她结婚生子，希望她能一直幸福下去。
  • 另外一部分生活关于那条小溪。江西的冬天很冷，我记得初三那年，有一次在学校下了很大的雪，我们回到宿舍会穿着拖鞋蹚雪去洗脚。其实也就放水里浸一下就拿出来，那个时候总觉得这样脚就是干净的。冬天很冷，早操的时候天还没亮，我每次被起床铃声吵醒的时候第一反应总是:“读书怎么这么累，我不想读了。”等到人清醒过来之后，就乖乖地去打水洗漱，然后上早课。我似乎从来没有想过，为什么要读书，哪怕是读书这么累我也没有想过，我为什么要这样生活下去。可能脑子里预设了一些答案，也可能没有，只是觉得浑浑噩噩地总要向前走，父母大人告诉我要如此，我便如此向前走就好了。如果回到那个时候，小时候的我如果不用读书，我肯定知道我该怎么样填满我的生活。我该去探索、该去体会、该去品尝什么、该去怎么样玩闹。可是，现在的我似乎不会了。我顺着指定的那条路走下去，走的太长了，走成了思维里的惯性。我不知道如何填满我生活里的那些空白，当停下来的时候，我不知道怎么样去Enjoy自己。我又没有办法像普通人那样在刷抖音、逛街、购物和游戏当中感受到快乐、充实和满足。
  • 我记得初一刚过去的时候。同宿舍有些活波的同学都很新奇，熄灯之后大家在宿舍里玩闹。有些住上铺的同学爬上爬下，又是喝水又是聊天。我是那种怯懦的性格，一到默认人的环境里总是会把自己藏起来不说话。因为实在过于吵闹，惊动了巡管老师。那个巡管老师教体育，也教数学(真的是应了那句: 数学是体育老师教的)。进来之后问是谁在玩闹，进来之后没人承认，于是每人趴着用一个大棍子抽了一下。我记得那次抽得半条腿发麻。可能从那个时候起，我就极厌烦那些敢做不敢当的人。
  • 初一的时候，算是半个走读生。外婆家离中学算近不近，勉强办了一个走读的名额。周三的时候会去外婆家吃完饭和洗澡。中学时吃晚饭的时间只有45分钟，每次来回要走几公里还要洗澡吃饭，时间便总是会很紧张。可是，不知道为什么，虽然我在外婆家也会有熟悉感，但是总觉得那个地方让我有点陌生。我总觉得我不属于那里，那个地方不欢迎我一样。我总是在脑海里残留着一段记忆: 那似乎是很小的时候，我趴在大舅妈家的大门口玩。我看着那些大人过去，或者是在聊天。我能感觉到他们不喜欢我。他们似乎在问我为什么不回家？我记得有一次，二舅妈好像在问我:“今天去谁的家里吃饭？” 我好像在这里蹭一天，在那里蹭一天。我记得有一次住在大舅家，晚上大舅再教表哥写毛笔字，我其实也想写，但是不敢开口。我好羡慕有人教他写毛笔字，我也想我的爸爸教我写毛笔字。那个时候，我非常喜欢和外婆家的小孩子玩，尤其是表哥。他们非常接纳我愿意带我满村子的跑。可是一到太阳落山的时候，我就会想回家。我记得有一次天黑了，我特别想回家就开始哭。外公和外婆问我哭什么，我说我肚子疼，于是我就被送去医院打了一阵。现在想来，我是幸运的没跟B站上的“二舅”一样成了个瘸子。
  • 关于小时候外婆家的故事还有很多。我最喜欢和大表哥玩了，总觉得他很优秀。他也总是越愿意带我出去玩。我记得他抓黄鳝很厉害，有一次他带我去农田里抓黄鳝，抓了好多。抓完之后快下午三四点的时候，他带我跑到后面外公家里去。我记得没错的话那个时候小外公正在后面的牲口棚干活。表哥说跟他说:“爷爷，这个是无花果树嘛？”。小外公回了句:“是，不过那个无花果还没长果子，吃不了。那颗李子树上的李子熟了，你们两个人去摘吧？” 于是我和表哥摘了一大堆的李子，边摘边吃。我们两摘完吃完还要再带上许多。李子性寒，吃下去不仅胃会难受，吃到第二天直接拉肚子了。这件事情小外公跟大外公和妈妈说过，后来他们总笑表哥嘴甜。
  • 和童年、表哥有关的另外的话题还有其他的许多。我记得我两是青蛙屠夫，小的时候我总是经常和哥哥去钓青蛙。钓青蛙的记忆太多，不过有一次用箭射青蛙的我倒是映像深刻。大表哥人很聪明，总是愿意做一些奇奇怪怪得东西，也能整出各种各样的花活出来。有一次他用在竹子里插上小铁针，做了一支箭，再用竹子做一把弓，最后弄成一把小箭。后来，他拿着这把箭带着我去射青蛙。我记得射到一只绿青蛙，箭头从肚皮里穿进去。射到之后，他把青蛙交给我，我把青蛙放进一个蛇皮袋子里，提着跟在他的后面走。可能是对于成果喜悦和好奇，我就一直隔着袋子捏那只青蛙。捏来捏去，结果最后把那只青蛙的肠子从创口出捏的喷了出来。我只记得后来被他指责了很多，再细节的东西就不记得了。
  • 关于大表哥的另外一件事情应该要算是那一次药鱼了。我记得那一次我们准备了一小桶茶油渣饼。把整块的茶油渣饼放在火里面烧灼，等它烧的滚烫，然后将渣饼砸碎掺上水制成一小桶的鱼药。然后我和表哥、表妹、姐姐他们好几个人跑到村子东边的河里去药鱼。因为鱼药少，我们挑了一个大概三平米左右的小水潭，把药倒进去。等过了半个小时左右，鱼儿就受不了了。他们会争相地开始往上游水流清澈的地方游，因为是夏天。江水干涸上有只有一丝细流，我们很容易就能在上游把他们抓住。还有一些不胜药力的就会更惨，直接晕死在水面上。我们用渔网一捞把他们放在桶里，桶里再装上清水，小鱼马上又能活过来了。我记得那一天在另外一个大水潭出也有人再药鱼。他们的人更多，大概有十多个小伙伴，水潭也很大，大概有十多平米吧。他们从家里运来鱼药一个劲地往里倒。等鱼药下完，他们就拿着渔网开始在水潭里游泳嬉闹，边游泳边抓鱼。快乐是快乐，但是似乎没抓到多少。反倒是我们偷偷在旁边蹭要到的鱼，或者是在大水潭的上游抓捕。另外有大人直接拿着电鱼机来电鱼。那个时候想，他们好傻，自己浪费了那么多鱼药让别人占了便宜。现在也还是会觉得他们好傻，自己用了鱼药让别人占了便宜。我似乎从小是一个会计较利弊得失的人，小心翼翼地算了付出了多少，收获了多少。自己得到的有没有比别人多，自己付出是不是比别人少。总是想快些看到效果，总是有所收获。这样虽然有时候能收获很多东西，但是少了许多快乐。可是这种性格似乎很难改变吧！另外也不见得事事都是如此。再往更小一些的时候，可能功利的心思会少很多。
  • 我和表哥相差三岁，又在镇里的不同地方。小学自然不能在一起念书，所以很是遗憾。等到上了初中时，表哥已经去念了高中。等去高中的时候表哥又要念大学了。所以虽然初中、高中时校友但是都是他前脚出我后脚进。

高中

大学

工作

           我是谁？我从哪里来？我为什么会走到这里？我会去到哪里，是什么让我走向那里？我将与谁相遇？我愿和谁同行？

—— 寻沂

         我喜欢sunny，可是她快要和前任复合了。

          她说她对她对象还挺满意，年底要见家长了。我好像很难受，很难受。让我感觉到难受的原因是什么呢？是因为她有对象了嘛？好像不是，我虽然想过要和她处对象，但是并没有抱太大希望。

          我难受的大概是因为她对我的防备。从她给我的回复里，我看到了她让我不要有不切实际想法的语气。我自己也会知道不要有不切实际的想法，可是从她嘴里说出来的时候。我会感觉到自己被嫌弃了，被伤害到了。

          那些悲伤会从心里溢出来，我有没有办法和她表现出这种悲伤。我没有办法和任何人表现出这种悲伤。因为我不想把自己脆弱的一面展示出来，展示给别人看。那样的展示会让我觉得，我很没用。我希望自己是一个独立的个体，独立不依赖任何人。

          我不想我的情绪被任何人左右。可是，我真的好难过，好沮丧。我像一条流浪的小狗，看到一个漂亮的小姑娘，她过来摸了摸我的头说:“我好信任你呀。” 然后，我就屁颠颠地跟在后面，想要跟她回家。

          结果她回过头来对我说:“你不要跟着我啦，我家有一只很可爱的小狗狗，我很喜欢他。他很乖很听话，而且我养了他很久了。”这个时候，我是崩塌的。明明你说过信任我，说过跟我很聊得来。你为什么要过来摸我的头呢？

          我有点怪她，也有点怪自己。我不应该跟她讲我喜欢她。这样就不会被拒绝，对我来说表白好像并不是为了要成功，而是为了完成自己的仪式感。我觉得自己说了对得住自己就行，从来没有考虑过这句话说出来对对方会有什么影响。

          我觉得自己好笨，真糟糕。我没有办法去面对她。

          晚上吃过饭，自己一个人坐在党建公园旁边的草坪旁边发呆。悲伤和难过会突然涌上来，那种难过好熟悉啊。风吹过毫毛，会感觉到极致的孤独，又会感觉到极致的放松。我想自己跟自己待一会儿。她像嘟嘟一样，靠近我又走开。那种走近之后又走开的感觉，让我意识到自己处于巨大的孤独中。 在日常的时候我是体会不到的。

          我感觉到自己似乎被抛弃了。可是是谁抛弃了我呢？我感觉不到，是谁在抛弃我。对，是Sunny抛弃我了。她明明说过她像信任欣欣一样信任我。她说她喜欢和我相处。她说她需要点醒我。她让我感觉到了，我对她很重要。可是，现在我对她不重要了，一点儿也不重要了。她会躺在另外一个人的怀抱里，和他结婚。跟他度过下半生，他们会一直走到老，会把一个个日子变成平常。

          她的欢喜、快乐、悲伤和愤恨里都不会有我。我于她而言是个无足轻重的过客。我希望我对她是重要的。她也对我很重要。