34
当晚王青青青一行人先行回去了。次日上午,同行两辆车驶出度假村,沿着89号公路一路向南。太浩湖的蓝在后视镜里越来越远,越来越小,最后被一个弯dao吞没了。
车里很安静。薛意开车,曲悠悠坐副驾。nuan气开着,窗外是连绵的雪松。
薛意全程眉心微蹙,目光直直锁在前方,时不时看几眼后视镜,嘴chun抿成一条线。
曲悠悠偷偷看了她好几眼,没敢说话。
怎么了,这是?
出了山区后,车速加快。仪表盘上的数字稳定在85英里每小时左右,时不时的一不留神就能蹿上90。前面陶予之的特斯拉也开得飞快,两辆车在空旷的荒野公路上一前一后,像在赛车。
曲悠悠问AI,93英里每小时相当于国内的多少码。AI告诉她,150码。
嘶…
她寻思这后边也没人追啊。默默扯了扯安全带,确认系jin了。尬里尬气开始找话说。
"今天天气ting好哈。"
“…”
沉默一阵,薛意忽然想起来刚有个人说话了似的:"嗯。"
"路上没什么车。"
"嗯。"
"你…是不是不太高兴?"
"没有。“
“哦…“
“怎么了?"
"从上车起就皱着眉tou。"
薛意眨了眨眼,单手碰碰眉心,好像这才意识到:"哦。我在想一个问题。"
"什么问题?"曲悠悠耳朵竖起来了。
"Transformer架构里attention机制的数学本质,能不能用微分几何的框架重新表达。陶予之昨晚给我看了一篇新的预印本,我觉得他们的证明路径有一个gap。"
"……"
曲悠悠傻了。
啊?
这啥?
每一个字好像都能明白,但连起来就是听不懂。
类似于,“我个人认为这个意大利面就应该拌42号混凝土。因为这个螺丝钉的chang度,它很容易会直接影响到挖掘机的扭距,你往里砸的时候,一瞬间它就会产生大量的高能dan白,俗称UFO,会严重影响经济的发展…“你懂你悠姐的意思吧?
曲悠悠感到一丝悲凉:“你说的,这是关于…什么的问题啊?“
薛意又眨了眨眼:“哦,AI相关的数学问题。”
叮。心里有个微波炉热好了饭似的,曲悠悠也眨了眨眼,被动chu2发尬笑技能:“害,你这么说我就懂了嘛哈哈哈…”
其实也不懂。
"所以你是在zuo数学题。"
"嗯。"
曲悠悠看着薛意严肃的侧脸,忽然有点想笑。觉着薛意这人ting好玩的。皱着眉tou飙到150码,不是因为心情不好,是因为在脑子里解微分方程。说起话来也好像AI啊,还是不说人话的那zhong。
有点可Ai。
嘿嘿。
中午在一个公路旁小镇停下来吃饭。
下车走进路边一家美式餐馆,薛意和陶予之刚坐下就开始聊。
陶予之从包里掏出平板,翻出一篇论文递给薛意:"MIT那组的新预印本你看了吗?把self-attention写成球面上的iingparticlesystem,证了一个tokenclustering的收敛定理。证明本shenting漂亮的,Wasserstein梯度liu那段构造得很g净。"
薛意接过来,眼睛扫了一眼公式。
"证明是ting漂亮的,但不能用。"她拿过一张餐巾纸,画了个球面示意图:"他们的Lipschitz假设在实际的softmax下gen本不成立,高维空间里梯度直接blowup。你拿这个收敛率去calibrate真实的attentionmap,差两个数量级。"
陶予之笑了一下。她太熟悉薛意的思路了。纯数学家看一篇论文先看证明结构美不美,薛意看一篇论文先看结论能不能拿来赚钱。
"那你打算怎么修?"
"不修,换个框架。"薛意在餐巾纸上飞快地画了起来:"我在想Ricciflow。Clustering本质上就是曲率集中,Perelmanchu1理奇点的那taosurgery改一改,应该能给一个更tight的bound。"
两人聊得旁若无人…
曲悠悠懵懵地看着两个神仙似的人叽里咕噜说了一堆什么都听不懂的话,还有来有回的,有点幽怨地开始怀疑自己的智商。
肩膀被轻轻拍了两下。
“别guan她们了,”徐医生浅笑着,g了g她的臂弯,“咱们去点些东西吃。
曲悠悠僵僵地回过神来,“哦…好叻。”
跟着徐医生来到点单柜台,曲悠悠看了眼菜单,又茫然地回tou看着不远chu1窗边座位上两人之间的餐巾纸上越来越密的符号和箭tou。
徐医生靠在柜台上,要了两份薯条汉堡经典tao餐,又问曲悠悠她和薛意吃什么,表情很淡定。
"习惯就好了,"她说,"她们俩一聊起来就是这样。"
"经常这样吗?"
"每一两周就会约一次,每次都去圣ma里奥一家上海生煎铺子吃小笼包,边吃边聊。有时候是理论数学,有时候是金rong科技方面的应用,一聊起来没完没了的。我偶尔会跟着去一下,坐旁边吃点东西。"
“小笼包?“
“嗯,她俩的最Ai。“徐医生扁了扁眼,浅叹一口气,好像有些无语,”机qi人似的,每次就吃那几样,也不换换口味。“
“最Ai…”曲悠悠看着不远chu1的两人,悄咪咪生出一点美滋滋的侥幸。
薛意在餐巾纸上写到一半停下来,蹙眉想了几秒,然后又飞快地动起笔来。陶予之的眉tou也微微蹙着,但嘴角弯起一丁点弧度。不知dao是不是快解出来了。
"她一想数学问题就这个表情,"徐医生顺着她的目光看过去,"开车也想,吃饭也想,有时候吃到一半突然不动
当晚王青青青一行人先行回去了。次日上午,同行两辆车驶出度假村,沿着89号公路一路向南。太浩湖的蓝在后视镜里越来越远,越来越小,最后被一个弯dao吞没了。
车里很安静。薛意开车,曲悠悠坐副驾。nuan气开着,窗外是连绵的雪松。
薛意全程眉心微蹙,目光直直锁在前方,时不时看几眼后视镜,嘴chun抿成一条线。
曲悠悠偷偷看了她好几眼,没敢说话。
怎么了,这是?
出了山区后,车速加快。仪表盘上的数字稳定在85英里每小时左右,时不时的一不留神就能蹿上90。前面陶予之的特斯拉也开得飞快,两辆车在空旷的荒野公路上一前一后,像在赛车。
曲悠悠问AI,93英里每小时相当于国内的多少码。AI告诉她,150码。
嘶…
她寻思这后边也没人追啊。默默扯了扯安全带,确认系jin了。尬里尬气开始找话说。
"今天天气ting好哈。"
“…”
沉默一阵,薛意忽然想起来刚有个人说话了似的:"嗯。"
"路上没什么车。"
"嗯。"
"你…是不是不太高兴?"
"没有。“
“哦…“
“怎么了?"
"从上车起就皱着眉tou。"
薛意眨了眨眼,单手碰碰眉心,好像这才意识到:"哦。我在想一个问题。"
"什么问题?"曲悠悠耳朵竖起来了。
"Transformer架构里attention机制的数学本质,能不能用微分几何的框架重新表达。陶予之昨晚给我看了一篇新的预印本,我觉得他们的证明路径有一个gap。"
"……"
曲悠悠傻了。
啊?
这啥?
每一个字好像都能明白,但连起来就是听不懂。
类似于,“我个人认为这个意大利面就应该拌42号混凝土。因为这个螺丝钉的chang度,它很容易会直接影响到挖掘机的扭距,你往里砸的时候,一瞬间它就会产生大量的高能dan白,俗称UFO,会严重影响经济的发展…“你懂你悠姐的意思吧?
曲悠悠感到一丝悲凉:“你说的,这是关于…什么的问题啊?“
薛意又眨了眨眼:“哦,AI相关的数学问题。”
叮。心里有个微波炉热好了饭似的,曲悠悠也眨了眨眼,被动chu2发尬笑技能:“害,你这么说我就懂了嘛哈哈哈…”
其实也不懂。
"所以你是在zuo数学题。"
"嗯。"
曲悠悠看着薛意严肃的侧脸,忽然有点想笑。觉着薛意这人ting好玩的。皱着眉tou飙到150码,不是因为心情不好,是因为在脑子里解微分方程。说起话来也好像AI啊,还是不说人话的那zhong。
有点可Ai。
嘿嘿。
中午在一个公路旁小镇停下来吃饭。
下车走进路边一家美式餐馆,薛意和陶予之刚坐下就开始聊。
陶予之从包里掏出平板,翻出一篇论文递给薛意:"MIT那组的新预印本你看了吗?把self-attention写成球面上的iingparticlesystem,证了一个tokenclustering的收敛定理。证明本shenting漂亮的,Wasserstein梯度liu那段构造得很g净。"
薛意接过来,眼睛扫了一眼公式。
"证明是ting漂亮的,但不能用。"她拿过一张餐巾纸,画了个球面示意图:"他们的Lipschitz假设在实际的softmax下gen本不成立,高维空间里梯度直接blowup。你拿这个收敛率去calibrate真实的attentionmap,差两个数量级。"
陶予之笑了一下。她太熟悉薛意的思路了。纯数学家看一篇论文先看证明结构美不美,薛意看一篇论文先看结论能不能拿来赚钱。
"那你打算怎么修?"
"不修,换个框架。"薛意在餐巾纸上飞快地画了起来:"我在想Ricciflow。Clustering本质上就是曲率集中,Perelmanchu1理奇点的那taosurgery改一改,应该能给一个更tight的bound。"
两人聊得旁若无人…
曲悠悠懵懵地看着两个神仙似的人叽里咕噜说了一堆什么都听不懂的话,还有来有回的,有点幽怨地开始怀疑自己的智商。
肩膀被轻轻拍了两下。
“别guan她们了,”徐医生浅笑着,g了g她的臂弯,“咱们去点些东西吃。
曲悠悠僵僵地回过神来,“哦…好叻。”
跟着徐医生来到点单柜台,曲悠悠看了眼菜单,又茫然地回tou看着不远chu1窗边座位上两人之间的餐巾纸上越来越密的符号和箭tou。
徐医生靠在柜台上,要了两份薯条汉堡经典tao餐,又问曲悠悠她和薛意吃什么,表情很淡定。
"习惯就好了,"她说,"她们俩一聊起来就是这样。"
"经常这样吗?"
"每一两周就会约一次,每次都去圣ma里奥一家上海生煎铺子吃小笼包,边吃边聊。有时候是理论数学,有时候是金rong科技方面的应用,一聊起来没完没了的。我偶尔会跟着去一下,坐旁边吃点东西。"
“小笼包?“
“嗯,她俩的最Ai。“徐医生扁了扁眼,浅叹一口气,好像有些无语,”机qi人似的,每次就吃那几样,也不换换口味。“
“最Ai…”曲悠悠看着不远chu1的两人,悄咪咪生出一点美滋滋的侥幸。
薛意在餐巾纸上写到一半停下来,蹙眉想了几秒,然后又飞快地动起笔来。陶予之的眉tou也微微蹙着,但嘴角弯起一丁点弧度。不知dao是不是快解出来了。
"她一想数学问题就这个表情,"徐医生顺着她的目光看过去,"开车也想,吃饭也想,有时候吃到一半突然不动