骑士小说

第880章 通用模型4k（第1页）

第880章通用模型（4k）

陆奇有被碳矽掌门人扭转了意愿上的方向，但他距离真正加入DLF基金会还有一个重要的前提需要弄清楚。

这次的自注意力机制为什么值得俞总这么大费周章？

换句话说，Transformer真的展现出颠覆级别的潜力了？

陆奇不是深度学习领域的研究者，但也一直在关心这个领域的进展，对于这次的Transformer也有了解，知道它展现出了机器翻译领域新一代S0TA技术的定位潜力。

所谓SOTA，StateoftheArt，也就是业界所说的最强水平。

问题在于，仅仅是机器翻译领域，这值得俞总又是要内部推动，又是要外部竞争，还不惜让吴恩达拉自己过来吗？

陆奇在百度的时候就已经要推动公司ALLINAI，彼时还没有Transformer，而之所以那时就要把战略定在这个领域，是因为全球顶级公司几乎已经取得共识，AI会是网际网路之后的下一代通用技术革命，会重构所有的行业。

谷歌2011年成立「谷歌大脑」，次年收购DeepMind，至今已经把深度学习广泛应用在搜索、安卓、翻译等上百个产品之中，微软2013年大规模转向Ai，旗下0ffice、语音等产品都已经完成深度学习改造，脸书则在2013年邀请杨立昆组建FAIR，全面布局视觉和语言以及推荐系统。

作为曾经的微软执行副总裁，陆奇本身就是这波深度学习发展浪潮里的亲历者和推动

者，认同的是俞总对深度学习的战略重视，不解的是他选择重视的节点。

但是，陆奇对于俞总这种不见兔子不撒鹰的态度也在彼此短暂的交流里有种合适的猜想，DLF这边已经就著Transformer搞出了东西。

他握了手，现在就需要俞总把真家伙端出来了。

吴恩达干的就是这个活。

他在两人虚情假意之后给出来自DLF没有对外公布的判断：「Transformer不单单是机器翻译，它在自然语言处理NLP方面展现了现在远远没有挖掘出来的庞大潜力。」

吴恩达看著陆奇，用眼神表达严肃：「陆总，我们认为，Transformer在自然语言方面有成为通用模型的可能性。」

自然语言处理NLP，这个领域一直是深度学习研究的重点，是为了让计算机能够听懂人话，也能说出来人话。

NLP之前基本是每个任务单独设计模型，再单独训练，很依赖大量标注数据，不同任务之间的技术栈并不通用，也就是导致研发进展很缓慢。

通用模型意味著只用Transformer就能快速适配不同的任务。

以前是很多模型干不同方向的活，现在是用一个Transformer做不同方向的活，意义自然完全不同，如果能够继续推动，许多设想中的场面都可能会实现。

陆奇不用吴恩达多解释就知道这种判断的意义，但他的第一反应是十分怀疑：「通用模型？Transformer？这个判断是怎么得出来的？」

「我们基于Transformer做了一个模型，用它去做NLP的能力测试，它在GLUE的9个任务里已经有5个达到S0TA，这还只是我们的初步尝试。」吴恩达说道，「另外，它在机器阅读理解的2个任务里也拿到了高分。」

GLUE是目前业内公认的NLP通用能力评测，包含9个不同类型的语言理解任务，而机器阅读理解也是NLP领域最受关注的任务之一。

吴恩达拿出了平板，展示具体的模型处理效果，过去需要不同模型的任务在基于Transformer的模型测试里拿到5项最优，剩下4项也接近最优。

在机器阅读理解的2个任务里，模型的F1值拿到89分，超越了人类平均水平的87。9

分。

吴恩达时刻注意著陆奇的视线和浏览，等到他看到机器阅读理解这部分，不轻不重的说了句：「这是大模型在机器阅读领域第一次超过人类在通用数据集的表现。」

陆奇沉默了。

俞兴这时提到一个关键的问题：「这还是他们在很短时间里的成果，从去年到现在，从机器翻译领域转到NLP领域，也就不到4个月的时间。」

「这4个月，这11个任务里大部分的提升幅度已经相当于业内过去三到五年的总和。」

「啧，就这个情况，时间再多点，恐怕11个任务都能达到S0TA。」

全球业内数年的提升在过去四个月时间里被基于Transformer的模型做到了。