重生08：游戏开发有手就行_第356页

  最后，评审团综合考量申报材料、网络投票结果、社会反馈等，最终确定十大杰出青年名单。

  “太好了！还是你们有想法！就这么办！”

  引咎辞职的刘孝峰终于抓到了救命稻草，设身处地的想，自己得罪了文韬，以这次黑洞的成果来说，想对付一下自己是轻而易举的事情。

  最好的结果就是被舆论臭骂一顿然后黯然离开，自己想办法找补的话，最少不用接受网曝吧……

  “准备材料和组织推荐的环节我们很有优势啊，人工智能协会是4A级的社会组织，完全有这个资格和条件。做材料的话，我们更是专业的！”

  众人脸上也喜气洋洋，讨厌的刘孝峰离开了，还能借此和黑洞搭上关系。

  华国人工智能协会的含金量更高了！摇身一变就要成为世界领先！
  之所以还带着刘孝峰，完全是让他去当面道个歉，这样杰出青年的事情更容易办成！

  打着各种主意，一群人到了蓉市开始了各种活动。

  文韬当然是没有时间去接受刘孝峰的当面道歉的，想道歉？先等着吧！接下来才是重点呢！

  ……

  “诸位，相信大家对于黑洞在AI上成果已经有了一定理解，黑洞之所以邀请大家来参加这次会议，主要是为了合作，也就是openAI。

  但凡加入openAI的各方，会与黑洞一起朝着共同的目标努力。

  在黑洞的设想中，openAI的前期会是一个非营利性的组织，核心使命是确保通用人工智能安全的造福全人类。

  在发展到一定程度后，可以重组为有限盈利企业，形成盈利子公司+非盈利母公司的架构，openAI既是公司，也是推动AI技术革新的研究机构。”

  鲍尔代表微软问道：“那么，openAI的研究方向是什么？”

  文韬知道，会议是拿来解决研究方向问题的，真正的占股、谁加入谁不加入，谁只交换技术支持黑洞研发显卡，都会在今晚的晚宴上解决。

  文韬大声道：“openAI无论各位有没有人加入，未来的第一个方向将会是大语言模型！”

  鲍尔皱眉，“什么是大语言模型？就是在夏威夷说的那个聊天机器人？”

  “没错！大语言模型是一种通过大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义，然后把结果输出给用户的一种AI模型。

  给模型一些文本输入，它能反馈相应的输出，完成的任务可以是生成、分类、总结、改写等。

  与之相比，无论是诸葛还是江流儿，都只能算是局限于单项或者某几项任务的小模型。大模型则具有广泛的能力，能综合应对各种问题。

  与循环神经网络不同，大语言模型能使用并行计算，训练的时间、效率都要远超循环神经网络！”

  文韬没有说的是，大语言模型，不管是chatGPT、deepseek，还是谷歌的bert、度娘的ernie都是基于transformer的大语言模型。

  在transformer之前，语言模型最主流的架构是循环神经网络，处理问题是按照逐字处理的方式进行的。

  每一步的输出取决于先前的隐藏状态和当前的输入内容，这个过程是线性的，完成上一个步骤之后才能进行下一步。

  没有办法并行计算，也很不擅长处理较长的文本。

  比如你输入“我有5000块预算，请帮我配一台电脑，要求能玩主流的3A游戏。”

  结果你得到的答案很可能是4090之类的配置，因为AI处理不了这么多文本，第一句“5000块预算”对于后面的“配电脑能玩3A游戏”约束力消失。

  而transformer的架构能有效的学习输入文本中所有词的相关性和上下文，不会像循环神经网络一样总喜欢忘记前面的内容，主要的原因便是“注意力”。

  分配给文本中所有词不同的注意力权重，最终提炼出“5000预算配玩3A游戏的电脑”。

  第395章 会议结束
  transformer在不断的学习中能知道文本中某个词与其他词的关联性有多强，然后注意到文本中最重要的部分。

  transformer具体该如何实现呢，其实没有想象中的难。

  两个核心组成部分就是编码器和解码器。

  编码器首先会把输入的文本转化为token，这是模糊处理文本中的最小单元，类似于一块拼图。

  每个被拆分的token会用一串数字表示，也就是tokenID。

  因为计算机只能处理数字，所以必须要进行这一步。
  

  文本的词转化为token后，编码器会继续把每个token用向量来表示，向量包含了token的语法、语意，相当于给每个token一个多维空间坐标。

  相似的词在向量空间中的位置更加接近，会有利于模型用数学方式计算两个坐标之间的距离，从而捕捉到两个词是否相似，相似在哪里。

  值得一提的是，这个向量空间的维度特别大，GPT-3的向量空间维度是12288，而我们身处的只是三维空间而已……

  有了坐标，就要对向量进行位置编码，也就是把词向量和坐标向量相加，再把结果交给解码器。

  这样，解码器就能明白文本中每个词的意义还能知道这些词在文本中的位置顺序。

  而解码器在明白了这一点后，利用注意力机制捕捉文本中最关键的核心，然后根据上下文不断的调整各个词的向量。

  一个简单的例子，“人要是行，干一行行一行，一行行行行行。”（有兴趣的同学可以用起点的读书功能试试这句话有没有读对。）
  这时候解码器就必须利用注意力机制，不断的调整每个“行”的向量，才可能得到最正确的结果。

  从解码器开始，就必须通过一系列办法到最终的输出结果了。

  输出虽然是一个非常复杂的过程，但本质上还是概率的问题。

  既然是概率，那就存在有可能不符合事实的可能性，比如典型的胡言乱语，这就需要后续不断的强化学习，来逐渐提升AI的能力。

  从transformer到chatGPT，中间最重要的就是训练过程。

  chatGPT是一种自监督模型，给它答案，它自己根据输入调参，直到达到想要的答案。

  训练过程往往是你问它“1+1等于几”，正确答案是2，如果它回答的不对，那就一直重复训练，直到它回答了正确的答案。

  当接受的参数足够多，他会根据权重去做出最标准的回答和方案。

  问题和答案统称为训练集，当这种训练集大到无法形象的程度，比如亿这个单位后，就有了这个逆天的人工智能。

  但这也证实了目前为止的人工智能的确是没有感情的，一切为了最正确的概率。

  如果按照这个方向继续下去，比如世界末日真的要来了，可能真的会发生电影中那种为了人类这个种族的延续，发展出机械生命或者选择牺牲大部分人类这种结果。