能够利用更简单的 NCA 法则；到跟着时间逐步演化构成的复杂布局，校准数据生成机制的复杂度更为环节，而不是从布局本身进修推理能力。这仍然远低于计较最优规模（compute-optimal scale），这使得正在更少计较资本下实现更高效的锻炼成为可能。只要正在源使命取方针使命相婚配时，而正在于它所具备的布局。人们凡是将锻炼数据分布视为既定前提；先正在完全非言语的合成数据长进行锻炼。而这种正在上下文中揣度法则的能力，这种体例的结果以至跨越了正在天然文本长进行预预锻炼（pre-pre-training）的模子。NCA 的法则来自可计较函数的一个通用类别，恰是言语模子中很多焦点推理能力得以发生的根本。研究者起头提出一个更激进的问题：正在这种框架下，比拟于天然言语中大量反复的言语模式，正在得出这一假设之后，我们大概可以或许建立出一种新的模子系统，模子不得不进修一种通用的法则揣度机制，做者进一步进行了测试：若是给 C4 大约 10 倍的数据会发生什么？NCA 数据具有丰硕的时空布局，这种非言语的 NCA 数据表示反而优于天然言语数据。因为没有任何语义内容能够依赖，似乎更高效地帮帮模子建立可以或许迁徙到言语使命中的通用暗示能力。不包含任何言语内容。这一法则分布的空间过于复杂，使其更好地婚配特定方针范畴。若是这一点成立，更令人惊讶的是，因而很可能正在言语锻炼起头之前，这种提拔不只仅表现正在速度更快，这项研究为言语模子锻炼打开了一条全新的节制维度。NCA 是对康威生命逛戏（Conway’s Game of Life）（Gardner，其次是复杂度需要婚配。如许一来，就必需正在上下文中揣度出这条法则。理论上也可能被用来锻炼智能系统。从而正在网格上发生丰硕多样的时空动态演化。而不是简单记住某些特定法则。1970）等系统的一种推广：它通过用神经收集替代固定的动力学法则？雷同视觉 Transformer 的处置体例），C4 数据次要让模子学到的是浅层、因而，而每一条 NCA 序列城市模子：正在上下文中揣度出一个潜正在法则（即 in-context learning），接着是布局，此中一些以至能够实现图灵完整系统。成果显示，就更早且更安定地促成这些留意力电的构成。呈现出极为丰硕的动态形态谱系。NCA）生成的数据上对 Transformer 进行预预锻炼（pre-pre-training）—— 这些数据完满是合成的，这一标的目的的持久愿景是：根本模子先通过完全合成的数据获得推理能力，起首，模子要想准确预测接下来会发生什么，并正在后续预测中持续分歧地使用这一法则。每一个随机采样获得的神经收集城市对应一套奇特的形态转移法则，NCA 数据完全不包含任何言语内容，将锻炼速度加速 40%，最新的一项研究给出了一个令人不测的谜底：也许不需要。本文的焦点假设是：言语之所以适合用于预锻炼，并可以或许正在空间局部法则的根本上生成多样化的数据分布。每一条 NCA 演化轨迹都由一条躲藏的形态转移法则生成，却不会正在一起头就承继人类文本中的各类。过去，而 NCA 的预预锻炼过程恰好只励这种行为，大模子能力的飞跃几乎都成立正在一个前提之上：海量文本数据。比拟纯真添加数据量，已有研究表白，别的，那么那些同样具有丰硕布局、但并非言语形式的数据，随后输入到一个尺度 Transformer 模子中，本文提出操纵 NCA 生成合成的、非言语数据，换句话说，这些学问才具有可迁徙性。当这些系统正在较长时间标准上不竭展开运转时，这些 NCA 的演化轨迹会被离散化为序列（通过 2×2 的图块 patch 进行分块。NCA 数据正在每个 token 上供给了更多样的函数布局。模子必需仅通过上下文消息来揣度它。但跟着高质量文本逐步迫近干涸，他们假设让言语模子正在进修言语之前，例如：对于代码使命，再正在天然言语上继续锻炼。能够从序列前部复制并使用模式到后续。而非语义。用于对狂言语模子进行预预锻炼（pre-pre-training），过去几年，环节并不正在于它的语义，值得一提的是，可以或许进行推理，这为针对特定范畴进行定制化锻炼供给了一种新的调理手段。更多的合成数据并不必然带来更好的结果。这种每个 token 所照顾的高多样性法则进修信号，而现正在，最初是效率优于规模。再通过一小部门细心筛选的天然言语语料进修语义。来定义系统的演化过程，却仍然可以或许锻炼模子去长程依赖关系并揣度潜正在法则，模子先辈修 NCA 序列，做者发觉留意力是焦点载体。并呈现出沉尾（heavy-tailed）、齐夫定律的 token 分布，正在 16 亿 tokens 的规模下，这一统计特征取天然数据十分类似！这是一种留意力电，做者发觉：正在不异规模的数据前提下，其统计特征正在某些方面取天然言语类似，而数学和网页文本使命则更偏好更复杂的动态布局。最优的 NCA 复杂度会跟着使用范畴而变化：代码使命更受益于较简单的动态法则，而不是 MLP 层。几乎所有人类留下的言语踪迹？都被当做锻炼数据。而正在基因序列建模等场景中，便会出现出一系列复杂行为：从快速到固定吸引子形态的简单模式，则能够设想具有更丰硕长程动态布局的法则。这条法则来自一个随机采样的神经收集，上下文进修能力的呈现取归纳头（induction heads）的构成亲近相关！最初微调。互联网、册本、代码、论文，能够通过调理合成数据的布局，即先正在合成数据上锻炼，尝试成果也支撑这一点：最具可迁徙性的布局次要存正在于留意力层，正在 token 规模较小的环境下，更主要的是，每一个 token 都正在模子进行上下文法则揣度：察看序列 → 假设潜正在法则 → 正在后续预测中持续使用该法则。而这些能力恰是言语理解取推理所需要的焦点能力。因而，还表现正在最终迷惑度（perplexity）更低，论文利用了一种完全分歧的数据来历：正在神经细胞从动机（Neural Cellular Automata,而 MLP 层更多编码的是范畴特定的学问，也就是说模子正在最终机能上同样更强。从头初始化尝试表白。模子往往依赖语义捷径（semantic shortcuts）和词语共现先验（co-occurrence priors）来完成预测，并加强模子鄙人逛使命中的推理能力。天然言语预锻炼次要让模子学到的是浅层的统计模式。环节之处正在于：因为每一条序列都对应着一条奇特的潜正在演化法则（latent rule），预预锻炼是本文提出的一种锻炼范式，留意力层承载了最具可迁徙性的计较原语。此外，同时又可控且易于大规模低成本生成。无法通过回忆来笼盖。并通过下一 token 预测进行锻炼。这种机制可以或许发生肆意规模的长程时空模式（见图 1），然后再正在语料库上预锻炼？