AI 研究的主要推动力揭秘

weichi2000

在过去的100多年中，由于科技的进步，计算成本已经指数级地下降。令人震惊的是，每隔五年，计算的成本就会降低十倍。这种趋势不仅无法抗拒，而且为AI研究打开了宽广的大门。随着成本的降低，研究者们可以使用越来越多的数据来训练更大、更复杂的模型，从而左右了AI技术的发展方向。

AI 研究的主要推动力揭秘：Transformer 发展背后的秘密
AI 研究的主要推动力揭秘：Transformer 发展背后的秘密
© 由 一览vaas 提供
然而，AI研究者面临的一大挑战是，尽管我们能够模拟思维过程，但人类自身的思考方式仍旧是一个谜。因此，当前的AI研究尽管取得了一定的成就，却仍受到建模的局限性，这就造成了一个研究的瓶颈。过去，研究者们往往通过添加复杂的结构来解决问题，而现在，更有效的方法可能是去除这些限制性的结构，利用更大的自由度来推动AI技术的发展。

AI 研究的主要推动力揭秘：Transformer 发展背后的秘密
AI 研究的主要推动力揭秘：Transformer 发展背后的秘密
© 由 一览vaas 提供
举个例子，以Transformer模型的发展为例。从最初的编码器-解码器结构，到后来的仅解码器结构，我们可以看到结构的逐步简化。在初期的设计中，复杂的结构有其特定的用途和好处，但随着研究的深入和计算资源的增加，这些复杂的结构开始成为性能提升的阻碍。因此，AI领域的研究者们开始尝试使用结构更为简单的模型，如仅解码器的Transformer，以获得更好的性能和更大的扩展性。