神经网络架构「殊途同归」？ICML 2024论文：模型不同，但学习内容相同

新智元报道编辑：乔杨深度神经网络有多种规模和架构，大家普遍认为这会影响到模型学习到的抽象表示。然而，UCL 两位学者发表在 ICML 2024 上第一篇论文指出，如果模型的架构足够灵活，某些网络行为在不同架构间是广泛存在的。自从 AI 跨入大模型时代以来，Scaling Law 几乎成为了一个