13万亿个token的GPT4，困于数据短缺

文乌鸦智能说大模型就要没弹药了，训练数据成为大模型升级的最大拦路虎。《纽约时报》报道，为了训练 GPT4，OpenAI 使用其旗下语音转文字模型 Whisper 挖掘了超 100 万小时的 YouTube 数据作为其训练模型。而另一端，社交媒体巨头 Meta 高层也在讨论收购出版社 Simon