算力是大模型成本结构中最大的一块,GPU的性能,决定了这个新兴行业的步调。但是,GPU性能提升的速度,已经落后于大模型训练和推理需求的增长。
面对这一性的技术,不论是主动还是被动,企业都被卷入其中。不管是技术的守成者、创新者还是采纳者,业务模式都将发生变化,进而影响企业的发展。
当前,生成式AI尚处于技术发展的早期阶段,基础架构和核心技术并不成熟;科技巨头忙于研发大模型,尚未顾及深度切入具体的应用场景。但巨头何时添加相似的功能(feature)始终是悬在初创企业头上的达摩克利斯之剑,而大模型能力边界的扩张也可能在未来挤占初创企业的发展空间,可以说,这是初创企业的蓝海,但也有发展道路上的暗礁。
生成式人工智能领域的一个突出特征,是研究与创新过程的密切结合,许多在企业内部实现,迅速推出用例和产品。这种研究与创业的一体化,初创企业和风险资本起到了重要的作用,而美国科技巨头和主要人工智能企业的研究投入与人才,包括一些底层技术的研究,这些年来已经超过了大学等研究机构。
GPT-4迸发出通用人工智能的“火花”,需要研究和解决的问题反而更多了,如信心校准,长期记忆,持续学习,个性化,规划和概念跨越,透明度,认知谬误和非理性,等等。而过去半年最重要的研究方向,是破解和理解大模型神秘而又令人兴奋的智能“涌现”。大模型既需要超越对下一个词的预测能力,也需要一个更丰富、更复杂的“慢思考”深层机制,来监督“快思考”预测下一个词的机制。