被字节开除的实习生,融资2亿:挑战李飞飞
公司尚未命名,产品也未见踪影,团队仅有10人规模,却已获得近3000万美元(约合人民币2亿元)融资,投后估值达到2亿美元。
根据最新消息,这笔资金流向了田柯宇创办的世界模型公司,投资方包括五源资本、IDG资本等。
田柯宇最为人熟知的身份,是“被字节跳动开除并索赔的实习生”。
一个曾被大厂除名的实习生,为何能在两年后以2亿美元估值卷土重来?他试图打造的“世界模型”,又凭什么让资本如此急切地投入?
一篇论文,推动行业成本大幅下降
田柯宇本科毕业于北京航空航天大学软件学院,随后进入北京大学攻读研究生,师从王立威,研究方向为深度学习优化与生成模型。自2021年起,他在字节跳动商业化技术部门实习,涉及超参数优化、强化学习和视觉生成。
2024年6月至7月期间,因对团队内部算力资源分配不满,他手动关闭了另一名实习生的程序,以便将显卡用于自己认可的研究。字节跳动方面表示,他通过编写和篡改代码,恶意攻击团队研究项目的模型训练任务,导致资源浪费。
事发后,田柯宇一度否认,声称是其他实习生所为,甚至报警称自己遭诽谤。字节跳动认为他毫无悔意,于2024年11月正式提起诉讼,索赔800万元。
随后,他承认了不当行为。法院最终判定他违反实习合同,需赔偿50万元,并没收全部实习工资。
戏剧性的转折出现在起诉后的第十天。2024年12月,NeurIPS将年度最佳论文授予田柯宇作为第一作者的成果——《视觉自回归建模:通过下一尺度预测生成可扩展图像》(VAR),该论文在当届排名第六。这是中国大陆背景学者作为第一作者,极为罕见地获得此奖项。
这篇论文的分量,直接决定了他当下的工作方向。
在VAR问世之前,AI图像生成主要依赖扩散模型——先绘制模糊全局,再逐层细化,画面质量高但速度慢、成本高、算力消耗大,架构上也与大语言模型不兼容。田柯宇及其团队改变了做法:不再将图像拉平为一维逐个像素预测,而是保留二维结构,从1×1的模糊轮廓开始,逐步扩展到2×2、4×4、8×8……由粗到细逐级预测,类似人类绘画过程。
结果是,这类GPT式自回归模型首次在图像生成上超越扩散模型:在ImageNet基准测试中,衡量失真度的FID值从18.65降至1.73,推理速度提升20倍,并首次让视觉生成实现了“模型越大、效果越好”的规模化规律。该项目开源后,在GitHub上获得超过4400颗星。
田柯宇最擅长的是,用更高效的架构降低视觉生成成本。两年后他创业,仍是围绕这一核心,只是从图片转向视频,从图像生成转向世界模型。
世界模型处于风口
世界模型,简单来说,是让AI不仅理解单帧画面,还能掌握现实世界的空间、运动和因果关系,预测“下一步会发生什么”。它被视为机器人、自动驾驶、交互式视频等领域的共同基础能力,也是李飞飞、杨立昆等人近年来全力推动的方向。
田柯宇认为,人类语言根本不适用于描述视频。一段猫从桌上跳下的几分钟画面,包含物体位置、运动轨迹、光影和碰撞,用文字描述会丢失绝大部分信息,还浪费算力。
他的方案是为AI创造一套新语言。团队已构建一本包含约20万个符号的“视觉词典”,这些符号人类无法识别,但AI能用它们来表示、压缩和预测视频。“我们首先是在为AI创造一种语言,然后向它输入1亿小时的视频。”田柯宇表示。
采用这种方法,生成1秒视频的成本至少降至原来的十分之一,完整模型计划于2027年发布。
他选择的时间点,正是这个赛道最热闹、也最微妙的时期。
9月1日,李飞飞的World Labs发布Atlas,能通过图片重建3D场景,指定镜头轨迹,生成最长1分钟、1440p的视频。9月22日,国内的PixVerse发布R2,主打长时间记忆,玩家可通过文字、语音、动作实时改变正在生成的世界,剧情即时生成。海外,谷歌DeepMind的Genie 3已允许用户实时探索虚拟3D环境。
10月7日,谷歌与Unity联合发布Playground及即将推出的Unity Spark,用户可用自然语言创建和分享小游戏。
当然,最令行业震惊的是,9月28日,AMD突然宣布以约82亿美元全股票收购World Labs。
一家有资金、有团队、刚发布新模型的公司,为何如此迅速选择出售?李飞飞解释称,下一代AI需要模型研究、系统和芯片紧密配合,加入AMD能获得工程和硬件实力。
这对田柯宇来说是一个双重信号。一方面,它为世界模型投资者指明了一条清晰的退出路径,赛道估值因此被重新点燃;另一方面,连李飞飞都承认,单靠模型团队已不够,胜负手正转向算力、成本和工程系统——而这正是田柯宇押注“便宜一个数量级”的原因。他相当于用一个10人团队,去赌AMD用82亿美元想买的同一个答案。
五源资本、IDG资本为何愿意投资一家没有产品的十人公司?一个可能的答案是,田柯宇正在尝试解决世界模型最昂贵的问题:算力成本。
世界模型开始盈利
目前离客户最近的领域是三维内容制作。
World Labs的Marble已按月收费:标准版20美元,专业版35美元,最高一档95美元,并提供API和企业合作入口。用户输入文字或照片,即可生成可探索的三维空间,导出场景文件,继续交由设计或游戏工具加工。9月发布的新模型Atlas进一步展示了按指定镜头轨迹生成最长一分钟、1440p视频的能力,但完整模型仍处于早期访问阶段。
世界模型解决了广告公司、影视工作室和游戏开发者最头疼的返工问题。导演觉得镜头太高,希望降低20厘米;美术人员希望调整房间内沙发位置。如果每次调整都需要重新生成和布置,AI带来的效率优势就会被抵消。能让同一场景反复修改、导出并融入现有生产流程,才有机会成为软件预算的一部分。
今年8月,World Labs披露,制作公司Promise为Paramount+和CBS的节目《Harlan Coben’s Final Twist》重建了十个历史犯罪现场。部分地点已消失,团队只有旧照片或历史影像。
Promise先修复图片,再用Marble生成三维环境,交给美术人员补充缺失部分、修正细节,最后将场景放入LED摄影棚拍摄。
创意平台Magnific则将Marble接入3D Scenes工具。营销人员可将参考图片转化为三维环境,在其中摆放产品、调整镜头并取景。一组广告需要多个角度时,可围绕同一场景继续拍摄,无需每次重新描述和生成。
对投资者而言,更大的故事在工厂、物流和自动驾驶领域。如果机器人能在电脑中完成大量训练和测试,就能减少昂贵的真实设备试错。这一需求并非凭空想象。
今年3月,ABB机器人宣布将英伟达Omniverse能力接入RobotStudio工业软件,富士康正在试点相关技术,用于消费电子精密装配。ABB设定的目标是部署成本最多降低40%、产品上市时间缩短50%。
自动驾驶汽车需要测试雨雪天气、道路施工和突然出现的障碍。依靠真实车辆在路上测试,既慢,也难以反复遇到相同情况。机器人要进入不同家庭、仓库和商店,同样需要大量环境检验能力。
世界模型提供的机会是批量生成这些环境,让企业将更多测试放入电脑。
2月6日,Waymo发布基于Google DeepMind Genie 3的世界模型。公司当时披露,其车辆已完成近2亿英里的全无人驾驶,而虚拟环境中的驾驶里程达到数十亿英里。
内容、机器人、自动驾驶,三条路径均有潜力,但风险各异。通用模型需要持续烧钱扩大领先优势,应用公司必须做好销售和交付,而被收购则取决于少数战略买家的意愿。
本文不构成任何投资建议。
本文来自微信公众号“铅笔道”,作者:铅笔道,36氪经授权发布。