AI infra 顶级大佬尤洋老师分享 open-sora,讲得很透彻,尤其是对低成本训练策略的探索,非常值得学习。
尤洋老师是新加坡国立大学计算机系的教授,也是大模型创业公司璐晨科技的创始人, 他博士毕业于加州大学伯克利分校,师从 James Demmel。潞晨科技有一款非常知名的 AI infra 框架: Colossal-AI,3D TP 就是这个框架提出的。
大家也探讨了 AI infra 的商业模式,有几点收获:
- LLM 结构收敛后推理优化空间接近上限,云端推理需求大概率会被顶级基座模型公司通吃,纯推理 AI infra 只靠 API 很难盈利
- 视频生成类模型尚未找到 scaling law 的最佳路径,仍有一定的优化空间