AI一键生成“类黑神话”！腾讯推出游戏视频模型GameGen-O
什么？大模型也许很快就能生成《黑神话·悟空》这种3A大作了？！
《西游记》这就上桌，搭配BGM，有内味儿了（doge）。
这就是腾讯近日推出的GameGen-O，一个专门生成开放世界视频游戏的Transformer模型。
简单说，这个模型能够模拟各种游戏引擎功能，生成游戏角色、动态环境、复杂动作等等。
当然也支持交互控制，用户可以通过文本、操作信号和视频提示来控制游戏内容。
消息一公布就在（前推特）开启了刷屏模式，网友们开始列队尖叫：
游戏工作室Azra Games的联创兼CTO更是直言：
GameGen-O将成为游戏工作室的ChatGPT时刻。
“游戏工作室迎来ChatGPT时刻”
具体来说，这个项目由腾讯联合港科大、中国科大推出。
推测想要做的事儿，是用AI模型替代一些游戏开发环节。比如目前公布的游戏角色创建、游戏环境生成、动作生成、事件生成以及各种交互控制。
下面我们挨个预览一波~
现在，用GameGen-O就能直接生成各种角色了，西部牛仔、太空人、魔法师、警卫……一键生成。
经费不足造成真实取景困难，也有plan B了！
给队友展示骚操作，各种人称视角的动作生成也能轻松拿捏。
游戏必备环节——给玩家偶尔上亿点难度，海啸、龙卷风、火灾事件这就安排（doge）。
与此同时，GameGen-O也支持开放域生成，即不限风格、环境、场景那种。
后，用文本、操作信号和视频提示就能实现交互，向左、向右、走向黎明……
好家伙，谁都知道游戏开发有多烧钱，这下，普通玩家也能用GameGen-O制作游戏了。
一位AI架构师网友更是断言：
用GPT-4o标注数据
为了开发这个模型，团队自述主要进行了两项工作：
构建专有数据集OGameData，采用GPT-4o标注数据
经历两个阶段的训练过程
具体来说，团队首先提出了一个数据集构建管道。
团队从互联网上收集了32,000个原始视频，这些视频来自数百款开放世界游戏，时长从几分钟到几小时不等，类型包括角色扮演、第一人称射击、赛车、动作益智游戏等。
然后由人类专家对这些视频进行识别和筛选，终得到大约15,000个可用视频。
下一步，将筛选后的视频通过场景检测技术切割成片段，并对这些视频片段进行基于美学、光流和语义内容的严格排序和过滤。
接下来使用GPT-4o对超过4,000小时的高质量视频片段进行细致的注释，这些片段的分辨率从720p到4k不等。
为了实现交互控制性，团队从注释后的数据集中选择高质量的片段，并进行解耦标签（decoupled labeling）。
这种标签设计用于描述片段内容状态的变化，确保训练模型的数据集更加精细和互动。
对于这种人类专家和GPT-4o一起工作的形式，有网友认为：
这是递归自我改进（recursive self-improvement）的一种形式。（人类专家确保了注释的准确性，并通过反馈机制帮助GPT-4o进行自我改进）
完成数据准备工作后，团队经过基础预训练+指令调整两个过程来训练GameGen-O。
在基础训练阶段，GameGen-O模型使用了一个2+1D VAE（变分自编码器，如Magvit-v2）来压缩视频片段。
为了使VAE适应游戏领域，团队对VAE解码器进行了特定领域的调整。
团队采用了不同帧速率和分辨率的混合训练策略，以增强跨帧率和跨分辨率的泛化能力。
另外，模型的整体架构遵循了Latte和OpenSora V1.2框架的原则。
通过使用掩码注意力机制，让GameGen-O具备了文本到视频生成和视频续集的双重能力。
团队介绍称：
这种训练方法，结合OGameData数据集，使得模型能够稳定且高质量地生成开放领域的视频游戏内容，并为后续的交互控制能力奠定了基础。
在这之后，预训练的模型被固定，然后使用可训练的InstructNet进行微调，这使得模型能够根据多模态结构指令生成后续帧。
InstructNet主要用于接受各种多模态输入，包括结构化文本、操作信号和视频提示。
在InstructNet分支的调整过程中，当前内容被用作条件，从而在当前片段内容和未来片段内容之间建立了映射关系，这在多模态控制信号下进行。
造成的结果是，在推理时，GameGen-O允许用户基于当前片段不断生成和控制下一个生成的片段。
目前，GameGen-O已创建GitHub官方仓库，只不过还没来得及上传代码。
感兴趣的童鞋可以先收藏一波了~
本文链接：http://www.vogav.com/v4922.htmlAI一键生成“类黑神话”！腾讯推出游戏视频模型GameGen-O
-
编导如何选择高性能的SSD固态硬盘
随着科技的不断发展，电子产品在我们生活中扮演越来越重要的角色。对于编导行业来说，一个高性能的固态硬盘(SSD)无疑是必备的工具。泪雪网将为编导人员详细解答如何选择一款高
-
电脑插入移动硬盘没有反应怎么解决
当你将移动硬盘插入电脑时，如果没有任何反应，可能是由于硬盘、USB 接口或系统设置的问题。通过排查这些问题，你可以找到解决方法，确保移动硬盘能够正常使用。下面整理了几种常
-
运动相机的主要功能有哪些
在这个追求极限、渴望记录每一个探险瞬间的时代，运动相机凭借其独特设计与强大功能，从专业领域拓展至大众市场，成为户外探险、旅行记录乃至日常生活记录中不可或缺的拍摄利器
-
武汉天河高铁站亮相：犹如一只凤凰 六片羽翼
6月13日消息，近期，沪渝蓉沿江高铁合肥至武汉段（简称沿江高铁合武段）在湖北省境内的4座高铁站效果图首次公开展示。沿江高铁合武段贯穿安徽和湖北两省，全长
-
超拉风！小鹏飞行汽车京津冀首飞：无人驾驶 引拍照围观
6月16日消息，在今日举办的中国·廊坊国际经济贸易洽谈会上，小鹏汇天旅航者X2在北京大兴国际机场临空经济区正式完成首飞。据悉，这也是包括飞行汽车
-
中国工程院院士：中药汉方不存在被日企申请专利抢占市场
6月18日消息，近日，中国工程院院士张伯礼接受采访时表示，中药汉方不存在被日企申请专利抢占市场一说。张伯礼院士表示，整个日本的汉方药完全继承的是中国的