荣慧
大家好,欢迎收听这一期的《十字路口》。之前我们的 slogan 是“寻找、访谈和凝聚 AI 时代的积极行动者”,今年我们想多找一些朋友,聊一聊他们在 AI 时代的人生选择。
今天的嘉宾,我觉得恰如其分地融合了这两点。他就是 AI 艺术创作者海辛,参与和制作了很多现在 AI 领域比较有影响力的短片。比如最近的作品《故宫猫猫上班记》,全网累计播放量已经破亿;他也制作了龙年央视春晚第一个 AI 动画 MV《枕着光的他》。
今天海辛会跟我们聊一聊他用 AI 创作的故事,他从中体会到的行业变化和进步,以及他为什么会从一个医学专业的学生,成为一个 AI 艺术创作者。海辛,你先跟大家介绍一下自己吧。
海辛
Hello,大家好,我是海辛,目前是一名 AI 艺术创作者。我过去的背景其实是导演,一直在做新技术方面的导演。从 2023 年开始,我陆陆续续做了非常多以 AI 为主的短片,后来到现在,就全职成为一个专门做 AI 影视短片的从业者。
荣慧
海辛要不要先跟大家简单介绍一下你最近一段时间做的作品?
海辛
1. 最近的三部作品
好的。最近在做的作品其实蛮多的。今年做的比较大的几个作品,一个是年初的时候,北京日报邀请我和阿文一起,为他们做一条以 AI 作为核心技术的北京市城市宣传片。这条影片的主要角色是一些故宫小猫,它们从不同的地方前往故宫,在上班的路上会遇到一些怎样的事情。这是一条大概 1 分钟左右的短片。
春节期间,我还帮伊利金领冠做了一条短片,用 AI 的方式复现 3D 动画的感觉。另外,2 月份的时候,我和阿文一起参加了 SING Vision。它是一个 3D 艺术工作室,我们帮他们给霸王茶姬做了一条 TVC 广告。
我们负责的部分,是把 3D 动画白模的风格变成 AI 油画的质感。这大概就是最近刚刚出炉的 3 个短片,手上还有一些正在做、但还没有放出来的短片。
荣慧
我们可以先讲讲《故宫猫猫上班记》的制作故事。我之前搜了一下,发现 B 站上有一个很详细的视频,讲这个创作背后的故事。海辛可不可以先简单跟听众介绍一下这条短片的制作背景?另外,也重点说一下你在做这条短片的过程中用到的工具,以及有哪些地方让你明显感受到工具的进化?
海辛
2. 故宫猫猫如何诞生
这条短片刚开始的时候,就像我刚才所说的,是北京日报找到我们,希望我们能做一条宣传北京的片子。我们当时就在想,这样一条短片做什么会比较合适。
如果以人物为主,我们会觉得类似的短片已经非常多了。而且 AI 在人物表现上,可能还没有做得特别好。我指的是,我们看人的表演,很容易看出究竟是人在演,还是 AI 在演,因为我们对人的脸非常敏感。
所以我们在想,如果想绕开这一点,同时又让大家觉得影片质量不错,也许可以做一些非人的动画。我们就想到了小猫,因为我们自己也非常喜欢猫。当时小红书上刚好也有一些关于猫咪的故事,我们觉得很有意思,于是就在这样的背景下做了这条片子。
一开始的出发点,是主角变成猫以后,我们要用什么形式把它串联起来。我们想讲的是故宫里的小猫,而且希望它处于一个动态的过程之中。如果它已经在故宫里了,可能就没有那么有意思。
所以我们想,能不能让小猫也去上班?它每天早晨可能并不在故宫,而是每天早上去故宫上班,这是我们的一个想法。接着我们就在想,小猫可以怎么去上班。
我当时和阿文脑海里面参考的主要是今敏的几部影片,包括《千年女优》和《红辣椒》。这几部影片有一个非常大的特点,就是在不同镜头之间会切换成不同的风格。
比如《千年女优》里面,女主角在奔跑的过程中,随着景别的切换,会变成不同时代、不同电影的置景。我一直觉得这种模式对我的影响非常深刻,很少看到这么绚丽的讲故事方式。
所以我们在想,是不是可以在这条片子里致敬今敏的这种模式。小猫在上班的过程中,经过不同的地标、不同的文化建筑时,也可以变成不同的风格。这样在视觉上,大家看的时候也许会觉得更有意思。
我们就从这个方向开始探索。最开始只有一个雏形:一只小猫在不同风格之间切换,然后去到北京。确定了这个梗概以后,我们就开始找参考素材。
因为我之前有影视背景,所以一般会用一些影视素材网站。我用的是 ShotDeck,里面基本包含了所有电影的经典镜头和分镜。你可以非常方便地在 ShotDeck 上检索不同类别、不同关键词,找到很多精彩的影视镜头。
我们就在里面寻找自己喜欢的镜头,然后把主角换成猫。这就是创作刚开始的一些参考和想法。
后来到了分镜阶段,虽然已经有了一个很详细的计划,但我感觉 AI 制作的整个过程一直在被不断推翻。有些镜头 AI 可以实现,有些镜头 AI 实现不了,所以我们在制作过程中,也不断推翻之前的方案。
当时基本上两周里每天最多只能做出 10 秒。如果能做出 10 秒,我们就已经非常开心了。它和我们平时做的一些商业片不太一样,因为这部片子纯粹是我们的创作。
传统影视制作里,如果导演一开始只拍了这些镜头,后期剪辑时没有更多素材,我可能就只能就着这些镜头剪辑。但 AI 时代没有这个借口了。如果你想要某个素材,就可以自己生成,再也没有可以逃避的机会。
所以我们基本上做出一个镜头,在做下一个镜头的时候,都会反复要求自己:第二个镜头有没有在第一个镜头的基础上,给观众增添更多情感?有没有新的增量?观众看到下一个镜头时会不会觉得无聊?情绪会不会掉下来?
整个过程中,我们不断这样追问自己,所以制作速度特别慢,也特别煎熬和痛苦。最后大概就是这样制作出来的。
和以前的 AI 产品、技术相比,我们现在越来越觉得,基本上我们想的东西,大概率都能实现。图片质量已经非常好了,比较简单的动态也基本都可以实现。
现在可能还做不到的,是非常飞的一些运动镜头。比如毕赣的《路边野餐》,可能一个镜头就可以持续很长时间,把整个片子带完。但 AI 如果做长时间镜头,还是会出现各种各样的错误。
如果镜头调度非常大,它可能也还不太行。所以大家看《故宫猫猫上班记》也可以看到,它基本都是固定机位的镜头:一只小猫动一下,然后快速切到下一个镜头。整个片子的制作过程基本就是这样。
荣慧
我有几个补充问题。一个是,这个片子大概做了多久?第二是,你的甲方提了什么样的要求?你刚才说,好像其实并没有什么要求,是吗?
海辛
是的。这条片子前前后后大概制作了两周,因为中间还穿插了一些其他工作。两周对于我们来说,已经是做这条片子比较极限的时间了。
基本上每天都得有有效产出,最后才能堆到 1 分多钟。甲方对内容没有什么要求,只有时间上的要求:希望我们做成 1 分 30 秒左右,同时尽量带到更多北京的元素。大概就是这样,没有其他要求。
荣慧
那我们就可以放飞了,做自己想做的。
海辛
对。
荣慧
两周时间我觉得已经很快了。
海辛
对,比较快。但在 AI 圈内,基本上一条 1 分钟左右的视频,应该 1 天左右的量就可以做出来,大家出活都挺快的。
荣慧
因为 AI 现在变得很容易。如果不是特别精细地雕琢,产出还是比较容易的。我们觉得海辛的经历,其实可以很好地反映两个方面:一个是作为一线创作者,他可以非常直观地感受到工具的演化;另一方面,也可以反映客户以及市场对于 AI 创作的接受程度。
先说前一个方面。你刚才提到,现在有很多东西都可以做了。对比之前的某个时间节点,有没有一些以前你做片子时想实现但实现不了的东西,而现在你比较直观地感受到了一些比较大的技术进步或突破?
海辛
3. 工具进化的三个突破
我觉得比较大的技术突破,一个是角色的稳定性。以前我们上传一张自己的照片,希望让他笑一下,或者转个头,他可能在笑、转头的过程中形态就变了,变得不是我了。或者让他说一些话,说着说着,你就能感觉到这个人的脸已经变了。
以前角色稳定性还不是很高。我们甚至会上传一些中国老年人的影像,人物说着说着就会变成美国老爷爷,这也挺常见。也就是说,在单个镜头里,它没有办法始终锁定住一个角色的身份。
现在就会变得非常稳定。比如我是一个角色在说话,或者一只小猫在那里走路,大概率不可能在中间突然变成其他东西。我觉得这是一个非常大的突破,因为只有角色稳定了,才可以讲以角色为主的故事。
不然观众会迅速看出 bug,然后从故事中跳出来。所以有了角色稳定性,我觉得它才具备了讲故事片的基础。
另外一个是画面质量提升了很多。以前的 AI 影片经常会出现画面在整个过程中越来越模糊的情况。比如第一秒还很清晰,但到了第三秒,中间的一些细节、背景细节可能就糊到一起了。
这也使得一个镜头没有办法长时间使用。即使生成了 5 秒的镜头,真正能用的可能也就只有 1 到 2 秒,基本没有办法稳定地讲一个故事。
还有一个是对风格的兼容性提高了很多。以前的 AI 视频,其实也就是半年前、一年前的样子,大概是在做写实类型的动画时,表现会比风格化动画好很多。
比如我输入一个人跑步,它大概率可以生成一个人在跑步的写实形态。但如果给它一张 2D 插画,比如一张塔罗牌的牌面,明显是 2D 手绘风格的质感,它大概率没有办法让它真实地动起来。
现在的 AI 动画对风格化动画的表现也非常好,从 2D 动画、3D 动画,到一些比较抽象的风格,甚至今天我和阿文还在尝试做拼贴风的动画,质量都挺高。
也就是说,它可以模仿的动画类型越来越多,不仅仅是写实方面。这也是我感觉进步非常明显的地方。
总结来说,主要是 3 个方向:一个是画面质量更高、清晰度更高;另一个是角色稳定性更高,甚至包括场景里一些细节和物品的稳定性也提高了;还有一个是对风格化的支持范围越来越广。
荣慧
现在已经成为标配了吗?
海辛
现在的工具在这 3 方面做得还不错,但还有一些不够好的地方,包括丰富的镜头运动,以及场景本身的稳定性。
刚才说的是,我作为一个角色在这个房间里面是稳定的。但如果我在镜头里反打一个机位,它可能可以理解我这个角色,却没有办法理解我所在的时空和场景。
这个场景可能不是一个稳定的、不会出错的 3D 场景,这可能是一个问题。我不知道自己有没有讲清楚:大家从这个角度看到我的镜头,它可能可以生成我的视频,但没有办法生成我这个机位的反打镜头。
对于整个画面中我对面的场景,它可能不知道应该是什么样的,所以场景在整个过程中会不断变化。
荣慧
反打就是你现在面向的方向,对面那个镜头,是吗?
海辛
可以理解为 iPhone 的前置摄像头和后置摄像头分别看到的画面。
荣慧
对。
海辛
因为场景不太稳定,模型还没有办法理解它们可能是同一个场景,所以经常会穿帮。
[Speaker?]
最近 Sora 发布正好一周年。还记得去年大年初三,半夜凌晨四五点钟,我摸手机发现朋友圈在刷屏,一下子就惊醒了,之后就没睡着。那时候真的觉得,AI 怎么能够做出那么厉害的视频,简直像外星来物一样。
但过了一年的时间,一切好像都变得自然而然了。最近《十字路口》也做了一系列和 AI 视频有关的内容,想看看这一整年。看上去好像是顺水推舟,但仔细回头想,其实是翻天覆地的一年。
我们邀请了 Luma AI 的产品经理 Barclay,录了一期《十字路口二十问》。我们用 20 个问题,一起来复盘和梳理 AI 视频模型这一年。在硅谷和中国,各种 AI 视频产品,从巨头做的,到几个非常重要的创业公司做的,它们分别选择了什么路线,做出了哪些进步和突破。
Barclay 的视角,是行业一线产品经理的视角。同时,我们还请到了 Vozo AI 的创始人昌胤,和我们分享他从 Google X 这样一个全球顶尖的科研团队研究员,变成一个非常接地气的 AI 创业者的故事。
Vozo AI 发布后大幅刷屏,也登上了 Product Hunt 的榜首,不只是日榜榜首,还是月榜榜首。这个成绩,中国出海产品里没几个人做得到。他们也只用了半年,就从 0 做到了 ARR 100 万美元的收入。
昌胤那一期,是行业一线创业者的视角。本周请到海辛,是因为他是一线 AI 视频创作者中的佼佼者。他和搭档阿文不但一直在创作各种爆款作品,同时在审美表现和内容表达上也有自己非常独到的地方,做出来的东西都很有灵魂。
所以今天请到海辛,我们也很想听听,除了之前的一线从业者和一线创业者之外,海辛作为一线创作者,对于视频这一年发生的各种变化,有哪些不一样的观察和视角。
想问海辛的第一个问题是:你自己最喜欢的 AI 视频产品是哪一个?以及你自己花钱最多的 AI 视频产品是哪一个?它们是同一个吗?
海辛
4. AI 工具各有专长
我目前最喜欢的是 Google 的产品,叫 Whisk。它目前不花钱,是免费的。
我最喜欢它的原因,是它生成出来的图片质量非常高。如果让它生成写实风格的图片,基本上真的跟真实照片差不多。我觉得《故宫猫猫上班记》能够做成,原因之一也是我们的图片基底基本都是用 Whisk 来做的。
我觉得它比目前行业一线的一些 AI 图像工具都要好很多。AI 视频工具的话,目前我感觉暂时还没有 SOTA 级别,基本上各家的模型都有自己的优劣。
比如可灵可能在写实场景生成上非常好;海螺在风格化动画方面特别好,镜头运动控制也会比其他家好一点;我还比较喜欢 PixVerse,它的特点是转场镜头非常丝滑,可以判断动作的连续性以及结构怎么变化,总能找到更合理的运动方式。
所以这 3 家我都用得挺多。如果说花钱的话,可能这 3 家付得差不多,都是按照最高的标准充会员,基本是这样。
荣慧
有没有什么大家都不看好,或者大家好像还不知道,但你特别喜欢的 AI 图像或视频产品?刚才说了一个 Whisk,还有其他吗?
海辛
Google 旗下还有 Imagen 3。Whisk 是它的 Imagen 3 模型的一个产品,它自己的 ImageFX 也是基于 Imagen 3 的一个产品。我觉得这两个效果都挺好。
另外,可能还不广为人知,但在业内其实挺有名的,是即梦的图像生成工具。大家用即梦比较多的,可能是它的视频生成,但我们感觉它的图像生成也非常优秀,尤其是在中文文字的表现能力上。
它可以直接生成准确的中文文字。如果文字不多,做海报之类的会非常方便。我觉得这是视觉模型的一大进步,至少在中文文字表现上是这样。
荣慧
我自己作为一个非创作者,感受是每天或者每周,各个大厂和重要的视频公司都在发布新的 feature 或新的产品。最近有没有哪个产品发布的某个新 feature,让你印象特别深刻?
海辛
我觉得有两个。一个是 PixVerse 的 Auto Sound,它生成视频的时候,可以同时把对应的音频一起生成出来。
一开始我没有那么在乎这个功能,是因为我已经习惯了把视频全部做好以后,再去配音频。我当时想,AI 生成的音频大概率还得重新做。
后来我发现,它直接帮我生成音频,对我来说其实有非常多的好处。我有大量的情况是只发短视频,很多短视频一个镜头出来就可以直接发布。
比如在富士山上倒雪,可能只有一个镜头、几秒钟。如果这种情况下还要重新进剪辑软件找配音,反而会比较麻烦。
所以我感觉 Auto Sound 不仅效果好,也确实切中了我的需求。对于一些轻量化、比较短的创作,可以直接用这个 feature 达到不错的效果。
另外一个我非常喜欢的,是海螺最近出的 Director Mode,也就是导演模式。这个模式可以控制镜头。你可以组合控制文生视频或者图生视频时,镜头具体怎么运动,而且使用的是专业的导演语言。
比如先放一张东方明珠的图片,然后告诉它:接下来向左移一点,再向下沉一点,然后围绕它做一个旋转镜头。你可以使用这种非常复杂、专业的镜头指令,生成一系列视频。
我一直非常希望能在 AI 模型里控制镜头,所以我觉得这个功能完全切中了我的需求。这是我非常喜欢的两个 feature,都是最近才出的。
荣慧
你会觉得现在还有小团队创业做 AI 视频产品的机会吗?刚才我们提到的每个名字背后,要么是 Google 这样的大厂,要么是 MiniMax 或快手这样财力也非常雄厚的公司。创业公司还有机会吗?
海辛
我最近也在想这个问题。我在想,为什么这么久还没有出现 SOTA?我觉得是因为各家都会在这个方向里找到新的方向,大家攻克的问题并不一样。
可能正是没有哪一家可以完全攻克所有方向,才使得创业公司有机会。比如 Pika 可能专攻 AI 视频特效:在一个视频里加入新的元素,把原有视频的某些元素替换掉。
视频的玩法实在太多了,所以即使不做基础模型,可能也有机会去攻克视频的某一个方面。比如攻克视频文字包装,怎么把文字优雅地贴合进去;控制视频的自动打光;或者只去做某一个具体的特效模板,我觉得都可能有戏。
既然每一家都还可以找到这么多不同的新方向,也许还有其他公司入局的机会。
荣慧
如果你自己要创业呢?我知道除了创作者之外,你之前也做过视频公司的产品经理。如果现在要创业,你有没有看到过一些曾经让你心动的产品机会?
海辛
我之前特别想做的,是在画布上做故事板,然后在故事板上做视频。我觉得这个模式其实比较基础,也会是未来一定会出现的视频产品形态。只是当时可能机缘巧合,还没有完全做出来,受限于当时的视频生成非常耗时间,每个视频要生成很长时间,成本也非常高,所以当时那个工具的形态可能还没有完全 ready。
但现在如果让我去做一个 AI 视频产品,我最想做的方向是虚实结合。不是我有一张全新的 AI 图片,让它动起来,而是我在生活中拍一段视频,然后用 AI 给它增加其他东西。
比如 Pika 可以在视频里增加新的元素,给视频里增加皮卡丘。我想做的,是把平时拍到的东西增加新的特效。
以前好莱坞电影可能会先拍一个城市的空镜,用航拍机就可以拍。但现在我假想的 AI 视频产品,可以给这个已经拍好的城市空镜增加被海洋吞没、被海啸吞没,或者被陨石击中的特效。
我觉得和现实结合的 AI 作品会更容易吸引大家的眼球。即使它的质量看起来可能不如纯电影质感的作品那么好,也会更有吸引力。
荣慧
作为一线创作者,你和这些做 AI 视频模型或产品的公司会有交流吗?
海辛
交流很多。刚才提到的几家 AI 视频公司,我都是它们的超级创作者。
早一点的时候,模式可能是直接提需求,或者让他们看我做出来的东西,对他们也会有启发。他们也会经常联系业内从业者,了解目前大家最重要的诉求是什么。
比如业内一直会反馈,角色稳定性非常重要,1080P 也非常重要,他们可能就会把这些需求提上来。
除了超级创作者以外,我和一些 AI 产品公司也是顾问关系。比如我现在是美团妙刷的顾问。妙刷基本上是基于 ComfyUI 的一系列玩法做创新。
我会跟他们一起讨论,目前有哪些玩法是 AI 图像生成模型可以做的。比如我们之前做过毛绒玩偶风格的 Shirley Cat,就是上传任何一张图片,把它变成 Shirley Cat 的风格;我们还做过《哈利·波特》的入学动态海报等一系列玩法。
这种合作模式,会比和 AI 视频公司做超级创作者更深入。大概会从整体创意方向,一直到最后如何执行落地,甚至宣传推广,也会参与一些工作。
荣慧
和这些团队接触时,除了刚才提到的具体产品和功能,有没有什么让你特别有印象、特别有意思的事情?你觉得这些团队的人员构成,会不会和传统团队稍微有些不一样?
海辛
我接触到的团队,在不同时间段不太一样。2022 年、2023 年的时候,我接触到的一些国内 AI 团队,产品团队可能真的基本都是开发者背景、算法工程师背景。
但从今年开始接触一些团队,会发现里面也有很多创作者背景的人。他们可能之前就有艺术创作或视频特效的背景。
国内有一个很有名的 AI 创作者叫归藏,他之前也是做视频特效的。所以我觉得确实发生了一些变化:以前可能是纯开发者、纯技术研究者、纯算法工程师的背景,现在会越来越 mix,可能会有更多艺术背景的人加入。
因为这个行业还是需要吸收非常专业、非常了解创作的人。
荣慧
海辛应该是市面上所有新的模型和工具出来以后,都会第一时间试用。可不可以帮我们点评一下现在最主流的模型和工具?比如海螺、可灵、PixVerse、混元,也包括字节的模型;海外的比如 Luma、Google 的产品或者 Sora 等等,可不可以依次点评一下?
海辛
5. 主流模型各有强项
好的。大概可以分成两大类。第一类是图像模型。图像模型里比较厉害的几家,分别是 Midjourney 和 Google 的 Imagen。
Midjourney 大家肯定都知道,是从 2022 年、2023 年开始就一直非常火的 AI 工具。它生成的图像非常有审美。
从去年年底开始,Google 的 Imagen 也逐渐出现在大家的视野里。大家会发现,它的效果居然比 Midjourney 还要好,质感也会比 Midjourney 更真实一点。
图像类除了这两家,我还特别推荐即梦 AI。它应该是目前少数可以生成中文文字的 AI 生成工具,而且融合了很多以前开源工作流里大家比较熟悉的功能,比如 ControlNet。
具体来说,它支持轮廓参考、骨骼参考、边缘参考等。我觉得它非常好用,也在逐渐变得越来越好用。有很多时候,我甚至觉得用即梦的效果比用一些开源工作流还要好。
从视频模型的角度,我觉得可以提到名字的几家分别是可灵、海螺、PixVerse 和 Luma。
可灵目前在写实风格上应该是绝对的第一梯队。海螺在风格化动画和摄影机控制方面,是目前第一梯队,一定是做得最好的。
PixVerse 现在绝对是速度最快的,同时在转场能力和关键帧动画方面,效果也是最好的。它提供的自动添加音频功能,也是最好的。
Luma 是我非常关注的一家公司。首先,它官网的 UI 界面真是一流,比其他家更重视整体的 UI 体验和审美。
它主要是动画模型,在动画风格方面,我觉得它动起来非常自然。我在国外网站上看到很多用 Luma 做的、比较偏宫崎骏风格的动画,真的和传统吉卜力动画工作室做出来的差不多,已经是这种级别了。
还有一些值得关注的公司,比如 Runway 可以持续关注。虽然已经很久没有听到他们的声音了,但它毕竟是第一梯队的大佬。
另外一家是 Pika。Pika 和主流的图生视频公司不太一样,它专注于做一些特效,比如把一个人物变成气球飞走,把一个人物捏碎。这些特效最开始都是 Pika 做的。
他们现在也在做一些结合实拍的特殊效果,所以我觉得他们是另辟蹊径的一家公司,也非常厉害。
荣慧
除了创作者工具和相关公司,另一方面其实是市场对于 AI 创作的接受程度。我看过海辛去年 8 月或 9 月的一次公开分享,你提到电影预告片讲究氛围,不需要很强的逻辑和关联。
前两年这种内容相对更多,强调强叙事、用大量镜头通过同一个角色串联起来的内容,反而比较少。你现在觉得有什么新的变化吗?
海辛
6. AI 开始真正讲故事
我觉得现在要做一个以角色为主角的影片,逐渐变得容易了,虽然还是没有真人实拍那么容易。
今年我看了 Project Odyssey。它是一个全球 AI 艺术创作者的比赛,其中有一个赛道叫 Narrative,也就是故事片。里面越来越多故事片的故事变得精彩了。
其中有一部进入前几名的作品,讲的是一个圣诞节出去吓人的骷髅。我在看的时候,发现自己好像真的在关注它的故事,而不是关注它会不会穿帮。
我觉得以前看 AI 作品时,初期关注的是 AI 技法,但现在已经比以前更能讲故事片了。不过,氛围片、先导片、概念片可能仍然是目前 AI 最擅长的地方。
荣慧
我看《故宫猫猫上班记》,感觉它其实已经有一些故事片的感觉了。它在讲这几只猫上班路上的所见所闻。
海辛
是的。但我们其实避开了一些问题。比如我们用的不是同一只猫,而是不断切换不同的猫。这样就不需要严格让观众去想这只猫的故事是什么。
不然下一个镜头里,它脸上可能多了一道花纹,观众就会觉得这只猫变了。像这类情况,我们还是尽量避开。
荣慧
你做的第一支 AI 相关的商业短片是哪一支?
海辛
第一支 AI 商业片应该是 2022 年 5 月、6 月在上海文广做的。当时帮《这!就是街舞 5》做先导预告片,大量使用了 AI,具体来说就是用 Midjourney 做场景素材和美术。
这应该是第一支。之后又做了更多尝试,不过更多还是把 AI 当作概念美术的辅助。
荣慧
我好像记得你在一次分享里提到过,当时做的是李承铉的那一支?
海辛
其实每一个队长我们都做了,包括李承铉、刘雨昕、王一博和韩庚。他们基本都用了非常强的 AI 来辅助背景生成。
但李承铉这个案例是最好的,因为他的整个背景里,AI 占的比例大概有 80% 到 90%。其他几支可能只有 10% 或 30%,比例不太一样。
荣慧
当时这个契机是因为疫情吗?
海辛
对,是因为疫情,整个工期被耽误了很多。原本我们打算 3 月或 4 月开始制作,因为《这!就是街舞 5》要在 8 月上线,所以一定要提早开始。
但因为疫情,两个月都没有制作。到了 6 月,我们才一起到杭州制作这个片子。制作工期比以往正式的制作时间压缩了很多,经费也不够,所以必须快速出活。
当时我就想,是不是可以用 AI 做一些概念性的辅助。于是我们在剧组里开始用 Midjourney。它可以快速验证可行性。
当时我们发现,拿着 AI 生成的东西在现场和导演、艺人沟通,会快很多。以前可能需要美术指导,先听我们描述需求,回去画一稿,再拿回来和导演沟通。
但当时导演如果突然说:“我们可不可以要两个月亮?”我就可以快速生成两个月亮,直接在现场和艺人、导演把方案和方向敲定。
我当时就觉得,这个模式说不定真的能行,后来就开始涉及更多 AI 方面的尝试。
荣慧
他们当时对于 AI 的成分有多少,其实可能不是很在意,只要能够加快工期就可以,是吗?
海辛
是的。而且大家也觉得很神奇,AI 居然可以做到这些事情。大家其实都是看效果。
荣慧
那你后来接触到的这些甲方,对 AI 的态度有没有比较明显的变化?比如有的甲方找你们,是因为他们本身就想尝试一下 AI?
海辛
是的,他们在业务上可能想尝试。我遇到最多的甲方,最早是游戏公司。
对游戏公司来说,大量美术资产的制作一直非常重要。所以很早的时候,几家游戏公司就邀请我做过一些分享,聊 AI 如何帮助游戏,尤其是游戏原画、游戏资产和图标设计,快速提升效率。
我觉得大家抱着的是一种探索态度,没有特别强的抵触情绪,都想看看 AI 能做到什么成熟程度。
后来大概半年以后,影视相关的公司多了起来。具体节点可能是 Runway 的 Gen-2 出来以后,大家开始想:它是不是可以做一些东西?
当时 Twitter 上开始出现一些 AI 方向的影片,国内一些广告公司也开始思考,能不能拿 AI 这个点来做广告片。
比较大的一个案例,是联想和 GQ 联合做的一条关于山竹的广告片,大概是找我们来做的。那条广告在宣传时,主要打的方向是“这是一条 AIGC 片子”。
但到去年年底、今年,我们接触到的短片,大概率已经不是为了强调“这是一条 AI 短片”。它们更侧重于 AI 能完成的某一个效果。
比如把所有的地标变成毛绒玩具。大家是追着这个效果来的,而不是追着“这是 AI”来的。因为这个效果很有趣,大家喜欢,而这个效果是 AI 做出来的,所以他们来找 AI 创作者做这样的短片。
今年从伊利金领冠到霸王茶姬,大家也是追着效果来的。伊利金领冠觉得可以做成 3D 的效果,于是找我们做;霸王茶姬想要偏油画风格的广告,而 AI 转绘刚好可以实现,所以他们来找我们。
所以我感觉,AI 从一开始的噱头,逐渐变成了真正的工具。
荣慧
之前那些广告公司或视频公司也会用 AI。你有没有发现,对于这一批做得比较好的创作者来说,他们多数是从零开始,没有过去的包袱、束缚、习惯和惯性?还是说,他们过去扎实的基础也能带来帮助?
海辛
扎实的基础肯定可以带来帮助。有两个例子。
一个是我们做 AI 图像的时候,有一个非常著名的 ComfyUI 工作流网站,叫 OpenArt。这个网站上有很多 ComfyUI 工作流,大家会下载其他人的工作流来使用。
在这个 AI 艺术创作平台里,最受欢迎的工作流作者之一叫瑞。我们了解以后发现,他其实有 15 年的游戏美术背景。我觉得这是一个点。
另外一个点是,我们做 AI 视频时会发现,曾经拍过片子,或者有影视背景的人,会更容易上手,也更能做出一些好的东西。
一个很明确的特点是,如果他曾经有影视背景、做过短片,就会有比较强的分镜意识,也会有不同景别的意识。
如果没有这方面的经验,直接上手做,很多人可能会让整条片子都是同一个景别:一个全景、一个全景、一个全景地接起来。这样就会缺乏叙事感和节奏感,尤其是景别上的节奏感。
我觉得这是纯粹经验上的东西。这个经验在一开始会存在,但未来随着大家制作的时间越来越多,也会逐渐补足。不过确实,如果之前有经验,更容易做出好的作品。
荣慧
甲方问你的问题,主要集中在哪些方面?他们对于 AI 创作作品的好奇,或者关心的方向,主要有哪些?从过去到现在,他们集中关心的话题有没有变化?
海辛
他们经常关心的一个点是:AI 生成一个视频以后,整体氛围可能所有人都特别喜欢,我们作为创作者很喜欢,甲方也非常喜欢,但甲方可能会对其中一些细节挑刺。
比如一匹马在高原上行走,整体氛围特别好,但甲方希望这匹马走得再慢一点,或者在动作衔接时不要有动态残影。
这种问题没有办法修改。传统制作流程肯定可以修改,可以回到工程文件里,修改具体的点,修改速度、镜头帧率,就能改变这些问题。
但 AI 生成出来的就是一个定稿。它生成出来以后没有图层,我也没有办法再回去编辑。一旦要修改,就需要重新生成。
这是甲方非常不习惯的一点:他们这次做出来的一些东西,很多没有办法修改,一旦修改就需要重新做。
荣慧
我刚刚也想到,流程上可能会发生变化。以前我不太熟悉视频提案,但我猜一般提案会有一个简单的初稿,甲方可能会提出一些修改意见。但用 AI 生成的话,这种修改可能会非常麻烦。
海辛
是的。所以现在基本上会提前和甲方说好,大概率有些东西是改不了的。如果要改,可能就只能更换。
当然我们还是会进行创意提案,但从创意提案到分镜的环节,也会和甲方说清楚:虽然现在是这样一个创意提案、这样一个分镜,但根据我们的制作经验,中间大概率会有一些无法实现的部分,整个过程会是一个不断灵活调整的过程。
荣慧
还有一种说法是,因为现在用 AI 做视频变得更容易,所以大家给甲方报价时会越来越卷、报得越来越低,导致乙方过得越来越惨。你有这种感受吗?
海辛
我自己倒是没有。因为最近我和阿文做的作品质量比较高,所以我们的报价反而变高了。
但我也不知道。我觉得在某一个阶段,AI 解决的问题可能是效率和成本,但 AI 也有增量价值。它的增量价值,是以前影视行业里不那么容易实现的东西。
这些效果可能只有 AI 能做出来,所以报价未必会因为 AI 的能力提高而降低。
我有一些例子,等会儿也可以分享。英国有一位做动画的朋友,他做了一个 AI 广告短片。大概是一个沐浴露广告,表现方式是一个男性在各种空间里来回穿梭。
比如他会出现在一大堆橙子的环境里、海底,或者像猿人一样在树林里荡来荡去。这些在传统制作中非常难,而且里面还有一些只有 AI 才能实现的衔接效果。
这些在传统制作里基本做不到。我觉得这就是 AI 的增量,它在想象力方面确实非常强。这样的东西可能就是 AI 独有的价值,不只是降本增效。
荣慧
这是不是就像我们之前聊过的:现在的作品既要让观众感觉没有 AI 味儿,又要让 AI 发挥作用,也就是发挥创作和创造力的部分?
海辛
是的。我最近在做一个拼贴风格的动画,和阿文一起做。我们发现,AI 可以让拼贴风动画动得非常符合传统 MG 动画的拼贴质感。
但做到一半我们发现,如果只是用 AI 复现拼贴动画风格,那这条短片用 AI 做的意义是什么?
所以我们要求它不仅能够复现拼贴风格,同时还必须做出一些新的想象力。我们现在做的一个效果,是拼贴画里的一个元素,可以在不同的拼贴画之间来回穿梭。
它可以打破拼贴画只有 2D 平面的质感,进入 3D 空间,再回到 2D。AI 可以做到这种效果。
我们觉得,这种新的效果是传统拼贴动画里没有的。对我们来说,这部分内容非常有价值。我们不仅要复原传统制作里已经存在的效果,还必须创造一些新的效果,我觉得这是大家更想看到的。
荣慧
大家常说一句老生常谈的话,叫“万变不离其宗”。即使 AI 可以带来很多新东西,最重要的还是讲故事的能力。
但我在想,我们这个时代讲故事的方式,是不是也会出现更多不同的元素?因为 AI 可以帮你想象,突破人的一些想象力,创造出更多的想象空间。它可能会让故事变得更丰富,或者有更多层面。
海辛
我觉得是的。最开始打动我、让我想做电影叙事的,是皮克斯的《飞屋环游记》。
里面有一幕,整个气球把房屋一下子拽起来。我觉得那一瞬间打动我的可能不是故事,而是单纯被想象力打动。
我觉得 AI 现在让我们痴迷的地方,就是我好像也可以用它创造这样的时刻——让人纯粹被想象力打动的时刻。
我在想,为什么想象力本身会打动我们?可能是因为想象力会让我们瞬间脱离原本的生活。从生活里出来以后,我们会感到自由,感到外界有无限的可能。这可能就是想象力本身带来的东西。
荣慧
那我们来聊一聊海辛的故事。我之前知道海辛是学医的,我觉得这个经历很有意思。你可以讲一讲,为什么会从一个学医学专业的学生,后来去学电影?
海辛
7. 从学医走向艺术
看《飞屋环游记》的时候我还在高中。当时看到那部电影,我第一个感觉就是:我希望自己是创作那个镜头的人。我希望自己是那个东西的一部分。
当时我给自己定的最大梦想,就是加入皮克斯动画公司。人生理想是成为皮克斯动画公司的一颗螺丝钉。我觉得这就足够让我幸福了。
高考结束时,我其实想着也许可以去读编导,但当时对职业是怎么划分的没有很清晰的概念。我在想,也许可以读编导。
但当时成绩还可以,家里人特别希望我学医。我在四川成都长大,成都一个非常有名的学校就是四川大学华西医学院。对成都人来说,家里有孩子去那里学医,是一件很光荣的事情。
所以家里人特别希望我去那里学医。即使我和他们发生了争执,他们也没有特别听进去我的诉求,还是强制让我学了医。
那是我第一次感觉到,可能是我和家里人第一次真正的争执。我当时也不是非常自信,最后还是选择了和家里人一样,去学医。
我不自信可能有两个原因。一个是对自己能力不自信,不确定自己成为艺术家以后能不能养活自己。另一个是对艺术这个专业本身不够自信。
在我那个年代,大家会说学艺术是成绩不好的人才去学。虽然我现在完全不这么想,但当时我对这个选择非常怀疑,对自己也非常怀疑,所以最后还是选择了学医。
大学 5 年期间,我也逐渐开始琢磨:我到底想做什么?怎样的人生才是不会让自己后悔的人生?我做这件事的目的,是为了成功吗?我想学艺术,是因为想成功、想获得什么吗?
在这个过程中我发现,我做这件事的原因,是因为它最能让我快乐。想通以后我就知道,即使不成功,这也是我要做的事情,因为它是最让我感到快乐的事情。
想通以后,我决定去学艺术。应该说,在这个过程中,我有了独立的思考能力和独立的人格。
大四的时候我开始申请艺术院校,大五顺利拿到了 offer。虽然和家里发生了非常大的争执,但这次我没有妥协,最后顺利去了国外学艺术。
荣慧
学医应该还挺辛苦的。你当时有没有做一些 side project,发展自己的爱好,从中感受到这种快乐?
海辛
学医确实很辛苦,但我觉得大学还是有很多空闲时间的。我大学做了很多尝试,成立了一个广播剧社团,也做了各种各样的活动。
我还加入了川大哲学学院梁中和老师办的柏拉图学院。大概每两周,大家会聚在一起读柏拉图的书。
我做了很多和本专业没有关系的事情。我觉得正是在这个过程中,才逐渐了解自己到底想要什么,什么东西在滋养我。
文学和艺术是我真正喜欢的东西。真正花时间拍作品集,基本也就是大四那个寒假开始,其实没有花太多时间。
荣慧
你一直很清楚自己喜欢这个,只是做了很多不同方向的探索。
海辛
对。我会做很多不同方向的探索,但喜欢电影和艺术这件事一直都很清楚。
荣慧
这很像我们之前那位嘉宾 Justin,也就是牧童科技之前的 CEO 说过的话。他说,很庆幸自己小时候做过一些在当时看来没用的尝试。
之前有一期节目,许知远和一位老师回学校时提到过一句话,我印象也很深,叫“无用之用,方为大用”。
海辛
很多选择可能在大学时就已经有倾向了。比如做很多活动,选择很多事情去尝试,尽量不会以比较功利的角度去选择,不会先想这件事能给我带来多少帮助。
因为我当时意识到,自己有很多不同的需求。我有让成绩变好的需求,有找到更好工作的需求,但同时也有感受有趣的需求、创作的需求,以及想感觉自己是一个不错的人的需求。
这些需求会让我去做公益尝试,参加哲学学院的活动。它们可能在功利角度上无法带来直接回报,却满足了一些对我来说非常核心的需求。
这些东西一起构成了我。所以我觉得,那些散开的东西反而让我变得更立体、更丰富。虽然它们现在可能还没有显性的好处,但对我来说很重要。
[Speaker?]
你刚才讲的这一点让我很有感触。它有点像高敏感型人的一个特质。大家可能会觉得敏感不是一件好事,但你说的其实是:比较敏感地感觉到自己需要什么,然后做一些事情满足这些需要。这也是发展自己的一种方法。
海辛
是的。我一直在尝试不要被某些标签,或者自己的职业,限定自己应该往哪个方向发展。我觉得这对我的经历来说还挺重要,也让我可以随时跨到其他行业。
荣慧
我觉得听到这里,应该有很多人会很羡慕海辛。很多人都处在一个个十字路口,觉得眼前做的事情不一定是自己喜欢的,也很想找到自己热爱的领域。
很多听这个播客的人,可能也想成为一个创作者。对于这样的人,你会给他们什么建议?尤其今天 AI 降低了创作门槛,你会建议他们先从什么工具开始,或者先从什么创作开始?
海辛
我觉得第一点就是先动手做起来。可以先做一些比较简单、比较小的事情,但一定要动手,不要先想象它是一件很难的事。
我觉得这是做任何行业的第一件事。包括我自己以前用 AI 写代码、做一些小程序,先不要被自己想象出来的困难吓倒,先做一些小案例。
可以跟着教程做一个小效果,或者只是生成一张图片,也都很好。先做起来。
做起来以后,开始记录自己的成长,也可以更频繁地把它们发到自己的社交媒体上。即使现在还不够好,也没有关系。
有一句对我以前非常有帮助的话:完成大于完美。我觉得就是这样。不断完成,不断发出来,就可以看到自己的变化,看到自己走了多远。
这个过程会带来非常强的正反馈和激励。
但在现在的我看来,自己逐渐有了一点变化。我前 28 年基本都是“完成大于完美”,先做出来、先丢出来,即使不怎么样也没有关系。
从去年开始,我发现和自己死磕是有价值的。做一个东西,要不断拷问自己:这是我真正想表达的吗?这是我觉得最好的东西吗?这是诚实的东西吗?
我开始有很多这方面的思考,发现这些对我帮助特别大。当我不断拷问自己以后,做出来的效果也会变好。
所以我现在觉得,和自己死磕绝对是有价值的。
荣慧
这让我想起最近 DeepSeek 的 R1 论文。它生成前面的思考越长,最后的效果可能越好。这个可能在你身上也适用:和自己死磕的时间越长,最后出来的效果可能越好。
海辛
对。
荣慧
你有哪个爆款作品是这样死磕出来的吗?因为这确实和一些人的观点不太一样,不是所有人都认可死磕。有些人会觉得,明知山有虎,就绕到另外一边去走。
海辛
我觉得我有 80% 到 90% 的情况都会绕到另外一边去走。让我死磕出来的作品,就是我和阿文一起做的《故宫猫猫上班记》。
基本上,我们对每一个镜头和下一个镜头的要求,都是下一个镜头一定要比上一个镜头给观众带来更多情感上的增量。
这种模式做出来的,一定是我们达到最好效果的作品。过程非常痛苦,是我们所有 AI 短片里最痛苦的一次,但也是我们现在最满意的一次。
荣慧
创作方式有很多种,大家可以摸索适合自己的方式。但我觉得你讲的其实是一种平衡。
可能积累到一定程度之后,会进入一个需要和自己死磕的状态。你说的“完成比完美更重要”的反面,就是很多人想憋一个大招,等到特别好、特别满意以后,才展示给别人,或者才推进到下一步。
结果往往就是交付不出来。哪些事情适合轻量化地做,哪些事情值得投入、憋一个大的,大家还是要自己权衡。
我们也在找这个平衡。如果每部短片都按照《故宫猫猫上班记》的方式来做,对我们自己也是很大的损耗。
所以我可能还是会轻量跑一段时间,再憋一个大招;轻量跑一段时间,再憋一个大招。这是我现在对自己所处阶段的想法。
荣慧
我们再说回海辛的经历。之前聊天时,海辛提到,他在美国读书的那段时间对自己的影响很大。当时听你介绍那段生活,我感觉很像一块海绵,不停地吸收周围的养分。
可以再跟听众讲讲当时的经历吗?
海辛
8. 留学中的自由与燃尽
我和很多留学生的生活不太一样的一点,是我的日程基本排满了。大概是周一到周四在学校上课,周五到周日一直在片场,整个学生时代基本都是这样。
研一时待在片场,基本都是学生剧组。其他班的同学在拍片,我就去帮忙,可能做美术助理、摄影助理或者灯光助理。周五到周日都会排满。
从周四晚上开始,我就会准备第二天片场可能需要的东西。
到研二的时候,我开始做更多美术工作,大概就是主美。因为我们学院没有美术这个专业,而我比较擅长这个方向,所以学院里一个年级的短片,主美经常都是我负责。
每个人都会有自己的短片,每部短片都必须找一个美术,很多人都会找到我。基本上,一个学期里所有可以拍片子的周末,我的时间都排满了。
这个周期让我学到非常多东西,进步也非常快。但有一段时间我明显处于 burnout 的状态。压力特别大,有非常多事情进来以后,我也没有办法把所有事情做好。
之后我开始调整节奏,大概确认自己一个月只做一部片子,然后把速度慢慢调下来。
这对我来说是一个很重要的时间点。我意识到,把时间排满不利于工作,也第一次发现了自己的身体极限。
后来把速度调慢以后,发现节奏好很多,作品质量也好很多。我觉得这也是一个平衡的过程。
荣慧
你当时在美国留学,好像是被放到了一个自己特别想待的地方,学到的也都是自己感兴趣、让自己有收获的东西。站在今天的角度看,那段经历对你后来做的事情有什么影响?
海辛
影响非常深刻。刚到美国的时候,有一段时间我会觉得,真的好自由。
这种自由感是,身边的人都不在乎我在做什么。以前在学校,老师会在乎我做什么,同学会问我做什么,室友会问,妈妈也会在乎。我自己也会拷问自己:现在这个时间节点是不是要交论文,我现在在做什么?
但到了美国以后,没有人在乎我做什么,这给了我非常大的自由感。我第一次感觉到,人与人之间的边界感让我很舒服。我可以一个人去做很多事情。
接下来是,所有课程都变成了我喜欢的课程。从编剧课,到后期制作课、特效课、调色课,基本每一个环节都和创造力有关。
我感觉自己的生命好像没有垃圾时间了,每件事都是自己享受的事情。
电影制作也是这样。从最开始的剧本写作,到美术计划,确定氛围和分镜,再到现场搭建、拍摄,之后是后期剪辑、特效和调色,我喜欢整个过程的每一个环节。
这在我之前的人生中很少见。以前做喜欢的事情,通常还要应付一些不喜欢的事情。但那段时间,我好像不需要花时间去应付不喜欢的事情,所以经历了一段很长的蜜月期。
但很快就 burnout 了。后来我开始意识到自己的体力和精力极限在哪里,也开始学习如何协调和管理自己,以及其他人的期待。
荣慧
你觉得创作这件事,以及留学经历,给自己带来了哪些特别大的成长?
海辛
我的创作是真正从留学时开始的,所以我不太确定,是创作带给我成长,还是去美国带给我成长。我觉得可能前者更多一点。
在美国有一个和我之前想象不太一样的地方,就是我变得更包容,更能包容其他不一样的人。
我当时最好的朋友是一个穆斯林、来自伊朗的人,他剪辑和特效做得特别厉害,后来成了非常好的朋友。还有一个来自巴西、信仰犹太教的朋友,也和我成为了很好的朋友。
我发现他们和我以前在媒体上接触到的形象非常不一样。这个可能对我是一个改变:原来每个人都这么不一样。
我接触到的更多是一个个具体的人,而不是某个 title 或者某个片面的形象。可能这就是留学带给我的变化。
荣慧
海辛之前也跟我们讲过,正是因为那段时间的经历,你拍了一部短片,后来获得了参加上海电影节的机会。
海辛
刚刚还想补充一点。你说到美国让我感到自由,还有一个非常小的例子,对我影响也很深。
我刚到美国时很在意自己的口音,觉得自己说的英语不够标准。后来和一个美国朋友聊天,他觉得不存在什么标准英语,他认为我的 accent 是我性格的一部分。
这对我的启发很大。后来我意识到,我应该用自己最好的方式表达。如果别人听不懂,那不一定是我的问题。
这让我理解到,标准化不是一个特别重要的概念。对我后来的影响非常大:我不再追求任何领域里所谓的标准,standard 这件事对我来说不再重要了,也给了自己更多自由的空间。
回到刚才说的那部短片,它是我研究生期间做的。用一句话来讲,如果圣母玛利亚活在当代,知道自己怀上了耶稣,她有没有可能选择堕胎?
选择这个故事,是因为圣母玛利亚是一个非常经典的形象。但在过去的圣经故事和一系列故事里,从来没有人问过她到底想不想怀耶稣。
所以我在想,如果她活在现代,如果有人问她,她会不会选择不要这个孩子?我大概写了一个黑色喜剧的故事。
我现在也很喜欢这个故事。现在回头看,会觉得很有意思,也会分析当时的自己为什么会写出这样的故事。
当时的我可能还不知道,但现在分析起来,我觉得那时候的我正在寻找很多女性主义的东西:我和别人对我的期待,到底哪个更重要?这可能就是当时的一些挣扎,最后形成了这部短片。
荣慧
后来你是怎么样接触 AI 的?怎么开始做 AI 相关创作的?
海辛
9. 从新技术走进 AI
这部短片后来把我带到了上海。它参加了上海国际电影节的创投训练营,因为这部短片,我被选中加入训练营。
参加完这个活动以后,我对上海的感觉特别好,于是决定留在上海。决定留在上海以后,我想找一份稳定的工作,于是去了上海文广 SMG,申请做全职导演。
当时我介绍了自己在美国的经历,以及擅长的方向。领导后来决定让我主要负责新技术方向的导演工作。
新技术大概指 XR、VR、AR,这些和传统影视不太相关,但可能帮助短片制作的技术方向。
这些技术和我们现在的 AI 很接近。当时大家主要谈的一个概念是元宇宙。元宇宙包括把一些东西数字资产化、3D 化,所以我开始学习 3D 扫描技术,也帮自然博物馆扫描了很多东西。
当时还有一个非常火的概念叫数字人,它和我们现在的 AI 数字人也很像。除此以外,最重要的应该是 XR 虚拟制片。
虚拟制片是在虚幻引擎里拍片。虚幻引擎需要英伟达这样的显卡才能运行,所以我会对英伟达以及一系列相关技术很熟悉。
AI 出现以后,它和这些技术的土壤是完全一致的,所以我也很快接触到了 AI。大概就是通过这样的桥梁连接起来的。
荣慧
也就是说,你之前已经做了很多技术和影片结合的尝试。
海辛
对。
荣慧
我记得你之前也说过,当时接触 AI 也有一个契机,是因为疫情在家里。
海辛
对。疫情期间我待在家里,有时间去学习 AI。当时还有一个非常有名的技术叫 NFT,很多艺术家都在做自己的 NFT 藏品。
我看到他们发布了很多用 AI 做的 NFT 藏品,就觉得:这个东西还能用 AI 做吗?我非常好奇,于是报名了一些课程,了解它们到底是怎么做的。
后来我逐渐熟悉以后,发现 AI 的魅力比 NFT 大很多,于是就开始只做 AI 了。
荣慧
你当时是想做一些东西、寻找一个方向,还是像我听下来那样,有一种让自己浸泡在新技术里、在新技术中漫游的感觉?
海辛
我觉得我有一个非常底层的需求,就是希望自己一个人做电影。
这是我很底层的需求。以前在美国,要做一部电影,需要很多人、很多钱、很多沟通和交流,也需要妥协。这些事情会让我挫败,因为它们不完全和创作相关,最后的结果可能是和其他事情妥协出来的。
所以我在想,如果未来可以一个人做电影,可能是最好的。因为这意味着创作上不再有妥协。
一切可以帮助电影行业降低成本的技术,都是我特别关心的技术。从虚拟制片到数字人,我觉得它们都可能让电影制作比传统技术更容易。
比如虚拟制片是在游戏引擎里拍电影。以前拍一个日落的镜头,真的要等太阳落下,然后在那十几分钟、二十几分钟里把这场戏拍完。
但现在在虚幻引擎、游戏引擎里拍日落,你可以让它 24 小时都处于日落环境中。从这个角度来说,成本就降低了。
AI 出来以后,我当时就觉得更厉害了。我想,那我完全不需要出去拍了,可以自己一个人想到什么就做什么。
这些技术带给了我一种妄想:以后我可能不再需要求人、不再需要求钱,就可以在没有创作妥协的基础上进行创作。
所以我会特别关注这些技术方向,也自然而然地越来越了解 AI。
荣慧
一个人把整个事情做下来,和你读书时在片场里经历的乐趣,有什么不一样?片场里有哪些乐趣,是一个人的时候没有的?
海辛
片场里是有乐趣的。当其他工种的小伙伴有一些技能比我厉害时,我会从他们那里得到启发,想到原来还可以这样做。这些瞬间非常有乐趣。
还有一个片场里很有意思的事情。因为我自己做美术,需要把景搭出来,所以经常要举着大概两三倍身高的东西。英文里叫 flat,也就是布景墙。
我需要把它们举到某个位置固定住,再刷漆、贴墙纸。这个环节对我来说也非常有意思,因为我第一次意识到,自己在创作比我大很多的东西。
以前画画或写故事,都是面对一个小小的电脑屏幕在创作,创作出来的东西不会在物理上让我感觉到它的存在。
但在片场搭建布景时,它真实地存在在那里,而且比我的肉体大很多。这种感觉非常奇妙:我创作了一个比我大很多的实体,而创作这件事让我的生命有了巨大的延伸。
这是电影片场带给我非常独特的体验。
荣慧
我问这个问题,其实是因为你前面说到片场生活,我想到今天 AI 的存在,是不是已经把片场里你熟悉的一些工种取代了。
但我觉得这不一定是零和游戏。旧的东西消失,也会有新的东西生长出来。所以想知道,随着这种此消彼长,会不会有新的乐趣出现?
海辛
我觉得是有的。一个比较明确、正在逐渐消亡的电影行业工种,是动捕师。
动捕师大概是在身上穿一套动作捕捉服,摄像头把动作记录下来,再把动作复制到一个 3D 模型上,让这个模型按照你的动作动起来。
以前我们需要很好的动捕演员。他们身上穿着紧身服,服装上有很多光学摄影机的反光点,用来记录动作。还需要一个非常巨大的光学摄影棚,如果是顶尖的,大概需要 200 万元人民币左右。
但现在动作捕捉可以用一个非常普通的摄像头,再加上 AI 来实现。动捕师这个工种,确实有被替代的趋势。
但它也会带来新的可能。过去做动作捕捉,必须有设备、有资金、有专业训练。现在有了 AI,基本可以录制任何人的动作,任何人都可以用自己的动作去驱动一个演员或角色。
我觉得这是在这个维度上有新的东西进来。更多人进入,可能就意味着更多可能性进入。
荣慧
你刚才描述的动捕师,让我想到之前看《封神第二部》的花絮。里面应该就是你描述的这种动作捕捉:一个人穿着紧身衣,身上有很多发光的东西,然后做各种动作,最后在电影里呈现为经过特效处理的角色。
海辛
对,就是这个工种。以前需要非常昂贵的设备和专业的动捕技术师,去获取、修正和使用这些动作。
现在这一部分可能会被 AI 替代掉。AI 可以直接捕捉一个没有穿动捕服的人的动作,再把它运用到电影里的其他角色身上。
荣慧
你现在会做什么事情,让自己作为创作者持续获得灵感?
海辛
10. 让创作持续生长
我以前会觉得自己确实缺少一些这样的环境,所以会强迫自己参加更多活动。比如参加上海的摇摆舞活动,或者上海举办的一些灯谜、文艺活动。
了解其他人在做什么,这件事本身就会给我带来新的刺激源,对我的影响也比较深。
上海还有一个市民夜校,大家可以在那里学习很多不一样的东西。上学期我报了一个香料班,可以制作香包;还报了一个做鱼灯的班。
这些事情可能和我现在的行业一点关系都没有,但我觉得,不去想现在正在做的事情本身,就会给我非常强的放松。
而且我感觉,所有输入最后都会在某种程度上变成我的创作。
一个比较明显的体验是,去年 11 月我们去了一趟日本。回来以后就做了很多和日本主题相关的创作。
先是做了各个动物从电子屏里跳出来的视频,后来又做了卡比兽和富士山的视频。我觉得这些都是去日本旅行带给我的灵感。
所以我感觉,任何输入源最后都会在某种程度上被消化,最后变成创作。我也特别希望自己拥有丰富、多元的输入。
荣慧
之前我们和大聪明录那期 2024 年盘点时,他特别提到,觉得海辛和阿文在 AI 短片创作上,对整个行业有一些引领作用。
很想请你说一说,作为一个在国内 AI 短片创作领域很有影响力的创作者,你希望给这个创作带来什么样的痕迹和影响?
海辛
我自己目前最想做、也确实正在做的一个方向,是和阿文一起寻找:AI 除了能够实现传统影视制作已有的效果之外,还可以加入什么新的效果。
到现在我们仍然感觉,每个阶段的 AI 作品,它的潜能都还没有被完全发挥出来。
比如以前我们用 ComfyUI 做过一系列转绘,把人跳舞变成水滴跳舞,把人跳舞变成颜料跳舞。后来这个工作流逐渐被大厂的 AI 模型替代,大家会直接用这些模型生成动画。
但我们仍然觉得,前面的这些东西还有大量效果没有被挖掘出来。所以我们最想做的事情,就是不断做新的效果和新的尝试,探索它的边界在哪里。
我对自己的定位有点像 AI 艺术里的科学家,不断去发现艺术创作新的表达形式可能在哪里。这是我们特别想做的方向。
荣慧
这让我想到一个问题。艺术表达相对来说很自我,但使用 AI 又需要学习一些工程化的东西。这两种思路不一定冲突,但你觉得自己更擅长哪一方面?又会怎么样平衡两者?
海辛
我觉得自己更擅长工程化这一部分。可能因为我高中学的是理科,所以对我来说,有条理地梳理需求、梳理工作流,是一件让我很享受的事情。
而且工程化是可以学习、可以掌握的技能。相反,艺术创作让我觉得更难,因为它不是一个只要计划好就能完成的事情,也不是把框架搭出来就能完成的事情。
它需要很多直觉、反思,也需要挖掘一些自己还没有完全挖掘出来的东西。所以我觉得艺术创作更难。
因此做创作时,我会有意识地让自己放下计划,给自己更多时间,不要急着得出最明显、最容易的答案。
荣慧
每次我看到海辛在即刻社区或者其他地方非常活跃,都会有一点感触。这个领域里的女生确实很少。不管是你的作品还是影响力,我觉得都是一个非常正面的例子。
海辛
我也感觉到,我们这个行业里女性表达者还比较少。
我身边的女性朋友,往往会对自己有更多要求和反思。她们会不断想:这个东西值得拿出来说吗?值得和大家分享吗?我只做了这么一点东西,可以站在台上吗?
我会觉得,她们可以看看,站在台上的人也并没有真的比她们优秀很多。身边很多朋友其实已经是在这个专业里做得非常顶尖的人,已经是 pro 了,不需要再怀疑自己。
在场的人可能也没有谁在这个角度上比她更专业、更懂。我觉得大家对自我的怀疑会比较多,我自己也有,只是在逐渐克服。
荣慧
我看到你发起了 Demo in,也和“通往 AGI 之路”的 AJ 一起发起了一个社区。可以请你说一说,发起这些活动和社区,是想推动什么变化,或者带动什么样的事情发生?
海辛
我和 AJ 现在在“通往 AGI 之路”里做一个整活编辑部。大概的模式是,我们不断探索 AI 可能做出哪些新的特效,然后在后面跟一个小教程,看看社区里的人能不能跟着一起做。
我们觉得这样做比较好,有一个原因是,我们做出来的东西可以及时分享给其他人看。其他人在复刻这个效果、做二创的时候,他们做出来的东西也会启发我们。
这是一个良性循环的社区,所以我们想尝试做这个方向的小事情。
[Speaker?]
海辛除了和 AJ 一起在“通往 AGI 之路”里做整活俱乐部,也一直在运营一个很活跃的社区,叫 Demo in。
Demo in 最近的一场活动,也就是上个月,是在《十字路口》位于上海的 AI Hacker House 发起的。我们在漕河泾开发区一栋湖边的独栋小楼里,举办了第一场活动。
那天晚上应该来了五六十人。每个人都有一个入场门槛,就是要在现场 Demo 一个自己做的产品或作品。如果今天没有新的 Demo,但过去 Demo 过,也可以来听后面的人分享。
那天的气氛充满了创造的能量,而且非常友善。Demo in 有很多规则,比如现场不能叫“老师”“大佬”,做自我介绍时不能说毕业于什么院校,也不能说自己来自什么公司。
听别人 Demo 时,尽量不要提出批评意见,更多的是给予鼓励。我觉得海辛把 Demo in 的理念一点一点注入了社区。
那天晚上,现场传递出一种很有创造性、又很有爱的能量,大家互相鼓励。特别的是,这是我第一次参加这种活动,看到那么多女生。
当晚有一半上台 Demo 的工程师都是女生,而且做的东西——恕我直言——我完全听不懂,水平非常高。
之后也欢迎 Demo in 更多地来 AI Hacker House 做活动。
海辛
好呀,好呀。非常感谢,我们下次会多来的。
荣慧
好,那我们今天就先聊到这里。非常感谢海辛做客《十字路口》,和我们聊最近的作品、他观察到的行业变化、进步和突破,以及他自己的故事。
我自己一直都很受海辛的鼓舞和启发,也希望海辛接下来可以多多来《十字路口》交流,期待看到你更多的作品。
我们现在说话的时候,海辛的猫已经进入到视频画面里了。
海辛
好呀。谢谢大家,拜拜。