[BidClub_]
十字路口Crossing · · 88 min

从医学院学生到一线AI艺术创作者|和海辛聊视频生成工具、市场和几次人生的「十字路口」

海辛

Podcast
TL;DR
  • AI视频暂时没有SOTA,创业窗口因此仍有机会。海辛的判断是:正因为没有一家能攻克所有方向——可灵写实第一梯队、海螺赢在风格化动画和镜头控制、PixVerse赢在速度与转场——细分玩法(视频文字包装、自动打光、特效模板)"都甚至有戏"。Pika专攻视频特效,就是活例。
  • 需求端已从"买AI噱头"切换到"买效果"。Runway Gen-2出来后,联想×GQ的广告主打卖点还是"这是一条AIGC的片子";到今年,伊利金领冠、霸王茶姬都是"追着效果来的,而不是追着这是AI来的"。他的结论:"AI从一开始的噱头逐渐变成真的是工具"——而且他们的报价不降反升,因为AI有传统制作做不到的增量效果,不只是降本增效。
  • 三大技术突破让角色叙事片逐渐变得更容易:角色稳定性(以前"中国老人说着话会变成美国老爷爷")、画面质量(过去五秒素材只能用一两秒,如今画面质量显著提升)、风格兼容(2D插画、拼贴风都能动了)。剩余短板同样清晰:反打镜头的场景稳定性、大调度运动镜头——所以《故宫猫猫上班记》"基本都是定机位镜头"。
  • 工具消费的真实投票:他最喜欢且图像基底最依赖的是Google免费的Whisk(口述"Visk",Imagen 3产品),"比现在行业一线的AI图像工具都要好很多";视频端可灵、海螺、PixVerse三家全按最高标准充会员。即梦能生成准确中文文字,很多时候效果好过开源工作流。
  • 老经验在AI时代是复利而非包袱:OpenArt上最受欢迎的ComfyUI工作流作者之一"瑞"有15年游戏美术背景;有影视背景的人有分镜和景别意识,新手大概率做出"一个全景一个全景接起来"的片子。AI公司团队构成也在同步变化——从2022-23年的纯算法工程师,到今年开始吸收更多艺术创作背景的人。
  • 创作方法论上的转向值得记录:"前二十八年都是完成大于完美",从去年开始发现"和自己死磕是有价值的";荣慧以DeepSeek R1论文作类比,海辛认同这也可能适用于自己——"思考越长,最后效果越好"。破亿的故宫猫就是死磕产物:每个镜头都必须比上一个"给观众带来更多情感上的增量",两周内每天最多产出十秒。
  • 正在消失的工种是一个缩影:动捕师原本需要约两百万人民币的光学棚加专业动捕服,现在"任何摄像头后面加个AI就都可以做到"——但门槛消失意味着"任何人都可以用他的动作来驱动他的演员",是替代也是扩容。他自己的底层驱动正是这个逻辑的极致:"以后我可能不再需要求人、不再需要求钱",一个人做电影。
Digest · the substance, structured for research

1. 从医学生到全职AI影视创作者:作品即履历

  • 海辛的自我定位:新技术方向导演出身,2023年起做AI短片,如今全职。代表作《故宫猫猫上班记》全网播放破亿(与阿文为北京日报做的城市宣传片)、龙年央视春晚第一个AI动画MV《枕着光的他》。
  • 近期商业单:春节帮伊利金领冠用AI复现3D动画质感的贺岁短片;二月与阿文加入3D艺术工作室Sing Vision,为霸王茶姬做TVC——他们负责把3D白模风格转成AI油画质感。

2. 故宫猫的方法论:避开人脸,致敬今敏

  • 选猫不选人是清醒的技术判断:"我们看人的表演很容易看出是人在演还是AI在演,因为我们对人的脸非常敏感"——绕开人物,做非人动画,也许更容易让观众觉得质量不错。
  • 叙事结构直接致敬今敏的《千年女优》《红辣椒》:女主角奔跑中随景别切换变成不同时代不同电影的置景,"我很少看到这么绚丽的讲故事的模式"。于是小猫上班路上经过不同地标时切换成不同风格。
  • 前期用影视素材网站Shot Deck检索经典分镜做参考,"把主角换成猫"。但AI制作中方案一直被推翻——有些镜头AI实现得了,有些实现不了,"整个过程是一直在被不断推翻的"。

3. AI时代没有借口:每个镜头必须有情绪增量

  • 传统后期可以推辞"导演就拍了这么些镜头";AI时代"就没有这个借口了,你想要的素材就可以自己去生成,再也没有可以逃避的机会"。于是每做一个镜头都反复自问:下一个镜头有没有给观众增添更多感情?观众会无聊吗?
  • 代价是速度:两周内每天最多做出十秒,"做出十秒就已经是非常非常开心的事情了"。而在AI圈,一条一分钟视频正常"一天左右的量就可以做出来"。
  • 甲方北京日报几乎零要求:只要一分三十秒、多带北京元素——"那我们就可以放飞了"。

4. 一年三大突破与两块短板

  • 突破一,角色稳定性:以前上传照片让人物笑一下、转个头,"他就变得不是我了",甚至"中国老年人说着话就会变成美国老爷爷";现在单镜头内角色ID基本锁得住——"只有角色稳定了,才可以讲以角色为主的故事"。
  • 突破二,画面质量:以前镜头越生成越糊,五秒素材可用的"可能也就只有一到两秒";如今画面质量显著提升。突破三,风格兼容:过去丢一张塔罗牌牌面这种2D手绘进去"大概率没办法真实地动起来",现在2D、3D、抽象乃至拼贴风"质量都还挺高"。
  • 短板同样具体:丰富的镜头运动和场景稳定性——AI能生成他这个机位的镜头,"但没有办法生成我这个机位的反打镜头",用他的比喻,就是iPhone前置与后置摄像头看到的是不是同一个时空。毕赣《路边野餐》那种长镜头"还是会出各种各样的错误"。

5. Sora一周年的坐标系

  • 主持人的回忆锚点:去年大年初三凌晨四五点被朋友圈刷屏惊醒,"感觉简直是外星来物",而一年后"一切好像就变得自然而然了"——回头看却是翻天覆地的一年。
  • 本期再补上一线创作者视角:此前有Luma AI产品经理Barclay的二十问复盘,以及Vozo AI创始人昌胤(Google X研究员出身,产品登Product Hunt日榜+月榜榜首、半年做到ARR一百万美金);海辛补上一线创作者视角。

6. 花钱投票:Whisk第一,视频无SOTA

  • 最喜欢的产品是Google的Whisk(口述"Visk",Imagen 3的产品形态),免费、写实生成"基本跟真实照片差不多",故宫猫的图片基底基本用它做——"比现在行业一线的AI图像工具都要好很多"。
  • 视频端他的原话:"目前暂时还没有SOTA级别的,各家模型都有自己的优劣":可灵写实场景强、海螺风格化动画和镜头运动控制更好、PixVerse转场丝滑且擅长判断动作连续性。三家都按最高标准充了会员。
  • 冷门推荐:即梦的图像生成——大家只知道它的视频,但它能直接生成准确的中文文字,做海报很方便,还融合了ControlNet式的轮廓、骨骼、边缘参考,"很多时候比我用开源工作流的效果都还要好"。

7. 最打动他的两个新feature

  • PixVerse的Auto Sound:起初不在乎(习惯做完视频再配音),后来发现大量单镜头短视频创作——"比如富士山上面倒雪,只有一个镜头几秒钟"——再进剪辑软件配音反而麻烦,这个功能正好切中轻量创作。
  • 海螺的director mode(导演模式):用专业导演语言组合控制镜头——放一张东方明珠的图,指令"往左移一点,再下沉一点,再围绕它旋转"。"我一直非常希望能在AI模型里控制镜头,它完全切中了我的需求。"

8. 无SOTA即创业窗口

  • 他正在想同一个问题:"为什么这么久了还没有出SOTA?"答案反过来就是机会:没有一家能完全攻克所有方向,"才使得有可能给创业公司有机会"。视频玩法太多——文字包装、自动打光、特效模板,"我觉得都甚至有戏"。
  • 若自己创业,早年想做的是"画布上做故事板、故事板上做视频",当时受限于生成又慢又贵没做成,但"未来也肯定会有这样的视频产品出现"。现在最想做虚实结合:实拍城市空镜,AI加上"被海啸吞没、被陨石击中"的特效——"跟现实结合的AI作品会更容易吸引大家的眼球,即使质量可能看起来不如纯电影质感"。

9. 与厂商的两种关系:超级创作者与顾问

  • 他是多家视频模型公司的超级创作者,直接提需求:业内反复反馈的两条是角色稳定性和1080P,"可能他们就会把这个需求给提上来"。
  • 更深的一层是顾问:他现在是美团妙刷的顾问(产品基于ComfyUI玩法创新),从创意方向到执行落地甚至宣传推广也会参与一些工作——毛绒玩偶Shirley Cat转绘、哈利波特入学动态海报都是产出。
  • 团队构成的变化是信号:2022-23年接触的国内AI团队"基本全部都是开发者、算法工程师背景",今年开始越来越mix,大量艺术创作、视频特效背景的人进来(他举了归藏的例子)——"因为它还是比较需要吸收非常了解专业知识的人"。

10. 模型全景点评:一线创作者的排位表

  • 图像三强:Midjourney(22-23年起就火,"非常有审美");Google Imagen后来居上——"大家会发现它效果居然比Midjourney还要好",质感更真实;即梦靠中文文字和参考控制补位。
  • 视频梯队:可灵写实"绝对是第一梯队";海螺是风格化动画和摄影机控制的第一梯队,"一定是做的最好的";PixVerse速度最快、转场和关键帧动画效果最好。
  • Luma官网UI"独一流的好",动画风格动起来非常自然——外网有人用它做宫崎骏质感,"真的跟吉卜力动画工作室做出来的差不多";Runway"很久没有听到他们的声音了,但毕竟是第一个第一梯队的大佬";Pika另辟蹊径专攻特效——人物变气球飞走、捏碎,"这种特效最开始都是皮卡做的"。

11. 市场在学会看故事:从氛围片到叙事片

  • 他去年的判断是AI适合"讲究氛围、不需要强逻辑"的预告片;现在的更新:以角色为主角做影片"逐渐变得容易了,虽然还是没有找真人实拍来的容易"。
  • 证据是全球AI创作比赛Project Odyssey的Narrative赛道:得前几名的圣诞骷髅吓人故事让他"发现我好像真的在关注它的故事,而不是在关注会不会穿帮"。但保留了结论:氛围片、先导片、概念片"可能还是目前AI最长效的地方"。
  • 故宫猫的叙事感其实靠回避换来:故意不用同一只猫,不断切换,"就不会说下个镜头这只猫脸上多了一道花纹,观众觉得这只猫变了"。

12. 第一单:疫情、街舞5和现场生成的两个月亮

  • 第一支商业AI片是2022年五六月在上海文广做《这就是街舞》第五季先导预告片,用Midjourney做场景美术。李承铉的背景"AI占的比例大概百分之八九十",刘雨昕、王一博、韩庚的则10%-30%参差不齐。
  • 契机是疫情:原定三四月开工,八月要上线,两个月没法制作、经费也不足,六月才到杭州——只能用AI做概念辅助快速出活。
  • 真正验证的是沟通效率:以前美术指导听完需求回去画一稿再来对;现在导演说"我们可不可以要两个月亮",他当场生成,"就可以快速地在现场跟艺人和导演把方案敲定"。甲方不在意AI成分,"大家其实都是看效果"。

13. 甲方的三个阶段:从噱头到工具

  • 阶段一是游戏公司(美术资产提效,"抱着探索的态度,没有特别强的抵触");阶段二在Runway Gen-2出来后,广告公司开始拿AI当卖点——联想与GQ联合的广告"宣传时主要打的方向就是这是一条AIGC的片子"。
  • 阶段三是现在:大家追着效果来,而不是追着AI来——地标变毛绒玩具火了,客户要的是这个效果,"而这个效果是由AI做出来的";伊利要3D感、霸王茶姬要油画风。他的总结:"AI从一开始的噱头逐渐变成真的是工具。"
  • 关于"AI让乙方越卷越惨"的说法,他的反例:"我们相反报价其实变高了。"逻辑:AI解决的不只是效率成本,"AI是有增量的东西在的"——英国朋友的沐浴露广告里,男主在橙子堆、海底、树林间穿梭,衔接效果"在传统里面基本上做不到"。

14. 老经验是复利:瑞的十五年与景别意识

  • 两个证据。其一:ComfyUI工作流网站OpenArt上最受欢迎的工作流作者之一"瑞",有十五年游戏美术背景。
  • 其二:影视背景的人上手AI视频"更能拍出好东西",因为有分镜意识、景别意识;没经验的人"大概率会做出整条片子都是一个全景一个全景接起来的",缺乏节奏感。但他补了个hedge:这个差距"可能在未来会随着大家制作的时间越来越多,也会被补足"。

15. AI生成即定稿:甲方最不习惯的一点

  • 高频摩擦点:甲方整体氛围很喜欢,但想挑细节——"希望这匹马走路走得再慢一点,交替时不要有动态残影"——传统流程可以回工程文件改,AI给的视频不含图层,"一旦修改就需要重新回去做"。
  • 新的工作流约定由此而生:照常做创意提案和分镜,但提前讲清"大概率有些东西是改不了的,要改就只有更换",且根据制作经验,"它是一个会不断灵活调整的东西"。

16. 复现不够,必须创造:拼贴风实验与想象力本体论

  • 正在与阿文做拼贴风动画,做到一半的自我拷问:"如果只是用AI复现了拼贴动画的效果,那这条短片用AI做的意义是什么呢?"于是加入传统拼贴做不到的东西:元素在不同拼贴画之间穿梭、打破2D平面到3D再回到2D。"我们不仅要复原传统制作里有的效果,还必须创造一些新的效果。"
  • 底层动机可以追到《飞屋环游记》:气球拽起房屋那一幕"并不是故事打动了我,而就单纯是想象力打动了我"。他对想象力为何动人的解释:"这些想象力会让我们瞬间脱离本身在的生活……感到自由,就是外界有无限的可能。"

17. 第一个十字路口:被按进医学院的五年

  • 高中看《飞屋环游记》后的梦想是"成为皮克斯动画公司的一颗螺丝钉,我觉得这就是让我足够幸福的事情了"。高考后想读编导,家里强制他进了四川大学华西医学院——"这可能就是我跟家里人第一次争执"。
  • 他对妥协的复盘诚实到位:不自信有两层,"一个是我不确定我成为了艺术家能够养活我自己,另一个是对专业本身不自信——在我的时代,学艺术是成绩不好的人才会去学,虽然我现在完全不这样想了"。
  • 转折发生在大学五年的自问:"我想去学艺术是因为我想要成功吗?"想通的答案是快乐而非成功——"即使不会成功,这也是我要去做的事情"。大四申请艺术院校,大五拿到offer,这次与家里争执但没有妥协。

18. 无用之用,方为大用

  • 医学院五年里的"无用"清单:创办广播剧社团、加入川大哲学学院梁中和老师的柏拉图学院每两周读柏拉图——"真正花在拍作品集上的时间其实也就大四那个寒假"。
  • 他的选择逻辑:不以功利角度选事情,因为意识到自己有多种核心需求——成绩和工作之外,还有"想要感受到有趣、想要创作、想要感觉自己是个不错的人"的需求,"这些散开的东西反而让我变得更立体和多变了"。
  • 主持人的呼应:这是高敏感特质的正面用法——"敏感不一定是坏词",敏感地感觉到自己需要什么再去满足,"它其实也是发展自己的一种方法"。海辛补充:"我有在尝试不要被标签或职业限定了我该往哪个方向发展。"

19. 给新人的建议:完成大于完美,然后学会死磕

  • 第一步永远是动手:"先做一些比较小的事情,不要被自己想象的那个困难给吓倒",然后频繁发到社交媒体记录成长,"即使它现在不够好也没有关系"。
  • 但他的方法论去年出现了转折:"我应该前二十八年都是完成大于完美……从去年开始,我发现和自己死磕是有价值的"——不断拷问"这是我真的想表达的东西吗?它是诚实的东西吗?"
  • 荣慧以DeepSeek R1论文作类比,海辛表示这可能也适用于自己:"思考越长,最后的效果会越好。"
  • 死磕的代价与平衡:故宫猫是"所有AI短片里面最痛苦的一部,但也是我们现在最满意的一部";不过"百分之八九十的情况我会绕到另外一边去走",现在的节奏是"轻量跑一段时间,憋个大招"交替。

20. 美国留学:排满、burnout与accent即人格

  • 留学节奏:周一到周四上课、周五到周日全在片场,研二成了全年级短片的主美,直到明显burnout——"这大概是我人生第一次发现我自己身体的极限"。调慢到一个月只主一部后,"节奏会好很多,出来的质量也会好很多"。
  • 自由的第一课是边界感:"身边人都不在乎我在做什么了",加上所有课程都与创造力有关,"感觉我生命好像就没有垃圾时间了"。第二课是包容:最好的朋友是伊朗穆斯林特效师和巴西犹太朋友,"我接触到的更多的是人,而不是某一个title"。
  • 影响最深的小事是口音:美国朋友告诉他"没有标准的英语,我的accent是我性格的一部分"——从此"standard这件事情对我来说不再重要了,也给自己更多自由的空间"。

21. 从玛利亚短片到SMG,再到AI:桥是这样搭的

  • 研究生短片一句话梗概:"如果圣母玛利亚活在当代,知道自己怀上耶稣了,她有没有可能会选择堕胎"——一部黑色喜剧,因为"在过往的圣经故事里,她其实没有被人问过想不想怀耶稣"。他现在的自我分析:当时在挣扎"女性主义、我和别人对我的期待到底哪个更重要"。
  • 这部短片把他带进上海国际电影节创投训练营,决定留沪,进上海文广SMG做新技术方向的全职导演:元宇宙、3D扫描(帮自然博物馆扫过很多东西)、数字人、XR虚拟制片——虚幻引擎跑在英伟达显卡上,"所以AI出来的时候,它跟他们的土壤是完全一致的,就瞬间接触AI了"。
  • 最后一跳靠疫情居家:看到艺术家用AI做NFT藏品,"这个东西还能用AI做吗?"报课学习后"发现AI的魅力比NFT大很多,后来就开始只做AI了"。

22. 一个人做电影的妄想,与正在消失的动捕师

  • 他的底层需求毫不含糊:"我希望能自己一个人做电影。"在美国发现做电影"需要好多人、好多钱、好多沟通交流,有妥协在里面……这些事情并不完全跟创作相关"。所以一切降低电影成本的技术都是他的技术:虚拟制片可以"二十四小时一直处于日落的游戏环境里"拍日落;AI则是终极形态——"这些技术带给了我这种妄想:以后我可能不再需要求人、不再需要求钱,在任何没有创作妥协的基础上进行创作。"
  • 但他没有美化独自创作:片场的乐趣是真实的——举着两三倍身高的flat布景墙搭景时,"我第一次意识到我在创作一些比我大很多的东西……我创作这件事情使得我的生命有一个巨大的延伸"。
  • 明确在消亡的工种是动捕师:顶尖摄影棚"大概两百万人民币左右一个棚",现在"任何摄像头,后面加个AI就都可以做到了"。但他看到的是扩容而非零和:"任何人都可以用他的动作来驱动他的演员——有多的人进来,可能就意味着有多的可能性进来。"

23. 灵感系统与"AI艺术中的科学家"

  • 保持输入的方式刻意与行业无关:上海的摇摆舞活动、市民夜校的香料班和鱼灯班——"让我不去想我现在在做的事情本身,就是非常强的放松,而且一切对于我的输入最后都会在某个程度上digest,变成我的创作"。去年十一月的日本行直接产出了动物跳出电子屏、卡比兽与富士山等一串视频。
  • 他与阿文的自我定位(大聪明称他们对行业有引领作用):"AI艺术中的科学家——不断去发现艺术创作新的表达形式可能在哪里。"即便到现在,"我们感觉每一个阶段的AI作品,它的潜能都还没有被发挥出来"。
  • 工程与艺术的自我评估出人意料:他自认更擅长工程化(高中理科),"艺术创作上面更难——它不是我把框架搭出来就可以做好的东西,有很多直觉的、反思的时刻",所以创作时"会有意识地让自己放下计划,不要去得出最明显最容易的答案"。

24. 女性创作者与Demo in的能量场

  • 行业里女性表达者还少,他的观察:"我身边的女性朋友会有更多对自己的要求和反思——我只做这点东西,我可以站在台上吗?"他的鼓励角度:"站在台上的也并没有会真的比他们优秀非常多,应该要有这个勇气。这种自我怀疑我其实也有,逐渐在克服。"
  • 他与AJ在通往AGI之路做"整活编辑部"(探索新特效并附教程,社区二创反过来给他们启发),另运营社区Demo in——上月在十字路口的AI Hacker House(漕河泾)办了首场,来了五六十人,入场门槛是必须demo过自己的作品。
  • 主持人复述的规则本身就是产品:现场不能叫"老师、大佬",自我介绍不能说毕业院校和公司,听demo尽量不批评只鼓励——那晚"一半上去demo的工程师都是女生,恕我直言,我听不懂,水平非常高"。

荣慧

大家好,欢迎收听这一期的《十字路口》。之前我们的 slogan 是“寻找、访谈和凝聚 AI 时代的积极行动者”,今年我们想多找一些朋友,聊一聊他们在 AI 时代的人生选择。

今天的嘉宾,我觉得恰如其分地融合了这两点。他就是 AI 艺术创作者海辛,参与和制作了很多现在 AI 领域比较有影响力的短片。比如最近的作品《故宫猫猫上班记》,全网累计播放量已经破亿;他也制作了龙年央视春晚第一个 AI 动画 MV《枕着光的他》。

今天海辛会跟我们聊一聊他用 AI 创作的故事,他从中体会到的行业变化和进步,以及他为什么会从一个医学专业的学生,成为一个 AI 艺术创作者。海辛,你先跟大家介绍一下自己吧。

海辛

Hello,大家好,我是海辛,目前是一名 AI 艺术创作者。我过去的背景其实是导演,一直在做新技术方面的导演。从 2023 年开始,我陆陆续续做了非常多以 AI 为主的短片,后来到现在,就全职成为一个专门做 AI 影视短片的从业者。

荣慧

海辛要不要先跟大家简单介绍一下你最近一段时间做的作品?

海辛

1. 最近的三部作品

好的。最近在做的作品其实蛮多的。今年做的比较大的几个作品,一个是年初的时候,北京日报邀请我和阿文一起,为他们做一条以 AI 作为核心技术的北京市城市宣传片。这条影片的主要角色是一些故宫小猫,它们从不同的地方前往故宫,在上班的路上会遇到一些怎样的事情。这是一条大概 1 分钟左右的短片。

春节期间,我还帮伊利金领冠做了一条短片,用 AI 的方式复现 3D 动画的感觉。另外,2 月份的时候,我和阿文一起参加了 SING Vision。它是一个 3D 艺术工作室,我们帮他们给霸王茶姬做了一条 TVC 广告。

我们负责的部分,是把 3D 动画白模的风格变成 AI 油画的质感。这大概就是最近刚刚出炉的 3 个短片,手上还有一些正在做、但还没有放出来的短片。

荣慧

我们可以先讲讲《故宫猫猫上班记》的制作故事。我之前搜了一下,发现 B 站上有一个很详细的视频,讲这个创作背后的故事。海辛可不可以先简单跟听众介绍一下这条短片的制作背景?另外,也重点说一下你在做这条短片的过程中用到的工具,以及有哪些地方让你明显感受到工具的进化?

海辛

2. 故宫猫猫如何诞生

这条短片刚开始的时候,就像我刚才所说的,是北京日报找到我们,希望我们能做一条宣传北京的片子。我们当时就在想,这样一条短片做什么会比较合适。

如果以人物为主,我们会觉得类似的短片已经非常多了。而且 AI 在人物表现上,可能还没有做得特别好。我指的是,我们看人的表演,很容易看出究竟是人在演,还是 AI 在演,因为我们对人的脸非常敏感。

所以我们在想,如果想绕开这一点,同时又让大家觉得影片质量不错,也许可以做一些非人的动画。我们就想到了小猫,因为我们自己也非常喜欢猫。当时小红书上刚好也有一些关于猫咪的故事,我们觉得很有意思,于是就在这样的背景下做了这条片子。

一开始的出发点,是主角变成猫以后,我们要用什么形式把它串联起来。我们想讲的是故宫里的小猫,而且希望它处于一个动态的过程之中。如果它已经在故宫里了,可能就没有那么有意思。

所以我们想,能不能让小猫也去上班?它每天早晨可能并不在故宫,而是每天早上去故宫上班,这是我们的一个想法。接着我们就在想,小猫可以怎么去上班。

我当时和阿文脑海里面参考的主要是今敏的几部影片,包括《千年女优》和《红辣椒》。这几部影片有一个非常大的特点,就是在不同镜头之间会切换成不同的风格。

比如《千年女优》里面,女主角在奔跑的过程中,随着景别的切换,会变成不同时代、不同电影的置景。我一直觉得这种模式对我的影响非常深刻,很少看到这么绚丽的讲故事方式。

所以我们在想,是不是可以在这条片子里致敬今敏的这种模式。小猫在上班的过程中,经过不同的地标、不同的文化建筑时,也可以变成不同的风格。这样在视觉上,大家看的时候也许会觉得更有意思。

我们就从这个方向开始探索。最开始只有一个雏形:一只小猫在不同风格之间切换,然后去到北京。确定了这个梗概以后,我们就开始找参考素材。

因为我之前有影视背景,所以一般会用一些影视素材网站。我用的是 ShotDeck,里面基本包含了所有电影的经典镜头和分镜。你可以非常方便地在 ShotDeck 上检索不同类别、不同关键词,找到很多精彩的影视镜头。

我们就在里面寻找自己喜欢的镜头,然后把主角换成猫。这就是创作刚开始的一些参考和想法。

后来到了分镜阶段,虽然已经有了一个很详细的计划,但我感觉 AI 制作的整个过程一直在被不断推翻。有些镜头 AI 可以实现,有些镜头 AI 实现不了,所以我们在制作过程中,也不断推翻之前的方案。

当时基本上两周里每天最多只能做出 10 秒。如果能做出 10 秒,我们就已经非常开心了。它和我们平时做的一些商业片不太一样,因为这部片子纯粹是我们的创作。

传统影视制作里,如果导演一开始只拍了这些镜头,后期剪辑时没有更多素材,我可能就只能就着这些镜头剪辑。但 AI 时代没有这个借口了。如果你想要某个素材,就可以自己生成,再也没有可以逃避的机会。

所以我们基本上做出一个镜头,在做下一个镜头的时候,都会反复要求自己:第二个镜头有没有在第一个镜头的基础上,给观众增添更多情感?有没有新的增量?观众看到下一个镜头时会不会觉得无聊?情绪会不会掉下来?

整个过程中,我们不断这样追问自己,所以制作速度特别慢,也特别煎熬和痛苦。最后大概就是这样制作出来的。

和以前的 AI 产品、技术相比,我们现在越来越觉得,基本上我们想的东西,大概率都能实现。图片质量已经非常好了,比较简单的动态也基本都可以实现。

现在可能还做不到的,是非常飞的一些运动镜头。比如毕赣的《路边野餐》,可能一个镜头就可以持续很长时间,把整个片子带完。但 AI 如果做长时间镜头,还是会出现各种各样的错误。

如果镜头调度非常大,它可能也还不太行。所以大家看《故宫猫猫上班记》也可以看到,它基本都是固定机位的镜头:一只小猫动一下,然后快速切到下一个镜头。整个片子的制作过程基本就是这样。

荣慧

我有几个补充问题。一个是,这个片子大概做了多久?第二是,你的甲方提了什么样的要求?你刚才说,好像其实并没有什么要求,是吗?

海辛

是的。这条片子前前后后大概制作了两周,因为中间还穿插了一些其他工作。两周对于我们来说,已经是做这条片子比较极限的时间了。

基本上每天都得有有效产出,最后才能堆到 1 分多钟。甲方对内容没有什么要求,只有时间上的要求:希望我们做成 1 分 30 秒左右,同时尽量带到更多北京的元素。大概就是这样,没有其他要求。

荣慧

那我们就可以放飞了,做自己想做的。

海辛

对。

荣慧

两周时间我觉得已经很快了。

海辛

对,比较快。但在 AI 圈内,基本上一条 1 分钟左右的视频,应该 1 天左右的量就可以做出来,大家出活都挺快的。

荣慧

因为 AI 现在变得很容易。如果不是特别精细地雕琢,产出还是比较容易的。我们觉得海辛的经历,其实可以很好地反映两个方面:一个是作为一线创作者,他可以非常直观地感受到工具的演化;另一方面,也可以反映客户以及市场对于 AI 创作的接受程度。

先说前一个方面。你刚才提到,现在有很多东西都可以做了。对比之前的某个时间节点,有没有一些以前你做片子时想实现但实现不了的东西,而现在你比较直观地感受到了一些比较大的技术进步或突破?

海辛

3. 工具进化的三个突破

我觉得比较大的技术突破,一个是角色的稳定性。以前我们上传一张自己的照片,希望让他笑一下,或者转个头,他可能在笑、转头的过程中形态就变了,变得不是我了。或者让他说一些话,说着说着,你就能感觉到这个人的脸已经变了。

以前角色稳定性还不是很高。我们甚至会上传一些中国老年人的影像,人物说着说着就会变成美国老爷爷,这也挺常见。也就是说,在单个镜头里,它没有办法始终锁定住一个角色的身份。

现在就会变得非常稳定。比如我是一个角色在说话,或者一只小猫在那里走路,大概率不可能在中间突然变成其他东西。我觉得这是一个非常大的突破,因为只有角色稳定了,才可以讲以角色为主的故事。

不然观众会迅速看出 bug,然后从故事中跳出来。所以有了角色稳定性,我觉得它才具备了讲故事片的基础。

另外一个是画面质量提升了很多。以前的 AI 影片经常会出现画面在整个过程中越来越模糊的情况。比如第一秒还很清晰,但到了第三秒,中间的一些细节、背景细节可能就糊到一起了。

这也使得一个镜头没有办法长时间使用。即使生成了 5 秒的镜头,真正能用的可能也就只有 1 到 2 秒,基本没有办法稳定地讲一个故事。

还有一个是对风格的兼容性提高了很多。以前的 AI 视频,其实也就是半年前、一年前的样子,大概是在做写实类型的动画时,表现会比风格化动画好很多。

比如我输入一个人跑步,它大概率可以生成一个人在跑步的写实形态。但如果给它一张 2D 插画,比如一张塔罗牌的牌面,明显是 2D 手绘风格的质感,它大概率没有办法让它真实地动起来。

现在的 AI 动画对风格化动画的表现也非常好,从 2D 动画、3D 动画,到一些比较抽象的风格,甚至今天我和阿文还在尝试做拼贴风的动画,质量都挺高。

也就是说,它可以模仿的动画类型越来越多,不仅仅是写实方面。这也是我感觉进步非常明显的地方。

总结来说,主要是 3 个方向:一个是画面质量更高、清晰度更高;另一个是角色稳定性更高,甚至包括场景里一些细节和物品的稳定性也提高了;还有一个是对风格化的支持范围越来越广。

荣慧

现在已经成为标配了吗?

海辛

现在的工具在这 3 方面做得还不错,但还有一些不够好的地方,包括丰富的镜头运动,以及场景本身的稳定性。

刚才说的是,我作为一个角色在这个房间里面是稳定的。但如果我在镜头里反打一个机位,它可能可以理解我这个角色,却没有办法理解我所在的时空和场景。

这个场景可能不是一个稳定的、不会出错的 3D 场景,这可能是一个问题。我不知道自己有没有讲清楚:大家从这个角度看到我的镜头,它可能可以生成我的视频,但没有办法生成我这个机位的反打镜头。

对于整个画面中我对面的场景,它可能不知道应该是什么样的,所以场景在整个过程中会不断变化。

荣慧

反打就是你现在面向的方向,对面那个镜头,是吗?

海辛

可以理解为 iPhone 的前置摄像头和后置摄像头分别看到的画面。

荣慧

对。

海辛

因为场景不太稳定,模型还没有办法理解它们可能是同一个场景,所以经常会穿帮。

[Speaker?]

最近 Sora 发布正好一周年。还记得去年大年初三,半夜凌晨四五点钟,我摸手机发现朋友圈在刷屏,一下子就惊醒了,之后就没睡着。那时候真的觉得,AI 怎么能够做出那么厉害的视频,简直像外星来物一样。

但过了一年的时间,一切好像都变得自然而然了。最近《十字路口》也做了一系列和 AI 视频有关的内容,想看看这一整年。看上去好像是顺水推舟,但仔细回头想,其实是翻天覆地的一年。

我们邀请了 Luma AI 的产品经理 Barclay,录了一期《十字路口二十问》。我们用 20 个问题,一起来复盘和梳理 AI 视频模型这一年。在硅谷和中国,各种 AI 视频产品,从巨头做的,到几个非常重要的创业公司做的,它们分别选择了什么路线,做出了哪些进步和突破。

Barclay 的视角,是行业一线产品经理的视角。同时,我们还请到了 Vozo AI 的创始人昌胤,和我们分享他从 Google X 这样一个全球顶尖的科研团队研究员,变成一个非常接地气的 AI 创业者的故事。

Vozo AI 发布后大幅刷屏,也登上了 Product Hunt 的榜首,不只是日榜榜首,还是月榜榜首。这个成绩,中国出海产品里没几个人做得到。他们也只用了半年,就从 0 做到了 ARR 100 万美元的收入。

昌胤那一期,是行业一线创业者的视角。本周请到海辛,是因为他是一线 AI 视频创作者中的佼佼者。他和搭档阿文不但一直在创作各种爆款作品,同时在审美表现和内容表达上也有自己非常独到的地方,做出来的东西都很有灵魂。

所以今天请到海辛,我们也很想听听,除了之前的一线从业者和一线创业者之外,海辛作为一线创作者,对于视频这一年发生的各种变化,有哪些不一样的观察和视角。

想问海辛的第一个问题是:你自己最喜欢的 AI 视频产品是哪一个?以及你自己花钱最多的 AI 视频产品是哪一个?它们是同一个吗?

海辛

4. AI 工具各有专长

我目前最喜欢的是 Google 的产品,叫 Whisk。它目前不花钱,是免费的。

我最喜欢它的原因,是它生成出来的图片质量非常高。如果让它生成写实风格的图片,基本上真的跟真实照片差不多。我觉得《故宫猫猫上班记》能够做成,原因之一也是我们的图片基底基本都是用 Whisk 来做的。

我觉得它比目前行业一线的一些 AI 图像工具都要好很多。AI 视频工具的话,目前我感觉暂时还没有 SOTA 级别,基本上各家的模型都有自己的优劣。

比如可灵可能在写实场景生成上非常好;海螺在风格化动画方面特别好,镜头运动控制也会比其他家好一点;我还比较喜欢 PixVerse,它的特点是转场镜头非常丝滑,可以判断动作的连续性以及结构怎么变化,总能找到更合理的运动方式。

所以这 3 家我都用得挺多。如果说花钱的话,可能这 3 家付得差不多,都是按照最高的标准充会员,基本是这样。

荣慧

有没有什么大家都不看好,或者大家好像还不知道,但你特别喜欢的 AI 图像或视频产品?刚才说了一个 Whisk,还有其他吗?

海辛

Google 旗下还有 Imagen 3。Whisk 是它的 Imagen 3 模型的一个产品,它自己的 ImageFX 也是基于 Imagen 3 的一个产品。我觉得这两个效果都挺好。

另外,可能还不广为人知,但在业内其实挺有名的,是即梦的图像生成工具。大家用即梦比较多的,可能是它的视频生成,但我们感觉它的图像生成也非常优秀,尤其是在中文文字的表现能力上。

它可以直接生成准确的中文文字。如果文字不多,做海报之类的会非常方便。我觉得这是视觉模型的一大进步,至少在中文文字表现上是这样。

荣慧

我自己作为一个非创作者,感受是每天或者每周,各个大厂和重要的视频公司都在发布新的 feature 或新的产品。最近有没有哪个产品发布的某个新 feature,让你印象特别深刻?

海辛

我觉得有两个。一个是 PixVerse 的 Auto Sound,它生成视频的时候,可以同时把对应的音频一起生成出来。

一开始我没有那么在乎这个功能,是因为我已经习惯了把视频全部做好以后,再去配音频。我当时想,AI 生成的音频大概率还得重新做。

后来我发现,它直接帮我生成音频,对我来说其实有非常多的好处。我有大量的情况是只发短视频,很多短视频一个镜头出来就可以直接发布。

比如在富士山上倒雪,可能只有一个镜头、几秒钟。如果这种情况下还要重新进剪辑软件找配音,反而会比较麻烦。

所以我感觉 Auto Sound 不仅效果好,也确实切中了我的需求。对于一些轻量化、比较短的创作,可以直接用这个 feature 达到不错的效果。

另外一个我非常喜欢的,是海螺最近出的 Director Mode,也就是导演模式。这个模式可以控制镜头。你可以组合控制文生视频或者图生视频时,镜头具体怎么运动,而且使用的是专业的导演语言。

比如先放一张东方明珠的图片,然后告诉它:接下来向左移一点,再向下沉一点,然后围绕它做一个旋转镜头。你可以使用这种非常复杂、专业的镜头指令,生成一系列视频。

我一直非常希望能在 AI 模型里控制镜头,所以我觉得这个功能完全切中了我的需求。这是我非常喜欢的两个 feature,都是最近才出的。

荣慧

你会觉得现在还有小团队创业做 AI 视频产品的机会吗?刚才我们提到的每个名字背后,要么是 Google 这样的大厂,要么是 MiniMax 或快手这样财力也非常雄厚的公司。创业公司还有机会吗?

海辛

我最近也在想这个问题。我在想,为什么这么久还没有出现 SOTA?我觉得是因为各家都会在这个方向里找到新的方向,大家攻克的问题并不一样。

可能正是没有哪一家可以完全攻克所有方向,才使得创业公司有机会。比如 Pika 可能专攻 AI 视频特效:在一个视频里加入新的元素,把原有视频的某些元素替换掉。

视频的玩法实在太多了,所以即使不做基础模型,可能也有机会去攻克视频的某一个方面。比如攻克视频文字包装,怎么把文字优雅地贴合进去;控制视频的自动打光;或者只去做某一个具体的特效模板,我觉得都可能有戏。

既然每一家都还可以找到这么多不同的新方向,也许还有其他公司入局的机会。

荣慧

如果你自己要创业呢?我知道除了创作者之外,你之前也做过视频公司的产品经理。如果现在要创业,你有没有看到过一些曾经让你心动的产品机会?

海辛

我之前特别想做的,是在画布上做故事板,然后在故事板上做视频。我觉得这个模式其实比较基础,也会是未来一定会出现的视频产品形态。只是当时可能机缘巧合,还没有完全做出来,受限于当时的视频生成非常耗时间,每个视频要生成很长时间,成本也非常高,所以当时那个工具的形态可能还没有完全 ready。

但现在如果让我去做一个 AI 视频产品,我最想做的方向是虚实结合。不是我有一张全新的 AI 图片,让它动起来,而是我在生活中拍一段视频,然后用 AI 给它增加其他东西。

比如 Pika 可以在视频里增加新的元素,给视频里增加皮卡丘。我想做的,是把平时拍到的东西增加新的特效。

以前好莱坞电影可能会先拍一个城市的空镜,用航拍机就可以拍。但现在我假想的 AI 视频产品,可以给这个已经拍好的城市空镜增加被海洋吞没、被海啸吞没,或者被陨石击中的特效。

我觉得和现实结合的 AI 作品会更容易吸引大家的眼球。即使它的质量看起来可能不如纯电影质感的作品那么好,也会更有吸引力。

荣慧

作为一线创作者,你和这些做 AI 视频模型或产品的公司会有交流吗?

海辛

交流很多。刚才提到的几家 AI 视频公司,我都是它们的超级创作者。

早一点的时候,模式可能是直接提需求,或者让他们看我做出来的东西,对他们也会有启发。他们也会经常联系业内从业者,了解目前大家最重要的诉求是什么。

比如业内一直会反馈,角色稳定性非常重要,1080P 也非常重要,他们可能就会把这些需求提上来。

除了超级创作者以外,我和一些 AI 产品公司也是顾问关系。比如我现在是美团妙刷的顾问。妙刷基本上是基于 ComfyUI 的一系列玩法做创新。

我会跟他们一起讨论,目前有哪些玩法是 AI 图像生成模型可以做的。比如我们之前做过毛绒玩偶风格的 Shirley Cat,就是上传任何一张图片,把它变成 Shirley Cat 的风格;我们还做过《哈利·波特》的入学动态海报等一系列玩法。

这种合作模式,会比和 AI 视频公司做超级创作者更深入。大概会从整体创意方向,一直到最后如何执行落地,甚至宣传推广,也会参与一些工作。

荣慧

和这些团队接触时,除了刚才提到的具体产品和功能,有没有什么让你特别有印象、特别有意思的事情?你觉得这些团队的人员构成,会不会和传统团队稍微有些不一样?

海辛

我接触到的团队,在不同时间段不太一样。2022 年、2023 年的时候,我接触到的一些国内 AI 团队,产品团队可能真的基本都是开发者背景、算法工程师背景。

但从今年开始接触一些团队,会发现里面也有很多创作者背景的人。他们可能之前就有艺术创作或视频特效的背景。

国内有一个很有名的 AI 创作者叫归藏,他之前也是做视频特效的。所以我觉得确实发生了一些变化:以前可能是纯开发者、纯技术研究者、纯算法工程师的背景,现在会越来越 mix,可能会有更多艺术背景的人加入。

因为这个行业还是需要吸收非常专业、非常了解创作的人。

荣慧

海辛应该是市面上所有新的模型和工具出来以后,都会第一时间试用。可不可以帮我们点评一下现在最主流的模型和工具?比如海螺、可灵、PixVerse、混元,也包括字节的模型;海外的比如 Luma、Google 的产品或者 Sora 等等,可不可以依次点评一下?

海辛

5. 主流模型各有强项

好的。大概可以分成两大类。第一类是图像模型。图像模型里比较厉害的几家,分别是 Midjourney 和 Google 的 Imagen。

Midjourney 大家肯定都知道,是从 2022 年、2023 年开始就一直非常火的 AI 工具。它生成的图像非常有审美。

从去年年底开始,Google 的 Imagen 也逐渐出现在大家的视野里。大家会发现,它的效果居然比 Midjourney 还要好,质感也会比 Midjourney 更真实一点。

图像类除了这两家,我还特别推荐即梦 AI。它应该是目前少数可以生成中文文字的 AI 生成工具,而且融合了很多以前开源工作流里大家比较熟悉的功能,比如 ControlNet。

具体来说,它支持轮廓参考、骨骼参考、边缘参考等。我觉得它非常好用,也在逐渐变得越来越好用。有很多时候,我甚至觉得用即梦的效果比用一些开源工作流还要好。

从视频模型的角度,我觉得可以提到名字的几家分别是可灵、海螺、PixVerse 和 Luma。

可灵目前在写实风格上应该是绝对的第一梯队。海螺在风格化动画和摄影机控制方面,是目前第一梯队,一定是做得最好的。

PixVerse 现在绝对是速度最快的,同时在转场能力和关键帧动画方面,效果也是最好的。它提供的自动添加音频功能,也是最好的。

Luma 是我非常关注的一家公司。首先,它官网的 UI 界面真是一流,比其他家更重视整体的 UI 体验和审美。

它主要是动画模型,在动画风格方面,我觉得它动起来非常自然。我在国外网站上看到很多用 Luma 做的、比较偏宫崎骏风格的动画,真的和传统吉卜力动画工作室做出来的差不多,已经是这种级别了。

还有一些值得关注的公司,比如 Runway 可以持续关注。虽然已经很久没有听到他们的声音了,但它毕竟是第一梯队的大佬。

另外一家是 Pika。Pika 和主流的图生视频公司不太一样,它专注于做一些特效,比如把一个人物变成气球飞走,把一个人物捏碎。这些特效最开始都是 Pika 做的。

他们现在也在做一些结合实拍的特殊效果,所以我觉得他们是另辟蹊径的一家公司,也非常厉害。

荣慧

除了创作者工具和相关公司,另一方面其实是市场对于 AI 创作的接受程度。我看过海辛去年 8 月或 9 月的一次公开分享,你提到电影预告片讲究氛围,不需要很强的逻辑和关联。

前两年这种内容相对更多,强调强叙事、用大量镜头通过同一个角色串联起来的内容,反而比较少。你现在觉得有什么新的变化吗?

海辛

6. AI 开始真正讲故事

我觉得现在要做一个以角色为主角的影片,逐渐变得容易了,虽然还是没有真人实拍那么容易。

今年我看了 Project Odyssey。它是一个全球 AI 艺术创作者的比赛,其中有一个赛道叫 Narrative,也就是故事片。里面越来越多故事片的故事变得精彩了。

其中有一部进入前几名的作品,讲的是一个圣诞节出去吓人的骷髅。我在看的时候,发现自己好像真的在关注它的故事,而不是关注它会不会穿帮。

我觉得以前看 AI 作品时,初期关注的是 AI 技法,但现在已经比以前更能讲故事片了。不过,氛围片、先导片、概念片可能仍然是目前 AI 最擅长的地方。

荣慧

我看《故宫猫猫上班记》,感觉它其实已经有一些故事片的感觉了。它在讲这几只猫上班路上的所见所闻。

海辛

是的。但我们其实避开了一些问题。比如我们用的不是同一只猫,而是不断切换不同的猫。这样就不需要严格让观众去想这只猫的故事是什么。

不然下一个镜头里,它脸上可能多了一道花纹,观众就会觉得这只猫变了。像这类情况,我们还是尽量避开。

荣慧

你做的第一支 AI 相关的商业短片是哪一支?

海辛

第一支 AI 商业片应该是 2022 年 5 月、6 月在上海文广做的。当时帮《这!就是街舞 5》做先导预告片,大量使用了 AI,具体来说就是用 Midjourney 做场景素材和美术。

这应该是第一支。之后又做了更多尝试,不过更多还是把 AI 当作概念美术的辅助。

荣慧

我好像记得你在一次分享里提到过,当时做的是李承铉的那一支?

海辛

其实每一个队长我们都做了,包括李承铉、刘雨昕、王一博和韩庚。他们基本都用了非常强的 AI 来辅助背景生成。

但李承铉这个案例是最好的,因为他的整个背景里,AI 占的比例大概有 80% 到 90%。其他几支可能只有 10% 或 30%,比例不太一样。

荣慧

当时这个契机是因为疫情吗?

海辛

对,是因为疫情,整个工期被耽误了很多。原本我们打算 3 月或 4 月开始制作,因为《这!就是街舞 5》要在 8 月上线,所以一定要提早开始。

但因为疫情,两个月都没有制作。到了 6 月,我们才一起到杭州制作这个片子。制作工期比以往正式的制作时间压缩了很多,经费也不够,所以必须快速出活。

当时我就想,是不是可以用 AI 做一些概念性的辅助。于是我们在剧组里开始用 Midjourney。它可以快速验证可行性。

当时我们发现,拿着 AI 生成的东西在现场和导演、艺人沟通,会快很多。以前可能需要美术指导,先听我们描述需求,回去画一稿,再拿回来和导演沟通。

但当时导演如果突然说:“我们可不可以要两个月亮?”我就可以快速生成两个月亮,直接在现场和艺人、导演把方案和方向敲定。

我当时就觉得,这个模式说不定真的能行,后来就开始涉及更多 AI 方面的尝试。

荣慧

他们当时对于 AI 的成分有多少,其实可能不是很在意,只要能够加快工期就可以,是吗?

海辛

是的。而且大家也觉得很神奇,AI 居然可以做到这些事情。大家其实都是看效果。

荣慧

那你后来接触到的这些甲方,对 AI 的态度有没有比较明显的变化?比如有的甲方找你们,是因为他们本身就想尝试一下 AI?

海辛

是的,他们在业务上可能想尝试。我遇到最多的甲方,最早是游戏公司。

对游戏公司来说,大量美术资产的制作一直非常重要。所以很早的时候,几家游戏公司就邀请我做过一些分享,聊 AI 如何帮助游戏,尤其是游戏原画、游戏资产和图标设计,快速提升效率。

我觉得大家抱着的是一种探索态度,没有特别强的抵触情绪,都想看看 AI 能做到什么成熟程度。

后来大概半年以后,影视相关的公司多了起来。具体节点可能是 Runway 的 Gen-2 出来以后,大家开始想:它是不是可以做一些东西?

当时 Twitter 上开始出现一些 AI 方向的影片,国内一些广告公司也开始思考,能不能拿 AI 这个点来做广告片。

比较大的一个案例,是联想和 GQ 联合做的一条关于山竹的广告片,大概是找我们来做的。那条广告在宣传时,主要打的方向是“这是一条 AIGC 片子”。

但到去年年底、今年,我们接触到的短片,大概率已经不是为了强调“这是一条 AI 短片”。它们更侧重于 AI 能完成的某一个效果。

比如把所有的地标变成毛绒玩具。大家是追着这个效果来的,而不是追着“这是 AI”来的。因为这个效果很有趣,大家喜欢,而这个效果是 AI 做出来的,所以他们来找 AI 创作者做这样的短片。

今年从伊利金领冠到霸王茶姬,大家也是追着效果来的。伊利金领冠觉得可以做成 3D 的效果,于是找我们做;霸王茶姬想要偏油画风格的广告,而 AI 转绘刚好可以实现,所以他们来找我们。

所以我感觉,AI 从一开始的噱头,逐渐变成了真正的工具。

荣慧

之前那些广告公司或视频公司也会用 AI。你有没有发现,对于这一批做得比较好的创作者来说,他们多数是从零开始,没有过去的包袱、束缚、习惯和惯性?还是说,他们过去扎实的基础也能带来帮助?

海辛

扎实的基础肯定可以带来帮助。有两个例子。

一个是我们做 AI 图像的时候,有一个非常著名的 ComfyUI 工作流网站,叫 OpenArt。这个网站上有很多 ComfyUI 工作流,大家会下载其他人的工作流来使用。

在这个 AI 艺术创作平台里,最受欢迎的工作流作者之一叫瑞。我们了解以后发现,他其实有 15 年的游戏美术背景。我觉得这是一个点。

另外一个点是,我们做 AI 视频时会发现,曾经拍过片子,或者有影视背景的人,会更容易上手,也更能做出一些好的东西。

一个很明确的特点是,如果他曾经有影视背景、做过短片,就会有比较强的分镜意识,也会有不同景别的意识。

如果没有这方面的经验,直接上手做,很多人可能会让整条片子都是同一个景别:一个全景、一个全景、一个全景地接起来。这样就会缺乏叙事感和节奏感,尤其是景别上的节奏感。

我觉得这是纯粹经验上的东西。这个经验在一开始会存在,但未来随着大家制作的时间越来越多,也会逐渐补足。不过确实,如果之前有经验,更容易做出好的作品。

荣慧

甲方问你的问题,主要集中在哪些方面?他们对于 AI 创作作品的好奇,或者关心的方向,主要有哪些?从过去到现在,他们集中关心的话题有没有变化?

海辛

他们经常关心的一个点是:AI 生成一个视频以后,整体氛围可能所有人都特别喜欢,我们作为创作者很喜欢,甲方也非常喜欢,但甲方可能会对其中一些细节挑刺。

比如一匹马在高原上行走,整体氛围特别好,但甲方希望这匹马走得再慢一点,或者在动作衔接时不要有动态残影。

这种问题没有办法修改。传统制作流程肯定可以修改,可以回到工程文件里,修改具体的点,修改速度、镜头帧率,就能改变这些问题。

但 AI 生成出来的就是一个定稿。它生成出来以后没有图层,我也没有办法再回去编辑。一旦要修改,就需要重新生成。

这是甲方非常不习惯的一点:他们这次做出来的一些东西,很多没有办法修改,一旦修改就需要重新做。

荣慧

我刚刚也想到,流程上可能会发生变化。以前我不太熟悉视频提案,但我猜一般提案会有一个简单的初稿,甲方可能会提出一些修改意见。但用 AI 生成的话,这种修改可能会非常麻烦。

海辛

是的。所以现在基本上会提前和甲方说好,大概率有些东西是改不了的。如果要改,可能就只能更换。

当然我们还是会进行创意提案,但从创意提案到分镜的环节,也会和甲方说清楚:虽然现在是这样一个创意提案、这样一个分镜,但根据我们的制作经验,中间大概率会有一些无法实现的部分,整个过程会是一个不断灵活调整的过程。

荣慧

还有一种说法是,因为现在用 AI 做视频变得更容易,所以大家给甲方报价时会越来越卷、报得越来越低,导致乙方过得越来越惨。你有这种感受吗?

海辛

我自己倒是没有。因为最近我和阿文做的作品质量比较高,所以我们的报价反而变高了。

但我也不知道。我觉得在某一个阶段,AI 解决的问题可能是效率和成本,但 AI 也有增量价值。它的增量价值,是以前影视行业里不那么容易实现的东西。

这些效果可能只有 AI 能做出来,所以报价未必会因为 AI 的能力提高而降低。

我有一些例子,等会儿也可以分享。英国有一位做动画的朋友,他做了一个 AI 广告短片。大概是一个沐浴露广告,表现方式是一个男性在各种空间里来回穿梭。

比如他会出现在一大堆橙子的环境里、海底,或者像猿人一样在树林里荡来荡去。这些在传统制作中非常难,而且里面还有一些只有 AI 才能实现的衔接效果。

这些在传统制作里基本做不到。我觉得这就是 AI 的增量,它在想象力方面确实非常强。这样的东西可能就是 AI 独有的价值,不只是降本增效。

荣慧

这是不是就像我们之前聊过的:现在的作品既要让观众感觉没有 AI 味儿,又要让 AI 发挥作用,也就是发挥创作和创造力的部分?

海辛

是的。我最近在做一个拼贴风格的动画,和阿文一起做。我们发现,AI 可以让拼贴风动画动得非常符合传统 MG 动画的拼贴质感。

但做到一半我们发现,如果只是用 AI 复现拼贴动画风格,那这条短片用 AI 做的意义是什么?

所以我们要求它不仅能够复现拼贴风格,同时还必须做出一些新的想象力。我们现在做的一个效果,是拼贴画里的一个元素,可以在不同的拼贴画之间来回穿梭。

它可以打破拼贴画只有 2D 平面的质感,进入 3D 空间,再回到 2D。AI 可以做到这种效果。

我们觉得,这种新的效果是传统拼贴动画里没有的。对我们来说,这部分内容非常有价值。我们不仅要复原传统制作里已经存在的效果,还必须创造一些新的效果,我觉得这是大家更想看到的。

荣慧

大家常说一句老生常谈的话,叫“万变不离其宗”。即使 AI 可以带来很多新东西,最重要的还是讲故事的能力。

但我在想,我们这个时代讲故事的方式,是不是也会出现更多不同的元素?因为 AI 可以帮你想象,突破人的一些想象力,创造出更多的想象空间。它可能会让故事变得更丰富,或者有更多层面。

海辛

我觉得是的。最开始打动我、让我想做电影叙事的,是皮克斯的《飞屋环游记》。

里面有一幕,整个气球把房屋一下子拽起来。我觉得那一瞬间打动我的可能不是故事,而是单纯被想象力打动。

我觉得 AI 现在让我们痴迷的地方,就是我好像也可以用它创造这样的时刻——让人纯粹被想象力打动的时刻。

我在想,为什么想象力本身会打动我们?可能是因为想象力会让我们瞬间脱离原本的生活。从生活里出来以后,我们会感到自由,感到外界有无限的可能。这可能就是想象力本身带来的东西。

荣慧

那我们来聊一聊海辛的故事。我之前知道海辛是学医的,我觉得这个经历很有意思。你可以讲一讲,为什么会从一个学医学专业的学生,后来去学电影?

海辛

7. 从学医走向艺术

看《飞屋环游记》的时候我还在高中。当时看到那部电影,我第一个感觉就是:我希望自己是创作那个镜头的人。我希望自己是那个东西的一部分。

当时我给自己定的最大梦想,就是加入皮克斯动画公司。人生理想是成为皮克斯动画公司的一颗螺丝钉。我觉得这就足够让我幸福了。

高考结束时,我其实想着也许可以去读编导,但当时对职业是怎么划分的没有很清晰的概念。我在想,也许可以读编导。

但当时成绩还可以,家里人特别希望我学医。我在四川成都长大,成都一个非常有名的学校就是四川大学华西医学院。对成都人来说,家里有孩子去那里学医,是一件很光荣的事情。

所以家里人特别希望我去那里学医。即使我和他们发生了争执,他们也没有特别听进去我的诉求,还是强制让我学了医。

那是我第一次感觉到,可能是我和家里人第一次真正的争执。我当时也不是非常自信,最后还是选择了和家里人一样,去学医。

我不自信可能有两个原因。一个是对自己能力不自信,不确定自己成为艺术家以后能不能养活自己。另一个是对艺术这个专业本身不够自信。

在我那个年代,大家会说学艺术是成绩不好的人才去学。虽然我现在完全不这么想,但当时我对这个选择非常怀疑,对自己也非常怀疑,所以最后还是选择了学医。

大学 5 年期间,我也逐渐开始琢磨:我到底想做什么?怎样的人生才是不会让自己后悔的人生?我做这件事的目的,是为了成功吗?我想学艺术,是因为想成功、想获得什么吗?

在这个过程中我发现,我做这件事的原因,是因为它最能让我快乐。想通以后我就知道,即使不成功,这也是我要做的事情,因为它是最让我感到快乐的事情。

想通以后,我决定去学艺术。应该说,在这个过程中,我有了独立的思考能力和独立的人格。

大四的时候我开始申请艺术院校,大五顺利拿到了 offer。虽然和家里发生了非常大的争执,但这次我没有妥协,最后顺利去了国外学艺术。

荣慧

学医应该还挺辛苦的。你当时有没有做一些 side project,发展自己的爱好,从中感受到这种快乐?

海辛

学医确实很辛苦,但我觉得大学还是有很多空闲时间的。我大学做了很多尝试,成立了一个广播剧社团,也做了各种各样的活动。

我还加入了川大哲学学院梁中和老师办的柏拉图学院。大概每两周,大家会聚在一起读柏拉图的书。

我做了很多和本专业没有关系的事情。我觉得正是在这个过程中,才逐渐了解自己到底想要什么,什么东西在滋养我。

文学和艺术是我真正喜欢的东西。真正花时间拍作品集,基本也就是大四那个寒假开始,其实没有花太多时间。

荣慧

你一直很清楚自己喜欢这个,只是做了很多不同方向的探索。

海辛

对。我会做很多不同方向的探索,但喜欢电影和艺术这件事一直都很清楚。

荣慧

这很像我们之前那位嘉宾 Justin,也就是牧童科技之前的 CEO 说过的话。他说,很庆幸自己小时候做过一些在当时看来没用的尝试。

之前有一期节目,许知远和一位老师回学校时提到过一句话,我印象也很深,叫“无用之用,方为大用”。

海辛

很多选择可能在大学时就已经有倾向了。比如做很多活动,选择很多事情去尝试,尽量不会以比较功利的角度去选择,不会先想这件事能给我带来多少帮助。

因为我当时意识到,自己有很多不同的需求。我有让成绩变好的需求,有找到更好工作的需求,但同时也有感受有趣的需求、创作的需求,以及想感觉自己是一个不错的人的需求。

这些需求会让我去做公益尝试,参加哲学学院的活动。它们可能在功利角度上无法带来直接回报,却满足了一些对我来说非常核心的需求。

这些东西一起构成了我。所以我觉得,那些散开的东西反而让我变得更立体、更丰富。虽然它们现在可能还没有显性的好处,但对我来说很重要。

[Speaker?]

你刚才讲的这一点让我很有感触。它有点像高敏感型人的一个特质。大家可能会觉得敏感不是一件好事,但你说的其实是:比较敏感地感觉到自己需要什么,然后做一些事情满足这些需要。这也是发展自己的一种方法。

海辛

是的。我一直在尝试不要被某些标签,或者自己的职业,限定自己应该往哪个方向发展。我觉得这对我的经历来说还挺重要,也让我可以随时跨到其他行业。

荣慧

我觉得听到这里,应该有很多人会很羡慕海辛。很多人都处在一个个十字路口,觉得眼前做的事情不一定是自己喜欢的,也很想找到自己热爱的领域。

很多听这个播客的人,可能也想成为一个创作者。对于这样的人,你会给他们什么建议?尤其今天 AI 降低了创作门槛,你会建议他们先从什么工具开始,或者先从什么创作开始?

海辛

我觉得第一点就是先动手做起来。可以先做一些比较简单、比较小的事情,但一定要动手,不要先想象它是一件很难的事。

我觉得这是做任何行业的第一件事。包括我自己以前用 AI 写代码、做一些小程序,先不要被自己想象出来的困难吓倒,先做一些小案例。

可以跟着教程做一个小效果,或者只是生成一张图片,也都很好。先做起来。

做起来以后,开始记录自己的成长,也可以更频繁地把它们发到自己的社交媒体上。即使现在还不够好,也没有关系。

有一句对我以前非常有帮助的话:完成大于完美。我觉得就是这样。不断完成,不断发出来,就可以看到自己的变化,看到自己走了多远。

这个过程会带来非常强的正反馈和激励。

但在现在的我看来,自己逐渐有了一点变化。我前 28 年基本都是“完成大于完美”,先做出来、先丢出来,即使不怎么样也没有关系。

从去年开始,我发现和自己死磕是有价值的。做一个东西,要不断拷问自己:这是我真正想表达的吗?这是我觉得最好的东西吗?这是诚实的东西吗?

我开始有很多这方面的思考,发现这些对我帮助特别大。当我不断拷问自己以后,做出来的效果也会变好。

所以我现在觉得,和自己死磕绝对是有价值的。

荣慧

这让我想起最近 DeepSeek 的 R1 论文。它生成前面的思考越长,最后的效果可能越好。这个可能在你身上也适用:和自己死磕的时间越长,最后出来的效果可能越好。

海辛

对。

荣慧

你有哪个爆款作品是这样死磕出来的吗?因为这确实和一些人的观点不太一样,不是所有人都认可死磕。有些人会觉得,明知山有虎,就绕到另外一边去走。

海辛

我觉得我有 80% 到 90% 的情况都会绕到另外一边去走。让我死磕出来的作品,就是我和阿文一起做的《故宫猫猫上班记》。

基本上,我们对每一个镜头和下一个镜头的要求,都是下一个镜头一定要比上一个镜头给观众带来更多情感上的增量。

这种模式做出来的,一定是我们达到最好效果的作品。过程非常痛苦,是我们所有 AI 短片里最痛苦的一次,但也是我们现在最满意的一次。

荣慧

创作方式有很多种,大家可以摸索适合自己的方式。但我觉得你讲的其实是一种平衡。

可能积累到一定程度之后,会进入一个需要和自己死磕的状态。你说的“完成比完美更重要”的反面,就是很多人想憋一个大招,等到特别好、特别满意以后,才展示给别人,或者才推进到下一步。

结果往往就是交付不出来。哪些事情适合轻量化地做,哪些事情值得投入、憋一个大的,大家还是要自己权衡。

我们也在找这个平衡。如果每部短片都按照《故宫猫猫上班记》的方式来做,对我们自己也是很大的损耗。

所以我可能还是会轻量跑一段时间,再憋一个大招;轻量跑一段时间,再憋一个大招。这是我现在对自己所处阶段的想法。

荣慧

我们再说回海辛的经历。之前聊天时,海辛提到,他在美国读书的那段时间对自己的影响很大。当时听你介绍那段生活,我感觉很像一块海绵,不停地吸收周围的养分。

可以再跟听众讲讲当时的经历吗?

海辛

8. 留学中的自由与燃尽

我和很多留学生的生活不太一样的一点,是我的日程基本排满了。大概是周一到周四在学校上课,周五到周日一直在片场,整个学生时代基本都是这样。

研一时待在片场,基本都是学生剧组。其他班的同学在拍片,我就去帮忙,可能做美术助理、摄影助理或者灯光助理。周五到周日都会排满。

从周四晚上开始,我就会准备第二天片场可能需要的东西。

到研二的时候,我开始做更多美术工作,大概就是主美。因为我们学院没有美术这个专业,而我比较擅长这个方向,所以学院里一个年级的短片,主美经常都是我负责。

每个人都会有自己的短片,每部短片都必须找一个美术,很多人都会找到我。基本上,一个学期里所有可以拍片子的周末,我的时间都排满了。

这个周期让我学到非常多东西,进步也非常快。但有一段时间我明显处于 burnout 的状态。压力特别大,有非常多事情进来以后,我也没有办法把所有事情做好。

之后我开始调整节奏,大概确认自己一个月只做一部片子,然后把速度慢慢调下来。

这对我来说是一个很重要的时间点。我意识到,把时间排满不利于工作,也第一次发现了自己的身体极限。

后来把速度调慢以后,发现节奏好很多,作品质量也好很多。我觉得这也是一个平衡的过程。

荣慧

你当时在美国留学,好像是被放到了一个自己特别想待的地方,学到的也都是自己感兴趣、让自己有收获的东西。站在今天的角度看,那段经历对你后来做的事情有什么影响?

海辛

影响非常深刻。刚到美国的时候,有一段时间我会觉得,真的好自由。

这种自由感是,身边的人都不在乎我在做什么。以前在学校,老师会在乎我做什么,同学会问我做什么,室友会问,妈妈也会在乎。我自己也会拷问自己:现在这个时间节点是不是要交论文,我现在在做什么?

但到了美国以后,没有人在乎我做什么,这给了我非常大的自由感。我第一次感觉到,人与人之间的边界感让我很舒服。我可以一个人去做很多事情。

接下来是,所有课程都变成了我喜欢的课程。从编剧课,到后期制作课、特效课、调色课,基本每一个环节都和创造力有关。

我感觉自己的生命好像没有垃圾时间了,每件事都是自己享受的事情。

电影制作也是这样。从最开始的剧本写作,到美术计划,确定氛围和分镜,再到现场搭建、拍摄,之后是后期剪辑、特效和调色,我喜欢整个过程的每一个环节。

这在我之前的人生中很少见。以前做喜欢的事情,通常还要应付一些不喜欢的事情。但那段时间,我好像不需要花时间去应付不喜欢的事情,所以经历了一段很长的蜜月期。

但很快就 burnout 了。后来我开始意识到自己的体力和精力极限在哪里,也开始学习如何协调和管理自己,以及其他人的期待。

荣慧

你觉得创作这件事,以及留学经历,给自己带来了哪些特别大的成长?

海辛

我的创作是真正从留学时开始的,所以我不太确定,是创作带给我成长,还是去美国带给我成长。我觉得可能前者更多一点。

在美国有一个和我之前想象不太一样的地方,就是我变得更包容,更能包容其他不一样的人。

我当时最好的朋友是一个穆斯林、来自伊朗的人,他剪辑和特效做得特别厉害,后来成了非常好的朋友。还有一个来自巴西、信仰犹太教的朋友,也和我成为了很好的朋友。

我发现他们和我以前在媒体上接触到的形象非常不一样。这个可能对我是一个改变:原来每个人都这么不一样。

我接触到的更多是一个个具体的人,而不是某个 title 或者某个片面的形象。可能这就是留学带给我的变化。

荣慧

海辛之前也跟我们讲过,正是因为那段时间的经历,你拍了一部短片,后来获得了参加上海电影节的机会。

海辛

刚刚还想补充一点。你说到美国让我感到自由,还有一个非常小的例子,对我影响也很深。

我刚到美国时很在意自己的口音,觉得自己说的英语不够标准。后来和一个美国朋友聊天,他觉得不存在什么标准英语,他认为我的 accent 是我性格的一部分。

这对我的启发很大。后来我意识到,我应该用自己最好的方式表达。如果别人听不懂,那不一定是我的问题。

这让我理解到,标准化不是一个特别重要的概念。对我后来的影响非常大:我不再追求任何领域里所谓的标准,standard 这件事对我来说不再重要了,也给了自己更多自由的空间。

回到刚才说的那部短片,它是我研究生期间做的。用一句话来讲,如果圣母玛利亚活在当代,知道自己怀上了耶稣,她有没有可能选择堕胎?

选择这个故事,是因为圣母玛利亚是一个非常经典的形象。但在过去的圣经故事和一系列故事里,从来没有人问过她到底想不想怀耶稣。

所以我在想,如果她活在现代,如果有人问她,她会不会选择不要这个孩子?我大概写了一个黑色喜剧的故事。

我现在也很喜欢这个故事。现在回头看,会觉得很有意思,也会分析当时的自己为什么会写出这样的故事。

当时的我可能还不知道,但现在分析起来,我觉得那时候的我正在寻找很多女性主义的东西:我和别人对我的期待,到底哪个更重要?这可能就是当时的一些挣扎,最后形成了这部短片。

荣慧

后来你是怎么样接触 AI 的?怎么开始做 AI 相关创作的?

海辛

9. 从新技术走进 AI

这部短片后来把我带到了上海。它参加了上海国际电影节的创投训练营,因为这部短片,我被选中加入训练营。

参加完这个活动以后,我对上海的感觉特别好,于是决定留在上海。决定留在上海以后,我想找一份稳定的工作,于是去了上海文广 SMG,申请做全职导演。

当时我介绍了自己在美国的经历,以及擅长的方向。领导后来决定让我主要负责新技术方向的导演工作。

新技术大概指 XR、VR、AR,这些和传统影视不太相关,但可能帮助短片制作的技术方向。

这些技术和我们现在的 AI 很接近。当时大家主要谈的一个概念是元宇宙。元宇宙包括把一些东西数字资产化、3D 化,所以我开始学习 3D 扫描技术,也帮自然博物馆扫描了很多东西。

当时还有一个非常火的概念叫数字人,它和我们现在的 AI 数字人也很像。除此以外,最重要的应该是 XR 虚拟制片。

虚拟制片是在虚幻引擎里拍片。虚幻引擎需要英伟达这样的显卡才能运行,所以我会对英伟达以及一系列相关技术很熟悉。

AI 出现以后,它和这些技术的土壤是完全一致的,所以我也很快接触到了 AI。大概就是通过这样的桥梁连接起来的。

荣慧

也就是说,你之前已经做了很多技术和影片结合的尝试。

海辛

对。

荣慧

我记得你之前也说过,当时接触 AI 也有一个契机,是因为疫情在家里。

海辛

对。疫情期间我待在家里,有时间去学习 AI。当时还有一个非常有名的技术叫 NFT,很多艺术家都在做自己的 NFT 藏品。

我看到他们发布了很多用 AI 做的 NFT 藏品,就觉得:这个东西还能用 AI 做吗?我非常好奇,于是报名了一些课程,了解它们到底是怎么做的。

后来我逐渐熟悉以后,发现 AI 的魅力比 NFT 大很多,于是就开始只做 AI 了。

荣慧

你当时是想做一些东西、寻找一个方向,还是像我听下来那样,有一种让自己浸泡在新技术里、在新技术中漫游的感觉?

海辛

我觉得我有一个非常底层的需求,就是希望自己一个人做电影。

这是我很底层的需求。以前在美国,要做一部电影,需要很多人、很多钱、很多沟通和交流,也需要妥协。这些事情会让我挫败,因为它们不完全和创作相关,最后的结果可能是和其他事情妥协出来的。

所以我在想,如果未来可以一个人做电影,可能是最好的。因为这意味着创作上不再有妥协。

一切可以帮助电影行业降低成本的技术,都是我特别关心的技术。从虚拟制片到数字人,我觉得它们都可能让电影制作比传统技术更容易。

比如虚拟制片是在游戏引擎里拍电影。以前拍一个日落的镜头,真的要等太阳落下,然后在那十几分钟、二十几分钟里把这场戏拍完。

但现在在虚幻引擎、游戏引擎里拍日落,你可以让它 24 小时都处于日落环境中。从这个角度来说,成本就降低了。

AI 出来以后,我当时就觉得更厉害了。我想,那我完全不需要出去拍了,可以自己一个人想到什么就做什么。

这些技术带给了我一种妄想:以后我可能不再需要求人、不再需要求钱,就可以在没有创作妥协的基础上进行创作。

所以我会特别关注这些技术方向,也自然而然地越来越了解 AI。

荣慧

一个人把整个事情做下来,和你读书时在片场里经历的乐趣,有什么不一样?片场里有哪些乐趣,是一个人的时候没有的?

海辛

片场里是有乐趣的。当其他工种的小伙伴有一些技能比我厉害时,我会从他们那里得到启发,想到原来还可以这样做。这些瞬间非常有乐趣。

还有一个片场里很有意思的事情。因为我自己做美术,需要把景搭出来,所以经常要举着大概两三倍身高的东西。英文里叫 flat,也就是布景墙。

我需要把它们举到某个位置固定住,再刷漆、贴墙纸。这个环节对我来说也非常有意思,因为我第一次意识到,自己在创作比我大很多的东西。

以前画画或写故事,都是面对一个小小的电脑屏幕在创作,创作出来的东西不会在物理上让我感觉到它的存在。

但在片场搭建布景时,它真实地存在在那里,而且比我的肉体大很多。这种感觉非常奇妙:我创作了一个比我大很多的实体,而创作这件事让我的生命有了巨大的延伸。

这是电影片场带给我非常独特的体验。

荣慧

我问这个问题,其实是因为你前面说到片场生活,我想到今天 AI 的存在,是不是已经把片场里你熟悉的一些工种取代了。

但我觉得这不一定是零和游戏。旧的东西消失,也会有新的东西生长出来。所以想知道,随着这种此消彼长,会不会有新的乐趣出现?

海辛

我觉得是有的。一个比较明确、正在逐渐消亡的电影行业工种,是动捕师。

动捕师大概是在身上穿一套动作捕捉服,摄像头把动作记录下来,再把动作复制到一个 3D 模型上,让这个模型按照你的动作动起来。

以前我们需要很好的动捕演员。他们身上穿着紧身服,服装上有很多光学摄影机的反光点,用来记录动作。还需要一个非常巨大的光学摄影棚,如果是顶尖的,大概需要 200 万元人民币左右。

但现在动作捕捉可以用一个非常普通的摄像头,再加上 AI 来实现。动捕师这个工种,确实有被替代的趋势。

但它也会带来新的可能。过去做动作捕捉,必须有设备、有资金、有专业训练。现在有了 AI,基本可以录制任何人的动作,任何人都可以用自己的动作去驱动一个演员或角色。

我觉得这是在这个维度上有新的东西进来。更多人进入,可能就意味着更多可能性进入。

荣慧

你刚才描述的动捕师,让我想到之前看《封神第二部》的花絮。里面应该就是你描述的这种动作捕捉:一个人穿着紧身衣,身上有很多发光的东西,然后做各种动作,最后在电影里呈现为经过特效处理的角色。

海辛

对,就是这个工种。以前需要非常昂贵的设备和专业的动捕技术师,去获取、修正和使用这些动作。

现在这一部分可能会被 AI 替代掉。AI 可以直接捕捉一个没有穿动捕服的人的动作,再把它运用到电影里的其他角色身上。

荣慧

你现在会做什么事情,让自己作为创作者持续获得灵感?

海辛

10. 让创作持续生长

我以前会觉得自己确实缺少一些这样的环境,所以会强迫自己参加更多活动。比如参加上海的摇摆舞活动,或者上海举办的一些灯谜、文艺活动。

了解其他人在做什么,这件事本身就会给我带来新的刺激源,对我的影响也比较深。

上海还有一个市民夜校,大家可以在那里学习很多不一样的东西。上学期我报了一个香料班,可以制作香包;还报了一个做鱼灯的班。

这些事情可能和我现在的行业一点关系都没有,但我觉得,不去想现在正在做的事情本身,就会给我非常强的放松。

而且我感觉,所有输入最后都会在某种程度上变成我的创作。

一个比较明显的体验是,去年 11 月我们去了一趟日本。回来以后就做了很多和日本主题相关的创作。

先是做了各个动物从电子屏里跳出来的视频,后来又做了卡比兽和富士山的视频。我觉得这些都是去日本旅行带给我的灵感。

所以我感觉,任何输入源最后都会在某种程度上被消化,最后变成创作。我也特别希望自己拥有丰富、多元的输入。

荣慧

之前我们和大聪明录那期 2024 年盘点时,他特别提到,觉得海辛和阿文在 AI 短片创作上,对整个行业有一些引领作用。

很想请你说一说,作为一个在国内 AI 短片创作领域很有影响力的创作者,你希望给这个创作带来什么样的痕迹和影响?

海辛

我自己目前最想做、也确实正在做的一个方向,是和阿文一起寻找:AI 除了能够实现传统影视制作已有的效果之外,还可以加入什么新的效果。

到现在我们仍然感觉,每个阶段的 AI 作品,它的潜能都还没有被完全发挥出来。

比如以前我们用 ComfyUI 做过一系列转绘,把人跳舞变成水滴跳舞,把人跳舞变成颜料跳舞。后来这个工作流逐渐被大厂的 AI 模型替代,大家会直接用这些模型生成动画。

但我们仍然觉得,前面的这些东西还有大量效果没有被挖掘出来。所以我们最想做的事情,就是不断做新的效果和新的尝试,探索它的边界在哪里。

我对自己的定位有点像 AI 艺术里的科学家,不断去发现艺术创作新的表达形式可能在哪里。这是我们特别想做的方向。

荣慧

这让我想到一个问题。艺术表达相对来说很自我,但使用 AI 又需要学习一些工程化的东西。这两种思路不一定冲突,但你觉得自己更擅长哪一方面?又会怎么样平衡两者?

海辛

我觉得自己更擅长工程化这一部分。可能因为我高中学的是理科,所以对我来说,有条理地梳理需求、梳理工作流,是一件让我很享受的事情。

而且工程化是可以学习、可以掌握的技能。相反,艺术创作让我觉得更难,因为它不是一个只要计划好就能完成的事情,也不是把框架搭出来就能完成的事情。

它需要很多直觉、反思,也需要挖掘一些自己还没有完全挖掘出来的东西。所以我觉得艺术创作更难。

因此做创作时,我会有意识地让自己放下计划,给自己更多时间,不要急着得出最明显、最容易的答案。

荣慧

每次我看到海辛在即刻社区或者其他地方非常活跃,都会有一点感触。这个领域里的女生确实很少。不管是你的作品还是影响力,我觉得都是一个非常正面的例子。

海辛

我也感觉到,我们这个行业里女性表达者还比较少。

我身边的女性朋友,往往会对自己有更多要求和反思。她们会不断想:这个东西值得拿出来说吗?值得和大家分享吗?我只做了这么一点东西,可以站在台上吗?

我会觉得,她们可以看看,站在台上的人也并没有真的比她们优秀很多。身边很多朋友其实已经是在这个专业里做得非常顶尖的人,已经是 pro 了,不需要再怀疑自己。

在场的人可能也没有谁在这个角度上比她更专业、更懂。我觉得大家对自我的怀疑会比较多,我自己也有,只是在逐渐克服。

荣慧

我看到你发起了 Demo in,也和“通往 AGI 之路”的 AJ 一起发起了一个社区。可以请你说一说,发起这些活动和社区,是想推动什么变化,或者带动什么样的事情发生?

海辛

我和 AJ 现在在“通往 AGI 之路”里做一个整活编辑部。大概的模式是,我们不断探索 AI 可能做出哪些新的特效,然后在后面跟一个小教程,看看社区里的人能不能跟着一起做。

我们觉得这样做比较好,有一个原因是,我们做出来的东西可以及时分享给其他人看。其他人在复刻这个效果、做二创的时候,他们做出来的东西也会启发我们。

这是一个良性循环的社区,所以我们想尝试做这个方向的小事情。

[Speaker?]

海辛除了和 AJ 一起在“通往 AGI 之路”里做整活俱乐部,也一直在运营一个很活跃的社区,叫 Demo in。

Demo in 最近的一场活动,也就是上个月,是在《十字路口》位于上海的 AI Hacker House 发起的。我们在漕河泾开发区一栋湖边的独栋小楼里,举办了第一场活动。

那天晚上应该来了五六十人。每个人都有一个入场门槛,就是要在现场 Demo 一个自己做的产品或作品。如果今天没有新的 Demo,但过去 Demo 过,也可以来听后面的人分享。

那天的气氛充满了创造的能量,而且非常友善。Demo in 有很多规则,比如现场不能叫“老师”“大佬”,做自我介绍时不能说毕业于什么院校,也不能说自己来自什么公司。

听别人 Demo 时,尽量不要提出批评意见,更多的是给予鼓励。我觉得海辛把 Demo in 的理念一点一点注入了社区。

那天晚上,现场传递出一种很有创造性、又很有爱的能量,大家互相鼓励。特别的是,这是我第一次参加这种活动,看到那么多女生。

当晚有一半上台 Demo 的工程师都是女生,而且做的东西——恕我直言——我完全听不懂,水平非常高。

之后也欢迎 Demo in 更多地来 AI Hacker House 做活动。

海辛

好呀,好呀。非常感谢,我们下次会多来的。

荣慧

好,那我们今天就先聊到这里。非常感谢海辛做客《十字路口》,和我们聊最近的作品、他观察到的行业变化、进步和突破,以及他自己的故事。

我自己一直都很受海辛的鼓舞和启发,也希望海辛接下来可以多多来《十字路口》交流,期待看到你更多的作品。

我们现在说话的时候,海辛的猫已经进入到视频画面里了。

海辛

好呀。谢谢大家,拜拜。

从医学院学生到一线AI艺术创作者|和海辛聊视频生成工具、市场和几次人生的「十字路口」 | BidClub