麻豆 苏畅
记者 / 刘书亮（野草）
自从辩论Sora成为一种潮水之后，AI参与影像、画图、蓄意的声息接续于耳。好多东说念主认为，AI将像也曾的三维动画时期同样，从根柢上撬动通盘行业。2024年还没过半，以AIGC为名的影片与画图节展和竞赛跟Sora的竞品同样，仍是如雨后的春笋同样握住出现。
由北京国际电影节举办的“AIGC电影短片大赛”从规格和范围上圈套属尤其受到行业关切的一次竞赛，亦然主要面向工业化进程较高招品的竞赛。4月25日该单位的受奖礼上，短片《致亲爱的我方》得回了最好影片奖。
《致亲爱的我方》
童画 陈刘芳
出品：中国传媒大学动画与数字艺术学院北京艾内好意思动画科技有限公司
导演：童画
监制：艾胜英
制片东说念主：白冰
艺术率领：袁智超
制作总监：陈刘芳
AI创作：陈刘芳 周帝 海辛 Simon阿文
作品的恶果确乎十分棒，极有质感。若是你还莫得看过这部短片，现时就来补补课吧！↓↓↓
《致亲爱的我方》全片
一眼就能看出，这部片子在使命历程上是有新的冲突的。咱们动画学术趴剪辑部一直关切AI在动画、影视和画图领域的应用，于是第一时辰跟《致亲爱的我方》团队换取，对艾胜英、童画、陈刘芳、海辛四位进行了深度专访。
完全干货哦！从时期收场到蓄意创意，让咱们沿途完满望望这部制作周期三个月的高品性AI动画短片是如何出身的吧！
《致亲爱的我方》团队在北京国际电影节领奖现场
01
团队组建
话说，这部短片的主创有很强的“中传”基因，好多东说念主齐来自中国传媒大学：导演童画是中传数媒专科的教养，监制艾胜英竭诚是中传动画系主任，而AI时期负责东说念主陈刘芳、艺术率领袁智超也齐是传媒大学的毕业生。
2023年，外洋的AI动画短片《剪刀石头布》赶快火爆会聚。其时通盘动画圈子里对AI比拟看好的东说念主简直齐在商量这个片子。艾胜英竭诚也不例外。他合计掌合手这部作品基于Stable Diffusion的动画历程会很有价值，况且它要比好多其它的文生视频（text-to-video）办事现时所局限的那种单调的“微动恶果”好好多，因此就运转了解和学习相关时期，想要组建团队，对AI的可能性进行测试。
外洋短片《剪刀石头布》 是AI动画的一个里程碑 是人人念念考AI动画工业化的蹙迫最先
→对于它的时期复盘可点击这里阅读←
在团队组建AI动画时期团队时，艾竭诚第一个猜测的是陈刘芳。
陈刘芳是一位陶冶丰富的内容创作家。2022年AI时期刚刚走进专家视线时，她就进行了AI作风方面的尝试和探索。其后她也一直勉力于AI创作，并在多个AI比赛中得回了冠军。
“咱们有一个探讨动画的小群，陈刘芳会不时把她创作的AI镜头、影片发在群里。其时她作念过一个用实拍视频进行径画作风转绘的测试，画面的恶果和踏实性齐十分惊艳……咱们小群里不时敬称她为‘AI一姐’。”艾竭诚说。
而参考《剪刀石头布》的使命流，势必决定了画面本色上是转描（rotoscope）的结果。这就需要当先有实拍素材动作基底。艾竭诚找到实拍导演陶冶十足的童画竭诚，人人一拍即合：
“童画竭诚的作品曾获好意思国粹生奥斯卡金奖。她的作品厚谊充沛，况且实拍导演自身对扮装相貌的把控、影相机与演员的位置调度等方面齐有很贵重的陶冶。她对AI时期也十分感好奇钦慕好奇钦慕，是以咱们十分庆幸地在很短时辰内组建成了团队。”艾竭诚回忆。
《致亲爱的我方》静帧麻豆 苏畅
02
AI时期重心
在《致亲爱的我方》的制作中，AI时期团队所动用的器用，基本齐是行业里常用的器用：ComfyUI的运行环境，ControlNet用到了depth、lineart和tile，转绘使用了AnimateDiff。
ComfyUI的节点式运行环境
为了更好地终结一致性和踏实性，团队磨真金不怕火了好多LoRA，其中既包括作风LoRA，也包括许多扮装形象LoRA。此外，还通过DreamBooth作念了SDXL大模子微调。
在作风方面，团队用Midjourney跑了300多张作风数据集。也便是说，是鸠合AI来生成的作风磨真金不怕火素材。
团队参考过多种好意思术作风，比方毕加索的蓝色时期、莫迪里阿尼、乔治修拉，还有中国的韦启好意思老先生作品内部的“蓝”——因为这个片子的基调便是蓝色的。临了，交融油画、点彩，程序了色调，形成了现时片子的作风。经过调试，它能较好地搭配故事内容，并在转绘后也尽量保留实拍镜头的紧密扮演。
自慰英文
作风磨真金不怕火的部分中间居品
每个东说念主物的扮装形象LoRA 短短5分钟的影片，扮装好多因此需要好多LoRA
部分镜头里还使用了IPAdapter，以便让形象和作风更踏实。
在许多创作家那处，IPAdapter是用来替代LoRA磨真金不怕火的；但《致亲爱的我方》尝试了两个器用重迭使用，并取得了可以的恶果——陈刘芳用“灵活、保障”来玄虚我方同期使用两者的原因。
虽然，这里还有许多需要反复尝试的方位。不同的模子，在并吞使命流下的阐扬互异十分大，要在保持作风和质感的基础上，既幸免“滤镜感”，又要贴合片子的相貌，口角常难的课题。此外，不同的模子与VAE组合恶果、ControlNet与IPAdapter的权重和引入时机、AnimateDiff的理解模块等也齐会给画面结果带来很大影响。
不同好意思术作风的AI初期探索
为了收场更高的画面精度，团队采用在并吞次生成中当先生成1280x720的画面，再送入KSampler和VAE Decode生成1920x1080的画面，确保最猛进程的诈欺模子性能和画面质感。在问及从SD1.5合座移动至SDXL的原因时，团队的谜底是，这么可以让片子在AI转绘过程中获取愈加精确的信息，对眇小的、距离镜头较远的形象在画面转绘时恶果昭彰普及。
03
一镜到底
《致亲爱的我方》改编自中传2017级动画专科本科生闫晓暄的大一课程功课，二维短片《Liebestraum》。但凡当年也曾看过他们班功课展映的东说念主，一定齐对这部片子有很深的印象。
闫晓暄《Liebestraum》片断
人人齐对《Liebestraum》这部短片有目共赏，认为它造型虽浅薄，但扮演极其紧密，节律明快，动画生动有张力。
而这么的张力有用建造在一镜到底恶果的基础之上。因此，艾竭诚采用了改编这部短片来进行AI的创作尝试之后，团队在操办中也坚强地要把这么的镜头蓄意延续下去。
一镜到底的抒发神态，意味着原有的实拍素材拍摄是个大工程。虽然，不丢丑出《致亲爱的我方》并非的确单镜头从新拍到尾，而是动用了好多的镜头衔尾妙技。况且在画面经过AI治理后，合座会愈加畅达，更具备一镜到底的嗅觉。
04
跳舞、节律与故事印迹
《致亲爱的我方》的扮装饰演，跳舞感十足。这在一定进程上来自袁智超和艾竭诚的初期换取。艾竭诚回忆，袁智超保举团队参考动画短片《想起你》（Thought of You）——十分著明的一部以转描打底的动画作品——并提议增多跳舞感来普及影片MV般的艺术质感。
外洋动画短片《想起你》片断
虽然这种跳舞感也成为实拍素材拍摄的挑战之一。从拍摄开导的采用上，要收场绿棚内小空间的灵活理解，需要微型生动开导和理解过程中的踏实，团队对比了不同的拍摄开导，最终童画竭诚采用了如影4D。所有画面再进行绿幕抠像，追踪反求得到大约跟场景合成的画面。
演员与实拍团队在绿幕拍摄现场
致密对比过《致亲爱的我方》和《Liebestraum》就会发现，前者的叙事加入了一条“蒲公英”的印迹，可谓玄妙。蒲公英，在整段“跳舞”中握住复现，成为这部短片叙事当中的蹙迫节律点。不管是以适度、胸针照旧绳子出现的蒲公英料想，齐记号着女主想要把我方的爱一次次给出，但又不被真贵，直到迷失自我，蒲公英被风吹散、覆没。直到坠入山地后，昔时中各个阶段的我方再行匡助女主找回那些丢结怨洒落的蒲公英花瓣，再行凝华成完满的蒲公英传递给女主爱的力量，让她学会把爱留给我方，才再次点亮了她的东说念主生。
童画导演我方也切身参与了编剧使命。她说：
“我更可爱好意思好、有但愿的收尾。其时就想，原作的女主角从小缺爱，背面我方抒发爱的神态也不时过火、脆弱、爱不得法，变成堕入谷底不敢再爱。关联词只须信托和更爱我方，智力获给力量，以及有爱东说念主的智商。关联词这个‘爱’若何具象化的抒发呢？我就猜测了蒲公英，它代表脆弱明锐的厚谊，飘忽不定的爱，也代表女主我方。”
各个时期的女主把蒲公英递给我方
05
2D与3D动画援手
《致亲爱的我方》的一个尽头大的优点，便是布景踏实性很好。除了要在AI转绘参数的调遣方面下足功夫除外，单独的动画援手也十分蹙迫。通盘时期团队共同探索了二维动画、三维动画与AI相鸠合的界限与可能。
当先便是蒲公英，这个在叙事中反复出现的印迹料想。蒲公英的粒子是在C4D内部完成的。此外，也有部分场景镜头是Blender作念的，在AE内部合成后，临了进行完满的画面转绘。团队左证画面的难度，采用不同的器用组合。
Blender工程截图
单个蒲公英的动画援手和最终转绘恶果对比
收尾这个蒲公英片断，则是二维逐张手绘后完成的。把画面作念到雷同二维手绘的动作草图进程，再通过AI转绘，这个过程中AnimateDiff收场了雷同补帧+完善质感的作用。
二维转绘前和转绘后恶果对比
06
尾声
对童画导演来说，实拍和动画同样，最终的方针齐是讲故事，“我画画功力堪忧，关联词AI的赋能让我有了‘神笔’的力量（笑），也可以作念动画了，嗅觉很奇妙”。
工业化的AI动画制作，在行业里仍是有了不少探索。实拍+转描动画的使命流轻便框架比拟驯服，但触及的器用、具体的细节上，似乎每部片子齐不同。《致亲爱的我方》无疑再次提醒咱们，影视与动画的AI时间仍是到来，而内部尚不决型、值得探索的内容还十分多。
AI也确乎为创作家掀开了一说念刚劲的门，让采用令东说念主眼花头昏。参与AI时期收场的海辛指出，这时候“经管”反而十分蹙迫：
“在转绘的过程中咱们履行了许多不同的版块，其中不乏很面子和意旨的影像。这个时候团队大约采用相宜的作风变得很蹙迫，需要站在整条片子的视听进行考量，将作风进行经管，让AI能确凿的办事于故事与相貌。”
另外海辛还提到，因为AI现时在扮装一致性、场景一致性和扮装饰演上我方生成的智商还比拟有限，是以AI的转绘现时需要很强的参考和指引，因此2D动画和3D动画在通盘过程中起到了很要津的作用。动画援手让AI的生成见地更可控与明确，同期AI也权臣提效了通盘影片的制作——旧器用和新器用在现阶段是相得益彰的。
陈刘芳认为《致亲爱的我方》是她尤为突出的制作资格：
“对我来说，这是由艺术家、科学家和创作家共同来探索的一个AI短片的创作历程，的确不同以往。我也但愿这部片子能给不雅众留住好意思好的回忆，带给他们勇敢上前的力量。”
艾竭诚在采访中说起，此次创作尝试也有好多缺憾的方位，举例片中有一个基于动画性为方针的扮装骨骼养息方面的测试，但基于时期瓶颈的原因，最终没能收场。盼望能有契机在改日再作念尝试，也迎接动画、影视和AI领域的同业们沿途探讨更多意旨的话题。
《致亲爱的我方》幕后花絮视频
本文来自「动画学术趴」麻豆 苏畅，未经授权请勿转载。