逐帧重现70年爱情故事
在短片《Love, Rendered》中了解电影制片人和 Google DeepMind 如何使用 AI 重现一对夫妇未记录的过去。

来自 Google AI 的官方动态,版本与适用范围以发布方说明为准。
Google AI · 查看官方发布中文机器翻译 · 原文附后
逐帧重现70年爱情故事
一部新的纪录片短片《Love, Rendered》探讨了记忆丧失和讲故事的力量,并展示了技术如何帮助重新点燃已经开始褪色的记忆。影片讲述了伯特·沙茨 (Burt Shatz) 和埃塞尔·沙茨 (Ethelle Shatz) 这对结婚 70 多年的夫妇如何应对伯特认知衰退的故事。在他逐渐淡化的记忆中,有一个是他们最珍贵的记忆:他们在克利夫兰的一所学生合作社见面的那一天。因为没有拍照或录像,这一天只存在于他们的脑海中。
当我担任电影的技术主管时,我知道这个项目在技术上非常复杂,在情感上要求很高。记忆丧失对我来说是个人的事情。我的祖父在去世前患有中风并丧失了记忆。上次我去看他时,我已经三十多岁了。他确信我还在上大学,并且很高兴我毕业了。那段苦乐参半的记忆从未离开过我。
这次经历让我想看看这项技术是否可以帮助我通过相同的媒介与家人建立更深入的联系。当这个项目开始时,我向父亲要了家庭旧照片。我在父母见面时的照片上测试了我们的图像修复,并使用我们的视频模型将它们制作成动画。看着我的父母在二十多岁的时候搬家,我真的明白了这些工具如何帮助防止最重要的事情溜走。
《爱,渲染》由奥斯卡金像奖提名电影制片人莉兹·加布斯执导,并与丹·科根和达伦·阿罗诺夫斯基共同制作。它是 Google DeepMind 和 Aronofsky 的创意企业 Primordial Soup 合作创建的。
探索记忆的奥秘
莉兹和达伦看电影时都对记忆的弹性感到好奇。在执导纪录片《昏迷》时,莉兹看到当处于最低意识状态的患者听到熟悉的声音或看到亲人的图像时,功能磁共振成像扫描就会亮起。多年后,达伦看到了一位患有阿尔茨海默氏症的前芭蕾舞演员的镜头,她在听到《天鹅湖》后,本能地坐在轮椅上跳起了编排的舞蹈。
这些试金石引导创意团队进行回忆疗法,这是一种利用歌曲、家庭故事和老照片等感官线索来刺激记忆、激发对话和重新点燃情感联系的临床实践。但是当记忆不附加这些线索时会发生什么呢?
为了重现伯特和埃塞尔未被记录的过去,电影制片人与我的团队合作。坐在我们旁边的埃塞尔成为了一位积极的共同创造者,纠正楼梯的曲线或鞋跟的形状。
用AI捕捉人类本质
我们与 Primordial Soup 的团队合作,利用新兴的人工智能模型作为艺术媒介和工具包,在每一步中以人类的方向指导技术。
弥合缺失细节之间的差距需要采用两部分技术方法来保留情感真相。
图像恢复:团队使用生成模型恢复了伯特和埃塞尔年轻时的黑白照片。修复后的照片有助于确保后续的娱乐活动忠实于主题。
姿势和表演控制:工程师使用我们的表演捕捉模型来绘制伯特和埃塞尔当今的微观举止——伯特头部的特定倾斜、说话模式中的短暂犹豫、眼睛周围微妙的皱纹。将这些特征映射到他们年轻时的肖像上,使游戏变得栩栩如生。
将这两种媒介结合起来,我们可以将伯特和埃塞尔的过去和现在交织在一起。通过这样做,我们产生了一种“记忆”,他们告诉我们感觉真实。
查看英文原文
Recreating a 70-year love story frame by frame
Discover how filmmakers and Google DeepMind used AI to recreate a couple's unrecorded past in the short film "Love, Rendered."
Recreating a 70-year love story frame by frame
“Love, Rendered,” a new documentary short, explores memory loss and the power of storytelling — and it showcases how technology can help rekindle memories that have begun to fade. The film follows Burt and Ethelle Shatz, a couple married for over 70 years, as they navigate Burt’s cognitive decline. Among his fading memories is one of their most precious: the day they met at a student co-op in Cleveland. Because it wasn’t photographed or filmed, the day existed only in their minds.
When I stepped in as the film’s technical lead, I knew the project would be as emotionally demanding as it was technically complex. Memory loss is personal to me. My grandfather suffered a stroke and memory loss before he passed. The last time I visited him, I was in my thirties. He was convinced I was still in college and was so happy I was graduating. That bittersweet memory never left me.
The experience made me want to see if this technology could help me connect more deeply with my family through the same medium. When this project began, I asked my father for old family photos. I tested our image restoration on photographs from when my parents met and used our video models to animate them. Watching my parents move as twenty-somethings really drove home how these tools could help keep what matters most from slipping away.
