Pika 1.0首测秒杀Gen-2！网友抢先体验影戏级炸裂效果，技能细节首公开

新智元报道

编辑：桃子

【新智元导读】Pika 1.0首测开启了！网友抢先体验，每个视频都是经典。

Pika 1.0正式上线后，拿到内测资格的网友们已经玩疯了！

有人用它天生了一个姜黄色头发女孩和她的姜黄色猫的短片。

以往，由于划一性的困难，用AI视频很难做出良好的动漫作品。但是Pika 1.0，着实是太给人惊喜了！

更令人震惊的是，作者表现，这是100%用文本到视频天生的。

还记得半个月前，这家有斯坦福AI Lab博士开办的初创公司Pika，发布的第一个产物刹时成为顶流。

不但可以大概天生3D动画、动漫、卡通和影戏，以致可以实现风格转换、幕布扩展等重磅本领。

如今，很多网友得手体验后，纷纷以为太哇塞了。

与此同时，Pika官方账号公布了自家的最新研究。这是Pika 1.0发布产物以来，这家公司初次对外披露技能细节。

最新研究中，提出了一种DreamPropeller方法，可以大概将文本到3D的天生速率提升4.7倍。

网友实测，皆为经典

接下来，先来一起看看，广大网友们的创意。

比起Runway的Gen-2，Pika 1.0在让人物动起来时的划一性非常稳固。

影戏级效果，堪称动漫界的「宫崎骏」

Pika 1.0非常善于动漫风格的动物，看看这些差别场景中的老鹰就知道了。

看得出，宫崎骏画风非常浓厚。

另有这种漫威风格的小人模子，让他们动起来真的像是「复仇者同盟」。

另有形单影只的白天鹅，在波光粼粼的湖中嬉戏，再游到岸边，似乎在找回家的路。

就连美版「呆板人总动员」动画的科幻风，出现的也是极尽描摹。

一朵含苞待放的花朵。

如下这个例子是Pika自己做的森林中兔子士兵的影戏级效果，并给出了提示（拿到内测资格的网友可试）

1. Cinematic, extreme close-up of a bunny soldier in a jungle, 3D rendering

2. Cinematic, back-view long shot of a bunny soldier exploring a giant carrot in the jungle, 3D rendering

疯狂动物城、狮子王、熊大熊二混版动画。

网友做了一个影戏预告片，就连名字都想好了「金刚哥斯拉：新帝国」。

爱因斯坦和他的实行。

真人变身，泰坦尼克号被恶搞

另有一位自称「AI级导演」做出的真人演示效果，简直绝绝子。

戴上帽子，穿上羽绒服，服饰的搭配与人的身材契合度，毫无违和感。

还可以把周边的物体变成松柏，还能把自己变成北极熊，简直可爱到爆。

另有「泰坦尼克号」重制版，女主Rose直接变成熊猫，和男主Jack在一起牵手的画风，你细品...

再来看个真人变身的效果，另有二次元小姐姐。

AI邪术棒，一键更换

用AI「修改地区」，可以大概把全部被页粳以致包罗主体的衣服可以大概换成划一的圣诞的风格。

另有网友实行了这一更换功能，把海边的啤酒，刹时变成了可乐。

具体实现效果，Chase Lean给出了一个教程，只必要3步过程。

起首必要天生一个视频，先让Midjourney天生一张海边Corona啤酒的图片，然后将其做成视频。

第二步：单击「编辑」，然后单击「修改地区」。

第三步，告诉Pika你想用什么来取代它，比如适口可乐。

画布扩展，超凡脑洞

图像画布扩展本领，着实我们也见到了很多像MidjourneyAI图像天生工具已经实现了。

而Pika 1.0不但能开出脑洞，还能让画面动起来。

就看这雅典帕特农神庙，外画出的景致更加凸显这座修建的壮观。

另有橄榄树、游览古修建都能暗藏各种惊喜。

你可以录一段视频，Pika可以大概直接想象出配景。

下面这个网友使用文本提示创建了第一个视频，然后扩展画布反复，得到了第二个视频。

初始提示是：A beautiful princess, standing on the castle wall, 3d animation

另有网友做出了，演唱会级的音乐视频，不外不得不认可，另有些不敷的地方。

Pika 1.0背后技能

看到这么多惊艳的效果，大概很多人更想相识一些关于Pika 1.0天生的技能细节。

这不，官方刚刚公布了一篇论文，是由斯坦福大学和Pika Labs联手共创。

以往，通太过数蒸馏，比如DreamFusion、ProlificDreamer等模子，举行文本到3D的天生质量虽高，但运行时间大概长达10个小时。

最新论文中，研究职员提出了一种基于分数蒸馏的加快方法——DreamPropeller，可以大概将现有方法的速率进步4.7倍。

论文地点：https://arxiv.org/pdf/2311.17082.pdf

DreamPropeller团体架构如下图所示。

在每次迭代（k次）的开始，初始化一个由3D外形（用绿色表现）构成的窗口，然后，这些外形被分发到p个GPU上举行并行盘算，在GPU上并行盘算外形的SDS/VSD梯度。

然后根据公式 (9) 中的规则网络这些梯度，并使用这些梯度对外形举行更新。

窗口向前滑动，直到该时间步的毛病不小于阈值e，阈值e根据窗口的匀称/中值毛病举行自顺应更新。

别的，在VSD的情况下，研究职员会在全部GPU上生存LoRA扩散的独立副本，这些副本会独立更新，无需额外通讯。

如下是应用DreamPropeller的代表性示例。

最新框架以并行盘算变更速率，在保持天生质量的条件下，应用于DreamGaussian和ProlificDreamer时，速率进步了 4 倍以上。

在DreamPropeller完成时，基线版本的外貌和多少效果显着较差。

如下是与其他模子的可视化比力。使用DreamPropeller的方法能以更短的运行时间实现同样高质量的天生。

对DreamFusion图库中的30个提示举行量化评估。运行时间以秒为单元。最新研究的方法到达了具有竞争力的质量，同时速率进步了4倍以上。

下一个视频天生顶流

对于Pika 1.0的诞生，让全网热血沸腾，而它大概成为下一个视频天生的顶流。

有人统计了Discord上最大的人工智能产物，以及它们在平台范围内的规模。

如下是按约请页面流量排序的十大人工智能应用步伐，Midjourney位列第一，Pika排在第二。

在排名前十的应用步伐中，有4个是图片天生应用步伐，3个是语音/歌曲天生应用步伐，2个是视频天生应用步伐。

按流量盘算，图片占了前10名士量的74%，其次是视频8%，语音/音乐6%。

参考资料：

https://twitter.com/pika_labs