栏目六:杀马特教授和他的新技巧毕竟如何?paGAN:逼真动画人物天生反抗网络

还记得“杀马特教授”黎颢吗?他将带领团队在下周召开的SIGGRAPH中展示一项黑科技“paGAN”:每秒1000帧扫描,用单幅照片实时天生超逼真动画人物头像。连GAN发明人Ian Goodfellow也忍俊不禁,杀马特教授和他的新技巧毕竟如何?

还记得此前新智元报道过的“杀马特教授”黎颢(Hao Li)吗?

看到这张照片,应该能够唤起你的记忆了吧?

杀马特教授和他的新技巧毕竟如何?paGAN:逼真动画人物天生反抗网络

是的,黎颢目前正身陷法律诉讼,他被自己成立的计算机视觉创业公司Pinscreen的前CTO起诉,后者指控黎颢学术造假,向计算机图形顶会SIGGRAPH 2017提交人为修改的图像和结果。

黎颢否定指控,现在案件正在进行中。

不过,我们今天要讲的主题,是关于下周即将召开的最新一届SIGGRAPH 2018,黎颢的团队提交了一项命名独特且效果惊人的工作,连GAN的发明人Ian Goodfellow今天都发推表现,“最受期待的一个GAN命名已经被人用了:paGAN(有“异教徒”之意)”。

杀马特教授和他的新技巧毕竟如何?paGAN:逼真动画人物天生反抗网络

实际上,早在2014年SIGGRAPH Asia,,新智元创始人兼CEO杨静就曾采访黎颢。黎颢从2013年起在美国南加大计算机系担负助理教授,从事计算机图形学和计算机视觉相关领域的研究。2010年在苏黎世联邦理工学院获取博士学位,2011年在哥伦比亚大学和普林斯顿大学从事博士后研究,随后在产业光魔(Industrial Light & Magic)担负研发主管,并于2014年在维塔数码(Weta Digital)任访问教授。

黎颢曾在乔治卢卡斯工作室工作,为电影《星球大战》供给殊效技巧。后来他与人联合创办了计算机视觉创业公司Pinscreen,并担负CEO。

在下周SIGGRAPH 2018的Real Time Live活动中,黎颢带领的Pinscreen团队将展示“革命性”的新机器学习技巧,“打破了传统的模型、纹理、光线和渲染管道”,日前科技作者Mike Seymour一篇发表在 fxguide.com 的文章如此先容。

“重要的是,Pinscreen的研究工作既合适高端(基于PC)又合适移动端(基于手机/移动电话)……通过在这两个层面开展工作,团队供给即时应用程序,同时还致力于重要的长期基础研究”,Mike Seymour如此写道,并且亲身进行了测试。

接下来,我们就来看看杀马特教授和他的团队即将提交的最新成果吧。

每秒1000帧:根据普通照片实时天生高清逼真动画人脸

下面就是 fxguide 的Mike Seymour,左边是苹果iPhone手机拍摄的短视频,右边则是实时渲染的CGI,在原视频人脸上盖了一层数码天生的3D数码人脸(hockey mask)。这个过程中只涉及边缘修饰的少量微调,其他全部自动天生。

杀马特教授和他的新技巧毕竟如何?paGAN:逼真动画人物天生反抗网络

Pinscreen的团队正在使用单幅jpeg图像构建他们的3D脸部模型,而且采用端到真个方法。

首先,模型辨认照片中的人脸,然后天生一个公平的3D网格。

不仅如此,模型能以1000 fps的速度对人脸进行跟踪。手机摄像头的速度一般只有30或60 fp,但黎颢解释说:“这让我们有足够的时间在同一帧中追踪多个面孔。”

这个追踪器名为VGPT,代表“Veli Goodo Pace Tracka”,由Pinscreen的Shunsuke Saito领导开发。在搭载英伟达1080P GPU的PC上,VGPT以1000 fps的速度运行。在iPhone X上,它的运行速度接近60~90 fps。 

“我们的解决方案的另一个宏大上风是它占用的内存非常少,没有I/O的核心只有5M,而且完全基于深度学习。”黎颢表现。

该解决方案基于直接推理,不像传统的面部跟踪器那样,后者是直接跟踪特征或标记。较旧的跟踪器会使用基于AAM模型的面部标记检测器,速度慢很多。而这个新的解决方案,根据黎颢的说法,供给了“相对于相机的3D精确头部模型,以及微表情丈量工具和所有重要的东西”。

VGPT使用一组ML工具进行非常快速的无标记跟踪。不仅跟踪效果好,鲁棒性也高。假如一个人在摄像头前移动,部分遮挡了相机,程序将很快重新获得面部信息并继续工作。

VGPT将是Pinscreen下周在SIGGRAPH实时现场演示中最强大的新工具。

Pinscreen拍摄了《洛杉矶时报》记者David Pierson的一张照片作为输进(左),并制作了他的3D头像(右)。 这个天生的3D人脸通过黎颢的动作(中)天生表情。这个视频是6个月前制作的,Pinscreen团队称其内部早就超越了上述结果。

paGAN:逼真动画人物天生反抗网络

上一篇:SDS增势迅猛 青云QingCloud如何用新技巧支撑企业关键应用

下一篇:2018未来网络技巧与工程国际大会在深举行