Advanced Game Tech All Machine Learning

人脸 Mean+PCA 实验

    实验完全基于COMA这份代码,原因是这里面有完整的整个人头的数据库,以及PCA相关的代码,因此只要在这个基础上尝试去实现自己的所想即可。 https://github.com/anuragranj/coma     首先我们要找到一份实现了读取和存储网格数据的代码,最好还包括实时展示。computeModels.py 是合适选择,做适当的修改即可实现其包含的意义,主要就是展示结果模型的比较。     代码分析:     首先是terminal数据输入的支持,这边要注意的是选择的数据,输入的格式如default所示。     然后是最重要的FaceData数据类型的初始化。 这边要输入的是训练和测试数据集,以及模板模型。我们深入去看facedata数据类型的构成你会发现,这个数据类型里面产生的数据 std, mean, pca 等等全部是根据train数据来生成的,模板模型唯一的作用就是提供face信息。这也就是为什么改动.obj文件对结果没有影响。 …

All Machine Learning

MeshCNN: A Network with an Edge (TOG 2019)

        https://github.com/ranahanocka/MeshCNN     按照官方说明可以再ubuntu上面执行,需要注意的如下: 安装的时候,默认的安装环境文件是cuda10的,因此安装完了以后,需要卸载pytorch,然后重新安装cuda9版本的pytorch。     这篇的核心就是从边的角度来解构网格,用来获得网格结构的层次。 类似的我记得有一篇是从点的角度来处理的,就是COMA!     【这篇主要是提出了直接作用于三角形网格的CNN,主要是改造了池化层。一个主要的应用就是网格保型简化,这个和我们人脸的简化很类似,值得看看学习。】     https://arxiv.org/pdf/1809.05910v2.pdf https://www.dropbox.com/s/mtva7dq2mnk6d4v/combined_FIN0001-3341b.mp4?dl=0     …

All Machine Learning

Mesh Deform 相关论文的一些参考

这边从实现角度出发,看可以参考哪些来做。 主要来源: https://github.com/timzhang642/3D-Machine-Learning         Deep learning 处理三维数据,想要实现三角形网格deformation,近期的研究发展如下:     CNN对于处理图片这样的像素类结构数据是有效的,但是三维网格具有特殊的拓扑结构,不能直接使用用于图片的训练模型结构。因此首先大家想到的是将三维结构类二维化处理,最后得到三维结果。主要方式分为两类: 一种是将三维网格直接拉成2D的平面形式,这个在图形学上面有方法实现,然后再直接处理平面数据; 一种是三维网格体素化或者点云化,然后处理体素,点云;因为体素点云的数据量大,而且其主要有意义的单位都是表示表面的体素或者点云,因此后续的paper都是在优化数据结构来使得可以同时处理更多的体素单元,让用这种方式处理的分辨率更高。     当然大家最希望的就是直接处理三角形网格,这边的方法思路大致可以分为两类: 一类是训练模型处理的还是图片数据或者体素或者点云,其结果用来使得网格模型做变换;比如最多的就是利用FFD来实现。【FFD: Learning Free-Form Deformations …

All Machine Learning

使用3DMM进行人脸重建中的配准方法

https://blog.csdn.net/likewind1993/article/details/81455882     这里先对3DMM方法进行一个简介,具体可以参考99年的这篇论文 https://blog.csdn.net/likewind1993/article/details/79177566 。                 最最最最最重要的是,github地址: https://github.com/YadiraF/face3d 可以用来好好分析代码,来展现3DMM逻辑     另外,工程里面使用的最多的3DMM库是 https://github.com/patrikhuber/eos 另外一篇展示了怎么配置这个,怎么使用。后续很多paper都是基于这边的实现 …

All Machine Learning

Windows 3dmm 实现

https://blog.csdn.net/LIUSHAO123456789/article/details/79853091     Opencv 安装 基本按照这个教程走: https://www.jianshu.com/p/8b4a1b3c5668 不一样的地方在于,opencv3的链接库简化了, 只用添加 opencv_world345d.lib(debug版本的库)或 opencv_world345.lib(release版本的库)即可。     Boost 安装 https://www.cnblogs.com/49er/p/7193979.html 使用路径设置:     3DMM环境配置 设置好上面的Opencv,Boost配置; 然后按照 …

All Machine Learning

(3DMMasSTN) 3D Morphable Models as Spatial Transformer Networks

http://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w17/Bas_3D_Morphable_Models_ICCV_2017_paper.pdf https://github.com/anilbas/3DMMasSTN     【将人脸模型拉到2D图像空间做变换的方式来实现人脸生成】 【这边应该可以用来让我们的贴图完全的对齐】     Introduction     Convolutional neural networks (CNNs) are usually trained with such large amounts …

All Machine Learning

GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction

    https://arxiv.org/pdf/1902.05978.pdf     【图1:所提出的深度拟合方法可以从具有精确身份恢复的单个图像重建高质量纹理和几何。 图中的重建和纸张的其余部分由大小为700个浮点的矢量表示,并且没有任何特殊效果。 我们想强调所描绘的纹理是由我们的模型重建的,并且没有直接从图像中获取的特征。】     Introduction     Estimation of the 3D facial surface and other intrinsic …

All Machine Learning

Related works 人脸生成

            2D Neural Style Transfer     Neural Style Transfer: A Review https://www.paperweekly.site/papers/1926 https://github.com/ycjing/Neural-Style-Transfer-Papers https://www.jiqizhixin.com/articles/2018-05-15-5 这篇就够了,全面的总结了所有文章,还做了很有价值的分类。   …

All Machine Learning

3D Guided Fine-Grained Face Manipulation

    Figure 1: Qualitative samples. Given an image, our method can generate multiple realistic expressions of the same subject.【定性样本。 给定一个图像,我们的方法可以生成同一主题的多个真实表达。】   …