实时重建手部网格;一键去水印神器!前沿技术简析~

今天我们写篇关于最新技术的。

手部网格实时重建

这是中国三位大神写的一篇论文《Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction》(实时三维手网重建中精确对齐的研究)

论文地址:https://arxiv.org/abs/2109.01723

RGB图像重建三维手部网格可以用于很多种情况,比如增强现实(AR)和混合现实体验(MR)等等,但这个任务需要实时速度、准确的手部姿势以及合理的网格图像对齐,能同时满足这三个要求对开发人员来说是一个很大的挑战。

 

实时重建手部网格;一键去水印神器!前沿技术简析~

针对这个问题,国人团队的三位大神Xiao Tang, Tianyu Wang, Chi-Wing Fu提出将手部网格重建最新方法。

 

任务分为三个阶段:

1.预测手部关节和分割的关节阶段;

2.用于预测粗糙手部网格的网格阶段;

3.细化阶段,用于使用偏移网格对其进行微调,以实现网格图像对齐。

 

实时重建手部网格;一键去水印神器!前沿技术简析~

“通过对网络结构和损失函数的精心设计,我们可以促进高质量的手指级网格图像对齐,并将模型驱动在一起以提供实时预测。基准数据集上的大量定量和定性结果表明,我们的结果质量在手部网格、姿势精度和手指图像对齐方面优于最先进的方法。”

利用神经网络扣除图片物体并完整修复背景

 

一科学家小组公布了一种技术,它是一种新傅立叶卷积的分辨率鲁棒性的大型遮罩修复技术,简称LaMa。LaMa可从图片中删除各种对象,如人物、家具、建筑物、动物、不需要的细节等。然后神经网络会重新修复删除物体背后的背景,即使很复杂的场景表现也非常出色。

 

实时重建手部网格;一键去水印神器!前沿技术简析~

大家首先想到的是Photoshop里的智能填充功能吧?我也是,于是我试了试,但是PS好像也能,但是复杂一点的背景恢复的没有这个好。不过这个修复完了,有时候留下一个黑影~实时重建手部网格;一键去水印神器!前沿技术简析~

实时重建手部网格;一键去水印神器!前沿技术简析~

看它给的案例挺厉害的,我寻思这得试试啊。于是我翻了很多图之后,找来下面这张图测试。

 

实时重建手部网格;一键去水印神器!前沿技术简析~

原图(素材来源网络侵删)

用它的工具画了个遮罩。

 

实时重建手部网格;一键去水印神器!前沿技术简析~

执行

实时重建手部网格;一键去水印神器!前沿技术简析~

得到的结果图片如下▼

实时重建手部网格;一键去水印神器!前沿技术简析~

效果倒是可以,但是为啥不按照我的遮罩执行命令,把左上角水印和竹排都给我搞没了??!我遮罩没画好的原因么??还是在跟我显呗去水印能力?

好吧,既然能去水印,看看去个水印如何?于是我找到一个相对复杂的图片。

 

实时重建手部网格;一键去水印神器!前沿技术简析~

网上随意找了个图,这个图即带铁丝网,后边背景又有图案,水印还是透明的。于是我就把它拖到LaMa的网页里,执行,唉我去,效果相当可以。

 

实时重建手部网格;一键去水印神器!前沿技术简析~

为了对比,我又找了一个去水印专有软件Inpaint,用这张图试了试,得到的结果是这样的。

 

实时重建手部网格;一键去水印神器!前沿技术简析~

这是PS智能填充得到的效果。
 

实时重建手部网格;一键去水印神器!前沿技术简析~

 
当然了,大千世界各种特殊的图片都有,不是每个都可以一键比较完美的扣除的。后来我又找了几个特殊的。效果不是很理想。
 

实时重建手部网格;一键去水印神器!前沿技术简析~

实时重建手部网格;一键去水印神器!前沿技术简析~

 

实时重建手部网格;一键去水印神器!前沿技术简析~

实时重建手部网格;一键去水印神器!前沿技术简析~

好了,看我玩了半天,是不是也馋了,想试试手吧?

https://huggingface.co/spaces/akhaliq/lama

用网页打开上面这个网址,看到这样一个界面。

实时重建手部网格;一键去水印神器!前沿技术简析~

其实很简单,大家经常摆弄Max,Maya大型软件,这个玩意一看就会。

点击上面的虚线框,或者拖拽一张图到虚线框里也可以。

实时重建手部网格;一键去水印神器!前沿技术简析~

然后点击,右上角有个Edit。

实时重建手部网格;一键去水印神器!前沿技术简析~

左侧是工具栏,右侧是操作栏,大家一看就知道了。

实时重建手部网格;一键去水印神器!前沿技术简析~

用铅笔工具画个遮罩圈圈,这个工具我没弄明白到底是涂满还是圈上主体就可以,有时候结果不是很准,大家自己研究吧。

实时重建手部网格;一键去水印神器!前沿技术简析~

接着点击Submit(提交)

 

实时重建手部网格;一键去水印神器!前沿技术简析~

稍等一会,结果就出现在右侧了。时间长短根据处理图片复杂程度有关。
 

实时重建手部网格;一键去水印神器!前沿技术简析~

反正我觉得,如果看中网上某个材质图片,有水印的,这个感觉很方面,打开网页,画个遮罩就出来了,扣个人像,如果不复杂,也是很快的。

 

论文地址:https://saic-mdal.github.io/lama-project/

好了,今天内容就到这里吧。

全文完

实用插件知识技术

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错~

2021-10-10 2:03:59

CG漫谈知识技术

黄仁勋正面回应:GTC大会整个keynote都是假的,除了我自己

2021-11-14 2:00:50

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索