来源:数理与电子信息工程学院 发布时间:2018-08-11 浏览量:
化妆、造型、服装?那都是多久远的事儿了。美颜、p图、特效,变美不过分分钟。随着科技的发展,人类在追求美的同时也要求速度美、质感美、和谐美,从手机快速美颜到美图秀秀编辑再到Photoshop处理,对美的执着可见一斑。随着计算机技术的发展,图像编辑技术在个人消费领域越来越受人们的欢迎,而传统的图像编辑技术被新的图像编辑处理技术取代为大势所趋。在国内外图像编辑技术推陈出新的浪潮下,银河集团:198net的赵汉理副教授带领研究生团队开展了“基于特征空间的图像编辑技术研究”研究项目,获得了浙江省自然科学基金资助,于2018年顺利完成了结题验收。这是赵汉理第2次获得浙江省自然科学基金的资助。
赵汉理,博士,银河集团:198net数理与电子信息工程学院计算机系副教授,硕士生导师,中国计算机学会计算机辅助设计与图形学专业委员会委员,中国仿真学会数字娱乐仿真专业委员会委员。近日,在接受记者采访的时候,赵博士感概地说:“浙江省自然科学基金为青年科研人员提供了一个重要的支持舞台,尤其是对于一些科研资源和平台都十分有限的地区或者高校。我就是其中的受益者。”赵汉理的主要研究方向为图像编辑与合成、深度学习、GPU高性能并行计算、三维虚拟人动画、移动图形图像技术等,分别于2011年和2015年两次获得浙江省自然科学基金的资助,从刚走上工作岗位的“青椒”一路不断成长为“好导师”。
赵汉理研究团队
交互式图像颜色编辑技术,有效防止“颜色渗透”
传统的图像颜色编辑方法要求用户先标定出所要编辑的图像区域,然后改变该区域内的像素颜色,该方法不仅会产生区域边界的不自然过渡效果,还限制了用户的编辑自由度。近年来,基于着色线条的交互式图像颜色编辑方法较好地克服了这些问题。用户只要在所要编辑的图像区域中自由地勾勒出若干条线条,该线条的颜色就可以按一定的算法规则传播到周围视觉特征相似的区域。但是,如果不同的区域所勾勒的线条颜色不同,某一区域内的线条的颜色会扩散到周围其他的区域中而出现所谓的“颜色渗透”现象。并且,现有的图像颜色编辑方法都是基于CPU串行算法实现的,编辑效率比较低下,从而极大地影响了用户的交互体验。
赵汉理科研团队不断地探索新的交互式图像颜色编辑技术,在处理过程中将图像RGB颜色空间扩展为高维度的视觉特征空间(包括颜色、纹理、像素坐标等信息),较好地克服了现有方法所存在的缺点,并且取得了一定的研究进展。首先,对图像中每个像素的纹理特征进行量化表示,在颜色优化函数中增加纹理特征项,使线条颜色能有效地传播到周围纹理相似区域而不会渗透到区域边界以外的其他图像区域。其次,在颜色优化函数中增加二维图像空间坐标项,使得线条颜色不仅能够传播到线条所在区域,还能够传播到与该区域不相邻但纹理特征相似的其他图像区域。交互式颜色编辑效果对比如下图所示,对比效果1和对比效果2为其他方法的计算结果,可以看出赵汉理科研团队的新方法能够获得与原彩色图相接近的颜色分布。
此前,有研究人员提出了基于深度学习的自动着色方法,不需要用户的线条编辑即可完成对灰度图的着色。一方面,该类自动方法无法满足用户的个性化颜色编辑需要;另一方面,自动着色方法也没有解决区域边界的“颜色渗透”问题。如下图所示,赵汉理科研团队的新方法能够较好地阻止不同区域之间的颜色扩散。
GPU高性能并行计算,改善用户交互体验
众所周知,由于运行功率和发热量等因素的约束,当前电脑CPU很难在主频上有较大的提高,因此CPU主要是往双核、四核乃至更多处理核心的方向发展。显卡GPU原先只能做专门的图形运算,如今发展到能够做通用的并行算术逻辑运算。相比于仅拥有数个处理核心的CPU,显卡GPU则拥有数千个并行处理核心,其发展速度已经远快于CPU发展的摩尔定律,适合于数据密集型的并行计算。为了减少图像颜色编辑软件的响应时间,改善用户的交互体验,将显卡GPU作为CPU的并行协处理器,使得原先需要数十秒钟才能计算完成的颜色优化算法加速到一秒钟之内即可完成。因此,近实时的算法处理效率极大地便利了用户的编辑交互。如下图所示,用户可以很方便地通过添加着色线条、擦除线条、修改线条颜色等编辑操作即时地生成各种不同的颜色效果。
现今,图像编辑处理技术在动漫和影视特效制作领域有着更为广泛和重要的作用。我们常说的后期处理在很大程度上能够弥补拍摄的不足或增强视觉特效,图像编辑就是重要的一环,这对于浙江大力发展动漫产业和影视特效制作将起到很好的推动作用。
(浙江省科技信息研究院今日科技 刘晓燕;通讯员 林思达 周丽敏 徐达文)
相关链接:http://www.zjnsf.gov.cn/h/01/news_view.aspx?appid=GUDA0C3622762F5BABE74128EBB30CD6615