您现在的位置是:首页 > 生活 > 正文
韩国游戏巨头研究头像AI卡通化 终于实现了翻译的信达
发布时间:2023-12-10 17:00:23来源:
年轻一代人当中,很多都是 ACG(动画、漫画和游戏)死忠。在社交网络上,经常会看到动漫角色的头像,因为对于这部分用户来说,共同的爱好是他们鉴别彼此、增进交流的一种有效方式。
然而有两个小问题:首先,热门动漫作品就那么几部,撞头像的事故经常发生。以及,甭管账户的主人是什么性别,头像一水都是可爱女生,时间长了毫无辨识度了。每次上网看帖,就像围观一帮动漫角色在互相留言点赞……
我们都知道,最近几年基于神经网络的 AI 发展的很快,其中有一种技术叫做风格迁移 (style transfer),简单来说就是让图片 A 获得图片 B 的风格,但仍然具有明显的 A 的特征。
有了这项技术之后,ACG爱好者也可以让自己的头像具有动漫风格了。只是效果仍然不是很令人满意,看起来像是用画笔和颜色对人脸照片描边而已:
这种风格迁移其实有点违背初衷:很多人用动漫头像是为了可爱,可是最终输出看起来一点都不可爱。
然而 ACG 爱好者是不会停止脚步的!
一群韩国的 AI 研究者最近发布了一篇论文,展示了他们在图片到图片翻译 (image-to-image translation) 上取得的重要进展。
他们实现的效果,看起来更像是找了一位漫画家,对着原始照片认真地再创作,效果超过了所有现存的头像卡通化技术:
用红框标出的分别为原图(a) 和输出结果 (e),输出的头像不但风格更加接近我们经常在动漫当中看到的形象,和原图的可识别度也很高。
在非监督学习的方法和生成对抗网络(简称 GAN)的架构基础上,研究者加入了全新的注意力模块,并发明了一种名为“自适应层-实例归一化”(AdaLIN)的 归一化机制,开发出一种全新的神经网络。
正是因为研究者设计的全新的注意力和归一化机制,我们可以从输出结果中看到,这个神经网络对于不同特征进行了不同的处理。
该放大的特征,比如眼睛,被放大了;该缩小的特征,比如鼻子、嘴巴,也得到了缩小;至于其它特征,比如发型、发色、肤色,甚至包括面部阴影,也有相当准确的还原。
研究者指出,之前的图像风格迁移结果,之所以看起来像描边,是必须把原图的线条背景映射到输出结果上;而他们开发的注意力和归一化机制,能够对原图和目标风格图进行注意力绘制,然后引导模型对不同的区域和特征进行不同的重构。
也就是说,这个新的模型能够理解,动漫头像必须有大眼睛、更具线条感的头发,以及更鲜亮的发色和瞳色。它会按照这些(从输入的参考头像中取得的)原则去进行翻译。
研究者在论文中提到,他们的这个模型在简单的风格迁移基础上,已经上了一个新的台阶,有了变形的能力 (object transfiguration)。
他们发明的自适应层-实例归一机制 AdaLIN,还有一些其它优势,比如可调节性,研究者可以对层(Layer) 和实例 (Instance) 分别进行调整,从而在输出中实现不同程度的形状和材质变化。
下图中可以看到,从横排第三到第六,是对归一机制进行调整所得到的不同结果:
在文字翻译中,输出的结果要符合对象语言的语法、使用习惯等等。在图片翻译 (image-to-image translation) 中其实也是一样。你可以这样理解:之前的风格迁移,都只是在做“字面翻译”,而 U-GAT-IT 在“信达雅”上实现了突破。
该技术的另一厉害之处,是可以对几乎任何类型的照片(动物、宠物脸部、风景)进行准确的图片翻译,而且不需要对神经网络的参数进行任何调整:
头像瞬间萌化!这个技术让你一键变身日漫主角值得提及的是,包括 Kim 在内的三名作者均来自人称游戏界“高丽双雄”之一的韩国游戏公司 NCsoft;另一作者来自波音韩国工程科技中心。
NCsoft 开发的老牌网游《天堂》(Lineage 1 &2)于1998年上线,已经在包括中国在内的多国连续运营21年,还有《永恒之塔》等几款知名游戏。但少有人知的是,实际上 NCsoft 也是韩国在人工智能研发方面最激进的公司之一。
据《韩国时报报道》,NCsoft 在 2011年就已设立了专门研发团队,目前运营着人工智能中心、自然语言处理中心两个独立的研究机构。前者负责游戏AI、语音识别和计算机视觉,后者主攻语言理解和知识系统。
头像瞬间萌化!这个技术让你一键变身日漫主角NCsoft 人工智能中心、自然语言处理中心负责人在该公司举办的活动上两个中心的负责人直接向公司创始人兼 CEO 金泽辰直接管理,员工总数约为160人,今年内将增员到300人左右。
NCsoft 投入深度学习的主要目的,是在游戏和服务中引入相关技术。目前,该公司正在使用 AI 检测外挂,以及基于玩家的游戏习惯和兴趣数据进行服务定制化。
而本文所提到的这项技术,将能够极大改善玩家的游戏体验——或许以后不用捏脸,只要上传头像,就能生成准确的卡通化游戏角色了。
头像瞬间萌化!这个技术让你一键变身日漫主角波音去年刚刚在韩国成立工程和科技中心,主要研究方向包括自动化、人工智能、航空电子学和数据分析等等。该机构的技术员工主要来自韩国本土的知名高校和科技公司等。
目前,这项技术还没有一个可用的 demo,不过如果你对 TensorFlow 比较熟悉,可以在 GitHub 上浏览代码[2]或阅读原文并按照使用说明,在自己的电脑上跑起来~
标签:
Verizon推出了更便宜的无限智能手机计划 下一篇
最后一页
猜你喜欢
- 韩国游戏巨头研究头像AI卡通化 终于实现了翻译的信达
- Verizon推出了更便宜的无限智能手机计划
- 天然气储存研究可以对抗全球变暖
- 研究发现工人宁愿被机器人取代而不是另一个人
- 将废物剩余资源转化为生物燃料可以减少排放
- 为什么美元继续跑赢其他货币
- 全球经济增长忧虑令Sensex Nifty连续第三天下跌
- 大多数亚洲货币因美元下跌而上涨
- 由于全球线索疲弱Sensex下跌超过200点
- 印度的就业前景可能下降至92%在FY19下半年下降3%
- 东南亚什么时候开启自己的播客元年
- 如何使用AI来评估败血症的症状
- 他们正在使用人工智能在赛场内外赢得比赛的优势
- 高级分析和人工智能如何改善患者护理
- 以下是AI如何协助医学科学讲述患者的生命
- 整合一周国内外有趣的健身新闻和健身方式
- 食物一旦中了生活方式的魔法 自然有了许多附加的经济价
- TomTom将告诉用户他们最喜欢的公路旅行
- 爱荷华大学获得了一个新的视觉艺术大楼
- 在自由岛上建造的新的更大的自由女神像博物馆
最新文章
- 韩国游戏巨头研究头像AI卡通化 终于实现了翻译的信达
- booj平台解决了对整体房地产技术解决方案的需求
- 集中式移动中心将提供真正全面的客户体验
- 为新泽西市场带来了近20年的经济适用房体验
- 一家领先的在线对离线的房地产服务提供商中国
- 以降低西海岸社区开发 建设和拥有多户住房的成本
- Simone Health 分享预制建筑医疗保健建设的技巧
- 随着该计划在该地区的发展 Zillow将扩大对更多住宅和公寓
- Granite宣布2019年第二季度业绩
- Ansley Atlanta房地产开始使用Adwerx Enterprise进行自定义广告活
- BVEX公布了位于堪萨斯州欧弗兰帕克的200套公寓社区
- 新能源汽车放卫星背后是一个怎样的游戏
- 新造车企业鲶鱼效应不再外资加速介入整合大潮
- 汽车报废将进入快速增长期
- 车企抢先布局争做5G路上最靓的仔
- 新模式下的汽车后市场物流供应链体系
- 从 To B 向 To C 过渡才是最稳妥的路径
- 哪吒逆袭的方法论有一定的偶然性导致其并不可复制
- 注意谷歌双工 微软也有一个健谈的人工智能
- 自动化 增强和创新将如何在人工智能计划中取得成功
- 现代帅气的伊兰特GT N-Line简单 实惠有趣
- 汽车其他部件车轮可能塑造汽车工业的未来
- Karma Revero插电式混合动力音响系统的设计耗时超过2年
- 开膛手ATV是一种机动滑板 认为它是吉普牧马人