2023年10月29日,第十八届“挑战杯”全国大学生课外学术科技作品竞赛“揭榜挂帅”专项赛擂台赛在贵州大学西校区体育馆举行,上海学深智能科技有限公司成员联合上海交通大学人工智能研究院、学生创新中心联合组建的数字人团队参赛作品--“EasyAvatar”:高保真智能数字人生成系统”获“智能数字人(数字分身)生成技术研究 ”赛道 特等奖。

EasyAvatar

本次数字人团队的参赛作品以生成式人工智能算法取代现有数字人技术中成本高、耗时长的部分, 研发了“形象真、制作快、反应灵”的数字分身生成系统“EasyAvatar”。

在作品完整性上,它包含了数字人面部与身体、前后端分离的系统架构、2D/3D多种表现形式。

在拟真度上,它具有真人般的静态形象与拟人化的动态表现。

在智能化程度上,它结合了大模型,具备语音、文本、动作等多模态的交互能力。

该系统为元宇宙提供了便捷、高效、低成本的数字人入口,在数字经济和数字社会领域有广泛的应用前景。

具体创新点

无需光场设备

从单张图片出发,使用三维神经渲染的方式保证重建真实性,并在生成模型的隐空间进行解耦以注入不同属性,从而制作出高质量、多风格的数字人。

无需人工建模

提出了图文大模型赋能的自监督精细3D人脸重建算法,从图片中提取身份属性特征、并映射为高精度反照率贴图等渲染要素,在1分钟内完成数字人的全自动建模。

无需动作捕捉

设计了文本驱动的人体动作序列生成算法,能够自然地生成百余种常见动作,并能与语言大模型相结合,实现数字人的实时智能交互。

 此外,团队为提升用户使用的便捷性,为EasyAvatar系统开发了完整的前后端系统架构。后端架构包括产品、服务、AI算法和数据四大功能层级,保障多个算法在服务器上高效运行。前端界面针对3D数字人与2D数字人两种形式的服务,基于Unity开发了易理解、易操作的用户界面。

挑战杯介绍

“挑战杯”全国大学生课外学术科技作品竞赛是一项全国性的竞赛活动,简称“大挑”(与挑战杯创业计划大赛对应)。该比赛创办于1986年,由教育部、共青团中央、中国科学技术协会、中华全国学生联合会、省级人民政府主办,承办高校为国内著名大学,“挑战杯”系列竞赛被誉为中国大学生学术科技“奥林匹克”,是国内大学生最关注最热门的全国性竞赛,也是全国最具代表性、权威性、示范性、导向性的大学生竞赛。该竞赛每两年举办一次,旨在鼓励大学生勇于创新、迎接挑战的精神,培养跨世纪创新人才。