近日，上海交通大学助理教授易冉、北京大学助理教授陈文拯、清华大学博士后刘健在软件园校区作了主题为“数字媒体内容智能生成”的系列学术报告，澳门3044永利官网副研究员李曼祎主持报告会。

易冉教授首先展示了其在“可视媒体高效可控智能生成”领域的研究成果。他认为，可视媒体智能生成存在三个方面的挑战：一是高度信息抽取在明确语义保持间难以平衡，二是跨模态异构特征差异大、语义关联难，三是低质、稀缺数据下拓扑易丢失、模型泛化难。以这些挑战为契机，易冉教授团队针对性地提出了三个创新性的解决方案。针对第一个挑战，易冉教授团队提出了基于多层次对抗特征表示、非对称循环映射结构、自适应序列笔触建模三项成果的高度抽象和序列建模的可视媒体智能生成，并列举出了多项实验结果。针对第二个挑战，易冉教授团队提出了基于中间表征的异构特征映射、基于卷积核动态生成的异构特征融合、基于扩散模型先验的异构特征映射三项成果的跨模态异构特征映射的可视媒体智能生成。针对第三个挑战，易冉教授团队提出了基于关键点-骨架-形状的低质几何补全、基于差分进化的低质几何优化、基于空间-外观解耦表征的稀缺数据生成三项成果的低质稀缺数据下的可视媒体智能生成。讲座最后，易冉教授团队提出了视角一致的三维场景生成、高保真的三维非刚性编辑、高效实时的三维内容呈现三个目标，并针对这三个目标分别提出了解决方法。易冉教授还对与会师生提出的问题进行了解答。

陈文拯教授展示了其在“Differentiating Imaging Systems for Boosting 3D Perception”领域的研究成果，强调了可微图像系统的重要性，并引出报告将要介绍的两项成果：Differentiable Rendering、Differentiable Structured Light。对于第一个成果Differentiable Rendering，陈文拯教授团队提出了将光栅化和光线追踪相结合的既小型、快速又真实的渲染器DIBR及其进阶版DIBR++；此外，对于复杂拓扑的场景生成，陈文拯教授团队还提出了一个从多视角图像上重建场景的可微渲染器。对于第二个成果Differentiable Structured Light，陈文拯教授团队提出了Optical SGD方法，它能主动学习到最优的条纹图案序列和最优的深度重建函数，从而获得一个优秀的重建结果。在报告过程中，陈文拯教授和与会师生进行了充分交流，使大家对可微图像系统有了更深刻的理解。

刘健展示了其在“Embodiment Robotic Grasping”领域的研究成果，主要分成两个部分：灵巧手稳定性抓取方法和功能性抓取方法。对于灵巧手稳定性抓取方法，刘健从数据集、模型、loss函数等多方面对灵巧手稳定性抓取方法进行了介绍。模型是重点内容，他介绍了基于CNN的抓取方法，基于生成模型的抓取方法DVGG和GenDexGrasp等，基于扩散模型的方法DexDiffuer、GraspLDM、UGG等，基于隐式表示的方法NeuralGrasps等。此外，为了进一步提高机器人抓取的准确性和稳定性，刘健博士还介绍了一种可微抓取的方法，它使得机器人在进行抓取动作时考虑了物体形状和表面特性。对于机器人功能性抓取方法，主要分成了两类：基于手的抓取和基于物体的抓取，刘健分别针对这两个方面进行了方法介绍，并提出这些方法存在的问题。报告结束后，刘健和同学们就机器人抓取技术中的关键问题进行了探讨。

三位学者的报告内容深入浅出，生动形象地展示了数字媒体内容智能生成技术的最新进展和应用前景，引起与会师生的强烈兴趣和广泛关注。

（文/图：李曼祎  责任编辑：王璐）