声通-交大AI联合应用实验室2024年第三次月度会议圆满结束
为更好推动声通科技研发部门与上海交大科研团队基于人工智能应用联合实验室实现“产学研用”协同创新，按联合实验室月度会议机制，2024年4月1日召开联合实验室2024年度第三次月度会议，本次会议为线上线下相结合的方式进行，重点围绕“大模型知识生成与分析”方向进行专题研讨。本次会议由声通研究所负责人-上海交大的林祥博士主持，参会人员包括：上海交大的曹健教授、孙锬锋教授、钱诗友教授、张文毅教授及其课题组，以及声通科技董事长汤敬华、副总经理郑波、声通融智副总裁方楠、声通科技研究所负责人-上海交大的林祥博士、技术总监张宗振及公司技术部门研究开发及项目实施的全体成员、董事会秘书刘艺涵、投资者关系总监邵楚天共40多人在上海交大闵行校区现场或通过在线会议的方式参加了本次会议。
图一：AI联合实验室月度交流会项目组成员合影
会议进程主要分为以下几个部分：
在上一周期的协同创新工作中，上海交大的曹健教授将对联合实验室的工作进行总结，并展望未来工作重点方向。这将为实验室成员提供一个全面了解过去工作成果和未来研究方向的机会。
大模型增强知识图谱推理项目是联合实验室的一个重要研究方向。在这次汇报交流中，项目组成员将分享项目的进展情况，对知识图谱大模型结合的问答方式做了总体的介绍。主要讨论了如何利用大模型进行三元组检索，提高问答质量。首先，将图表和非结构化文本转化为非结构化检索方式 。其次，设计新的评估标准，以表达出路由模型、间距质量和稳定性强的特点。根据模型路由的局限性，从模型路由到模型选择与模型迭代相结合来看，提出了新的核心思想：在多开源部署小模型、多轮迭代提问场景下，根据每轮生成答案的质量反馈训练，基于不同问题情景、当前轮次和相应回答质量做出最优提问策略的决策模型。同时提到，模型选择还是模型集成，它都有一定的优劣。模型选择它虽然说比较高效，但是它本质上还是依赖一个路由函数的训练，并且它仅仅使用单个模型很难去解决，这是知识幻觉的本质问题。另外一方面，像模型集成，它虽然可能看来是把多个答案综合在了一起，但是它的资源开销非常大，生成答案耗时也比较长。因为未来生态可能是大模型和多个小模式等等各种模型协作的一个生态，所以力致于解决依靠单个大模型可能会存在的幻影以及不可靠的问题。多轮的迭代实验和目前的结论将促进实验室成员之间的合作与交流，推动项目的发展。
图二：汇报大模型增强知识图谱推理项目
智算平台2.0项目是联合实验室在智能计算领域的一个重点项目。在这次汇报交流中，项目组成员介绍项目的进展情况，包括平台的功能升级、性能优化以及应用案例等。从整体框架、实验验证和前端展示三个层面主要讲述了大模型在数据处理中的应用和优势，最后希望在后期展望中可以完善系统的后续功能，同时希望能优化大模型生成算法，pipeline的超参数的优化是一个很重要的步骤，这对算法工程师来说需要丰富的经验需求。另外，这将为实验室成员提供一个了解智能计算领域最新技术的机会。
除了以上三个重点项目外，联合实验室还有其他一些已立项的项目。在这次会议上，这些项目的负责人将汇报项目的进展情况，包括双碳项目的基本情况，从背景、碳排放趋势预测模型、成果展示、长周期预测及聚类算法探索来介绍项目，其中在预测模型做了课题创新、数据集创新、预处理创新、场景创新和模型创新，并在最后提出了双碳项目未来的研究计划。同时展示了目前完成的进展和已取得的成果，这将为实验室成员提供一个了解不同研究方向的机会，促进跨学科的交流与合作。
图三：项目组成员讲述声纹情绪识别项目
除此之外还提到了声纹情绪识别项目，介绍了情绪特征提取的方法、声音情绪识别方法和声音文本融合情绪识别方法。针对其中的难点多模态融合、知识推理和标签噪声提出多模态情绪识别模型。工作目前的进展是以对比学习的方式训练的模型，在四分类和六分类上的准确率都是最高的。对于该项目的展望是（1）视频多模态情绪识别即加入视频模态(视觉模态)进行更准确地多态情绪识别研究；（2）基于大模型的情绪prompt研究即通过额外的模块处理大模型输入，为大模型附加情绪感知功能；（3）情绪识别网络计算优化即鉴于情绪识别需要在服务器进行运算，因此考虑优化数据传输流程与边缘客户端的计算过程。
最后项目组成员还介绍了基于机器视觉的飞机绕机外观异常检测方法研究的项目进展，目前竞品分析和方案设计已经完成，在图像仿真与图像清洗的阶段。下一步开始做目标模型的设计和实现，后续构建飞机部位的知识图谱，融合到检测，从而提升模型效果。
最后，声通科技董事长汤敬华总结联合实验室月度工作会议。在未来的研究中，会持续探索更多的应用场景，及时应用阶段成果，推动产品化和实践进程。这种策略有助于将研究成果快速转化为实际应用，加速创新的落地，并根据实际应用中的反馈进一步完善和优化研究。同时，通过不断探索新的应用场景，可以拓宽研究成果的适用范围，创造更大的价值。
联合实验室的目标是成为公司强大的技术动力源泉，通过不懈努力开创新的商业化机遇。实验室将专注于深入研究具有前瞻性的领域，以推动公司技术向更前沿的方向发展。不仅关注技术本身，更注重将创新成果转化为实际的业务价值，为公司带来新的增长点。通过联合实验室与公司的深度融合，双方将共同迎接科技创新的挑战，推动技术进步和商业发展。双方共同的目标和愿景将促使团队更加紧密地合作，激发更大的创新潜力。期待未来能够取得更加辉煌的成就，开创科技发展的新篇章。
