大模型引领新一轮的技术变革，创新的火花正在变革中孕育。近日，智慧眼发明专利版图再度扩容，在图文、音频、视频等原生多模态方面取得新的突破进展，将进一步为多元化场景赋能。

原生多模态之路

1、基于多模态的医疗大模型构建方法及其相关设备

专利摘要：本发明公开了一种基于多模态的医疗大模型构建方法及其相关设备，通过包含多模态转换器T、提示管理器M、对话引擎L、任务控制器H和多模态基座模块MMF，多模态基座模块MMF至少包括一个医疗基础模块态基座MFMs的医疗大模型，采用模态分析、模型分配、下游任务结果返回、模态转换归一和响应生成五个阶段，同时处理融合多种模态数据并充分利用了多种模态数据之间的关联，实现多模态任务的快速处理，提高了针对人工智能任务的智能化处理程度和处理效率。

该发明专利的创新性主要体现在提升多模态数据处理能力、智能化任务处理效率、强化医疗基础模块支持、提高人工智能任务的智能化程度以及促进医疗决策支持和技术创新等方面。

肿瘤检测准确率UP

2、基于图文多模态融合的肿瘤检测系统、方法、设备及介质

专利摘要：本申请公开了一种基于图文多模态融合的肿瘤检测系统、方法、设备及存储介质，涉及医学人工智能检测领域，包括：电子病历特征抽取模块、图像特征抽取模块、特征融合模块、肿瘤检测模块。电子病历特征抽取模块获取电子病历的文本特征向量；图像特征抽取模块获取电子计算机断层扫描图像特征向量、核磁共振图像特征向量以及活检病理图像特征向量；特征融合模块获取融合后特征向量；肿瘤检测模块用于检测肿瘤概率。

本申请通过充分学习患者自身表现症状主诉信息、电子计算机断层扫描、核磁共振、病理活检图像四个模态的数据，充分吸收融合四个模态有效特征，使得肝肿瘤检测达到了更高的准确率。

睡眠监测与分析精细化

3、一种基于音频的睡眠分期的方法、系统、终端及存储介质

专利摘要：本申请提供一种基于音频的睡眠分期的方法、系统、终端及存储介质，涉及音频领域，特别是涉及一种基于音频的睡眠分期的方法，所述方法包括：获取预设时长的睡眠分期的音频数据；对所述音频数据进行特征提取，得到特征数据，其中，所述特征数据包括梅尔谱特征数据、频谱质心特征数据、声谱衰减特征数据及音频色度特征数据；将所述梅尔谱特征数据，输入预先训练好的音频事件向量提取模型，得到音频事件向量；对所述特征数据进行特征拼接，得到拼接特征数据；将所述拼接特征数据和所述音频事件向量，输入预先训练好的睡眠分期模型，得到睡眠分期结果。本申请能够提高睡眠分期的准确性。

该发明专利的体现在提高睡眠分期的准确性、提供全面的睡眠分期解决方案、促进音频技术在医疗领域的应用、优化睡眠监测和分析流程以及增强用户体验等方面。

真诚主动对话必杀技

4、一种主动式对话大模型构建装置、方法、设备及存储介质

专利摘要：本申请公开了一种主动式对话大模型构建装置、方法、设备及存储介质，涉及模型构建领域，包括：模型确定模块用于基于生成式预训练Transformer模型确定预设提问模型和预设诊断模型；训练集构建模块用于将用户真实病历信息输入预设提问模型以生成假样本，基于假样本和真样本构建第一训练集；控制器训练模块用于将第一训练集输入初始控制器，以利用对抗训练方法并基于预先构建的目标函数对初始控制器的参数进行梯度更新得到目标控制器；大模型构建模块用于基于预设提问模型、预设诊断模型和目标控制器构建主动式对话大模型以进行问诊对话。

本申请通过构建主动式对话大模型，以对用户进行主动提问获取更多用户信息，提高问诊结果的准确性。

病历生成效率提升

5、病历摘要生成方法、装置、计算机设备及介质

本发明公开了一种病历摘要生成方法、装置、设备及介质，包括：对病历文本进行聚类，得到若干类别的聚类文本；将每类聚类文本输入到初始病历摘要生成模型中，初始病历摘要生成模型包括初始教师模型、初始学生模型和判别模型；采用初始教师模型对每类聚类文本进行摘要生成，得到标注训练集，采用标注训练集对初始学生模型进行参数微调，得到微调学生模型；通过判别模型对初始教师模型和微调学生模型的模型效果进行评测，根据评测结果，确定混合训练集，采用混合训练集对初始病历摘要生成模型进行迭代训练，得到目标病历摘要生成模型；采用目标病历摘要生成模型对接收到的病历文本进行摘要生成，提升了病历摘要生成的精准度。

通过创新的病历摘要生成技术，提升了病历摘要生成的精准度。

促进数据互联互通

6、一种大模型知识蒸馏低秩适应联邦学习方法、电子设备及可读存储介质

专利摘要：本发明提供的大模型知识蒸馏低秩适应联邦学习方法，是通过在各个客户端内部署学生模型和教师模型，同时在各个客户端相连接的中央服务端内部署同结构的学生模型；在各个客户端内，基于学生模型、教师模型和预设本地数据，计算获取教师模型的总损失和学生模型的总损失；通过学生模型的总损失和低秩适应方法计算获取低秩梯度矩阵并上传至中央服务端；通过中央服务端内的学生模型聚合后的参数梯度矩阵，更新学生模型参数，重复多次直至教师模型收敛。

相比于现有技术，本方法通过低秩适应方法分解参数梯度矩阵，可以显著减少联邦学习时客户端和服务端之间的通讯参数量，极大地提高了通讯效率。

2024年上半年，智慧眼凭借其在人工智能领域的深厚底蕴，成功获得了近30项与砭石大模型相关的授权发明专利，彰显了其在AI原生创新方面的强大实力。未来，智慧眼将坚持AI原生思维，不断强化大模型的多模态协作处理能力，进一步挖掘医疗AI市场潜力，从而引领整个产业向更高水平的创新与高质量发展迈进。