中文多模态医学大模型智能分析X光片，实现影像诊断，完成医生问诊多轮对话

01 多模态网络&内生安全 第六届ISC大会

针对工业过程的非线性和多模态特征,提出了一种基于局部近邻标准化(local neighborhood standard ization,LNS)和主多项式分析(principal polynomial analysis,PPA)结合的故障检测算法。首先,将样本数据通过局部近邻标准化(local neighbor standardization,LNS)算法,对每个样本构建k近邻数据集;然后应用k近邻数据集的均值和方差对当前样本进行标准化处理;最后使用PPA对已经标准化处理后的样本建模,计算出T2和SPE统计量,并确定控制限进行故障检测。LNS算法能够去除数据中的多模态特征,而PPA算法能够有效的处理非线性数据,因此LNS-PPA方法能够提高具有多模态非线性特征的工业过程故障检测能力。将该方法应用于多模态非线性数值例子和田纳西伊斯曼(TE)化工过程,并将测试结果与主元分析法(principal component analysis,PCA)、主多项式分析法进行对比,其结果能够有效验证LNS-PPA的优越性。

这是用NEO4J平台构建一个《人工智能引论》课程的多模态知识图谱相关代码与文件。 知识图谱的经典定义是结构化的语义知识库，是用形象化的图形式来表达出物理世界中的概念以及内部关系。**其基本组成单位是“实体－关系－实体”三元组**，实体间通过关系相互连接形成知识结构网络。而它**也是基于图的数据结构，基本组成是“节点－边－节点”**，从而将知识信息连接成为一个关系网。所以知识图谱主要有**实体、关系、属性**等部分。其中实体表示的某种事物是独立于其他事物的，也是构建图谱最基本的元素；关系表示的是实体与实体之间的关系，用边连接着实体；而属性则用来阐述某一类实体的一些具体的值。这些三元组形式是知识图谱数据层最底层的形式。 图数据库是一种新型的非关系型数据库，无论是节点还是边缘，它的图表都**基于图论**。图论中的基本元素节点和边对应图数据库当中的节点与关系。图数据库的模型是包括**节点、关系以及属性**。它主要存储两类数据：节点和边。节点是实体：如人、成绩、书籍或其他具体事物。边关系：连接节点的概念、事件或事物。

【多模态大模型综述】 使用 gpt3.5 精细翻译，完美融合图片等内容 由微软7位华人研究员撰写，足足119页 它从目前已经完善的和还处于最前沿的两类多模态大模型研究方向出发，全面总结了五个具体研究主题： - 视觉理解 - 视觉生成 - 统一视觉模型 - LLM加持的多模态大模型 - 多模态 agent 本报告一共7位作者。 发起人和整体负责人为 Chunyuan Li。 他是微软雷德蒙德首席研究员，博士毕业于杜克大学，最近研究兴趣为 CV 和 NLP 中的大规模预训练。 他负责了开头介绍和结尾总结以及“利用 LLM 训练的多模态大模型”这章的撰写。 核心作者一共 4位： Zhe Gan Zhengyuan Yang Jianwei Yang Linjie Li 他们分别负责了剩下四个主题章节的撰写。

针对多模态优化问题, 提出一种动态小生境半径两阶段多模态差分进化算法. 基于构象空间退火思想, 设计一种两阶段退火策略来动态调整小生境半径, 并根据退火过程将整个优化过程分为两个阶段. 在第1 阶段, 通过差分限制变异策略生成高质量的新个体来维持种群的多样性, 促进多模收敛; 在第2 阶段, 利用种子邻近变异策略对已探测到的生境高度搜索, 加快算法的收敛速度. 实验结果表明, 所提出算法能够有效实现从全局探测到局部增强的自适应平滑过渡, 是一种有效的多模态优化算法.

多模态生物特征识别：基于人脸与人耳信息

研究了多模态身份识别问题,结合人脸和掌纹两种不同生理特征,提出了基于特征融合的多模态身份识别方法。对人脸和掌纹图像分别进行Gabor小波、二维主元变换(2DPCA)提取图像特征,根据新的权重算法,结合两种模态的特征,利用最邻近分类器进行分类识别。在AMP、ORL人脸库和Poly-U掌纹图像库中的实验结果表明,两种模态的融合能更多地给出决策分析所需的特征信息相比传统的单一模态的人脸或掌纹识别具有较高的识别率,更具安全性和准确性。

提出了一种基于局部特征描述的多模态视网膜图像配准方法，该方法采用圆环结构划分关键点周围区域，通过局部梯度方向直方图构造特征描述子，并对所提取的特征向量进行规范化。实验证明，该算法在多模态视网膜数据集上提高了配准的成功率，相比于经典算法提高了算法的速度和鲁棒性。

提出了一种基于最优Atlas图像搜索和局部加权B样条变换的全自动非刚性分层配准分割感兴趣区域（ROI）方法。实验结果表明, 所提算法配准的ROI准确度达到95.6%, 归一化互信息值为1.8432, 均方根误差为1.12%, 相关系数提高了18.33%。相比其他配准方法, 所提方案的配准精度及准确度明显提升, 对临床辅助诊断有重要意义。