编者按：在眼健康的征程中，精准诊断与有效干预宛如坚固基石，是保障患者视觉质量、守护清晰“视界”的关键所在。当下，人工智能技术如汹涌浪潮般迅猛发展，大型语言模型与视觉模型的深度融合，为这一领域开辟了全新路径，带来了前所未有的发展契机。新加坡国立大学Ching-Yu Cheng教授团队勇立潮头，研发出视觉-语言模型，实现了视觉特征与医学知识临床语义的精准对齐，达成对医学影像及其内涵的双重理解。在Bright China 2025明眸中国近视防控大会暨国际近视研讨会上，Ching-Yu Cheng教授围绕“Enhancing Eye and Myopia Care through Large language and Vision Model”开展了精彩讲座。会议期间，《国际眼科时讯》有幸邀请到Ching-Yu Cheng教授，共探眼健康新未来。

《国际眼科时讯》：将大型语言模型与视觉模型结合应用于眼健康领域，最根本的突破点是什么？这种融合对提升眼健康水平有何突破？

Ching-Yu Cheng教授

我们团队研发的视觉-语言模型最大特色在于，将视觉模型提取的特征与医学知识的临床语义实现精准对齐。这意味着，将这两类信息映射至同一空间后，该模型既能理解医学影像本身，又能解读其代表的临床含义，这是我们在技术层面取得的重大突破。基于这一突破，该模型在应用方面主要带来以下两方面的改善：

其一，在眼底图像分析方面，它具备强大的分析能力。例如，针对高度近视患者的眼底病症表现，该模型能够提供更具解释性的结果，有助于加强患者与医师之间的沟通。

其二，它能为医师的诊断和治疗提供极具价值的参考，这也是视觉-语言模型相较于传统模型的最大优势。

《国际眼科时讯》：在该系统中，视觉模型和语言模型是如何协同工作的？训练这样一个多模态模型时，遇到的最大技术挑战是什么？

Ching-Yu Cheng教授

视觉-语言模型依靠视觉模型提取眼底图片中的特征，这些特征涵盖眼底颜色、血管特征、视神经盘特征等。同时，我们利用大语言模型承载医学知识及诊断逻辑。在将视觉模型提取的特征与大语言模型承载的信息映射至同一空间后，我们面临两大挑战。第一个挑战在于如何精准地将这两类数据进行对齐。为此，我们采用对比学习的方式，以实现特征与医学知识信息的精准匹配。第二个挑战是模型的训练，这需要收集大量的数据。我们总共收集了34万对的图文数据，这些数据涵盖了400种以上的眼底疾病。由于收集的数据量极为庞大，团队耗费了大量时间进行数据的收集与整理，这无疑是一项艰巨的任务。

《国际眼科时讯》：这套系统在日常临床工作中具体扮演什么角色？它是如何简化眼科医师的工作流程的？

Ching-Yu Cheng教授

这套系统最重要的角色是作为临床决策支持工具。在临床实践中，存在种类繁多、表现多样的眼科疾病。对于经验不足的眼科医师而言，诊断这些疾病具有一定难度，尤其是罕见病。而且，在医疗资源匮乏地区，往往缺乏亚专科医师，这进一步增加了诊断的难度。而这套系统能够辅助这些医师在临床中做出较为准确的诊断。一项临床试验表明，引入这套系统后，医师的平均诊断正确率提升了15%以上。由此可见，该系统在辅助临床医师进行诊断方面具有显著作用。

《国际眼科时讯》：基于当前的研究，您认为大语言与视觉模型在眼健康领域还有哪些改进空间？

Ching-Yu Cheng教授

目前，主要有三方面工作仍需持续推进：

第一，开展多模态分析。以近视为例，近视不仅表现为眼底的变化，还涉及屈光度改变、眼轴长度变化等情况。目前，我们的模型尚未纳入屈光度、眼轴长度等数据，同时，诸如家族病史等信息也未包含在内。未来，我们将着力构建一个多模态模型。

第二，提升模型对疾病进展的预测能力。当前模型尚无法预测疾病的进展情况，即难以准确预测前瞻性患者病例的病情发展程度。这是因为目前模型训练未采用前瞻性随访数据。鉴于此，利用前瞻性随访资料提升模型对疾病进展的预测能力，将是未来进一步发展的重要方向。

第三，强化模型在真实世界场景下的验证与应用。虽然我们的模型已能够在真实世界研究中应用，但仍缺乏大量真实世界的验证。因此，这也是未来需要努力的方向。

声明：本文仅供医疗卫生专业人士了解最新医药资讯参考使用，不代表本平台观点。该等信息不能以任何方式取代专业的医疗指导，也不应被视为诊疗建议，如果该信息被用于资讯以外的目的，本站及作者不承担相关责任。