利用人工智能从眼底照片推断眼病

日本帝京大学医院采用英特尔® 分发版 OpenVINO™ 工具包在 PC 上进行图像识别处理,帮助医生从拍摄眼球后部的眼底照片中推断眼病。

  • Tomohiro Sawa 教授,帝京大学医疗和信息系统研究中心,帝京大学医学院麻醉学课程老师

  • Atsushi Mizota 教授,眼科主任,帝京大学系主任,帝京大学医院

  • 本文介绍了帝京大学医院从电子病历数据的自然语言分析和医学影像的识别处理着手,进行深度学习和人工智能方面的研究。在构建了 TensorFlow 深度学习框架后,他们引入了 Keras 深度学习库、 Python 编程语言、Amazon Web Services (AWS) GPU 实例以及英特尔® 分发版 OpenVINO™ 工具包,使得深度学习的性能提升,并让医生也能在日常使用的 PC 上轻松检验识别结果。

帝京大学医院正在向先进 IT 转型

帝京大学医院成立于 1966 年,是当地旗舰级医院。该医院与附近其他医疗机构保持着密切联系,提供人力资源开发、前沿医学研究及先进医疗服务。医院秉承以患者为中心的理念,已被指定为特定机能医院、地区癌症治疗核心医院、东京灾害基地医院及高级重症监护中心。在帝京大学医疗和信息系统研究中心的 Tomohiro Sawa 教授的领导下,医院正积极主动采取和实施各项 IT 计划,这已成为本医院的一大特色。Sawa 教授曾经是一名麻醉学专家,2015 年获得医疗信息科学专家认证。他目前在帝京大学医学院教授麻醉学课程,同时在医院积极推动 IT 技术的引入。


运用深度学习助力黄斑变性、青光眼等眼病评估

据 Sawa 教授介绍,医院从 2017 年开始实施深度学习:“我们的院长 Tetsuya Sakamoto 教授对人工智能很感兴趣,临床研究中心负责人 Tamio Teramoto 教授也联系了我。然后我们从电子病历数据的自然语言分析和医学影像的识别处理着手,开始进行这方面的研究。”

作为研究工作的一部分,Sawa 教授和同事构建了一个评估系统来评估深度学习应用的可能性。“我们每天和工程师一起工作,共同构建了一个可以在 Linux 命令行中运行 TensorFlow 的系统。但是,因为是第一次做这方面的尝试,我们花了一个半月的时间才让系统按预期运行。”

研究选择的评估目标是眼底照片,也就是眼球后部的照片。选择眼底照片的原因是,相比个体差异很大的胸部 X 光图像,眼底照片的大小和形状更均匀,相关的深度学习研究也相对较多。

Sawa 教授的团队利用互联网收集正常眼底照片和黄斑变性(视物变形)的眼底照片,用来训练系统,建立推理模型。Sawa 教授介绍说:“我们用一张看起来有点像人眼的红色满月图像对系统进行了测试,系统判断这不是人眼图像的概率为 100%。由此我们知道系统已经具备了一定程度的识别能力,这让我们感觉事情变得有趣起来。”

但是,最初的系统是基于命令行的,易用性不足。此外,系统完成 100 张图像的学习需要大约 20 分钟,而运行迭代来计算神经网络的权重需要一整天。

为了改善该流程,研究团队更新了系统。他们仍沿用了 TensorFlow 深度学习框架,但引入了 Keras 深度学习库和 Python 编程语言。同时,团队还使用 Amazon Web Services (AWS) GPU 实例来提升深度学习性能,并把临床获得的眼底照片用于图像识别。井上眼科医院(东京千代田区)和 Shinkokai 医疗株式会社(川崎市神奈川县)也加入了官方研究项目。

系统评估流程的首要问题是识别准确性。眼科主任 Atsushi Mizota 教授这样介绍该项目:“我们用 200 张正常眼底照片和 200 张青光眼患者的眼底照片训练系统,这两种照片比较容易区分。但是,系统还关注到一些我们眼科医生不会关注的区域,导致我们一开始无法获得预期的识别结果。在调查问题原因时,我们发现近视和其他屈光不正导致的视网膜颜色差异影响了系统。通过 RGB 颜色分解,我们可以仅在绿色 (G) 分量上训练系统,最终获得了良好的识别结果。” 除了 RGB 颜色分解,该团队还将旋转的图像作为学习数据,应用于 “数据增强”,以此提高推理模型的准确性。

实现识别的另一个问题是易用性。Sawa 教授说:“让眼科医生都能使用这套系统的重要前提是,医生不必掌握云或 Python 的相关知识。也就是说,即使学习过程在云端完成,也要保证每位医生都能在本地 PC 上执行识别处理,同时还要提供简单易懂的界面,让医生能对结果进行评估。”

为了让 Mizota 教授和其他眼科医生利用深度学习图像识别技术分析眼底照片,需要确保他们可以在日常使用的 PC 上轻松检验识别结果。为此,Sawa 教授将英特尔® 分发版 OpenVINO™工具包加入到解决方案中。该工具包用于在英特尔® 平台上部署基于 TensorFlow 及其他框架开发的推理模型,同时也兼容 Microsoft Windows、Linux 和 macOS。

Sawa 教授说:“对于一线医生来说,能够在熟悉的 PC 上使用该系统非常重要。就在我们考虑如何降低系统使用难度时,英特尔发布了 OpenVINO™ 工具包,于是我们立即决定引入该工具包。” Sawa 教授的团队决定使用浏览器作为用户界面,并让一位 Web 应用工程师用 C# 编写了屏显程序。调用推理模型输出的程序则由 Sawa 教授编写。
图 1 所示即为屏显界面。该程序使用两种广泛用于图像识别的神经网络模型,即 VGG16(左)和 ResNet50(右),来显示提供给系统的眼底图像,并根据青光眼概率大小对图像着色。研究团队发现 ResNet50 在识别准确性方面表现更好。

Sawa 教授说:“重要的是,深度学习不仅可以为 IT 工程师和数据科学家所用,也可以为普通人所用。我认为英特尔® 分发版 OpenVINO™ 工具包作为在 PC 上实现推理处理的工具,让我们向深度学习的实际应用迈出了第一步。最初引入的时候,我有点担心 Python 环境变量,但是安装程序很有帮助,并没有出现与 TensorFlow 等工具的兼容性问题。”

作为用户,Mizota 教授这样评价道:“我觉得能够在自己的 PC 上运行识别处理而无需访问 GPU 环境,使用系统变得简单多了。展望未来,我预计将为识别结果确定一个截止点,如果发现疑似症状等情况,会建议患者接受进一步筛查。”

图 1. 使用英特尔® 分发版 OpenVINO™ 工具包在 PC 上运行推理处理,并在浏览器中显示结果。
 

“系统分析眼底图像的速度非常快,100 张图像只需大约 20 秒。系统还提供经临床验证的、可重现的结果,具有很高的敏感度和特异性。”
— Atsushi Mizota 教授,帝京大学眼科主任、系主任

人工智能 “智造” 医疗未来

如上所述,医院在云端训练深度学习模型,并使用英特尔® 分发版 OpenVINO™ 工具包构建了可在本地 PC 上运行的推理(识别)环境(图 2)。Sawa 教授这样描述该方案的提升潜力:“虽然可以只用一种推理模型实现多种症状的识别和分类,包括青光眼和黄斑变性。但是,我认为这样就很难在系统普适性和提高特定疾病识别准确性之间取得平衡。我的想法是,最好是根据特定疾病准备多个推理模型,比如青光眼评估系统或黄斑变性评估系统,然后将患者的眼底照片上传至各个系统,以提高识别准确性。”

就目前情况而言,该方案已经可以在 PC 上达到足够的识别性能。但可以想象,同时运行多个推理模型可能会导致性能瓶颈。对此,Sawa 正在考虑评估配备了英特尔® Movidius™ Myriad™ X 视觉处理器 (VPU) 的英特尔® 神经计算棒 2,希望通过插入这种 USB 棒来加快推理处理速度。

同时,Sawa 也在考虑将人工智能应用于临床实践,包括与电子病历 (EMR) 系统集成。目前,除了使用图像识别进行各种诊断辅助外,人工智能在医疗领域的应用已扩展到基于自然语言处理来分析医学图表。

Sawa 和他在帝京大学医院的团队的研究证明,英特尔® 技术为人工智能应用奠定了坚实的基础,结合灵活的边缘到云产品组合,可以满足当前和未来的工作负载需求。如需进一步了解面向健康和生命科学的英特尔® 人工智能解决方案,请访问:intel.cn/content/www/cn/zh/healthcare-it/artificial-intelligence.html

图 2. 眼底照片应用模型。