你在这里

条文本

菜单条

下载PDF

XML
内窥镜检查的消息
人工智能在巴雷特食道癌评估中的实时应用
  1. 阿兰娜Ebigbo1，
  2. 罗伯特·孟德尔2，3.，
  3. Andreas Probst1，
  4. 约翰内斯Manzeneder1，
  5. Friederike普林茨1，
  6. 小路易斯·A·德索萨4，
  7. 若昂爸爸5，
  8. Christoph棕榈2，3.，
  9. 赫尔穆特•Messmann1
  1. 1美国胃肠病学，Universitatsklinikum奥格斯堡，奥格斯堡、德国
  2. 2雷根斯堡医学图像计算(ReMIC)， Ostbayerische Technische Hochschule Regensburg (OTH Regensburg)，雷根斯堡、德国
  3. 3.雷根斯堡健康科学与技术中心，雷根斯堡、德国
  4. 4联邦大学计算机系São Carlos，圣卡洛斯、巴西
  5. 5São保罗州立大学计算机系，宝路、巴西
  1. 对应到Alanna Ebigbo医生，消化内科，Universitätsklinikum奥格斯堡，奥格斯堡86156，德国;alanna.ebigbo在{}uk-augsburg.de；Christoph Palm教授，德国雷根斯堡理工学院，德国雷根斯堡93053;christoph.palm在{}oth-regensburg.de

http://dx.doi.org/10.1136/gutjnl-2019-319460

来自Altmetric.com的统计

    请求的权限

    如果您希望重用这篇文章的任何部分或全部，请使用下面的链接，它将带您访问版权清除中心的RightsLink服务。您将能够快速获得价格和以多种不同方式重用内容的即时许可。

    消息

    在本课题组前人对可见Barrett食道癌(BE)图像人工标注工作的基础上，开发了实时深度学习人工智能(AI)系统。当内窥镜专家对BE进行内窥镜评估时，我们的AI系统从实时摄像机直播中捕获随机图像，并提供全局预测(分类)，以及精确区分正常BE和早期食管腺癌(EAC)的密集预测(分割)。该系统对14例肿瘤性BE的诊断准确率为89.9%。

    更详细地

    本文是我们之前发表的关于人工智能和深度学习在BE评估中的应用的论文的后续。1 2在我们最初的出版物中，我们开发了一个计算机辅助诊断(CAD)模型，并在BE评估期间在分类和分割领域展示了有前途的性能分数。1 2然而，这些结果是在最佳内窥镜图像上获得的，这可能不能充分反映现实情况。为了将基于人工智能的图像分类无缝集成到临床工作流程中，我们进一步开发了先前的系统，以提高分类图像分析的速度和显示癌症概率空间分布的彩色编码密集预测的分辨率。1 2基于DeepLab V.3+的深度卷积神经网络(CNNs)和残差网(ResNet)架构，采用了最先进的编码器-解码器网络。3.为了将内窥镜直播传输到我们的AI系统，将一个捕获卡(台湾Avermedia)插入到内窥镜监视器。

    在线补充视频1展示了奥格斯堡大学医院内窥镜室中基于人工智能的BE评估的设置(图1)．人工智能预测可以在任何时候使用键盘上的按钮或脚踏开关启动。视频片段展示了三个不同病人的例子和人工智能在不同位置的预测。注意，图像冻结不是人工智能分析的必要条件，这是由系统随机完成的，但为了本研究的评估目的而进行的，以确保人类和人工智能预测的基础相同。可以看到，屏幕底部的一个动态蓝色条实时提供了癌症概率的连续预测。根据我们之前的AI系统，2如果一幅图像的全球癌症预测超过90%，则被归类为EAC。

    补充视频

    Seamless integration of AI-based computer-aided diagnosis in the clinical setting. The resulting AI prediction is based on the average predictions of original image and its three flipped variants. Each single prediction results from an ensemble of four independently trained models, each of which uses 90% of the training data available. This procedure increases the robustness but is more time-consuming. Overall, on a desktop with two NVidia TitanX graphics processing units, the AI prediction takes 1.19 and 0.13 s with and without ensembling, respectively.
    " data-icon-position="" data-hide-link-title="0">图1
    图1

    基于人工智能的计算机辅助诊断在临床环境中的无缝集成。最终的AI预测是基于原始图像及其三个翻转变体的平均预测。每一个预测都是由四个独立训练的模型集合而成，每个模型都使用了90%的可用训练数据。这个过程增加了鲁棒性，但更耗时。总的来说，在一台有两个NVidia TitanX图形处理单元的桌面上，AI预测在集成和不集成时分别需要1.19和0.13 s。

    在线补充视频2显示用户界面(UI)和应用程序功能。UI的左边部分包括一个内镜检查(或可选的视频)的实时预览窗口和被检查的患者列表。主窗口显示基于概率的密度预测。屏幕底部的动态蓝条显示实时部分预测。提供了三种不同的可视化结果:巴雷特视图，癌症视图和组合视图。此外，特定区域的癌症全球预测显示在UI下方的一个蓝色粗条中。最后,在线补充视频2简要介绍了用于全局和密集预测的人工智能方法(图2)．该方法基于DeepLab V.3+，一种编码器-解码器人工神经网络。3.与我们以前的CAD系统类似，2编码器是imagenet预训练的，基于101层的ResNet。它逐层降低特征图的空间分辨率，学习更高抽象层次的语义信息。最后一个ResNet层使用了扩展卷积的概念，然后是空间金字塔池，以便将更大的上下文集成到分类中。3.对于全局预测，两个完全连接的层被链接到编码器路径。4对于密集预测，解码器使用编码器的语义信息并将其分布到全空间分辨率。因此，编码器神经网络用于分类(全局预测)和分割(密集预测)。

    补充视频

    Encoder–decoder neural network DeepLab V.3+3 with different paths for global and dense prediction,4 respectively.
    " data-icon-position="" data-hide-link-title="0">图2
    图2

    编码器-解码器神经网络DeepLab V.3+3.通过不同的全局和密集预测路径，4分别。

    在我们目前的研究中，AI系统使用来自奥格斯堡大学医院图像数据库的共129张内窥镜图像进行训练。为了实时验证该系统，我们对14名患者(4名女性和10名男性)的额外图像(36张早期EAC图像和26张正常BE图像)进行了评估，同时由一位BE内窥镜专家进行内窥镜检查。所有图像均通过切除标本的病理检查(EAC)和钳活检(正常BE)进行验证。该AI系统在分类任务中表现优异，灵敏度和特异性分别为83.7%和100.0%，总体准确率为89.9%。

    在网上找到更多关于方法和结果的细节。

    评论

    EAC在西方世界的发病率仍在上升，总体预后仍然较差。5BE是发生EAC最重要的危险因素，尤其是长节段BE和上皮内瘤变患者。6早期发现EAC可显著改善预后;然而，即使对于经验丰富的内窥镜医生来说，BE中早期EAC的内窥镜检测和随后的特征描述也是一个挑战。早期EAC通常是扁平的，很难与周围非发育不良的巴雷特黏膜区分开，即使使用高清内窥镜。7由国际Barrett专家组成的Bing研究小组在诊断高级别瘤变和粘膜癌时的灵敏度和特异性分别为80%和89%。8在BE评估方面经验不足的内窥镜医师可能会获得较低的绩效值。因此，对BE中早期EAC的更有效的检测和表征方法的需求，导致了AI和CAD领域的密集研究，特别是与深度神经网络。

    据我们所知，这是深度学习AI系统首次在现实环境中实时应用于BE早期EAC的评估和诊断。视频演示展示了专家和非专家内窥镜医生在BE评估过程中遇到的困难。由于AI系统与经验丰富的内窥镜医师相比表现出非常相似的性能(AI系统与专家仅在一个检查区域存在分歧)，基于AI的CAD具有提高BE评估质量的潜力，特别是对于非专业内窥镜医师。本研究的局限性包括纳入的患者数量较少。此外，由内窥镜医生的主观印象所描绘的升高病变也包括在我们的初步研究中。然而，进一步优化与评估将随之而来。

    参考文献

    1. ↵
      2. 孟德尔R，
      3. Ebigbo一个，
      4. Probst一个，等
      ．利用卷积神经网络的Barrett食管分析．在：Bildverarbeitung für die Medizin．施普林格，2017：80- - - - - -5．
    2. ↵
      2. Ebigbo一个，
      3. 孟德尔R，
      4. Probst一个，等
      ．深度学习在早期食管癌计算机辅助诊断中的应用．肠道2018：pii: gutjnl - 2018 - 317573．
    3. ↵
      2. 陈L-C，
      3. 朱Y，
      4. 帕潘德里欧G，等
      ．用于语义图像分割的atrous可分卷积编码器-解码器．Proc欧洲计算机视觉会议2018：801- - - - - -18．
    4. ↵
      2. 张H，
      3. 丹娜K，
      4. 史J，等
      ．用于语义分割的上下文编码．IEEE计算机视觉与模式识别会议2018：7151- - - - - -60．
    5. ↵
      2. 科尔曼HG，
      3. 谢h，
      4. LagergrenJ
      ．食管腺癌的流行病学研究．胃肠病学2018；154：390- - - - - -405．doi: 10.1053 / j.gastro.2017.07.046
      OpenUrl
    6. ↵
      2. WeismullerJ，
      3. 蒂米R，
      4. Hoffmeister一个，等
      ．[巴雷特筛选:理性的、当前的概念和观点]．Z杂志2019；57：317- - - - - -26．doi: 10.1055 / - 0832 - 2647
      OpenUrl
    7. ↵
      2. Davis-Yadley啊，
      3. 尼尔公斤，
      4. Malafa国会议员，等
      ．内镜下Barrett食管诊断的研究进展．癌症控制2016；23：67- - - - - -77．doi: 10.1177 / 107327481602300112
      OpenUrl
    8. ↵
      2. 沙玛P，
      3. 伯格曼JJGHM，
      4. GodaK，等
      ．利用窄带成像鉴别Barrett食管重度不典型增生和食管腺癌的分级系统的开发和验证．胃肠病学2016；150：591- - - - - -8．doi: 10.1053 / j.gastro.2015.11.037
      OpenUrl PubMed

    脚注

    • AE和RM贡献相当。

    • 贡献者AE:研究概念和设计，稿件的起草，数据的分析和解释，以及稿件的关键修改。RM:研究概念和设计，软件实现，手稿的起草，数据的分析和解释，以及对手稿的批判性修改。AP:研究的概念和设计，数据的获取，手稿的起草，手稿的批判性修改和研究监督。FP:研究概念和设计，数据的获取和稿件的关键修订。LdS:对稿件进行统计分析和批判性修改。JP:统计分析，批判性修改稿件和研究监督。CP:研究概念和设计、稿件起草、数据分析和解释、统计分析、稿件批判性修改、行政和技术支持、研究监督。HM:研究的概念和设计，数据的获取，稿件的起草，稿件的关键修改，行政和技术支持，研究监督。AE和RM贡献相当。

    • 资金该项目得到巴伐利亚州科学和艺术部的支持(支持应用科学大学和巴伐利亚学术论坛的应用研究和发展方案- "健康研究"博士联盟)。

    • 相互竞争的利益没有宣布。

    • 病人同意发表不是必需的。

    • 来源和同行评审不是委托;内部同行评议。