条文本
PDF
数据来自Altmetric.com
消息
结直肠息肉大小是影响管理决策的重要生物标志物，但目前使用的主观方法存在缺陷。我们探索了两种计算机视觉(CV)技术，用于对息肉大小进行≤5mm或> 5mm的二进制分类。首先，我们使用预先测量的假体息肉(22个这样的息肉视频)固定在猪结肠模型上，探索使用运动结构(SfM)方法自动分级的概念，并将其与10名独立内窥镜医生的分级进行比较:总体而言，SfM系统的平均诊断准确率(85.2%)优于内窥镜医生的判断(59.5%)。其次，我们开发了一个基于卷积神经网络(CNN)的深度学习模型，并在10个人类息肉的视频中发现了80%的准确率。实时自动息肉大小与人工智能(AI)辅助息肉特征相结合，可以改善息肉管理策略。
更多细节
简历的技巧
CV可以定义为机器处理和理解视觉数据的能力，将人眼通常需要做的任务类型自动化。为了进行自动息肉大小分类，我们采用了两种类型的CV技术，SfM和深度学习(DL)。
SfM是一种摄影测量成像技术，通过算法从多个二维(2D)图像中恢复物体的三维(3D)结构，通常用于地形研究。SfM在输入图像中找到匹配点，并通过求解由这些匹配点推导出的外极约束方程来恢复三维结构，简要说明在图1。该算法利用匹配点将相机的姿态计算为旋转矩阵和平移向量。最后，我们利用数学公式计算出息肉与内窥镜之间的距离，并利用该距离实时计算出息肉的大小。与DL相比，这种SfM技术使用更少的数据，使其相对更容易和更快地转化为临床设备。
这就解释了运动结构的概念。利用偶极约束方程，可以得到相机的相对运动。
DL基于神经网络，使用大量的训练数据对输入图像进行分类。在该技术中，训练数据集的质量和准确性是非常重要的。这里最大的挑战是获得准确大小的息肉(在没有经过验证的大小系统的情况下)图像和视频。我们在本研究中探索了SfM和DL，并开发了两个单独的模型。设计这些模型将息肉分为A类(≤5mm)或B类(> 5mm)。
实验与结果
SfM技术的评价
假息肉由硅酮密封胶制成，并被精确切割成从1毫米到10毫米不等的不同尺寸。这些人造息肉被设计成在形状和颜色上模仿真正的人类息肉，包括无梗和扁平的形态。这些息肉由两名相互独立的研究人员精确测量、校准和验证。这些息肉被固定在猪结肠模型上，没有改变它们的形状或大小。我们使用富士结肠镜检查猪的结肠，并为检查录制了视频。回顾并注释录制的视频，以标记不同的息肉及其预定大小，并使用这些视频评估基于sfm的分级系统。图2说明了实验的设置和环境在线补充视频1显示了用于系统开发和测试的视频录制输出的示例。
图(A)和图(B)是猪结肠模型内窥镜下的假息肉。图(C)显示了猪结肠模型的作用域。图(D)为实验过程中的实时内窥镜视图。
SfM模型在22个幻影息肉视频上进行了测试，这些视频平均分为两个大小类别(≤5mm和> 5mm)。我们还要求10名具有不同程度结肠镜检查经验的内窥镜医生观看相同的22个视频，并将息肉分为≤5mm或> 5mm。计算平均诊断准确率，并采用t检验比较两组之间的差异。
总的来说，自动定径系统在动物模型中的平均诊断准确率为85.2%，而内窥镜组为59.5% (p<0.0001)。在A类(≤5mm)中，自动定径系统和内窥镜医生的诊断准确率分别为81.2%和66%。在B类(>5 mm)中，自动分级系统的精度为87.5%，而内窥镜医生严重低估了这类息肉的尺寸，实现了42.3%的精度。表1总结了实验结果。
CNN DL技术的评价
在这里，我们使用基于VGG-16架构的DL模型进行二元息肉大小分类。我们使用了219个结肠镜视频，包含301个息肉进行训练和验证。80%的息肉序列用于训练，其余20%用于验证。这些息肉由三位专家审查和大小，并使用平均专家的大小估计来训练AI模型。我们采用了一般的数据增强技术，如翻转、随机裁剪和颜色转换。在一个完全独立的数据集上进行测试，其中包含10个实时结肠镜检查视频记录。这些视频都是用镊子辅助尺寸录制的，并由三位专家进行审核和尺寸，我们使用专家的平均尺寸作为ground truth。CNN模型在将息肉分类为≤5mm或> 5mm时，准确率达到80%。表2总结了我们的系统在人类息肉视频记录中的诊断准确性在线补充视频2展示了我们的尺寸系统如何在真实的人类息肉上工作。
评论
息肉大小与患癌风险相关，影响监测间隔和治疗方法。15毫米阈值特别重要，因为它影响基于光学诊断的策略的实施，包括切除和丢弃/诊断和离开方法，还允许内窥镜医生做出冷或热息肉切除术的治疗选择。2然而，内窥镜医师的视觉尺寸估计具有显著的观察者间可变性和错误率，3.其他方法的结果也不尽相同，有时甚至相互矛盾。4人工智能正在迅速成为我们内窥镜检查现实的一部分，人工智能辅助息肉表征的数据看起来非常有前景，但如果没有准确的尺寸，它对我们的实践影响有限。然而，到目前为止，还缺乏人工智能辅助结肠直肠息肉鉴定的数据，而该报告提供了该领域的首次经验之一。
我们决定使用人工创造的息肉进行早期的概念化和自动化息肉大小系统的开发，因为人类对大小的估计以及其他当前的方法都不完善。这也适用于切除后测量息肉的大小，尤其是小息肉。人工智能模型的准确性取决于其输入数据的质量和准确性，这就是为什么我们更愿意提出这种创新方法来开发一个健壮的人工智能模型。
我们分别开发了基于sfm的方法和基于cnn的方法。我们发现，基于sfm的方法是一种合适的方法，可以通过算法计算我们在猪实验中人工创造的息肉的大小，但该技术在应用于现实世界时被证明非常具有挑战性(数据不在这里共享)。基于cnn的方法可以很好地进行实时息肉大小分类，但需要大量高质量和精确大小的数据。因此，我们一直在并行研究这两种方法，并在表中分享了最好的结果。总的来说，SfM在猪实验中表现良好，CNN在人类结肠实验中表现良好。
这一概念的发展充满了挑战。我们刚刚强调了在早期发育阶段不使用真正的人类息肉的原因，因为缺乏准确大小的标准/措施。此外，由于猪结肠表面光洁、纹理均匀，将SfM技术应用于猪结肠人工息肉，很难找到精确的匹配点。考虑到人类结肠的凹坑和血管模式，在制作真实的人类息肉视频时，这不是一个问题，但这将带来来自光线反射等其他因素的另一个挑战。技术解决方案，例如图像预处理，可以缓解这些问题。另一方面，DL方法需要大量的数据来训练网络，需要更严格的措施来确保息肉大小的准确性和训练数据集的质量(ground truth)。
我们已经证明了开发和应用两种不同的CV技术进行自动息肉分级的可行性。在这个过程中，我们已经确定了每种技术的各种挑战和优势，这将使我们能够开发出最终产品，可用于结肠镜检查期间实时自动测量息肉的大小。
伦理语句
患者发表同意书
脚注
贡献者MA:研究概念和设计，手稿的起草，数据的分析和解释，以及手稿的批判性修订。HS:研究概念与设计、软件实现、数据分析与解读、稿件修改。NM:研究概念和设计，软件实现，数据分析和解释，以及手稿的修改。EH:数据采集和修改手稿。HI:研究理念与设计，软件实现，数据分析与解读，稿件修改。PB:研究概念和设计，手稿的起草，数据的分析和解释，以及手稿的批判性修订。
资金作者没有从任何公共、商业或非营利部门的资助机构宣布对这项研究的具体资助。
相互竞争的利益MA和EH之间没有利益冲突。PB获得了NEC日本、富士胶片、奥林巴斯、宾得、波士顿科学、美敦力和3d Matrix的研究资助。HS, NM, HI是NEC日本聘请的工程团队的一部分，他们与其他作者合作。
患者和公众参与患者和/或公众没有参与本研究的设计、实施、报告或传播计划。
出处和同行评审不是委托;外部同行评审。