新闻详情

内镜“帧探”的AI算法模型在公共数据集上测试表现

消化AI算法，肠胃内镜测试结果

发表时间：2022-05-12 11:05
图片

一、 衡量肠息肉辅助检测AI算法模型的主要评价指标

图片

针对用于肠息肉辅助检测的AI算法模型，业界的共识通常是用召回率(Recall，也称为灵敏度,Sensitivity)、精确度(Precision)、F1度量(F1-Measure)、和F2度量（F2-Measure）作为算法性能评价指标。它们的定义分别说明如下：

召回率和精确度在机器学习和计算机视觉语境中，特别是针对目标检测算法的评价中定义如下：召回率(Recall)是真阳性数与实际（相关）对象总数的比率；精确度(Precision)是真阳性数与阳性预测总数的比率。我们的算法本质上一个目标检测算法（“息肉检测算法”），主要是确定病变（指息肉）定位数量占由算法确定的全体病变数量的比例。而病变位置，只是整张图片中的某个位置，因此，和所有的目标检测算法性能测试（Object Detection Performance Validation/Test）类似，该类测试结果中，我们根据国家药监局2020年发布的“人工智能医疗器械质量要求和评价 第 1 部分：术语”，选择了“目标区域”（Target Region），“分割区域“（Segmentation region），“分割区域与目标区域的交集”（Intersection between Segmentation region and Target Region）等参数来计算精确度和召回率。“目标区域”在我们这里定义为我们的标注系统的参考标准中确认，所有内镜图片中所包含的息肉的数量（每个息肉对应图片中的某个区域）。比如说，如果医生在同一张内镜照片中标注了五个息肉，相应的“目标区域”数量就是五个。“分割区域”在我们这里定义为我们的AI算法判断图片中的某个分割区域为息肉的数量。因此召回率和精确度定义如下：

  • “召回率”定义为“分割区域与目标区域的交集占目标区域的比例”。


  • “精确度”定义为“分割区域与目标区域的交集占分割区域的比例”。



“F1度量”定义为“精确度与召回率乘积的2倍占精确度与召回率之和的比例”（F1主要用来平衡精确度和召回率）。

“F2度量”定义为“精确度与召回率乘积的2倍占4倍精确度与召回率之和的比例”（F2主要用来平衡精确度和召回率）。

二、 公共测试数据集简介

用具有代表性的公共数据集对模型进行训练和测试，是评价模型（算法）性能指标最直接的方法之一。其中，CVC-Clinic与 ETIS-Larib 是最常用的肠息肉辅助检测公共数据集，专用于息肉检测和息肉定位的性能评估，大部分开发者会尝试用这两个数据集来测试自己模型。下面介绍这两个数据集一些情况：

  • CVC-Clinic

包含从 29 个不同视频序列中提取的 612 帧标清（SD）图像。每个视频序列提取 6 到 26 帧包含至少一个不同视角、不同距离和不同视图的息肉的图像。每个息肉都用掩膜（mask）手动标注，精确说明其边界。分辨率为384×288。

  • ETIS-Larib

包含 192 帧分辨率为 1225×966 的高清（HD）图像，包括来自 34 个视频序列的 44 个来自不同条件的息肉。

三、 内镜“帧探”的AI算法模型在公共测试数据集上评价结果

内镜“帧探”选择的是公共测试数据集CVC-Clinic和ETIS-Larib来训练和测试。通过两次测试验证，我们的模型与其它模型测试结果如下：

  • 在 CVC-Clinic 数据集上的性能验证


图片
表一

  • 在   ETIS-Larib 数据集上的性能验证


图片
表二

表一数据说明：

  • 我们的方法在 CVC-Clinic 公共数据集上测试，从测试结果看，精确度、召回率、F1度量和F2度量是所有方法中是最好的。


  • 我们的模型的息肉检测速度优势远超其它模型，达到52.6FPS（每秒帧数）。

表二数据说明：

  • 我们的方法，在 ETIS-Larib 公共数据集上测试，测试结果显示，在精确度、召回率、F1度量和F2度量都是最好的。


  • 我们的模型的息肉检测速度优势远超其它模型，达到52.6FPS（每秒帧数）。


四、 内镜“帧探”AI算法模型：双流检测模型

从测试结果来看，基于在两个公共数据集的实验结果表明我们模型性能已达到先进水平，之所以有这样结果，跟我们设计的双流检测模型有直接关系，而且，我们已获得该方法的发明专利授权证书。

双流检测模型包括空间数据流 ConvNet和时间数据流ConvNet；空间数据流是从静态图像中提取息肉空间表示作为输入，时间数据流是从静态图像帧中提取光流作为输入信息。该检测模型的传递路径由空间和时间卷积神经网络（ConvNet/CNN）组成，随后是后期融合，如下图所示：

图片
双流（two-stream）检测模型（时间数据流+空间数据流）的算法流程[6]


五、 总结

图片


我们内镜帧探通过在公共数据集测试结果表明，我们肠息肉检测AI模型可以实现99.36%的精确度和96.44%召回率, 同时做的实时视频处理，该模型是目前全球所有文献报告结果中效果最好的算法。我们的AI模型跟其它方法相比具有以下优势：

  • 高灵敏度（召回率），病变的漏诊概率很低。


  • 高精确度，病变的误报概率很低。


  • 实时处理，快速检测，医生在使用过程中无延时感。


参考文献：


[1] H. Ali Qadir, Y. Shin, J. Solhusvik, J. Bergsland, L. Aabakken, and I. Balasingham. Polyp detection and segmentation using mask r-cnn:Does a deeper feature extractor cnn always perform better? pages 1–6,05 2019.

[2] X. Mo, K. Tao, Q. Wang, and G. Wang. An Efficient Approach for Polyps Detection in Endoscopic Videos Based on Faster R-CNN. arXiv e-prints, page arXiv:1809.01263, Sep 2018.

[3]   Duan, Kaiwen, et al. "Centernet: Keypoint triplets for object detection." Proceedings of the IEEE/CVF international conference on computer vision. 2019.

[4] W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. E. Reed, C. Fu, and A. C.Berg, “SSD: single shot multibox detector,” in ECCV (1), ser. Lecture

[5] D. Wang, N. Zhang, X. Sun, P. Zhang, C. Zhang, Y. Cao, and B. Liu, “Afp-net: Realtime anchor-free polyp detection in colonoscopy,” arXiv preprint arXiv:1909.02477, 2019.

[6] P. Zhang, X. Sun, D. Wang, X. Wang, Y. Cao, and B. Liu, "An Efficient Spatial-Temporal Polyp Detection Framework for Colonoscopy Video," in Proc. of The IEEE International Conference on Tools with Artificial Intelligence (ICTAI 2019), Portland, Oregon, U.S.A, 2019.

[7] J. Bernal, N. Tajbakhsh, F. Javier Sanchez, B. J. Matuszewski,H. Chen, L. Yu, Q. Angermann, O. Romain, B. Rustad, I. Balasingham, K. Pogorelov, S. Choi, Q. Debard, L. Maier-Hein, S. Speidel,D. Stoyanov, P. Brandao, H. Crdova, C. Snchez-Montes, and A. Histace. Comparative validation of polyp detection methods in video colonoscopy: Results from the miccai 2015 endoscopic vision challenge.IEEE Transactions on Medical Imaging, PP:1–1, 02 2017.

[8] S. Sornapudi, F. Meng, and S. Yi. Region-based automated localization of colonoscopy and wireless capsule endoscopy polyps. Applied Sciences, 9, 06 2019.

[9]Y. Shin, H. Ali Qadir, L. Aabakken, J. Bergsland, and I. Balasingham.Automatic colon polyp detection using region based deep cnn and post learning approaches. IEEE Access, PP:1–1, 07 2018.


图片

关于慧维智能

    慧维智能医疗科技有限公司成立于2019年6月，专业从事智能医疗产品的研发、生产与销售。我们的核心成员，均来自全球顶尖的科研机构和世界五百强企业。慧维智能以在“人工智能”和“边缘计算”领域的自主核心技术为驱动力，致力于为全球医疗机构提供“高水准、低成本、好体验”的医疗产品与服务，最大程度地帮助医生提高诊疗水平与效率。

图片


分享到：