先天性心脏病（Congenitalheartdisease，CHD)是最常见的出生缺陷。指南推荐的中孕期5个胎儿心脏标准超声平面相结合可以筛查出90%的复杂先心病。然而，在临床实践中，灵敏度(30%)及特异性(40-50%)均不理想。
深度学习(Deeplearning，DL)是一种先进的机器学习类型，在图像分析中具有显著优势。可用于图像分类或分割图像中的结构；几种DL模型可以以一种集成的方式一起使用。
由上可以做出深度学习具有提高胎儿先天性心脏病的超声分析的潜能的假设。
今天让我们一起解读RimaArnaout等发表在NatureMedicine（IF:53.44）上的一篇文章，了解机器学习在胎儿心脏超声诊断上的进展。研究内容
此研究基于指南推荐的5种标准平面（3VT、3VV、LVOT、A4C、ABDO）来提供胎儿先天性心脏病的产前辅助诊断。①将输入图像分类为对应的平面；②综合各个平面的诊断结果将胎儿心脏分类为正常或异常；③最后在四腔心切面进行生物测量。(三血管气管平面;3VV,三血管平面;LVOT,左室流出道平面;A4C,四腔心平面;ABDO,腹部横切面;NT,非目标视图)研究数据
加州大学旧金山医院在-期间胎儿心脏超声检查及胎儿超声检查的图像。入组妊娠包含16种胎儿先天性心脏病，不包括患先天性膈疝等其他非先心病异常的胎儿。入组孕周：18-24w训练数据集包括来自于例妊娠的张图像；测试数据集有5组，总结如下：(BCH,医院；CHD,先天性心脏病；EC,胎儿超声心动图；FS,胎儿超声检查；HLHS,左心发育不良综合室；NH,正常胎儿心脏；TOF,法洛四联症；UCSF,加州大学旧金山分校)视图分类
视图分类器是在ResNet基础上使用训练数据集进行训练的。使用视图分类器将输入图像归类为腹部横切面、四腔心平面、左室流出道平面、三血管平面、三血管气管平面、非上述标准平面。*只有高质量的可用于诊断的视图（经专家标记确认）才被用于训练视图分类器。(a,b)使用FETAL-数据集中正常胎儿心脏的图像测试分类器的分类效能，F-score0.93；
(d,e)使用OB-数据集中所有图像检测图像分类器效能AUC0.94–0.98；
测试结果表明该视图分类器能得到可接受的分类结果；且视图分类中最大的混淆是在三血管平面与三血管气管平面之间。研究中还在测试图像上进行了saliencymapping和gradient-weightedclassactivationmapping(Grad-CAM)实验，来可视化神经网络做出决策的关键像素和区域。实验验证了视图分类器是依据临床相关特征进行分类的。诊断分类
诊断模型依然是基于ResNet的一种复合分类器，对于每幅视图的预测，本质上是一个加权平均值。对于每例诊断，通过应用基于规则的分类器得出了正常心脏/先心病的复合诊断决策。研究中仅使用了验证数据上诊断能力AUC为0.85的视图。(a)FETAL-:AUC:0.72（ABDO）到0.88（3VV和A4C）
在所有的测试数据集中，ABDO平面的AUC也反映了临床发现，即腹部视图对先心病诊断价值最低。(e)在FETAL-、OB-、OB-和BCH-分类正常或先心病AUC分别为0.98、0.93、0.99和0.89。
验证了该模型适用于接受训练的医疗中心之外的适用性：BCH-正常心脏视图检测的AUC范围为0.95~0.99；正常心脏和异常心脏的复合分类的AUC为0.89。(f)在OB-的不同测试场景下，正常心脏与先心病的复合预测的ROC曲线。
·①OB-*：所有可能的图像都存在
·②OB-?：只有5张图像，每个视图1张图像
·③OB-?：低质量的图像
·④OB-§：6.5%的视图打乱模拟视图分类的误差
验证了该模型在不同场景下的适用性。使用OB-测试集图像，直接将模型的表现与临床医生的仅基于图像的诊断进行比较。每个视图一张全分辨率图像，每例妊娠总共只有5张图像该模型达到了88%的敏感性和90%的特异性；临床医生的平均敏感性为86%，特异性为68%。验证了该模型在先天性心脏病的诊断上可以达到与临床医生相当的敏感性和更优的特异性。在OB-测试集的视图分类上，部分专家临床医生没有将其标记为高质量视图的图像，模型将其归类为了目标视图。直接检查了这些“假阳性”图像，并分析它们的预测概率。在预测概率≥0.9的图像中，三分之二是比专家选择的图片质量更低的目标视图；这些低质量目标视图中大多数(59%）预测概率≥0.9。验证了模型应对图像质量的微小变化的稳定性。使用这些低质量的目标图像用于诊断预测，敏感性为95%(95%CI，83-99%)，特异性为39%(95%CI，28-50%)。则可以推断该集成模型可以利用胎儿超声检查中的次优图像来检测复杂的先心病，尽管特异性较低。与上述视图分类一样，加入一些可视化的分析，以确定诊断分类是否基于临床相关的图像特征。使用数据集中最常见的两个病变(TOF和HLHS)中的每一个训练了一组每个视图的二元分类器，并检查了受试者工作特征(ROC)曲线、saliencymapping和Grad-CAM实验。TOF临床上最容易观察/AUC最高：3VT和3VV;HLHS：3VT、3VV、LVOT、A4C均异常。saliencymapping和Grad-CAM突出了与区分这些病变与正常心脏相关的像素和图像区域。在临床实践中，报道的检测TOF和HLHS的敏感性分别低至50%和30%。此模型，对TOF的敏感性为71%，对HLHS的敏感性为89%（特异性分别为89%和92%）。同时还针对预测错误的图像进行了分析，推测可能的失误原因。分割测量
生物测量有助于胎儿先心病的筛查和诊断，视图分割及测量模型是在U-Net的基础上进一步训练的。研究训练了一个在四腔心平面中找到心胸结构，并使用这些分割后的结构计算每个心室的心胸比、心轴、及心腔容积。使用来自波士顿儿童中心的正常、法洛四联症、左心发育不良综合征的胎儿心脏图像进行研究。
训练两种不同的模型：①心脏、脊柱和胸部；②四个心脏腔室。测试结果如下：
以上数据显示，经图像分割后的胎儿生物测量值与文献中报道的数据值及其他附加指标有较好的一致性。优势
·先心病产前超声诊断的敏感性和特异性在许多医疗机构仍然很低，此研究将二维胎儿超声图像、临床指南与深度学习相结合，以从胎儿超声检查中实现专家水平的先心病检测。
在超过例胎儿检查（超过万张图像）中，此集成模型诊断的AUC达到了0.99。
·第一次使用深度学习在接近一般人群患病率(OB-)测试集上测试，且结果达到社区筛查的敏感性和特异性的二倍水平。
·每张图像的分类预测时间平均为3ms，分割时间约为50ms，该模型的性能和速度使有望其作为机载超声机软件应用到临床实践中；
视图分类器可以单独使用，以帮助确保足够的视图获取；
对于回顾性收集的图像，该模型可以作为独立的软件使用，用户上传研究，并接收模型选择的视图和诊断预测。
·稳健性：使用了指南推荐的胎儿心脏标准平面；在一系列不同的场景和不同的独立测试数据集上测试了模型，均得到了较好的结果。
·测试了超过%的训练集妊娠数量和超过%的训练集图像的数量。
·模型设计和测试方法确保了在几个层次上的可解释性：
选择使用一个集成的分类器（首先视图检测器，然后每个视图诊断分类器，最后复合分类器）；允许将临床视图建议纳入模型，证明模型性能，哪些视图最有可能帮助特定病变的检测。
·Saliencymapping和Grad-CAM的应用，显示出模型预测是依赖于心脏结构。
·将胎儿超声心动图和胎儿超声检查两种检查纳入了多模态的模型训练中，利用专业的成像方式，来提高筛查图像的性能。
·采用了一种新的方法来解决图像质量的变化（将专家选择后的图像进行随机旋转的图像处理），它依赖于专家只同意标记的诊断质量的图像进行训练。
展望
·虽然OB-测试集代表了社区胎儿先心病的超声筛查，但它们仍然来自同一个医疗机构。
对连续病例和多个中心，包括乡村社区/非专家中心，对模型进行前瞻性测试，将是进一步的研究方向。
在合并非心脏畸形的图像上测试模型也很重要。
·模型算法的一些小改进，以及来自更多中心的更多训练数据，可能会进一步提高性能。
更多的图像分割训练数据，包括分割其他的先心病病变部位，将提高分割模型的性能，并使这些分割结果集成到复合诊断分类器中。
·期待在更大的人群中测试和完善集成学习模型，
以向全世界普及专家级的胎儿心脏检测，
并将类似的技术应用于医学成像中其他的诊断挑战。
NETWORKSECURITY
小编感悟
人工智能的发展带动了医学影像的进步。近年来超声诊断与机器学习的研究不断涌现，在产前诊断方面，NT、头围等的智能测量技术逐渐趋于成熟，在智能诊断上只有少量研究。此文章介绍了一个有望提供专家级的胎儿先天性心脏病的诊断网络，向我们展示了机器学习在产前诊断上的一项研究成果，内容丰富，科学准确。本文基于指南推荐的标准切面，在严格控制图像质量的基础上，建立了一个胎儿先天性心脏病的复合诊断模型。研究中纳入了较丰富的图像数据，囊括了16种心脏畸形，使用不同的医疗机构数据，并首次构建了接近人群中发病率的测试集，全面测试模型的效能。此外，作者还使用了多种数据分析方法，将模型的分类及测量结果与金标准及文献中报道过的结果进行比较，进一步分析模型的诊断潜能。机器学习与传统超声检查的结合有希望应用于更多医学成像中面临的诊断挑战，进一步辅助提升临床实践，多学科融合是大势所趋。指导教师陈骊珠
中国医院
副教授、副主任医师，硕士研究生导师
中国医科大学影像医学与核医学硕士，遗传学博士。
美国加州大学洛杉矶分校UCLA心脏与干细胞研究所高级访问学者。
现任辽宁省超声医学质量控制中心秘书；辽宁省超声医学质控专家。
承担临床超声诊断工作十余年，主要擅长产前超声筛查和产前诊断疑难病例会诊工作，基础研究致力于胎儿畸形发生机制研究。
于国内外期刊发表论文30余篇，累计影响因子超过20分，参与编写专著《胎儿影像诊断学》。
主持国家自然科学基金青年基金项目1项，主持辽宁省自然科学基金项目1项，参与国家自然科学基金项目5项。
参与获得教育部科学技术进步奖二等奖、辽宁省科学技术进步奖二等奖、沈阳市科学技术进步奖二等奖各一项。
指导教师杨泽宇
中国医院
副教授、副主任医师，硕士研究生导师
中国医科大学影像医学与核医学专业硕士。
日本文部省奖学金资助，获东京医科齿科大学医学博士学位。
现任中华预防医学会出生缺陷预防与控制专业委员会委员，中国超声医学工程学会妇产科分会青年委员，中国医疗保健国际交流促进会胸痛分会委员，辽宁省预防医学会母胎医学专业委员会委员，辽宁省医学会超声医学分会青年委员，《肿瘤影像学》编委。
主持国家自然科学基金青年基金项目1项(项目负责人)，参与国家自然基金项目2项。
在国内外期刊上共发表第一作者文章7篇，通讯作者文章3篇,共同作者文章数十篇。其中在国外杂志发表SCI收录第一作者及通讯作者文章累计影响因子13.5。
参与获得中国出生缺陷干预救助基金会科技成果二等奖。
文献解读何福姣
中国医院
在读硕士
师从陈骊珠教授，研究方向为人工智能在产前超声诊断中的应用。预览时标签不可点收录于话题#个上一篇下一篇