放射科无人化的一小步！国外研究者通过机器学习技术，自动生成对胸部CT的解释。在不久的将来，你在医院拍CT时，或许不再需要一定时间的等待，才能拿到医生给的诊断结果，通过机器学习立即就能得到结果！

图片来源：维基百科

因为胸部CT扫描是体积图像，所以可以通过滚动三个不同的平面来查看它们：冠状平面，轴向平面和矢状平面。

这是轴向平面CT扫描的另一个示例：

图片来源：维基百科

患者躺在桌子上，并穿过CT扫描仪的“圈孔”。这是CT扫描仪的内部外观：

CT报告示例

这是美国国家诊断影像公司的胸部CT报告示例，其中的文本是从可在此处查看的可公开获得的示例报告中复制的：

考试：CTA胸WW / O对比

临床历史：SOB，呼吸困难，R / O PE，ILD，可能的职业性肺病

适应证：49岁患者呼吸急促。可能的PE。可能的职业性肺病。

程序：获得连续的轴向切片，无和有静脉造影剂。穿过肺动脉进行小块切片。

肺干未显示血栓或栓塞的迹象。没有证据表明鞍状栓子。左右主肺动脉似乎不明显。双侧的一阶和二阶肺分支未显示出栓塞的迹象。腋窝区域无腺病。纵隔和肺门区域无肿块或腺病。所包括的上腹部显示出脾钙化，可能表明有远端肉芽肿病。右侧有一些局灶性肾皮质增厚，可能在此之前有疤痕。没有证据表明肺实质间质性肺疾病。在图像2系列4的左下肺中，有一个3毫米的结节。如果有进一步的担忧，可以在12个月内进行监视CT。左侧的同一系列图像49上也有一个小的类似结节。没有浸润或积液。没有发现急性骨异常。

印象：无肺栓塞病的证据。如果有足够的顾虑，可以在12个月后行CT检查左侧的一些小肺结节。无间质性肺疾病的证据。

为什么自动CT解释是一项有趣且具有挑战性的任务？

放射科医生为每次CT扫描制作这些详细报告非常耗时。如果患者接受了多个CT扫描（例如，三个月后的初次扫描和后续扫描），则更加耗时，因为在这种情况下，放射科医生必须将两个扫描并排比较了解患者的健康状况如何变化。人们对开发机器学习方法以自动解释CT扫描，加速放射学工作流程并降低放射科医生的3–5％实时诊断错误率非常感兴趣。

由于以下几个原因，对CT扫描的自动解释具有挑战性：

挑战1：患者的解剖结构会根据性别，年龄，体重和正常的解剖结构自然变化。因此，“变化”不一定表示“异常”。

挑战2：可能有数百种异常情况。下图仅显示了一些示例，包括嗜酸性粒细胞性肺炎，空洞病变（“孔”），囊肿，肺气肿（例如由于吸烟而使海绵变海绵状），气胸（肺与肺囊之间的气袋）和纤维化（类似于疤痕形成）：

从这些原始图像修改：心包积液放射性足病。肺炎，脓肿Christaras一个 心力衰竭放射性足病

挑战4：此外，一次扫描通常会出现多个相同异常的实例。在下面，我们可以看到在气肿性肺中有多个大疱（大气袋）的扫描，另一个充满结节的扫描，以及多个肿块的扫描：

肺不张/肿瘤

挑战6：相同的异常可能在外观上有所不同。例如，根据严重程度的不同，相同的异常看起来会有所不同，例如，肺炎扫描在下面，其中左侧的扫描显示整个肺被肺炎“白化”，而右侧的扫描仅包含一小部分肺“因肺炎而变白：

肺结节

下图总结了自动CT解释中的挑战：

某些患者只有一个CT量并进行报告，例如上图中的000000。其他患者将具有多个CT量和报告。这些多个CT量可能是在不同时间拍摄的或可能在身体的不同部位（尽管此帖子着重于胸部CT，但也可能获得头部，腹部，骨盆和其他区域的CT） ）。

我们还需要考虑医疗保健系统中不提供哪些数据：

目前，我还没有任何关于从卷自动生成CT报告的研究。关于自动生成胸部X光报告的研究很多，这是一个更可行的任务，因为胸部X光报告的尺寸要小得多（约小1,000倍），胸部X光报告的长度要短得多（〜短6倍）。但是，即使在这项更直接的任务上，模型也难以产生准确的报告。我怀疑这部分是因为放射学报告包含许多“正常”句子，因此对于包含大部分正常句子的生成报告，即使该报告弄乱了异常情况，该模型也有可能获得“良好分数”-这恰好是医生最关心的部分！

尽管从CT生成文本可能是一个有趣的学术活动，但是从CT生成文本的主要实际缺点是：

• 文本生成模型必须完美才能在商业上使用。如果每10个便笺中甚至有一个错误，则没有人会使用该系统，因为医疗错误的潜在成本太高，并且“检查每个报告的正确性”所需的时间比花费该错误所需的时间更长。只是从头决定报告。
• 文本生成模型并没有固有地提供每个异常的性能指标，这是放射科医生需要信任的系统才能看到的。有些异常比其他异常难检测，放射线医生会想知道模型在检测每种异常方面的表现如何。

一种更实用的方法是构建一个可以以结构化方式预测异常和位置的机器学习系统。然后，我们可以获取每个异常的性能指标，还可以突出显示扫描中可以观察到每个异常的位置。这样的系统可以用于自动分类（例如“将气胸的所有扫描移动到放射线医师队列的顶部”），并且可以与放射线医师的读数结合使用，以尝试提高诊断准确性。此外，擅长预测异常和位置的系统也可以用于生成文本（如果这是期望的目标）。仅给出异常及其位置的列表，使用放射线法是高度结构化的，因此使用规则生成基本的自由文本报告很简单。

单次异常CT分类

由于上一节中列出的原因，CT图像中的异常分类引起了很多兴趣。

在单一异常CT分类中，模型（通常是CNN）处理CT量并根据是否存在特定的关注异常（即二进制分类）来产生0或1：

这是我汇总的另一个表格，用于预测CT扫描中其他种类的异常（包括肺癌，颅内出血和气胸）的其他先前工作：

每个CT卷都分配给一个，多个或不分配任何类。

在我最近的工作之前，尚未探讨多标签胸部CT分类的问题。然而，由于具有多个全图像标签的大型胸部X射线公共数据集的可用性，对多标签2D胸部X射线分类已进行了深入研究：