ИИ ускорит постановку диагноза по снимкам легкого
Ученые из Сколтеха обучили нейросеть обнаруживать и описывать словами патологии на рентгеновских снимках легких. Сейчас эту задачу выполняет врач, который рассматривает снимок и описывает его в небольшом тексте. По словам создателей решения, оно сокращает время работы с одним снимком с нескольких минут до порядка 30 секунд, если не требуется значительная корректировка текста. В большинстве случаев специалисту остается лишь подтвердить предложенный машиной диагноз (например, фиброз, увеличенное сердце или подозрение на злокачественную опухоль) или что признаков патологий не обнаружено.
Врачи самых разных специальностей работают с изображениями, чтобы поставить диагноз. Так, повсеместно доступные рентгеновские снимки позволяют обнаружить не только переломы костей, но и патологии легких, например пневмонию. Специалист просматривает изображения, анализирует их и выдает заключение в виде небольшого текста. У опытного медика это занимает несколько минут, однако большая нагрузка и усталость могут привести к ошибкам и неточностям.
Автоматическое написание медицинских отчетов о рентгенограммах грудной клетки может ускорить процесс постановки диагноза и разгрузить врачей. Такой подход также полезен для стандартизации расшифровки снимков. Исследователи Сколтеха предложили адаптировать к этой задаче немедицинские модели машинного обучения, среди которых — GPT-3 small, которая предшествовала столь популярным сейчас GPT-3.5 и GPT-4.
«Обычные модели просто классифицируют, а наша нейросеть благодаря использованию современных моделей машинного зрения и моделей компьютерной лингвистики учится автоматически описывать рентгеновские снимки», — поясняет один из авторов исследования, научный сотрудник Сколтеха Олег Рогов.
Комплексная нейросеть обучена на парах «изображение — текст». Авторы составили свой радиологический словарь, чтобы повысить точность с точки зрения именно радиологических терминов, правил их использования. Также они создали большую сводную базу рентгеновских снимков в качестве обучающих данных, сбалансированных по разным болезням. При этом нейросеть «знает» лишь те диагнозы, указания на которые действительно можно найти именно на рентгенограмме легких.
В результате анализа нейросеть выдает текстовое описание, которое содержит информацию об обнаруженных патологиях, их местоположении, а также 2D-тепловые карты, которые локализуют каждую патологию на сканах. Точность составила 86% —неплохой результат, достаточный для облегчения рутинной работы.
Возможные варианты развития системы — применить ее к МРТ- и КТ-снимкам, а также внедрить активное обучение, то есть позволить модели совершенствоваться с учетом вносимых врачом в текст корректировок. Также можно совместить предложенное решение с другой нейросетью, которая бы подсвечивала на рентгене подозрительные области, о которых идет речь в сгенерированном тексте.