Ограниченная возможность обобщения одной глубокой нейронной сети для сегментации хирургических инструментов в различных хирургических условиях.

Научные отчеты, том 12, Номер статьи: 12575 (2022) Цитировать эту статью

917 Доступов

2 Альтметрика

Подробности о метриках

Выяснение возможности обобщения сетей сегментации хирургических инструментов на основе глубокого обучения в различных хирургических средах важно для признания проблем переобучения при разработке хирургических инструментов. В этом исследовании всесторонне оценивалась возможность обобщения глубоких нейронных сетей для сегментации хирургических инструментов с использованием 5238 изображений, случайно извлеченных из 128 интраоперационных видео. Набор видеоданных содержал 112 случаев лапароскопической колоректальной резекции, 5 лапароскопических дистальных резекций желудка, 5 лапароскопических холецистэктомий и 6 случаев лапароскопической частичной гепатэктомии. Сегментация хирургических инструментов на основе глубокого обучения была выполнена для тестовых наборов с (1) теми же условиями, что и обучающий набор; (2) один и тот же хирургический инструмент для распознавания цели и тип операции, но разные системы лапароскопической регистрации; (3) та же самая лапароскопическая система регистрации и тип операции, но немного разные лапароскопические хирургические щипцы для распознавания цели; (4) одна и та же лапароскопическая система записи и хирургический инструмент для распознавания цели, но разные типы операций. Средняя средняя точность и среднее пересечение по объединению для тестовых наборов 1, 2, 3 и 4 составили 0,941 и 0,887, 0,866 и 0,671, 0,772 и 0,676, а также 0,588 и 0,395 соответственно. Поэтому точность распознавания снижалась даже в несколько иных условиях. Результаты этого исследования показывают ограниченную возможность обобщения глубоких нейронных сетей в области хирургического искусственного интеллекта и предостерегают от предвзятых наборов данных и моделей, основанных на глубоком обучении.

Регистрационный номер исследования: 2020-315, дата регистрации: 5 октября 2020 г.

Минимально инвазивная хирургия (МИС), включая роботизированную хирургию, становится все более распространенной1. MIS, в которой используются эндоскопы для наблюдения за внутренней анатомией, предпочтительнее для многих хирургических процедур, поскольку с помощью эндоскопа можно получить увеличенное хирургическое поле зрения. Кроме того, хирургические процедуры можно хранить в виде видеоданных; следовательно, этот подход облегчает не только хирургическую подготовку и образование, но и хирургическую обработку данных2, например, компьютерное зрение с использованием глубокого обучения.

Компьютерное зрение — это область исследований, которая описывает машинное понимание изображений и видео, и значительные достижения привели к тому, что машины достигли возможностей человеческого уровня в таких областях, как распознавание объектов и сцен3. Основная работа в сфере компьютерного зрения, связанная со здравоохранением, — это компьютерная диагностика, например, обнаружение полипов толстой кишки4,5 и обнаружение рака кожи6,7; однако применение компьютерной хирургии также ускорилось8,9. В частности, сегментация хирургических инструментов и отслеживание их кончиков являются важными базовыми технологиями, поскольку их можно применять для оценки хирургических навыков10,11, и они необходимы для достижения автоматической и автономной хирургии12.

Сегментация — это задача компьютерного зрения, в которой все изображения делятся на группы пикселей, которые можно маркировать и классифицировать. В частности, семантическая сегментация пытается семантически понять роль каждого пикселя в изображениях13. Сегментация экземпляров, которая расширяет семантическую сегментацию, сегментирует различные экземпляры классов, т. е. помечает пять индивидуумов пятью разными цветами; следовательно, он может определять границы, различия и отношения между объектами для нескольких перекрывающихся объектов14.

Эти подходы компьютерного зрения широко применимы для распознавания хирургических инструментов на интраоперационных видео при MIS, и в последние годы предпринимались многочисленные попытки разработать сегментацию хирургических инструментов15,16. Среди них Общество обработки медицинских изображений и компьютерных вмешательств провело международные соревнования, основанные на точности распознавания сегментации хирургических инструментов, а также конкурс эндоскопического зрения15,17,18,19; новые глубокие нейронные сети побили рекорд современной точности сегментации. Однако эти усилия были выполнены на наборах видеоданных, соответствующих одному и тому же типу операции, с использованием хирургического инструмента фиксированного типа и той же системы лапароскопической записи, в отличие от реальных хирургических условий. На практике в реальных хирургических ситуациях существует множество различных состояний. Например, в разных больницах используются разные типы лапароскопических записывающих систем и лапароскопических хирургических инструментов; кроме того, хирургические приспособления модернизируются, а их форма незначительно меняется каждые несколько лет. При рассмотрении универсальных свойств единой сети распознавания хирургического инструмента важно также проверить применимость сети для других видов хирургии, т. е. выяснить разницу в точности распознавания при использовании разработанной сети распознавания. на основании данных одного вида операции применяется другой вид операции. Хотя такие условия, связанные с точностью распознавания, могут прояснить важность создания разнообразного интраоперационного набора видеоданных, о комплексном исследовании возможности обобщения одной сети распознавания хирургических инструментов не сообщалось. Таким образом, результаты этого исследования важны, поскольку они предоставляют ценную информацию для будущих хирургических разработок и внедрения.