Individual age determination based on computed tomography knee analysis using artificial neural networks and computer vision: Preliminary results

Full Text

ОБОСНОВАНИЕ

Биологический возраст человека и его оценка представляют собой судебно-медицинскую задачу, имеющую важные юридические и социальные последствия. Помимо юридических причин, потребность в верификации возраста возникает и в клинических ситуациях. Международная практика оценки возраста живых лиц базируется на комплексной оценке результатов физического осмотра, рентгенографии левой руки, стоматологического осмотра, компьютерной томографии (КТ) ключицы [1–3]. Наиболее остро стоит проблема определения 18-летнего рубежа (возраст совершеннолетия). В настоящее время имеется множество публикаций, в которых данная проблема решается как за счёт использования новых методов исследования, так и включения в анализ иных областей интереса [4–6]. Вместе с тем сложность интерпретации результатов рентгенологического исследования часто приводит к низкой воспроизводимости предлагаемых методов [7]. В этой связи сформировалась чёткая направленность на модернизацию существующих методов оценки скелетного возраста посредством активного использования современных методов медицинской визуализации и интеллектуального анализа данных [8–10].

Применение автоматизированных методов с использованием алгоритмов машинного обучения позволяет значительно снизить субъективизм оценки. Подобные технологии уже достаточно активно используются во многих медицинских исследованиях с целью выявления закономерностей в данных и получения полезных оценок для улучшения принятия решений в области здравоохранения [11, 12]. С информационной точки зрения постановка проблемы текущего исследования состоит в следующем. В настоящее время известен ряд решений, базирующихся на слабо коррелирующих с реальными практическими ситуациями регрессионных моделях, разработанных десятилетия назад и не дающих необходимую точность [13]. Известен также ряд современных решений, основанных на искусственных нейронных сетях, основным недостатком которых являются зачастую невыполнимые требования к большому объёму выборки, необходимой для обучения качественному распознаванию заданных свойств возрастных изменений, а также отсутствие математического инструментария, который позволял бы после вычисления признаков нейронными сетями выполнять финальное принятие решения. Другим недостатком известных решений является отсутствие валидационного подхода, позволяющего оценивать точность установленного возраста. Существенным ограничением предлагаемых разработок является использование магнитно-резонансных томографических исследований (МРТ) [14, 15]. Публикации, посвящённые возможности использования КТ-изображений колена для оценки возраста, в том числе с использованием методов машинного обучения, отсутствуют.

Цель исследования ― разработка и экспериментальная апробация алгоритма прогнозирования биологического возраста индивидуума на основе анализа КТ коленного сустава с применением искусственных нейронных сетей и компьютерного зрения.

МАТЕРИАЛЫ И МЕТОДЫ

Дизайн исследования

Проведено обсервационное ретроспективное поперечное (одномоментное) исследование.

Критерии соответствия

Критерии включения. Объектами исследования служили КТ-снимки (n=334) коленного сустава лиц обоего пола в возрасте от 13 до 45 лет.

Критерии невключения: аномалии развития; повреждения колена; признаки общей патологии соединительной ткани.

Условия проведения

В исследование были включены КТ-снимки, выполненные в отделениях лучевой диагностики ФГБУ «Национальный медицинский исследовательский центр травматологии и ортопедии имени Н.Н. Приорова» Минздрава России и ФГБУ «Национальный медицинский исследовательский центр травматологии и ортопедии имени Р.Р. Вредена» Минздрава России.

Продолжительность исследования

Использовались архивные КТ-снимки коленного сустава, выполненные в период 2018–2021 годов.

Основной исход исследования

Доступный набор КТ-снимков был разделён на обучающий (70%), тестовый (16%) и проверочный (14%). Первоначально производилось обучение нейронной сети для выделения областей интереса и предварительной классификации, т.е. отнесения индивидуума к одной из трёх возрастных групп. В качестве исходных данных использовались изображения КТ коленного сустава в сагиттальной проекции, которые были обработаны (сегментированы) с использованием программного обеспечения InVesalius 3.1.1 и экспортированы в виде файлов JPEG. Полученные в результате преобразования серии снимков размечались вручную (https://www.makesense.ai/). Размечалось каждое изображение. Вначале размечались области края эпифиза («0») и центра эпифиза («00»). Затем производилась разметка классов отдельно для центральной части эпифиза и периферии. Принцип наименования классов следующий:

• класс 1 ― эпифиз и метафиз полностью разъединены, эпифизарная линия визуально определяется как двойная (класс, условно обозначенный как «ребёнок»);
• класс 2 ― начальный этап сращения: наличие участков сращения в центре в виде одинарной линии и двойной по периферии («подросток»);
• класс 3 ― полностью сросшаяся, оссифицированная эпифизарная линия («взрослый»).

Примеры разметки эталонных классов представлены на рис. 1.

 

Рис. 1. Разметка объектов на изображении, применяемая при реализации метода.

Fig. 1. Marking of objects in the image used in the implementation of the method.

 

После обучения с целью тестирования качества обученной системы выполнялись следующие шаги согласно разработанному методу.

1. Ввод данных КТ посредством чтения DICOM файлов. На данном этапе выполняются геометрическое преобразование исходных данных в сагиттальную проекцию (в случае отсутствия такой проекции в исходных данных); нормализация данных посредством анализа гистограммы распределения яркости. Результатом нормализации является приведение исходных изображений, используемых как при обучении, так и при работе системы, к одному виду, что снижает дальнейшие погрешности.
2. Поиск ранее заданных при обучении частей эпифизарной линии на каждом оптическом срезе на основе нейронной сети. Результатом данного распознавания является выделение областей изображения, соответствующих каждому классу, и вероятность соответствия данной области найденному классу.
3. Построение объёмной модели кости для последующего исключения ложных обнаружений эпифизарной линии по критерию недопустимости местоположения и непрерывности эпифизарной плоскости.
4. Формирование первичной («грубой») оценки возраста в виде выбора одного из трёх классов: класс 1 ― ребёнок (до 14 лет); класс 2 ― подросток (15–18 лет), класс 3 ― взрослый (старше 18 лет).
5. Подготовка финальной оценки возраста и расчёта доверительного интервала оценки исходя из первичной классификации возраста:

• для класса 1 ― определить ширину (расстояние) между эпифизом и метафизом и геометрические свойства эпифиза и метафиза для формирования расчётных соотношений;
• для класса 2 ― определить процентное соотношение площади сросшихся частей и несросшихся частей эпифизарной плоскости;
• для класса 3 ― определить процентное соотношение площади, на которой различима и неразличима эпифизарная линия.

Дополнительные исходы исследования

Для оценки точности и эффективности решаемой задачи определения возраста, которую мы рассматривали как частный случай задачи классификации (определение возрастной группы), использовалась матрица ошибок. Матрица ошибок даёт целостное представление о том, насколько хорошо работает классификационная модель и какие ошибки она допускает.

Этическая экспертиза

Протокол исследования одобрен этическим комитетом Сеченовского Университета (протокол № 01-21 от 22.01.2021).

РЕЗУЛЬТАТЫ

Основные результаты исследования

Для получения результатов и проведения первичных экспериментальных исследований, подтвердивших реализуемость, корректность и работоспособность метода, реализовано тестовое программное обеспечение с использованием искусственной нейронной сети модели YOLOv5, обученной для распознавания типов эпифизарной линии на сагиттальных проекциях. Результат анализа матрицы ошибок обучающей и тестовой выборки показал, что точность определения классов на предварительном этапе составляет порядка 80%. В процессе обучения нейронной сети было задействовано не менее 2000 объектов для каждого класса (по 10 объектов на один оптический срез, 20–25 оптических срезов на каждый случай, на каждое КТ). Этого количества достаточно для предлагаемого метода, так как основная часть оценки возраста реализуется последующей обработкой этих данных. Далее в зависимости от предварительно определённого класса возраста производятся последующая обработка областей интереса путём выполнения сегментации и распознавания, а также подсчёт процентного соотношения найденных характерных сегментов. Для каждого из типов возраста формируется два различных подкласса (для случая возраста взрослого или подростка), либо же выполняется оценка расстояния между метафизом и эпифизом (для случая возраста ребёнка). После этого выполняется финальная оценка возраста текущего случая. Пример оценки свойств эпифизарной линии представлен на рис. 2. Показано построение распределения яркости пикселей в области нормали к эпифизарной линии (такие нормали строятся для каждой точки линии, и, в свою очередь, обработка выполняется для каждой линии на каждом оптическом срезе, что и позволяет извлечь максимально возможный и объективный объём данных, в отличие от известных подходов).

 

Рис. 2. Механизм оценки локальных свойств каждой точки эпифизарной линии (плоскости) при расчёте возраста.

Fig. 2. The mechanism for evaluating the local properties of each point of the epiphyseal line (plane) when calculating the age.

 

Сформированная в пространстве эпифизарная поверхность далее используется как самостоятельная диагностическая единица для оценки возраста. Согласно разработанному методу, выделяют две основные области ― область между костями (область «А», рис. 3) и область, примыкающую к эпифизарной линии (область «В»: «B1» ― для бедренной кости, «B2» ― для большеберцовой кости, см. рис. 3). Область «А» используется для калибровки и настройки процесса нормализации яркости, что позволяет привести все изображения любых случаев к одним и тем же нормализованным данным. Области «B1» и «B2» являются основными участками для расчёта возраста. Они (области «B1» и «B2», см. рис. 3) показаны как двумерные, однако расчёт и оценка свойств выполняются в трёхмерном пространстве, т.е. для всей поверхности эпифизарных пластин, причём и бедренной, и большеберцовой костей. Чем больше пик в областях «B», тем ближе возраст к 14(±1) годам. Отсутствие выраженного пика в областях «В» означает формирование эпифизарного сращения. Распределение значений пика яркости, связанного с плотностью костной ткани в данной области, в зависимости от его положения в трёхмерном пространстве для всей эпифизарной пластинки позволяет оценить возраст.

 

Рис. 3. Пример нормирования и вычисления свойств изображения при вычислении свойств эпифизарной линии (плоскости): А ― область между костями; В ― область, примыкающая к эпифизарной линии (B1 ― для бедренной кости, B2 ― для большеберцовой кости).

Fig. 3. Example of normalization and calculation of image properties when calculating the properties of the epiphyseal line (plane): A ― the area between the bones; B ― the area adjacent to the epiphyseal line (B1 ― for the femur, B2 ― for the tibia).

 

Разработанный метод на данный момент времени реализован в виде совокупности программных компонент с последующим ручным объединением автоматически вычисленных данных. Проверка экспериментальных исследований проведена на 46 случаях, погрешность оценки возраста составляет около одного года для детского и подросткового возраста. Таким образом, результаты предварительного экспериментального исследования подтверждают адекватность получаемых оценок возраста фактическому возрасту индивидуума и тем самым перспективность использования предложенного алгоритма для создания автоматизированного метода оценки возраста и дальнейшего его применения в практике судебно-медицинских учреждений. На данный момент, исследования продолжаются на расширенной выборке.

Дополнительные результаты исследования

Аналитическое обобщение результатов исследования использовано для построения алгоритма оценки возраста по данным КТ коленного сустава (рис. 4). Основными компонентами разработанной системы являются модуль предварительной обработки, интеллектуальное вычислительное ядро, модуль анализа данных, модуль трёхмерной реконструкции, модуль извлечения свойств и модуль финальной оценки возраста.

 

Рис. 4. Алгоритм оценки возраста по данным компьютерной томографии коленного сустава.

Fig. 4. Algorithm of age estimation according to computed tomography of the knee joint.

 

ОБСУЖДЕНИЕ

Резюме основного результата исследования

В результате реализации разработанного алгоритма указанные выше процедуры обработки позволили:

• извлечь необходимые первичные данные при малом наборе исходных данных для обучения;
• обеспечить адаптивное и дообучаемое правило финальной оценки возраста;
• обеспечить рациональное принятие решения в условиях малого объёма исходной выборки для обучения и максимально точный на представляемом для анализа объёме данных результат оценки возраста.

Другим положительным свойством предложенного алгоритма является вычисление свойств и признаков возраста по каждому оптическому срезу, что обеспечивает максимально полное извлечение первичных данных и, как следствие, адекватную имеющимся данным оценку возраста.

Программная реализация разработанного алгоритма позволит автоматизировать процедуру экспертной оценки: подавая на вход серию КТ-данных, на выходе получать ответ о возрасте индивидуума.

Обсуждение основного результата исследования

В данном исследовании для расчёта возраста индивидуума по данным КТ коленного сустава были привлечены современные цифровые технологии. Следует отметить, что большинство исследователей, которые описывают в своих публикациях применение так называемых интеллектуальных технологий, сводят процесс оценки возраста лишь к применению нейронных сетей как единственного математического инструментария. Как правило, это либо не позволяет достичь желаемых результатов, либо приводит к большому проценту ошибок в оценке возраста, что обусловлено невозможностью решения задачи построения качественного метода с использованием нейронных сетей в условиях относительно малого объёма выборки и высокого уровня разнородности в исходных данных. Отличием предлагаемого метода от уже известных является использование нейронных сетей как одного из инструментов для решения лишь некоторых частных вопросов при реализации описываемого метода оценки возраста. Сущность предложенного метода состоит в одновременном применении как искусственных нейронных сетей, так и чётко формализованных математических процедур вычисления свойств эпифизарной пластины. Такое объединение различных математических подходов позволяет с максимально возможной точностью в условиях малого объёма исходных данных для обучения решить математически корректно задачу оценки биологического возраста индивидуума.

Применение процедур компьютерной обработки изображения области эпифизарной пластины в пространстве и эпифизарной линии в каждом двумерном оптическом срезе на основе технического (компьютерного) зрения позволяет минимизировать ложные результаты при оценке свойств эпифизарной линии, реализовать численное измерение геометрических свойств и косвенную оценку плотности эпифизарной пластины.

Ограничения исследования

В данной работе представлены результаты предварительного исследования. На данном этапе разбивка выборки по половому признаку не осуществлялась, что планируется реализовать в последующем. Дальнейшие исследования направлены на привлечение расширенной выборки как для обучения, так и для тестирования.

ЗАКЛЮЧЕНИЕ

В ходе проведённого исследования представлен новый технологический подход для разработки судебно-медицинского метода оценки возраста индивидуума с использованием исходных данных КТ коленного сустава и технологий искусственного интеллекта (нейронные сети, компьютерное зрение). Инновационный подход предлагаемой интеллектуальной системы оценки возраста позволяет обеспечить рациональное принятие решения в условиях малого объёма исходной выборки для обучения и максимально точного результата оценки возраста, описываемого также доверительным интервалом, т.е. реализовать математически корректное представление результата.

ДОПОЛНИТЕЛЬНО

Источник финансирования. Исследование выполняется в рамках темы № FFSM-2019-0001.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: Д.Д. Золотенков ― сбор данных, проведение исследования, написание текста рукописи; М.И. Труфанов, В.И. Солодовников ― проведение исследования, написание текста рукописи.

Благодарности. Авторы выражают благодарность С.М. Нефедовой за помощь в разметке КТ-снимков.

ADDITIONAL INFORMATION

Funding source. The research is carried out within the framework of topic No. FFSM-2019-0001.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. D.D. Zolotenkov — data collection, research, writing the manuscript; M.I. Trufanov, V.I. Solodovnikov — conducting research, writing the text of the manuscript.

Acknowledgments. The authors express their gratitude to S.M. Nefedova for help in marking CT images.

About the authors

Dmitry D. Zolotenkov

I.M. Sechenov First Moscow State Medical University (Sechenov University)

Author for correspondence.
Email: Zolotenkovaspir@mail.ru
ORCID iD: 0000-0002-1224-1077
SPIN-code: 1352-8848
Россия, Moscow

Maksim I. Trufanov

Design Information Technologies Center Russian Academy of Sciences

Email: temp1202@mail.ru
ORCID iD: 0000-0001-7269-8741
SPIN-code: 1519-0717

Cand. Sci. (Engin.)

Россия, Odintsovo

Vladimir I. Solodovnikov

Design Information Technologies Center Russian Academy of Sciences

Email: v_solodovnikov@hotmail.com
ORCID iD: 0000-0001-5533-214X
SPIN-code: 5418-6554

Cand. Sci. (Engin.)

Россия, Odintsovo

References

Supplementary files