Потенциал метода синтетической передискретизации меньшинства для повышения точности определения пола: исследование искусственных нейронных сетей с помощью цефалометрии
- Авторы: Handayani V.W.1,2, Yudianto A.1, Sylvia M.3, Riries R.1, Caesarardhi M.R.4, Putra R.1
-
Учреждения:
- Universitas Airlangga
- Pontianak Polytechnic Health Ministry
- Univesitas Airlangga
- Institut Teknologi Sepuluh Nopember
- Выпуск: Том 10, № 2 (2024)
- Страницы: 139-151
- Раздел: Оригинальные исследования
- Дата подачи: 09.01.2024
- Дата принятия к публикации: 15.04.2024
- Дата публикации: 07.06.2024
- URL: https://for-medex.ru/jour/article/view/16110
- DOI: https://doi.org/10.17816/fm16110
- ID: 16110
Цитировать
Аннотация
Обоснование. При создании моделей, использующих искусственные нейронные сети, необходимо учитывать количество обучающих данных и их распределение, в частности, при прогнозировании пола.
Цель исследования ― определить потенциальную эффективность метода синтетической передискретизации меньшинства (synthetic minority oversampling technique, SMOTE) при определении пола умерших с помощью искусственной нейронной сети.
Материалы и методы. В данном исследовании использовали набор данных, состоящий из 297 цефалометрических измерений индонезийских пациентов (229 женщин и 68 мужчин). Для измерения определённых параметров, таких как угол SNA (Sella-Nation-Point A), длина нижней челюсти, угол нижней челюсти, угол SGA (Sella-Glabella-Point A), и диагностики использовали программу WebCeph. Обработку данных и создание искусственной нейронной сети выполняли на языке программирования Python.
Результаты. Точность определения пола с помощью искусственной нейронной сети составляет 87% для женщин и 0% для мужчин (в среднем 78%). При использовании SMOTE-алгоритма точность определения пола составляет 22% (0% для женщин, 37% для мужчин). Однако при использовании SMOTE-алгоритма в сочетании с нормализацией данных точность возрастает до 71% (82% для женщин, 30% для мужчин). Точность модели при нормализации данных без применения SMOTE составляет 76% (86% для женщин, 14% для мужчин).
Заключение. Данное исследование доказало эффективность SMOTE в улучшении классификации мужских матриц. Тем не менее результаты общей точности недостаточно оптимальны по сравнению с результатами, полученными без применения метода SMOTE и нормализации данных. Для достижения оптимальной точности в определении пола при использовании искусственных нейронных сетей и других параметров необходимо применение стратегий балансировки данных.
Ключевые слова
Полный текст
Обоснование
Рентгенография является важным составляющим судебно-медицинской одонтологии, поскольку это простой, экономически эффективный и неинвазивный метод ранней диагностики, особенно в случае идентификации трупов путём сравнения посмертных и прижизненных рентгенограмм [1]. Зубные снимки могут содержать достоверную информацию, такую как сравнительные данные анатомической формы зубов, периапикальные аномалии, наличие пломб, кариозных полостей, контуры и положение удалённых зубов и т.д. [1]. В 1931 году Бродбент изобрёл методику рентгеновского анализа сагиттальных и вертикальных размеров черепа при помощи боковой цефалометрической рентгенограммы, которая даёт возможность получить полное визуальное представление о структуре черепа и контуре мягких тканей [2]. Кроме того, цефалометрия в боковой проекции позволяет оценить несколько анатомических компонентов, включая носовые кости, лобные пазухи, клиновидные пазухи, а также получить другие изображения, которые помогают в процессе идентификации пола [3–5].
V. Patil и соавт. [6] определяли пол умерших по результатам рентгенографии нижней челюсти с помощью искусственных нейронных сетей (ИНС). ИНС — это тип вычислительной системы в области машинного обучения, используемый для решения сложных задач. Это мощная компьютерная модель, которая вдохновляется сложными операциями человеческого мозга [7]. ИНС может получать и сохранять знания (в виде информации) и может быть охарактеризована как набор единиц обработки, представленных искусственными нейронами, соединённых между собой многочисленными связями (искусственными синапсами) и реализованных векторами и матрицами синаптических весов [8, 9]. Основное преимущество ИНС — способность приобретать знания и сохранять стабильность даже при возникновении незначительных ошибок за счёт генерации информации в процессе обучения [7, 8, 10].
Данное исследование продемонстрировало хорошие результаты в прогнозировании пола взрослых индонезийцев на примере 297 боковых цефалометрических ИНС-моделей, при этом 70% образцов использовались для обучения модели, 15% — для тестирования, 15% — для проверки данных. Несмотря на общую точность 80%, дисбаланс полученных данных снижает точность определения мужского пола. Дисбаланс происходит в том случае, если количество образцов в каждом классе неравнозначно. Другими словами, один класс представлен недостаточно хорошо (класс меньшинства), в то время как в другом классе представлено больше случаев (класс большинства). Проблема несовпадения классов возникает во многих реальных ситуациях [11]. Наиболее известным способом решения данной проблемы является метод синтетической передискретизации меньшинства (synthetic minority oversampling technique, SMOTE). С его помощью создаются новые синтетические модели данных путём объединения образцов из класса меньшинства с их K-ближайшими соседями по прямой линии [11]. В данном исследовании используется ИНС-модель для прогнозирования пола, и рассматриваются возможные варианты применения SMOTE.
Цель исследования — определить потенциальную эффективность алгоритма SMOTE в определении пола с помощью ИНС-модели.
Материалы и методы
В общей сложности изучено 297 цефалометрических снимков, взятых из медицинских карт пациентов Клиники стоматологии и челюстно-лицевой хирургии Университета Айрланга (RSGMP Unair) в Сурабае (Восточная Ява, Индонезия). Часть данных заимствована из предыдущего исследования [12]. Впоследствии выборка была разделена на три подмножества: 70% цефалометрических снимков было выделено для обучения нейросети, 15% зарезервировано для валидационных тестов, остальные 15% использовались для тестирования. Обучение, разработка и анализ данных проводились с помощью цефалометрических алгоритмов с использованием ИНС и языка программирования Python. В исследовании применялись следующие критерии включения:
1) цефалометрические снимки получены из базы данных RSGMP Unair;
2) цефалометрические снимки принадлежат лицам индонезийского происхождения;
3) цефалометрические снимки сделаны с использованием стандартных инструментов и соответствующего оборудования;
4) цефалометрические снимки получены в удовлетворительном состоянии, без признаков многократного экспонирования;
5) цефалометрические снимки не имеют каких-либо заметных искажений;
6) цефалометрические снимки выполнены операторами, имеющими образование в области радиологии не ниже категории D3, а также практический опыт работы с цефалометрическим оборудованием не менее 1 года;
7) цефалометрические снимки пациентов охватывают возрастной диапазон от 18 до 40 лет и показывают полный прикус в нижнечелюстной и верхнечелюстной областях, за исключением третьего моляра;
8) цефалометрические снимки выполнены у лиц, у которых в анамнезе не было ортодонтического вмешательства или записей о таковом;
9) цефалометрические снимки выполнены у лиц, у которых ранее не было записей об ортогнатическом хирургическом вмешательстве;
10) цефалометрические снимки выполнены у лиц, у которых нет документально подтверждённых случаев челюстно-лицевых травм.
В данном исследовании использованы следующие инструменты:
1) оборудование, которое соответствует всем необходимым протоколам;
2) прибор ZULASSUNG THA/HV-GEN Type THA100;
3) соответствующая квалификация и навыки работы операторов оборудования;
4) компьютерная система, оснащённая как минимум двумя модулями памяти с произвольным доступом объёмом 8 Гб и твердотельным накопителем объёмом 1 Тб;
5) графический процессор NVIDIA GeForce RTX 3060;
6) язык программирования Python для веб-разработки в компьютерной среде Google Collaboration;
7) программная библиотека Pandas;
8) метод интерпретации прогнозов SHapley Additive exPlanation (SHAP);
9) приложение WebCeph.
Переменные и определения
В данном исследовании использованы следующие переменные:
- Зависимые переменные. Точность цефалометрического анализа с использованием методов ИНС с учётом переменных, перечисленных в табл. 1.
- Независимые переменные. Гендерные вариации цефалометрических данных с использованием метода вычислительного анализа на основе искусственного интеллекта, ИНС.
- Контрольные переменные. Возраст, цефалометрический инструмент, квалификация оператора, индонезийцы.
Таблица 1. Определение операционных переменных
Table 1. Definition of the operational variables
Параметр | Определение |
Возраст | О продолжительности жизни респондента можно судить по возрасту, указанному на цефалометрическом снимке. Возрастной диапазон ― 18–40 лет |
Цефалометрический снимок | Цефалометрический снимок сделан в RSGMP Unair оператором с соответствующим уровнем квалификации с помощью стандартного устройства. Многократное экспонирование отсутствует, весь зубной ряд представлен на снимке, за исключением третьего моляра. Снимок принадлежит пациенту, который никогда не подвергался хирургическому вмешательству на нижней и верхней челюсти, не проходил ортодонтического лечения и не имел челюстно-лицевых травм |
Инструмент | Стандартизированным инструментом, используемым для получения цефалометрических снимков в RSGMP Unair, является ASAHI Hyper-XCM Panoramic Cephalometric Type D.052 SB |
Квалификация оператора | Квалификация оператора включает в себя минимум степень D3 в области рентгенографии и опыт работы с цефалометрическим рентгенологическим оборудованием не менее 1 года |
Национальная принадлежность | Цефалометрические снимки принадлежат представителям монголоидной расы, данные которых были обобщены по результатам цефалометрических снимков, полученных от граждан Индонезии. Отбор фотографий осуществлялся оператором в RSGMP Unair |
Угол SNA | Углы, образованные точками Sella-Nasion-A (Wyle) |
Угол SGA | Углы, образованные точками Sella-Glabella-A (Johnson) |
Длина нижней челюсти | Линия, проводимая по нижней границе нижней челюсти от наиболее задней точки головки мыщелка до самой передней точки челюсти (Jarabak) |
Угол нижней челюсти | Углы, образованные линией Gonion_Gnathion (Go_Gn) вместе с основанием передней части черепа (S_N; Steiner) |
Диагностика | Дифференциальная диагностика скелетной модели и классификация неправильного прикуса |
Результаты
В рамках данного исследования были получены цефалометрические рентгенограммы пациентов, обращавшихся за медицинской помощью в стоматологическую клинику университета RSGMP Unair. Исследование одобрено Комитетом по вопросам этики при факультете стоматологической медицины университета RSGMP Unair (№ 316/HRECC.FODM/III/2023).
Возраст пациентов составлял от 18 до 40 лет. Выборка включает 297 цефалометрических снимков (229 женщин и 68 мужчин). Наблюдаемый разброс данных между полами можно объяснить преобладанием лиц женского пола, обращающихся за ортодонтической помощью, о чём свидетельствует большинство собранных данных.
С помощью языка программирования Python снимки были разделены на три отдельных сегмента: 70% были предназначены для обучения нейросети, 15% — для проверки данных, 15% — для тестирования (табл. 2).
Таблица 2. Распределение данных в зависимости от пола
Table 2. Distribution of sample frequency based on gender
Пациенты | Обучение (70%) | Проверка (15%) | Тестиро-вание (15%) | Выборка |
Женщины | 153 | 38 | 38 | 229 |
Мужчины | 46 | 11 | 11 | 68 |
Всего | 199 | 49 | 49 | 297 |
A. Измерение переменных
В данном исследовании мы использовали метод обратного распространения ошибок. В рамках этой методики выполняются два вычислительных процесса, а именно: сложные вычисления для определения расхождений между выходными данными ИНС и поставленной целью. Следующий шаг подразумевает обратное вычисление, которое использует полученные ошибки для изменения весов всех нейронов в системе.
Цефалометрические параметры ИНС измерялись с помощью веб-приложения, которое представляет собой программу для ведения медицинской документации по оказанию ортодонтической помощи. Его преимущество заключается в экономичности и возможности уменьшить количество ошибок, связанных с ручным введением данных. Визуальное представление измерений, полученных с помощью интерфейсного веб-приложения, представлено на рис. 1 [13].
Рис. 1. Анализ цефалометрических параметров с помощью интерфейсного веб-приложения [13].
Полученные результаты в дальнейшем анализировали по четырём параметрам с помощью библиотеки Pandas на языке программирования Python. Обучение ИНС проводилось в области диагностики неправильного прикуса пациента (табл. 3). Примечательно, что соотношение образцов соответствует нарушениям прикуса I класса (неправильный прикус с нормальным соотношением длины челюстей).
Таблица 3. Распределение данных в зависимости от диагноза
Table 3. Distribution of sample frequency based on diagnosis
Диагноз | Пол | Выборка | |
Женщины | Мужчины | ||
Нарушение прикуса I класса с нормальным соотношением длины челюстей | 45 | 17 | 62 |
Нарушение прикуса I класса с протрузией зубов верхней челюсти | 40 | 3 | 43 |
Нарушение прикуса I класса с открытой окклюзией | 0 | 1 | 1 |
Нарушение прикуса II класса с нормальным соотношением длины челюстей | 57 | 23 | 80 |
Нарушение прикуса II класса с протрузией зубов верхней челюсти | 64 | 16 | 80 |
Нарушение прикуса III класса с нормальным соотношением длины челюстей | 11 | 7 | 18 |
Нарушение прикуса III класса с протрузией зубов верхней челюсти | 10 | 1 | 11 |
Нарушение прикуса III класса с ретрузией зубов верхней челюсти | 2 | 0 | 2 |
Всего | 229 | 68 | 297 |
Средние значения четырёх параметров определялись путём анализа с помощью библиотеки Pandas на языке Python. Параметры пола, полученные по цефалометрическим снимкам, использовались в алгоритме ИНС в качестве эталона (табл. 4).
Таблица 4. Средние значения цефалометрических параметров в зависимости от пола и диагноза
Table 4. Average values of the cephalometric parameters based on gender and diagnosis
Диагноз | Пол | Среднее значение параметра | |||
Угол SNA, град. | Длина нижней челюсти, мм | Угол нижней челюсти, град. | Угол SGA, град. | ||
Нарушение прикуса I класса с нормальным соотношением длины челюстей | Мужчины | 84,78 | 83,46 | 30,45 | 72,81 |
Женщины | 82,75 | 78,32 | 32,5 | 72,46 | |
Нарушение прикуса I класса с протрузией зубов верхней челюсти | Мужчины | 88,7 | 83,18 | 28,43 | 74,4 |
Женщины | 87,79 | 81,11 | 30,69 | 75,02 | |
Нарушение прикуса I класса с открытой окклюзией | Мужчины | 80,47 | 72,73 | 32,95 | 70,5 |
Женщины | - | - | - | - | |
Нарушение прикуса II класса с нормальным соотношением длины челюстей | Мужчины | 84,24 | 80,53 | 31,47 | 72,71 |
Женщины | 82,51 | 75,74 | 37 | 71,45 | |
Нарушение прикуса II класса с протрузией зубов верхней челюсти | Мужчины | 89,47 | 78,94 | 26,90 | 76,04 |
Женщины | 87,52 | 79,23 | 31,91 | 75,76 | |
Нарушение прикуса III класса с нормальным соотношением длины челюстей | Мужчины | 84,29 | 57,85 | 49,573 | 71,1 |
Женщины | 82,3 | 79,12 | 30,38 | 68,98 | |
Нарушение прикуса III класса с протрузией зубов верхней челюсти | Мужчины | 88,96 | 81,22 | 20,52 | 64,9 |
Женщины | 86,94 | 84,98 | 25,49 | 75,01 | |
Нарушение прикуса III класса с ретрузией зубов верхней челюсти | Мужчины | - | - | - | - |
Женщины | 74,37 | 73 | 35,35 | 71,35 |
B. Обучение нейросети и проверка данных
Для разработки архитектуры ИНС использовался язык программирования Python. Первый этап включал в себя обучение и проверку модели перед проведением тестов. В данном исследовании используются четыре различных сценария. Первый сценарий предполагает отсутствие SMOTE-алгоритма и нормализации данных, второй сценарий — использование модуля SMOTE без нормализации данных, третий сценарий — сочетание метода SMOTE и нормализации данных, четвёртый сценарий — нормализацию данных без применения SMOTE. Методы обучения и проверки показаны на рис. 2 и 3. Как на этапе обучения, так и на этапе проверки наблюдается уменьшение потерь.
Рис. 2. График успешности обучения и проверки искусственной нейронной сети: a ― точность обучения и проверки без применения SMOTE и нормализации данных; b ― точность обучения и проверки с применением SMOTE, но без нормализации данных; c ― точность обучения и проверки с применением SMOTE и нормализацией данных; d ― точность обучения и проверки с нормализацией данных, но без применения SMOTE.
Рис. 3. График неудач при обучении и проверке искусственной нейронной сети: a ― потери при обучении и проверке без применения SMOTE и нормализации данных; b ― потери при обучении и проверке с применением SMOTE, но без нормализации данных; c ― потери при обучении и проверке с применением SMOTE и нормализацией данных; d ― потери при обучении и проверке с нормализацией данных, но без применения SMOTE.
C. Анализ ИНС-модели
Результаты точности, прецизионности, отзывчивости, оценки f1 (оценочный показатель, который обычно используется в задачах классификации для оценки производительности модели) и поддержки ИНС-модели по четырём различным сценариям представлены в табл. 5. Первый сценарий предполагает разработку модели без применения методов SMOTE и нормализации данных. Результат точности для первого сценария составляет 0,78 (78%), оценка f1 для мужчин — 0,00, для женщин — 0,87. Второй сценарий ИНС-модели предполагает использование SMOTE-алгоритма без нормализации данных. Здесь точность составляет 0,22 (22%), оценка f1 для мужчин — 0,00, для женщин — 0,37. Третий сценарий ИНС-модели предполагает использование модуля SMOTE в сочетании с нормализацией данных. Точность по этому сценарию составляет 0,71 (71%), оценка f1 для мужчин — 0,30, для женщин — 0,82. В последнем сценарии нормализация данных при отсутствии SMOTE обеспечивает точность 0,76 (76%), оценка f1 для мужчин составляет 0,14, для женщин — 0,86.
Таблица 5. Анализ ИНС-модели
Table 5. Accuracy, precision, recall, f1 score, and support of the ANN model
Сценарий | Параметр | Прецизионность | Отзывчивость | Оценка f1 | Поддержка |
Без SMOTE и нормализации данных | Женщины | 0,78 | 1,00 | 0,87 | 38 |
Мужчины | 0,00 | 0,00 | 0,00 | 11 | |
Точность | 0,78 | 49 | |||
Макросреднее | 0,39 | 0,50 | 0,44 | 49 | |
Средневзвешенное | 0,60 | 0,78 | 0,68 | 49 | |
С применением SMOTE, но без нормализации данных | Женщины | 0,00 | 0,00 | 0,37 | 39 |
Мужчины | 0,22 | 1,00 | 0,00 | 11 | |
Точность | 0,22 | 49 | |||
Макросреднее | 0,11 | 0,50 | 0,18 | 49 | |
Средневзвешенное | 0,05 | 0,22 | 0,08 | 49 | |
С применением SMOTE и нормализацией данных | Женщины | 0,80 | 0,84 | 0,82 | 38 |
Мужчины | 0,33 | 0,27 | 0,30 | 11 | |
Точность | 0,71 | 49 | |||
Макросреднее | 0,57 | 0,56 | 0,56 | 49 | |
Средневзвешенное | 0,70 | 0,71 | 0,70 | 49 | |
С нормализацией данных, но без SMOTE | Женщины | 0,78 | 0,95 | 0,86 | 38 |
Мужчины | 0,33 | 0,09 | 0,14 | 11 | |
Точность | 0,76 | 49 | |||
Макросреднее | 0,90 | 0,57 | 0,57 | 49 | |
Средневзвешенное | 0,88 | 0,80 | 0,74 | 49 |
Матричная классификация даёт краткое представление о точности классификатора по отношению к заданному набору тестовых данных. Создаётся двумерная матрица, в одном измерении которой содержится истинный класс объекта, в другом — класс, присвоенный классификатором. В данном исследовании использовалась двухклассовая схема, в которой один класс представлял женщин, другой — мужчин, которые были классифицированы как положительный и отрицательный класс соответственно. В рамках этой схемы четыре ячейки матрицы классифицируются как истинно положительные (true positives, TP), ложноположительные (false positives, FP), истинно отрицательные (true negatives, TN) и ложноотрицательные (false negatives, FN) (табл. 6).
Таблица 6. Результаты матричной классификации мужчин и женщин с помощью искусственных нейронных сетей
Table 6. Matrix classification results of males and females using ANN
Без SMOTE и нормализации данных | ||
n=49 | Прогноз: ДА | Прогноз: НЕТ |
Фактически: НЕТ | TP=38 | TN=0 |
Фактически: ДА | FP=11 | FN=0 |
38 | 11 | |
С применением SMOTE, но без нормализации данных | ||
n=49 | Прогноз: ДА | Прогноз: НЕТ |
Фактически: НЕТ | TP=0 | TN=38 |
Фактически: ДА | FP=0 | FN=11 |
38 | 11 | |
С применением SMOTE и нормализацией данных | ||
n=49 | Прогноз: ДА | Прогноз: НЕТ |
Фактически: НЕТ | TP=32 | TN=6 |
Фактически: ДА | FP=8 | FN=3 |
38 | 11 | |
С нормализацией данных, но без SMOTE | ||
n=49 | Прогноз: ДА | Прогноз: НЕТ |
Фактически: НЕТ | TP=36 | TN=2 |
Фактически: ДА | FP=10 | FN=1 |
38 | 11 |
Примечание. TP ― истинно положительные результаты; TN ― истинно отрицательные результаты; FP ― ложноположительные результаты; FN ― ложноотрицательные результаты.
Note. TP ― true positives; TN ― true negatives; FP ― false positives; FN ― false negatives.
В данном исследовании ИНС-модель использует четыре цефалометрических фактора для определения пола, однако некоторые параметры могут снижать точность прогноза. Для определения наиболее значимых параметров мы использовали модель SHAP. На рис. 4 показано, что угол нижней челюсти наиболее эффективен в определение пола, в то время как угол SGA — наименее эффективен.
Рис. 4. Модель SHapley Additive exPlanation: SHAP присваивает каждому признаку то или иное изменение в ожидаемом прогнозе при обработке этого признака.
Обсуждение
Создание машинного или автономного механизма с собственным интеллектом уже давно является заветной мечтой исследователей в различных научных и технических дисциплинах. Таким механизмом может служить ИНС, позволяющая решать различные технические и научные задачи [7]. Хотя нейросети были созданы более 50 лет назад, лишь в начале 1990-х годов они вызвали значительный интерес, стали предметом научных исследований и до сих пор весьма перспективны для дальнейшего изучения [9]. Применение интеллектуальных систем охватывает широкий спектр областей, включая область судебной одонтологии [9]. В данном исследовании для определения пола используется комбинированный подход к измерению параметров с помощью методов глубокого обучения, например WebCeph, и ИНС.
Решающее значение имеет точная интерпретация результатов прогнозирования ИНС-модели, что способствует повышению уверенности пользователей, улучшению и более глубокому пониманию процесса моделирования [14]. Однако эффективность ИНС зависит от значительного объёма полученных данных, что продемонстрировано в предыдущих исследованиях, где размер выборки составлял более 500 рентгенограмм [6, 15–17]. Что касается прецизионности, ИНС продемонстрировала эффективность и точность в определении пола независимо от конкретного диагноза используемой выборки. Такие системы могут прогнозировать будущие значения определённого процесса на основе данных уже существующих образцов в пределах определённой области [9]. В результате ИНС подаёт большие надежды в области судебно-медицинской одонтологии, в частности при прогнозировании пола [18].
Цефалометрия в боковой проекции уже давно является важным инструментом в диагностике ортодонтических проблем и составлении программ лечения. На сегодняшний день она также применяется в области судебной одонтологии [18, 19]. Так, H. Bao и соавт. [19] обнаружили, что программное обеспечение для автоматического анализа данных проводит цефалометрические измерения с таким уровнем эффективности, который может быть применим в клинических условиях.
Для создания модели машинного обучения требуется значительный набор данных [20]. V.W. Handayani и соавт. [13] определили, что сбор цефалометрических данных представляет собой более сложную задачу, чем сбор данных панорамной рентгенографии, поскольку RSGMP Unair использует исключительно цефалометрическую рентгенографию для пациентов, проходящих ортодонтическое лечение. Кроме того, статистика среди мужчин и женщин значительно отличается. Это можно объяснить тем, что женщины больше заботятся о красоте и эстетике, в том числе о здоровье зубов, чем мужчины. Авторы обнаружили также дисбаланс данных, который не даёт точности результатов более 90%. В нашей ИНС-модели 70% данных использовались для обучения, 15% — для проверки, 15% — для тестирования, при этом точность определения пола для мужчин и женщин составила 25% и 88% соответственно [13].
В табл. 5 представлены четыре сценария работы ИНС-модели. Первый сценарий — это ИНС-модель без применения SMOTE и нормализации данных, точность предсказания пола по которой достигает 78%. Второй сценарий — ИНС-модель с применением SMOTE, но без нормализации данных, что приводит к снижению точности на 22%. Третий сценарий — ИНС-модель с применением SMOTE и нормализацией данных, которая позволяет достичь более высокого результата точности — 71%. Четвёртый сценарий — ИНС-модель с нормализацией данных, но без SMOTE, которая даёт чуть лучший результат — 76% — по сравнению с третьим сценарием. Расхождение в значениях прецизионности может быть связано с различиями в распределении количества мужских и женских образцов. В случаях, когда количество образцов не сбалансировано, значение точности имеет тенденцию к увеличению выборки [21]. Этот вывод подтверждается метриками точности, прецизионности и отклика, полученными с помощью ИНС [22].
SMOTE — это стратегия повторной выборки, которая направлена на увеличение количества образцов в классе меньшинства путём создания синтетических образцов в этом классе. Метод используется для стабилизации наборов данных со значительным дисбалансом. Анализ результатов данного исследования показывает, что матричная классификация, представленная в табл. 6, позволяет повысить точность прогноза для мужчин, но не подходит для женщин. В целом применение SMOTE-методов без нормализации данных не способствует повышению точности, и даже напротив, снижает точность модели. Результаты исследований групп авторов под руководством D. Elreedy [23] и F. Duan [24] показали, что применение SMOTE может повысить точность результатов в классе меньшинства. Однако в сочетании с нормализацией данных SMOTE демонстрирует улучшенную производительность, что может быть связано с его способностью смягчать проблему избыточной подгонки данных. Кроме того, процедура генерации новых синтетических образцов отличается от метода умножения.
Цефалометрические рентгенограммы изучались нами для оценки углов SNA, SGA и параметров длины нижней челюсти. Для измерения уровня интеграции цефалометрических компонентов, используемых в ИНС, и определения их важности мы использовали Python-библиотеку SHAP. Этот метод помогает ИНС-моделям получать точные параметры для определения новой категории измерения параметров [25]. Более того, SHAP помогает определить, существует ли в этой категории единичный ответ, обладающий набором желаемых характеристик. Таким образом, мы убедились, что угол нижней челюсти, полученный на основании цефалометрических рентгенограмм, является наиболее надёжным параметром при прогнозирования пола в индонезийской популяции. Наше исследование согласуется с результатами исследований групп V. Patil [6] и A. Sikka [26], где показаны значительные различия в параметрах нижней челюсти между мужчинами и женщинами. В этом же исследовании сообщается о том, что выбранные характеристики, в особенности угол SGA, не позволяют достоверно определить пол.
Преимущество ИНС заключается в том, что нейросети не требуют предварительного знакомства с существующими моделями в предметной области [27]. Это свойство очень полезно при обработке файлов, содержащих недостающие или повреждённые данные. Однако из-за того, что ИНС работают исключительно с теми задачами, для которых они были обучены, необходимо использовать значительный объём данных. Для достижения любой другой цели необходимо переобучить модель, а увеличение количества цефалометрических снимков в выборке позволит повысить эффективность работы [27, 28].
К ограничениям данного исследования можно отнести недостаточное количество мужских образцов по сравнению с женскими, а также ограниченность используемых параметров, которые могут негативно повлиять на точность определения пола и не измеряют плотность костей черепа.
Заключение
В данном исследовании предлагается использовать SMOTE-технологию в качестве решения проблемы несбалансированных данных в ИНС-модели, используемой для идентификации пола. Продемонстрирована эффективность SMOTE в дополнении мужских образцов, хотя при этом не наблюдалось повышения точности. Среди четырёх выбранных параметров угол нижней челюсти существенно влияет на точность определения пола.
Для повышения эффективности будущих исследований можно расширить набор данных и провести тщательный анализ распределения данных в зависимости от пола. Кроме того, исследователи должны учитывать дополнительные характеристики и параметры, такие как плотность костей черепа, которые могут быть использованы в идентификации неопознанных трупов и жертв массовых катастроф и стихийных бедствий.
Дополнительная информация
Источник финансирования. Данное исследование проведено при финансовой поддержке Министерства здравоохранения Индонезии.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). V.W. Handayani — сбор данных, редактирование статьи; A. Yudianto — научное консультирование; M. Sylvia M.A.R. — проведение цефаломентрических исследований; R. Rulaningtyas, M.R. Caesarardhi — разработка алгоритма; R.H. Putra — подготовка графических материалов.
Благодарности. Авторы выражают благодарность Министерству здравоохранения Индонезии за предоставление финансирования проекта, а также Университету Айрланга за сотрудничество в проведении данного исследования.
Об авторах
Vitria Wuri Handayani
Universitas Airlangga; Pontianak Polytechnic Health Ministry
Email: vitriawuri@gmail.com
ORCID iD: 0000-0002-5076-0118
MD, Medical Faculty; Nursing Department
Индонезия, Surabaya; PontianakAhmad Yudianto
Universitas Airlangga
Автор, ответственный за переписку.
Email: ahmad-yudianto@fk.unair.ac.id
ORCID iD: 0000-0003-4754-768X
MD, PhD, Professor, Department of Forensics and Medicolegal, Faculty of Medicine; Magister of Forensic Sciences, Postgraduate School
Индонезия, SurabayaMAR Mieke Sylvia
Univesitas Airlangga
Email: mieke-s-m-a-r@fkg.unair.ac.id
ORCID iD: 0000-0001-8821-0157
MD, PhD, Professor, Forensic Odontology Department, Dental Medical Faculty
Индонезия, SurabayaRulaningtyas Riries
Universitas Airlangga
Email: riries-r@fst.unair.ac.id
ORCID iD: 0000-0001-7058-1566
MD, Physics Department, Sains and Technology Faculty; Biomedical Department, Sains and Technology Faculty
Индонезия, SurabayaMuhammad Rasyad Caesarardhi
Institut Teknologi Sepuluh Nopember
Email: mrasyadc@gmail.com
ORCID iD: 0000-0002-6986-0346
MD, Department of Information Systems
Индонезия, SurabayaRamadhan Putra
Universitas Airlangga
Email: ramadhan.hardani@fkg.unair.ac.id
ORCID iD: 0000-0002-0622-3892
MD, Department of Dentomaxillofacial Radiology, Faculty of Dental Medicine
Индонезия, SurabayaСписок литературы
- Tahir H. Book of abstracts: The 4th Indonesia International Symposium of Forensic Odontology "Incorporating recent advances and new technologies for delivering good evidence in forensic odontology". Amerta Media, 2023. P. 45.
- Subramanian A.K., Chen Y., Almalki A., et al. Cephalometric analysis in orthodontics using artificial intelligence: A comprehensive review // Biomed Res Int. 2022. Vol. 2022. P. 1880113. EDN: VCAUJB doi: 10.1155/2022/1880113
- Ruth M.S. Sefalometri radiografi dasar. Surabaya: Sagung Seto, 2013.
- Indra Sukmana B, Rijaldi F. Buku ajar kedokteran gigi forensik [Internet]. 2022. Vol. VI. P. 1–79. Available from: https://idndentist.com/article/93
- Taner L., Gursoy G., Uzuner F. Does gender have an effect on craniofacial measurements? // Turkish J Orthod. 2019. Vol. 32, N 2. P. 59–64. doi: 10.5152/TurkJOrthod.2019.18031
- Patil V., Vineetha R., Vatsa S., et al. Artificial neural network for gender determination using mandibular morphometric parameters: A comparative retrospective study // Cogent Eng. 2020. Vol. 7, N 1. P. 1–12. doi: 10.1080/23311916.2020.1723783
- Chen M., Chalita U., Saad W., et al. Artificial neural networks-based machine learning for wireless networks: A tutorial. // IEEE Commun Surv Tutorials. 2019. Vol. 21, N 4. P. 3039–3071. doi: 10.1109/COMST.2019.2926625
- Dastres R., Soori M. Artificial neural network systems // Int J Imaging Robot. 2021. Vol. 21, N 2. P. 13–25.
- Da Silva I.N., Hernane S.D., Andrade F.R., et al. Artificial neural networks: A practical course. Springer Nature: Switzerland, 2017. 252 р.
- Wu Y., Feng J. Development and application of artificial neural network // Wirel Pers Commun. 2018. Vol. 102, N 5. P. 1645–1656. doi: 10.1007/s11277-017-5224-x
- Elreedy D., Atiya A.F., Kamalov F. A theoretical distribution analysis of synthetic minority oversampling technique (SMOTE) for imbalanced learning // Mach Learn. 2023. Vol. 113, N 7. P. 4903–4923. EDN: KFIOLR doi: 10.1007/s10994-022-06296-4
- Handayani W.V., Yudianto A., Mieke Sylvia MAR., Rulaningtyas R. Classification of Indonesian adult forensic gender using cephalometric radiography with VGG16 and VGG19: A preliminary research // Acta Odontol Scand. 2024. N 83. P. 308–316. doi: 10.2340/aos.v83.40476
- Handayani V.W. Cephalometry radiology based on rrtificial intelligence model for predict gender determination in unidentified cranium. Universitas Airlangga, 2024.
- Hapsari R.K., Miswanto M., Rulaningtyas R., et al. Modified gray-level haralick texture features for early detection of diabetes mellitus and high cholesterol with iris image // Int J Biomed Imaging. 2022. Vol. 2022. P. 5336373. EDN: BVEODY doi: 10.1155/2022/5336373
- Satish B.N., Moolrajani C., Basnaker M., Kumar P. Dental sex dimorphism: Using odontometrics and digital jaw radiography // J Forensic Dent Sci. 2017. Vol. 9, N 1. P. 43. doi: 10.4103/jfo.jfds_78_15
- Arab M.A., Khankeh H.R., Mosadeghrad A.M., Farrokhi M. Developing a hospital disaster risk management evaluation model // Risk Manag Healthc Policy. 2019. N 12. P. 287–296. doi: 10.2147/RMHP.S215444
- Vahanwala S. Assessment of the effect of dimensions of the mandibular ramus and mental foramen on age and gender using digital panoramic radiographs: A retrospective study // Contemp Clin Dent. 2019. Vol. 9, N 3. P. 343–348. doi: 10.4103/ccd.ccd_26_18
- Tahir H. Book of abstracts: The 4th Indonesia International Symposium of Forensic Odontology "Incorporating recent advances and new technologies for delivering good evidence in forensic odontology". Amerta Media, 2023. P. 36–37.
- Bao H., Zhang K., Yu C., et al. Evaluating the accuracy of automated cephalometric analysis based on artificial intelligence // BMC Oral Health. 2023. Vol. 23, N 1. P. 191. doi: 10.1186/s12903-023-02881-8
- Ramezanzade S., Laurentiu T., Bakhshandah A., et al. The efficiency of artificial intelligence methods for finding radiographic features in different endodontic treatments: A systematic review // Acta Odontol Scand. 2022. Vol. 81, N 6. P. 422–435. doi: 10.1080/00016357.2022.2158929
- Shung K.P. Accuracy, precision, recall or F1? [Internet]. Towards Data Science. 2018 [2023 Sep 2]. Режим доступа: https://towardsdatascience.com/accuracy-precision-recall-or-f1-331fb37c5cb9. Дата обращения: 15.04.2024.
- Jeong S.H., Yun J.P., Yeom H.G., et al. Deep learning based discrimination of soft tissue profiles requiring orthognathic surgery by facial photographs // Sci Rep. 2020. Vol. 10, N 1. P. 16235. doi: 10.1038/s41598-020-73287-7
- Elreedy D., Atiya A.F. A comprehensive analysis of Synthetic Minority Oversampling Technique (SMOTE) for handling class imbalance // Inf Sci (Ny). 2019. N 505. P. 32–64. doi: 10.1016/j.ins.2019.07.070
- Duan F., Zhang S., Yan Y., Cai Z. An oversampling method of unbalanced data for mechanical fault diagnosis based on meanradius-SMOTE // Sensors. 2022. Vol. 22, N 14. P. 5166. EDN: PURYZO doi: 10.3390/s22145166
- Zhang K., Zhang Y., Wang M. A unified approach to interpreting model predictions scott // Nips. 2012. Vol. 16, N 3. P. 426–430. doi: 10.48550/arXiv.1705.07874
- Sikka A., Jain A. Sex determination of mandible: A morphological and morphometric analysis // Int J Contemp Med Res. 2016. Vol. 3, N 7. P. 1869–1872.
- Smart Energy and Electric Power Systems [Internet]. Pavithra V., Jayalakshmi V. Smart energy and electric power system: Current trends and new intelligent perspectives and introduction to ai and power system. Elsevier, 2023. P. 19–36. doi: 10.1016/B978-0-323-91664-6.00001-2
- Fan D.P., Zhang J., Xu G., et al. Salient objects in clutter // IEEE trans pattern anal mach intell. 2023. Vol. 45, N 2. P. 2344–2366. doi: 10.1109/TPAMI.2022.3166451