Применение систем искусственного интеллекта при установлении экспертных ошибок: научный обзор



Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Доступ платный или только для подписчиков

Аннотация

В статье представлен научный обзор применения систем искусственного интеллекта (ИИ) для выявления и анализа экспертных ошибок. С развитием технологий и увеличением объемов данных возрастает необходимость повышения точности и надежности экспертных оценок в различных областях, включая медицину, юриспруденцию, финансы и промышленность. ИИ-системы, такие как машинное обучение, нейронные сети и алгоритмы глубокого обучения, демонстрируют значительный потенциал в автоматизации процессов выявления ошибок, анализе причин возникновения и предложений по их исправлению. В обзоре рассматриваются основные подходы и методы, используемые в современных ИИ-системах для обнаружения экспертных ошибок, анализируется их эффективность и области применения. Особое внимание уделяется практическим примерам использования ИИ в различных сферах, а также обсуждаются перспективы дальнейшего развития и интеграции этих технологий в экспертную деятельность.

Полный текст

 

Применение систем искусственного интеллекта при установлении экспертных ошибок: научный обзор

 

Авторы

А.К. Бакенова1, Е.Н. Бегалиев2, А.А. Аубакирова3, Д.В. Бахтеев4

 

Организации

1Академия государственного управления при Президенте Республики Казахстан, Астана, Республика Казахстан

2Академия правоохранительных органов при Генеральной прокуратуре Республики Казахстан, Косшы, Республика Казахстан

3Санкт-Петербургский гуманитарный университет профсоюзов, Санкт-Петербург, Россия

4Уральский государственный юридический университет имени В.Ф. Яковлева, Екатеринбург, Россия

              аннотация

В статье представлен научный обзор применения систем искусственного интеллекта (ИИ) для выявления и анализа экспертных ошибок. С развитием технологий и увеличением объемов данных возрастает необходимость повышения точности и надежности экспертных оценок в различных областях, включая медицину, юриспруденцию, финансы и промышленность. ИИ-системы, такие как машинное обучение, нейронные сети и алгоритмы глубокого обучения, демонстрируют значительный потенциал в автоматизации процессов выявления ошибок, анализе причин возникновения и предложений по их исправлению. В обзоре рассматриваются основные подходы и методы, используемые в современных ИИ-системах для обнаружения экспертных ошибок, анализируется их эффективность и области применения. Особое внимание уделяется практическим примерам использования ИИ в различных сферах, а также обсуждаются перспективы дальнейшего развития и интеграции этих технологий в экспертную деятельность.

Ключевые слова: искусственный интеллект, экспертные ошибки, экспертное исследование.

Как цитировать: 

Бакенова А.К., Бегалиев Е.Н., Аубакирова А.А., Бахтеев Д.В. Применение систем искусственного интеллекта при установлении экспертных ошибок: научный обзор // Судебная медицина. 202___. Т. _, №_. С. __ - __.DOI:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

The use of artificial intelligence systems in identifying expert errors: a scientific review

Authors

Aigerim K. Bakenova1, Yernar N. Begaliyev2, Anna A. Aubakirova3, Dmitriy V. Bakhteev4

           

            Affiliation

  1Academy of Public Administration under the President of the Republic of Kazakhstan, Astana, Republic of Kazakhstan

  2Academy of Law Enforcement Agencies under the General Prosecutors Office of the Republic of Kazakhstan, Koshy, Republic of Kazakhstan

  3St. Petersburg University of Humanities and Social Sciences, Saint Petersburg, Russia

  4Ural State Law University after V.F. Yakovlev, Ekaterinburg, Russia

              Abstract

The article presents a scientific overview of the use of artificial intelligence (AI) systems to identify and analyze expert errors. As technology advances and data volumes increase, there is an increasing need to improve the accuracy and reliability of expert assessments in a variety of fields, including medicine, law, finance and industry. AI systems such as machine learning, neural networks and deep learning algorithms show significant potential in automating the processes of identifying errors, analyzing causes of occurrence and suggesting corrections. The review examines the main approaches and methods used in modern AI systems to detect expert errors, analyzes their effectiveness and areas of application. Particular attention is paid to practical examples of the use of AI in various fields, and prospects for further development and integration of these technologies into expert activities are also discussed.

Keywords: artificial intelligence, expert errors, expert research.

To cite this article:

Bakenova A.K., Begaliyev Y.N., Aubakirova A.A., Bakhteev D.V. On the problem of forensic research of torture through the use of artificial intelligence system: scientific review // Russian Journal of Forensic Medicine. 202__;_: __: DOI:

 

 
 
 
 
 
 
 
 
 
 
 

 

 

ВВЕДЕНИЕ

 

Ошибки являются неотъемлемой частью любой человеческой деятельности, и экспертная деятельность не является исключением. При этом экспертиза представляет собой, в ряде случаев, обязательный элемент процедуры принятия управленческих решений государственными органами. Ошибка, допущенная экспертом, может часто привести к следственной ошибке и, оставаясь незамеченной, превратиться в судебную.

Так, экспертные ошибки в государственном управлении могут иметь серьезные последствия для различных сфер жизни. Они могут быть причиной неправильных выводов, неэффективного расходования ресурсов, а также увеличения уровня коррупции.

Применение систем ИИ может помочь в установлении и предотвращении экспертных ошибок. ИИ может обрабатывать значительные объемы данных, проводить анализ  и выявлять общие закономерности в допускаемых экспертами ошибках.

Для установления вариантов устранения экспертных ошибок с использованием современных технологий рассмотрим подробно имеющиеся научные представления об их природе, а также причинах их возникновения.

 

НАУЧНОЕ ПОНИМАНИЕ ЭКСПЕРТНЫХ ОШИБОК

 

Р.С. Белкиным, А.К. Педенчуком [1] и рядом других ученых [2] под экспертной ошибкой предложено понимать не соответствующие объективной действительности суждения эксперта или его действия, не приводящие к цели экспертного исследования, являющиеся результатом добросовестного заблуждения [3].

Вместе с тем профессиональный судебный эксперт – это не просто симбиоз юриста и обладателя знаний в профильной сфере (медицина, финансы, налоги, лингвистика и др.), но и опытный практик. Так, процесс получения практического опыта, как подчеркивают Е.Р. Россинская и другие [4], также сопровождается экспертными ошибками.

В рассматриваемом контексте важно отметить, что экспертная ошибка отличается от заведомо ложного заключения, которое будет являться преступлением против правосудия.

На наш взгляд, наиболее удачно рассматриваемое понятие сформулировано А.А. Аубакировой, согласно которому экспертная ошибка - это непреднамеренное неверное суждение (умозаключение) или действие эксперта при установлении фактических данных в процессе исследования объектов и оценки результатов, а также нарушение уголовно-процессуального закона, способные привести к неверному решению, не обеспечивающему полноту, объективность и всесторонность проведенного исследования.

В настоящее время общепринято классифицировать экспертные ошибки на три основные группы: процессуальные, гносеологические и деятельностные.

Ошибки процессуального характера заключаются в нарушении процессуальных норм и порядка проведения экспертного исследования. Например, выход эксперта за пределы своей компетенции; обоснование выводов не результатами исследования, а материалами дела; самостоятельный сбор материалов, помимо следователя или суда, что в настоящее время запрещено статьями 83 Уголовно-процессуального кодекса (далее – УПК) Республики Казахстан и 57 УПК Российской Федерации; несоответствие объема проведенного исследования и ответов эксперта на поставленные ему вопросы; несоблюдение установленных уголовно-процессуальным законом правил составления заключения эксперта.

К экспертным ошибкам процессуального характера можно отнести и такие, когда производство повторной экспертизы проводилось тем же экспертом (статья 207 УПК РФ) или той же комиссией экспертов (статья 255 УПК РК), которыми была проведена и первичная экспертиза. Безусловно, этот тезис относится первоначально к руководителю, который при распределении экспертизы поручил ее производство тому же эксперту (экспертам) (статьи 245 УПК РК, 199 УПК РФ).

1Уголовно-процессуальный Кодекс Республики Казахстан. Режим доступа: https://adilet.zan.kz/rus/docs/K1400000231.html. Дата обращения: 05.08.2024.

2Уголовно-процессуальный Кодекс Российской Федерации. Режим доступа: https:// https://www.consultant.ru/document/cons_doc_LAW_34481/.html. Дата обращения: 05.08.2024.

 

Интеллектуальные ошибки познавательного характера или гносеологические обусловлены сложностью процесса экспертного познания, который строится с учетом определенных правил, в том числе и законов логики. Исходя из этого, гносеологические экспертные ошибки принято делить на логические и фактические (предметные).

Первые заключаются в нарушении правил применения логических приемов и операций в ходе экспертного исследования. Типичными являются, например, смешение причинной связи с простой последовательностью во времени или обоснование тезиса аргументами, из которых доказываемый тезис не вытекает.

Отсутствие единообразия в использовании экспертом терминологического аппарата также относится к логическим ошибкам. По нашему мнению, если эксперт в заключении употребил необщепринятый термин, то необходимо дать ему соответствующее пояснение. Особенно это касается новых видов экспертиз, а также, например, судебно-медицинских, судебно-психологических, судебно-экономических, судебно-товароведческих и др. Такие экспертизы сложно оценивать, и в ряде случаев это может привести не только к допросу эксперта, но и назначению дополнительной экспертизы. Нелогичность в заключении эксперта может состоять и в том, что при оценке результатов эксперт формулирует промежуточные выводы на уровне групповой принадлежности, а окончательные дает в вероятной форме. Наиболее часто встречающейся логической ошибкой является противоречивость исследовательской части заключения окончательным выводам. Выводы эксперта должны вытекать из проведенного исследования, являться его логическим завершением и на основе полученных результатов формулированием окончательного умозаключения (вывода). В основе оценки результатов проведенного исследования и формулирования выводов лежат законы логики, нарушение или игнорирование которых, по мнению большинства ученых, ведет к необъективности сделанных выводов, а отсюда и к экспертным ошибкам.

Вторые (фактические или предметные ошибки) являются результатом неправильного или искаженного представления об отношениях между предметами объективной реальности.

Экспертное исследование выступает не только как мыслительная, но и как эмпирическая деятельность. Как верно отмечено Н.И. Кондаковым, «если логические ошибки, как правило, могут быть открыты и исправлены, без знания предмета, о котором идет речь, то предметные ошибки, которые относятся к содержанию умозаключения, могут быть замечены и исправлены только тем, кто знаком с самим предметом, о котором идет речь» [5]. Так, например, при идентификации ножа, которым нанесено повреждение на одежде, используются не только признаки, характеризующие его клинок (форму, размеры, степень остроты, дефекты на лезвии), но и отложившиеся частицы волокон одежды, микрочастицы кожи и внутренних органов тела человека.

Деятельностные ошибки по осуществляемым экспертом операциям с объектами могут быть разделены на организационно-тактические и организационно-технические.

Организационно-тактические ошибки включают низкую квалификацию, не позволившую эксперту использовать новые методы и методики; высокую квалификацию эксперта, но незнание им методов и приемов при работе на современном техническом оборудовании (например, ЭВМ); недооценку или переоценку им своих действий и полученных результатов; неправильно или с нарушением условий проведенный экспертный эксперимент и др.

Организационно-технические ошибки могут выражаться в неправильно выбранной методике для исследования, нарушении строгой упорядоченности действий, связанных с применением различных методов и технических средств, использовании технически неисправных приборов, непроверенных реактивов и т.п.).

Причины допущенных экспертных ошибок, наряду с этим, могут быть как объективными, так и субъективными.

Объективные причины могут быть классифицированы как по субъектам их допустившим, так по последовательности выполняемых действий, начиная с назначения экспертизы и подготовки материалов для ее производства. Прежде всего, они могут быть вызваны неудовлетворительной работой следователя (суда), то есть субъекта, назначающего экспертизу; его низким уровнем профессионализма, недостаточной осведомленностью о возможностях назначаемой экспертизы и требований к материалам, которые должны быть представлены эксперту. К ним относятся: неполнота представленных материалов, их недостоверность или недоброкачественность.

При организации и производстве экспертизы среди объективных причин можно выделить следующие:

Неправильные действия руководителя при ее организации. Они могут проявиться в неправильном выборе эксперта, например, экспертиза является многообъектной и поручается эксперту, имеющему небольшой стаж работы, что естественно, приведет либо к большим срокам выполнения, либо к неполноте исследования, неиспользовании методик, требующих длительного времени, например, при установлении давности выполнения подписи. В конечном итоге эксперт может допустить ошибки либо сформулировать вывод в форме «решить вопрос не представляется возможным». То есть в данном случае экспертизу следовало бы поручить более опытному эксперту или комиссии экспертов.

К объективным причинам также относится и отсутствие должного технического обеспечения (несовершенная приборная база, в том числе неисправная; отсутствие дорогостоящего оборудования, благодаря которому можно исследовать большее количество свойств объекта и в короткие сроки), неполноценные или устаревшие методики исследования. Немаловажное значение имеет и недостаточность справочно-информационных фондов (отсутствие коллекций различных образцов: лакокрасочных покрытий, наркотических средств, взрывчатых веществ и т.п.).

Среди субъективных причин выделяют: некомпетентность эксперта; низкую квалификацию; небрежное отношение к делу; физическое или психологическое состояние, обусловленное болезнью, переутомлением, снижением остроты зрения; характерологические черты личности [6]. Среди последних Р.С. Белкин и А.К. Педенчук выделяют: неуверенность в своих знаниях, умениях, опытности, повышенная внушаемость, мнительность и т.п. [7] Указанные авторы правильно выделяют и логические дефекты умозаключений эксперта, и влияние материалов дела, в том числе заключения предшествующей экспертизы или авторитета проводившего ее эксперта и т.п.

 Наряду с отмеченными чертами следует обратить внимание и еще на одно немаловажное обстоятельство, касающееся, в частности, низкой квалификации эксперта. Как правило, под низкой квалификацией подразумевается небольшой стаж экспертной работы. Однако и опытный эксперт может иметь низкую квалификацию, если он не обладает теоретическими основами конкретного вида экспертиз, не освоил новые методы исследования и не знает, как работать на приборной базе нового поколения и т.д.

 

СУДЕБНО-ЭКСПЕРТНАЯ ДЕЯТЕЛЬНОСТЬ КАК ПРОЦЕССНЫЙ ПОДХОД, ОТРАЖАЮЩИЙ ЕГО ЭТАПЫ И АЛГОРИТМЫ

 

При изучении экспертных ошибок мы не можем обойти вниманием такой важный вопрос, как судебно-экспертная деятельность, в рамках которой осуществляется производство судебных экспертиз. От знания познавательных процессов профессиональной экспертной деятельности, а, главное, ее психологической структуры зависит правильность решения поставленных перед экспертом вопросов и предупреждение экспертных ошибок.

В любой профессиональной деятельности проявляются ее общественный характер, плановость, систематичность и целенаправленность [8].

Общественный характер деятельности эксперта определяется, прежде всего, правовой направленностью. Эксперт в своей профессиональной деятельности устанавливает факты (фактические данные), суждения о фактах, имеющих значение для уголовного, гражданского, арбитражного дела путем исследования объектов экспертизы [9], являющихся вещественными доказательствами. Права и обязанности эксперта закреплены процессуальным законодательством, Федеральным законом «О государственной судебно-экспертной деятельности Российской Федерации» (2001) и Законом Республики Казахстан «О судебно-экспертной деятельности в Республике Казахстан» (2017).

Под целенаправленностью следует понимать деятельность эксперта, который на основе специальных знаний должен дать правильный вывод на поставленные перед ним вопросы. От их объективности зависит установление истины по конкретному уголовному (гражданскому, арбитражному) делу.

Нарушение строгой упорядоченности действий обусловленных использованием различных методов и технических средств может привести к организационно-техническим ошибкам. Как известно, эксперт вначале должен применять неразрушающие методы, и только в случае их неэффективности, для достижения цели исследования применять разрушающие методы.

К общим чертам судебно-экспертной деятельности относится, выделяемая в литературе, и систематичность ее осуществления. Как справедливо отмечает Я.М. Яковлев [10], экспертные исследования выполняются по постановлению следователя (суда) постоянно, а не случайно, в силу занимаемой должности специалистом, имеющим специальные знания в том или ином роде (виде) экспертиз и работающим в государственном экспертном учреждении.

Кроме того, решение проблем является неотъемлемой частью любой познавательной деятельности. В процессе проведения судебной экспертизы, которая является познавательной профессиональной деятельностью, решение поставленной задачи зависит от самого объекта (его состояния) и цели исследования, разработки методики и курса специалиста. Поэтому важно понимать поставленную задачу, независимо от того, какое исследование проводится (идентификация или диагностика).

При уяснении задачи необходимо помнить, что структура ее состоит из условия и цели. В качестве условия выступают исходные данные, методы и средства, используемые для решения задачи при исследовании объектов. Цель составляет искомое, т.е. то, что эксперт должен получить в результате решения задачи. Как известно, цель при решении экспертной задачи определяется вопросами, поставленными следователем (судом) на разрешение экспертизы.

Уяснив задачу и определив цель, эксперт должен выбрать правильную стратегию решения задач. Она выбирается с учетом оснований, по которым строится классификация задач.

В целом, правильно подобранная стратегия решения задач должна обеспечивать все необходимые элементы для обучения полноценного и качественного специалиста. К ним относятся системно-структурный подход, то есть всестороннее изучение всех свойств объекта, информационный подход, использующий разнообразную дополнительную информацию, полученную из других источников. Правильное решение проблемы гарантировано благодаря цели деятельности специалиста при проведении проверки, научному и комплексному подходу к решению поставленной задачи и, конечно же, процедурным и этическим стандартам специалиста (честность, неподкупность, неподкупное поведение).

В зависимости от вида решаемых задач (идентификационные или диагностические), различной будет и их стратегия. Это объясняется тем, что методика идентификационного исследования достаточно хорошо разработана и особых сложностей на практике (в плане последовательности проведения тех или иных действий, самого механизма решения задачи) не вызывает. Что же касается диагностического исследования, то здесь складывается более сложная, а порой далеко неоднозначная ситуация. Для решения диагностических задач требуется знание обстоятельств дела, относящихся к предмету экспертизы, чтобы сузить круг поиска и альтернативных объяснений факта. Такая конкретизация важна для последующего выдвижения экспертных гипотез (версий). При этом в различных родах (видах) экспертиз она будет разной. Для производства взрыв технической экспертизы могут потребоваться практически все материалы дела; для дактилоскопической экспертизы будет достаточно только протокола осмотра места происшествия (т.е. сведения об обнаружении и фиксации следов рук); при исследовании холодного оружия материалы дела могут не потребоваться вовсе.

3Федеральный закон «О государственной судебно-экспертной деятельности Российской Федерации» . Режим доступа: https://www.consultant.ru/document/cons_doc_LAW_31871/ Дата обращения: 05.08.2024.

4Закон Республики Казахстан «О судебно-экспертной деятельности в Республике Казахстан. Режим доступа: https://adilet.zan.kz/rus/docs/Z1700000044Дата обращения: 05.08.2024.

 

После уточнения задачи специалист выяснит, имеются ли в наличии исходные данные, необходимые для решения данной задачи, или необходимо получить дополнительную информацию, и разрабатывается программа (план) для решения проблемы. Если исходных данных достаточно, исследуется сопоставляемый с объектом исследования материал (если таковой имеется), определяется его качество и излагается гипотеза (версия) специалиста.

Наряду с изложенным, для предотвращения экспертных ошибок представляется необходимым использовать и машинное обучение.

Е.Х. Баринов и др. [11] обращают внимание на необходимость самоанализа и взаимной проверки экспертных заключений с целью недопущения ошибок. В данном случае искусственный интеллект (ИИ) позволяет выступить в качестве независимого коллеги-эксперта, поскольку стереотип мышления может затуманивать взгляд, мешая увидеть погрешности в своем заключении. Также ИИ станет помощником для руководителя экспертной организации, контролирующего своих подчиненных.

ИИ повышает эффективность эксперта за счет повышения точности принятия решений, обработки информации, которая значительно превосходит аналогичные возможности человека, и повышения точности работы.

Мы можем привести лишь примерный список направлений судебно-медицинской экспертизы, в которых уже применяются или пока лишь апробируются методы искусственного интеллекта.

Идентификация и атрибуция трупа, установление причин смерти, установление давности смерти. Так, данные компьютерной томографии могут сопоставляться с прижизненными снимками человека. Использование компьютерной томографии при судебно-медицинских исследованиях представляется наиболее вероятным применением ИИ в данном направлении экспертной деятельности: необходимость минимизации дозы радиации в этом случае отсутствует, поэтому возможен более длительный процесс сканирования, результатом которого окажутся десятки и сотни тысяч снимков[12]. Именно в анализе настолько больших данных полноценно раскрываются возможности машинного обучения. Так, свёрточные нейронные сети упоминаются в исследованиях Y. Zeng с коллегами для диагностики обморожений[13], у W. Schweitzer и М. Thali – для исследования обтурационной асфиксии[14], у N. Dempsey с коллегами – для установления того, возникло повреждение бедренной кости в результате вертикального удара (при падении), либо при горизонтальном ударе (наезд транспортного средства)[15].

Теме использования ИИ в судебно-медицинской экспертизе посвящен ряд трудов, опубликованных за последние несколько лет. К примеру, Е.Г. Чонбаев и др. [16] исследовали вопрос применения ИИ судебно-медицинскими организациями в исследованиях по уголовным делам о пытках, Д.В. Воеводкин и др. [17] рассмотрели потенциал использования ИИ для выявления фальсификации заключений судебно-медицинских экспертиз, М.Б. Садыков и др. [18] изучили тему синергии ИИ и чипирования человека в судебно-медицинской экспертизе, Ж.Ж. Жантуреев и др. [19] представили свое видение применения киберфизических систем на основе ИИ при исследовании тел утопленников.

Так, возраст можно определить с помощью многофакторных исследований, включающих радиографию, исследование отдельных частей тела (кисти рук, ключица, зубной аппарат и т.д.). В этом случае ИИ применяется как функция, в которой переменными являются результаты измерения и оценки указанных параметров [20]. Схожим образом может определяться и пол по повреждённым костным останкам [21].

К примеру, ученые Гарвадской медицинской школы [22]  разработали систему для оценки костного возраста на основе ИИ (рис.1, 2).

Кроме того, на основании полученных с помощью КТ или МРТ снимков модель машинного обучения может определять патологические состояния внутренних органов [23], в том числе при расследовании криминальных инсценировок и медико-трасологических исследованиях. Так, в Швейцарии создан аппарат V* [24] для проведения виртуального вскрытия (рис.3).

Обратите внимание, что спецификация самой технологии искусственного интеллекта требует большого объема входных данных. Это обуславливает тот факт, что во всех проанализированных работах искусственный интеллект используется в связи с результатами лучевых исследований, чаще всего с результатами компьютерной томографии.

Однако несмотря на широкое поле доступных вариантов, отмечается, что в повседневной практике судебно-медицинских экспертов ИИ пока не применяется [25].

 

ЗАКЛЮЧЕНИЕ

Исследования в области применимости ИИ в судебной медицине по большей части фокусируются на положительных аспектах применения этой технологии. Встречаются также работы, в которых раскрывается проблемное поле, а именно вполне возможные ошибки интеллектуальных систем, которые могут повлечь крайне негативные последствия [26].

Вместе с тем часто из вида упускается ещё один аспект данной темы, способный повысить эффективность связи экспертной деятельности и технологий искусственного интеллекта, а именно применение ИИ для выявления экспертных ошибок.

Полагаем, что интеллектуальное распознавание экспертных ошибок возможно в двух формах.

Во-первых, во время самого процесса соответствующего исследования. В этом случае система поддержки принятия решения может обладать модулем сопоставления рекомендуемого решения с действием эксперта, в реальном времени, или постфактум. Разумеется, окончательное решение в настоящее время должно оставаться за человеком, однако само расхождение мнений ИИ и человека-эксперта должно являться основанием либо для изменения параметров (весов) интеллектуальной системы, в том числе в форме её до- или переобучения, либо для переоценки решения судебно-медицинского эксперта.

Во-вторых, при оценке заключения эксперта.

Этот вектор цифровизации выглядит более вероятным: тренировка систем ИИ осуществляется наилучшим образом при наличии большого количества однотипных объектов, в описываемом случае – заключений экспертизы.

Для создания такой системы потребуется собрать большой объём таких документов; структурировать их по разным основаниям – объектам, задачам, методам и пр.; затем произвести разметку – выделить типовые блоки в экспертной заключении, в которых чаще всего встречаются типовые ошибки. Отметим, что ошибки могут носить как типовой, так и уникальный характер.   Ошибки второй группы в целом выявляются человеком, кроме этого, нельзя исключать область вариантов, в которых уникальная ошибка таковой не является, а действие, предпринятое экспертом, пусть даже выходящее за рамки экспертной методики, является ситуационно необходимым проявлением экспертной инициативы.

Указанные этапы должны быть реализованы представителями профессионального сообщества экспертов. Затем, исходя из поставленной задачи, приоритет переходит к разработчикам моделей ИИ и специалистам по data-science.

На наш взгляд, основная гипотеза в данном случае будет звучать следующим образом: «если текст и иллюстративный материал заключения судебно-медицинского эксперта имеет внутренние рассогласования либо противоречит большинству иных заключений, включённых в датасет, имеет место ошибка».

Кроме того, для комплексного рассмотрения всех особенностей применения ИИ при установлении экспертных ошибок проведен SWOT1-анализ (табл.1).

 

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение поисково-аналитической работы и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: А.К. Бакенова ― концепция и дизайн работы, сбор и обработка материала, написание текста рукописи, научное редактирование рукописи; Е.Н. Бегалиев  - концепция и дизайн работы, научное редактирование рукописи, рассмотрение и одобрение окончательного варианта рукописи; А.А. Аубакирова ― концепция и дизайн работы, сбор и обработка материала, написание текста рукописи, научное редактирование рукописи; Д.В.Бахтеев ― концепция и дизайн работы, сбор и обработка материала, написание текста рукописи, научное редактирование рукописи.

 

ADDITIONAL INFORMATION

Funding source. This study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. A.K. Bakenova ― concept and design of the work, collection and processing of materials, writing the manuscript text, scientific editing of the manuscript; Ye.N.Begaliyev ― concept and design of the work, scientific editing of the manuscript, review and approval of the final version of the manuscript; A.A.Aubakirova ― concept and design of the work, collection and processing of materials, writing the manuscript text, scientific editing of the manuscript; D.V.Bakhteev ― concept and design of the work, collection and processing of materials, writing the manuscript text, scientific editing of the manuscript.

СПИСОК ЛИТЕРАТУРЫ

1.             Белкин Р.С., Педенчук А.К. Понятие экспертных ошибок и их классификация / Р.С.Белкин, А.К.Педенчук //  Общетеоретические, правовые и организационные основы судебной экспертизы. – М., 1987. С. 59. С. 59-67
2.  См., напр.: Краснобаева А.Ю. Экспертные ошибки: причины, последствия, профилактика. Дис. канд. юридич. наук. 12.00.09/ ВШМ МВД России- Волгоград, 1997; Аверьянова Т.В. Судебная экспертиза. Курс общей теории / Т.В.Аверьянова – М., 2008; Макушкина Г. Е., Вермель И. Г., Кочнева Л. В. Понятие, причины и профилактика экспертных ошибок/ Г.Е.Макушкина, И.Г.Вермель, Л.В.Кочнева // Судебно-экспертное исследование человека и его деятельности. – Свердловск, 1985. С. 104-109. С. 106 и др.
3. Энциклопедия судебной экспертизы. Изд-во «Юрист». – М., 1999. 510 с. С. 285.
4. Россинская Е. Р., Баринов Е.Х., Бутырин А.Ю., Галяшина и др. Судебная экспертиза в цивилистических процессах: научно-практическое пособие //Москва: Проспект. – 2018. – Т. 704.
5. Кондаков Н.И. Логический словарь / Н.И.Кондаков -М., 1971. С. 273
6. По мнению И.М. Каплунова, «субъективные ошибки сами имеют объективное основание», отсюда он делает вывод, что «происхождение экспертных ошибок может быть обусловлено двумя факторами: 1) объективными условиями, затрудняющими и усложняющими сам процесс экспертного исследования и формулирования вывода, что создает реальную возможность экспертной ошибки, и 2) субъективными причинами, превращающими возможность экспертной ошибки в действительность» (Каплунов И.М. Объективные и субъективные причины экспертных ошибок и пути их устранения / И.М.Каплунов // Новые разработки и дискуссионные проблемы теории и практики судебной экспертизы. –М., 1983. С. 1). Возражая данной позиции И.М. Каплунова, Р.С. Белкин и А.К. Педенчук пишут, что он (И.М. Каплунов) «строго говоря, исключает объективные причины экспертных ошибок», с чем, конечно же, следует согласиться. (Белкин Р.С., Педенчук А.Р. Понятие экспертных ошибок и их классификация / Р.С.Белкин, А.Р.Педенчук // Общетеоретические, правовые и организационные основы судебной экспертизы./ Сб. науч. тр. ВНИИСЭ. –М., 1987. с. 59-66. С. 63. 
7. Белкин Р.С., Педенчук А.К. Понятие экспертных ошибок и их классификация / Р.С.Белкин, А.Р.Педенчук // Общетеоретические, правовые и организационные основы судебной экспертизы. Сб. науч. тр. ВНИИСЭ. – М., 1987. 154 c. С.65.
8. Рудик П.А. Психология. / П.А.Рудик. -  М., Изд. «Физкультура и спорт», 1964. 345 с.
9. Аверьянова Т.В. Судебная экспертиза. Курс общей теории / Т.В.Аверьянова – М.,2006. С.77.
10. Яковлев Я.М. Основы психологии судебно-экспертной деятельности. / Я.М.Яковлев // Вопросы психологии и логики в судебно-экспертной деятельности. Сб. науч. тр. №30. -М., 1977. С.8.
11. Баринов Е. Х., Михеева Н. А., Калинин Р. Э., Тарасова Н. В. Внутренний контроль качества судебно-медицинских экспертиз по фактам неоказания медицинской помощи //Судебная медицина. 2020; 6(1):46–50. https://doi.org/10.19048/2411-8729-2020-6-1-46-50.
12.       Лах П.М., Гашо Д., Швейцер В., Рудер Т.Д., Бергер Н., Росс С.Г. и др. Визуализация в судебной радиологии: иллюстрированное руководство по методам и протоколам посмертной компьютерной томографии. Судебно-медицинская экспертиза. 2014;10:583–606
13.       Цзэн, Ю.; Чжан, X.; Ёсидзуми, И.; Чжан, З.; Мизуно, Т.; Сакамото, С.; Кавасуми, Ю.; Усуи, А.; Ичиджи, К.; Буковский И.; и другие. Диагностика фатальной гипотермии на основе глубокого обучения с использованием посмертной компьютерной томографии. Тохоку Дж. Эксп. Мед. 2023, 260, 253–261.
14.       Швейцер, В.; Тали, М. Фатальная обструктивная асфиксия: характеристика транслегочного градиента плотности как релевантный идентификатор при посмертной КТ. Дж. Судебная радиол. Визуализация 2019, 19, 100337.
15.       Демпси, Н.; Бассед, Р.; Блау, С. Проблемы и сложности разработки методологий различения вертикальных и горизонтальных механизмов воздействия при анализе скелетных травм: вводный тест на бедренную кость. Судебная медицина. Межд. 2021, 323, 110785.
16. Чонбаев Е.Г., Бегалиев Е.Н., Куаналиева Г.А., Имашев Б.М., Августхан С.А. Криминалистические аспекты пыток посредством использования системы искусственного интеллекта: научный обзор // Судебная медицина. 2024. Т. 10, No 1. С. 37–46. DOI: https://doi.org/10.17816/fm16102
17. Воеводкин Д.В., Рустемова Г.Р., Бегалиев Е.Н., Игембаев К.А., Аюпова З.Н. К вопросу выявления поддельных заключений судебно-медицинских экс-пертиз посредством применения технологии искусственного интеллекта по опыту Республики Казахстан: научный обзор // Судебная медицина. 2023. Т. 9, No 3. С. 287–298. DOI: https://doi.org/10.17816/fm8270
18. Садыков М.Б., Бегалиев Е.Н., Бахтеев Д.В., Казиева А.Н., Хусаинов О.Б. Применение искусственного интеллекта и чипирования человека в судебно-медицинской экспертизе: научный обзор // Судебная  медицина. 2024. Т. 10, № 1.  С.  000–000.  DOI: https://doi.org/10.17816/fm16093.
19. Жантуреев  Ж.Ж.,  Бегалиев  Е.Н.,  Аубакирова  А.А.,  Бертлеуов  С.С.  Применение  подводного  дрона  в  ходе  исследования  тел  утопленников:  научный  обзор // Судебная медицина. 2024. Т. 10, No 1. С. 68–78. DOI: https://doi.org/10.17816/fm16097
20.       Сцендони Р., Чинголани М., Джованьони А., Фоганте М., Федели П., Пиголкин Ю.И. и др. Анализ костей запястья на МР-изображениях для определения возраста. Первые результаты нового судебно-медицинского подхода. Международная судебно-медицинская экспертиза 2020; 313:110341.
21.       Патираннахалаге И., Виданапатирана М., Субашингхе А. Искусственный интеллект в судебной медицине. Медико-правовой журнал Шри-Ланки, 2022;10(2):17-21. DOI: http://dx.doi.org/10.4038/mljsl.v10i2.7469.
  1. Lee, H., Tajmir, S., Lee, J. et al. Fully Automated Deep Learning System for Bone Age Assessment. // J Digit Imaging 30, 427–441 (2017). https://doi.org/10.1007/s10278-017-9955-8
23.       Виртуальное вскрытие, улучшенное машинным обучением. О'Салливан С., Хольцингер А., Затлукал К., Салдива П., Саджид М.И., Вичманн Д. AutopsCaseRep. 2017;7:3–
24. Virtopsy wins Swiss ICT Special Award 2015 // ACMIT. [Электронный ресурс] – Режим доступа: https://acmit.at/virtopsy-wins-swiss-ict-special-award-2015/ (дата обращения: 02.04.2024).
25.       Турнуа Л., Труссе В., Хатч Д. и др. Искусственный интеллект в практике судебной медицины: обзорный обзор. IntJLegalMed 138, 1023–1037 (2024). https://doi.org/10.1007/s00414-023-03140-9.
26.       Эванс Х., Снид Д. Понимание ошибок, допущенных алгоритмами искусственного интеллекта в гистопатологии, с точки зрения воздействия на пациента. npj Цифра. Мед. 7, 89 (2024). https://doi.org/10.1038/s41746-024-01093-w.
 
 REFERENCES
1.Belkin R.S., Pedenchuk A.K. The concept of expert errors and their classification / R.S. Belkin, A.K. Pedenchuk // General theoretical, legal and organizational foundations of forensic examination. – M., 1987. P. 59. P. 59-67
2.See, for example: Krasnobaeva A.Yu. Expert errors: causes, consequences, prevention. dis. Ph.D. legal Sci. 12.00.09/ Higher School of Management of the Ministry of Internal Affairs of Russia - Volgograd, 1997; Averyanova T.V. Forensic examination. Course of general theory / T.V. Averyanova - M., 2008; Makushkina G. E., Vermel I. G., Kochneva L. V. Concept, causes and prevention of expert errors / G. E. Makushkina, I. G. Vermel, L. V. Kochneva // Forensic expert study of man and his activities. – Sverdlovsk, 1985. P. 104-109. P. 106, etc.
3.Encyclopedia of Forensic Science. Publishing house "Lawyer". – M., 1999. 510 p. P. 285.
4. Rossinskaja E. R., Barinov E.H., Butyrin A.Ju., Galjashina i dr. Sudebnaja jekspertiza v civilisticheskih processah: nauchno-prakticheskoe posobie //Moskva: Prospekt. – 2018. – T. 704.
5. Kondakov N.I. Logical dictionary / N.I. Kondakov - M., 1971. P. 273
6. According to I.M. Kaplunova, “subjective errors themselves have an objective basis,” from which he concludes that “the origin of expert errors can be determined by two factors: 1) objective conditions that complicate and complicate the very process of expert research and formulation of a conclusion, which creates a real possibility of an expert error, and 2) subjective reasons that turn the possibility of expert error into reality” (Kaplunov I.M. Objective and subjective causes of expert errors and ways to eliminate them / I.M. Kaplunov // New developments and debatable problems of the theory and practice of forensic examination. -M ., 1983. P. 1). Objecting to this position I.M. Kaplunova, R.S. Belkin and A.K. Pedenchuk write that he (I.M. Kaplunov) “strictly speaking, excludes objective causes of expert errors,” which, of course, one should agree with. (Belkin R.S., Pedenchuk A.R. The concept of expert errors and their classification / R.S. Belkin, A.R. Pedenchuk // General theoretical, legal and organizational foundations of forensic examination. / Collection of scientific works. VNIISE. – M., 1987. pp. 59-66.
7. Belkin R.S., Pedenchuk A.K. The concept of expert errors and their classification / R.S. Belkin, A.R. Pedenchuk // General theoretical, legal and organizational foundations of forensic examination. Sat. scientific tr. VNIISE. – M., 1987. 154 p. P.65.
8. Rudik P.A. Psychology. / P.A.Rudik. - M., Ed. “Physical education and sport”, 1964. 345 p.
9. Averyanova T.V. Forensic examination. Course of general theory / T.V. Averyanova - M., 2006. P.77.
10.Yakovlev Ya.M. Fundamentals of psychology of forensic activity. / Y.M. Yakovlev // Questions of psychology and logic in forensic activities. Sat. scientific tr. No. 30. -M., 1977. P.8.
11.Barinov E. H., Miheeva N. A., Kalinin R. Je., Tarasova N. V. Vnutrennij kontrol' kachestva sudebno-medicinskih jekspertiz po faktam neokazanija medicinskoj pomoshhi //Sudebnaja medicina. 2020; 6(1):46–50. https://doi.org/10.19048/2411-8729-2020-6-1-46-50.
12.       lach PM, Gascho D, Schweitzer W, Ruder TD, Berger N, Ross SG, et al. Imaging in forensic radiology: an illustrated guide for postmortem computed tomography technique and protocols. Forensic Sci Med Pathol. 2014;10:583–606
13.       Zeng, Y.; Zhang, X.; Yoshizumi, I.; Zhang, Z.; Mizuno, T.; Sakamoto, S.; Kawasumi, Y.; Usui, A.; Ichiji, K.; Bukovsky, I.; et al. Deep learning-based diagnosis of fatal hypothermia using post-mortem computed tomography. Tohoku J. Exp. Med. 2023, 260, 253–261.
14.       Schweitzer, W.; Thali, M. Fatal obstructive asphyxia: Trans-pulmonary density gradient characteristic as relevant identifier in postmortem CT. J. Forensic Radiol. Imaging 2019, 19, 100337.
15.       Dempsey, N.; Bassed, R.; Blau, S. The issues and complexities of establishing methodologies to differentiate between vertical and horizontal impact mechanisms in the analysis of skeletal trauma: An introductory femoral test. Forensic Sci. Int. 2021, 323, 110785.
16. Chonbaev E.G., Begaliev E.N., Kuanalieva G.A., Imashev B.M., Avgusthan S.A. Kriminalisticheskie aspekty pytok posredstvom ispol'zovanija sistemy iskusstvennogo intellekta: nauchnyj obzor // Sudebnaja medicina. 2024. T. 10, No 1. S. 37–46. DOI: https://doi.org/10.17816/fm16102
17. Voevodkin D.V., Rustemova G.R., Begaliev E.N., Igembaev K.A., Ajupova Z.N. K voprosu vyjavlenija poddel'nyh zakljuchenij sudebno-medicinskih jeks-pertiz posredstvom primenenija tehnologii iskusstvennogo intellekta po opytu Respubliki Kazahstan: nauchnyj obzor // Sudebnaja medicina. 2023. T. 9, No 3. S. 287–298. DOI: https://doi.org/10.17816/fm8270
18. Sadykov M.B., Begaliev E.N., Bahteev D.V., Kazieva A.N., Husainov O.B. Primenenie iskusstvennogo intellekta i chipirovanija cheloveka v sudebno-medicinskoj jekspertize: nauchnyj obzor // Sudebnaja  medicina. 2024. T. 10, № 1.  S.  000–000.  DOI: https://doi.org/10.17816/fm16093.
19. Zhantureev  Zh.Zh.,  Begaliev  E.N.,  Aubakirova  A.A.,  Bertleuov  S.S.  Primenenie  podvodnogo  drona  v  hode  issledovanija  tel  utoplennikov:  nauchnyj  obzor // Sudebnaja medicina. 2024. T. 10, No 1. S. 68–78. DOI: https://doi.org/10.17816/fm16097
20.       Scendoni R, Cingolani M, Giovagnoni A, Fogante M, Fedeli P, Pigolkin YI, et al. Analysis of carpal bones on MR images for age estimation First results of a new forensic approach. Forensic Science International 2020; 313:110341.
21.       Pathirannahalage I, Vidanapathirana M, Subashinghe A. Artificial Intelligence for Forensic Medicine. Medico-Legal Journal of Sri Lanka, 2022;10(2):17-21. DOI: http://dx.doi.org/10.4038/mljsl.v10i2.7469.
  1. Lee, H., Tajmir, S., Lee, J. et al. Fully Automated Deep Learning System for Bone Age Assessment. // J Digit Imaging 30, 427–441 (2017). https://doi.org/10.1007/s10278-017-9955-8
23.       Machine learning enhanced virtual autopsy. O'Sullivan S, Holzinger A, Zatloukal K, Saldiva P, Sajid MI, Wichmann D. Autops Case Rep. 2017;7:3–7.
24. Virtopsy wins Swiss ICT Special Award 2015 // ACMIT. [Электронный ресурс] – Режим доступа: https://acmit.at/virtopsy-wins-swiss-ict-special-award-2015/ (дата обращения: 02.04.2024).
25.       Tournois, L., Trousset, V., Hatsch, D. et al. Artificial intelligence in the practice of forensic medicine: a scoping review. Int J Legal Med 138, 1023–1037 (2024). https://doi.org/10.1007/s00414-023-03140-9.
26.       Evans, H., Snead, D. Understanding the errors made by artificial intelligence algorithms in histopathology in terms of patient impact. npj Digit. Med. 7, 89 (2024). https://doi.org/10.1038/s41746-024-01093-w.
 

ТАБЛИЦЫ

 

Таблица 1. SWOT-анализ применения искусственного интеллекта при установлении экспертных ошибок

Table 1.SWOT analysis of the use of artificial intelligence in identifying expert errors

 

Сильные стороны:

Слабые стороны:

Точность: непревзойденная точность ИИ позволяет ему просеивать огромные объемы данных, выявляя закономерности и ошибки, которые могли бы остаться незамеченными экспертами.

 

Стабильность: по сравнению с экспертами-людьми, на которых может повлиять усталость или предвзятость, ИИ сохраняет стабильную производительность на протяжении всего анализа.

 

Быстродействие: благодаря ИИ анализ судебно-экспертных данных становится еще более быстрым, что значительно ускоряет процесс проверки.

 

Экономия денежных средств: со временем способность ИИ сводить к минимуму повторные проверки и исправления приводит к значительной экономии средств при проведении судебной экспертизы.

 

Масштабируемость: способные обрабатывать огромные объемы данных, системы ИИ могут быть легко расширены, чтобы удовлетворить растущие потребности судебной экспертизы.

 

Обнаружение паттернов: ИИ позволяет обнаруживать сложные связи в данных, которые человек может пропустить, что приводит к обнаружению ранее неизвестных типов ошибок.

Значительные финансовые затраты: разработка, интеграция и поддержка ИИ может потребовать значительных финансовых и временных затрат.

 

Высокие требования к качеству датасета: качество системы ИИ зависит от данных, на которых она обучается. Дефектные или предвзятые данные могут привести к неточным результатам и укрепить существующие предрассудки.

 

Девальвация человеческого таланта: чрезмерная зависимость от ИИ может привести к обесцениванию опыта и подготовки, необходимых для специалистов в области судебной экспертизы. Не стоит забывать, что ИИ – это помощник, а не замена эксперта.

 

Проблема "черного ящика" ИИ: одним из основных препятствий для использования ИИ в судебной экспертизе является его непрозрачность. Бывает сложно объяснить, почему система ИИ выявляет потенциальную ошибку в конкретном случае, что может создать трудности при представлении доказательств в суде.

 

Отсутствие общей картины: cсовременные системы ИИ могут не справиться с задачей, когда речь идет о сложных рассуждениях и контексте. Это может привести к неправильному толкованию экспертных заключений.

Возможности:

Угрозы:

Повышение точности судебного ИИ, защищающего от ошибок, судебная экспертиза становится все более точной, что приводит к более надежным результатам.

 

Повышение квалификации судебных экспертов: используя ИИ, судебные эксперты могут получить ценные сведения о часто встречающихся ошибках и в конечном итоге улучшить свои методы анализа.

 

Технологическое трио: сочетание искусственного интеллекта, анализа больших данных и машинного обучения создает для судебных экспертов мощный арсенал для проведения экспертиз.

 

Расширение внедрения ИИ в правовую сферу: по мере того как эффективность ИИ будет доказана, его интеграция в юридические и судебные процедуры будет ускоряться, открывая путь к значительным системным улучшениям.

Этические риски: Хотя ИИ дает преимущества при проведении судебной экспертизы, его использование порождает этические споры о неприкосновенности частной жизни и юридические препятствия, связанные с принятием доказательств, полученных с помощью ИИ в суде.

 

Противодействие со стороны профессионального сообщества: страх перед потерей работы и скептическое отношение к возможностям ИИ могут привести к отказу судебных экспертов и юристов от внедрения этой технологии.

 

Сбой в работе: несмотря на свою мощь, ИИ не является безотказным. Сбои в работе или неправильное использование могут привести к серьезным последствиям, например к формированию неправомерных заключений в судебной экспертизе.

 

Информационная безопасность: Кибератаки на системы ИИ представляют собой значительный риск, поскольку они могут манипулировать данными судебной экспертизы и подрывать доверие к системе правосудия.

 

Несовершенство правовых регуляторных механизмов: Все более широкое использование ИИ в судебной экспертизе требует пристального внимания к навигации по сложным нормативным документам и обеспечению соблюдения правовых рамок и установленных передовых практик.

 

РИСУНКИ

 

Рис. 1.Оценка возраста женщины по кости запястья и его распределение по группам при помощи искусственного интеллекта.

Fig. 1. Estimation of a woman's age based on the wrist bone and its distribution into groups using artificial intelligence.

 

 

 

 

Рис. 2.Оценка возраста мужчины по кости запястья и его распределение по группам при помощи искусственного интеллекта.

Fig. 2. Estimation of a man's age based on the wrist bone and its distribution into groups using artificial intelligence.

 

 

 

 

 

 

 

 

 

 

Рис. 3.Швейцарский аппарат V* для проведения виртуального вскрытия.

Fig. 3.Swiss V* device for virtual autopsy.
 
 
 
 
 

 

1SWOT расшифровывается как Strengths (сильные стороны), Weaknesses (слабые стороны), Opportunities (возможности) и Threats (угрозы). Это схема, используемая для анализа ситуации, проекта или организации.

×

Об авторах

Айгерим Бакенова

Автор, ответственный за переписку.
Email: a.k.bakenova@gmail.com

Ернар Нурланович Бегалиев

Академия правоохранительных органов при Генеральной прокуратуре Республики Казахстан

Email: ernar-begaliev@mail.ru
ORCID iD: 0000-0001-6659-8576
SPIN-код: 1929-3392

д-р юр. наук, профессор

Казахстан, Косшы

Анна Александровна Аубакирова

Санкт-Петербургский гуманитарный университет профсоюзов

Email: anna_lir@mail.ru
ORCID iD: 0000-0002-6547-0869
SPIN-код: 3074-7383

д-р юр. наук, профессор

Россия, Санкт-Петербург

Дмитрий Валерьевич Бахтеев

Уральский государственный юридический университет имени В.Ф. Яковлева

Email: dmitry.bakhteev@gmail.com
ORCID iD: 0000-0002-0869-601X
SPIN-код: 8301-7165

д-р юр. наук, доцент

Россия, Екатеринбург

Лариса Канатовна Кусаинова

Карагандинский университет имени Е.А. Букетова, Караганда, Республика Казахстан

Email: klarisa_777@mail.ru
ORCID iD: 0000-0002-8208-6623
SPIN-код: 5926-1900
Scopus Author ID: 57964019600
ResearcherId: rid66058
Казахстан, Республика Казахстан, город Караганда, улица Университетская 28

Список литературы

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

© Эко-Вектор,



СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 60835 выдано 09.09.2021 г. 
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ЭЛ № ФС 77 – 59181 выдано 03.09.2014
г.



Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах