Научно-практический семинар на тему «Прагматические компетенции ИИ: принципы разработки бенчмарка»

9 апреля состоялся научно-практический семинар Научно-учебной лаборатории лингвистической конфликтологии и современных коммуникативных практик, тема семинара «Прагматические компетенции ИИ: принципы разработки бенчмарка». На семинаре докладчики рассказали о том, как устроены бенчмарки, позволяющие оценивать способности языковых моделей, а также предложили наборы задач для оценки навыка извлечения импликатур и оценки конфликтного дискурса. Доклад представляла исследовательская группа: Валерий Шульгинов, Хасан Беркджан Шешмек, Соня Шевела, Рената Рандовцова и Сергей Кудряшов.

Одной из самых актуальных областей развития ИИ является разработка и усовершенствование языковых моделей. В рамках этих исследований особенно важную роль играют бенчмарки — стандартизированные тесты, позволяющие оценить способности и эффективность языковых моделей.

            На семинаре был представлен проект бенчмарка, разрабатываемый исследовательской группой под руководством Валерия Шульгинова, в которою входят Хасан Беркджан Шешмек, Соня Шевела, Рената Рандовцова и Сергея Кудряшов. Одной из ключевых особенностей предложенного бенчмарка является его основа — база данных конфликтных комментариев. Эта база данных содержит комментарии, характеризующиеся наличием несогласия, инвективы и иронии, что позволяет проверить способности моделей к распознаванию и анализу различных аспектов конфликтной коммуникации.

          В ходе встречи участники семинара обсудили принцип создания запросов и результаты предварительного тестирования, выделив особенности создания бенчмарка и прикладные ценности разработки. Разработка прагматического бенчмарка открывает перспективы для оценки и совершенствования языковых моделей, делая их более чувствительными к нюансам человеческой коммуникации и культуры.