Publication: ПРОГРАММА НАСТРОЙКИ МОДЕЛИ ВЫДЕЛЕНИЯ СВЯЗАННЫХ ИМЕНОВАННЫХ СУЩНОСТЕЙ С ОЦЕНКОЙ ЕЁ ЭФФЕКТИВНОСТИ
Дата
2022
Авторы
Молошников, И. А.
Сбоев, А. Г.
Селиванов, А. А.
Грязнов, А. В.
Рыльков, Г. В.
Рыбка, Р. Б.
Journal Title
Journal ISSN
Volume Title
Издатель
НИЯУ МИФИ
Аннотация
Программа предназначена для настройки модели выделения связанных именованных сущностей SpERT с расширением функциональности и включает в себя следующие процедуры: подготовка данных с использованием различных «токенизаторов», конвертация данных во внутренний формат системы SpERT из .json и обратно, векторное представление текстовых данных с использованием различных предварительно обученных языковых моделей, оценка модели выделения связанных именованных сущностей с учётом разрывной и пересекающейся разметки текстовых данных. В качестве входных данных программа использует файл .json, который представляет собой список, каждый объект в котором характеризует один входной текст. Такой объект содержит поля «text» (текст в исходном виде), entities (список выделенных в тексте сущностей), relations (список выделенных в тексте связей, используется для процедуры оценки модели). В качестве выходных данных программа представляет файл с предсказаннными связями между сущностями, отчёт по оценке эффективности модели.
Описание
Свидетельство о регистрации программ для ЭВМ
Ключевые слова
Программа , Сущности SpERT
Цитирование
ПРОГРАММА НАСТРОЙКИ МОДЕЛИ ВЫДЕЛЕНИЯ СВЯЗАННЫХ ИМЕНОВАННЫХ СУЩНОСТЕЙ С ОЦЕНКОЙ ЕЁ ЭФФЕКТИВНОСТИ / Молошников, И. А. [и др.].- 2022