PROMT принял участие в соревновании по автоматическому извлечению информации из русскоязычных текстов FactRuEval, проводившемся в 2016 г. в рамках инициативы Dialogue Evaluation, которая была приурочена к конференции Диалог 2016.

Соревнование включало две дорожки по извлечению именованных сущностей и одну дорожку по извлечению фактов. В рамках первой дорожки требовалось решить классическую задачу NER (Named - entity recognition), заключающуюся в выделении в текстовом корпусе всех упоминаний именованных сущностей следующих типов:

•  Персоны,    
•  Организации,    
•  Локации (названия географических объектов) с разделением на геоназвания в физическом смысле (Территория России) и геоназвания в политическом контексте (Россия заявила).

Во второй дорожке требовалось выделить все уникальные сущности указанных типов вместе с атрибутами, если информация о них была доступна в анализируемом тексте (например, для персон требовалось отдельно выделить ФИО). Важными требованиями второй  дорожки были:

•  Нормализация названия сущности, т.е. приведение ее к канонической форме - в большинстве случаев, к именительному падежу единственного числа - с сохранением грамматического согласования между элементами названия;
•  Удаление дубликатов, т.е. разные упоминания одной и той же сущности должны были быть ассоциированы между собой, например, для случаев “В.И.Петров приехал, Василия Ивановича Петрова встретили, Васе Петрову предложили» в выводе требовалось указать «Петров Василий Иванович».

В рамках третьей дорожки нужно было выделить факты определенных типов.

Всего в соревновании приняли участие 13 команд, представляющих 7 коммерческих организаций, 5 научных центров и одно новостное агентство. По условиям соревнования участники выступали под псевдонимами, решение раскрывать или не раскрывать свое участие после соревнования оставлялось за участниками. Компания PROMT принимала участие под псевдонимом aquamarin в первой и второй дорожке.

На первом этапе участникам организаторами была предоставлена тренировочная коллекция из 122 вручную размеченных текстов для настройки своих систем, на втором этапе участники получили коллекцию из примерно 37000 документов, которую необходимо было обработать и предоставить результаты для оценки. Далее организаторы извлекали из всего массива предоставленных данных заранее определенную «тестовую выборку» и сравнивали результат участников с эталонным.

Итоги соревнования были подведены на конференции Диалог 2016, которая прошла в Москве 1-4 июня 2016 года.  Оценка производилась по трем параметрам:

•  Точности (отношению числа правильно выделенных сущностей к общему числу выделенных сущностей),    
•  Полноте (отношению числа правильно выделенных сущностей к общему числу сущностей в тестовой коллекции),       
•  F -мере (интегральная характеристика, учитывающая как точность, так и полноту).

В обеих дорожках, в которых PROMT принимал участие, по показателю F-мера компания заняла вторые места, совсем немного уступив победителю (участнику под псевдонимом Pink) – 0,809 vs 0,807 по первой дорожке и 0,8 vs 0,79 по второй дорожке, но при этом став лучшей по полноте выделения сущностей как в первой, так и во второй дорожке. Кроме того, PROMT лучше всех выделил политические локации, что является далеко не самой простой задачей и которую даже не все участники решили попробовать выполнить, и локации во второй дорожке.

«Мы очень рады тому, что нам удалось получить хорошие результаты на соревновании, но главное даже не победа, а участие, потому что ценен, прежде всего, приобретаемый опыт. Также хотелось бы поблагодарить организаторов соревнования за колоссальную работу по его проведению, в первую очередь за подготовку размеченной коллекции и программы для оценки результатов. Конечно, не все получилось гладко, но на ошибках учатся, поэтому надеемся, что следующее соревнование обязательно состоится», - говорит Федор Быков, руководитель команды разработчиков PROMT.

С подробной информацией о соревновании можно познакомиться в статье “ FactRuEval 2016: тестирование систем выделения именованных сущностей и фактов для русского языка”,  либо на сайте https://github.com/dialogue-evaluation/factRuEval-2016