Токены извлеченных сущностей в Brain

Обновлено 15 декабря 2023

Brain

В процессе предобработки пользовательские запросы обогащаются информацией об извлеченных сущностях. Сущностям соответствуют токены перечисленных ниже типов.

Базовые типы токенов

Тип токена	Примеры
NUM_TOKEN	4, четыре
CCY_TOKEN	рубль, доллар, $
PHONE_NUMBER_TOKEN	8(900)465-78-90, 8-900-465-78-90, и др.
TIME_DATE_TOKEN	01.01.2000
TIME_YEAR_TOKEN	2018
TIME_MONTH_TOKEN	декабрь
CARD_NUMBER_TOKEN	1234 3456 7890 1234
ANIMACY_TOKEN	доктор
SENTENCE_ENDPOINT_TOKEN	. (не любая точка, а специальная фейковая точка для обозначения границ между предложениями)
TIME_DAY_TOKEN	среда, ср
TIME_TIME_TOKEN	16:01
TIME_TEMPORAL_TOKEN	вчера, давным-давно
NAME_TOKEN	петр
SURNAME_TOKEN	петров
PATRONYMIC_TOKEN	петрович
EMAIL_ADDRESS_TOKEN	ivanov@mail.ru
URL_TOKEN	sberdevices.ru, https://sberdevices.ru
EMOJI_TOKEN	🏧
THUMB_UP_TOKEN	👍
THUMB_DOWN_TOKEN	👎

Составные типы токенов

Тип токена	Примеры
MONEY_TOKEN	100$, две тысячи рублей тридцать копеек
PERSON_TOKEN	Иван Иванович Иванов, Иванов Иван Иванович, Иванов Иван, Иван Иванов, Иван Иванович, Иван, Иванович, Иванов
TIME_DATE_TOKEN	2010 год, декабрь 2015, декабрь, декабрь 2015 года, 30 октября, 30 октября 2015, 30 октября 2015 года, 30/10
PERIOD_TOKEN	минута, 30 минут, минут 5, секунду, лет 10, 10 лет
RELATIVE_TIME_TOKEN	через 30 минут, 20 минут назад, и др.: через + PERIOD_TOKEN, а также PERIOD_TOKEN + назад
TIME_DATE_INTERVAL_TOKEN	с октября по ноябрь, с 2010 год по 2015 и др.: комбинации с, от, между + PERIOD_TOKEN + до, по, и + PERIOD_TOKEN
GEO_TOKEN	ленинском проспекте, москва
ORG_TOKEN	сбербанк россии