Токены извлеченных сущностей


В процессе предобработки пользовательские запросы обогащаются информацией об извлечённых сущностях. Сущностям соответствуют токены перечисленных ниже типов.

Базовые типы токенов

Тип токена Примеры
NUM_TOKEN 4, четыре
CCY_TOKEN рубль, доллар, $
PHONENUMBERTOKEN 8(900)465-78-90, 8-900-465-78-90, и др.
TIMEDATETOKEN 01.01.2000
TIMEYEARTOKEN 2018
TIMEMONTHTOKEN декабрь
CARDNUMBERTOKEN 1234 3456 7890 1234
ANIMACY_TOKEN доктор
SENTENCEENDPOINTTOKEN . (не любая точка, а специальная фейковая точка для обозначения границ между предложениями
TIMEDAYTOKEN среда, ср
TIMETIMETOKEN 16:01
TIMETEMPORALTOKEN вчера, давным-давно
NAME_TOKEN петр
SURNAME_TOKEN петров
PATRONYMIC_TOKEN петрович
EMAILADDRESSTOKEN ivanov@mail.ru
URL_TOKEN sberdevices.ru, https://sberdevices.ru
EMOJI_TOKEN 🏧
THUMBUPTOKEN 👍
THUMBDOWNTOKEN 👎

Составные типы токенов

Тип токена Примеры
MONEY_TOKEN 100$, две тысячи рублей тридцать копеек
PERSON_TOKEN Иван Иванович Иванов, Иванов Иван Иванович, Иванов Иван, Иван Иванов, Иван Иванович, Иван, Иванович, Иванов
TIMEDATETOKEN 2010 год, декабрь 2015, декабрь, декабрь 2015 года, 30 октября, 30 октября 2015, 30 октября 2015 года, 30/10
PERIOD_TOKEN минута, 30 минут, минут 5, секунду, лет 10, 10 лет
RELATIVETIMETOKEN через 30 минут, 20 минут назад, и др.: через + PERIODTOKEN, а также PERIODTOKEN + назад
TIMEDATEINTERVAL_TOKEN с октября по ноябрь, с 2010 год по 2015 и др.: комбинации с, от, между + PERIODTOKEN + до, по, и + PERIODTOKEN
GEO_TOKEN ленинском проспекте, москва
ORG_TOKEN сбербанк россии

Заметили ошибку?

Выделите текст и нажмите Ctrl + Enter, чтобы сообщить нам о ней