В процессе предобработки пользовательские запросы обогащаются информацией об извлеченных сущностях. Сущностям соответствуют токены перечисленных ниже типов.
Базовые типы токенов
| Тип токена | Примеры |
|---|---|
| NUM_TOKEN | 4, четыре |
| CCY_TOKEN | рубль, доллар, $ |
| PHONE_NUMBER_TOKEN | 8(900)465-78-90, 8-900-465-78-90, и др. |
| TIME_DATE_TOKEN | 01.01.2000 |
| TIME_YEAR_TOKEN | 2018 |
| TIME_MONTH_TOKEN | декабрь |
| CARD_NUMBER_TOKEN | 1234 3456 7890 1234 |
| ANIMACY_TOKEN | доктор |
| SENTENCE_ENDPOINT_TOKEN | . (не любая точка, а специальная фейковая точка для обозначения границ между предложениями) |
| TIME_DAY_TOKEN | среда, ср |
| TIME_TIME_TOKEN | 16:01 |
| TIME_TEMPORAL_TOKEN | вчера, давным-давно |
| NAME_TOKEN | петр |
| SURNAME_TOKEN | петров |
| PATRONYMIC_TOKEN | петрович |
| EMAIL_ADDRESS_TOKEN | ivanov@mail.ru |
| URL_TOKEN | sberdevices.ru, https://sberdevices.ru |
| EMOJI_TOKEN | 🏧 |
| THUMB_UP_TOKEN | 👍 |
| THUMB_DOWN_TOKEN | 👎 |
Составные типы токенов
| Тип токена | Примеры |
|---|---|
| MONEY_TOKEN | 100$, две тысячи рублей тридцать копеек |
| PERSON_TOKEN | Иван Иванович Иванов, Иванов Иван Иванович, Иванов Иван, Иван Иванов, Иван Иванович, Иван, Иванович, Иван ов |
| TIME_DATE_TOKEN | 2010 год, декабрь 2015, декабрь, декабрь 2015 года, 30 октября, 30 октября 2015, 30 октября 2015 года, 30/10 |
| PERIOD_TOKEN | минута, 30 минут, минут 5, секунду, лет 10, 10 лет |
| RELATIVE_TIME_TOKEN | через 30 минут, 20 минут назад, и др.: через + PERIOD_TOKEN, а также PERIOD_TOKEN + назад |
| TIME_DATE_INTERVAL_TOKEN | с октября по ноябрь, с 2010 год по 2015 и др.: комбинации с, от, между + PERIOD_TOKEN + до, по, и + PERIOD_TOKEN |
| GEO_TOKEN | ленинском проспекте, москва |
| ORG_TOKEN | сбербанк россии |