# a b c d e f g h i j k l m n o p q r s t u v w x y z
Related words
Synonyms
No synonyms were found
You may also be interested in
No relevant entries were found

tokenization

noun
/͵təʊkənaɪʹzeɪʃn/
in Georgian | in Russian

1. სპეც. მონიშვნა, მარკირება;

2. კომპ. ტოკენიზაცია, სიტყვაფორმებად / ტოკენებად დაყოფა (ტექსტისა ელექტრონულ ტექსტურ კორპუსში – ლექსიკური ანალიზის ფარგლებში) [იხ. აგრ. token 2].