tokenization
noun
/͵təʊkənaɪʹzeɪʃn/
in Georgian | in Russian
1. სპეც. მონიშვნა, მარკირება;
2. კომპ. ტოკენიზაცია, სიტყვაფორმებად / ტოკენებად დაყოფა (ტექსტისა ელექტრონულ ტექსტურ კორპუსში – ლექსიკური ანალიზის ფარგლებში) [იხ. აგრ. token 2].