tokenization
არსებითი სახელი
/͵təʊkənaɪʹzeɪʃn/
ქართულად | რუსულად
1. სპეც. მონიშვნა, მარკირება;
2. კომპ. ტოკენიზაცია, სიტყვაფორმებად / ტოკენებად დაყოფა (ტექსტისა ელექტრონულ ტექსტურ კორპუსში – ლექსიკური ანალიზის ფარგლებში) [იხ. აგრ. token 2].