معنی فارسی tokenising
B1توکنایز کردن، فرآیند جداسازی متن به اجزای کوچکتر به نام توکن است.
The action of converting a sequence of input characters into a sequence of tokens.
- verb
verb
معنی(verb):
To reduce to a set of tokens by lexical analysis.
معنی(verb):
To substitute sensitive data with meaningless placeholders.
معنی(verb):
To treat as a token minority.
example
معنی(example):
توکنایز کردن برای درک ساختار متن بسیار مهم است.
مثال:
Tokenising is crucial for understanding the structure of text.
معنی(example):
بسیاری از الگوریتم‌ها برای عملکرد صحیح به توکنایز کردن وابسته‌اند.
مثال:
Many algorithms rely on tokenising to function correctly.
معنی فارسی کلمه tokenising
:
توکنایز کردن، فرآیند جداسازی متن به اجزای کوچکتر به نام توکن است.
