معنی فارسی tokenize
B1 /ˈtoʊ.kən.aɪz/تقسیم یک متن یا داده به اجزای کوچک‌تر به طوری که قابل پردازش یا تحلیل باشد.
To convert text into tokens, which are smaller units for the purpose of analysis or processing.
- verb
verb
معنی(verb):
To reduce to a set of tokens by lexical analysis.
معنی(verb):
To substitute sensitive data with meaningless placeholders.
معنی(verb):
To treat as a token minority.
example
معنی(example):
شما باید متن را قبل از پردازش به مؤلفه‌ها تقسیم کنید.
مثال:
You need to tokenize the text before processing.
معنی(example):
به معنای توکنیزه کردن، یعنی تقسیم یک اثر نوشتاری به واحدهای کوچک‌تر است.
مثال:
To tokenize means to break down a piece of writing into smaller units.
معنی فارسی کلمه tokenize
:
تقسیم یک متن یا داده به اجزای کوچک‌تر به طوری که قابل پردازش یا تحلیل باشد.
