- پنج‌شنبه 21 آبان 1405 ساعت 21:05
- 0.6.2
- کامل شده
- منقضی شده
این داکیومنت از طرف توسعه‌دهنده ساپورت نمی‌شود، جدیدترین ورژن داکیومنت بزودی ترجمه خواهد شد.
Token Count Vectorizer متن را به برداری از شمارش واژه‌ها یا Tokenها تبدیل می‌کند. این تبدیل متن را از قالب رشته‌ای به ویژگی‌های عددی تبدیل می‌کند تا الگوریتم‌های یادگیری ماشین بتوانند آن را پردازش کنند.
نحوه کار و کاربرد
ابتدا Tokenizer واژه‌ها را جدا می‌کند و Vectorizer واژگان مجموعه آموزش را می‌سازد. سپس هر سند به برداری تبدیل می‌شود که مقدار هر خانه تعداد رخداد یک Token را نشان می‌دهد. پارامتر minDF واژه‌های بسیار کم‌تکرار را کنار می‌گذارد.
نمونه
use Phpml\FeatureExtraction\TokenCountVectorizer;
use Phpml\Tokenization\WhitespaceTokenizer;
$samples = ['machine learning is useful', 'learning from data'];
$vectorizer = new TokenCountVectorizer(new WhitespaceTokenizer());
$vectorizer->fit($samples);
$vectorizer->transform($samples);
$vocabulary = $vectorizer->getVocabulary();نکته
پیش‌پردازش متن مانند یکسان‌سازی حروف و مدیریت Stop Wordها باید با زبان داده هماهنگ باشد.