جمع البيانات هو أهم خطوة في حل أي مشكلة تعلّم آلة خاضعة للإشراف. يمكن أن يكون مصنف النص بنفس جودة مجموعة البيانات التي تم إنشاؤها منها.
إذا لم تكن لديك مشكلة محددة تريد حلها وكنت مهتمًا فقط باستكشاف تصنيف النص بشكل عام، فهناك الكثير من مجموعات البيانات المتاحة مفتوحة المصدر. يمكنك العثور على روابط لبعض منها في مستودع GitHub. من ناحية أخرى، إذا كنت تواجه مشكلة معينة، فستحتاج إلى جمع البيانات اللازمة. توفّر العديد من المؤسسات واجهات برمجة تطبيقات عامة للوصول إلى بياناتها، مثل X API أو NY Times API. قد تتمكن من الاستفادة من واجهات برمجة التطبيقات هذه لحل المشكلة التي تحاول حلها.
فيما يلي بعض الأشياء المهمة التي يجب تذكرها عند جمع البيانات:
- إذا كنت تستخدم واجهة برمجة تطبيقات عامة، عليك فهم قيود واجهة برمجة التطبيقات قبل استخدامها. على سبيل المثال، تضع بعض واجهات برمجة التطبيقات حدًا لمعدّل إجراء طلبات البحث.
- كلما زاد عدد أمثلة التدريب (المشار إليها باسم نماذج في بقية هذا الدليل)، كان ذلك أفضل. سيساعد ذلك في تعميم النموذج بشكل أفضل.
- احرص على ألّا يكون عدد العيّنات لكل صف أو موضوع غير متوازن بشكل مفرط. أي، ينبغي أن يكون لديك عدد مماثل من العينات في كل فئة.
- تأكَّد من أنّ نماذجك تغطي بشكل كافٍ مساحة الإدخالات المحتملة، وليس الحالات الشائعة فقط.
في هذا الدليل، سنستخدم مجموعة بيانات مراجعات الأفلام على الإنترنت (IMDb) لتوضيح سير العمل. تحتوي مجموعة البيانات هذه على مراجعات للأفلام نشرها أشخاص على موقع IMDb الإلكتروني، بالإضافة إلى التسميات المقابلة ("إيجابية" أو "سلبية") تشير إلى ما إذا أبدى المُراجع إعجابه بالفيلم أم لا. هذا مثال كلاسيكي على مشكلة تحليل الآراء.