Tập dữ liệu, tổng hợp và tổng hợp

Thời lượng mô-đun ước tính: 105 phút

Mục tiêu học tập

• Xác định bốn đặc điểm khác nhau của dữ liệu và tập dữ liệu.
• Xác định ít nhất 4 nguyên nhân khiến dữ liệu không đáng tin cậy.
• Xác định thời điểm loại bỏ dữ liệu bị thiếu và thời điểm áp dụng dữ liệu đó.
• Phân biệt giữa nhãn trực tiếp và nhãn phái sinh.
• Xác định hai cách khác nhau để cải thiện chất lượng của nội dung do con người đánh giá .
• Giải thích lý do nên chia nhỏ một tập dữ liệu thành tập huấn luyện, tập xác thực, và tập kiểm thử; xác định vấn đề tiềm ẩn trong quá trình phân tách dữ liệu.
• Giải thích việc sử dụng quá mức và xác định ba nguyên nhân có thể gây ra tình trạng này.
• Giải thích khái niệm chính quy. Cụ thể, hãy giải thích sau:
  • Độ lệch so với phương sai (điều chỉnh theo các giá trị ngoại lai...)
  • Quy trình điều chỉnh L₂, bao gồm cả Lambda (chính quy hoá) tỷ lệ)
  • Dừng sớm
• Diễn giải các loại đường cong tổn thất khác nhau; phát hiện sự hội tụ và khái quát hoá kém trong đường cong tổn thất.

Điều kiện tiên quyết:

Mô-đun này giả định rằng bạn đã quen thuộc với các khái niệm được đề cập trong các mô-đun sau:

• Giới thiệu về công nghệ học máy
• Hồi quy tuyến tính
• Làm việc với dữ liệu số
• Làm việc với dữ liệu phân loại

Giới thiệu

Học phần này bắt đầu với một câu hỏi dẫn đầu. Chọn một trong các câu trả lời sau:

Nếu bạn phải ưu tiên cải thiện một trong những khía cạnh sau trong dự án học máy của bạn, đây là công cụ sẽ mang lại ảnh hưởng đến bạn như thế nào?

Cải thiện chất lượng của tập dữ liệu

Dữ liệu chiếm ưu thế hơn tất cả. Chất lượng và kích thước của tập dữ liệu đóng vai trò quan trọng hơn nhiều so với thuật toán sáng tạo mà bạn sử dụng để xây dựng mô hình của mình.

Áp dụng hàm mất thông minh hơn để huấn luyện mô hình

Đúng, hàm mất hiệu quả hơn có thể giúp mô hình huấn luyện nhanh hơn, nhưng vẫn còn cách xa mục khác trong danh sách này.

Và sau đây là một câu hỏi quan trọng hơn nữa:

Thử đoán: Trong dự án học máy của bạn, bạn cần bao nhiêu thời gian bạn thường dành cho việc chuẩn bị và chuyển đổi dữ liệu?

Hơn một nửa thời gian của dự án

Có, chuyên viên công nghệ học máy dành phần lớn thời gian của họ xây dựng tập dữ liệu và thực hiện kỹ thuật đối tượng.

Dưới một nửa thời gian của dự án

Hãy lập kế hoạch để tìm hiểu nhiều hơn! Thông thường, 80% thời gian của công nghệ học máy dành cho việc xây dựng tập dữ liệu và chuyển đổi dữ liệu.

Trong học phần này, bạn sẽ tìm hiểu thêm về các đặc điểm của công nghệ học máy và cách chuẩn bị dữ liệu nhằm đảm bảo kết quả chất lượng cao khi huấn luyện và đánh giá mô hình của bạn.