Dưới đây là thông tin tóm tắt nhanh về những điều bạn đã học được trong khoá học này:
- Cây quyết định là một mô hình
gồm một tập hợp các
điều kiện được sắp xếp
theo phân cấp ở dạng cây. Các điều kiện thuộc nhiều danh mục:
- Điều kiện căn chỉnh theo trục chỉ liên quan đến một tính năng duy nhất. Tình trạng nghiêng liên quan đến nhiều tính năng.
- Điều kiện nhị phân có thể có hai kết quả. Điều kiện không nhị phân có nhiều kết quả có thể xảy ra.
- Việc huấn luyện cây quyết định liên quan đến việc tìm kiếm điều kiện tốt nhất tại mỗi nút. Quy trình splitter (trình phân tách) sử dụng các chỉ số như mức tăng thông tin hoặc Gini để xác định điều kiện tốt nhất.
- Rừng quyết định là một chế độ được tạo thành từ nhiều cây quyết định. Dự đoán của rừng quyết định là kết quả tổng hợp của các dự đoán của cây quyết định.
- Rừng ngẫu nhiên là một tập hợp các cây quyết định, trong đó mỗi cây quyết định được huấn luyện bằng một nhiễu ngẫu nhiên cụ thể.
- Bagging là một kỹ thuật trong đó mỗi cây quyết định trong rừng ngẫu nhiên được huấn luyện trên một tập hợp con khác nhau của các ví dụ.
- Rừng ngẫu nhiên không yêu cầu tập dữ liệu xác thực. Thay vào đó, hầu hết các rừng ngẫu nhiên đều sử dụng một kỹ thuật có tên là out-of-bag-evaluation để đánh giá chất lượng của mô hình.
- Cây tăng cường độ dốc (quyết định) là một loại rừng quyết định được huấn luyện thông qua các điều chỉnh lặp lại từ cây quyết định đầu vào. Một giá trị có tên là shrinkage (thu hẹp) kiểm soát tốc độ mà cây tăng cường độ dốc (quyết định) học và mức độ mà cây này có thể phù hợp quá mức.
Tài liệu tham khảo
- Greedy Function Approximation: A Gradient Boosting Machine (Xấp xỉ hàm tham lam: Máy tăng cường độ dốc), J. Friedman.
- The Elements of Statistical Learning (Các yếu tố của học thống kê), Trevor Hastie. Chương 10.
- Generalized Boosted Models: A guide to the gbm package (Mô hình tăng cường tổng quát: Hướng dẫn về gói gbm), G. Ridgeway