Este es un buey.
Figura 19: Un buey.
En 1906, se realizó una competencia de evaluación de peso en Inglaterra. 787 participantes adivinaron el peso de un buey. El error medio de las suposiciones individuales fue de 37 lb (un error del 3.1%). Sin embargo, la mediana general de las suposiciones estaba a solo 9 lb del peso real del buey (1,198 lb), lo que representaba un error de solo 0.7%.
Figura 20: Histograma de suposiciones de peso individuales
Esta anécdota ilustra la Sabiduría de la multitud: En ciertas situaciones, la opinión colectiva proporciona un buen juicio.
Desde el punto de vista matemático, la sabiduría de la multitud se puede modelar con el teorema del límite central: De manera formal, el error cuadrático entre un valor y el promedio de N estimaciones con ruido de este valor tiende a cero con un factor de 1/N. Sin embargo, si las variables no son independientes, la varianza es mayor.
En el aprendizaje automático, un ensemble es una colección de modelos cuyas predicciones son promediadas (o agregadas de alguna manera). Si los modelos de ensamble son lo suficientemente diferentes sin ser demasiado malos de forma individual, la calidad del ensamble suele ser mejor que la de cada uno de los modelos individuales. Un conjunto requiere más tiempo de entrenamiento y de inferencia que un solo modelo. Después de todo, debes realizar el entrenamiento y la inferencia en varios modelos en lugar de uno solo.
De manera informal, para que un conjunto funcione mejor, los modelos individuales deben ser independientes. A modo de ilustración, un conjunto compuesto por 10 de los mismos modelos (es decir, que no es independiente en absoluto) no será mejor que el modelo individual. Por otro lado, forzar a los modelos a ser independientes podría empeorarlos. El ensamble eficaz requiere encontrar el equilibrio entre la independencia del modelo y la calidad de sus submodelos.