Esto es un buey.
Figura 19. Un buey.
En 1906, se realizó una competencia de evaluación de peso en Inglaterra. 787 participantes adivinaron el peso de un buey. El error medio de las conjeturas individuales fue de 16.8 kg (un error del 3.1%). Sin embargo, la mediana general de las adivinanzas estaba a solo 4.1 kg del peso real del buey (1,198 kg), lo que representa un error de solo el 0.7%.
Figura 20. Histograma de las suposiciones de peso individuales.
Esta anécdota ilustra la sabiduría de la multitud: En ciertas situaciones, la opinión colectiva proporciona un buen juicio.
Matemáticamente, la sabiduría de la multitud se puede modelar con el teorema del límite central: De manera informal, el error cuadrado entre un valor y el promedio de N estimaciones ruidosas de este valor tiende a cero con un factor de 1/N. Sin embargo, si las variables no son independientes, la varianza es mayor.
En el aprendizaje automático, un conjunto es un conjunto de modelos cuyas predicciones se promedian (o se agregan de alguna manera). Si los modelos del conjunto son lo suficientemente diferentes sin ser demasiado malos de forma individual, la calidad del conjunto suele ser mejor que la calidad de cada uno de los modelos individuales. Un conjunto requiere más tiempo de entrenamiento y de inferencia que un solo modelo. Después de todo, debes realizar el entrenamiento y la inferencia en varios modelos en lugar de uno solo.
De manera informal, para que un conjunto funcione mejor, los modelos individuales deben ser independientes. A modo de ejemplo, un conjunto compuesto por 10 de los mismos modelos (es decir, que no son independientes) no será mejor que el modelo individual. Por otro lado, forzar a los modelos a ser independientes podría empeorarlos. El ensamble eficaz requiere encontrar el equilibrio entre la independencia del modelo y la calidad de sus submodelos.