TEMA 9. Combinación de clasificadores. Bootstrapping, bagging y boosting
8 views 0 purchase
Course
Técnicas de Aprendizaje Automático
Institution
UNIR Business School
UNIVERSIDAD DE LA RIOJA
Postgrado al que pertenece: Máster Universitario en Inteligencia Artificial
Denominación de la asignatura: Técnicas de Aprendizaje Automático
Contenido: BLOQUE 4. Modelos de ensamble
Guía de Estudio: TEMA 9. Combinación de clasificadores. Bootstrapping, bagging y b...
UNIVERSIDAD DE LA RIOJA
Postgrado al que pertenece: Máster Universitario en Inteligencia Artificial
Denominación de la asignatura: Técnicas de Aprendizaje Automático
Contenido: BLOQUE 4. Modelos de ensamble
Guía de Estudio: TEMA 9. Combinación de clasificadores. Bootstrapping, bagging y
boosting
Estas referencias proporcionan una base sólida para profundizar en el estudio y la
implementación de modelos de ensemble en el ámbito de la inteligencia artificial.
Introducción
Los modelos de ensemble, también conocidos como combinaciones de clasificadores, son
métodos avanzados de aprendizaje automático que buscan mejorar el rendimiento y la robustez
de los modelos individuales. Estos enfoques se basan en la idea de que un conjunto de modelos
puede proporcionar mejores predicciones que un único modelo, al combinar sus salidas de
manera estratégica. Entre los métodos más populares de ensemble se encuentran el
bootstrapping, el bagging y el boosting, cada uno con sus propias características, ventajas y
desventajas.
Bootstrapping
Definición y Características:
El bootstrapping es una técnica estadística que involucra la generación de múltiples subconjuntos
de datos a partir de un conjunto de datos original mediante muestreo con reemplazo. Cada
subconjunto, conocido como una muestra bootstrap, mantiene el mismo tamaño que el conjunto
original pero contiene elementos duplicados.
Ventajas:
1. Permite la estimación de la distribución de una estadística sin supuestos paramétricos.
2. Es útil para estimar la precisión de muestras pequeñas.
3. Facilita la generación de intervalos de confianza de manera empírica.
Desventajas:
1. Puede ser computacionalmente costoso debido a la necesidad de generar y procesar
múltiples muestras.
2. No siempre proporciona una mejora significativa en la precisión de las predicciones en
comparación con otros métodos de ensemble.
Bagging (Bootstrap Aggregating)
Definición y Características:
El bagging es una técnica de ensemble que utiliza el principio del bootstrapping para entrenar
varios modelos base (por ejemplo, árboles de decisión) en diferentes muestras bootstrap del
, conjunto de datos original. Las predicciones finales se obtienen mediante la agregación (promedio
o voto mayoritario) de las predicciones de todos los modelos base.
Ventajas:
1. Reduce la varianza del modelo y ayuda a prevenir el sobreajuste.
2. Es particularmente efectivo para modelos inestables como los árboles de decisión.
3. Mejora la robustez y la precisión de las predicciones.
Desventajas:
1. Aumenta la complejidad computacional y los requisitos de almacenamiento.
2. No aborda directamente los problemas de sesgo que pueden existir en los modelos base.
Boosting
Definición y Características:
El boosting es una técnica de ensemble que crea una secuencia de modelos base, donde cada
modelo se entrena para corregir los errores cometidos por el modelo anterior. Los pesos de las
observaciones se ajustan en cada iteración para enfocar el entrenamiento en los ejemplos más
difíciles.
Ventajas:
1. Proporciona mejoras significativas en la precisión al reducir tanto el sesgo como la
varianza.
2. Es altamente efectivo para una amplia variedad de modelos base y tipos de datos.
3. Los algoritmos populares como AdaBoost y Gradient Boosting han demostrado un
rendimiento excelente en competencias de datos.
Desventajas:
1. Puede ser propenso al sobreajuste si no se regula adecuadamente.
2. Aumenta considerablemente los tiempos de entrenamiento y la complejidad computacional.
3. Es sensible a los datos ruidosos y a los valores atípicos.
Recomendaciones
1. Elección del Método: La selección entre bagging y boosting depende del problema
específico y de las características del conjunto de datos. Para problemas con modelos
base inestables, el bagging puede ser más adecuado. Si se busca maximizar la precisión y
se dispone de suficiente capacidad computacional, el boosting es una opción robusta.
2. Regulación: En el caso del boosting, es crucial aplicar técnicas de regulación como la
poda de árboles o la limitación del número de iteraciones para evitar el sobreajuste.
3. Validación Cruzada: Utilizar validación cruzada para evaluar el rendimiento de los
modelos de ensemble y ajustar hiperparámetros de manera adecuada.
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller ma_medina. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $7.16. You're not tied to anything after your purchase.
