Overfitting vs underfitting: guía completa con señales, causas y soluciones

Etusivu » Python » Overfitting vs underfitting: guía completa con señales, causas y soluciones

Cuando entrenamos modelos de machine learning, buscamos algo muy claro: que funcionen bien con los datos que ya han visto y, sobre todo, con datos nuevos. Ese equilibrio entre aprender de verdad y generalizar sin memorizar es la diferencia entre un prototipo vistoso y un sistema fiable en producción.

El problem es que alcanzar ese punto intermedio no es trivial. Dos fallos clásicos lo entorpecen: ylisovitus (sobreajuste) ja alasovitus (subajuste). El primero aparece cuando el modelo se pega tanto a los datos de entrenamiento que confunde el ruido con la señal; el segundo, cuando el modelo es tan simple (o está tan limitado) que ni siquiera capta los patrones básicos. En las siguientes secciones vas a ver las causas, señales, eemplos, la relación con el sesgo y la varianza, y un arsenal de técnicas prácticas para corregir cada caso.

Qué son overfitting y underfitting

Un modelo con overfitting aprende demasiado de su conjunto de entrenamiento, incluyendo peculiaridades y outliers que no se repiten. Rinde de lujo en entrenamiento y flojea en validción o test. Es como un estudiante que se aprende las respuestas de memoria: clava el simulacro, pero en el examen real se pierde.

El underfitting es la cara opuesta. El modelo es incapaz de capturar la estructura del problem: rinde mal tanto en entrenamiento como en test. Imagina ajustar una recta a datos que siguen una curva; por muy bien que la estires, no va a encajar bien. El subajuste suele venir acompañado de alto sesgo y baja varianza.

En la práctica, medimos estas situaciones con métricas en los distintos conjuntos. Diferencias grandes entre el rendimiento en entrenamiento y validción delatan sobreajuste, mientras que resultados pobres en ambos sugieren subajuste. Además, revisar la pérdida durante el entrenamiento suele dar pistas adicionales.

Sesgo ja varianza: el equilibrio delicado

Dos fuentes de error mandan aquí: sesgo (bias) y varianza (varianssianalyysi). El sesgo sube cuando el modelo hace suposiciones demasiado fuertes (excesiva simplicidad), lo que se traduce en underfitting. La varianza sube cuando el modelo es muy sensible a pequeñas fluctuaciones del conjunto de entrenamiento, lo que se traduce en overfitting.

Kuuluisa kompromissi sesgo-varianza te obliga a encontrar un punto intermedio. Al incrementar la complejidad, suele bajar el sesgo pero sube la varianza; yksinkertainen, tapahtuu toisin. A lo largo del entrenamiento, el sesgo tiende a disminuir mientras la varianza puede crecer, así que conviene vigilar el comportamiento en validción y no entrenar a ciegas indefinidamente.

Ejemplo rápido: Predicción de precios de vivienda. Una recta (alto sesgo) puede quedarse corta si la relación es curvilínea (aliasennus); un polinomio de grado 4 que toque cada punto puede capturar el ruido (alta varianza, overfitting); una curva suave de complejidad moderada (esim. un polinomio de grado 2 bien regularizado) suele dar el mejor compromiso.

Cómo identificar cada ongelma

Las señales típicas del sobreajuste sisältää: precisión altísima en entrenamiento y claramente inferior en test; pérdida de entrenamiento bajando mientras la pérdida de validación empieza a subir; sensibilidad extrema a pequeños cambios en la entrada; y que modelos más complejos "ganen" en entrenamiento pero no mejoren la generalización.

Para el subajuste, fíjate en métricas mediocres en ambos conjuntos y en aprendizaje estancado: si tras varias épocas no mejora la puntuación, quizá el modelo no tiene capacidad suficiente. Otro sintoma típico son predicciones demasiado generalistas: un clasificador que siempre predice la clase mayoritaria o un regresor que apenas se aleja de la media.

La validición cruzada ayuda a ver el cuadro completo. Una alta variabilidad entre pliegues (taittuu) suele apuntar a overfitting. Coherencia en la mediocridad, en cambio, huele a underfitting. Valen tanto para accuracy como para errores de predicción (MAE, MSE) tai metricas specíficas de la tarea.

Causas habituales de overfitting

La primera sospechosa es la complejidad. Modelos con demasiados parámetros para la cantidad y diversidad de datos disponibles tienden a aprender peculiaridades locales. También influye entrenar durante demasiado tiempo sin control: si no aplicas parada temprana, el modelo puede pasar de aprender suojelijat a memorizar.

Otra vía de sobreajuste es la ingeniería de variables sin control: demasiadas características irrelevantes o muy correlacionadas empujan al modelo a ver relaciones fantasma. Conjuntos pequeños o poco representativos empeoran el problem porque la muestra no enseña suficiente variación como para que el modelo generalice.

En redes neuronales profundas, la gran capacidad de representación es un arma de doble filo. Sin regularización y datos suficientes, las redes tienden a sobreajustar con facilidad. Sisällytä aspectos como un tamaño de lote (erän koko) demasiado grande pueden contribuir a memorizar patrones con exceso de precisión.

Causas habituales de underfitting

Sujuva suele venir de Modelos excesivamente simples para la complejidad del problem (esim. lineales sobre relaciones no lineales). Las regularizaciones demasiado fuertes (L1/L2) también pueden "ahogar" el aprendizaje obligando a soluciones excesivamente yksinkertainen.

Otro factor es la falta de información útil en las entradas. Si las características no recogen los factores relevantes, el modelo no puede aspirar a aprenderlos. Escalados inadecuados o ausencia de normalización/estandarización pueden dificultar la optimización y traducirse en un aprendizaje pobre que parece underfitting.

Por último, también se da cuando no se entrena el tiempo suficiente (muy pocas épocas o iteraciones), cuando se retiró el modelo con parada temprana demasiado pronto, o cuando la calidad de los datos impide aprender los patrones de fondo por ruido excesivo.

Ejemplos cotidianos para entenderlo

Imagen y visión: si una red para dígitos manuscritos memoriza píxeles concretos, puede clavar el entrenamiento y fallar con dígitos escritos de otra manera (yliasennus). Con técnicas como tietojen lisäys (kierto, volteos) se favorece la generalización.

Finanzas: un modelo de series temporales puede seguir cambios aleatorios del pasado que no se repiten en el futuro si está sobreajustado. Con underfitting, ni capta ciclos ni reacciona a cambios estructurales.

Un ejemplo curioso de sobreajuste es entrenar un robot de baloncesto a imitar hasta el último detalle de un jugador concreto. El robot lo hace perfecto en secuencias conocidas, pero se queda venido ante jugadas nuevas. Falta generalización fuera del guion.

En meteorología, intentar predecir lluvia solo con temperatura deja fuera humedad, viento o presión. Esa pobreza de muuttujat johtavat alasovitukseen: el modelo da palos de ciego aunque veas que baja el termómetro.

Por qué el sobreajuste puede ser “peor” que el subajuste

Hay un matiz teórico tärkeä. Un äärimmäisen altis malli podría dar siempre una constante, ignorando el input: su error en test rondaría la varianza de la variable objetivo. En cambio, un modelo sobreajustado que interpola todos los puntos del entrenamiento puede generar picos espurios entre muestras y disparar el error fi testi de forma potencialmente descomunal.

Esto puede verse con polinomios de alto grado o incluso con redes MLP sobreparametrizadas: al ajustarse a cada punto, "oscilan" entre observaciones y crean valores absurdos fuera de la muestra. El resultado es que la degradación del rendimiento fuera de entrenamiento ei tiene un tope claro.

Yliasennus vs sobreparametrización: no son lo mismo

Conviene diferenciar términos. Parametrien määritys significa que la clase de modelos tiene más capacidad de la necesaria para representar la estructura del problem. overfitting ocurre cuando, dado un modelo concreto, lo optimizas de forma que rinde mejor en entrenamiento pero peor en generalización. Con regularización adecuada, es posible tener un modelo sobreparametrizado que no sobreajuste. Las técnicas de regularización (por ejemplo, ridge o lasso) ayudan a "desacoplar" ambos conceptos.

Cómo evaluar y monitorizar el ajuste

Divide el flujo en entrenamiento, validción y prueba. Mira tarkkuus, errores o la metrica que toque en cada segmento. Si el entrenamiento va bien pero la validición cae, sospecha de sobreajuste; si los dos van mal, probablemente falta capacidad o datos.

La validición cruzada (k-kertainen) vähentää el riesgo de sacar päätelmiä de una sola partición. Si la media de validición es estable y la desviación entre pliegues es baja, hay más garantías de que el modelo generaliza. También es clave definir un conjunto de evaluación final (test) que no se toque durante el ajuste de hiperparámetros.

Lisäksi, vigila la distribución de los datos en el tiempo. El data drift (cambios en la distribución de entrada) puede convertir en inservible un modelo que ayer funcionaba: monitorizar y reentrenar periódicamente es parte de la receta, no un lujo.

Técnicas para reducir overfitting

Tietoja ja lisää tietoja. Aumentar el volumen y la diversidad del entrenamiento ayuda a que el modelo aprenda suojelijat de fondo en lugar de detailles randomales. Eso sí, mejor calidad que cantidad: depurar outliers cuando distorsionan y corregir errores on prioriteetti.

Laillistaminen L1 (lasso) favorece la selección de características kaikki pesot timantteihin; L2 (harju) reparte la penalización encogiendo los pesos sin anularlos. Joustava verkko combina ambas y muchas veces es un buen término medio.

Arkkitehtuuri ja entisöinti. Pudotus neuroverkoissa apaga neuronas aleatoriamente y evita que el modelo dependa de rutas demasiado específicas. En árboles, la poda (leikkaus) y limitar profundidad o número de hojas kirjaa koko juttu. Parada temprana: monitoriza la pérdida de validción y corta cuando deje de mejorar.

Vahvistus ja valinta. k-kertainen ristivalidointi para validor Decisiones de ajuste y evitar escoger el “mejor” modelo soolo por suerte. Reducir el número de variables o elegir mejor cuáles entran puede bajar la varianza y mejorar la interpretabilidad.

Optimointi ja paljon muuta. Lotes pequeños esitteli ruido "tervennettävä" en el gradiente, lo que a menudo mejora la generalización; lotes gigantes pueden favorecer el sobreajuste al seguir trayectorias de optimización demasiado precisas al paisaje de entrenamiento.

Técnicas para reducir underfitting

Mallin kapasiteetti. Sube la complejidad si los datos lo exigen (polinómico en vez de lineal, árboles más profundos, redes menos superficiales). La clave está en no pasarse de frenada y acompañarlo de validciones sólidas.

Regularización y tiempo. Si estás penalizando en exceso, baja la regularización para dejar respirar al modelo. Aumenta el número de épocas: a veces el modelo simplemente necesita más tiempo para aprender, siempre con un ojo en la validición para no caer en sobreajuste.

Ominaisuudet ja esikäsittely. Amplía y mejora las características (interacciones, términos polinómicos, codificaciones adecuadas de variables categóricas). Normalisoi tai vakiinnu para que el algoritmo no "favorezca" muuttujat por escala. En muchos casos, suodattimen kohina nostaa tietä.

Tiedot ja humpuuki. Más datos representativos vähentää la probabilidad de subajuste. Si el conjunto se queda corto, plantéate siirrä oppimista en visión o NLP para partir de representaciones ya aprendidas y evitar un modelo que "no arranca".

Tietojen laatu, ajautuminen ja automatisointi

Mandan tietojen laatu. Täsmällisyys, täydellinen ja johdonmukaisuus deberían auditarse y cruzarse con fuentes fiables. Técnicas como normalisaatio (0-1) tai estandarización (media 0, desviación 1) evitan que el modelo prime variables por la escala.

Con el tiempo, los datos cambian. El data drift puede causar tanto overfitting como underfitting en el nuevo konteksto. La receta: monitorizar métricas, inspeccionar distribuciones y reentrenar regularmente con datos aktualizados.

Työkalut AutoML pueden acelerar la selección de hiperparámetros, ingeniería de características y la creación de pipelines de evaluación, liberando tiempo para análisis de alto nivel. Historiallinen lisäys: Amazon Machine Learning -palvelu ya no se aktualiza ni acepta nuevos usuarios; si trabajas con documentación antigua, tenlo presente.

Señales clave ja reglas de pulgar

En la práctica del día a día, muchos empezamos igual: dudando si el modelo está sobreajustando o si simplemente se ha quedado corto de entrenamiento. Con la experiencia, se vuelve rutina mirar tres cosas: gran brecha entre train y test (sobreajuste), resultados Consistensemente bajos en ambos (subajuste), y varianza alta entre folds (käyttöohjeen säädön jälkeen).

No te confíes con metricas bonitas en entrenamiento. Una curva de pérdida que cae sin parar en train pero empeora en validación es aviso de MEMORIZACIÓN. Si te ocurre, corta a tiempo y aplica regularización.

Ensamblados, selección de características y tamaño de lote

Los metodos de conjunto ayudan. Pussittaminen (como Random Forest) vähentää varianssia y suele ser buen antídoto contra el sobreajuste; Tehostus (como XGBoost) vähentää sesgoa y puede levantar modelos demasiado simples, aunque hay que cuidarlo para que no sobreajuste.

La ominaisuuden valinta elimina redundantes tai irrelevantes muuttujat, vähentää melua y mejora la generalización. Es uno de los remedios más efectivos cuando el problem viene por exceso de input inútil.

Sobre el tamaño de lote ya lo insinuamos: lotes pequeños esitelty variabilidad en el gradiente ya menudo generalizan mejor; lotes muy grandes pueden empujar a soluciones que clavan el entrenamiento pero pierden en test.

Elegir el algoritmo: empieza sencillo, escala cuando toque

Dependiendo del problem y los datos, distintas familias brillan más. Si hay fronteras claras, SVM tai árboles pueden ir de maravilla. Conjuntos grandes y complejos, redes profundas o ensambles potentes ofrecen flexibilidad. Modelos sencillos como regresión lineal o k-NN son útiles con datasets modetos y cuando prima la interpretabilidad.

Una estrategia eficaz es comparar versiot simples y complejas en paralelo con un buen esquema de validción. A veces lo complejo apenas aporta mientras suma fragilidad. No necesitas el modelo "más complicado", sino el más fiable en el mundo real.

Casos de uso y consecuencias en negocio

En sanidad, un preditor de riesgo debe generalizar más allá de un hospital o cohorte specífica. Sobreajustar a patrones locales puede ser peligroso; subajustar, inútil. En finanzas, modelos que muistaa vaivenes historiallisia fallan al traducirlos en señales futuras.

En vehículos autónomos, los sistemas de detección deben reconocer objetos en vaihtelevissa ympäristöissä; memorizar kuvat concretas no sirve. En NLP, si un analizador de sentimientos aprende frases del entrenamiento "de carrerilla", no entenderá nuevas formulaciones.

A nivel de negocio, el sobreajuste da lugar a vääriä positiivisia (por ejemplo, fraude) oa estrategias que parecían prometedoras en validción interna pero se desplom al desplegarse. El subajuste, por su parte, tuottaa sääriluun ennusteet que apenas superan reglas triviales, minando la confianza en el equipo de datos.

Preguntas frecuentes y matices prácticos

¿Cómo ayuda la selección de características a evitar sobreajuste? Al quitar ruido y redundancias, disminuye la varianza y mejora la generalización. Es de las primeras medidas a probar si sospechas entradas irrelevantes.

¿Los ensambles vähentänyt ambos-ongelmia? Bagging tiende a bajar-varianza (menos sobreajuste) y Boosting a bajar sesgo (menos subajuste). Bien ajustados, son herramientas muy potentes.

¿Por qué las redes profundas sobreajustan con facilidad? Valtavan kapasiteettisi vuoksi. Regularización, dropout y más datos/augmentación son esenciales para mantenerlas honestas.

Kuinka paljon vaikutusta tulee? Kyllä. Lotes pequeños esitteli ruido beneficioso que favorece la generalización; lotes grandes pueden “memorizar” con más facilidad.

Auttaako siirto-oppiminen? Paljon. Aprovecha representaciones ya aprendidas y vähentää tanto el riesgo de subajuste (falta de capacidad efectiva) como de sobreajuste en datasets pequeños.

Toimiva nopea tarkistuslista

Para cerrar con un recordatorio práctico, si ves Gran Gap -juna/testi, piensa en regularización, menos complejidad, más datos, varhainen lopettaminen, lopettaa, poda en árboles, y valid con k-fold. Si ves huono junassa y-testi, respecta más capacidad, más épocas, bajar-säännöllistäminen, mejores características, y preprocesados ​​adecuados (normalisointi/estandarizar).

Y ei poista toiminnallisia osia: monitoriza-ajo, planifica reentrenos, cuida la calidad de datos y, si tiene sentido, hyväksy AutoML:ssä para automatizar las partes mecánicas de búsqueda de hiperparámetros y pipelines de evaluación.

Todo este teema va de equilibrio: captar la señal sin perseguir el ruido. Cuando ese balance olemassa, el modelo funciona dentro y fuera del laboratorio; cuando se rompe, llegan los sustos. Aprender a detectar las señales, aplicar las técnicas adecuadas y cuidar los datos es lo que marca la diferencia entre "que corre" ja "que aporta valor".