Sesión 2: Análisis Exploratorio y Feature Engineering

1. Logro de la sesión

Realizar un análisis exploratorio de datos (EDA) completo y aplicar técnicas de feature engineering que transformen datos crudos en conjuntos listos para modelado, con criterio para detectar problemas de calidad, formular hipótesis de negocio y diseñar variables predictivas que maximicen el rendimiento sin sacrificar interpretabilidad ni reproducibilidad.

2. Fundamentos conceptuales

Definición y papel del EDA

Marco teórico: El Exploratory Data Analysis (EDA) formaliza la idea de explorar antes de modelar. John Tukey lo planteó como un enfoque para “escuchar a los datos” mediante estadísticos y visualizaciones antes de imponer supuestos fuertes (Tukey, 1977). En el ciclo de vida de un proyecto (p. ej. CRISP-DM), el EDA se concentra en las fases de comprensión y preparación de datos.

El EDA permite:

• Detectar errores, inconsistencias y valores atípicos.
• Generar hipótesis iniciales sobre el comportamiento de los datos.
• Orientar la elección de modelos y de transformaciones (feature engineering).
• Comunicar hallazgos preliminares a las partes interesadas.

Casos de estudio: éxito y fricción en la industria

Referentes: Tukey (1977); Lazer et al. (2014) sobre limitaciones de Google Flu Trends; investigación sobre equidad algorítmica en sistemas de scoring (p. ej. Angwin et al., 2016, sobre COMPAS).

3. Pipeline de análisis exploratorio

Marco teórico: Un pipeline de EDA es una secuencia reproducible de pasos alineada con la preparación de datos en CRISP-DM. No es lineal al 100%: los hallazgos suelen obligar a volver atrás (p. ej. nueva limpieza tras un análisis bivariado).

4. Calidad de datos y limpieza

Marco teórico: La calidad condiciona el techo de rendimiento del modelo: los algoritmos aprenden patrones de $X$ e $y$ tal como se observan (incluidos errores). La limpieza busca fiabilidad sin destruir señal legítima (p. ej. outliers que son casos reales raros).

Valores faltantes: mecanismos

Marco teórico: Clasificación de Little & Rubin (2002) para el mecanismo de ausencia:

• MCAR (Missing Completely At Random): la ausencia es independiente de observados y no observados.
• MAR (Missing At Random): depende de variables observadas, no del valor faltante condicional a lo observado.
• MNAR (Missing Not At Random): depende del propio valor no observado u otros no observados.

Estrategias de imputación

Imputación simple (media / mediana):

Limitación: puede subestimar varianza y correlaciones.

Imputación por regresión:

k-Nearest Neighbors: imputar con la media (u otra agregación) de los $k$ vecinos más cercanos en el espacio de predictores.

Imputación múltiple (MICE / encadenada): generar varios conjuntos imputados y combinar inferencias para reflejar incertidumbre. En la práctica iterativa:

repitiendo hasta convergencia (Iterative Imputer / encadenamiento por variables).

Referente: Van Buuren & Groothuis-Oudshoorn (2011) sobre MICE; sklearn documenta IterativeImputer como aproximación práctica.

Cuándo usar cada tipo de imputación (criterios prácticos)

La elección depende del tipo de variable, del mecanismo de ausencia (Sección 4), del coste del error y de si el hecho de faltar aporta información.

Regla práctica: para variables numéricas “limpias” y simétricas → media o mediana (mediana ante duda); para categóricas → moda o categoría explícita de ausencia; cuando el faltante no es aleatorio o es parte del fenómeno → indicador + imputación conservadora o modelo que explícitamente modele la ausencia.

Duplicados

Detección por coincidencia exacta de filas o por claves parciales. Eliminar solo cuando el duplicado no representa observaciones distintas (regla de negocio).

Errores de tipo de dato

Tratamiento de outliers (univariado)

Rango intercuartílico (IQR):

Z-score clásico:

Z-score robusto (MAD):

Más robusto a colas pesadas que $\mu,\sigma$ clásicos.

5. Análisis exploratorio: univariado, bivariado y multivariado

Univariado — variables numéricas

Tendencia central: media $\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i$, mediana, moda.

Dispersión:

Forma: asimetría (skewness), curtosis (colas).

Visualización y densidad:

• Histogramas, KDE:

con $K$ kernel (p. ej. gaussiano).

• Boxplots, ECDF:

Univariado — variables categóricas

Frecuencias absolutas/relativas, moda; barras, Pareto, tablas de contingencia para cruces posteriores.

Univariado — variables temporales

Descomposición conceptual: tendencia, estacionalidad, ruido.

Modelo aditivo: $Y_t = T_t + S_t + R_t$.
Modelo multiplicativo: $Y_t = T_t \cdot S_t \cdot R_t$.

Bivariado — numérica vs numérica

Pearson:

Spearman: correlación de rangos; útil para relaciones monótonas no lineales.

Visualización: scatter, pairplots, heatmaps de correlación.

Bivariado — categórica vs categórica

Tablas de contingencia; chi-cuadrado:

Bivariado — numérica vs categórica

Comparación de distribuciones por grupo: boxplots por categoría, t-test, ANOVA:

Multivariado

Pairplots: todas las parejas numéricas; útil para no linealidad, grupos y outliers conjuntos.

Outliers multivariantes — distancia de Mahalanobis:

Incorpora correlaciones entre variables.

Reducción de dimensionalidad exploratoria — PCA: nuevas direcciones ortogonales $z_1 = w_1^\top x$ maximizando varianza explicada (base para visualización y detección de estructura; el uso predictivo formal se profundiza más adelante en el curso).

Síntesis del rol del EDA: comprender estructura, detectar problemas de calidad y generar hipótesis para el feature engineering. Un EDA profundo acota el rendimiento alcanzable, porque los algoritmos dependen de la calidad y la representación de los datos.

6. Feature engineering: marco formal y pipeline

Marco teórico: El feature engineering busca una representación $\phi$ tal que el algoritmo capture mejor la estructura relevante. Si $X \in \mathbb{R}^{n \times p}$, se busca:

donde $k$ puede ser mayor o menor que $p$. En la práctica, buenas características a menudo importan más que cambiar marginalmente de algoritmo (Hastie et al.; Domingos, 2012, sobre “mastering the features”).

Pipeline típico de ingeniería de características:

1. Creación de nuevas características a partir de las existentes.
2. Transformaciones (log, Box-Cox, polinomios, interacciones).
3. Codificación de categóricas.
4. Escalado o normalización cuando el algoritmo lo exige.
5. Imputación coherente con el pipeline (evitando data leakage).
6. Tratamiento de outliers acorde al negocio (no siempre eliminación).
7. Selección de características.
8. Automatización reproducible (Pipeline en sklearn u orquestación equivalente).

Feature Store (temario del curso)

En el temario (Semana 2: Análisis Exploratorio y Feature Engineering), el feature store se incluye como tema explícito junto al pipeline de características y la imputación.

Marco teórico: Un feature store es un repositorio y servicio que centraliza definiciones, cálculo y suministro (serving) de características para entrenamiento e inferencia. Objetivos habituales:

• Consistencia train / serving: mismas transformaciones y mismas fuentes para el modelo offline y en producción (evita training-serving skew).
• Reutilización y gobernanza: equipos comparten features versionadas, con linaje y control de acceso.
• Punto en el tiempo (point-in-time correctness): para datos tabulares con historia, las features deben calcularse solo con información disponible hasta el instante de cada etiqueta (crítico en validación y en backtesting).

En la práctica industrial suele distinguirse ingesta por lotes (entrenamiento, backfill) y baja latencia (predicción online). Herramientas de referencia incluyen Feast (open source), Tecton, Vertex AI Feature Store, Databricks Feature Store, entre otras, según nube y stack.

Cuándo plantearlo: varios modelos consumiendo las mismas señales, equipos de datos/ML que colisionan en definiciones duplicadas, o necesidad fuerte de trazabilidad y despliegue recurrente. Para prototipos pequeños suele bastar un pipeline bien versionado; el feature store aporta más valor al escalar personas, modelos o entornos.

Creación y transformación de variables numéricas

Log: $x’ = \log(x)$ (soportes positivos; reduce asimetría fuerte).

Box-Cox:

$\lambda$ suele estimarse por verosimilitud.

Yeo-Johnson: extensión que admite valores no positivos (familia análoga a Box-Cox en espíritu).

Interacciones y términos polinomiales

Binning (discretización)

Igual ancho: $\text{bin}_k = [a + k\Delta, a + (k+1)\Delta]$.
Igual frecuencia: bins con conteos similares.
También puntos de corte guiados por árboles (segmentación supervisada informal).

Variables temporales: rezagos, ventanas y ciclicidad

Rezagos: $y_{t-1}, y_{t-2}, \ldots$

Media móvil:

Desviación móvil:

Codificación cíclica (hora, día de la semana):

Agregaciones por grupo (datos jerárquicos)

Por cliente, tienda, etc.: medias, conteos, desviaciones, máximos/mínimos históricos — resumen del comportamiento longitudinal.

Texto: BoW, TF-IDF y embeddings

Bag of Words: vectores de conteos por término.

TF-IDF:

Embeddings densos: Word2Vec, contextual (BERT, etc.) según necesidad y presupuesto computacional.

7. Codificación, escalado, clases desbalanceadas e imputación en pipeline

Codificación de categóricas

Target encoding (formalización útil):

Escalado

Estandarización (Z-score): $x’ = \frac{x-\mu}{\sigma}$ (media 0, varianza 1). Relevante para p. ej. SVM, PCA, muchos solvers de regresión penalizada.

Min-Max: $x’ = \frac{x-x_{\min}}{x_{\max}-x_{\min}}$ a $[0,1]$.

Robusto: $x’ = \frac{x - \text{mediana}(x)}{IQR}$ — menos sensible a outliers extremos.

Clases desbalanceadas

Oversampling (p. ej. SMOTE): sintéticos por interpolación con vecinos:

Undersampling: reduce mayoritaria; puede descartar información.

Métricas: precisión, recall, F1, ROC-AUC — la elección depende del coste de errores (véase Sesión 1):

Imputación avanzada dentro del flujo (recordatorio operativo)

Además de la Sección 4: KNN Imputer, Iterative Imputer (MICE) como encadenamiento $x_j = f(x_{-j})$. Lo crítico es ajustar imputadores solo sobre train (o CV) y aplicar transformación a validación/test para evitar fuga de información.

Outliers en feature engineering

No siempre errores: pueden ser señal. Estrategias:

• Indicador: $\text{outlier}_i \in {0,1}$.
• Winsorización: cap al percentil (p. ej. 1 % / 99 %).
• Transformaciones (log, raíz, Box-Cox) para acotar colas.

8. Selección de características, dominio y comunicación

Selección de características

Marco teórico: Objetivo: menor dimensionalidad, menor varianza y mejor generalización, sin perder señal (Guyon & Elisseeff, 2003).

Filtros: correlación, información mutua

Wrappers: evalúan subconjuntos con el modelo (p. ej. RFE).

Embebidos: Lasso penaliza $L_1$:

promoviendo esparcidad en $\beta$.

Variables derivadas del negocio

Marco teórico: Incorporar conocimiento de dominio suele ser la fuente de mayor valor predictivo interpretable.

Ejemplos:

• Finanzas: ratios de liquidez, endeudamiento, márgenes.
• Temporal: ventas últimos 7 días, medias móviles, crecimiento mes a mes.
• Comportamiento (RFM y afines): recencia, frecuencia, valor monetario — churn, fraude, recomendación, scoring.

Comunicación de hallazgos

Storytelling e insights

• Patrones: gráficos comparativos, heatmaps, scatter con color por clase.
• Impacto: importancia de variables (p. ej. bosques), SHAP para contribuciones locales/globales.
• Claridad visual: simplicidad, anotaciones, accesibilidad.
• Audiencia: técnicos (metodología, métricas, supuestos) vs negocio (impacto, acciones).

Elevator pitch (2–3 minutos)

• Técnico: métodos, métricas ($R^2$, AUC, F1), hipótesis validadas, limitaciones y deuda técnica.
• No técnico: valor, recomendaciones, riesgos y siguientes pasos.

Estructura útil: Contexto → Hallazgos → Acción.

9. Apéndice de estudio: línea temporal EDA / feature engineering y lecturas

9.1 Pandas: patrones mínimos reproducibles

import pandas as pd

df = pd.read_parquet("datos.parquet")
df = df.assign(
    month=df["fecha"].dt.month,
    dow=df["fecha"].dt.dayofweek,
)
summary = df.describe(include="all").T

9.2 Documentar transformaciones

Cada paso de imputación o codificación debe poder repetirse en inferencia (mismos parámetros aprendidos en train). Por ello los Pipeline de sklearn y los feature stores versionan definiciones y valores de features.

9.3 Comunicación: checklist antes de presentar

1. ¿La figura tiene título y ejes con unidades?
2. ¿Se declara el tamaño muestral y el periodo temporal?
3. ¿Los hallazgos se conectan con acciones concretas para negocio?

Referencias bibliográficas principales

1. Angwin, J., et al. (2016). Machine Bias (investigación sobre COMPAS; ProPublica).
2. Guyon, I., & Elisseeff, A. (2003). An introduction to variable and feature selection. JMLR, 3, 1157–1182.
3. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer.
4. Lazer, D., et al. (2014). The parable of Google Flu: traps in big data analysis. Science, 343(6176), 1203–1205.
5. Little, R. J. A., & Rubin, D. B. (2002). Statistical Analysis with Missing Data (2nd ed.). Wiley.
6. Tukey, J. W. (1977). Exploratory Data Analysis. Addison-Wesley.
7. Van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate Imputation by Chained Equations in R. Journal of Statistical Software, 45(3), 1–67.
8. Huyen, C. (2022). Designing Machine Learning Systems. O’Reilly. (datos en producción, consistencia train/serving y feature stores).