Técnicas de análisis de sesgo (Bias análisis techniques)

Técnicas de análisis de sesgo (TAS) o análisis investigativo de distribución (AID).


(inglés: Bias Analysis Techniques BAT o distribution exploratory analysis DEA)

Como analizar una distribución no normal antes de proceder a la normalización de los datos a través de una transformación Box Cox y sus limitantes de acuerdo al tipo de distribución, recordándonos que el Box Cox por ejemplo no transformara una distribución bimodal? Esta es la gran pregunta que han hecho unos profesionales estudiantes de maestría en la Univeridad Instituto Tecnológico de Santo Domingo, Intec, y en la cual imparto la asignatura de Six Sigma.

Como esta asignatura no enseña estadísticas no paramétricas, ya que no es una certificación y se trata de una materia en Gerencia de Calidad y Productividad, pues recomendamos antes de proceder a la transformación los siguientes pasos que pueden a menudo solucionar el problema de normalidad sin llegar a la transformación.

1- realizar el histograma de los datos recolectados y con las estadísticas descriptivas observar el p-value (valor p) para la normalidad (p value < 0.05 la distribución no es normal), el factor de skewness (asimetría) recordando que un skewness negativo implica un sesgo a la izquierda y positivo a la derecha y mientras mayor el número negativo mayor el sesgo izquierdo e igual para la derecha, y finalmente la curtosis para entender la forma leptocurtica, placicurtica, o mesocurtica de la distribución.

2- realizar una "distribution fitting" (adaptabilidad de distribución) para simple curiosidad y pre aviso para saber en presencia de que tipo de distribución esta y de ante mano tener una apreciación de sí funcionaria o no el Box Cox en caso de que la metodología presentada aquí no logra sus objetivos ya que al igual del BoX Cox no es una garantía 100% sino una manera más simple de llegar a la normalización sin transformar cuando sea posible.

3- hacer un box plot o gráfica de caja con fines de visualizar los datos atípicos (outliers) moderados y extremos. Aprovechamos para recordarles que mientras más grande el valor absoluto de skewness (asimetría), más certera la existencia de datos atípicos extremos, por arriba si el valor era positivo o por abajo si el valor era negativo.  El objetivo es de no considerar los datos atípicos extremos arrojados por la gráfica de caja dentro de la distribución señalada por la función de fitting a ver si sin ellos la nueva distribución se normalice.

4- sin embargo aún arrojados como atípicos por el box plot todavía no debemos ignorarlos. Existe la probabilidad de que haciendo el retiro de estos datos pues la nueva distribución que constituye ahorra una muestra de la precedente, es decir de la completa, no sea representativa de ella. En pocas palabras sacando los datos podríamos cambiar la distribución y estar en presencia de dos poblaciones diferentes. Bajo este riesgo pues antes de confirmar el retiro de los datos atípicos recomendamos este los pasos siguientes para validar la acción.

5- En este paso se trata de hacer una prueba de hipótesis, una prueba t simple en este caso, para fallar a favor o en contra de la hipótesis nula. La prueba t verificara si la media de la distribución muestra es la misma o no que la media de referencia que es la de la distribución completa. Si son las mismas estadísticamente esto implica que las dos pertenecen a la misma población y por ende podemos retirar los datos atípicos que nos provocaron gran parte del sesgo o skewness y hacer nuevamente el histograma descriptivo para observar si con dicha acción la distribución se normalizo. Si no podemos aceptar la hipótesis nula pues las medias son diferentes y en este caso la muestra que es la nueva distribución sin los datos atípicos no es representativa de la distribución completa y por ende se concluye que no se puede retirar o ignorar los datos atípicos. En dicho caso se concluye la técnica y se debe probar con Box Cox o simplemente trabajar con métodos no parametricos.

6- En caso de que la hipótesis nula es aceptada implicando la posibilidad de ignorar los outliers o datos atípicos, seguimos recomendando el último paso que es asegurar que no se cometió un error tipo Beta que es aceptar lo falso por ejemplo debido a un tamaño de muestra no suficiente para una conclusión apropiada de las estadísticas. Esto se hace con la potencia de prueba (1-beta) buscando Beta que no debe ser mayor a 10% o buscando el tamaño necesario para concluir con un valor de 1-beta mayor a 90%

Este método es lo que denominamos como Técnica de análisis de sesgo o también a veces Análisis investigarivo de distribución: AID.