En este blog siempre hablamos de las mil y una aplicaciones de la Inteligencia Artificial a todo tipo de actividades y campos de conocimiento. Sin embargo, sabemos que en ocasiones, nuestros modelos basados en algoritmos de Machine Learning, fallan, no ofrecen los resultados esperados. ¿Cuál es el motivo?
Motivos, puede haber muchos, pero vamos a centrarnos en los tres principales. Sobre dos de ellos ya hemos hablado en anteriores ocasiones.
1 Los datos
Cuando hablamos de modelos de aprendizaje automático, hablamos de modelos que aprenden de los datos. Por tanto, juegan un papel fundamental en todo el proceso. Tendremos que hacernos una serie de preguntas:
¿Tenemos un volumen de datos suficiente?
¿Son representativos? ¿Pueden presentar algún tipo de sesgo?
Merece la pena prestar a los datos toda la atención necesaria, ya que no se puede construir un modelo sólido sobre pilares endebles. Y sin datos de calidad, los modelos no podrán ofrecer resultados de valor.
No sólo eso. Las tareas previas de exploración, depuración y normalización de los datos tienen un papel fundamental a la hora de definir las variables del modelo. Unos análisis estadísticos previos pueden dar pistas interesantes sobre correlación de variables, o su mayor o menor relevancia sobre los resultados.
2 Las preguntas
Este punto tiene mucho que ver con el anterior. Porque para hacer las preguntas adecuadas, es vital comprender bien los datos. Esta es la situación más habitual cuando se trabaja con datos propios.
Hace unos meses ya os hablamos del proyecto “The 100 Questions” , impulsado por The GovLab, un centro de investigación de la Universidad de Nueva York. Basándose en la premisa:
“Tus datos son tan valiosos como bien planteadas estén las preguntas que les hagas”
su objetivo es ayudar a identificar, de forma participativa, las preguntas más relevantes, y aprender a priorizar aquéllas que son de mayor impacto, más novedosas o más factibles.
También puede darse la situación inversa. Podemos tener muy claras las preguntas, pero no tanto cómo localizar los datos que ayuden a darles respuesta. En este otro post hicimos un repaso a las principales fuentes de datos que pueden sernos de utilidad para dar respuesta a esas preguntas.
Llegamos al tercer punto clave: los modelos. Es, curiosamente, el aspecto que recibe mayor atención en cualquier foro sobre machine learning.
¿Qué modelo es mejor? ¿Acaso Tiene sentido hacerse esta pregunta?
Veremos que no. Ya hemos visto que lo primero y fundamental es comprender los datos, y definir qué información queremos obtener de ellos (¡las preguntas!). Puede que los avances en determinadas áreas de investigación “pongan de moda” determinados modelos en un momento dato. Pero no hay soluciones universales, modelos “talla única” que sirvan para casi cualquier problema.
Sí que hay modelos muy fáciles de aplicar. Unas sencillas líneas de código para crear datos de entrenamiento y datos de test, otras para definir el modelo, entrenarlo, hacer predicciones, medir su exactitud…
El problema es que muchas veces no somos conscientes de los supuestos previos en que se basa el modelo. Por ejemplo, el modelo puede asumir que los datos siguen una distribución normal. Es cierto que es un tipo de distribución muy frecuente en la naturaleza, pero no la única. Por tanto, si no se cumple esta premisa, el modelo no es apropiado para ese conjunto de datos.
Conocer las premisas en que se basan los modelos, o sus limitaciones (por ejemplo, si tienen tendencia al sobreajuste (overfitting), o el tipo de distancia en que se basan; nos permite anticiparnos a los problemas y definir estrategias para limitar su impacto.
Por tanto, no podemos decir qué algoritmo es mejor o peor en general, sino cuál es el más apropiado para cada problema o tipo de problema. De hecho, una estrategia habitual es entrenar modelos distintos basados en algoritmos diferentes y analizar después cuál ofrece mejores resultados.
No obstante, y aunque no haga falta ser un matemático experto para trabajar con modelos machine learning, comprender las matemáticas de los modelos es importante para poder elegir el más adecuado, el más eficiente, comprender si tienen o no sentido los resultados. Y si no lo tienen, ser capaz de analizar el por qué y buscar cuál puede ser la mejor alternativa.
Conclusión
Frente a las últimas tendencias de automatización del Machine Learning, vemos cómo la intervención humana no es algo de lo que se pueda prescindir fácilmente. Las decisiones sobre estos 3 aspectos son claves. Si no son las adecuadas, nuestros modelos de aprendizaje automático serán rápidos, precisos, y eficientes … pero totalmente inservibles.
Cuando estás empezando en el mundo de la Ciencia de Datos y el aprendizaje automático, uno de las primeras preguntas que te haces es: ¿De dónde saco los datos para aprender?. Porque para entrenar algoritmos, necesito conjuntos de datos que cumplan determinados requisitos de volumen, estructura etc.
Empecemos por los repositorios de datos abiertos en la web. Lo más accesible, aunque, como veremos, pueden resultar demasiado complejos para un principiante.
1 Cargar los datos desde repositorios públicos en internet.
Hay muchos repositorios de datos disponibles en la web. Por ejemplo en Open Science Data Cloud, podemos encontrar petabytes de datos abiertos sobre genética, medio ambiente, imágenes por satélite etc.
También Amazon ofrecen datasets públicos con datos tan variados como trayectos en taxi en la ciudad de Nueva York, transacciones en la bolsa alemana, datos meteorológicos, datos sobre calidad del aire, química del suelo, genoma humano, población de aves, opiniones de clientes sobre productos, etc…
Por su parte, Google, ofrece un directorio de datos públicos en abierto, con interesantes conjuntos de datos publicados por el Banco Mundial, Eurostat, Naciones Unidas, instituciones nacionales de estadística de distintos países etc.
Por supuesto, las principales ciudades e instituciones de todo el mundo también ofrecen interesantes portales de datos en abierto. Por ejemplo, en este post, usamos un dataset sobre las salidas por rescate animal de los bomberos de Londres para experimentar con la herramienta de visualización PowerBI.
Estos repositorios son muy interesantes para llevar a cabo todo tipo de proyectos, pero…. ¿y si lo que quiero es algo mucho más sencillo? Encontrar datos que ya estén de alguna manera filtrados de forma que pueda localizar fácilmente los más adecuados para realizar una prueba determinada. Por ejemplo, un problema de clasificación con el que quiero probar la técnica de regresión logística.
Para ello, tendremos dos opciones: los repositorios de aprendizaje y pruebas, y los conocidos como “toy datasets” que vienen integrados en librerías.
2. Repositorios de datos para aprender.
Algunos de los repositorios más conocidos pertenecen a Universidades. Por ejemplo, el repositorio Machine Learning UCI.del Center for Machine Learning and Intelligent Systems de la Universidad de California, tiene casi 500 datasets clasificados según el tipo de tarea para el que son más adecuados(clasificación, regresión, clustering u otros), el tipo de atributo (categórico, numérico o mixto), el tipo de dato (texto, una variable, multivariable, series temporales etc), el número de instancias, atributos, tipo de formato, área de conocimiento etc. Por tanto, es muy fácil localizar conjuntos de datos adecuados para una tarea concreta.
Aunque no podamos usar filtros para seleccionarlos, la selección de datasets ofrecida por ¡sorpresa!, Wikipedia, nos ofrece una interesante recopilación de conjuntos de datos citados en revistas científicas (con revisión por pares), y convenientemente clasificados.
La Universidad de Standford también nos ofrece otro repositorio interesante, SNAP, con datos de todo tipo, aunque no podemos filtrarlo como en el caso de la UCI.
Otra de las opciones más interesante, cuando estás aprendiendo es el repositorio de datasets de Kaggle.Kaggle es, definitivamente, uno de los sitios donde todo futuro Data Scientist debe estar. En el experimento que hicimos sobre cómo usar Azure Machine Learning Studio en un problema de clasificación (¿Sobrevivirán?), descargamos el conocidísimo dataset de los pasajeros del Titanic desde Kaggle.
Además de los datos, en Kaggle podemos encontrar muchos ejemplos para aprender, una comunidad con la que compartir tus experimentos, consultar dudas, etc. y estimulantes competiciones.
Una precaución que hay que tener, es que a veces, los datasets son versiones reducidas de otros más amplios, e igual no nos interesa descargarlos de ahí. Por ejemplo, en nuestro experimento sobre regresión logística (que, con la broma de publicarlo por San Valentín, convertimos en un “predictor de infidelidad”), no descargamos el dataset affairs desde Kaggle por tratarse de una versión reducida. En su lugar, lo hicimos a partir de la librería Statsmodel, como veremos en el siguiente punto.
Algunas librerías de Phyton como Seaborn, Sklearn o Statsmodels traen “de serie” datasets de prueba. Esto nos facilita mucho la vida, ya que resulta muy sencillo cargar una de ellas en un dataframe de pandas y empezar a trabajar.
3.1 Seaborn
Seaborn, por ejemplo, se usa para hacer gráficos y visualizaciones de datos más atractivas. Pero también incorpora 13 ejemplos de estos “toy datasets” o “datasets para jugar”. Podemos ver cuáles son usando la función get_dataset_names():
import seaborn as sns
sns.get_dataset_names()
Cargarlos en un dataset pandas es muy sencillo con la función load.dataset()
Sin embargo, esta opción no se usa mucho porque esos datasets apenas tienen información adicional a los datos. Los 7 datasets precargados en Sci-kit-learn sí que resultan algo más completos. Podemos encontrar algunos tan conocidos como el del precio de la vivienda en Boston, el de clasificación de lirios, el de vinos, o los datos sobre diagnóstico de cancer de mama en Wiscosin. No obstante, son demasiado pequeños para asemejarse a datos reales. Por esto, es más habitual usar las funciones generadoras de datos que ofrece esta librería (de las que hablaremos en el último punto), que los datasets precargados.
En cualquier caso, la forma de acceder a ellos y cargarlo en un dataset pandas también resulta muy sencilla:
from sklearn.datasets import load_boston
boston = load_boston()
data = boston.data
column_names = boston.feature_names
import pandas as pd
df = pd.DataFrame(boston.data, boston.feature_names)
3.3 Statsmodel
Hemos dejado para el final la librería más interesante, en cuanto a datasets precargados se refiere. La librería Statsmodel es la librería de modelado estadístico. Permite a los usuarios explorar datos, hacer estimaciones de modelos estadísticos y realizar test estadísticos.
Esta librería ofrece dos tipos de datasets (para R y para Python) a los que se puede acceder fácilmente deste el módulo statsmodels.api.datasets. Los datasets disponibles para trabajar en Python son los siguientes:
Cada submódulo tiene un conjunto de metadatos que se puede consultar con los atributos con los atributos DESCRLONG yNOTE y que nos ofrecen información detallada sobre ese conjunto de datos en particular. Si conocemos el nombre del submódulo donde están los datos que nos interesan, resulta muy sencillo cargarlos en un dataframe de pandas:
import statsmodels.api as sm #Cargamos la librería
nile = sm.datasets.nile #Elegimos el dataset sobre las crecidas del Nilo
print(nile.DESCRLONG) #Para ver la descripción y características del dataset
sm.datasets.nile.load_pandas().data #Cargamos el dataset en un dataframe de pandas
En el experimento que mencionamos anteriormente sobre regresión logística, usamos el dataset «fair» para crear un «predictor de infidelidad» 😉
Puedes ver el experimento completo aquí:
4 Crear tu propio dataset
Cierto es que una de las alternativas es crear tu propio dataset, por ejemplo, usando la librería NumPy, el paquete fundamental para computo científico en Python. En Numpy podemos encontrar funciones que permiten simular variables discretas, continuas y categóricas, de manera aleatoria:
Podemos encontrar un ejemplo de cómo hacerlo aquí.
Como es habitual, tenemos más alternativas. Por ejemplo, en la librería Scikitlearn, que de hecho está construida sobre la librería NumPy, podemos encontrar una gran variedad que de módulos de alto nivel sobre ciencia e ingeniería que nos ofrecen todo tipo de funciones. Por ejemplo, para generar datasets aleatorios, podemos usar las funciones:
make_regression -> Docs, para problemas de regresión
make_classification -> Docs, para problemas de clasificación
Por ejemplo, si lo que queremos es generar un conjunto de datos aleatorios para un problema de clasificación binaria (2 clases) con 100 muestras, 5 características (1 de ellas redundante), y un cluster por ejecución, la sintaxis sería la siguiente:
No obstante, si no encuentras en las librerías de Python el tipo de “generador” de datos que necesitas, puedes crear un propio. Por ejemplo, a partir de la función randint incluida en el módulo random de Numpy.
Como veis, por datos, no será. Os animamos a hacer vuestros propios experimentos siguiendo nuestros ejemplos, o a usarlos como guía trabajando con otros datasets que sean de vuestro interés-. En nuestra sección «Tutoriales IA Big Data» podréis encontrar estos ejemplos y mucho más.
En este tercer y último post aprenderemos lo siguiente:
Como crear un predictor usando el modelo de regresión logística de scikit-learn
Cómo valorar sus métricas
Cómo hacer una predicción
Qué conclusiones podemos extraer
Retomamos pues, nuestro Python notebook, donde, ya habíamos realizado la carga y exploración de los datos y creado la variable objetivo, a la que llamamos «infidelity».
(Como hemos hecho en los post anteriores, primero, explicaremos paso a paso con imágenes cómo hacerlo, y al final del proceso, incorporamos la versión final editable de la que podéis copiar directamente el código para pegarlo en vuestro notebook )
3. Aplicación del modelo.
Para aplicar el modelo de regresión logística, vamos a usar una librería de Python, Patsy, que permite generar de forma muy cómoda el formato de matrices con el que funciona este modelo. Vamos a recordar un poco cómo era la notación matemática, para entender cuál debe ser el formato de entrada al modelo. La regresión logística era una transformación lineal (con salida no lineal) que se podía expresar de la siguiente manera:
Figura 1: Fórmula de una transformación lineal.
Donde Y es la variable dependiente u objetivo que queremos estimar (“infidelity”), y X son las variables dependientes o predictoras, que “condicionan” el valor de la Y (“age”, “religious”, “children” etc). Los valores de los coeficientes βi son los que el modelo va a “aprender” entrenándose con valores conocidos del dataset. Una vez entrenado el modelo, será capaz de predecir qué valor tendrá Y para un caso no recogido en los datos de entrenamiento. La fórmula también puede expresarse de esta forma, como producto escalar:
Figura 2: Transformación lineal expresada como producto escalar.
Si generalizamos para más de una observación Xi, necesitamos generar una matriz como esta:
Figura 3: Transformación lineal expresada de forma matricial.
3.1 Formateamos los datos con Patsy
La librería Patsy permite, precisamente, generar estas matrices de forma muy ágil gracias a la función dmatrices y a su notación de fórmula. Además, dmatrices añade de forma automática la columna de “1” necesaria para obtener los términos de corte (εi), conocidos como “intercept terms”.
Otra de las ventajas de Patsy es que permite trabajar con datos categóricos de forma muy flexible, gracias a la función C(), que indica que los datos entre los paréntesis deben tratarse como etiquetas y no como números. En nuestro ejemplo, vamos a usarlo para que no considere como números los códigos de ocupación. Esta operación es lo que se llama, convertir datos en “dummy”.
Por tanto, al aplicar la función dmatrices con esta sintaxis, obtenemos como resultado dos matrices. La primera, con los resultados o valores de la variable objetivo “y”, y la segunda, con los valores de las variables independientes X o datos predictores:
Figura 4: Sintaxis de de función dmatrices de Patsy.
Para nuestro ejemplo:
y, X = dmatrices(‘infidelity ~ rate_marriage + age + yrs_married + children + religious+ educ + C(occupation) + C(occupation_husb) ‘, dta, return_type = ‘dataframe’)
Con esta sentencia obtenemos las dos matrices que hemos mencionado antes, en las que los valores de “infidelity”(y) son iguales al producto de los valores de la matriz que representa las variables independientes (X) por unos coeficientes, más un término de corte. Al mismo tiempo indicamos que no use los valores de códigos de ocupación como numéricos sino como categóricos.
Figura 5: Código para convertir la matriz de datos en el formato necesario para aplicar el modelo.
Comprobamos las dimensiones de las matrices de salida, y sus índices:
Figura 6: Código para comprobar las dimensiones de las matrices.
3.2 Aplicamos el modelo
Ya sólo nos queda un último paso para poder aplicar el modelo de regresión logística de scikit-learn, y es convertir el vector columna y en matriz 1D. A continuación, ya podemos aplicar directamente el modelo LogisticRegression. Como resultado del entrenamiento del modelo, obtenemos la matriz de coeficientes:
Figura 7: Aplicación del modelo.
Podemos ver que la precisión del modelo es de un 73%:
Figura 8: Estimación de la precisión.
También, podemos estimar también qué porcentaje de individuos tienen alguna aventura, obteniendo un resultado de un 32%
Figura 9: Porcentaje de individuos infieles.
La matriz de coeficientes obtenida muestra qué peso tiene cada uno de los coeficientes. Para visualizarlo, podemos usar List(zip), que crea una matriz a partir de dos listas, la que contiene el nombre de los índices, en la primera columna, y los valores en la segunda.
Figura 10: Código para obtener la matriz de coeficientes.
Por ejemplo, podemos ver cómo los incrementos en rate_marrige y religiousnes disminuyen la probabilidad de infidelidad. Lo cual es consistente con el análisis de correlación de variables que hicimos en el primer post.
Figura 11: Coeficientes.
3.3 Evaluamos el modelo
Para evaluar el modelo, dividimos el dataset en dos partes. Dejamos un 75% de los datos como datos de entrenamiento (train), y reservamos el 25% restando como datos de prueba (test). A continuación, entrenamos el modelo de nuevo, pero ahora sólo con los datos de entrenamiento.
Figura 12: Dividimos el dataset en train y test.
Una vez entrenado el modelo, lo aplicamos a los datos reservados como «test», y calculamos las métricas precisión (Accurary) y exactitud (Precision). Cuidado con los «false friends»-Hemos obtenido unos valores de un 73% para la precisión, que no es que sea muy alto, pero tampoco es un mal resultado. Indica que la dispersión de los valores es baja. Sin embargo, la exactitud, es sólo de un 62%. No es un dato muy bueno, ya que se refiere a lo cerca que está un resultado del valor verdadero. Los valores de la diagonal principal de la matriz de confusión (993, 176) indican las predicciones correctas, tanto para verdaderos positivos, como verdaderos negativos. La otra diagonal (con valores 316, 117) recoge las predicciones erróneas.
Figura 13: Calculamos precisión, exactitud y matriz de confusión.
Para ver la matriz de confusión de forma mucho más «visual», podemos hacerlo en forma de mapa de calor:
Figura 14: Código para ver la matriz de confusión como mapa de calor usando seaborn.
Figura 15: Matriz de confusión en forma de mapa de calor.
3.4 Hacemos una predicción
Por último, ya sólo nos queda hacer una predicción usando el modelo que acabamos de crear. Para que nos resulta más fácil «escribir» los datos de entrada, usaremos el indexador iloc para extraer ,como ejemplo, uno de los registros de la matriz de datos. En particular hemos elegido el registro número 4.
Figura 16: Extraemos un registro del dataset como ejemplo.
Como resultado, podemos ver el aspecto que tiene este registro en concreto, lo reconvertimos en el formato necesario para poder aplicar el modelo y, ya que estamos, lo probamos. En este caso, la probabilidad de infidelidad es de un 30%.
Figura 17: Visualización de ese registro concreto.
A continuación, lo usaremos de base para introducir en el modelo los datos concretos para los que queremos obtener una predicción mediante el método keys(). Por ejemplo: mujer de 35 años, con 3 hijos, no religiosa,nivel educativo alto, con ocupaciones (ambos) técnicos especializados y una buena valoración de su matrimonio.
Figura 18: Cambiamos con F.keys() los valores de cada variable para introducir los que queramos
Al aplicar el modelo a este caso en particular, obtenemos como resultado una probabilidad de infidelidad del 29%. Prueba con los datos que quieras, ¿qué resultados obtienes?
Figura 19: Resultado obtenido al aplicar el modelo al nuevo caso.
¿Te animas a probarlo? A continuación, tienes el código completo del experimento, que puedes cortar y pegar en tu Jupyter notebook. Te recomendamos que lo vayas haciendo paso a paso, como lo hemos explicado, para poder entender qué se hace en cada momento. Incluso, puedes ir introduciendo pequeñas modificaciones para probar cosas nuevas.
Llegado el momento de sacar conclusiones, tenemos que pararnos a reflexionar. ¿Cuál ha sido el objetivo del experimento?. Hemos aprendido a crear un modelo de predicción basado en regresión logística. Hemos conocido y aprendido a cargar los datasets de Statsmodels. Hemos recordado un poco de álgebra de matrices para comprender mejor el modelo. Y sí, hemos aplicado el modelo a nuestros datos (¿a que no te has resistido?), pero ¿tiene algún tipo de validez el resultado?.
A pesar de haber hecho un análisis serio, que, por supuesto se podría haber hecho siguiendo otros enfoques, por ejemplo, reduciendo por ejemplo el número de variables a considerar tras el análisis de correlación, o aplicando el modelo de statsmodel en lugar del del scikit learn, o incluso eligiendo otro algoritmo de clasificación; nunca debemos olvidar sobre qué estamos construyendo nuestro modelo. Nos referimos, por supuesto, a los datos. Y un dataset cuyo origen es una encuesta realizada en los años 70 por una revista femenina en EEUU no parece que pueda ser extrapolable al momento actual, ni a latitudes tan distantes como la nuestra. Si embargo, en la era de las apps «para ligar» o encontrar tu media naranja, hay que ser conscientes de lo que una buena analítica de datos podría obtener a partir de sus bases de datos que, por supuesto, están protegidas por leyes de privacidad. Pero…ahí están.
Aquí puedes encontrar todos los post de este experimento:
En el post anterior, planteamos crear un «predictor de infidelidad» a partir del dataset «afairs», cargamos los datos y realizamos una breve exploración/visualización de éstos. En el post de hoy, analizaremos el tipo de problema, y el algoritmo que vamos a utilizar para la nuestro modelo de predicción, la regresión logística. Antes de aplicarlo, merece la pena detenerse a comprenderlo un poco mejor.
En este segundo post aprenderemos lo siguiente:
Cómo definir la variable objetivo en un problema de clasificación
Qué es y para qué sirve la regresión logística
Cómo explicar de forma intuitiva las matemáticas del modelo
Cuáles son sus limitaciones
(También podríamos haberlo abordado como variable de texto, siempre hay enfoques alternativos para la solución de cualquier problema).
Tras el breve análisis que hicimos en el post anterior, es fácil deducir que nos hayamos ante un problema de clasificación. Esto no es nada raro, ya que, aproximadamente un 70% de los problemas de Data Science son de este tipo. Decimos que es de tipo binario, porque la variable objetivo, aquella cuyo valor queremos predecir, podrá tener dos valores enteros (0=fiel, 1=infiel).
Por tanto, definimos una nueva variable, «infidelity«, que será la variable objetivo (target variable) cuyo valor sea «0» cuando la variable «affairs» es 0 y 1 cuando esta variable es >0. Recordemos que la variable «affairs» era una medida del tiempo dedicado a tener una «aventura extramarital». Si pedimos de nuevo que muestre los 10 primeros registros, vemos que, en este caso, el valor de la nueva variable es 1 (= amores «no oficiales»).
Figura 1: Definición de la variable objetivo «infidelity».
Figura 2: Impresión de los 10 primeros valores de la variable.
Hay distintas familias de algoritmos que se pueden usar para cada tipo de problema en Machine Learning. Lo habitual es usar varios modelos, evaluar su rendimiento y así elegir el más adecuado a cada caso. En este caso, obviamos ese análisis porque queremos trabajar con un modelo concreto, la regresión logística que, como veremos, es una elección muy razonable.
2. ¿En qué consiste la regresión logística?
La regresión logística es uno de los algoritmos de aprendizaje supervisado más sencillos y más utilizados en Machine Learning para problemas de clasificación. Es un tipo de análisis de regresión que permite predecir el resultado de una variable categórica, (binaria o múltiple) en función de las variables independientes o predictoras. Nos vamos a centrar en el primer caso, regresión logística binaria.
Para entenderlo mejor, veamos uno de los ejemplos más típicos: los detectores de spam. A partir de una serie de variables independientes o características de entrada, tales como el remitente de un mensaje, si va dirigido a una única persona o a un grupo de ellas, o si en el campo «Asunto» aparecen determinadas palabras; es capaz de predecir si es correo deseado o no (variable dependiente binaria con dos valores posibles: «correo deseado» o «correo deseado»).
En el siguiente vídeo, Ligdi González explica de forma breve y sencilla cómo funcionan estos algoritmos:
En resumen, los algoritmos de regresión logística, a pesar de su nombre, son algoritmos de clasificación, donde la variable dependiente (valor a predecir), es categórica y binaria. Por tanto, no se trata de predecir valor numérico (como en el caso de la regresión lineal), sino una «etiqueta» de clasificación.
En nuestro ejemplo concreto, queremos predecir la probabilidad de que una persona sea fiel o infiel, basándonos en los valores de las variables rate_marriage, years_marriage, children, religious, occupation, occupation_husb y educ.
2.1 Comprendiendo las matemáticas del modelo.
Sin meternos mucho en profundidades matemáticas, el objetivo de la regresión logística es obtener la probabilidad de que la variable dependiente tenga un valor categórico u otro (en nuestro ejemplo o “infidelity”= 0 o “infidelity”= 1), en función de los valores de las variables de entrada.
Para ello utiliza un modelo de probabilidad lineal, en el que la probabilidad condicionada es función lineal de los valores de las variables de entrada. Esta función es la que se conoce como función logits(Y) y su resultado es un score o puntuación. Su expresión matemática es la siguiente;
Figura 3: Fórmula de la función logits.
Para entenderlo un poco mejor. Como el objetivo es predecir una «probabilidad», nos movemos en el ámbito de las matemáticas probabilísticas, que son una rama de las matemáticas que se ocupa de medir o determinar cuantitativamente la posibilidad de que un suceso o experimento produzca un determinado resultado. La probabilidad está basada en el estudio de la combinatoria y es fundamento necesario de la estadística. Por otra parte, se trata de una probabilidad condicionada, ya que el valor que tenga la variable que queremos predecir, está influido por los valores de las variables predictoras. Y se trata de una función lineal, porque se puede expresar como una función polinómica de primer grado, es decir, como una suma de valores correspondientes a las variables xi multiplicados por un coeficiente βi, cuya representación en el plano cartesiano es una recta.
El problema es que este “score” puede tomar cualquier valor. Para poder convertirlo en una “etiqueta” (recordemos que estamos ante un problema de clasificación, en este caso binario), usamos una función matemática que garantice que la probabilidad condicionada estará entre cero y uno. Para ello, usamos la función Softmax, que para el caso particular de una regresión logística binaria, sería la función Sigmoidea. La función sigmoidea ya nos es una función lineal, sino logarítmica. Por eso decimos que la regresión logística es un algoritmo lineal con una transformación no lineal en la salida.
Figura 4: Función sigmoidea.
En el blog Data Aspirant, podemos encontrar una imagen que resume muy bien todo el proceso.
Figura 5: Proceso de regresión logística para clasificación binaria.
2.2 Comprendiendo las limitaciones del modelo.
Antes de seguir codificando nuestro predictor, debemos recordar lo siguiente:
La variable de salida es binaria. Predice la probabilidad de que una instancia pertenezca a la clase predeterminada, que se puede ajustar en una clasificación 0 o 1. En este caso, infidelity=1
La regresión logística es muy sensible a los outliers, o datos anómalos. Habrá que revisar este tema antes de aplicar el algoritmo.
Habrá que revisar la correlación entre variables, ya que, como en el caso de la regresión lineal, si hay dos o más variables altamente correlacionadas, podemos tener problemas de sobreajuste o de convergencia del modelo.
Si recordáis, aunque no mencionamos la razón, en el post anterior donde introdujimos el experimento, ya nos aseguramos de comprobar que no hubiera campos vacíos ni correlación entre las variables. En el tercer y último post de esta miniserie, retomaremos nuestro Jupyter Notebook en el punto en que lo dejamos. Prepararemos los datos para poder aplicar el modelo, lo entrenaremos, valoraremos los resultados, haremos una predicción y sacaremos conclusiones.
¡Todavía nos queda bastante trabajo, pero merece la pena!.¿no?
Aquí puedes encontrar todos los post de este experimento:
Hoy en «honor a San Valentín», una broma. Porque no vamos a hablar de amor, sino más bien de lo contrario. Aunque los amores «no oficiales» también pueden serlo de verdad ¿no?. Pero dejémonos de disquisiciones filosóficas, que lo que queremos es ver, con un sencillo ejemplo en Python, y el dataset «affairs», un viejo conocido para los científicos de datos noveles, si podemos construir un predictor de infidelidad. ¿te animas a probarlo con nosotros?
El año pasado también celebramos San Valentín con un poco de humor, en este caso, estadístico: ¿Por qué nunca tendré novia?.
Este año vamos a «trabajar» un poco más y vamos a construir un «predictor de infidelidad» en Python. Para que no se haga demasiado largo, vamos a dividir en experimento en tres partes:
Introducción del experimento, carga, exploración y visualización de los datos (¡este post!)
Explicación del modelo que vamos a utilizar: algoritmo de regresión logística
Aplicación y evaluación del modelo. Conclusiones.
En particular, en este primer post aprenderemos:
Qué es Statsmodels y cómo cargar una de sus librerías. Desde Kaggle, por ejemplo, se puede cargar una versión reducida del dataset, pero nosotros trabajaremos con la completa
Cómo averiguar las características del dataset (descripción, fuente, dimensiones etc)
Cómo detectar si faltan datos
Cómo analizar la correlación entre variables
Cómo visualizar los datos para hacer una exploración previa
Introducción del experimento, carga, exploración y visualización de los datos
Nosotros vamos a elegir trabajar con Jupiter Notebooks en local. (si no sabes cómo instalarlos/utilizarlos, te recomendamos que sigas la serie «Atrévete con Python», donde lo explicamos de forma clara y sencilla).
(Explicaremos paso a paso con imágenes cómo hacerlo, y al final del proceso, incorporamos la versión final editable de la que podéis copiar directamente el código para pegarlo en vuestro notebook )
Empezamos creando un nuevo notebook Python 3 .Lo primero que vamos a hacer es importar los módulos y librerías que vamos a necesitar. En particular, trabajaremos con algunos de los módulos de Python más importantes para trabajar con probabilidad y estadística que si recordamos son:
numpy: El popular paquete matemático de Python, Ofrece funciones estadísticas que podemos aplicar fácilmente sobre los arrays de Numpy.
pandas: Esta es la librería más popular para análisis de datos y finanzas. Ofrece funciones muy útiles de estadística descriptiva y facilita mucho el trabajo con series de tiempo. series de tiempo.
Scikit Learn: Construida sobre NumPy, SciPy y matplotlib, esta librería contiene un gran número de herramientas para machine learning y modelado estadístico. En nuestro ejemplo, usaremos su algoritmos de regresión logística, la herramienta de split que divide el dataset en una parte para entrenamiento y otra para test, y las métricas.
scipy.stats: Es un submodulo del paquete científico Scipy que se complementa con Numpy. Las funciones estadísticas que no están en uno, se pueden encontrar en el otro.
matplotlib: Es la librería más popular en Python para visualizaciones y gráficos.
statsmodels: Esta librería nos brinda un gran número de herramientas para explorar datos, estimar modelos estadísticos, realizar pruebas estadísticas y muchas cosas más.
Seaborn: basada en matplotlib, se usa para hacer más atractivos los gráficos e información estadística en Python. En nuestro ejemplo lo usaremos para hacer mapas de calor.
Figura 1: Carga de módulos y librerías.
1.1 Carga de datos
A continuación, cargamos los datos, y pedimos que muestre los 10 primeros registros. El dataset “affairs” se puede cargar desde la librería Statsmodel.
(Para ver paso a paso cómo cargar datasets en Python desde statsmodels, scikit-learn, y seaborn, puedes leer este post de Sergiy Kolesnikov ).
Figura 2: Carga de datos.
Figura 3: Echamos un vistazo a los datos.
Si no tienes statsmodels instalado, puedes hacerlo usando pip:
pip install -U statsmodels
También se puede instalar mediante el instalador de Anaconda. Puedes instalar la última versión usando:
conda install -c conda-forge statsmodels
Statsmodels es una de las librerías científicas de Python principalmente orientada al análisis de datos, ciencia de datos y estadística. Trabaja sobre las librerías numéricas NumPy y SciPi, y se integra con Pandas para el manejo de datos. Las funciones gráficas se basan en la librería Matplotlib. Statsmodels también ofrece conjuntos de datos (y metadatos) para su uso en ejemplos, tutoriales etc.
Figura 4: Conjuntos de datos que se pueden cargar desde Staatsmodels.
Cada uno de los datasets tiene unos atributos DESCRLONG, SOURCE y NOTE que describen detalladamente su contenido. Pedimos que los muestre con las siguientes sentencias:
Figura 5: Mostramos la descripción, características y origen de los datos.
Figura 6: Descripción, características y fuente.
El dataset “affairs” no es tan conocido como el de «iris», pero también es un clásico del aprendizaje en Data Science. Se basa en una encuesta realizada por la revista Redbook en 1974, en la que se preguntaba a mujeres casadas por sus aventuras extramaritales. Para más información, se puede consultar el trabajo original publicado en 1978 por el Journal of Political Economy.
Como vemos, el dataset contiene 6366 observaciones con 9 variables. El objetivo es crear un modelo que permita predecir si un individuo (en este caso, mujer) va a ser “fiel” o “infiel”, basándose en el valor de esas 9 variables para el nuevo caso y en lo que el modelo haya «aprendido» a partir de los datos de entrenamiento (los datos de la encuesta). La descripción de las variables es la siguiente:
rate_marriage: valoración de la encuestada sobre su matrimonio (1 = muy mala, 5 = muy buena)
age: edad de la mujer
yrs_married: años de matrimonio
children: número de hijos
religious: valoración de la encuestada sobre su religiosidad (1 = nada religiosa, 4 = muy religiosa)
occupation: ocupación (1 = estudiante, 2 = agricultura / semicualificado / no cualificado, 3 = «oficinista», 4 = profesora / enfermera / escritora / técnica / cualificada), 5 = gestión/ negocios, 6 = profesional de alta especialización)
occupation_husb: ocupación del marido (con la misma codificación)
affairs: tiempo dedicado a aventuras extramaritales
1.2 Exploración de los datos
Vamos a echarle un vistazo a los datos para ver si hay algo que nos llame la atención, o nos de una pista de posibles correlaciones entre las variables que analizaríamos con mayor detalle después.
1.2.1 ¿Faltan valores?
Podemos comprobar si hay campos vacíos con la función isnull(). Esta función es booleana y devuelve dos resultados posibles: «true», cuando falta el dato o «false», cuando no falta.Como el resultado es «false», sabemos que no es necesaria ninguna operación de eliminación de registros, o sustitución por valores medios etc. Hemos puesto “.head(10)” para que sólo saque los 10 primeros registros, porque sabemos que en este caso no faltan datos y no queremos que imprima todo el dataset, pero habría que revisarlos todos.
Esta comprobación también se suele hacer de forma más visual usando mapas de calor de seaborn, pero, como hemos mencionado antes, este dataset no tiene campos vacíos. Así que, por esta parte, no hay problemas.
Figura 7: Comprobamos que no falten valores.
1.2.2 ¿Se observa algún tipo de correlación?
Para ver si existe correlación entre las variables lo más práctico es calcular la matriz de correlación. Es un paso importante porque puede afectar negativamente al rendimiento del algoritmo. Las variables que presentan un índice de correlación muy alto ( >0,9) deben excluirse del análisis (por ejemplo, la función “drop”). Como podemos ver, en este caso no es necesario eliminar ninguna.
Figura 8: Calculamos la matriz de correlación.
Figura 9: Matriz de correlación.
El signo del índice de correlación también nos da información. Si el índice de correlación entre dos variables es positivo, significa que, si una de ellas aumenta, la otra también lo hace. Por el contrario, cuando el signo es negativo, si una variable aumenta, la otra, disminuye. Por ejemplo, para affairs y rate_marriage es negativo. Esto indica que las personas que valoran más su matrimonio (rate_marriage creciente), tienen menos aventuras extramaritales (affairs decreciente).
1.3 Visualización de los datos
El histograma sobre la influencia del nivel educativo también arroja resultados interesantes. El menor número de infidelidades se produce en los niveles extremos: mujeres con nivel básico de educación o profesionales con una muy alta cualificación-
Figura 10: Mostramos histograma Influencia del nivel educativo.
Figura 11: Histograma Nivel Educativo.
También podemos observar la influencia de los años de matrimonio:
Figura 12:Mostrar histrograma Influencia años de matrimonio.
Curiosamente, en promedio, es en los primeros años de matrimonio cuando se aprecia un mayor número de infidelidades.
Figura 13: Histograma Años de matrimonio.
Debe quedar algo así (ahora ya puedes copiar directamente el código en tu notebook):
Hoy, Día Internacional de la Mujer y la Niña en la Ciencia, vamos a hablar de cómo la inteligencia artificial es una especie de «varita mágica» que revoluciona todo lo que toca. En particular, veremos cómo se aplica al estudio del origen del Universo, uno de los misterios más grandes de la Ciencia.
Pero también hablaremos de la importancia de quien maneja la «varita». En este caso, la investigadora, Cora Dvorkin, que empezó desde niña a hacerse preguntas. Y que hoy sigue defendiendo que
«Hacer ciencia es la permanente búsqueda, no solo de respuesta sino también igual de importante, de la pregunta correcta.
De niña curiosa a Doctora en Cosmología
En una TEDxRíodelaPlata, la Dra, Cora Dvorkin, especialista en Cosmología del Departamento de Física de la Universidad de Harvard, nos explica cómo su equipo de investigación utiliza la inteligencia artificial para aprender sobre algo que está ahí aunque no lo veamos: la materia oscura.
También nos cuenta cómo, de niña, acompañaba a su padre a visitar a un amigo muy sabio, al que ambos admiraban mucho. Manuel Sadosky, matemático, considerado por muchos como el padre de la computación en Argentina, le transmitió su pasión por la ciencia y el conocimiento, y le enseñó a plantearse las preguntas adecuadas. Aprendió a disfrutar de cómo cada respuesta, cada avance, planteaba un nuevo desafío.
Con el paso de los años, se graduó en Física, por la Universidad de Buenos Aires, y encontró en la Cosmología el espacio para juntar su pasión por las Matemáticas, la Física y la Filosofía.
¿Por qué estudiar la materia oscura?
Hay muchas razones por las que es importante estudiar el Universo, y, en particular, la materia oscura. Pero sin profundizar en implicaciones históricas, basta con tener en cuenta un dato. El 85 % de materia de todo el universo es materia oscura.
El 85 % y aún hoy seguimos sin entender qué es.
Cora Dvorkin nos explica de forma muy sencilla, cómo los cosmólogos, al igual que los arqueólogos, estudian el pasado para poder comprender mejor el futuro. Así, investigando la luz que nos llega de una estrella, podemos ver cómo era ésta en el pasado; ya que puede tardar millones de años en llegar a nosotros. Y cuanto más lejos esté la estrella, más atrás en el tiempo podemos llegar. Por tanto:
Estudiar el universo lejano es como viajar en el tiempo.
Así, los cosmólogos investigan sobre en origen del Universo, estudiando la radiación cósmica de fondo, conocida como el «eco del Big Bang».
Una «interferencia» inexplicable
En 1965, los astrónomos de Bell Labs, Arno Penzias y Bob Wilson, descubrieron accidentalmente, como tantas veces sucede en la historia de la ciencia, algo fundamental. Ellos habían construido una antena para detectar ondas de radio y trabajaban para reducir al máximo cualquier interferencia. Pero había una señal de origen desconocido, que no había forma de eliminar. Habían detectado la radiación cósmica de fondo.
Con los años, el desarrollo de la Cosmología dio lugar a un modelo que explicaba el origen del Universo de forma elegante y simple. Usando la teoría estándar de Física de Partículas y la teoría de la Relatividad, explicaba la abundancia de hidrógeno y helio en el Universo, así como la existencia de esta radiación de fondo, emitida cuando el universo tenía tan solo 400.000 años de edad.
Algo que no se ve, pero está ahí
Pero había algo que no cuadraba. Para que funcionara el modelo, hacía falta mucha más materia de la que se podía detectar. En concreto, más de un 85%. Además, una materia «especial», sólo detectable por sus efectos gravitacionales.
Para explicarla, son necesarios nuevos tipos de partículas elementales. Es por ello que hoy día, en todo el mundo, se llevan a cabo numerosos experimentos, como el proyecto EUCLID, de la Agencia Espacial Europea.
Primeras evidencias de la existencia de la materia oscura
Años después, en los 70, a la astrónoma Vera Rubin, que estudiaba la velocidad de rotación de las estrellas en distintas galaxias, tampoco le salían las cuentas. Al igual que ocurre con los planetas que giran alrededor del sol, esperaba observar velocidades de rotación más bajas cuanto más lejos se encontrara la estrella del centro de la galaxia.
Sin embargo las observaciones mostraban otra cosa y la velocidad era constante. Fue la primera evidencia científica de la existencia de la materia oscura. Estos trabajos permitieron explicar muchas observaciones, incluida la conocida sinfonía cósmica del Big Bang.
¿Cómo detectar la materia oscura?
Aunque en 2019, los cosmólogos consiguieron el mapa más completo de materia oscura a través de la historia del Universo, cuando tratamos de detectarla a menor escala, como en el seno de una galaxia, su influencia o huella en el espacio es mucho más pequeña y difícil de cartografiar.
Figura 1: Este mapa tridimensional ofrece un primer vistazo a la distribución de la materia oscura a gran escala, como si fuera una red, tal y como se ha cartografiado con el mayor estudio del Universo realizado por el telescopio espacial Hubble, el Cosmic Evolution Survey («COSMOS»).Fuente
En este caso, los investigadores plantean hipótesis que les permitan medir su impacto sobre algo observable. Por ejemplo, si se plantea la hipótesis de que el paso de materia oscura frente a un objeto brillante distorsiona su brillo, este sí es un efecto que podemos medir a escala de una galaxia.
IA para detectar materia oscura
El grupo de investigación de la Dra, Cora Dvorkin, en Harvard, investiga sobre la materia oscura basándose en el fenómeno conocido como «efecto de lente gravitacional». La masa de la materia oscura deforma el espacio-tiempo. Por ello, en su presencia, la luz que nos llega de una galaxia no viene en línea recta, sino que se desvía creando arcos en el cielo que SI podemos observar.
Por tanto, para localizar cúmulos livianos de materia oscura, analizan imágenes buscando las pequeñas fluctuaciones que éstos generan en los arcos que vemos en el cielo.
El método tradicional para detectar estas pequeñas perturbaciones era analizar las imágenes una a una, a mano. Era un método muy lento, les podía llevar varios meses, pero factible cuando las imágenes a analizar se contaban por decenas. Sin embargo, con los nuevos telescopios, de decenas se ha pasado a decenas de miles, por lo cuale este análisis se convirtió en una tarea inabordable.
Machine Learning al rescate
Entonces el grupo se planteó aplicar a su campo de investigación técnicas de visión artificial. Así, entrenaron modelos de machine learning con miles de simulaciones de imágenes de galaxias, de forma que éstos aprendieron a detectar los patrones propios de los cúmulos de materia oscura.
Los resultados fueron tan buenos que apenas se lo podían creer. En menos de un segundo podían detectar cúmulos tan pequeños que antes consideraban indetectables.
IA para investigación en Física
El éxito del proyecto les animó a crear, junto con colegas de la Universidad de Harvard, MIT y otras universidades del área, un Instituto de Inteligencia Artificial, el IAIFI , en el que físicos de distintas disciplinas usan este tipo de herramientas. De esta forma, gracias a la inteligencia artificial y la gran cantidad de datos de los que podemos disponer hoy en día, iremos encajando poco a poco las piezas del rompecabezas, y encontrando respuesta a nuestras preguntas.
Y lo mejor de todo, nuestra curiosidad innata nos llevará a plantearnos preguntas nuevas que nos ayudarán a seguir avanzando en el conocimiento con mayúsculas.
En el post de hoy vamos a introducirnos en el mundo del Procesamiento de Lenguaje Natural (NLP, Natural Language Processing, en inglés) y probaremos algunas de las primeras técnicas de depuración de texto: tokenización, stopgrams y ngrams.
Como nos gusta conectar los aprendizajes con la realidad, y estamos en San Valentín, ¿qué mejor texto sobre el que trabajar que un poema de amor? Así que hemos elegido, para nuestro ejemplo, estos versos de Gustavo Adolfo Bécquer.
Podrá nublarse el sol eternamente; Podrá secarse en un instante el mar; Podrá romperse el eje de la Tierra Como un débil cristal. ¡Todo sucederá! Podrá la muerte Cubrirme con su fúnebre crespón; Pero jamás en mí podrá apagarse La llama de tu amor
Bromas aparte, en este post :
Definiremos qué es PLN y para qué se usa
Hablaremos de las principales librerías
Explicaremos qué es la tokenización
Haremos un sencillo ejemplo con estos versos
Sacaremos nuestras propias conclusiones
¿Qué es PLN?
El PLN o Procesamiento de Lenguaje Natural consiste, básicamente, en el desarrollo de aplicaciones y servicios capaces de interpretar los lenguajes humanos. Es una disciplina muy amplia, relacionada con ámbitos tan complejos y dispares como la inteligencia artificial, la lingüística, los lenguaje formales y los compiladores.
Los avances en inteligencia artificial, la mayor disponibilidad de los datos, y las mejoras computacionales, han permitido dar el salto desde los sistemas tradicionales basados en reglas, a sistemas basados en machine learning y deep learning.
Usos del PLN
Cada día se generan millones de gigabytes en blogs, páginas webs o redes sociales. Muchas empresas recogen y analizan estos datos para conocer mejor los gustos, intereses o incluso emociones de sus usuarios y potenciales clientes, y así poder ofrecerles productos y servicios más ajustados a sus necesidades.
Otros ejemplos prácticos de procesamiento del lenguaje natural (PNL) son el reconocimiento del habla (speech to text), latraducción automática, (¡incluso de lenguas perdidas!), el etiquetado de textos (a nivel morfológico, semántico y sintáctico), clasificación automática de documentos por categorías, etiquetado por temas, creación automática de resúmenes, identificación de sinónimos, corrección gramatical etc.
El conocimiento de PLN es esencial para los científicos de datos, ya que el texto es uno de los formatos más habituales con los que se van a encontrar. Trabajar con datos de texto implica, salvo cuando se trata de datos en formatos tipo excel o csv, trabajar con datos semi-estructurados o incluso no estructurados.
Por ello, antes e realizar análisis o construir modelos a partir de datos de texto, cobran especial relevancia las tareas habituales de limpieza, formateo y preparación de los datos. Más adelante, veremos un ejemplo práctico de algunas de estas tareas.
Herramientas PLN
En la actualidad, hay disponibles distintos paquetes de herramientas de amplia distribución destinadas al procesamiento lingüístico de carácter general. Estos paquetes están disponibles en distintos idiomas. Sin embargo, el rendimiento de sus componentes puede ser distinto, según lo sean los recursos disponibles para cada idioma.
Algunas de las bibliotecas de código abierto de Procesamiento del Lenguaje Natural (PNL) más conocidas son:
Las bibliotecas Open NLP de Apache y Core NLP de Standord, desarrollados en Java, incluyen una serie de procesadores lingüísticos basados en aprendizaje automático.
La biblioteca más popular, por su facilidad de uso y gran comunidad de soporte es NLTK (Natural Language Toolkit), escrita en Python. Es la que usaremos en nuestro pequeño ejemplo.
Pongámonos manos a la obra. Vamos a trabajar con Jupyter notebooks en Python. Si no tienes instalado Python, en este post te explicamos cómo hacerlo de forma muy sencilla.
Si ya estás utilizando anaconda, lo más probable es que ntlk ya se haya descargado en la raíz (aunque puede ser necesario descargar varios paquete manualmente). Para comprobarlo:
conda list
Comprobamos que, en nuestro caso, sí está instalado y la versión es la 3.2.4.
Si no lo tenemos instalado, podemos hacerlo fácilmente con:
Conda install –c ntkk=3.2.4
Tokenizar con Python y NTLK
Las herramientas de procesamiento que usamos en Data Science normalmente trabajan con números. Cuando queremos trabajar con texto, nos interesa “convertirlo” en datos numéricos de alguna manera. Es ahí donde entra en juego el proceso de tokenización. Consiste en la segmentación del texto en frases o palabras.
Además de separar una frase en “tokens” o grupos de tokens (ngrams), podemos identificar su frecuencia de aparición; identificar si se trata de sustantivos, verbos, etc; eliminar palabras habituales que no aportan significado (stop-words); realizar correcciones ortograficas etc
Parece simple, pero no lo es. Por ejemplo, “Alcalá de Henares” podría “romperse” en 3 tokens. Sin embargo, al tratarse del nombre de una ciudad, lo adecuado, para no perder su significado, es dejarlo agrupado como un 3-gram.
Un pequeño experimento
Primero, explicaremos brevemente en qué va a consistir nuestra prueba. Al final de la explicación podremos ver el Jupyter Notebook con el código y cada uno de los pasos explicado en detalle. Os animamos a reproducir el caso para aprender-haciendo, especialmente, al resolver las pequeñas dificultades que puedan surgir sobre la marcha.
Carga de librerías, y carga de datos
Empezamos importando las librerías y descargando todos los paquetes necesarios. A continuación, cargaremos los datos. En este caso, se trata de unos versos de Gustavo Adolfo Bécquer.
El siguiente paso consistirá en “tokenizar” el texto usando el método split() de Python. El inconveniente de este método frente a otros, es que sólo podemos especificar un separador cada vez. Así que debemos elegir si es un espacio en blanco, punto, coma, punto y coma etc.
Tokenizamos usando NTLK
A continuación tokenizaremos con NTLK, por palabras, con word_tokenize, y por frases, con sent_tokenize.
Como siempre, lo primero que habrá que hacer es importar la librería. También descargaremos los paquetes necesarios con los siguientes comandos:
# Carga de librerías
import nltk
nltk.download()
from nltk.tokenize import word_tokenize, sent_tokenize
Figura 1: Debemos elegir con qué paquetes vamos a trabajar
Figura 2: Podemos comprobar que las stopwords están ya descargadas
Tras la tokenización con NTLK, vamos a investigar un poco el tema de las stopwords. Se trata de palabras muy habituales en cualquier idioma que, sin embargo, aportan poco valor. Por ello, es interesante identificarlas y “excluirlas”. Es una forma de “limpiar” el texto. Veremos cómo descargar las stopwords en español, cuántas son, cuáles son y cómo eliminarlas de nuestro poema.
Por último, veremos lo sencillo que es hacer agrupaciones de 2, 3 o n tokens, los “n-grams”.
Aunque la tokenización parece algo sencillo, en realidad no lo es tanto. Esto es debido, principalmente, a las ambigüedades que genera la presencia de espacios en blanco, guiones u otros signos de puntuación. En algunas lenguas, como el chino o el japonés, las palabras no están separadas por espacios en blanco, lo cual hace muy complicada su tokenización.
Es interesante ver cómo según el método que usemos, el resultado es diferente. Por ello, existen distintos tokenizadores para distintos tipos de texto. Por ejemplo:
Tokenizador de tweets, capaz de detectar “sentimiento”
Tokenizador MWE (multi-world expression), que identifica grupos de palabras que suelen ir juntas como “United States of America”, “not only” etc
Tokenizador de expresiones regulares, que permite definer expresiones patrón para separar tokens
Tokenizador de espacios en blanco. Reconoce espacios en blanco, saltos de línea o tabuladores como separadores de tokens
Tokenizador “word punkt”, que separa un texto en una lista de caracteres alfabéticos, no alfabéticos o numéricos
Por tanto, es fundamental analizar en primer lugar el tipo de datos con los que vamos a trabajar, para poder decidir qué estrategia o herramienta es la más adecuada en cada ocasión.
Si quieres echar un vistazo a otros post «Valentinianos» aquí los tienes:
En el primer post de esta miniserie, explicamos el motivo por el cual necesitamos generar conjuntos de datos aleatorios para entrenar nuestros modelos de aprendizaje automático. En el post de hoy, veremos 5 formas distintas de hacerlo con Python.
Módulo random
En el módulo random de la librería estándar de Python, podemos encontrar un un conjunto de funciones que permiten obtener números aleatorios (para ser rigurosos, en realidad son “pseudo-aleatorios”), de distintas formas.
Para ello, utiliza un generador de números pseudo-aleatorios (PRNG) conocido como Mersenne Twister. Genera un número aleatorio a partir de otro número de damos como valor de entrada o semilla (seed). Se trata de un generador determinístico, ya que, a partir de la misma semilla, se obtiene siempre el mismo resultado.
En el post anterior ya comentamos que estos números pseudo-aleatorios son perfectamente válidos para la mayor parte de problemas que modelizamos mediante algoritmos de machine learning. Sin embargo, no nos sirven para trabajar en entornos de criptografía y seguridad. En estos casos, se utiliza el módulo “secrets” que permite generarnúmeros verdaderamente aleatorios (true-random number generators (TRNG).
5 formas distintas de generar números aleatorios
randint(): devuelve un número entero comprendido entre los valores indicados. Los valores de los límites inferior y superior también pueden aparecer entre los valores devueltos. Para números decimales (float) se usa la función uniform()
randrange(): devuelve números enteros comprendidos entre un valor inicial y otro final, separados por un valor “paso” determinado
choice() y choices(), permiten seleccionar valores de una lista de forma aleatoria. Toman una lista como argumento y seleccionan aleatoriamente un valor (o valores en el caso de choices()). También, se puede aplicar una matriz con pesos paraaumentar la probabilidad de que determinado valor sea elegido.
shuffle(): “baraja” una lista. Esta función ‘mezcla’ o cambia aleatoriamente el orden de los elementos de una lista antes de seleccionar uno de ellos
gauss(): genera un conjunto de números aleatorios cuya distribución de probabilidad es una distribución gaussiana o normal (muy frecuente en el mundo real). Existen funciones similares para otros distribuciones diferentes.
Ejemplos prácticos
Veamos unos sencillos ejemplos de aplicación de las funciones anteriores. En el manual de Python, se puede encontrar toda la información sobre éstas y las demás funciones del módulo random.
Recordamos que, como ocurre con todas las bibliotecas, antes de utilizar una función se debe importar la función o la biblioteca entera.
# Para importar la biblioteca random al completo
import random
# Para importar sólo determinadas funciones (randrange y choice)
from random import randrange, choice
Función randint()
La función randint(a, b) genera un número entero entre a y b, ambos incluidos. a debe ser inferior o igual a b. Por ejemplo, para generar un número aleatorio del 1 al 10 pondríamos:
# Generar un número entero aleatorio entre 10 y 20 (incluidos)
print(random.randint(1, 10))
Función randrange()
La función randrange() admite hasta tres argumentos (inicio, fin, paso). Por ejemplo.
# Generar un número entero aleatorio entre 10 y 110 con paso 2
print(random.randrange(10, 110, 2))
Funciones choice(), choices()
Estas funciones permiten elegir uno (o varios) elementos de una lista. También, como en este ejemplo, permite trabajar con cadenas de caracteres (strings)
# Elegir aleatoriamente uno (o varios, en este caso 2) colores de la lista
color=( ['rojo', 'amarillo', 'verde', 'azul', 'marrón', 'negro'])
# Un color
print (random.choice(color))
# Una pareja de colores
print (random.choices(color,k=2))
Si queremos que uno de los elementos tenga mayor probabilidad de salir elegido, aplicamos una matriz “peso”. En este ejemplo, pedimos que saque 10 combinaciones de 3 colores, y que el color azul, sea 5 veces más probable que el resto:
for _ in range(10):
print('Combinación de 3 colores al azar=>',random.choices(color,weights=[1,1,1,5,1,1],k=3))
Función shuffle()
Con la función Shuffle, “barajas” o cambiar de posición aleatoriamente los elementos de una lista cualquiera.
# "Barajamos" con shuffle una lista de números
lista = [5, 3, 45, 27, 2, 10, 82]
# La lista tal cual
print('Lista original=>',lista)
random.shuffle(lista)
# La lista mezclada
print('Lista mezclada=>',lista)
Función gauss()
La función gauss() usa como argumentos la media y la desviación estándar, para generar valores aleatorios que sigan una distribución normal. En este ejemplo, generamos un conjunto de números (pseudo)-aleatorios que siguen una distribución gaussiana, con media 0 y desviación estándar 1.
for _ in range(10):
print((random.gauss(0,1)))
Si queremos ver la gráfica, para, por ejemplo, 1000 valores,
import random
import matplotlib.pyplot as plt
%matplotlib inline
campana=[random.gauss(1,0.5) for i in range(1000)]
plt.hist(campana, bins=15)
plt.show()
¿Cómo se conectan y se comunican los dispotivos IoT? En este post detallaremos los cuatro modelos de comunicación definidos por la directiva RFC7452. Sigue leyendo →
Comenzamos una nueva serie, “IoT4All”, en la que iremos desgranando poco a poco los conceptos básicos de Internet de las Cosas para hacerlas accesibles a todo aquel que quiera introducirse en este mundo, apasionante, sí, pero para qué negarlo, también complejo. En este primer post definiremos el concepto de Internet de las Cosas, IoT, y nos encontraremos con la primera sorpresa: Sigue leyendo →
Si quieres formarte en Data Science, Machine Learning e Inteligencia Artificial no hace falta hacer una gran inversión. En este post os contamos qué cursos gratuitos sobre esta temática tienen la inscripción abierta en estos momentos, y puedes seguir a tu aire Sigue leyendo →
Si quiere probar a implementar tu propio generador de números aleatorios lo más “verdadero” posible una Raspberry Pi, no te pierdas este otro post.
Continuamos hablando de «Python para todos». En esta ocasión, explicando por qué necesitamos poder generar números aleatorios para entrenar nuestros modelos de aprendizaje automático.
¿Qué son los números aleatorios?
Un número aleatorio es un número obtenido al azar. El ejemplo clásico es lanzar una moneda, o un dado (no trucado). Cada cara de la moneda o del dato, tiene siempre la misma probabilidad de salir, independientemente del resultado anterior. O del resultado de lanzar el otro dado, si lanzamos simultáneamente dos de ellos.
En general cuando se requiere una impredecibilidad en unos determinados datos, se utilizan números aleatorios.
Números aleatorios y modelos Machine Learning
En Ciencia de Datos, como en cualquier otra rama de la Ciencia, se construyen modelos que nos ayuden a representar la realidad o los fenómenos concretos que queremos estudiar. Pero esta realidad, y nosotros mismos, los seres humanos somos altamente impredecibles. Por ello, si queremos que nuestros modelos predictivos se aproximen a la realidad, deben funcionar como ésta: de forma aleatoria.
Algunos ejemplos de este tipo de fenómenos son:
Evolución del clima
Resultado de unas elecciones
Erupción del un volcán
Evolución del desempleo
Epidemias…
etc
Por tanto, en Machine Learning se trabaja a menudo con generadores de números aleatorios porque éstospermiten a los modelos matemáticos representar la realidad.
Generación de números aleatorios
Aunque sea tan sencillo como «lanzar un dado», cuando necesitas generar, por ejemplo, un millón de datos, hay que buscar alternativas más eficientes.
¿Por qué no generarlos por ordenador entonces?
Esta es un pregunta interesante. Un ordenador es una máquina que repite, a gran velocidad eso sí, los pasos que le pedimos que haga. Sin embargo, es imposible generar algo impredecible en un ordenador.
Uno de los primeros científicos interesados en este tema ,el físico John von Neumann, reconocía que la tarea en sí era imposible y acuñó la frase:
«Aquel que trate de producir dígitos aleatorios mediante métodos aritméticos está, por supuesto, pecando».
«Any one who considers arithmetical methods of producing random digits is, of course, in a state of sin« (John von Neumann)
Recientemente han surgido alternativas interesantes, como basar la generación de números aleatorios en procesos físicos realmente impredecibles, como son los procesos cuánticos.
Sin embargo, lo más habitual es «tirar por el camino de enmedio» y trabajar con números pseudoaleatorios, que se obtienen a partir de operaciones aritméticas, y se parecen mucho a los números aleatorios. No sirven para todos los casos, por ejemplo en ciberseguridad es muy importante que sean realmente aleatorios, pero para la mayoría de los problemas, funcionan.
Una vez aclarado el porqué son necesarios los datos aleatorios en Machine Learning, ya sólo nos queda ponernos manos a la obra y aprender a generarlos en Python. Pero esto, ya lo dejamos para el próximo post.
Para estos días de estar en casa, recuperamos uno post que preparamos para hacer algo interesante con los peques durante las vacaciones de Navidad. Os propusimos pasar una tarde entretenida haciendo un sencillo experimento de Machine Learning con nuestros niños. Es importante que los niños conozcan cómo que funciona nuestro mundo. ¿Y qué mejor manera de comprender las capacidades e implicaciones del ubicuo aprendizaje automático que poder construir algo utilizando esta tecnología ellos mismos?
Usaremos una herramienta basada en web, (no hay que instalar nada, ni configurar nada complejo), que nos permitirá introducir a los niños en el mundo del entrenamiento de sistemas de aprendizaje automático y el tipo de cosas que se puede construir con ellos. Y de la forma que más les gusta aprender a los niños (y a los mayores también): ¡jugando!.
Si no tienes hijos, ni ningún pequeño amigo más o menos a mano, no hay problema: puedes recuperar al niño/niña de tu infancia, y pasar un buen rato probándolo contigo mismo. ¿Qué te parece el plan?.
(Por cierto, os confirmamos que lo hemos probado con un auténtico “kid” de 13 años montamos un bot en aproximadamente 1,5 horas.)
La herramienta fue diseñada por Dale Lane utilizando APIs de IBM Watson Developer Cloud para usar en colegios o clubes de programación para niños. Ofrece un sencillo entorno que entrenamiento de modelos de aprendizaje automático para clasificación de texto, números o reconocimiento de imágenes. Los niños pueden crear proyectos o construir juegos con los modelos de aprendizaje que ellos mismos han entrenado con Scratch o Python, Nosotros, en este ejemplo, usaremos Python.
1. Creación de un proyecto nuevo.
Manos a la obra. La idea es crear un chatbot capaz de respondernos a preguntas sobre el tema que elijamos. Lo primero que hay que hacer es decidir sobre qué tema queremos crearlo. Puede ser:
Nuestro animal favorito
Nuestro deporte favorito
Nuestro personaje favorito de novela, cómic, cine, vídeo etc.
Nuestro colegio, nuestro barrio, nuestro país…
Lo que queramos.Como nos gustan mucho los búhos, hemos decidido que sean los protagonistas de nuestro proyecto. A continuación, pensamos cinco cosas que se puede preguntar sobre ellos. Por ejemplo:
¿Qué comen los búhos?
¿En qué partes del mundo se les puede encontrar?
¿Cuánto tiempo viven los búhos?
¿Qué especies de búhos hay?
¿Qué tamaño pueden alcanzar?
Una vez recopilada la información con la que queremos entrenar nuestro sistema, vamos a la página web de Machine Learning for Kids. (Para agrandar las imágenes, haced click sobre ellas)
Figura 1: Página web de ML for Kids
Vamos a probar la opción “Sin registro” y, si nos gusta la experiencia, nos registraremos para el próximo proyecto. Creamos un proyecto nuevo con el botón “+ Añadir proyecto” ,que aparece en la parte superior derecha. Indicamos el nombre del proyecto, en nuestro ejemplo, Búhos, y seleccionamos de qué tipo es (reconocimiento de texto, de números o de imágenes). El nuestro es de texto. También indicamos el idioma.
Figura 2: Creación de un nuevo proyecto.
2. Entrenamiento.
Ahora tendremos que “entrenar” a la computadora. Lo haremos dándole ejemplos de los que aprender. Para ello, hacemos click sobre el proyecto sobre el que queremos trabajar y nos dará tres opciones.
Figura 3: El proyecto, ya creado, aparece en una especie de navegador de proyectos. Podemos abrirlo, o borrarlo.
Elegimos la primera “Entrenar”.
Figura 4: Seleccionamos la opción «entrenar»
Y, a continuación, “Añadir nueva etiqueta” (“Add New label”, en la versión española hay algunos mensajes que aparecen en inglés, como este)
Figura 5: Añadir etiqueta.
Creamos una etiqueta “resumen” para cada una de las preguntas que nos hemos planteado sobre los búhos. Por ejemplo, para la primera pregunta “¿Qué comen los búhos?”, podemos elegir como etiqueta “Comida”, o “Alimentación” (no admite tilde). Lo que queramos. Es sólo una etiqueta. Vamos creando una etiqueta para cada pregunta y nos queda algo así:
Figura 6: Etiquetas ya creadas.
Para cada etiqueta, añadiremos, por lo menos 5 ejemplos. Para ello, en cada uno de los recuadros, seleccionamos “Add example” y añadimos hasta 5 formas distintas de formular esa pregunta. Por ejemplo, en Alimentación, podemos poner:
¿Qué comen los búhos?
¿Qué les gusta comer a los búhos?
¿Qué tipo de comida prefieren los búhos?
Si fueras un búho, ¿Qué te gustaría comer?
¿Cuál es el manjar favorito de los búhos?
Y generamos 5 preguntas para cada cuadro. Queda algo así:
Figura 7: Ejemplo de preguntas.
Hacemos lo mismo para cada una de las etiquetas (toca escribir un poco):
Figura 8: Escribimos formas alternativas de preguntar por cada uno de los temas.
Una vez hecho esto, seleccionamos “Volver al proyecto” (arriba a la izquierda) y volvemos a la pantalla que aparecía en la Figura 4. Ha llegado el momento de “Aprender y probar”. Si hemos recogido suficientes ejemplos, la máquina aprenderá a reconocer sobre qué le estamos preguntado, basándose en los ejemplos de preguntas que hemos hecho.
Figura 9: Con las preguntas de ejemplo entrenamos a la computadora para que identifique el tema de la pregunta.
La siguiente figura nos recuerda lo que hemos hasta ahora, recoger 5 ejemplos de pregunta por cada tema, y el paso siguiente: pulsar el botón azul de la parte inferior izquierda para empezar el entrenamiento.
Figura 10: Lanzamos el entrenamiento.
En lo que se entrena el modelo, puede que nos hagan una pequeña encuesta sobre Machine Learning. Cuando termine, aparece información de estatus. Como no nos hemos registrado, nos advierten que nuestro modelo se borrará en unas horas.
Figura 11: Información de estatus del modelo ya entrenado.
3. Creamos un juego en Scratch o Python.
Volvemos a la página principal del proyecto con “Volver al proyecto”. Ha llegado el momento de usar el modelo de aprendizaje automático que hemos entrenado para crear un juego en Scratch o Python. Para ello, seleccionamos la tercera opción, “Make” (recordar Figura 4) y después, elegimos la opción Python.
Figura 12: Seleccionamos la opción Python.
Llegamos a esta pantalla:
Figura 13: Usamos ML en Python.
Nos vamos a fijar en la ventana de código, a la derecha. Copiamos las líneas que aparecen en el recuadro rojo cuyo objetivo es importar la librería “requests” y definir la función “Classify”. La primera pasa el texto que introducimos al modelo de aprendizaje automático que hemos creado y nos devuelve el resultado que mejor se aproxime.
Figura 14: Copiamos estas líneas de código en Python.
A continuación vamos a necesitar un editor cómodo para Python. Podemos usar el que más nos guste. Nosotros vamos a usar Jupyter Notebook.
A continuación vamos a necesitar un editor cómodo para Python. Podemos usar el que más nos guste. Nosotros vamos a usar Jupyter Notebook.
(Si no lo tenéis instalado, en este post, Python para todos (2): ¿Qué son los Jupyter Notebooks?, podéis encontrar una forma sencilla de hacerlo).
Pero, si no queremos instalarnos nada, podemos usar la versión browser de Jupyter, o bien, si tenemos una cuenta Office 365 o Microsoft Account, podemos usar también los notebooks de Microsoft Azure. Aunque nosotros hemos elegido esta última opción, cualquiera de las tres es perfectamente válida.
Figura 15: Creamos un proyecto nuevo.
Le asignamos un nombre, y un ID numérico:
Figura 16: Asignamos nombre e ID al proyecto.
Indicamos qué tipo de proyecto es: Notebook
Figura 17: Indicamos que se trata de un Notebook.
Asignamos unnombre al Notebook e indicamos la versión de Python con la que queremos trabajar: 3.5
Figura 18: Indicamos nombre y versión.
Pegamos en este notebook el código que hemos copiado anteriormente (ver figura 14), donde se hacía una llamada a la librería requests y la definición de la función classify. (Explicaremos paso a paso con imágenes cómo hacerlo, y al final del proceso, incorporamos la versión final editable de la que podéis copiar directamente el código para pegarlo en vuestro notebook.)
Figura 19: “Pegamos” el código que copiamos antes– carga de librería requests y definición de la función classify.
Ahora tenemos que definir la función respuesta: answer question. Para ello, añadirmos a continuación las siguientes líneas de código. Para cada tipo de pregunta, “class_name” generamos un bucle: “if answerclass == nuestra etiqueta” print””
Figura 20: Para cada tipo de pregunta se genera un bucle if–print–efif.
(Nota: Según la versión Python, habrá que udar la función raw_input(“>”) o input(“>”) a secas) Después, en el espacio entre “” agregaremos las respuestas que hemos buscado. Toca escribir de nuevo.
Figura 21: Añadimos las respuestas correspondientes a cada pregunta entre las comillas después de print.
Por último, cerramos agregando la pregunta que nos va a hacer el bot:
Figura 22: Agregamos la pregunta que nos hará el chatbot.
Como ya os adelantamos al principio del post, pusimos a prueba todo el proceso con Miguel, de 13 años, que eligió como tema para su bot los cerdos (es una apasionado de la biología, pero también del jamón). Para no hacerle escribir demasiado, en lugar de crear 5 etiquetas, creamos 3, eso sí, con 5 preguntas por cada una de ellas. Nos quedó así:
Figura 23: Versión «corta» creando sólo 3 etiquetas.
Completamos la función “answer question”como hicimos en la figura 21 con información sobre nuestro nuevo animal favorito y, al ejecutar la celda desde el menú Cell/Run Cells, nos aparece el cuadro de entrada con la pregunta : “¿Qué te gustaría saber de….?”
Figura 24: El bot ya está activo y le podemos preguntar.
Y ¡ya podemos preguntar!. Nuestro bot no será “muy listo”, porque tampoco es que nos hayamos esforzado mucho en entrenarlo a conciencia, pero ahí le tenemos, dispuesto a responder nuestras preguntas a partir de la información que le hemos facilitado para “aprender”.
Figura 25: Ejemplo del pregunta.
Como no nos registramos en Machine Learning for Kids, cuando el proyecto “caduque”, el bot dejará de funcionar. Si quieres volver a probarlo otro día, regístrate. En esta misma web podrás encontrar fichas sobre este proyecto e información sobre las muchas cosas que se pueden hacer. Esperamos que os haya gustado.
Nos encantará saber, si lo habéis probado, qué tal os ha ido. ¡Dejadnos un comentario!
TIC, TAC, TEP: Aprender en el siglo XXI 
