Analizando datos con modelos estadísticos, matemáticos y de ML usando Python y R

Objetivo Recopilación de ejemplos de Estadística, análisis de datos y ML aplicados con librerias de Python y R

Temario de los ejercicios

• Fundamentos de Estadística
• Estadísticos análiticos
• Distribuciones de probabilidad
• Hipótesis
• Regresiones
• Árboles de decisión

Librerías Python

• Scipy: Computo científico
  • https://www.scipy.org/
• Pandas: Estructuras de datos y análisis
  • https://pandas.pydata.org/
• Numpy: Estructuras de N dimensiones
  • https://numpy.org/
• SKlearn: Aprendizaje automático
  • https://scikit-learn.org/stable/
• SymPy: Matemáticas simbolicas
  • https://www.sympy.org/en/index.html
• Statsmodels Modelos estadísticos, hypothesis tests, and data exploration
  • https://www.statsmodels.org/stable/index.html
• TensorFlow: TensorFlow ofrece herramientas para la definición y entrenamiento de redes neuronales.
  • https://www.tensorflow.org/
• Keras: Keras se ofrece como interfaz de alto nivel para librerías como TensorFlow, Theano o CNTK.
  • https://keras.io/
• NLTK: Librería de procesamiento de lenguaje natural, con multitud de herramientas orientadas al análisis de textos.
  • https://www.nltk.org/
• XGBoost, LightGBM: Librerías que implementan los algoritmos homónimos, fundamentales en entornos tabulares.
  • https://lightgbm.readthedocs.io/en/latest/
  • https://xgboost.readthedocs.io/en/latest/

Librerías de visualización

• Seaborn: Visualización de datos basada en Matplotlib. Capa adicional de abstracción
  • https://seaborn.pydata.org/
• Matplotlib: Gráficado en 2D
  • https://matplotlib.org/
• Bokeh: Tercera librería de visualización de esta lista, aunque en este caso no está basada en Matplotlib. Bokeh ofrece visualizaciones interactivas muy atractivas y útiles.
  • https://docs.bokeh.org/en/latest/

Librerías complementarias

• Pyreadstat A python package to read and write sas (sas7bdat, sas7bcat, xport), spps (sav, zsav, por) and stata (dta) data files into/from pandas dataframes.
  • https://github.com/Roche/pyreadstat
• Graphviz Requerido para trabajar con gráficos y arboles de decisión
  • https://pypi.org/project/graphviz/
  • https://graphviz.gitlab.io/_pages/Download/Download_windows.html

Contenido complementario

• Teoría sobre probabilidad y estadística
• Estadística con Python
• Pensamiento probabilistico y matemáticas aplicadas

Guía de Aplicaciones

Uso de las distribuciones

Algunos consejos:

Comenzar con los datos sin procesar y responder a cuatro preguntas básicas acerca de los mismos, que nos pueden ayudar a caracterizarlos.

• La primer pregunta se refiere a si los datos pueden tomar valores discretos o continuos.
• La segunda pregunta que nos debemos hacer, hace referencia a la simetría de los datos y si hay asimetría, en qué dirección se encuentra; en otras palabras, son los valores atípicos positivos y negativos igualmente probables o es uno más probable que el otro.
• La tercer pregunta abarca los límites superiores e inferiores en los datos; hay algunos datos, como los ingresos, que no pueden ser inferiores a cero, mientras que hay otros, como los márgenes de operación que no puede exceder de un valor (100%).
• La última pregunta se refiere a la posibilidad de observar valores extremos en la distribución; en algunos casos, los valores extremos ocurren con muy poca frecuencia, mientras que en otros, se producen con mayor frecuencia.

Modelos de ML

Fuentes

• https://platzi.com/datos/
• https://relopezbriega.github.io
• https://blog.adrianistan.eu
• https://aprendeconeli.com
• https://www.aprendemachinelearning.com/
• https://github.com/urcuqui/Ciencia-de-datos-ICESI
• https://github.com/donnemartin/interactive-coding-challenges

Contribuye con ejemplos

Enviame un pullrequest con un nuevo notebook con ejemplos detallados sobre algún tema de interés o contáctanos para poder colaborar

Colaboradores

• Elías Ojeda Medina (eocode en redes sociales)
• Cristhian Castillo (KorKux)

Licencia

GNU General Public License v3.0