Formación BIGS en UCentral
From hpcwiki
Curso de Introducción a BIGS
Large Scale Machine Learning Framework
- Fundamentos
- Conceptos básicos: Big Data, paralelismo por datos, NoSQL, etc.
- Modelo de computación de BIGS
- Aprendizaje automático a gran escala: Procesos iterativos, exploiting locality, comparación con Hadoop
- Taller: Instalación de BIGS
- Ciclo experimental
- Conceptos de BIGS: Jobs, Tasks, Workers, Datasets locales, Particiones
- Jobs de ejemplos Simple, FE + KMeans, Cross Validation, Bootstrapping, Curvas de aprendizaje, grafos de los jobs
- Taller: carga de datasets, ejecución de jobs de ejemplo, visualización de resultados
- BIGS en distribuido
- Paralelismo por datos: Relación particiones vs. workers, datasets generados, sincronización de particiones generadas, estrategias de workers, recuperación de fallos.
- Modelo de almacenamiento: NoSQL, implementaciones
- Taller: uso de BD central, y workers entre los participantes, curva de escalabildiad
- Programación de procesos
- Arquitectura de BIGS: Descripción de APIs, jars y despliegue
- API de procesos (modelo de computación de BIGS)
- Procesos de ejemplo: KMeans, Logistic Regression
- APIs adicionales: Feature Extraction, Importación de datos, Almacenamiento
- Taller: Desarrollo de un proceso
- Conocimientos básicos de Java y programación orientada a objetos
- Conocimientos a nivel de usuario de Linux (uso del shell)
- PCs de escritorio o portátiles con Virtual Box instalado
- Conectividad de red local y Servidor
- HBase
- DHCP
- Visibilidad entre máquinas físicas y virtuales