Curso de Administración y Operación de Kafka

Descripción

El curso trata de proporcionar los conceptos y habilidades necesarias para que los alumnos puedan administrar un cluster de brokers de Kafka, conozcan las características de la gestión de topics, como aplicar seguridad y fiabilidad a un sistema de mensajería como Kafka. El alumno conocerá como realizar tareas como lanzar crear y manterner topics, lanzar y consumir mensajes, o crear grupos de consumidores.

Objetivos

El curso está dirigido principalmente a administradores, sobre todo para aquellos que tengan conocimientos y experiencia con sistemas de mensajería como JMS o IBM MQ Series, o que deseen conocer la administración de un sistema como Kafka.

Contenidos del curso

1. Introducción

• Conceptos básicos de Kafka
• Kafka vs otros sistemas de mensajería y motivación
  • Complejidad de los sistemas
  • Procesamiento en tiempo real
  • Plataforma de streaming de datos

2. Diseño y arquitectura de Kafka

• Como almacena Kafka los datos en disco
  • Logs, índices y checkpoints
  • Gestión de Offset
• Componentes de Kafka
  • Producers
  • Brokers
  • Roles de los brokers: leaders, followers
  • Consumers
  • Uso de Zookeeper por parte de Kafka
• Protocolo de comunicaciones de Kafka
• Integración con Kafka connect
  • Motivación
  • Tipos de conectores
  • Implementación de Kafka connect
• Multi-cluster Kafka
  • Mirror maker
  • Kafka connect
• Diferencias entre las principales versiones de Kafka (0.9, 1.0, 1.1)
  • Migraciones e incompatibilidades
• AVRO, Schema Management en Kafka

3. Diseño de detalle de Kafka

• Ciclo de vida de las peticiones de los productores
• Ciclo de vida de las peticiones de los consumidores
• Kafka controller

4. Diseño de soluciones

• Arquitectura de referencia de Kafka
• Dimensionamiento
• Diseñando para alta disponibilidad (HA)
• Kafka en múltiples datacenters:
  • Distribución de brokers, réplicas y particiones
  • Disaster recovery
  • Replicación intra-cluster
• Consideraciones de despliegue

5. Seguridad

• Securizando Kafka
  • SSL
• Securizando Zookeeper
• Autenticación, autorización
  • Kerberos, Active Directory
  • ACLs y Cuotas
  • SASL

6. Operación

• Herramientas en línea de commando y operativa de administración
• Administración de Logs, retención y compactación
• Recuperación ante fallo de un bróker
• Añadir nuevos brokers a un cluster
• Realojamiento de un tópico/replica
• Configuración de Brokers
• Configuración hardware recomendada

7. Rendimiento

• Tuning de rendimiento
  • Mejora de rendimiento de los brokers
  • Mejora del tiempo de recuperación ante caída de un bróker
  • Mejora de rendimiento de los productores
• Balanceo de carga
• Pruebas de rendimiento

8. Monitorización

• Monitorización y alertas
• Visualización e interpretación de las métricas del cluster

9. Identificación de errores

• Análisis de logs de error
• Análisis de logs de peticiones
• Análisis de Logs de controllers
• Troubleshooting y best practices
• Diagnóstico de problemas de latencia en el cluster

10. Identificación de errores

• Apache Kafka
• Confluent
• Hortonworks
• Cloudera
• Tibco
• Diferencias entre distribuciones