Которые хотят тестировать передачу сообщений с помощью Kafka, а также производительность, throughput, latency и надежность асинхронного взаимодействия компонентов системы.
Тестировщикам
02
Которые хотят освоить технологию: научиться отправлять и обрабатывать сообщения, запускать брокер локально, понимать архитектуру Kafka, ее возможности и ограничения, масштабировать отправку и получение сообщений.
Разработчикам
01
[ Для кого подойдет курс ]
на любом языке программирования
[ Что будет на курсе ]
Подробно разберём архитектуру Apache Kafka: topics, partitions, replication + producer, consumer, acks.
Запустим из Docker, CLI, CLI producer и CLI consumer.
Напишем клиента на разных языках, попробуем переключать partitions между Consumers в группе.
Рассмотрим возможности и ограничения Kafka, сравним с другими брокерами сообщений и очередями.
Разберем реальные кейсы применения Kafka в известных компаниях.
Расскажем о типичных ошибках новичков при работе с Kafka.
Получим реальный навык работы с Kafka на 6-ти практических занятиях с преподавателем.
Узнаем, как повышать сохранность данных с помощью шаблонов проектирования transactional outbox, transactional client.
Необходимые требования для прохождения курса:
1. Опыт программирования от 2 лет на любом языке программирования
2. Базовое знакомство с Docker
1. Опыт программирования от 2 лет на любом языке программирования
2. Базовое знакомство с Docker
1.
2.
3.
[ Как проходит обучение ]
Разбирате тему с помощью текстовых конспектов и лекций
в Zoom с преподавателем.
в Zoom с преподавателем.
Изучаете материал
Выполняете ДЗ
Решаете учебные задачи,
подготовленные для курса.
подготовленные для курса.
Получаете обратную связь
На практических занятиях разбираете с преподавателями ошибки и пути их решения.
[ Отзывы о лекции ]
Самая крутая лекция по Кафке, что я видел. Всё простым языком без глупых рисунков и вот этого всего. Ещё и практический пример.
Ответить
2
Andrew Wlasow
@wlasov
Отличное объяснение и наглядный пример! Спасибо!
Ответить
9
Konstantin Shibkovw
@KonstantinShibkov
Самое лучшее видео по kafka, разложили прям все по полочкам
Ответить
7
Ирик Кашапов
@user-rl7cq2bh2f
Спасибо за ваш труд и воможность его увидеть =)
Ответить
2
Il'dar Valitov
@ildarvalitov2568
Спасибо! Отличная лекция!
Ответить
1
Михаил Гейер
@user-wt6fv4dl3b
Подача супер, особенно спасибо за список ссылок.
Ответить
2
Максим Лесик
@Halfbloodimus
Всё классно объяснил. Спасибо!
Ответить
1
zvuk331
@zvuk3316
[ Кто преподает? ]
Senior Software Engineer Team Lead at Indy
Виталий Заневский
Разработчик с 2016 года. Дважды призер Northern Eurasia Programming Contest.
Специализации: Node.js, JavaScript, TypeScript, Apache Kafka, MongoDB, PostgreSQL, AWS, Kubernetes.
- Senior Software Engineer Team Lead: Indy
- Senior Software Engineer: ColabPro Inc.
- Software Developer: instinctools EE Labs
- Lecturer: Yanka Kupala State University of Grodno
Руководил процессом перевода системы с использования AWS SQS на Apache Kafka. С командой построил на Kafka всю eventual consistency проекта. Полтора года применяет на проекте Kafka для выполнения фоновых задач, таких как обработка данных из файлов или отправка email-сообщений.
За свою карьеру обучил несколько full-stack разработчиков среднего уровня, а сейчас возглавляет и наставляет людей в качестве тимлида и старшего инженера-программиста. Эксперт в разработке ПО под нужды бизнеса.
Закрытый Telegram-чат для участников курсов
Инструменты
Согласования внутри группы голосованием
Время проведения занятий
Все текстовые материалы/задания будут храниться в папке на Google drive
Занятия будут проходить в Zoom в установленное время
Закрытый плейлист на YouTube
* Все записи будут доступны навсегда
Лекции будут проводиться
с использованием доски Miro
с использованием доски Miro
Практика
* 1 час один раз в неделю
Теория
* 1,5 часа один раз в неделю
[ Формат курса ]
[ Программа курса ]
Что такое messaging system?
- Для чего используется?
- Шаблон message bus
- Основные паттерны применения
- Какие есть messaging systems?
- История создания
- Основные возможности и особенности Apache Kafka
- Kafka и очередь сообщений: сходства и различия
- Kafka и база данных: сходства и различия
- Примеры использования
- Topics, partitions, replication
- Как работает Kafka: внутреннее устройство
- Kafka broker
- ZooKeeper
- Producer, consumer
- Обзор Kafka клиентов
- Commits и Offsets
- Serializers и Deserializers
- Масштабирование Kafka
Live configuration
В этом разделе преподаватель продемонстрирует как запустить Kafka на собственной машине, как создать topic, как его использовать. Kafka CLI для отправки и получения сообщений, а также для мониторинга и изменения конфигурации.
В этом разделе преподаватель продемонстрирует как запустить Kafka на собственной машине, как создать topic, как его использовать. Kafka CLI для отправки и получения сообщений, а также для мониторинга и изменения конфигурации.
- Докер образ
-
Базовые команды CLI для
просмотра/создания/обновления топиков
- Как тормозит Kafka при изменении числа partitions?
- Запуск producer/consumer CLI
- Запуск CLI consumer groups
- Клиенты на разных языках
- Создание producer и consumer
- Демо с CLI и клиентами
- CLI + код
- Код
- Демо перераспределения в consumer group
- Шаблон transactional outbox, transactional client
- Идемпотентность, ключ идемпотентности
Admin API
Мониторинг
Kafka Connect (или Connector API)
Мониторинг
- Как мониторить Apache Kafka?
- Ключевые метрики работоспособности
Kafka Connect (или Connector API)
- Что такое Kafka Connect и как это работает?
- Виды Kafka Connector
- С каким системами может работать Kafka Connect
- Что такое Kafka Stream и как это работает?
- Kafka Streams: общие понятия
- Exactly Once гарантия
- Что такое Kafka Schema registry?
- Как работает Schema Registry?
- Облачная Apache Kafka от Confluent: краткий обзор
- Зачем убрали Zookeeper из Kafka?
- Что такое Kafka Raft?
- Kafka без Zookeeper: отсутствующие функции
- Миграция ZooKeeper в KRaft
- AWS Managed Kafka Service
- RabbitMQ
- ActiveMQ
- Amazon Kinesis
- Apache Spark
- Apache Storm
- Apache Flink
- Redis
- Confluent
Кто использует Kafka
- Uber
- Audi
- BMW
- Porche
- Tesla
- Zalando
- The New York Times
- Coursera
- Message bus
Завершающее занятие на котором разберем ваши вопросы, дополнительные материалы и дальнейший путь развития.
[ Cтоимость обучения ]
1
Курс содержит:
Теория
Практика
Дополнительные Бонусы
Apache Kafka Fundamentals
7 недель
$790
Курс содержит:
Теория
7 живых занятий в Zoom, с доступом на неограниченное время;
текстовые материалы для подготовки;
Практика
6 практических занятий в Zoom с преподавателями;
индивидуальная обратная связь по заданиям;
домашние задания;
Дополнительные Бонусы
электронный сертификат об окончании курса на EN и RU языках
общение в групповом чате вашего потока онлайн
доступ к закрытому сообществу выпускников и бесплатным мероприятиям
5 живых занятий в Zoom с доступом на неограниченное время;
APACHE KAFKA FUNDAMENTALS
7 недель
$790
текстовые материалы для подготовки;
5 практических занятий в Zoom с преподавателями;
1
домашние задания;
индивидуальная обратная связь по заданиям;
общение в групповом чате вашего потока онлайн;
электронный сертификат об окончании курса на EN и RU языках;
доступ к закрытому сообществу выпускников и бесплатным мероприятиям.
Если вы сомневаетесь, прочитайте отзывы наших учеников
Отзывы выпускников курса
[ KAFKA FUNDAMENTALS ]
[ Как попасть на курс ]
Оставьте заявку на сайте
в форме ниже
в форме ниже
Мы перезвоним вам, чтобы согласовать время интервью
Сообщим вам о положительном решении в течение дня
На интервью определим, достаточно ли вашего уровня знаний для курса, и сформулируем цель обучения
Отправим счет и возможные варианты оплаты курса
Вы участвуете в установочном занятии и выбираете наиболее удобное время для занятий
Свяжитесь с нами по контактам ниже:
Олег - менеджер Hard&Soft Skills
[ Частые вопросы ]
Вы получите доступ к записям лекций и всем материалам на неограниченное время
В данном курсе рассрочка платежа не предусмотрена
Да, курс может быть оплачен Вашим работодателем полностью или частично.
Курс [Kafka Fundamentals] рассчитан на IT-специалистов, не знакомых с технологией, и предполагает обучение с нуля.
Курс включает 2 занятия, длительностью 1- 1,5 часа, в неделю: 1 теоретическое и 1 практическое. Также Вам нужно будет уделять 2-3 часа на домашние задания и 30 минут на изучение текстовых материалов перед началом занятий. Всего в неделю потребуется выделить 4-5 часов на курс.
График обучения рассчитан на специалистов с полной занятостью. Перед началом обучения проходит установочное занятие на котором Вы выбираете наиболее удобное время для занятий. И, выделяя 4-5 часа в неделю на обучение, Вы сможете совмещать курс с full-time работой.
Если Вы пропустили занятие, у Вас будет возможность посмотреть запись урока и выполнить домашнее задание позже.
В случае приостановки прохождения курса, Вы сможете продолжить обучение со следующим потоком.
В случае приостановки прохождения курса, Вы сможете продолжить обучение со следующим потоком.
При наборе на курс мы смотрим на Ваши навыки на интервью. Их должно быть достаточно, чтобы Вы смогли усвоить программу, но получить необходимый стек можно быстрее, чем за 2 года.
Да, вы получите сертификат после окончания обучения на русском и английском языках