Алексей Кукушкин GridGain PS Engineer
Зачем мы написали еще один Kafka-коннектор

Выясним, когда коннекторы удобнее, чем заново написать всё руками, кратко пройдемся по существующим коннекторам. После чего Алексей расскажет, как написал свой вариант, сертифицированный Confluent, что в нем хорошо, а что хочется улучшить.

Алексей Кукушкин более 10 лет занимается проектированием архитектуры решений на базе распределенных систем, таких как Apache Ignite, Kafka, Hadoop и других. Последние 2 года Алексей работает в качестве ведущего консультанта в компании GridGain, помогая клиентам построить эффективные решения на базе продуктов Apache Ignite и GridGain.более 10 лет занимается проектированием архитектуры решений на базе распределенных систем, таких как Apache Ignite, Kafka, Hadoop и других. Последние 2 года Алексей работает в качестве ведущего консультанта в компании GridGain, помогая клиентам построить эффективные решения на базе продуктов Apache Ignite и GridGain.

Роман Ананьев Site Reliability Engineering (SRE) Леруа Мерлен

Интеграция потоков данных для микросервисов с Kafka и Kafka Connect.

Познакомлю публику с вариацией задачи интеграции систем (БД) на основе платформы Кафка. Наша уникальная версия с описанием используемых продуктов, встреченных проблем и их решением.

• Предыстория — отчего однажды мы выбрали Кафку в компании для решения задач интеграции реляционных БД с другими системами
• Описание проекта — обеспечить получение информации о актуальных и достоверных стоках любого товара в любом магазине или складе нашей компании из одной мастер системы, в режиме реального времени, через API.
• Перечень интегрируемых БД и того, что с ними было необходимо для этого сделать.
• Причины почему был выбран фрейморк Kafka Connect и какие коннекторы для него.
• Процесс выбора и сравнения БД для хранения данных полученных их Kafka — итог Tarantool.
• Описание приложений, которые обрабатывают, обогащают и фильтруют данные, забирая их из Kafka  и записывая в Tarantool.
• Процесс выбора и сравнения продуктов для мониторинга всех компонентов проекта — Dynatrace и Prometheus и Burrow.

Итоги — получена система, которая позволила обеспечить время полного пути обработки данных от момента возникновения события в необходимой нам БД, до Tarantool — не более 5-10 секунд.

Роман Ананьев Site Reliability Engineering (SRE). Работаю в Леруа уже почти 3 года в IT дирекции, которая на местном леруашном наречии называется ДОМИ (Дирекция по организации операций и информационным системам). Занимаюсь на данный момент Apache Kafka и всем, что ее окружает, попутно автоматизируя через Ansible. До Кафки был администратором Microsoft Sharepoint, который у нас очень сильно переписали для создания внутреннего сайта для сотрудников.
До Леруа работал в банке Русский стандарт, также в IT дирекции и в новь же администратором Microsoft Sharepoint. Закончил МАИ, факультет Прикладная Математика и Физика.

Иван Пономарев из компании КУРС.

Kafka Streams API: шаг за рамки Hello World

Поточные архитектуры продолжают набирать популярность, но докладов, которые идут дальше тривиальных примеров, по-прежнему немного. 
Пора открывать капот и смотреть, как оно устроено.

Тем, кто решит впервые попробовать создать рабочее приложение при помощи Kafka Streams API, предстоит освоить немало новых вещей и соответствующим образом настроить мышление. 

• С чего начать? 
• Как работает хранение и репликация локального состояния? 
• Что такое RocksDB и как её возможности используются в Kafka Streams «под капотом»? 
• Что за страшные слова: «репартиционирование» и «копартиционирование»? 
• Какова семантика джойнов и оконных операций? 
• Как писать тесты? 
• Как отлаживать систему «на ходу»? 
• Что делать с исключениями? 

На эти вопросы мы попытаемся ответить, по пути рассмотрев несколько демо-примеров кода с использованием Spring, двигаясь от простого к сложному.

Доклад представляет собой полезную выжимку из доклада на конференции JPoint 2019.Иван Пономарев, Tech Lead, КУРС 

@inponomarev 

Технический лидер в компании КУРС, преподаватель в МФТИ. Более 15 лет работает в ИТ, пишет код и руководит проектами от доработки ERP-систем до построения систем мониторинга данных в интернете в реальном времени. Периодически делится своим опытом на конференциях и митапах.

Встречаемся на Шаболовке в офисе компании Leroy Merlin. Помните: территория компании большая, можно заблудиться. Чтобы не потеряться, внимательно прочитайте, как нас найти — http://prog.msk.ru/how-to-find/

Место, где мы собираемся, называется Академия для дома. Вам нужна дверь с надписью «Строение Б, подъезд 8».

Митап проходит при поддержке сообщества Pro.kafka. 

Канал по Kafka: https://t.me/AwesomeKafka_ru

Чат: https://t.me/proKafka