На улице холодает, дождит и становится всё больше оранжевых листьев на деревьях. Значит пришло время для встречи "Осенняя Кафка в Леруа Мерлен". Чем холоднее за окном, тем теплее будет наша встреча)

ИТ и интернет

Алексей Кукушкин GridGain PS Engineer
Зачем мы написали еще один Kafka-коннектор

Выясним, когда коннекторы удобнее, чем заново написать всё руками, кратко пройдемся по существующим коннекторам. После чего Алексей расскажет, как написал свой вариант, сертифицированный Confluent, что в нем хорошо, а что хочется улучшить.

Алексей Кукушкин более 10 лет занимается проектированием архитектуры решений на базе распределенных систем, таких как Apache Ignite, Kafka, Hadoop и других. Последние 2 года Алексей работает в качестве ведущего консультанта в компании GridGain, помогая клиентам построить эффективные решения на базе продуктов Apache Ignite и GridGain.более 10 лет занимается проектированием архитектуры решений на базе распределенных систем, таких как Apache Ignite, Kafka, Hadoop и других. Последние 2 года Алексей работает в качестве ведущего консультанта в компании GridGain, помогая клиентам построить эффективные решения на базе продуктов Apache Ignite и GridGain.

 

Роман Ананьев Site Reliability Engineering (SRE) Леруа Мерлен

Интеграция потоков данных для микросервисов с Kafka и Kafka Connect.

Познакомлю публику с вариацией задачи интеграции систем (БД) на основе платформы Кафка. Наша уникальная версия с описанием используемых продуктов, встреченных проблем и их решением.

  • Предыстория — отчего однажды мы выбрали Кафку в компании для решения задач интеграции реляционных БД с другими системами
  • Описание проекта — обеспечить получение информации о актуальных и достоверных стоках любого товара в любом магазине или складе нашей компании из одной мастер системы, в режиме реального времени, через API.
  • Перечень интегрируемых БД и того, что с ними было необходимо для этого сделать.
  • Причины почему был выбран фрейморк Kafka Connect и какие коннекторы для него.
  • Процесс выбора и сравнения БД для хранения данных полученных их Kafka — итог Tarantool.
  • Описание приложений, которые обрабатывают, обогащают и фильтруют данные, забирая их из Kafka  и записывая в Tarantool.
  • Процесс выбора и сравнения продуктов для мониторинга всех компонентов проекта — Dynatrace и Prometheus и Burrow.

Итоги — получена система, которая позволила обеспечить время полного пути обработки данных от момента возникновения события в необходимой нам БД, до Tarantool — не более 5-10 секунд.

Роман Ананьев Site Reliability Engineering (SRE). Работаю в Леруа уже почти 3 года в IT дирекции, которая на местном леруашном наречии называется ДОМИ (Дирекция по организации операций и информационным системам). Занимаюсь на данный момент Apache Kafka и всем, что ее окружает, попутно автоматизируя через Ansible. До Кафки был администратором Microsoft Sharepoint, который у нас очень сильно переписали для создания внутреннего сайта для сотрудников.
До Леруа работал в банке Русский стандарт, также в IT дирекции и в новь же администратором Microsoft Sharepoint. Закончил МАИ, факультет Прикладная Математика и Физика.

 

Иван Пономарев из компании КУРС.

Kafka Streams API: шаг за рамки Hello World

Поточные архитектуры продолжают набирать популярность, но докладов, которые идут дальше тривиальных примеров, по-прежнему немного. 
Пора открывать капот и смотреть, как оно устроено.

Тем, кто решит впервые попробовать создать рабочее приложение при помощи Kafka Streams API, предстоит освоить немало новых вещей и соответствующим образом настроить мышление. 

  • С чего начать? 
  • Как работает хранение и репликация локального состояния? 
  • Что такое RocksDB и как её возможности используются в Kafka Streams «под капотом»? 
  • Что за страшные слова: «репартиционирование» и «копартиционирование»? 
  • Какова семантика джойнов и оконных операций? 
  • Как писать тесты? 
  • Как отлаживать систему «на ходу»? 
  • Что делать с исключениями? 

На эти вопросы мы попытаемся ответить, по пути рассмотрев несколько демо-примеров кода с использованием Spring, двигаясь от простого к сложному.

Доклад представляет собой полезную выжимку из доклада на конференции JPoint 2019.Иван ПономаревИван Пономарев, Tech Lead, КУРС 

@inponomarev 

Технический лидер в компании КУРС, преподаватель в МФТИ. Более 15 лет работает в ИТ, пишет код и руководит проектами от доработки ERP-систем до построения систем мониторинга данных в интернете в реальном времени. Периодически делится своим опытом на конференциях и митапах.

 

Встречаемся на Шаболовке в офисе компании Leroy Merlin. Помните: территория компании большая, можно заблудиться. Чтобы не потеряться, внимательно прочитайте, как нас найти — http://prog.msk.ru/how-to-find/


Место, где мы собираемся, называется Академия для дома. Вам нужна дверь с надписью «Строение Б, подъезд 8».

 

Митап проходит при поддержке сообщества Pro.kafka. 

Канал по Kafka: https://t.me/AwesomeKafka_ru

Чат: https://t.me/proKafka

Поделиться:

Москва
ул Шаболовка дом 31 Строение Б, подъезд 8
Показать на карте

Уже есть билет
Восстановить

Рекомендуемые события

Есть вопросы?

Напишите нам, и мы обязательно вам ответим. Много интересного уже есть в нашей базе знаний.

Связь с организатором

Напоминаем, что для того чтобы восстановить билет организатору можно не писать.

На этот адрес придёт ответ от организатора.

Подпишитесь на рассылку организатора

Восстановление билета

Введите адрес электронной почты, указанный при регистрации на событие

Обращаем внимание на то, что билеты должны были прийти к вам на почту сразу после покупки.

Возврат билета

Если вы хотите вернуть билеты, вы можете сделать это по ссылке из письма с билетами или оформить запрос организатору в вашем  личном кабинете.

Подробнее о возврате билетов

Войдите через соцсети

или с помощью email

Забыли пароль?

Зарегистрируйтесь через соцсети

или с помощью email

Создайте организацию

чтобы получить возможность бесплатно создавать события и управлять ими.

Зарегистрируйтесь через соцсети

или с помощью email

Название увидят участники ваших событий на страницах регистрации, билетах и письмах

.timepad.ru

По этому адресу будет доступен ваш личный кабинет и страница событий для участников

Нужен для связи с вами

Как вы планируете использовать Timepad?

Создайте организацию

чтобы получить возможность бесплатно создавать события и управлять ими.

Название увидят участники ваших событий на страницах регистрации, билетах и письмах

.timepad.ru

По этому адресу будет доступен ваш личный кабинет и страница событий для участников

Нужен для связи с вами

Как вы планируете использовать Timepad?

Укажите ваш email

Подтвердите ваш email

Сообщение с проверочным кодом было отправлено на указанный email

Отправить еще раз