미들웨어 : 서로 다른 애플리케이션이 서로 통신하는 데 사용되는 소프트웨어

메세지 지향 미들웨어 (MOM) : 비동기적(Asynchronous) 방식을 이용해서 프로세스간의 데이터를 주고 받는 시스템

QUEUE(FIFO) 자료구조를 이용해서, MOM을 구현한 시스템

메세지를 발행하고 전달하는 부분을 Producer

메세지를 받아서 소비하는 부분을 Consumer
Producer와 Consumer 를 연결하는 것이 Message Queue

메시지 큐의 장점

메세지 브로커(Message Broker)

Kafka : 분산 이벤트 스트리밍 플랫폼 (이벤트 브로커 이용)
⇒ 여러 개의 이벤트 전송 Broker(서버)로 구성된 클러스터

Zookeeper : 분산 애플리케이션을 위한 코디네이션 시스템

⇒ 여러 분산 시스템의 중앙 관리 프로그램

KAFKA에서는

Zookeeper ⇒ 위와 같은 데이터를 어딘가에 저장하고 조율

KAFKA의 구조

event : 데이터

event stream : 관련된 이벤트들

topic : kafka에서 event stream의 명칭

partition : topic을 분산 저장하는 가장 작은 단위 (for 병렬 전달)

Subscribe 동작 ⇒ (Consumer가 카프카를 확인)

https://imbf.github.io/interview/2020/12/10/NAVER-Interview-Preparation-2.html

https://medium.com/frientrip/pub-sub-%EC%9E%98-%EC%95%8C%EA%B3%A0-%EC%93%B0%EC%9E%90-de9dc1b9f739

https://magpienote.tistory.com/212

• 송수신 측의 동시 네트워크 연결 유지 필요성 제거 (강제 연결 X)

• 하나의 메세지를 여러 수신자에게 배포가 가능 (라우팅)

• 메세지의 백업 기능을 유지 (보관)

• 송수신 측의 요구에 따라 전달하는 메세지를 변환 가능 (변환)

• 이벤트 브로커(Event Broker)

  데이터 = 이벤트

  • 이벤트 브로커 방식에서는 Consumer 가 소비한 데이터를 필요한 경우 다시 소비 가능
  💡

  이벤트 시점을 저장 가능

  ⇒ consumer가 특정 시점부터 이벤트를 다시 consume 할 수 있는 장점(ex : 장애가 일어난 시점부터 그 이후의 이벤트를 다시 처리할 수 있음)

  • 대용량 데이터를 처리 가능

• 브로커의 leader와 follower 구분

• 브로커의 활성 여부 (heartbeat)

• 파티션 분할 등

• Kafka 토픽
  • a → 2개 파티션 (a-0, a-1)
  • b → 1개 파티션 (b-0)
  • c → 1개 파티션 (c-0)
  • d→ 1개 파티션 (d-0)

• Consumer는 a, b, d 토픽을 구독

이벤트 브로커는 기본적으로 메세지 브로커의 역할 가능!
but 반대로 메세지 브로커는 이벤트 브로커의 기능 불가!
⇒ 이벤트 브로커가 더 만능

Zookeeper = 클러스터 메타데이터 + 상태 + 역할 + 리더 선출의 중심 시스템