공유할 서비스 선택

TECH


TECH

Middleware (오픈소스 활용-32) Apache Kafka 란? 다운로드 및 샘플 소개

페이지 정보

작성자 미들웨어 아이디로 검색 전체게시물 댓글 0건 조회 550회 좋아요 0회 작성일 24-06-24 16:34

본문

안녕하세요. "미들웨어" 입니다. 

 



오늘은 Kafka에 대해 정리해보겠습니다. 

요즘 종종 "Apache에서 Kafka 활용해봤어?" 질문을 듣게되네요.

이런 질문을 받으면 Kafka..들어는 봤는데 뭐하는지 잘 모르겠더라구요.

그래서 정리한번 해봤습니다.

Kafka란 무엇이고, 어떻게 활용 가능한지.. 제가 궁금해서요.




1. Kafka 란?

Apache kafka는 Scala과 Java로 개발된 오픈소스 데이터 스트리밍 플랫폼으로, 본래 메시지 큐로 설계되었으나 이벤트 스트리밍 플랫폼으로 발전하였다고 하네요.

창시자가 Kafka라서 Kafka라고 사용했네요

여튼.. 좀 더 깊이있게 정리해 보겠습니다.

Apache Kafka는 대규모 데이터 스트리밍과 실시간 데이터 파이프라인을 구축하기 위해 사용되는 분산 이벤트 스트리밍 플랫폼입니다. Kafka는 주로 다음과 같은 용도로 사용됩니다

 

실시간 데이터 파이프라인: 다양한 소스에서 데이터를 수집하고 실시간으로 분석 시스템 또는 데이터베이스에 전달합니다.
- 이벤트 스트리밍: 다양한 이벤트(예: 사용자 행동, 시스템 로그, 트랜잭션)를 실시간으로 캡처하고 처리합니다.
- 데이터 통합: 여러 시스템 간의 데이터 통합을 쉽게 만들어 줍니다.
- 로그 집계: 서버 로그를 수집하여 중앙집중식 로그 저장소로 전송합니다.

 



Kafka의 주요 구성 요소는 다음과 같습니다:

- 프로듀서(Producer): Kafka로 데이터를 보내는 역할을 합니다.

- 컨슈머(Consumer): Kafka에서 데이터를 읽는 역할을 합니다.
- 브로커(Broker): 데이터를 저장하고 관리하는 Kafka 서버입니다. 여러 개의 브로커가 클러스터를 이룹니다.
- 토픽(Topic): 데이터가 카테고리화되어 저장되는 논리적 단위입니다.
- 파티션(Partition): 각 토픽이 나누어지는 물리적 단위로, 병렬 처리를 가능하게 합니다.
- 리더와 팔로워(Leader and Follower): 파티션은 리더와 팔로워 복제본으로 구성되어 있어 고가용성을 보장합니다.



2. Kafka 와 기존 MQ의 차이점

Apache Kafka와 전통적인 메시지 큐(MQ)는 데이터 전송 및 처리의 역할을 하지만, 여러 면에서 차이점이 있습니다. 주요 차이점을 살펴보면 다음과 같습니다

 

데이터 저장 및 처리 방식:

- Kafka: 로그 기반의 데이터 저장소로, 데이터가 디스크에 영구 저장됩니다. 데이터가 일정 기간 동안 저장되어 여러 컨슈머가 각각 독립적으로 데이터를 읽을 수 있습니다.
- MQ: 메시지가 큐에 저장되며, 메시지가 소비되면 큐에서 삭제됩니다. 보통 하나의 메시지는 하나의 컨슈머만 소비할 수 있습니다

처리량

- Kafka: 매우 높은 처리량을 자랑합니다. 수백만 개의 메시지를 초당 처리할 수 있습니다.
- MQ: 일반적으로 Kafka보다 낮은 처리량을 가지고 있습니다.



3. Apache Kafka 설치 및 적용방법

- Kafka 다운로드 및 설치: 아래 경로에서 Kafka를 다운로드하고 설치합니다.
https://kafka.apache.org/downloads
6a6b3278cdf56e4c2a76739a4a04b6c4_1719214215_232.png


 
- Kafka 서버 실행: 다운로드한 Kafka 디렉토리에서 bin 폴더로 이동하여 다음 명령어로 Zookeeper와 Kafka 서버를 실행합니다

 # Zookeeper 실행

bin/zookeeper-server-start.sh config/zookeeper.properties

 

# Kafka 서버 실행

bin/kafka-server-start.sh config/server.properties

 

 

- 토픽 생성: Kafka에서 메시지를 주고받을 토픽을 생성합니다

 

 bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

 

 
- Java 프로듀서 예제

 

 import org.apache.kafka.clients.consumer.ConsumerRecord;

import org.apache.kafka.clients.consumer.ConsumerRecords;

import org.apache.kafka.clients.consumer.KafkaConsumer;

import org.apache.kafka.clients.consumer.ConsumerConfig;

import org.apache.kafka.common.serialization.StringDeserializer;

 

import java.time.Duration;

import java.util.Collections;

import java.util.Properties;

 

public class SimpleConsumer {

    public static void main(String[] args) {

        String topicName = "test-topic";

        Properties props = new Properties();

 

        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");

        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

 

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        consumer.subscribe(Collections.singletonList(topicName));

 

        while (true) {

            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));

            for (ConsumerRecord<String, String> record : records) {

                System.out.printf("Received message: key = %s, value = %s, offset = %d%n",

                                  record.key(), record.value(), record.offset());

            }

        }

    }

}

 

 

- Maven Dependencies

위의 예제를 실행하기 위해 필요한 Maven 종속성을 pom.xml 파일에 추가합니다

 

 <dependencies>

    <dependency>

        <groupId>org.apache.kafka</groupId>

        <artifactId>kafka-clients</artifactId>

        <version>3.0.0</version>

    </dependency>

</dependencies>

 

위의 Java 파일을 컴파일하고 실행합니다.

먼저 프로듀서를 실행하여 메시지를 보내고, 이후에 컨슈머를 실행하여 메시지를 수신합니다.

위 예제는 Kafka를 사용하여 간단한 메시지 전송과 수신을 보여줍니다.

 

 

 

4. Apache Kafka를 활용한 설치 아키텍처

Apache Kafka를 활용한 설치 아키텍처는 다양한 시스템 구성 요소와 함께 작동하여 실시간 데이터 스트리밍과 이벤트 처리를 구현합니다. 기본적인 Kafka 설치 아키텍처는 다음과 같은 구성 요소로 이루어집니다:

- 프로듀서(Producer): 데이터를 Kafka로 보내는 애플리케이션이나 시스템.
- Kafka 브로커(Broker): 데이터를 저장하고 관리하는 Kafka 서버.
- 주키퍼(ZooKeeper): Kafka 클러스터의 메타데이터와 분산 상태를 관리.
- 컨슈머(Consumer): Kafka에서 데이터를 읽는 애플리케이션이나 시스템.
- 토픽(Topic): 데이터가 카테고리화되어 저장되는 논리적 단위.

- apache Kafka를 잘 활용해서 아래와 같은 다이어그램을 완성해보면 좋겠네요. 

 

아래 이미지는 구글에서 찾아서 첨부합니다. 

6a6b3278cdf56e4c2a76739a4a04b6c4_1719214435_6793.png
 

그럼.. 이번 설명은 여기까지 하겠습니다. 

열공하세요~!

 

댓글목록

등록된 댓글이 없습니다.

TECH 목록
번호 제목 작성자 작성일 조회수
235 OS OSworker 아이디로 검색 전체게시물 12-24 24
RHEL 9에서 RHEL 6 시스템 또는 타사 APP 서비스로 SSH 연결이 되지 않는 이유

카테고리 : OS

24 0
작성자 : OSworker 24/12/24
234 OS OSworker 아이디로 검색 전체게시물 12-14 85
RHEL7.9 RHEL8.8 커널 업데이트 후 성능 이슈가 발생했습니다.

카테고리 : OS

85 0
작성자 : OSworker 24/12/14
233 OS OSworker 아이디로 검색 전체게시물 11-27 209
Red Hat Enterprise Linux 9에서 root 사용자로 SSH 로그인 활성화 하는 방법

카테고리 : OS

209 0
작성자 : OSworker 24/11/27
232 OS OSworker 아이디로 검색 전체게시물 11-17 260
RHEL 9.5 가 11월 12일에 릴리즈 되었습니다. 간략하게 살펴보시죠~

카테고리 : OS

260 0
작성자 : OSworker 24/11/17
231 OS OSworker 아이디로 검색 전체게시물 11-10 237
어떤 프로세스 어떤 이유로 인해 성능에 문제가 생겼을때 perf로 그 문제를 찾아보세요.

카테고리 : OS

237 0
작성자 : OSworker 24/11/10
230 OS OSworker 아이디로 검색 전체게시물 10-31 261
AI에 대한 관심이 많습니다. 혹시 RHEL AI에 대해 들어보셨나요?

카테고리 : OS

261 0
작성자 : OSworker 24/10/31
229 OS OSworker 아이디로 검색 전체게시물 10-24 269
Fedora와 Red Hat Enterprise Linux의 차이점

카테고리 : OS

269 0
작성자 : OSworker 24/10/24
228 OS OSworker 아이디로 검색 전체게시물 10-11 303
audit 로그에 저장된 time 을 날짜/시간 으로 변경하여 보는법

카테고리 : OS

303 0
작성자 : OSworker 24/10/11
227 OS OSworker 아이디로 검색 전체게시물 09-29 431
[보안취약점]"RHSB-2024-002 - OpenPrinting cups-filters"에 대해 설명드리고자합니다.

카테고리 : OS

431 0
작성자 : OSworker 24/09/29
226 OS OSworker 아이디로 검색 전체게시물 09-25 579
누가 설정파일을 수정했는지 알고싶어요? 그럼 audit를 사용해보세요~!

카테고리 : OS

579 0
작성자 : OSworker 24/09/25
Total 235건
게시물 검색

주식회사 클럭스| 대표 : 이찬호| 사업자등록번호 : 107-87-27655
주소 : 서울특별시 영등포구 국회대로 800, 여의도파라곤
E-mail : sales@chlux.co.kr
Copyright © 클럭스 chlux.co.kr All rights reserved.
상단으로Top