시리즈/카프카3 [kafka] 카프카 토픽(Topic) 명령어 및 실행 예시 # Topic 생성 하기1. 경로 /opt/kafka_2.13-3.7.1/bin2. boker-ip : 172.0.0.001:9092,172.0.0.02:9092,172.0.0.03:9092 # --replication-factor 3# 토픽의 각 파티션을 복제할 복제본의 수를 설정# 브로커 중 하나가 다운되더라도 다른 복제본이 데이터를 유지# --partitions 3# 생성할 파티션의 수를 설정합니다. 여기서는 3개의 파티션이 생성# --bootstrap-server # Kafka 클러스터의 브로커 주소를 설정#./kafka-topics.sh --create --replication-factor 3 --partitions 3 --topic test --bootstrap-server # Topic l.. 2024. 7. 19. [kafka] 카프카 클러스터(Cluster) 구축 # 설치 환경AWS EC21. 3개의 인스턴스 2. t2.micro3. Amazon Linux Kafka1. Kafka_2.13-3.7.1 버전2. Zookeeper가 아닌 KRaft 모드로 구축 # 다운로드1. 각각의 인스턴스에서 모두 진행# java 찾기yum list java*# java 설치sudo yum install -y java-17-amazon-corretto.x86_64# 설치 확인java --versionjavac --version# javac 가 없다 나올 시sudo yum install java-17-amazon-corretto-devel.x86_64# java 환경 설정export JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64ex.. 2024. 7. 18. [kafka] 카프카의 개념 # 카프카의 등장Apache Kafka는 링크드인에서 처음 개발되어 현재는 Apache 재단에서 관리하고 있는 오픈소스이다.2011년 링크드인에서는 수많은 데이터를 실시간으로 처리하는 과정에서 많은 어려움을 겪고 있었는데 여러 시스템에서 개별적으로 프로듀서와 컨슈머가 연결을 가져가는 구조였고, 때문에 하나의 시스템만 추가되어도 구조가 복잡해지는 문제를 가지고 있었다고 한다. 이를 해결하기 위해 중앙화된 메시지와 데이터의 흐름을 관리하는 구조를 만들기로 하고 탄생한 것이 카프카이다. # 카프카의 핵심은 고가용성 가용성이란 서버나 네트워크, 시스템이 정상적으로 사용 가능한 정도를 나타내는데 고가용성이라는 말은 '정상적으로 사용한 시간이 많다'는 뜻이다. 그렇다면 카프카는 왜 고가용성을 중요하게 생각하는지 .. 2024. 7. 18. 이전 1 다음
