Velopers
목록 보기
카프카 커넥트와 오프셋 관리(1)
백엔드

카프카 커넥트와 오프셋 관리(1)

데보션
데보션2024년 10월 18일

두줄요약

카프카 커넥트의 개념과 동작 방식을 소개하고, JDBC와 HDFS 커넥터로 파이프라인을 구성하는 흐름을 설명했습니다. 3.5 버전의 오프셋 관리 기능은 다음 글에서 이어서 다룬다고 예고했습니다.

핵심 내용

  • 카프카 커넥트의 개념과 카프카-외부 시스템 간 데이터 전송 역할 소개
  • 소스 커넥터, 싱크 커넥터, 커넥터·태스크·워커·컨버터·트랜스폼 등 기본 용어 정리
  • JDBC 커넥터와 HDFS 커넥터 예시를 통한 REST API 기반 파이프라인 구성 방식 설명
  • 3.5 버전부터 추가된 오프셋 관리 기능은 다음 글에서 다룰 예정

이 글과 연관된 채용

SK텔레콤 계열사 채용3건

채용 사이트에서 전체 보기

다음 읽기

#Kafka 주제를 이어서 읽기

카프카 커넥트와 오프셋 관리(2)

카프카 커넥트의 내부 오프셋 관리 방식과 REST API 기반 조작 방법을 설명했습니다. 예제로 오프셋을 되돌려 레코드를 다시 처리하는 과정을 보여주었습니다.

데보션
데보션
백엔드

관련 AI 업체 소식

전체 보기
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...