아키텍처
끊기는 선육 간 네트워크에서 데이터 신뢰성 지키기
두줄요약
선박-육상 데이터 누락을 구간별로 추적하고 선상 복구·재전송·수신 검증까지 연결했습니다. 수집 완전성뿐 아니라 센서 이상 탐지로 데이터 값의 유효성도 관리합니다.
문제 상황
- 선육 간 네트워크 단절·지연과 선상 처리 Pipeline 누락으로 인한 데이터 신뢰성 저하
- 1분 주기 집계 데이터의 존재 여부뿐 아니라 육상 도달과 값의 유효성까지 필요한 운영 환경
구조와 흐름
- 선박 장비 데이터의 수집·가공·전송 후 선상 및 육상 Pipeline별 누락 구간 추적
- 누락 탐지 → 선상 자체 복구 → 육상 연계 확인 및 재전송 → Backfill 결과 반영 → 수신 이력 기반 복구 검증
- Stuck Alarm·Custom Alarm을 통한 장시간 동일 값과 조건 기반 센서 이상 탐지
트레이드오프
- 반복적 누락 후보 계산·복구 상태 관리는 자동화하고 추가 판단이 필요한 재전송 대상과 알람 조건은 운영자 관리
- 재전송 API 성공과 실제 누락 Timestamp의 육상 반영을 분리한 복구 완료 기준
성능/운영 포인트
- 선박·일자·Timestamp 단위의 누락 범위 식별로 원인 분석과 대응 범위 축소
- 데이터 수신 상태, Backfill 이벤트, 복구 이력, Pipeline 상태를 함께 확인하는 폐쇄형 신뢰성 관리
- 일 배치 기반 이상 탐지와 알람 발생·유지·해제 이력 관리
