신입 DevOps 엔지니어의 AI/ML 기반 자동화된 스팸 필터링 도입 경험기

문제 상황

• 플랫폼 성장에 따른 운영팀의 수동 스팸 게시글 검토 부담
• 금지어와 GPT Few-Shot 기반 필터의 신규 유형 대응·게시판별 일관성 한계

해결 방법

• TF-IDF 벡터화와 SGDClassifier 기반의 적응형 스팸 분류 모델 도입
• 다국어·복잡한 스팸 대응을 위한 ChatGPT 결합과 자동 생성 프롬프트 기반 특징 관리
• Slack 이모지 반응으로 게시글·사용자 차단을 자동화한 운영 절차 간소화

구조와 흐름

• 게시글 생성 이벤트를 SNS Topic, SQS, Lambda로 전달하는 이벤트 기반 판별 흐름
• S3 모델 저장과 Jenkins Cron Job 기반 신규 게시글 주기적 추가 학습
• MongoDB 특징 저장소와 GPT-4o-mini 프롬프트 결합을 통한 카테고리별 단계 판별

성능/운영 포인트

• Lambda Layer에 scikit-learn 포함, 콜드 스타트 약 2.8초와 모델 추론 0.2~0.6ms
• 스팸·의심·정상 임계치와 Slack 알림을 통한 실시간 운영 모니터링
• 스팸 계정 생성 수 76% 감소와 건당 0.05원 수준의 AWS·ChatGPT API 비용