
시각 언어 모델(Vision Language Model) 활용시 꼭 알아야 할 사실
두줄요약
VLM은 쉬운 공간 관계 문제도 자주 틀리는 한계가 있습니다. 현업 적용 전 정확성과 취약점을 충분히 검토해야 했습니다.
핵심 내용
- VLM이 이미지 인식에서 공간 관계, 도형 개수 같은 단순 과제도 자주 틀리는 한계
- 학습된 통념에 강하게 의존해 작은 변주에 취약한 경향
- OCR, PPT 읽기, 결함 탐지 등 현업 적용 전 정확성 검토 필요성

VLM은 쉬운 공간 관계 문제도 자주 틀리는 한계가 있습니다. 현업 적용 전 정확성과 취약점을 충분히 검토해야 했습니다.
ML 엔지니어 (OCR) (ML Engineer)
토스 · Seoul
다국어 OCR·Document AI 모델과 금융 문서 정보 추출·진위확인 모델을 개발하고, 데이터 전략부터 학습·GPU 서빙·운영까지 전 과정을 담당합니다. OCR 또는 Document AI의 실서비스 적용 경험과 OCR·VLM 기반 문서 이해 방법론을 깊이 다룬 경험이 필요합니다.
ML 엔지니어 (LLM) (ML Engineer)
토스증권 · Seoul
금융·증권 텍스트 문제를 위한 LLM/NLP 모델을 학습·서빙·운영하고, 데이터셋 구축 및 AI 기능 설계를 담당합니다. LLM 또는 NLP 모델을 직접 개발·운영한 경험이 필요합니다.
ML 엔지니어 (ML/LLM Ops) (ML Engineer)
토스뱅크 · Seoul
ML/LLM 플랫폼과 모델 서빙·Feature Store·LLMOps 환경을 구축·운영하고, 하이브리드 클라우드 기반 GPU 워크로드를 고도화합니다. Kubernetes에서 서비스 개발·배포·운영 경험이 필수입니다.
클라우드 네트워크 보안 아키텍처 및 접근통제 전문가
SK텔레콤 · Experienced · Seoul
AWS 또는 Azure 기반 Hybrid/Multi-Cloud 환경에서 네트워크 보안 아키텍처와 접근통제 정책을 설계·고도화하는 역할입니다. 클라우드 네트워크 설계·운영 및 보안 통제 설계 경험이 필요합니다.
개인정보보호 전문가
SK텔레콤 · Experienced · Seoul
개인정보보호 점검·심사 대응, PIA 및 침해위험 분석, 서비스·클라우드 개인정보 처리 적정성 검토를 수행합니다. 개인정보·정보보호 실무와 ISMS-P 심사 대응, PIA 또는 위험분석 경험 및 개인정보처리시스템 기술 이해가 필요합니다.
DevSecOps 엔지니어
SK텔레콤 · Experienced · Seoul
CI/CD 전 과정에 개발보안을 내재화하고, 공급망 보안·IaC 점검·배포 통제 및 사내 보안 정책을 설계·운영합니다. 관련 실무 5년 이상, CI/CD 보안 적용 및 SAST 또는 SCA 도구 운영 경험, 컨테이너·Kubernetes 이해가 필요합니다.
#LLM 주제를 이어서 읽기
GPT는 이미지를 보고 글자를 정확히 읽는 데 한계가 있다는 점을 사례로 설명했습니다. OCR 같은 보완 방법을 시도했지만 완전한 해결책은 찾지 못했다고 정리했습니다.
