LLM 서빙 및 추론 최적화 엔지니어

공고 내용

Recruiter Says,

함께 일하게 될 AI코어개발팀은 번뜩이는 아이디어로 금융 산업에 필요한 AI 기술을 직접 개발합니다. 사용자의 입장에서 필요한 서비스를 정의하고, 적재적소에 필요한 AI 기술을 개발하여 비대면 금융 생활을 돕고 있습니다.

최신 기술을 유연하게 받아들이고, 자신의 서비스에 열정과 책임감을 가지고 함께 일할 동료를 찾고 있습니다. 끝없는 기술에 대한 호기심을 갖고 계신 분, 기술을 활용해 사용자에게 도움을 주는 데 보람을 느끼는 분을 환영합니다.

카카오뱅크 기술 블로그에서 더 많은 이야기를 확인해 보세요! **(Click)

담당할 업무

LLM 추론 서비스 개발 및 운영** · LLM 구조·서빙 워크로드·GPU 특성을 프로파일링해 병목을 찾고, 서비스 요구사항에 맞는 LLM 추론 시스템을 설계·구현 · 추론 성능과 GPU 자원 사용 현황을 모니터링하고, 모델·엔진 변경 전후를 비교하는 회귀 테스트로 문제 조기 발견 · Kubernetes 환경에 추론 시스템을 배포·운영하고, 트래픽 변화에 맞춰 요청과 GPU 자원을 효율적 배분 · 모델 추론 최적화 · vLLM·SGLang 등을 기반으로 추론 서버를 구현하고, 서비스 환경에 맞게 구성·튜닝 · 모델 압축, KV 캐시 최적화, 요청 스케줄링(Request Scheduling), 다중 GPU 분산 추론(Distributed Inference)을 적용해 추론 성능을 높이고 모델 품질 저하 여부 확인 · Speculative Decoding, Prefill/Decode Disaggregation, Expert Parallelism 등 새로운 기법을 검토하고, 워크로드에 효과적인 기법을 구현·검증

필수 경험과 역량

LLM 서빙 또는 추론 최적화 분야에서 2년 이상 실무 경험이 있는 분
최신 LLM 구조와 추론 과정을 이해하고, 모델과 워크로드 특성에 따라 성능 병목을 찾고 최적화 방향을 정할 수 있는 분
vLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상을 업무에 사용하고, 내부 코드를 분석·수정해 워크로드에 맞게 튜닝해 본 분
Python을 능숙하게 사용하고, 추론 엔진의 최적화 기능을 직접 구현·검증할 수 있는 분
다음 중 한 분야 이상을 깊이 이해하고, 직접 구현·튜닝해 추론 성능을 개선해 본 분
모델 압축 또는 KV 캐시 최적화
서빙 시스템 최적화(요청 스케줄링, 다중 GPU 분산 추론 등)
고급 추론·서빙 최적화(Speculative Decoding, Prefill/Decode Disaggregation, Expert Parallelism 등)

우대사항

[공통 우대 사항]

(입사지원 시 증빙서류를 첨부하는 경우에 해당하며, 증빙서류는 포트폴리오 란에 첨부해주시길 바랍니다.)

근무 관련 정보

지원 관련 정보

※ 공고에 게시된 서류전형 결과 발표일보다 전형결과 안내가 늦어질 경우 개별적으로 연락드릴 예정입니다.

※ 영입 완료 시 조기에 마감될 수 있는 수시채용으로 진행 중입니다.

※ 각 전형 결과 및 면접 일정은 홈페이지 및 메일을 통해 개별적으로 안내드리고 있습니다.

※ 1차 실무진 면접 대상자는 1차 면접 전 컬처핏 프로파일 검사를 진행합니다.

※ 경영진 면접 이후 레퍼런스 체크가 진행될 수 있습니다.

문의사항 : recruit@kakaobank.com
유의사항
입사지원서에 기재된 내용은 증빙자료 제출을 통해 확인하고 있습니다. 기재된 내용이 사실과 다를 경우 입사가 취소될 수 있음을 유의하여 주시길 바랍니다.
부정한 채용청탁을 한 사실이 밝혀질 경우 입사가 취소될 수 있음을 유의하여 주시길 바랍니다.
카카오뱅크 내규에 따라 채용금지자에 해당하는 분은 입사가 어려움을 유의하여 주시길 바랍니다.

공고 내용