Alpy가 RAG를 활용하는 방법
AI
Alpy가 RAG를 활용하는 방법
두줄요약
온라인 기반 LLM 서비스가 망 분리 도메인에서 갖는 제약을 다룹니다. Alpy의 RAG 활용을 주제로 제시합니다.
문제 상황
- 클라우드 API 호출과 온라인 환경을 전제로 한 대형 언어 모델 서비스
- 금융·의료·국방 등 외부 네트워크 격리가 필요한 도메인 제약
해결 방법
- Alpy에서 RAG 활용 주제 제시
목록 보기
파수 AIAI
이 글과 연관된 채용
LLM Research Engineer (Pre-training) (신입/경력)
카카오 · 신입·경력 · 판교
Kanana 사전학습을 위해 LLM 구조·학습·데이터 최적화와 대규모 데이터 수집·생성 기술을 연구·개발합니다. 관련 석사 이상 또는 프로젝트 경험과 Model Parallel 기반 모델 학습 경험이 필요합니다.
필요 기술Large Language Model (LLM)KananaMixture of ExpertsGated Delta NetKimi LinearFP8 trainingDataset mixture searchModel ParallelLLM Research Engineer (Post-training) (신입/경력)
카카오 · 신입·경력 · 판교
Kanana 언어모델의 Post-training 데이터·환경·학습 파이프라인 및 효율화 연구와 분산 학습 코드 구현·최적화를 담당합니다. 관련 석사 또는 프로젝트 경험과 분산처리 기반 언어모델 학습, SFT·RL 기반 LLM Post-training 경험이 필요합니다.
필요 기술LLMPost-trainingSFTRLTorch distributedDeepSpeedRayslimeLLM Engineer (Optimization)
42dot · Pangyo (Software Dream Center), South Korea
LLM 추론 엔진·런타임과 모델 최적화를 개발해 GPU 클러스터부터 엣지·온디바이스 환경까지 지연시간·처리량·메모리 효율을 개선합니다. 관련 경력 3년 이상과 LLM 엔진/AI 런타임 개발, GPU·CUDA·병렬 컴퓨팅 및 최적화 기술 이해가 필요합니다.
필요 기술CUDAPyTorchONNXTensorRTPythonC/C++NVIDIA Nsight SystemsNsight Compute
다음 읽기
#RAG 주제를 다룬 다른 회사 글
AI 시대 문서중앙화 — RAG의 성패는 LLM이 아닌 ‘데이터’에서 갈립니다
RAG가 기대만큼 답하지 못하는 문제를 다룹니다. 성공 요인을 LLM보다 문서 중앙화와 데이터에서 찾습니다.
