데보션

도메인devocean.sk.com

주요 카테고리 AI · DevOps · 백엔드

활동 요약

최근 30일: 2개
평균 조회: 77
누적 조회: 37,237
전체 글: 486개
마지막 발행: 2026. 11. 10.

블로그 방문

데보션 기술 블로그 글 (269)

2025년 2월 24일

Auto 자동차 매뉴얼 특화 RAG 데모 시스템 개발

자동차 매뉴얼 검색을 위한 도메인 특화 RAG 데모 시스템을 개발했습니다. LLM과 메타 정보를 결합해 출처가 보이는 응답과 더 나은 사용자 경험을 제공했습니다.

#RAG#LLM#검색

4500

2025년 2월 20일

실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 2.

LLM 파인튜닝에서 Optimizer, 학습률, 스케줄러, Warmup, 정밀도 선택 기준을 실험 결과로 정리했습니다.메모리와 안정성을 함께 고려해 AdamW 계열과 BF16, 1e-4 근처 학습률을 중심으로 검증하는 방법을 제시했습니다.

#LLM#파인튜닝#Optimizer

7600

2025년 2월 18일

AI 추론 능력을 극대화하는 DeepSeek-R1의 혁신

DeepSeek-R1의 강화 학습 기반 추론 향상 방식과 지식 증류 전략을 정리했습니다. 또한 API 활용, 소형 모델 성능, 향후 개선 과제까지 함께 살펴봤습니다.

#LLM#ML#강화 학습

3800

2025년 2월 17일

효율적인 GPU 메모리 사용을 위한 여러 기법

GPU 메모리 사용을 줄이기 위한 그레이디언트 누적, 체크포인팅, ZeRO, LoRA, QLoRA를 정리했습니다. 각 기법이 절감하는 메모리 영역과 적용 효과를 예시와 함께 설명했습니다.

#GPU#ML#동시성

4500

2025년 2월 12일

vLLM로 효율적인 모델 서빙하기

vLLM을 활용한 LLM 서빙 최적화 방법을 배치 전략, 어텐션 최적화, 추론 전략으로 나눠 설명했습니다. 온라인 서빙과 오프라인 서빙의 차이와 간단한 구현 예시도 함께 소개했습니다.

#LLM#배치#Flash Attention

9000

2025년 2월 11일

손글씨에 강한 Google Cloud Vision AI 사용법 총정리

Google Cloud Vision API로 OCR을 수행하는 방법을 정리했습니다. API Key 방식과 서비스 계정 인증 방식을 비교하며 Colab에서의 사용법을 소개했습니다.

#Google Cloud Vision API#OCR#Colab

11900

2025년 2월 8일

AI 학습을 위한 LLM 스터디 - 배치 전략 및 어텐션 개선 방안

LLM 추론 효율을 높이기 위한 배치 전략과 어텐션 개선 방법을 정리한 글입니다. FlashAttention, 페이지 어텐션, 추측 디코딩의 개념과 장점을 설명했습니다.

#LLM#batch#ML

3500

2025년 2월 3일

실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 1.

LLM 파인튜닝에서 배치 크기, 시퀀스 길이, 메모리 최적화 기법의 영향을 실험 기반으로 정리했습니다. GPU 제약과 데이터 특성에 맞춰 직접 실험하며 최적값을 찾는 접근을 강조했습니다.

#LLM#파인튜닝#LoRA

4000

2025년 1월 22일

MoA(Mixture-of-Agents, 에이전트 혼합 기법), LLM 성능을 향상시키기 위한 새로운 기법

여러 LLM의 응답을 계층적으로 결합해 최종 답변 품질을 높이는 MoA 기법을 소개했습니다. 기존 모델을 바꾸지 않고도 성능과 비용 효율성을 동시에 개선할 수 있음을 설명했습니다.

#LLM#prompt#모니터링

2500

MoA(Mixture-of-Agents, 에이전트 혼합 기법), LLM 성능을 향상시키기 위한 새로운 기법

2025년 1월 21일

Unity와 Hugging Face로 AI 갤러리 만들어 보기

Unity에서 Hugging Face Inference API를 호출해 이미지 생성 기능을 붙이는 방법을 소개했습니다. 3D 공간의 스크린에 생성 이미지를 표시해 AI 갤러리를 만드는 예제를 보여줬습니다.

#Unity#Hugging Face#API

2500

2025년 1월 17일

NVIDIA가 개발한 오픈 소스 툴킷: NeMo Guardrails 소개

NeMo Guardrails는 LLM 응답을 YAML 또는 Python 규칙으로 제어하는 오픈 소스 툴킷입니다. 안전한 응답 필터링과 비즈니스 규칙 적용 예시를 함께 소개했습니다.

#LLM#YAML#Python

5600

NVIDIA가 개발한 오픈 소스 툴킷: NeMo Guardrails 소개

2025년 1월 16일

브라우저 기반 IPFS 네트워크 동향 (2025년 1월 기준)

브라우저를 IPFS 노드처럼 활용하는 동향을 Helia와 PubSub 중심으로 정리했습니다. 비용 없이 브라우저 간 IPFS 통신을 구성하는 방향을 소개했습니다.

#IPFS#Helia#PubSub

4200

2025년 1월 13일

임베딩 모델로 데이터 의미 압축하기

텍스트를 숫자와 벡터로 표현하는 여러 방법과 문장 임베딩 기반 의미 검색을 정리했습니다. 또한 BERT, FAISS, 하이브리드 검색의 구조와 활용 방향을 소개했습니다.

#LLM#임베딩#검색

3900

2024년 12월 31일

Year-End Thanks Card를 보내보자(feat.AI)

연말 감사 웹카드를 AI와 여러 도구로 시스템화해 제작한 과정을 소개했습니다. 수신자 데이터 정리부터 템플릿 구성, 메시지 생성까지 개인화 발송 흐름을 정리했습니다.

#LLM#Python#Google Drive

2200

2024년 12월 20일

AI Governance Framework

AI 거버넌스의 필요성과 핵심 원칙을 빅테크 사례와 함께 정리했습니다. 또한 Responsible AI, AI Sovereign과의 차이와 조직 적용 예시도 설명했습니다.

2024년 12월 19일

2024년 12월 13일

AWS re:invent 신규 기능

AWS re:Invent 2024에서 소개된 S3, Aurora DSQL, Bedrock, SageMaker, Nova 등의 신규 기능을 정리했습니다. 대규모 데이터 관리, 글로벌 DB, AI 모델 경량화와 GPU 효율화 관점의 참고 포인트를 담았습니다.

#AWS#S3#Aurora