EMNLP24 늦은 후기 2탄: CC 데이터로 LLM 사전학습 데이터셋을 만들어본 경험 및 NVIDIA 논문 리뷰
웹 크롤링 데이터로 LLM 사전학습 데이터셋을 만든 경험과 어려움을 정리했습니다. NVIDIA EMNLP 2024 논문을 통해 품질 필터링과 중복 제거 전략을 체계적으로 살펴봤습니다.
#LLM#PySpark
49005분
필터 1
Next AI B tv, 에이닷과 함께 진화하다 ㅡ 당신을 알아보는 TV의 등장 ‘B tv 에이닷’
B tv가 에이닷과 연동해 사용자 취향과 시청 이력을 반영하는 AI 미디어 파트너로 진화하는 방향을 소개했습니다. Voice ID와 맥락 기반 응답으로 개인화와 선제적 추천 경험을 강화했습니다.
#LLM#NLP
33005분
SSG.COM 사내 Agent 개발기
사내 Confluence 문서를 자연어로 찾는 LLM Agent 개발 과정을 소개했습니다. 검색 쿼리 생성, 요약, 캐싱, OCR 등 운영 최적화 포인트도 다뤘습니다.
#LLM#NLP
240005분
EMNLP24 늦은 후기 1탄: 텔레콤 LLM 벤치마크 TelBench 발표 이야기
SK텔레콤이 한국어 상담 데이터를 기반으로 통신 특화 벤치마크 TelBench를 발표했습니다. 상담 요약과 후속 업무 자동화 가능성을 평가하고 개인정보 보호와 다국어 확장 계획도 함께 제시했습니다.
#LLM#NLP
80005분
슬기로운 토스뱅크 개발 인턴 생활
토스뱅크 인턴들이 변수명 추천 플러그인과 민감정보 마스킹 플러그인을 만든 경험을 소개했습니다.\nDRI 문화와 수평적 협업 속에서 문제를 정의하고 해결하며 성장한 과정을 정리했습니다.
#Kotlin#LLM
222005분
Language Model의 새로운 패러다임? Large Language Diffusion Model!!
AR 언어모델의 한계를 보완하기 위해 Diffusion 기반 언어생성 접근을 소개했습니다. 학습과 추론 절차, 성능 강점과 한계까지 논문 관점에서 정리했습니다.
#LLM#NLP
84005분
AI와 디지털 광고의 새로운 협력 모델 - Part 1. 광고소재
AI 발전으로 디지털 마케팅 전 과정을 통합 자동화할 가능성을 소개했습니다. 특히 광고 소재는 레이아웃 최적화와 배경 생성이 핵심이라고 설명했습니다.
#LLM#ML
43005분
Amazon Bedrock Guardrails을 활용해 한국어 기반 개인정보 검출하기
Amazon Bedrock Guardrails의 한국어 개인정보 검출 지원과 활용 방법을 소개했습니다.\nApplyGuardrail API로 이름, 주소, 전화번호 등 다양한 민감정보를 탐지하는 예시를 보여주었습니다.
#AWS#Amazon Bedrock
60005분
LLM이 문학 번역 성능을 평가할 수 있을까?
LLM을 문학 번역 평가자로 쓰는 연구를 소개하며, 기존 지표보다 인간 판단에 가까운 성과를 보였다고 분석했습니다. 다만 문화적 맥락과 미묘한 뉘앙스까지 완전히 대체하지는 못해 인간 평가의 보완이 필요하다고 정리했습니다.
#LLM#번역
73005분
Open Thoughts - 추론 모델을 위한 데이터 레시피
추론 모델 학습용 데이터 레시피를 실험 중심으로 정리한 글입니다. 어려운 질문 선별, 다중 답변 생성, 데이터 확장이 성능 향상에 중요하다고 설명했습니다.
#LLM#NLP
52005분
Custom LLM Agent 구축하기(From Scratch)
Langchain 없이 Python으로 ReAct 기반 LLM Agent를 직접 구현하는 예제를 소개했습니다. 프롬프트 설계와 멀티턴 흐름에 따라 함수 호출 결과가 달라질 수 있음을 보여줬습니다.
#Python#LLM
77005분
AI Agent의 시대, 벤치마크는 어떻게 진화할까: τ-bench
AI 에이전트의 실무 적합성을 τ-bench로 재평가한 글입니다. 기존 벤치마크와 달리 대화, 정책, 멀티스텝 처리, 일관성까지 함께 봐야 한다고 설명했습니다.
#LLM#AI Agent
62005분