![[리뷰] 책상 위의 데이터센터, Dell Pro Max GB10 AI 워크스테이션 실사용기](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FVpb2w%2FdJMcahRQ7Rq%2FAAAAAAAAAAAAAAAAAAAAAG9UbWItZyfigZY24DSGpvWtN_q1c-yka3cot5S54aXK%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1780239599%26allow_ip%3D%26allow_referer%3D%26signature%3De1T0soDRcdvCiS8lWCRl1ZDBayQ%253D)
[리뷰] 책상 위의 데이터센터, Dell Pro Max GB10 AI 워크스테이션 실사용기
Dell Pro Max GB10 AI 워크스테이션의 구조와 실사용 성능을 검증한 리뷰였습니다. 로컬에서 70B급 모델을 빠르게 돌릴 수 있는 통합 메모리 기반 AI 노드로 소개했습니다.
#LLM#Docker
82005분
Dell Pro Max GB10 AI 워크스테이션의 구조와 실사용 성능을 검증한 리뷰였습니다. 로컬에서 70B급 모델을 빠르게 돌릴 수 있는 통합 메모리 기반 AI 노드로 소개했습니다.
네오사피엔스가 AWS g5, g6e, g7e에서 LLM 추론 배치와 정밀도를 비교했습니다. 실제 운영 조건을 반영해 g6e + INT8 조합을 최적점으로 선택했습니다.