AI
BigQuery와 Gemini로 리뷰 분석 업무 자동화하기
두줄요약
BigQuery의 Gemini Pro와 ML.GENERATE_TEXT로 리뷰 요약·분류·감성 분석을 수행했습니다. JSON 검증과 배치 처리로 결과 신뢰성과 대량 처리 효율을 높였습니다.
구조와 흐름
- Vertex AI 연결과 BigQuery 데이터셋의 Gemini 원격 모델 추가
ML.GENERATE_TEXT에서 모델, 테이블 데이터 기반 프롬프트, 파라미터를 조합하는 SQL 호출 구조- 리뷰 단위 요약·키워드 추출·카테고리 분류·감성 분석과 제품 단위 홍보 문구 생성
주의할 점
- LLM 출력 형식의 변동성과 요청 범위 이탈, 추가 설명 생성 가능성
- JSON 응답 강제와 정규표현식·JSON 쿼리 기반 정합성 검사 필요
flatten_json_output비활성화 시 종료 상태·안전 속성·토큰 수 확인 가능
성능/운영 포인트
- 예약 쿼리·프로시저를 통한 반복 분석 수작업 자동화
- 대량 리뷰를 JSON 배열로 묶는 배치 처리로 동시 처리량 확대
- 배치 전처리·후처리 비용과 데이터 증가 시 처리 효율의 균형 고려
