Products

StarRocks는 FE(Frontend)와 BE/CN(Backend/Compute Nodes) 두 종류 컴포넌트로 구성된 단순한 아키텍처의 분석 데이터베이스입니다. 로컬 저장소를 사용하는 Shared-nothing 모드(고성능)와 객체 스토리지를 활용하는 Shared-data 모드(비용 효율적)를 환경에 따라 선택할 수 있습니다. 복잡한 외부 의존성 없이 MPP 구조로 뛰어난 성능과 운영 중단 없는 수평 확장을 제공하는 것이 핵심 특징입니다.

이 가이드는 NVIDIA NeMo Curator를 활용해 대규모 언어 모델(LLM) 학습에 필요한 고품질 데이터셋을 구축하는 방법을 다룹니다. 우리는 간단한 테스트 예시를 해 데이터 수집부터 클리닝, 중복 제거, 언어 라벨링까지, 체계적인 텍스트 큐레이션 파이프라인을 구축하고 실행하는 엔드투엔드 절차를 실습 중심으로 정리했습니다.

이번 가이드에서는 PAASUP DIP 환경에서 NVIDIA NeMo Microservices를 활용해 llama-3.2-3b-instruct 모델을 KoAlpaca 데이터로 LoRA 파인튜닝하고, 튜닝 전후 성능을 직접 비교해보는 실전 워크플로우를 다룹니다.