KFP · MLflow · KServe로 구성하는 end-to-end MLOps 파이프라인 이 글에서는 PAASUP DIP 환경을 기준으로, KFP v2 · MLflow · MinIO · KServe를 조합해 구성한 end-to-end MLOps 파이프라인을 바탕으로 데이터 수집부터 challenger·champion 승격, KServe 무중단 배포, 운영 고려사항까지 살펴봅니다.
DIP: 온프레미스에서 완성되는 데이터 인텔리전스 플랫폼 AI와 데이터는 클라우드에 올려야만 작동하는 게 아니다. 기업이 가장 중요한 데이터를 클라우드에 올리지 못하는 이유는 분명하다 - 규제, 보안, 주권. PAASUP DIP(Data Intelligence Platform)는 퓨어 오픈소스 기반의 현대적 빅데이터·지능화 서비스를 온프레미스에서 그대로 제공한다.
Goldilocks: Kubernetes 리소스 요청값을 "딱 맞게" 설정하는 법 쿠버네티스에서 파드의 CPU·메모리 설정값을 잘못 잡으면 두 가지 문제가 생깁니다. 너무 높으면 클러스터 자원의 상당 부분이 낭비되고, 너무 낮으면 실서비스에서 파드가 강제 종료됩니다. Goldilocks는 쿠버네티스가 내부적으로 계산해 둔 "적정 사용량 권고값"을 가져다가 누구나 볼 수 있는 대시보드로 보여주는 도구로, 특히 서버를 즉시 추가할 수 없는 온프레미스 환경에서 동일한 하드웨어로 더 많은 워크로드를 안정적으로 운영하는 데 실질적인 도움을 줍니다.
DIP 플랫폼 TPC-DS 벤치마크 — Part 2. 실시간 CDC 성능 비교 PostgreSQL → Iceberg CDC 3가지 경로를 9.6억 건 기준으로 벤치마크. 파이프라인 단순성과 실시간 처리 균형 면에서 Flink CDC가 가장 유력한 선택지. 초기적재는 Spark Batch와 결합한 하이브리드 전략으로 보완 가능.
DIP 플랫폼 TPC-DS 1 TB 벤치마크 TPC-DS SF-1000(1TB, 63억 행) 규모로 DIP 플랫폼의 Batch ELT 적재 성능(1,451K rows/sec)과 StarRocks 쿼리 응답 속도(GeoMean 2.2초)를 검증합니다. CN 노드 스케일링 효과와 Trino 대비 성능 우위, Iceberg 파티션 전략까지 정량 분석한 결과를 공유합니다.
DIP 플랫폼 TPC-DS 벤치마크 — Part 1. Batch ELT & Query 성능 데이터 플랫폼, 도입 전에 성능부터 증명할 수 있을까? DIP 플랫폼을 TPC-DS SF-100 표준 벤치마크로 검증했습니다. Batch ELT 적재 속도부터 분석 쿼리 응답시간, 동시성 한계까지—숫자로 확인한 결과를 공유합니다.
DIP 플랫폼 TPC-DS 벤치마크 테스트 계획 DIP 플랫폼의 배치 ELT, 실시간 CDC, 분석 쿼리 성능을 TPC-DS 표준 벤치마크로 정량 측정하는 테스트 계획서입니다. Spark, StarRocks, OLake, Kafka CDC 파이프라인을 비교 검증합니다.
RKE2 CNI 성능 비교: Canal vs Cilium - 데이터 중심 워크로드를 위한 최적 선택 RKE2 환경에서 기본 CNI 대신 Cilium을 적용하는 방법과 이점을 다룹니다. Cilium의 eBPF 기술을 활용하여 기존 iptables의 성능 한계를 극복하고, 강력한 보안 정책 및 네트워크 가시성을 확보하는 과정을 설명합니다. RKE2 설치 시 HelmChartConfig를 통한 Cilium 설정 및 커스터마이징 실무 가이드를 제공합니다.
Apache Flink를 활용한 API Gateway 실시간 로그 분석 파이프라인 최적화 Apache Flink를 활용하여 Kafka 메시지를 사전 가공함으로써 StarRocks 쿼리 부하를 90% 절감하고 대시보드 응답 속도를 70% 개선한 실시간 로그 분석 파이프라인 최적화 사례
CES2026 데모 - 단일 에어갭(Air-Gapped) DGX 노드 기반 고밀도 데이터 지능화 플랫폼 PAASUP DIP는 인터넷이 차단된 에어갭(Air-Gapped) 환경에서도 NVIDIA DGX SPARK 단일 노드에 배치, 실시간, LLM RAG 등 고부하 워크로드를 집적한 고밀도 데이터 플랫폼을 실증합니다. RKE2/Rancher 기반 오케스트레이션과 SaaS 방식의 통합 엔진을 통해 20여 종의 기술 카탈로그를 폐쇄망 내에서 유연하게 운영 관리하는 혁신적인 모델을 제시합니다.