Products

데이터 플랫폼이 성숙할수록 "이 테이블이 뭐지?", "이 데이터 믿어도 되나?" 같은 질문이 반복됩니다. PAASUP DIP의 카탈로그인 OpenMetadata에서 StarRocks, Kafka, Iceberg 등 실제 서비스를 연동하며 Discovery, Lineage, Quality, RBAC까지 엔터프라이즈 Data Governance의 주요 기능을 검증했습니다

3줄 요약 Milvus 2.x까지는 Iceberg에 있는 벡터 데이터를 검색하려면 별도 파이프라인으로 복사(ETL)하는 과정이 필수였다. 3.0부터는 S3의 Iceberg 메타데이터만 참조해 데이터를 복사하지 않고 벡터 검색이 가능하다(External Collection). 아직 정식 릴리즈 전이고 쓰기·CDC 지원은 없지만, 데이터 레이크와 벡터 검색의 통합 방식이 근본적으로 바뀌었다. S3에 쌓인 Iceberg

이 글에서는 PAASUP DIP 환경을 기준으로, KFP v2 · MLflow · MinIO · KServe를 조합해 구성한 end-to-end MLOps 파이프라인을 바탕으로 데이터 수집부터 challenger·champion 승격, KServe 무중단 배포, 운영 고려사항까지 살펴봅니다.

AI와 데이터는 클라우드에 올려야만 작동하는 게 아니다. 기업이 가장 중요한 데이터를 클라우드에 올리지 못하는 이유는 분명하다 - 규제, 보안, 주권. PAASUP DIP(Data Intelligence Platform)는 퓨어 오픈소스 기반의 현대적 빅데이터·지능화 서비스를 온프레미스에서 그대로 제공한다.

쿠버네티스에서 파드의 CPU·메모리 설정값을 잘못 잡으면 두 가지 문제가 생깁니다. 너무 높으면 클러스터 자원의 상당 부분이 낭비되고, 너무 낮으면 실서비스에서 파드가 강제 종료됩니다. Goldilocks는 쿠버네티스가 내부적으로 계산해 둔 "적정 사용량 권고값"을 가져다가 누구나 볼 수 있는 대시보드로 보여주는 도구로, 특히 서버를 즉시 추가할 수 없는 온프레미스 환경에서 동일한 하드웨어로 더 많은 워크로드를 안정적으로 운영하는 데 실질적인 도움을 줍니다.

PostgreSQL → Iceberg CDC 3가지 경로를 9.6억 건 기준으로 벤치마크. 파이프라인 단순성과 실시간 처리 균형 면에서 Flink CDC가 가장 유력한 선택지. 초기적재는 Spark Batch와 결합한 하이브리드 전략으로 보완 가능.

TPC-DS SF-1000(1TB, 63억 행) 규모로 DIP 플랫폼의 Batch ELT 적재 성능(1,451K rows/sec)과 StarRocks 쿼리 응답 속도(GeoMean 2.2초)를 검증합니다. CN 노드 스케일링 효과와 Trino 대비 성능 우위, Iceberg 파티션 전략까지 정량 분석한 결과를 공유합니다.

데이터 플랫폼, 도입 전에 성능부터 증명할 수 있을까? DIP 플랫폼을 TPC-DS SF-100 표준 벤치마크로 검증했습니다. Batch ELT 적재 속도부터 분석 쿼리 응답시간, 동시성 한계까지—숫자로 확인한 결과를 공유합니다.

DIP 플랫폼의 배치 ELT, 실시간 CDC, 분석 쿼리 성능을 TPC-DS 표준 벤치마크로 정량 측정하는 테스트 계획서입니다. Spark, StarRocks, OLake, Kafka CDC 파이프라인을 비교 검증합니다.

RKE2 환경에서 기본 CNI 대신 Cilium을 적용하는 방법과 이점을 다룹니다. Cilium의 eBPF 기술을 활용하여 기존 iptables의 성능 한계를 극복하고, 강력한 보안 정책 및 네트워크 가시성을 확보하는 과정을 설명합니다. RKE2 설치 시 HelmChartConfig를 통한 Cilium 설정 및 커스터마이징 실무 가이드를 제공합니다.