DIP 플랫폼 TPC-DS 벤치마크 테스트 계획
DIP 플랫폼의 배치 ELT, 실시간 CDC, 분석 쿼리 성능을 TPC-DS 표준 벤치마크로 정량 측정하는 테스트 계획서입니다. Spark, StarRocks, OLake, Kafka CDC 파이프라인을 비교 검증합니다.
dongwooshin
OLake PoC: Kafka 없이 구현하는 PostgreSQL → Apache Iceberg 실시간 CDC
Kafka 없이 PostgreSQL에서 Apache Iceberg로 직접 CDC를 수행하는 경량 도구 OLake를 로컬 Docker 환경에서 구축하고, Debezium과 비교하여 성능·안정성·사용 편의성을 테스트한 PoC 과정을 정리합니다.
OLake PoC: Real-Time PostgreSQL to Apache Iceberg CDC Without Kafka
This document summarizes a PoC process of setting up OLake — a lightweight tool that performs CDC directly from PostgreSQL to Apache Iceberg without Kafka — in a local Docker environment, and testing its performance, stability, and ease of use in comparison with Debezium.
Apache Flink를 활용한 API Gateway 실시간 로그 분석 파이프라인 최적화
Apache Flink를 활용하여 Kafka 메시지를 사전 가공함으로써 StarRocks 쿼리 부하를 90% 절감하고 대시보드 응답 속도를 70% 개선한 실시간 로그 분석 파이프라인 최적화 사례
Optimizing API Gateway Log Real-time Analysis Pipeline Using Apache Flink
A case study on streamlining a real-time log analysis pipeline by pre-processing Kafka messages with Apache Flink, reducing StarRocks query load by 90% and improving dashboard response time by 70%
Lakehouse Governance Implementation Guide Using Lakekeeper
This is a guide for building Lakehouse governance based on Apache Iceberg using Lakekeeper. It provides step-by-step coverage of fine-grained permission management with OpenFGA, role-based access control (RBAC) implementation, and real-world examples through integration with Spark and StarRocks
Lakekeeper를 활용한 레이크하우스 거버넌스 구현 가이드
Lakekeeper를 활용한 Apache Iceberg 기반 레이크하우스 거버넌스 구축 가이드입니다. OpenFGA 기반의 세밀한 권한 관리, 역할 기반 접근 제어 구현, Spark와 StarRocks 연동을 통한 실제 사례를 단계별로 소개합니다.
Real-time Log Collection and Analysis Case Study
A case study on building a monitoring system that collects API Gateway logs in real-time using Kafka-based streaming architecture, stores them in StarRocks, and visualizes them with Apache Superset. This achieves improved service stability and reduced incident response time.
실시간 로그 수집 및 분석 사례
Kafka 기반 스트리밍 아키텍처를 활용하여 API Gateway 로그를 실시간으로 수집하고, StarRocks에 저장한 뒤 Apache Superset으로 시각화하는 모니터링 시스템 구축 사례. 서비스 안정성 향상과 장애 대응 시간 단축을 실현합니다.
CDC Implementation from PostgreSQL to StarRocks: A Practical Guide
This case study demonstrates building a real-time CDC pipeline from PostgreSQL to StarRocks using Debezium and Kafka, achieving 4,000+ rows/sec replication. With StarRocks' MPP architecture, we significantly improved analytical query performance and implemented a scalable data pipeline.