Apache Flink를 활용한 API Gateway 실시간 로그 분석 파이프라인 최적화
Apache Flink를 활용하여 Kafka 메시지를 사전 가공함으로써 StarRocks 쿼리 부하를 90% 절감하고 대시보드 응답 속도를 70% 개선한 실시간 로그 분석 파이프라인 최적화 사례
dongwooshin
Optimizing API Gateway Log Real-time Analysis Pipeline Using Apache Flink
A case study on streamlining a real-time log analysis pipeline by pre-processing Kafka messages with Apache Flink, reducing StarRocks query load by 90% and improving dashboard response time by 70%
Lakehouse Governance Implementation Guide Using Lakekeeper
This is a guide for building Lakehouse governance based on Apache Iceberg using Lakekeeper. It provides step-by-step coverage of fine-grained permission management with OpenFGA, role-based access control (RBAC) implementation, and real-world examples through integration with Spark and StarRocks
Lakekeeper를 활용한 레이크하우스 거버넌스 구현 가이드
Lakekeeper를 활용한 Apache Iceberg 기반 레이크하우스 거버넌스 구축 가이드입니다. OpenFGA 기반의 세밀한 권한 관리, 역할 기반 접근 제어 구현, Spark와 StarRocks 연동을 통한 실제 사례를 단계별로 소개합니다.
Real-time Log Collection and Analysis Case Study
A case study on building a monitoring system that collects API Gateway logs in real-time using Kafka-based streaming architecture, stores them in StarRocks, and visualizes them with Apache Superset. This achieves improved service stability and reduced incident response time.
실시간 로그 수집 및 분석 사례
Kafka 기반 스트리밍 아키텍처를 활용하여 API Gateway 로그를 실시간으로 수집하고, StarRocks에 저장한 뒤 Apache Superset으로 시각화하는 모니터링 시스템 구축 사례. 서비스 안정성 향상과 장애 대응 시간 단축을 실현합니다.
CDC Implementation from PostgreSQL to StarRocks: A Practical Guide
This case study demonstrates building a real-time CDC pipeline from PostgreSQL to StarRocks using Debezium and Kafka, achieving 4,000+ rows/sec replication. With StarRocks' MPP architecture, we significantly improved analytical query performance and implemented a scalable data pipeline.
PostgreSQL에서 StarRocks로 CDC 구현 예제
PostgreSQL에서 StarRocks로의 실시간 CDC 파이프라인 구축 사례입니다. Debezium과 Kafka를 활용하여 초당 4,000건 이상의 데이터를 안정적으로 복제하고, Apache Superset으로 시각화했습니다. StarRocks의 MPP 아키텍처를 통해 분석 쿼리 성능이 대폭 향상되었으며, 확장 가능한 데이터 파이프라인 아키텍처를 구현했습니다.
DuckDB: 현대적인 분석용 데이터베이스 가이드
DuckDB는 SQLite의 분석 버전을 지향하는 임베디드 분석 데이터베이스입니다. 별도의 서버 설정 없이 로컬 환경에서 대용량 데이터를 빠르게 분석할 수 있으며, CSV, Parquet, JSON 등 다양한 파일 형식을 직접 쿼리할 수 있습니다. 이 글에서는 DuckDB의 아키텍처부터 설치 방법, 그리고 실무에서 활용할 수 있는 다양한 SQL 예제까지 상세히 다룹니다.
DuckDB: A Modern Analytics Database Guide
DuckDB is an embedded analytical database designed as SQLite's analytics counterpart. It enables fast analysis of large datasets locally without server setup and directly queries CSV, Parquet, and JSON files. This guide covers DuckDB's architecture, installation, and practical SQL examples.