Experiments

데이터 인텔리전스 플랫폼 통합을 위한 오픈소스 기술 검토 및 실험 결과를 제공합니다. 다양한 데이터 처리 기술의 성능, 확장성, 호환성에 대한 심층 분석과 실제 구현 사례를 살펴볼 수 있습니다.
Experiments

Roo Code와 함께하는 바이브 코딩

안녕하세요, 오늘은 코딩의 새로운 패러다임으로 떠오르는 바이브 코딩(Vibe Coding)과 이를 더욱 강력하게 만들어 줄 VSCode 플러그인, Roo Code에 대해 이야기해 보려고 합니다. 코딩에 대한 '느낌'과 '직관'을 중시하는 바이브 코딩의 세계로 함께 떠나볼까요? 1. 바이브 코딩이란 무엇일까요? * 바이브 코딩은 생성형 AI의 도움을 받아
15 min read
Experiments

기업용 AI 모델 개발부터 배포까지: NVIDIA NeMo 플랫폼 가이드 #1

NeMo Framework와 NeMo Microservices 개요 들어가며 AI 기술의 급속한 발전과 함께, 대규모 언어 모델(LLM)과 멀티모달 AI 모델의 개발 및 운영이 기업과 연구기관의 핵심 관심사로 떠올랐습니다. 하지만 이러한 모델들을 실제 프로덕션 환경에서 안정적으로 개발하고 배포하기 위해서는 강력한 플랫폼이 필요합니다. NVIDIA는 이러한 요구에 부응하여 NeMo라는 포괄적인 AI 플랫폼을 선보였습니다. NeMo는
14 min read
Experiments

파스업DIP로 구현하는 현대적 데이터 파이브라인 #4 : 프레임워크 적용과 ELT모니터링 대시보드

들어가며 지금까지 파스업DIP로 구현하는 현대적 데이터 파이프라인 시리즈 #1~3에서는 프레임워크 없이 공개된 라이브러리(pyspark, delta-spark, boto3 등)를 활용하여 순수하게 데이터 파이프라인을 구현해왔습니다. 이는 기본 원리를 이해하고 직접 구현해보는 측면에서 매우 중요한 학습 과정이었습니다. 하지만 실제 운영환경에서는 다음과 같은 이유로 프레임워크 적용이 일반적입니다: * 개발 생산성 향상: 반복적인 코드 작성
13 min read
Experiments

파스업DIP로 구현하는 현대적 데이터 파이프라인: 지하철 이용자 통계 분석 프로젝트 #3

서울시 지하철 시간별 승하차 집계 데이터로 도시 교통 패턴 분석하기 프로젝트 개요 서울시 지하철 네트워크는 하루 평균 700만 명이 넘는 시민들이 이용하는 대한민국 최대 규모의 도시철도 시스템입니다. 본 프로젝트는 이전 블로그에서 제시했던 향후 발전계획 중 '시간대별 데이터 확보를 통한 출퇴근 패턴 분석' 과제를 실제로 구현한 결과입니다. 공공데이터포털에서 제공하는
11 min read
Experiments

파스업DIP로 구현하는 현대적 데이터 파이프라인: 지하철 이용자 통계 분석 프로젝트 #2

들어가며 이전 블로그(파스업DIP로 구현하는 현대적 데이터 파이프라인: 지하철 이용자 통계 분석 프로젝트#1)에서는 Jupyter Notebook 환경에서 Spark Session을 생성하여 데이터 파이프라인을 구현했습니다. 이번 시리즈에서는 DIP의 프로젝트 서비스 카탈로그 중 하나인 Airflow를 활용하여, 실제 운영 환경에서 데이터 파이프라인을 구현하고 실행하는 과정을 다루겠습니다. Airflow DAGs를 통한 워크플로우 관리와 스케줄링 기능을
10 min read
Experiments

파스업DIP로 구현하는 현대적 데이터 파이프라인: 지하철 이용자 통계 분석 프로젝트 #1

들어가며 본 프로젝트의 첫번째 파트에서는 현대 도시에서 지하철은 가장 중요한 대중교통 수단 중 하나입니다. 수많은 시민들이 매일 이용하는 지하철의 이용 패턴을 분석하면 도시의 흐름과 시민들의 생활패턴을 이해할 수 있습니다. 본 프로젝트에서는 지하철 노선별, 일별 이용객수 데이터를 수집하고 분석하여 의미있는 인사이트를 도출하고자 합니다. 이를 통해 교통정책 수립, 상권 분석, 도시계획 등
19 min read