🏃‍♂️ 경력

오케스트로 / 데이터 솔루션팀 / 데이터 엔지니어 2023.09.11 ~
- (현재) IoT 데이터 수집 파이프라인 설계 및 구축
  - Spring boot, Kafka, Nifi, ActiveMQ, Flink
- LLM 솔루션의 데이터 인프라 구축 및 운영
  - Kubernetes, Kafka, Harbor
- ML 연구를 위한 모니터링 데이터 파이프라인 구축
  - Kubernetes, Prometheus, Loki, Grafana, Istio

👨🏻‍💻 프로젝트

IoT, 로그 데이터 수집 파이프라인 설계 및 구축
- 목적: 다양한 IoT 장치에서 데이터를 안정적으로 수집하고 통합, 전송하기 위한 데이터 파이프라인 설계 및 구축
- 주요 기여
  - 데이터 소스별 Kafka 토픽 분리 및 메시지 전송 구조 설계를 통해 데이터 처리 흐름 최적화
  - 온도 데이터(섭씨, 화씨 등)와 같은 소스별 데이터 형식을 통일화하는 정제 로직 구현
  - 초당 1,000건 이상의 데이터를 처리하며 데이터 유실률 10% 미만으로 유지
  - IoT 데이터를 실시간으로 처리할 수 있는 운영 환경 구축 및 활용 기반 마련
- 사용 기술 : Spring Boot, ActiveMQ, Kafka, Flink, Nifi
- 문제 상황
LLM 솔루션의 데이터 인프라 구축 및 운영
- 목적: LLM 솔루션 전용 데이터 인프라 설계 및 운영 효율성 확보
- 주요 기여
  - 모놀리식 아키텍처를 MSA로 전환하여 인프라 신규 구축
  - LLM 엔진의 답변 순서를 보장하기 위한 데이터 전송 테스트
  - Harbor를 활용한 컨테이너 이미지 관리 시스템 구축으로 컨테이너 배포 및 관리 효율성 향상
- 사용 기술 : Kubernetes, Kafka, Harbor, Prometheus, Loki
연구용 클라우드 시스템 데이터 수집
- 목적
  - FinOps 및 RCA(Root Cause Analysis)를 위한 Kubernetes 기반의 Pod(Service) 메트릭, 로그, 트레이싱 데이터 수집
  - 모델 테스트를 위한 장애 데이터 확보를 목적으로 서비스 장애 시나리오 재현 및 부하 테스트 진행
- 주요 기여
  - 메트릭, 로그, 트레이싱 데이터 수집
    - Prometheus, Loki, Jaeger를 활용해 K8s 환경에서 Pod(Service)별 CPU, Memory, Disk I/O, Network I/O 메트릭 데이터 수집
  - 장애 데이터 수집을 위한 부하 테스트 설계
    - OS별 설치 자동화
  - 부하 한계 확인 및 장애 상황 재현
  - API 부하 테스트 진행
- 사용 기술 : Kubernetes, Prometheus, Loki, Grafana, Jaeger, Istio
통합 투자 서비스
- 목적 : Data Federation을 활용하여 분산 데이터의 실시간 통합
- 주요 기여
  - Kafka 기반의 데이터 스트리밍 파이프라인 설계 및 Spark를 활용한 데이터 처리 구현
  - Airflow로 데이터 워크플로우를 자동화하여 안정적 데이터 처리 환경 확보
  - AWS EC2, S3 및 GCP GCS를 활용하여 데이터 저장소를 구축하고 효율적으로 관리
  - 프로젝트 결과를 논문화하여 학문적 기여와 실무 적용 가능성을 제시
- 사용 기술 : Kafka, Spark, Airflow, AWS, GCP, Snowflake

📖 학력 및 교육

SSAFY 10th (2023.07.05 ~ 2023.08.31)
경희대학교 컴퓨터공학과(2021.03 ~ 2023.08)