Contact.
Email. [email protected]
Phone. 010-7360-8122
Channel.
GitHub. https://github.com/SteveArseneLee
Blog. https://squidengineer.tistory.com/
๐โโ๏ธ ๊ฒฝ๋ ฅ
- ์ค์ผ์คํธ๋ก / ๋ฐ์ดํฐ ์๋ฃจ์
ํ / ๋ฐ์ดํฐ ์์ง๋์ด 2023.09.11 ~
- (ํ์ฌ) IoT ๋ฐ์ดํฐ ์์ง ํ์ดํ๋ผ์ธ ์ค๊ณ ๋ฐ ๊ตฌ์ถ
- Spring boot, Kafka, Nifi, ActiveMQ, Flink
- LLM ์๋ฃจ์
์ ๋ฐ์ดํฐ ์ธํ๋ผ ๊ตฌ์ถ ๋ฐ ์ด์
- Kubernetes, Kafka, Harbor
- ML ์ฐ๊ตฌ๋ฅผ ์ํ ๋ชจ๋ํฐ๋ง ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ถ
- Kubernetes, Prometheus, Loki, Grafana, Istio
๐จ๐ปโ๐ป ํ๋ก์ ํธ
- IoT, ๋ก๊ทธ ๋ฐ์ดํฐ ์์ง ํ์ดํ๋ผ์ธ ์ค๊ณ ๋ฐ ๊ตฌ์ถ
- ๋ชฉ์ : ๋ค์ํ IoT ์ฅ์น์์ ๋ฐ์ดํฐ๋ฅผ ์์ ์ ์ผ๋ก ์์งํ๊ณ ํตํฉ, ์ ์กํ๊ธฐ ์ํ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ์ค๊ณ ๋ฐ ๊ตฌ์ถ
- ์ฃผ์ ๊ธฐ์ฌ
- ๋ฐ์ดํฐ ์์ค๋ณ Kafka ํ ํฝ ๋ถ๋ฆฌ ๋ฐ ๋ฉ์์ง ์ ์ก ๊ตฌ์กฐ ์ค๊ณ๋ฅผ ํตํด ๋ฐ์ดํฐ ์ฒ๋ฆฌ ํ๋ฆ ์ต์ ํ
- ์จ๋ ๋ฐ์ดํฐ(์ญ์จ, ํ์จ ๋ฑ)์ ๊ฐ์ ์์ค๋ณ ๋ฐ์ดํฐ ํ์์ ํต์ผํํ๋ ์ ์ ๋ก์ง ๊ตฌํ
- ์ด๋น 1,000๊ฑด ์ด์์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ฉฐ ๋ฐ์ดํฐ ์ ์ค๋ฅ 10% ๋ฏธ๋ง์ผ๋ก ์ ์ง
- IoT ๋ฐ์ดํฐ๋ฅผ ์ค์๊ฐ์ผ๋ก ์ฒ๋ฆฌํ ์ ์๋ ์ด์ ํ๊ฒฝ ๊ตฌ์ถ ๋ฐ ํ์ฉ ๊ธฐ๋ฐ ๋ง๋ จ
- ์ฌ์ฉ ๊ธฐ์ : Spring Boot, ActiveMQ, Kafka, Flink, Nifi
- ๋ฌธ์ ์ํฉ
- LLM ์๋ฃจ์
์ ๋ฐ์ดํฐ ์ธํ๋ผ ๊ตฌ์ถ ๋ฐ ์ด์
- ๋ชฉ์ : LLM ์๋ฃจ์
์ ์ฉ ๋ฐ์ดํฐ ์ธํ๋ผ ์ค๊ณ ๋ฐ ์ด์ ํจ์จ์ฑ ํ๋ณด
- ์ฃผ์ ๊ธฐ์ฌ
- ๋ชจ๋๋ฆฌ์ ์ํคํ
์ฒ๋ฅผ MSA๋ก ์ ํํ์ฌ ์ธํ๋ผ ์ ๊ท ๊ตฌ์ถ
- LLM ์์ง์ ๋ต๋ณ ์์๋ฅผ ๋ณด์ฅํ๊ธฐ ์ํ ๋ฐ์ดํฐ ์ ์ก ํ
์คํธ
- Harbor๋ฅผ ํ์ฉํ ์ปจํ
์ด๋ ์ด๋ฏธ์ง ๊ด๋ฆฌ ์์คํ
๊ตฌ์ถ์ผ๋ก ์ปจํ
์ด๋ ๋ฐฐํฌ ๋ฐ ๊ด๋ฆฌ ํจ์จ์ฑ ํฅ์
- ์ฌ์ฉ ๊ธฐ์ : Kubernetes, Kafka, Harbor, Prometheus, Loki
- ์ฐ๊ตฌ์ฉ ํด๋ผ์ฐ๋ ์์คํ
๋ฐ์ดํฐ ์์ง
- ๋ชฉ์
- FinOps ๋ฐ RCA(Root Cause Analysis)๋ฅผ ์ํ Kubernetes ๊ธฐ๋ฐ์ Pod(Service) ๋ฉํธ๋ฆญ, ๋ก๊ทธ, ํธ๋ ์ด์ฑ ๋ฐ์ดํฐ ์์ง
- ๋ชจ๋ธ ํ
์คํธ๋ฅผ ์ํ ์ฅ์ ๋ฐ์ดํฐ ํ๋ณด๋ฅผ ๋ชฉ์ ์ผ๋ก ์๋น์ค ์ฅ์ ์๋๋ฆฌ์ค ์ฌํ ๋ฐ ๋ถํ ํ
์คํธ ์งํ
- ์ฃผ์ ๊ธฐ์ฌ
- ๋ฉํธ๋ฆญ, ๋ก๊ทธ, ํธ๋ ์ด์ฑ ๋ฐ์ดํฐ ์์ง
- Prometheus, Loki, Jaeger๋ฅผ ํ์ฉํด K8s ํ๊ฒฝ์์ Pod(Service)๋ณ CPU, Memory, Disk I/O, Network I/O ๋ฉํธ๋ฆญ ๋ฐ์ดํฐ ์์ง
- ์ฅ์ ๋ฐ์ดํฐ ์์ง์ ์ํ ๋ถํ ํ
์คํธ ์ค๊ณ
- ๋ถํ ํ๊ณ ํ์ธ ๋ฐ ์ฅ์ ์ํฉ ์ฌํ
- API ๋ถํ ํ
์คํธ ์งํ
- ์ฌ์ฉ ๊ธฐ์ : Kubernetes, Prometheus, Loki, Grafana, Jaeger, Istio
- ํตํฉ ํฌ์ ์๋น์ค
- ๋ชฉ์ : Data Federation์ ํ์ฉํ์ฌ ๋ถ์ฐ ๋ฐ์ดํฐ์ ์ค์๊ฐ ํตํฉ
- ์ฃผ์ ๊ธฐ์ฌ
- Kafka ๊ธฐ๋ฐ์ ๋ฐ์ดํฐ ์คํธ๋ฆฌ๋ฐ ํ์ดํ๋ผ์ธ ์ค๊ณ ๋ฐ Spark๋ฅผ ํ์ฉํ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๊ตฌํ
- Airflow๋ก ๋ฐ์ดํฐ ์ํฌํ๋ก์ฐ๋ฅผ ์๋ํํ์ฌ ์์ ์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ํ๊ฒฝ ํ๋ณด
- AWS EC2, S3 ๋ฐ GCP GCS๋ฅผ ํ์ฉํ์ฌ ๋ฐ์ดํฐ ์ ์ฅ์๋ฅผ ๊ตฌ์ถํ๊ณ ํจ์จ์ ์ผ๋ก ๊ด๋ฆฌ
- ํ๋ก์ ํธ ๊ฒฐ๊ณผ๋ฅผ ๋
ผ๋ฌธํํ์ฌ ํ๋ฌธ์ ๊ธฐ์ฌ์ ์ค๋ฌด ์ ์ฉ ๊ฐ๋ฅ์ฑ์ ์ ์
- ์ฌ์ฉ ๊ธฐ์ : Kafka, Spark, Airflow, AWS, GCP, Snowflake
๐ ํ๋ ฅ ๋ฐ ๊ต์ก
- SSAFY 10th (2023.07.05 ~ 2023.08.31)
- ๊ฒฝํฌ๋ํ๊ต ์ปดํจํฐ๊ณตํ๊ณผ(2021.03 ~ 2023.08)