2021-03-29 : GCP

개인 미니프로젝트를 진행하고 반복되는 복습 중에 오랜만에 TIL을 올리게 된다...

아무래도 책으로만 배우는 Azure와 GCP는 지루할 수 밖에 없다.

그래도 뭐든 배우면 나중에 쓸 일이 꼭 생기긴 하니까 집중해보자..!

 

 

 

오늘은 챕터들의 내용과 실습이 간단한 편이라 가볍게 읽고 쉽게 따라할 수 있었습니다.

 

 

* CHAPTER.11 : Cloud Composer

 

Cloud Composer는 파이프라인을 작성하여 예약 및 모니터링할 수 있는 통합 워크플로 관리 서비스입니다.

내부적으로 Apache Airflow를 기반으로 한 워크플로 통합 서비스로 Google Cloud Platform의 다양한 서비스들이 활용되어 있습니다.

 

Python을 기반으로 DAG와 Task에 대한 코드를 작성할 수 있으며, 분산 환경 및 웹 UI 기반의 강력한 모니터링 기능을 제공해 간편하게 모니터링을 할 수 있습니다.

 

 

 

* Apache Airflow

 

유명한 여행 서비스 회사인 Airbnb에서 개발된 워크플로 통합 도구로 현재는 아파치 재단에서 인큐베이팅 하고 있는 프로젝트입니다.

데이터 분석가 및 개발자 모두가 익숙한 언어인 Python을 기본으로 태스크에 대한 코드를 작서할 수 있어서 접근성이 낮은 면이 있습니다. 웹 UI 기반의 강력한 모니터링 툴을 제공하기 때문에 웹 브라우저를 통해서 손쉽게 모니터링을 할 수 있다는 장점을 가지고 있습니다.

 

 

 

 

* DAG

 

Cloud Composer 워크플로는 DAG라고 하는 비순환 그래프로 표현됩니다. 다시 말해, 하나의 DAG가 하나의 워크플로라고 생각하면 됩니다. 워크플로 안에 오퍼레이터를 이용해 태스크를 만들어 담을 수 있습니다.

 

 

* Operator와 Task

 

오퍼레이터는 DAG안에 정의되는 작업 함수이며, 이를 이용해 태스크를 만듭니다. 에어플로에서 지원하는 오퍼레이터의 종류는 다양합니다. ( Bash Operator, Python Operator 등..)

 

 

 

 

 

CHAPTER 12. Source Repositories

 

GCP에서 제공하는 비공개 Git Repository입니다. 확장이 가능하며, GCP 내부의 서비스이다 보니 간편하게 다른 GCP 서비스들과 연결하여 빌드, 배포,  디버깅을 할 수 있습니다.

 

 

 

CHAPTER 13. Cloud Pub/Sub

 

GCP의 대표적인 메시징 서비스로 카프카(Kafka)나 래빗MQ(RabbitMQ)와 같은 오픈소스 메시징 서비스와 동일한 서비스입니다. 대신 글로벌 규모에서도 낮은 지연 시간과 안정저인 메시지 전달을 제공하고, 서버리스 환경이기 때문에 별도의 인스턴스를 관리할 필요 없이 사용량에 따라 초당 수억 개까지 메시지를 확장할 수 있습니다.