Google Cloud Service (GCS) 데이터 데스티네이션

Google Cloud Service 데이터 데스티네이션을 추가하면 Singular에서 자동으로 데이터를 추출해서 GCS로 보낼 수 있습니다. 데이터 데스티네이션은 프리미엄 기능입니다. (더 알아보기)

 

설정 가이드

1. 서비스 계정 준비

옵션 A: 신규 서비스 계정 생성 (권장 사항)

  • Google Cloud platform에서 IAM & Admin > Service Accounts 로 이동한 후 Create Service Account를 클릭합니다.
  • 서비스 계정의 name, ID, description을 입력한 후 Create를 클릭합니다.

service_account_details.png

  • Create Key를 클릭하고 Key Type 아래에 "JSON"을 선택한 후 Create를 클릭해서 계정을 위한 JSON 키를 생성합니다.

create_key.png

  • 파일을 다운로드해서 3단계에서 해당 파일을 Singular에 업로드하기 위해 보관합니다.

옵션 B: Singular의 서비스 계정 사용

Singular가 미리 준비한 기존 계정인 singular-etl@singular-etl.iam.gserviceaccount.com을 사용할 수도 있습니다. 이를 위해서는 3단계의 설명을 따라 이 계정에 필요 권한을 부여해야 합니다.

2. 신규 버켓 생성

다음 단계를 따라 버켓을 생성합니다.

  • Google Cloud Platform 대시보드에서 Storage 섹션으로 이동하여 Create Bucket.를 클릭하세요.
  • 버켓 이름을 선택하세요. 예시처럼 Singular의 데이터 데스티네이션 (ETL)을 위한 이름임을 인식할 수 있도록 명명하기를 권장합니다.

    name_your_bucket.png

  • Choose where to store your data 아래에서 원하는 위치를 선택하세요. 선호하는 위치가 없는 경우 기본값인 "Multi-region"나 "us"의 사용을 권장합니다.

choose_where_to_store.png

  • Choose a default storage class for your data 아래에서 select "Standard"를 선택합니다(하루에 여러 번 데이터가 엑세스될 수 있습니다.)

choose_default_storage_class.png

  • Choose how to control access to objects 아래에서 "Fine-grained"를 선택하세요.

choose_how_to_control_access.png

  • Advanced Settings 아래에서 기본 옵션을 수정하지 않은 채로 Create를 클릭합니다.

3. 권한 부여

버켓 생성 이후 다음 단계를 따릅니다.

  • Permissions 탭으로 이동한 후 Add members를 클릭하세요.

permissions.png

  • Singular의 기존 GCS 계정을 사용하는 경우 singular-etl@singular-etl.iam.gserviceaccount.com 이메일 주소를 입력하세요. 혹은 2단계에서 생성한 고객사의 계정을 사용하세요.
  • Add members and roles 아래의 Role에서 "Storage Object Admin"를 선택합니다. 이것으로 Singular에 파일 쓰기와 삭제 및 버켓 내의 파일 확인 권한을 부여합니다.

add_members_and_roles.png

4. GCS 데이터 데스티네이션 추가

마지막으로 Singular에 데이터 데스티네이션을 추가합니다.

  • Singular 계정에서 Settings > Data Destinations로 이동한 후 Add a new destination를 클릭하세요.
  • 집계 마케팅 데이터 추출을 위해서는 "GCS Destination"을, 유저 레벨 데이터 추출을 위해서는 "GCS User-Level Destination"을 입력합니다.
  • 창이 열리면 세부 정보를 추가합니다.
항목 정의
Bucket Name 2단계의 버켓 이름
Service Account Type 1단계에 기반하여 적합한 서비스 계정 타입(user created: 고객사가 생성한 계정 혹은 Singular's pre-made: Singular 기존 계정) 선택
Credentials File 1단계에서 생성한 파일 업로드, Singular 기존 계정인 Singular's pre-made 서비스 계정을 선택한 경우 나타나지 않음
Output File Format "CSV" 혹은 "Parquet" 중 하나의 아웃풋 형식을 선택
Data Schema 목적지에 불러올 데이터 스키마, 자세한 내용은 데이터 데스티네이션: 집계 마케팅 데이터 스키마데이터 데스티네이션: 유저 레벨 데이터 스키마를 참조하세요.
Output Key Pattern 생성한 파일 이름의 형식, 사용 가능한 플레이스홀더는 아래 표 참조

Singular는 자동으로 값이 채워지는 여러 플레이스홀더(매크로)를 지원합니다.

플레이스홀더 정의 예시
{date} Singular에서 데이터를 추출한 날짜 2020-03-19
{day} Singular에서 데이터를 추출한 날짜 중 일 (0 채워짐, 예: 01) 19
{month} Singular에서 데이터를 추출한 날짜 중 월 03
{year} Singular에서 데이터를 추출한 날짜 중 연도 2020
{extension} 아웃풋 파일 확장자 .csv 혹은 .parquet
{job_timestamp} ETL 작업이 시작된 시간 신규 파일을 매일 생성하기를 원하는 경우 사용 (예를 들어 해당 작업에서 가져온 모든 날짜의 각 실행마다 새 폴더를 사용) 2020-03-20-16-12-34
{job_date} ETL 작업이 시작된 날짜 {job_timestamp}와 유사하나 전체 타임스탬프 대신 날짜만 포함 2020-03-20