BigQuery 데이터 데스티네이션

팔로우
Avatar
Vaibhav Gupta
Updated

BigQuery 데이터 데스티네이션을 설정하면 Singular에서 자동으로 데이터를 추출해서 BigQuery 데이터베이스 웨어하우스로 보낼 수 있습니다. 데이터 데스티네이션은 프리미엄 기능입니다. (더 알아보기)

 

Best Practices

다음과 같은 BigQuery 모범 사례를 권장합니다:

  1. BigQuery 계정을 구성하는 동안 Owner role을 만듭니다.
  2. 프로젝트에서 BigQuery API 와 BigQuery Data Transfer API를사용 설정합니다.
  3. 스키마를 구성할 때 테이블 이름은 각각 다르게 설정해야 하지만  Service Account, Project ID 와 JSON Key는 동일하게 사용하세요.
  4.  Dataset 과 Tables 명을 지정할 때는 특수문자나 공백 없이 설정해주세요. UI 에서   "Invalid Credentials" 오류가 발생할 수 있습니다.  (내부적으로는 “Invalid table ID” 오류).
  5. BigQuery 타임스탬프는 UTC 기준입니다. Singular 리포트와 비교할 때는 쿼리에서 시간대 변환은 적용해야 합니다.

설정 가이드

1. Google 클라우드 프로젝트 선택

Google 클라우드 프로젝트를 선택하거나 생성한 후 해당 프로젝트에 BigQuery API를 활성화합니다(자세한 내용은 Google의 문서를 참조하세요).

사용할 프로젝트 ID를 저장해두세요.

mceclip0.png

주의: 아래 지침에 따라  Google 클라우드 프로젝트의 모든 Dataset에 Singular 접근을 부여합니다. Singular는 자체 Dataset만 사용하지만, 보다 제어된 접근을  원하는 경우 Singular 전용 프로젝트를 만드는 것이 좋습니다.

2. 접근 권한 부여

Singular는 Google 클라우드 컴퓨트 서비스 계정을 통해 BigQuery에 데이터를 불러오며, 다음 두 가지 방법을 지원합니다.

옵션 #1: 서비스 계정 생성 (권장 사항)

  • Google 클라우드 플랫폼에서 IAM & Admin > Service Accounts로 이동 후 Create Service Account를 클릭하세요.

  • name, ID, description을 입력한 후 Create를 클릭합니다.

    mceclip4.png

  • Service Account Permissions 창에서 신규 어카운트에 다음 권한을 부여합니다.
    • BigQuery Data Owner - Singular가 데이터셋과 테이블을 생성하고 관리할 수 있습니다.

    • BigQuery Job User - Singular가 작업을 데이터셋으로 불러올 수 있습니다.

      mceclip5.png

  • 계정에 JSON 키를 생성하려면 Create Key를 클릭하고 JSON key type을 선택 후  Create를 누르세요.

    mceclip6.png

  • 3단계에서 Singular에 해당 파일을 업로드할 수 있도록 키 파일을 다운로드하고 안전한 장소에 저장합니다.

옵션 #2: Singular의 기존 서비스 계정에 액세스 권한 부여

  • Google 클라우드 플랫폼에서 IAM & Admin > IAM으로 이동 후 Add를 클릭하세요.
  • "singular-etl@singular-etl.iam.gserviceaccount.com"을 입력하고 다음 롤을 추가합니다.
    • BigQuery Data Owner - Singular가 데이터셋과 테이블을 생성하고 관리할 수 있습니다.

    • BigQuery Job User - Singular가 작업을 데이터셋으로 불러올 수 있습니다.

      mceclip1.png

3. BigQuery 데이터 데스티네이션 추가

다음 단계를 통해 Singular에서 BigQuery 데이터 데스티네이션을 추가할 수 있습니다.

  • Singular 계정에서 Settings > Data destinations로 이동한 후 Add New destination을 클릭하세요.
  • 집계 마케팅 데이터 추출을 위해서는 "BigQuery Destination"을, 유저 레벨 데이터 추출을 위해서는 "BigQuery User-Level Destination"을 입력합니다.

    • 다음 창이 열리면 아래 내용을 입력합니다.

      mceclip1.png

항목 정의
Service Account Type 2단계에서 선택한 계정 타입에 맞게 선택 (사용자 생성: user created 혹은 기존 서비스 계정: pre-made)
Credentials File 2단계에서 생성한 파일 업로드, 기존 서비스 계정(pre-made)을 선택한 경우 선택지가 나타나지 않음
Project ID 1단계의 프로젝트 ID
Dataset Name Singular가 쓰기를 실행할 데이터셋 이름, 기본 설정: "singular". 데이터셋이 아직 생성되지 않은 경우에는 생성됨
Table Name Singular가 쓰기를 실행할 테이블 이름 입력, 기본 설정: "marketing_data_raw". 테이블이 아직 생성되지 않은 경우에는 생성됨
Dataset Location BigQuery 데이터셋 위치 설정 (BigQuery 기본 설정: US)
Data Schema 목적지에 불러올 데이터 스키마, 자세한 내용은 데이터 데스티네이션: 집계 마케팅 데이터 스키마와 데이터 데스티네이션: 유저 레벨 데이터 스키마를 참조하세요.