BigQuery 데이터 데스티네이션

팔로우
Avatar
Vaibhav Gupta
Updated

BigQuery 데이터 데스티네이션을 설정하면 Singular에서 자동으로 데이터를 추출해서 BigQuery 데이터베이스 웨어하우스로 보낼 수 있습니다. 데이터 데스티네이션은 프리미엄 기능입니다. (더 알아보기)

설정 가이드

1. Google 클라우드 프로젝트 선택

Google 클라우드 프로젝트를 선택하거나 생성한 후 해당 프로젝트에 BigQuery API를 활성화합니다(자세한 내용은 Google의 문서를 참조하세요).

사용할 프로젝트 ID를 저장해두세요.

mceclip0.png

주의: 아래 지침을 따르면 Google 클라우드 프로젝트의 모든 데이터셋에 Singular 접근이 부여됩니다. Singular는 사용할 데이터셋만 사용하지만, 혹시 접근 권한의 제어를 원하는 경우 Singular를 위한 지정 프로젝트 생성을 고려해 주세요.

2. 접근 권한 부여

Singular는 Google 클라우드 컴퓨트 서비스 계정을 통해 BigQuery에 데이터를 불러오며, 다음 두 가지 방법을 지원합니다.

옵션 #1: 서비스 계정 생성 (권장 사항)

  • Google 클라우드 플랫폼에서 IAM & Admin > Service Accounts로 이동 후 Create Service Account를 클릭하세요.

  • name, ID, description을 입력한 후 Create를 클릭합니다.

    mceclip4.png

  • Service Account Permissions 창에서 신규 어카운트에 다음 권한을 부여합니다.
    • BigQuery Data Owner - Singular가 데이터셋과 테이블을 생성하고 관리할 수 있습니다.

    • BigQuery Job User - Singular가 작업을 데이터셋으로 불러올 수 있습니다.

      mceclip5.png

  • 계정에 JSON 키를 생성하려면 Create Key를 클릭하고 JSON key type을 선택 후  Create를 누르세요.

    mceclip6.png

  • 3단계에서 Singular에 해당 파일을 업로드할 수 있도록 키 파일을 다운로드하고 안전한 장소에 저장합니다.

옵션 #2: Singular의 기존 서비스 계정에 액세스 권한 부여

  • Google 클라우드 플랫폼에서 IAM & Admin > IAM으로 이동 후 Add를 클릭하세요.
  • "singular-etl@singular-etl.iam.gserviceaccount.com"을 입력하고 다음 롤을 추가합니다.
    • BigQuery Data Owner - Singular가 데이터셋과 테이블을 생성하고 관리할 수 있습니다.

    • BigQuery Job User - Singular가 작업을 데이터셋으로 불러올 수 있습니다.

      mceclip1.png

3. BigQuery 데이터 데스티네이션 추가

다음 단계를 통해 Singular에서 BigQuery 데이터 데스티네이션을 추가할 수 있습니다.

  • Singular 계정에서 Settings > Data destinations로 이동한 후 Add New destination을 클릭하세요.
  • 집계 마케팅 데이터 추출을 위해서는 "BigQuery Destination"을, 유저 레벨 데이터 추출을 위해서는 "BigQuery User-Level Destination"을 입력합니다.

    • 다음 창이 열리면 아래 내용을 입력합니다.

      mceclip0.png

항목 정의
Service Account Type 2단계에서 선택한 계정 타입에 맞게 선택 (사용자 생성: user created 혹은 기존 서비스 계정: pre-made)
Credentials File 2단계에서 생성한 파일 업로드, 기존 서비스 계정(pre-made)을 선택한 경우 선택지가 나타나지 않음
Project ID 1단계의 프로젝트 ID
Dataset Name Singular가 쓰기를 실행할 데이터셋 이름, 기본 설정: "singular". 데이터셋이 아직 생성되지 않은 경우에는 생성됨
Table Name Singular가 쓰기를 실행할 테이블 이름 입력, 기본 설정: "marketing_data_raw". 테이블이 아직 생성되지 않은 경우에는 생성됨
View Name Singular가 생성할 뷰 이름 입력, 기본 설정: "marketing_data"
Dataset Location BigQuery 데이터셋 위치 설정 (BigQuery 기본 설정: US)
Data Schema 목적지에 불러올 데이터 스키마, 자세한 내용은 데이터 데스티네이션: 집계 마케팅 데이터 스키마와 데이터 데스티네이션: 유저 레벨 데이터 스키마를 참조하세요.

주의: Singular는 테이블과 뷰 모두를 생성합니다.

  • 테이블은 Singular의 로우 데이터를 포함하며, 날짜 별로 파티션이 나뉩니다. 테이블은 "query_timestamp" 행으로 구분되는 데이터의 복수 복사본을 포함할 수 있습니다.
  • 뷰는 로우 테이블을 기반으로 생성되며 중복 데이터를 제거하고 최신 정보를 필터링합니다.

 특별한 목적이 아닌 경우 테이블 대신 뷰를 쿼리하세요.