BigQuery ETL 연동

Singular의 BigQuery ETL 연동을 통해 Singular에서 자동으로 데이터를 추출해서 BigQuery 데이터베이스 웨어하우스로 보낼 수 있습니다. 고객사의 계정에 ETL 기능이 활성화되어 있다면, 다음 가이드를 따라 연동을 설정할 수 있습니다.

Singular의 ETL에서 제공하는 기본 정보에 대해서는 Singular ETL FAQ를 참조하세요.

설정 가이드

1. Google 클라우드 프로젝트 선택

Google 클라우드 프로젝트를 선택하거나 생성한 후 해당 프로젝트에 BigQuery API를 활성화합니다(자세한 내용은 Google의 문서를 참조하세요).

사용할 프로젝트 ID를 저장해두세요.

mceclip0.png

주의: 아래 지침을 따르면 Google 클라우드 프로젝트의 모든 데이터셋에 Singular 접근이 부여됩니다. Singular는 사용할 데이터셋만 사용하지만, 혹시 접근 권한의 제어를 원하는 경우 Singular를 위한 지정 프로젝트 생성을 고려해 주세요.

2. 접근 권한 부여

Singular는 Google 클라우드 컴퓨트 서비스 계정을 통해 BigQuery에 데이터를 불러오며, 다음 두 가지 방법을 지원합니다.

옵션 #1: 서비스 계정 생성 (권장 사항)

  • Google 클라우드 플랫폼에서 IAM & Admin > Service Accounts로 이동 후 Create Service Account를 클릭하세요.
  • name, ID, description을 입력한 후 Create를 클릭합니다.

    mceclip4.png

  • Service Account Permissions 창에서 신규 어카운트에 다음 권한을 부여합니다.
    • BigQuery Data Owner - Singular가 데이터셋과 테이블을 생성하고 관리할 수 있습니다.
    • BigQuery Job User - Singular가 작업을 데이터셋으로 불러올 수 있습니다.

      mceclip5.png

  • 계정에 JSON 키를 생성하려면 Create Key를 클릭하고 JSON key type을 선택 후  Create를 누르세요.

    mceclip6.png

  • 3단계에서 Singular에 해당 파일을 업로드할 수 있도록 키 파일을 다운로드하고 안전한 장소에 저장합니다.

옵션 #2: Singular의 기존 서비스 계정에 액세스 권한 부여

  • Google 클라우드 플랫폼에서 IAM & Admin > IAM으로 이동 후 Add를 클릭하세요.
  • "singular-etl@singular-etl.iam.gserviceaccount.com"을 입력하고 다음 롤을 추가합니다.
    • BigQuery Data Owner - Singular가 데이터셋과 테이블을 생성하고 관리할 수 있습니다.
    • BigQuery Job User - Singular가 작업을 데이터셋으로 불러올 수 있습니다.

      mceclip1.png

3. 데이터 커넥터에 BigQuery 목적지 추가

다음 단계를 통해 Singular에서 BigQuery 데이터 커넥터를 추가할 수 있습니다.

  • Singular 계정에서 Settings > Data Connectors로 이동한 후 Add New Connector를 클릭하세요.
  • "BigQuery Destination"을 입력합니다.
    • 다음 창이 열리면 아래 내용을 입력합니다.

      mceclip0.png

항목 정의
Service Account Type 2단계에서 선택한 계정 타입에 맞게 선택 (사용자 생성: user created 혹은 기존 서비스 계정: pre-made)
Credentials File 2단계에서 생성한 파일 업로드, 기존 서비스 계정(pre-made)을 선택한 경우 선택지가 나타나지 않음
Project ID 1단계의 프로젝트 ID
Dataset Name Singular가 쓰기를 실행할 데이터셋 이름, 기본 설정: "singular". 데이터셋이 아직 생성되지 않은 경우에는 생성됨
Table Name Singular가 쓰기를 실행할 테이블 이름 입력, 기본 설정: "marketing_data_raw". 테이블이 아직 생성되지 않은 경우에는 생성됨
View Name Singular가 생성할 뷰 이름 입력, 기본 설정: "marketing_data"
Dataset Location BigQuery 데이터셋 위치 설정 (BigQuery 기본 설정: US)
Data Schema 목적지에 불러올 데이터 스키마, ETL 데이터 스키마 참조

주의: Singular는 테이블과 뷰 모두를 생성합니다.

  • 테이블은 Singular의 로우 데이터를 포함하며, 날짜 별로 파티션이 나뉩니다. 테이블은 "query_timestamp" 행으로 구분되는 데이터의 복수 복사본을 포함할 수 있습니다.
  • 뷰는 로우 테이블을 기반으로 생성되며 중복 데이터를 제거하고 최신 정보를 필터링합니다.

 특별한 목적이 아닌 경우 테이블 대신 뷰를 쿼리하세요.

도움이 되었습니까?
0명 중 0명이 도움이 되었다고 했습니다.