Google Cloud Service 데이터 데스티네이션을 추가하면 Singular에서 자동으로 데이터를 추출해서 GCS로 보낼 수 있습니다. 데이터 데스티네이션은 프리미엄 기능입니다. (더 알아보기)
설정 가이드
1. 서비스 계정 준비
옵션 A: 신규 서비스 계정 생성 (권장 사항)
- Google Cloud platform에서 IAM & Admin > Service Accounts 로 이동한 후 Create Service Account를 클릭합니다.
- 서비스 계정의 name, ID, description을 입력한 후 Create를 클릭합니다.
- Create Key를 클릭하고 Key Type 아래에 "JSON"을 선택한 후 Create를 클릭해서 계정을 위한 JSON 키를 생성합니다.
- 파일을 다운로드해서 3단계에서 해당 파일을 Singular에 업로드하기 위해 보관합니다.
옵션 B: Singular의 서비스 계정 사용
Singular가 미리 준비한 기존 계정인 singular-etl@singular-etl.iam.gserviceaccount.com을 사용할 수도 있습니다. 이를 위해서는 3단계의 설명을 따라 이 계정에 필요 권한을 부여해야 합니다.
2. 신규 버켓 생성
다음 단계를 따라 버켓을 생성합니다.
- Google Cloud Platform 대시보드에서 Storage 섹션으로 이동하여 Create Bucket.를 클릭하세요.
- 버켓 이름을 선택하세요. 예시처럼 Singular의 데이터 데스티네이션 (ETL)을 위한 이름임을 인식할 수 있도록 명명하기를 권장합니다.
- Choose where to store your data 아래에서 원하는 위치를 선택하세요. 선호하는 위치가 없는 경우 기본값인 "Multi-region"나 "us"의 사용을 권장합니다.
- Choose a default storage class for your data 아래에서 select "Standard"를 선택합니다(하루에 여러 번 데이터가 엑세스될 수 있습니다.)
- Choose how to control access to objects 아래에서 "Fine-grained"를 선택하세요.
- Advanced Settings 아래에서 기본 옵션을 수정하지 않은 채로 Create를 클릭합니다.
3. 권한 부여
버켓 생성 이후 다음 단계를 따릅니다.
- Permissions 탭으로 이동한 후 Add members를 클릭하세요.
- Singular의 기존 GCS 계정을 사용하는 경우 singular-etl@singular-etl.iam.gserviceaccount.com 이메일 주소를 입력하세요. 혹은 2단계에서 생성한 고객사의 계정을 사용하세요.
- Add members and roles 아래의 Role에서 "Storage Object Admin"를 선택합니다. 이것으로 Singular에 파일 쓰기와 삭제 및 버켓 내의 파일 확인 권한을 부여합니다.
4. GCS 데이터 데스티네이션 추가
마지막으로 Singular에 데이터 데스티네이션을 추가합니다.
- Singular 계정에서 Settings > Data Destinations로 이동한 후 Add a new destination를 클릭하세요.
- 집계 마케팅 데이터 추출을 위해서는 "GCS Destination"을, 유저 레벨 데이터 추출을 위해서는 "GCS User-Level Destination"을 입력합니다.
- 창이 열리면 세부 정보를 추가합니다.
항목 | 정의 |
Bucket Name | 2단계의 버켓 이름 |
Service Account Type | 1단계에 기반하여 적합한 서비스 계정 타입(user created: 고객사가 생성한 계정 혹은 Singular's pre-made: Singular 기존 계정) 선택 |
Credentials File | 1단계에서 생성한 파일 업로드, Singular 기존 계정인 Singular's pre-made 서비스 계정을 선택한 경우 나타나지 않음 |
Output File Format | "CSV" 혹은 "Parquet" 중 하나의 아웃풋 형식을 선택 |
Data Schema | 목적지에 불러올 데이터 스키마, 자세한 내용은 데이터 데스티네이션: 집계 마케팅 데이터 스키마와 데이터 데스티네이션: 유저 레벨 데이터 스키마를 참조하세요. |
Output Key Pattern | 생성한 파일 이름의 형식, 사용 가능한 플레이스홀더는 아래 표 참조 |
Singular는 자동으로 값이 채워지는 여러 플레이스홀더(매크로)를 지원합니다.
플레이스홀더 | 정의 | 예시 |
{date} | Singular에서 데이터를 추출한 날짜 | 2020-03-19 |
{day} | Singular에서 데이터를 추출한 날짜 중 일 (0 채워짐, 예: 01) | 19 |
{month} | Singular에서 데이터를 추출한 날짜 중 월 | 03 |
{year} | Singular에서 데이터를 추출한 날짜 중 연도 | 2020 |
{extension} | 아웃풋 파일 확장자 | .csv 혹은 .parquet |
{job_timestamp} | ETL 작업이 시작된 시간 신규 파일을 매일 생성하기를 원하는 경우 사용 (예를 들어 해당 작업에서 가져온 모든 날짜의 각 실행마다 새 폴더를 사용) | 2020-03-20-16-12-34 |
{job_date} | ETL 작업이 시작된 날짜 {job_timestamp}와 유사하나 전체 타임스탬프 대신 날짜만 포함 | 2020-03-20 |