Snowflake ETL 연동

Singular의 Snowflake ETL 연동을 통해 Singular에서 자동으로 데이터를 추출해서 Snowflake 데이터베이스로 보낼 수 있습니다. 고객사의 계정에 ETL 기능이 활성화되어 있다면, 다음 가이드를 따라 연동을 설정할 수 있습니다.

Singular의 ETL에서 제공하는 기본 정보에 대해서는 Singular ETL FAQ를 참조하세요.

설정 가이드

1. 어드민 계정으로 로그인

우선 어드민 액세스 유저로 로그인했는지 확인하세요. 기본 롤이 ACCOUNTADMIN이 아닌 경우 다음 커맨드를 사용해서 변경하세요.

USE ROLE ACCOUNTADMIN;

2. Snowflake 웨어하우스와 데이터베이스 생성

웨어하우스를 생성하려면 다음 커맨드를 실행하세요. <singular_warehouse> 부분은 원하는 이름으로 변경할 수 있습니다.

CREATE WAREHOUSE <singular_warehouse> WITH AUTO_RESUME = TRUE
     WAREHOUSE_SIZE = 'XSMALL' 
     AUTO_SUSPEND = 600;
파라미터 정의
AUTO_RESUME SQL 커맨드 실행 후 웨어하우스의 자동 재개 여부, TRUE 값으로 설정 권장
WAREHOUSE_SIZE XSMALL로 시작해서 필요시 증대하기를 권장
AUTO_SUSPEND 웨어하우스를 일시 중단하는 비활성 시간(초), 10-15분으로 설정 권장. NULL로 설정시 웨어하우스가 중단없이 실행되며 Snowflake 크레딧 소모

다음으로 아래 커맨드를 사용하여 데이터베이스를 생성합니다. <singular_database> 부분은 원하는 이름으로 변경할 수 있습니다.

CREATE DATABASE <singular_database>;

3. 데이터베이스 유저 생성

이제 Singular가 방금 생성한 웨어하우스와 데이터베이스에 접근할 수 있도록 유저를 생성해야 합니다.

먼저 신규 롤을 생성하세요.

CREATE ROLE <singular_role> COMMENT = 'Role for Singular ETL Integration';

다음으로 유저에게 웨어하우스와 데이터베이스 권한을 부여합니다.

GRANT ALL ON WAREHOUSE <singular_warehouse> TO ROLE <singular_role>;
GRANT ALL ON DATABASE <singular_database> TO ROLE <singular_role>;

마지막으로 다음처럼 유저를 생성하세요.

CREATE USER <singular_user>
  PASSWORD='<password>'
  COMMENT='User for Singular ETL Integration'
  DEFAULT_ROLE='<singular_role>'
  DEFAULT_WAREHOUSE='<singular_warehouse>';
  GRANT ROLE <singular_role>
  TO USER <singular_user>;

주의: 위 커맨드를 실행하면 Singular는 Singular 데이터만을 포함한 지정 Snowflake 웨어하우스에 접근할 수 있게 됩니다. Singular가 다른 웨어하우스를 읽거나 수정하는 권한은 포함하지 않습니다.

4. Singular 서버 IP 화이트리스팅

방화벽을 사용해서 특정 IP만 Snowflake 인스턴스에 접속할 수 있도록 허용하는 경우 다음처럼 Singular의 서버 IP를 화이트리스트에 추가하세요.

  • Snowflake 계정에 로그인 (어드민 권한 필요)
  • 필요시 ACCOUNTADMIN 롤로 변경
  • Account > Policies로 이동하고 현재 활성화된 네트워크 정책 선택
    mceclip4.png
  • Edit을 누르고 Allowed IP Addresses 아래에 아래 IP 추가
    • 54.183.135.179/32
    • 54.183.113.72/32
    • 13.52.189.144/32

5. 데이터 커넥터에 Snowflake 목적지 추가

다음 단계를 통해 Singular에서 Snowflake 데이터 커넥터를 추가할 수 있습니다.

  • Singular 계정에서 Settings > Data Connectors로 이동한 후 Add New Connector를 클릭하세요.
  • "Snowflake Destination"을 입력합니다.
  • 다음 창이 열리면 아래 내용을 입력합니다.

mceclip0.png

항목 정의
Username 3단계에서 생성한 유저네임과 암호
Password
Snowflake Account Snowflake 계정 네임, database URL에서 확인 가능.
예: URL이 https://myaccount.snowflakecomputing.com/인 경우 계정 네임은 myaccount
Warehouse Name 2단계에서 생성한 웨어하우스와 데이터베이스 네임
Database Name
Schema Name 데이터베이스 내에 Singular가 생성할 스키마 이름, 기본 설정: "singular"
Table Name Singular가 쓰기를 실행할 테이블 이름, 기본 설정: "marketing_data".
Data Schema 목적지에 불러올 데이터 스키마, ETL 데이터 스키마 참조
도움이 되었습니까?
1명 중 1명이 도움이 되었다고 했습니다.