DWaaS란 무엇일까?

데이터 웨어하우스 서비스란 뭘까? (DWaaS)

• 데이터 사용이 증가하면서, 어떤 데이터 기반 시설을 선택할지가 피할 수 없는 일이 되고 있다.
• 대용량 데이터를 어떻게 처리하면 좋을지에 관해서 많은 회사들이 고민중이다.
• 회사들은 데이터를 깔끔하고 집약된 형태로 보길 원하는데, 'Structured data'라는 개념을 알아둘 필요가 있다.
• Structured Data란, 데이터베이스의 각 열에 깔끔히 데이터를 집어넣을 수 있는 것을 의미한다.

---

데이터 웨어하우스

• 데이터 웨어하우스는 보다 데이터에 기반하여 의사 결정을 내릴 수 있도록 정보를 분석하기 쉬운 형태로 저장하는 것을 의미한다.
• 트랜잭션 시스템, 관계형 데이터베이스 등이 이에 속한다.
• 정제하여 데이터베이스에 저장된 데이터는 기업의 경쟁력을 위해 필수 요소가 되고 있다.

 

https://aws.amazon.com/ko/data-warehouse/

 

데이터 웨어하우스란 무엇입니까? | 주요 개념 | Amazon Web Services

---

데이터웨어하우스 설비를 갖추는 것이 어려운 이유

• 데이터의 양이 계속 증가하면 회사로서는 storage를 증가하는 것이 부담이 된다.
• 데이터 웨어하우스를 관리하는 비용 역시 증가한다.
• 상당한 투자를 요구한다.
  • 관리를 어떤식으로 할지, 오버헤드가 증가하면 데이터처리 효율을 어떻게 높일 수 있을지 고민하는 것이다.
  • 규모가 작은 회사나, 규모가 크더라도 데이터베이스 관리에 효율성을 따져본 뒤 비용적 측면에서 DWaaS가 낫다고 판단하는 회사가 증가하고 있다.
  • Cloud based Data-Warehouse-as-a-Service (DWaaS):
    • 설치, 유지, 보안와 같은 소프트웨어와 하드웨어적 요소의 책임을 담당

---

DWaaS에서 제공하는 핵심 기능

회사에서 DWaaS를 선택하는 데 몇 가지 고려사항이 있다.

1. 데이터 웨어하우스의 설계와 성장

• 회사가 제공하는 서비스에 맞는 데이터웨어하우스의 설계가 가능한지의 여부
• Scalability의 측면도 중요한데, 이는 서비스 사용자가 늘어나게 되었을 경우 충분히 증설 가능한지를 의미한다.

 

2. Sources의 통합

• DWaaS를 선택 후에는 기존 회사에서 가지고 있는 데이터를 선택한 Data Warehouse에 이전하는 작업이 필요하다.
• 고객에의해(회사에의해) 선택된 클라우드 기반 DWaaS로 데이터를 이전하는 작업을 Sources 통합이라고 한다.
• 여기서 Sources란 회사가 기존에 가지고 있던 데이터베이스를 의미한다.

 

3. 지원(Support)

• 데이터웨어하우스 (이후 축약 DW)를 이용하다 생기는 여러 문제들(데이터 품질, 양, 데이터 제거 (CRUD 비롯 데이터의 양 증가))에 대한 지원
• 데이터 추가, 제거, ETL 이 지원에 해당 (데이터의 추가와 제거와 조금 다르므로 정확한 의미를 그릴 수 있어야 한다.)
  • Extract: 동일 기종 또는 타기종의 데이터 소스로부터 데이터를 추출한다.
  • Transform: 조회 또는 분석의 목적으로 적절한 포맷으로 저장하기 위해 데이터를 변환한다.
  • Load: 데이터 를 운영데이터웨어하우스에 적재한다.

ETL 참고 자료: https://www.matillion.com/what-is-etl-the-ultimate-guide/

What is ETL? The Ultimate Guide, Definition, & More | Matillion

 

4. 계속 발전할 수 있는지의 여부 

• 정체되어있는 것이 아니라 데이터웨어하우스의 지속적 발전이 중요하다.

 

Top Data-Warehouse-as-a-Service

1. Snowflake Data Cloud

• 인공지능을 활용한 데이터 분석 등이 강점

 

2. AWS

• Amazon Redshift
• 업계에서는 Snowflake Data Cloud가 더 높게 평가받는 중

 

3. Microsoft Azure Synapse Analytic

 

4. IBM Db2

 

5. Google BigQuery

 

 

참고기사: https://venturebeat.com/2022/08/04/what-is-data-warehouse-as-a-service-dwaas-definition-key-functions-and-solution-providers/

What is data-warehouse-as-a-service (DWaaS)? Definition, key functions and solution providers