📖데이터 품질의 비밀 Ch1. 지금, 데이터 품질에 주목해야 하는 이유

데이터 품질의 비밀: 데이터 신뢰를 쌓는 데이터옵스의 핵심과 엔드 투 엔드 단계별 가이드

1.1 데이터 품질이란?
1.2 데이터 품질의 현재
1.3 마치며

 

Preview

데이터 품질에 주목해야 하는 이유 살펴보기
아키텍처 및 기술 동향이 전반적인 거버넌스 및 신뢰성에 어떤 영향을 주고 있는지 설명하기
🍋데이터 다운타임🍋
사이트 신뢰성 엔진어링 팀의 초창기로 거슬러 올라가,
동일한 데브옵스 원칙을 어덯게 데이터 엔지니어링 워크플로우에 적용할 수 있는지 설명

 

 

 

---

🍋데이터 다운타임(data downtime): 데이터가 수집되지 않아 누락되거나 부정확하게 측정되는 등의 데이터 손실로 인해 소프트웨어 또는 서비스의 가동이 중지되는 상황

➡ 신뢰할 수 없는 데이터가 너무 많을 때 발생

🍊비즈니스 인텔리전스: 기업의 비전이나 목표를 달성하기 위해 효과적으로 비즈니스 전략을 지원하고, 각 조직의 구성원들이 적시에 의사 결정을 할 수 있도록 돕는 정보 체계

🍋프로덕션 데이터(data in production): 소스 시스템의 데이터, 고객관리 시스템이나 콘텐츠 관리 프로그램과 같은 데이터 소스로부터 수집되어 데이터 레이크 등의 저장 공간에 쌓인 데이터

➡ 적재된 데이터는 구축되 파이프라인을 통해 사용자들에 의해 가공되어 다양한 형태로 쓰일 수 있음

🍋데이터 파이프라인 구성: 배치 및 스트리밍 형태

🍋다운타임: 가동 중지 시간

🍋업타임: 정상적으로 수행되는 시간

 

저품질 데이터는 잘못된 정보가 담긴 '나쁜 데이터(bad data)'와 다른 개념

---

 

1.1 데이터 품질이란?

🍋데이터 품질(data quality): 데이터가 비즈니스 요구 사항을 충족하고 있는지 확인할 수 있는 가장 강력한 요소

신뢰성(reliability), 완전성(completeness), 정확성(accuracy)을 측정하는 기능적인 측면부터 구체화됨

데이터 품질은 데이터 파이프라인의 모든 단계뿐 아니라 데이터 수집 전이나 운영 중 또는 분석 중에도 영향을 미침

 

1.2 데이터 품질의 현재

🍋데브옵스의 목표: 개발과 운영의 원활한 소통과 효율화로 보다 안정적이고 탁월한 성능의 소프트웨어를 출시하는 것

🍋데이터옵스(DataOps): 데이터 관리의 자동화를 통해 데이터의 안정성과 성능을 개선하고, 데이터 사일로를 줄이며 데이터 분석 속도를 높이고 오류를 감소시키는 프로세스

🍊사일로: 각 조직 단위 또는 목적별로 IT 인프라를 도입 및 구축해 사용함으로써 부서, 사업, 솔루션별로 데이터가 고립되어 전사 관점의 의사 결정을 막는 현상

 

⬇⬇⬇데이터 품질을 더 추구하게 된 이유, 데이터옵스의 확산 및 데이터 품질의 향상이 화두가 된 이유⬇⬇⬇

1.2.1 데이터 다운타임 증가

클라우드 마이그레이션

🍊교차 기능 조직: 서로 다른 부서에서 공통의 목표를 위해 구성되조직

➡현업 부서에 데이터 분석가나 데이터 과학자가 포함되거나 데이터 조직 내에 엔진어와 현업을 이해하고 있는 구성원이 참여하는 사례가 확대됨

 

기업의 IT 환경과 데이터가 클라우드로 이동함에 따라 데이터 기반 의사 결정과 높은 수준의 데이터 품질 관리가 비즈니스의 우선순위가 됨

 

더 많은 소스들

오늘날 각 기업에서는 많게는 수백 개에 이르는 데이터 소스를 통해 머신러닝 모델링 및 분석 진행

데이터 소스들 중 하나라도 예기치 못하게 변동되거나 이슈가 발생한다면 비즈니스 의사 결정에 사용되는 데이터에도 손상이 생길 수 있음

 

데이터 파이프라인의 복잡성 증가

데이터 소스의 증가, 이종 데이터 간 결합, 경영진의 데이터 사용 증가 등으로 인해 처리과정이 늘어나고 데이터 간 사소하지 않은 종속성(서비스가 점점 더 고도화되면서 특정 행위에서 생성된 데이터가 다른 데이터에도 영향을 주는 종속관계가 넓어지고 깊어짐)이 커지는 등 데이터 파이프라인은 점점 더 복잡해지고 있음

이러한 데이터 종속성을 정확히 파악하지 않으면 특정 데이터셋을 변경했을 때, 이에 종속되 또 다른 데이터셋의 정확성에 의도치 않은 결과가 나타날 수 있음

 

데이터 조직의 전문성 강화

기업이 기본적인 비즈니스 운영뿐 아니라 서비스 및 프로덕트 강화를 위하여 더 많은 데이터 엔지니어와 분석가, 데이터 과학자를 고용하고 데이터 파이프라인과 분석 환경을 구축, 유지, 관리하고 있음

데이터가 점점 더 비즈니스의 기반이 됨에 따라 데이터 조직은 더 확장됨

데이터 거버넌스 리더, 데이터 스튜어드, 운영 분석가와 같은 역할도 생겨남

대규모로 뎅터 조직을 꾸릴 자원이 부족한 경우 분석-엔지니어와 같은 하이브리드 직무가 활용되기도 함

😡단점: 이렇게 역할을 나누어 데이터를 다루면 의사소통에 문제가 생기거나 요건 조율이 충분히 되지 않는 경우가 불가피하게 발생하여 복잡한 시스템에 다운타임을 일으킬 수 있음

 

분산된 데이터 조직

모놀리식(monolithic)에서 마이크로서비스 아키텍처(microservice architecture)로 변화하는 흐름과 유사

🍋분산된 아키텍처: 중앙의 플랫폼 조직에서는 데이터를 관리하고, 비즈니스 전반의 데이터 분석 기능이나 데이터 과학자들은 분산시키는 구조

🍋데이터 메시: 분산 도메인 지향 데이터 아키텍처 (분산되 아키텍처랑은 다른 개념)

분산되 데이터 아키텍처는 회사 내의 여러 곳에서 데이터를 생성하고 활용하므로 시간이 지남에 따라 부서에서 사용하는 데이터셋이 중복 혹은 누락되거나 상이해지는 현상이 생길 수밖에 없음

 

 

1.2.2 데이터 산업 동향

데이터 메시

https://www.montecarlodata.com/blog-what-is-a-data-mesh-and-how-not-to-mesh-it-up/

마이크로서비스 아키텍처의 데이터 플랫폼 버전

마크 데가니의 정의:

🍋데이터 메시는 일종의 사회 기술적 시스템 패러다임으로, 사용자가 복잡해지는 아키텍처 및 솔루션과 상호작용할 수 있도록 함

도메인 지향 분산형 아키텍처로 셀프 서비스 설계를 활용하여 도메인별로 데이터가 편재성을 갖도록 함

🍊데이터 편재성: 도메인별로 데이터가 퍼져 있는 현상

에릭 에반스의 도메인 주도 설계 이론: 유연하고 확장성 높은 소프트웨어 개발 접근법을 포함, 코드의 구조와 사용된 언어와 비즈니스 도메인은 상응

 

🍋기존 모놀리식 데이터 인프라: 중앙 집중형 데이터 레이크에서 소비, 저장, 변환, 출력을 처리

🍋프로덕트형 데이터 관점(data-as-a-product): 분산된 도메인별로 데이터 소비자가 활용할 수 있도록 철하고 지원

➡범용적 상호운용성 레이어를 통해 데이터에 동일한 표준 적용, 개별 도메인과 데이터가 연결될 수 있도록 함

 

데이터 메시는 데이터를 프로덕트로 제공할 책임이 있는 도메인 이해관계자들이 데이터 소유권을 공유할 수 있게 하는 동시에, 도메인 내외의 분산된 데이터 간의 커뮤니케이션을 원활하게 함

 

🍋데이터 인프라: 각 도메인에 데이터 철에 필요한 솔루션을 제공하는 역할

🍋도메인: 데이터의 수집, 정제, 집계를 관리하며, 해당 데이터는 비즈니스 인텔리전스 애플리케이션에 사용될 수 있는 자산이 됨

각 도메인은 각각의 파이프라인을 소유할 책임이 있음

도메인이 보유한 일련의 기능: 원시 데이터를 저장하고 카탈로그화하며 유지 관리하고 접근 권한을 관리하는 것

➡특정 도메인에 데이터가 제공되어 데이터가 변환되면 도메인 소유자는 분석이든, 운영이든 필요에 따라 데이터 활용 가능

https://learn.microsoft.com/ko-kr/azure/cloud-adoption-framework/scenarios/cloud-scale-analytics/architectures/operationalize-data-mesh-for-ai-ml

데이터 메시 패러다임은 데이터를 신뢰할 수 있으며, '범용적 상호운용성'이 도메인 간에 적용될 때에만 성공적일 수 있음

데이터를 신뢰할 수 있는 유일한 방법: 테스트, 모니터링

 

스트리밍 데이터

🍋스트리밍 데이터: 비즈니스 의사 결정에 즉시 적용할 수 있는 인사이트를 도출하기 위해 데이터를 실시간으로 흐르게 하는 것

전통적인 데이터 품질 분석: 배치 데이터에 한하여 파이프라인 유입 시 이루어짐

스트리밍 데이터에는 더욱 빠른 인사이트 도출을 끌어내는 잠재력이 있지만, '움직이고 살아있는 것'이기 때문에 데이터 품질과 관련하여 또 다른 과제가 됨

실시간 분석에 대한 기업의 요구가 커지고 있는 상황->배치와 스트리밍 처리 모두 채택하고 있음

 

데이터 레이크하우스의 등장

🍋데이터 레이크하우스(Data Lakehouse): 데이터 웨어하우스와 레이크 형태의 장점을 결합한 것

🍋데이터 웨어하우스: 구조화되 데이터 저장소

🍋데이터 레이크: 자유도가 높음

모두 고품질 데이터 필요

점점 더 많은 데이터 조직이 증가하는 비즈니스 요구 사항을 소화하기 위해 데이터 웨어하우스와 데이터 레이크를 둘 다 사용하고 있음

레이크로 마이그레이션 한다는 것: 데이터 파이프라인이 점점 더 복잡해지고 있음을 시사

다수의 스토리지에 데이터를 마이그레이션하고 레이어를 각각 처리하는 사용자들도 있음, 다만, 이런 경우 충분한 테스트를 거쳤더라도 데이터 다운타임이 발생할 여지가 커짐

 

 

1.3 마치며

🦈클라우드, 분산형 데이터 아키텍처, 데이터 전담 조직의 등장과 함께 데이터의 솔루션화가 일어나면서 기업에서는 데이터 조직 리더들에게 신뢰할 수 있는(신뢰도 높은 분석을 유도하는) 데이터를 확보하도록 요구하고 있음

🦈데이터 품질을 개선하려면 기술적인 측면뿐 아니라 거버넌스와 조직 문화 같은 다른 많은 영역 고려해야 함

 

🍒목표: 원활한 데이터 파이프라인을 구축하기 위한 다양한 기술들을 다루며 양질의 프레임워크를 구축하고, 이를 기반으로 조직 내 커뮤니케이션과 (데이터) 전달을 원할하게 만드는 것, (+)데이터 다운타임 방지

 

---

참고 사이트

🔎데이터 품질 개선을 위한 비즈니스 사례 개발: https://oreil.ly/FF8kC 

How To Create A Business Case For Data Quality Improvement

🔎데이터 품질 투자 성과를 증명하는 데이터 성능 관리: https://oreil.ly/HEpED 

Data Performance Management Is Essential To Prove Data’... | Forrester

🔎인튜이트의 데이터 여정: https://oreil.ly/NhMtB 

The Intuit Data Journey

🔎에어비앤비가 다루는 데이터 품질: https://oreil.ly/fbHlY 

Data Quality at Airbnb

🔎우버의 대규모 데이터 품지 모니터링: https://www.uber.com/enKR/blog/monitoring-data-quality-at-scale/ 

🔎넷플릭스 스트리밍 데이터 인프라스트럭처 모니터링하고 트레이싱 하기: https://www.infoq.com/presentations/netflix-streaming-data-infrastructure/

Monitoring and Tracing @Netflix Streaming Data Infrastructure

🔎데이터 메시 원칙과 이론적인 아키텍처: https://oreil.ly/Vga7I 

Data Mesh Principles and Logical Architecture

🔎인튜이트의 데이터 여정: https://oreil.ly/oxTyk 

The Intuit Data Journey

🔎JP모건 체이스의 데이터 메시 아키텍처: https://oreil.ly/Tga4W 

How JPMorgan Chase built a data mesh architecture to drive significant value to enhance their enterprise data platform | Amazon

🔎데이터 메시에 관해 꼭 하고픈 말: https://oreil.ly/rcFTp 

The Last Thing I'll Ever Say About the Data Mesh

 

#E0F8F1

#EFFBF8