데이터엔지니어 3

🏠 Airbnb는 어떻게 초당 100만 개의 사용자 행동 데이터를 실시간으로 처리해 개인화 서비스를 제공할까?

오늘은 친근함을 위해 반말로 테크 트렌드를 설명해보려고 해. 놀라지마~😂요즘 앱을 쓰다 보면 내가 찾는 정보나 관심 있는 상품이 딱 맞춰서 추천되는 경우 많잖아? Airbnb도 마찬가지야. 여행 숙소를 찾을 때 내가 어떤 숙소를 좋아하고, 어디를 가고 싶은지 알고 맞춤형 추천을 해줘. 내가 미국에서 뉴욕 여행가거나 샌프란시스코 여행 가려고 숙소 찾아봤을 때 내가 원하는 숙소를 기가막히게 찾아주더라~~? 근데 이런 개인화가 생각보다 쉽지 않아. 왜냐하면?사람들이 앱을 이용하는 방식이 제각각이야. (숙소 10개 보고 하루 쉬었다가 다시 와서 3개 찜하고 결국 하나 예약!)행동 데이터가 여러 시스템에 흩어져 있어. (검색, 클릭, 예약, 찜하기 등)빠른 반응이 필요해. 내가 파리 숙소를 검색했는데 아직 교토..

IT/테크 트렌드 2025.04.24

IBM Data Engineering - 2주차: Overview of the Data Engineering Ecosystem

용어 Data: Information that is collected from various sources, like databases, spreadsheets, emails, photos, videos, and social media. Data Repositories: Places where data is stored, like databases, data warehouses, and data lakes. Data Integration: Combining data from different sources into a single view so that it can be easily accessed and used. Data Pipelines: Tools and processes that help mov..

📖데이터 품질의 비밀 Ch1. 지금, 데이터 품질에 주목해야 하는 이유

데이터 품질의 비밀: 데이터 신뢰를 쌓는 데이터옵스의 핵심과 엔드 투 엔드 단계별 가이드 1.1 데이터 품질이란? 1.2 데이터 품질의 현재 1.3 마치며 Preview 데이터 품질에 주목해야 하는 이유 살펴보기 아키텍처 및 기술 동향이 전반적인 거버넌스 및 신뢰성에 어떤 영향을 주고 있는지 설명하기 🍋데이터 다운타임🍋 사이트 신뢰성 엔진어링 팀의 초창기로 거슬러 올라가, 동일한 데브옵스 원칙을 어덯게 데이터 엔지니어링 워크플로우에 적용할 수 있는지 설명 🍋데이터 다운타임(data downtime): 데이터가 수집되지 않아 누락되거나 부정확하게 측정되는 등의 데이터 손실로 인해 소프트웨어 또는 서비스의 가동이 중지되는 상황 ➡ 신뢰할 수 없는 데이터가 너무 많을 때 발생 🍊비즈니스 인텔리전스: 기업의 비..