تبار داده

Data Lineage نشان می‌دهد داده از چه منبعی آمده، چه تبدیل‌هایی روی آن انجام شده و در نهایت به کدام جدول، داشبورد یا مدل رسیده است.

یک سناریوی واقعی

اگر عدد فروش در داشبورد نادرست باشد، Lineage کمک می‌کند مسیر آن را از گزارش تا Pipeline و جدول مبدا دنبال کنیم.

در سیستم‌های بزرگ ثبت Lineage ستون و جدول با دقت‌های متفاوت ممکن است. به‌روز ماندن Metadata اهمیت دارد.

برای تکمیل بحث، ارتباط این مفهوم را با حاکمیت داده و کیفیت داده بررسی کنید.

مثال خط جریان داده

payments DB -> CDC -> message stream -> ETL -> warehouse
                                  |-> monitoring and audit

Data Lineage نشان می‌دهد خروجی گزارش از چه منابع و تبدیل‌هایی ساخته شده است. وقتی عدد فروش اشتباه شد، تبار داده کمک می‌کند علت را از منبع تا داشبورد دنبال کنیم.