خط لوله داده

Data Pipeline مجموعه مراحل خودکار برای دریافت، انتقال، تبدیل، اعتبارسنجی و تحویل داده است. نمونه آن انتقال تراکنش‌ها از پایگاه عملیاتی به انبار داده است.

Pipeline قابل‌اعتماد باید خطاها را ثبت کند، Retry و اجرای مجدد داشته باشد و از پردازش تکراری جلوگیری کند.

Data Pipeline فروش می‌تواند سفارش‌ها را هر ساعت استخراج، اعتبارسنجی و بارگذاری کند. اگر یک مرحله شکست بخورد باید بتوان فقط بخش ناموفق را با کنترل تکرار اجرا کرد.

درک تفاوت این موضوع با پردازش تراکنش‌های برخط و پردازش تحلیلی برخط به انتخاب راهکار مناسب‌تر کمک می‌کند.

نمونه مراحل خط لوله داده

Source DB -> CDC -> Queue -> Validation -> Warehouse -> Dashboard

در خط لوله واقعی باید رفتار با داده تکراری، Schema Drift، شکست پردازش و زمان‌بندی Backfill روشن باشد. عبور داده از چند ابزار لزوماً تضمین کیفیت نمی‌دهد.

برای تکمیل این بحث، صفحه دیتا اینتنسیو را نیز ببینید.