Data Engineering طراحی و نگهداری سامانههایی است که داده را جمعآوری، منتقل، تبدیل، ذخیره و در دسترس مصرفکنندگان قرار میدهند. کیفیت داده، زمانبندی و قابلیت بازیابی بخش مهمی از این کار هستند.
نحوه استفاده در عمل
یک تیم مهندسی داده میتواند رویدادهای خرید را از صف پیام دریافت کند، دادهها را پاکسازی و برای تحلیل در Data Warehouse ذخیره کند.
مهندسی داده با Data Science مرتبط است اما یکسان نیست. بدون Pipeline قابلاعتماد، حتی بهترین تحلیلها نیز بر داده نامطمئن تکیه میکنند.
در همین واژهنامه، پردازش تراکنشهای برخط و پردازش تحلیلی برخط از مفاهیم مرتبط هستند.
مهندسی داده در مقابل علم داده
Data Engineering زیرساخت و مسیر انتقال داده قابل اعتماد را میسازد. Data Science معمولاً روی تحلیل، فرضیه و مدل تمرکز دارد. در پروژه واقعی قرارداد داده و کیفیت ورودی، این دو تیم را به هم وابسته میکند.