مهندس البيانات

الأدوار والمسؤوليات

مهندس بيانات

الموقع: دبي

نبحث عن خبرة تصل إلى: 5-8 سنوات

الملخص: مطور Informatica PC وIDMC ذو خبرة تزيد عن 5 سنوات في هندسة البيانات. ماهر في تصميم خطوط أنابيب البيانات الشاملة باستخدام PC/IDMC للهجرة والتحول الفعال عبر منصات السحابة. المرشح المثالي سيكون لديه معرفة متعمقة بـ Informatica PowerCenter وIDMC. الأساس القوي في مفاهيم مستودعات البيانات والكفاءة في Snowflake وSQL أمر ضروري. لاعب فريق قوي يتمتع بخبرة سريعة، ويقدم حلول بيانات عالية التأثير في الوقت المناسب.

المهارات الفنية

الأدوات: Informatica Cloud Data Integration، Informatica PowerCenter
المستودعات: Snowflake، DataLake
البرمجة: SQL، Python، Shell Scripting
إدارة البيانات: إدارة التخزين، مراقبة الجودة، الحوكمة
النمذجة: النمذجة الأبعادية، مخطط النجمة/ندفة الثلج

الكفاءات الأساسية

تصميم وتطوير وتحسين سير عمل ETL باستخدام Informatica PowerCenter (PC) وInformatica IDMC.
إدارة عمليات استيعاب البيانات من مصادر بيانات متنوعة مثل Salesforce وقواعد بيانات Oracle وPostgreSQL وMySQL.
تنفيذ وصيانة عمليات ETL وخطوط أنابيب البيانات لضمان استخراج البيانات وتحويلها وتحميلها بكفاءة.
استخدام Snowflake كحل لمستودع البيانات لإدارة كميات كبيرة من البيانات المنظمة وغير المنظمة.
صيانة وتحسين وظائف ETL للأداء والموثوقية، وضمان توفر البيانات في الوقت المناسب لمستخدمي الأعمال.
دعم جهود نقل البيانات ودمجها وتوحيدها.
كتابة وصيانة نصوص Python الأساسية لمهام معالجة البيانات والأتمتة.
استخدام أوامر Unix shell للمهام المتعلقة بالبيانات وإدارة النظام.
استكشاف الأخطاء وإصلاحها وحل المشكلات المتعلقة بـ ETL، وضمان سلامة البيانات وتوافرها.
ضمان الالتزام بأفضل الممارسات لحوكمة البيانات والأمان.

الخبرة المهنية

مطور Informatica
طور عمليات ELT باستخدام PC/IDMC لدمج البيانات في Snowflake.
نفذ إدارة التخزين لـ Azure Blob وSnowflake، مما أدى إلى تحسين أمان البيانات.
عمل على أساس Python ولغات برمجة shell

الملف الشخصي المرغوب للمرشح

تصميم بنية البيانات:

تصميم وتطوير بنى بيانات قابلة للتطوير وفعالة وموثوقة تدعم احتياجات تخزين البيانات ومعالجتها وتحليلها.
إنشاء وصيانة مستودعات البيانات وقواعد البيانات وحلول التخزين الأخرى.
إنشاء وتحسين نماذج البيانات التي تلبي المتطلبات التحليلية والتجارية للمنظمة.
تطوير خط أنابيب البيانات:

إنشاء وصيانة خطوط أنابيب ETL (استخراج وتحويل وتحميل) لنقل البيانات من مصادر مختلفة إلى مستودعات البيانات أو قواعد البيانات أو أنظمة التخزين السحابي.
ضمان قدرة خطوط الأنابيب على التعامل مع كميات كبيرة من البيانات وإجراء التحويلات وضمان سلامة البيانات ودقتها.
أتمتة سير عمل البيانات والتأكد من أنها قابلة للتطوير ومتينة لمهام معالجة البيانات المستمرة.
تكامل البيانات:

دمج البيانات من مصادر متنوعة (قواعد البيانات وواجهات برمجة التطبيقات والخدمات الخارجية وما إلى ذلك) في أنظمة موحدة.
التعاون مع فرق خارجية لجمع متطلبات البيانات وتطوير حلول التكامل.
إدارة عمليات تكامل البيانات على دفعات وفي الوقت الفعلي، وضمان تدفق البيانات بشكل مستمر وفعال.
إدارة جودة البيانات:

ضمان دقة البيانات وتناسقها وموثوقيتها من خلال تنفيذ عمليات فحص الجودة والمراقبة.
تحديد وحل المشكلات المتعلقة بالبيانات المفقودة أو غير المكتملة أو غير المتسقة.
إنشاء معايير حوكمة البيانات والحفاظ عليها لضمان الامتثال للسياسات التنظيمية والداخلية للبيانات.
مستودعات البيانات:

تطوير وتحسين مستودعات البيانات، والتأكد من هيكلتها بكفاءة لأداء الاستعلام والتحليل.
ضمان أن يكون تخزين البيانات فعالاً من حيث التكلفة مع توفير الوصول السريع وقابلية التوسع.
دعم تنفيذ حلول OLAP (المعالجة التحليلية عبر الإنترنت) وOLTP (معالجة المعاملات عبر الإنترنت).
تحسين الأداء:

تحسين أداء الاستعلام لضمان استرداد البيانات بسرعة، باستخدام تقنيات مثل الفهرسة والتجزئة والتخزين المؤقت.
مراقبة وضبط أنظمة البيانات لتحسين الأداء، وتقليل الاختناقات ووقت التوقف عن العمل.
توسيع البنية الأساسية للبيانات بناءً على زيادة أحجام البيانات ومتطلبات المعالجة.
هندسة بيانات السحابة:

العمل مع منصات السحابة مثل AWS أو Google Cloud Platform (GCP) أو Microsoft Azure لنشر وإدارة وتوسيع أنظمة تخزين البيانات ومعالجتها.
استخدام أدوات السحابة الأصلية (على سبيل المثال، AWS Redshift وBigQuery وAzure Synapse Analytics) لإدارة البيانات ومعالجتها.
التعاون مع فرق البيانات:

العمل بشكل وثيق مع علماء البيانات ومحللي البيانات لفهم متطلبات البيانات الخاصة بهم وتوفير بيانات نظيفة وموثوقة ويمكن الوصول إليها.
دعم تطوير نماذج التعلم الآلي من خلال توفير بيانات نظيفة ومُصنفة ومعالجة مسبقًا.
التعاون مع فرق الاستخبارات التجارية لضمان هيكلة البيانات بطريقة تدعم إعداد التقارير والتحليلات.