قائد هندسة البيانات

الأدوار والمسؤوليات

خبرة إجمالية تتراوح من 5 إلى 7 سنوات في هندسة البيانات وتحويلها على السحابة
خبرة قوية للغاية لا تقل عن 3 سنوات في هندسة بيانات Azure، Databricks
خبرة في دعم/تطوير أحمال عمل lakehouse على مستوى المؤسسة
خبرة في pyspark مطلوبة - تطوير ونشر أحمال العمل لتشغيلها على الحوسبة الموزعة Spark
يجب أن يكون المرشح حاصلًا على درجة جامعية أو بكالوريوس على الأقل في علوم الكمبيوتر/تكنولوجيا المعلومات، الهندسة (الكمبيوتر/الاتصالات) أو ما يعادلها.
النشر السحابي: يفضل Microsoft Azure
خبرة في تنفيذ مراقبة المنصة والتطبيق باستخدام أدوات السحابة الأصلية

قيادة الفريق وإدارته:

الإشراف على الفريق: قيادة وتوجيه فريق من مهندسي البيانات لضمان الأداء العالي والنمو المهني والتوافق مع أهداف المنظمة.

تخصيص المهام: تعيين المهام وإدارة أحمال العمل بشكل فعال عبر الفريق، وضمان التسليم في الوقت المناسب للمشاريع مع الحفاظ على الجودة.

التعاون: العمل بشكل وثيق مع الفرق الوظيفية المتعددة (على سبيل المثال، علماء البيانات والمحللين وأصحاب المصلحة في الأعمال) لضمان دعم البنية الأساسية للبيانات لاحتياجاتهم وأهدافهم.

التدريب والتطوير: تقديم التوجيه والتدريب وفرص رفع المهارات لمهندسي البيانات المبتدئين والمتوسطين.

تصميم بنية البيانات:

تطوير خطوط الأنابيب: تصميم وتنفيذ خطوط أنابيب بيانات قابلة للتطوير وموثوقة وفعالة لمعالجة وتحويل مجموعات البيانات الكبيرة من مصادر مختلفة.

استراتيجية البنية: قيادة تصميم وهندسة أنظمة البيانات والحلول، وضمان سهولة الوصول إلى البيانات ونظافتها وتنسيقها بشكل صحيح للتحليلات.

نمذجة البيانات: العمل على نماذج البيانات، بما في ذلك مستودعات البيانات والبحيرات وحلول تخزين البيانات الأخرى، وتصميم المخطط الذي يدعم الاستعلامات وإعداد التقارير بكفاءة.
تكامل البيانات واستخراج البيانات وتحويلها وتحميلها:

عمليات استخراج البيانات وتحويلها وتحميلها: قيادة تطوير عمليات استخراج البيانات وتحويلها وتحميلها (ETL) لدمج البيانات من مصادر متعددة، وضمان جودة البيانات وتناسقها وموثوقيتها.
ضمان جودة البيانات: التأكد من أن خطوط أنابيب البيانات والعمليات تلبي معايير عالية من دقة البيانات وتناسقها وتوقيتها. إنشاء عمليات التحقق من صحة البيانات وآليات معالجة الأخطاء.
مستودعات البيانات والتخزين:

حلول تخزين البيانات: قيادة الجهود في اختيار وتنفيذ حلول تخزين البيانات، مثل بحيرات البيانات ومستودعات البيانات ومنصات التخزين السحابي (على سبيل المثال، Amazon Redshift وGoogle BigQuery وSnowflake).

قابلية التوسع والأداء: تصميم وتحسين أنظمة تخزين البيانات للأداء وقابلية التوسع والفعالية من حيث التكلفة، مع مراعاة النمو المستقبلي ومتطلبات العمل.
إدارة قواعد البيانات: الإشراف على إدارة قواعد البيانات العلائقية وغير العلائقية، وضمان الأداء والأمان الأمثل.

الملف الشخصي المرغوب للمرشح

الخبرة الفنية:

الخبرة في مفاهيم هندسة البيانات، مثل ETL، ومستودعات البيانات، وبحيرات البيانات، وخطوط أنابيب البيانات.

إتقان لغات البرمجة مثل Python وJava وScala وSQL والأطر مثل Apache Spark أو Apache Flink لمعالجة البيانات الضخمة.

خبرة قوية في منصات السحابة (AWS وGoogle Cloud وAzure) والخدمات المرتبطة بها مثل S3 وRedshift وBigQuery وEMR وDatabricks.

الإلمام بأدوات الحاويات (مثل Docker وKubernetes) لتنظيم خطوط أنابيب البيانات ونشرها.

معرفة بقواعد البيانات والتخزين:

معرفة عميقة بقواعد البيانات العلائقية وقواعد البيانات NoSQL، بما في ذلك MySQL وPostgreSQL وMongoDB وCassandra وHBase.
المعرفة بحلول تخزين البيانات، بما في ذلك Data Lakes (على سبيل المثال، AWS S3، Google Cloud Storage)، ومستودعات البيانات (على سبيل المثال، Snowflake، BigQuery)، وأنظمة الملفات الموزعة مثل HDFS.

القيادة والإدارة:

خبرة في إدارة وقيادة فريق من مهندسي البيانات، مع مهارات تنظيمية وتوجيهية واتصالية قوية.

القدرة على إدارة مشاريع متعددة في وقت واحد، وضمان الوفاء بالمواعيد النهائية دون المساس بالجودة.

مهارات حل النزاعات وبناء الفريق وإدارة الأداء.

نمذجة البيانات والهندسة المعمارية:

خبرة في تقنيات نمذجة البيانات وبناء هياكل بيانات قابلة للتطوير.

القدرة على تصميم نماذج بيانات فعالة تدعم التحليلات وذكاء الأعمال (BI) وحالات استخدام التعلم الآلي (ML).

حل المشكلات والتحسين:

مهارات تحليلية وحل مشكلات قوية لتحسين خطوط أنابيب البيانات وضمان معالجة البيانات وتخزينها بكفاءة.

خبرة في تصحيح أخطاء مشكلات البيانات المعقدة وإصلاحها.

المهارات الشخصية:

مهارات اتصال ممتازة للتفاعل مع أصحاب المصلحة الفنيين وغير الفنيين.
التفكير الاستراتيجي لفهم احتياجات العمل ومواءمة الحلول التقنية مع تلك الاحتياجات.
القدرة على العمل في بيئة تعاونية سريعة الخطى وإدارة الأولويات المتنافسة.
منهجيات Agile:

المعرفة بالمنهجيات Agile (على سبيل المثال، Scrum وKanban) لإدارة المشاريع وضمان التسليم التكراري لحلول البيانات.