تم إنشاء Earth Engine استنادًا إلى أدوات وخدمات Google لإجراء العمليات الحسابية على نطاق واسع. لتسهيل إجراء تحليلات جغرافية مكانية كبيرة، تخفي منصة Earth Engine وواجهة برمجة التطبيقات الكثير من تعقيدات البنية الأساسية للمعالجة المتوازية.
وحدات EECU
نظرة عامة
وحدة الحوسبة في Earth Engine (EECU) هي آلية لتمثيل مقدار قوة المعالجة الفورية. يتتبّع Earth Engine إجمالي البصمة الحسابية للمهام كدالة لاستخدامها في EECU بمرور الوقت (ثواني EECU وساعات EECU وما إلى ذلك). بما أنّ Google لديها العديد من الأنواع المختلفة من نوى المعالجات والبُنى وما إلى ذلك، تُعدّ وحدات EECU تجريدًا مفيدًا للحديث عن القوة الحاسوبية.
الحافز
غالبًا ما يريد مستخدمو EE إجراء تقديرات حول مقدار قوة المعالجة المطلوبة لسير العمل، وتوفر وحدات EECU مقياسًا ثابتًا لإجراء المقارنات.
المقارنة مع مقاييس وحدة المعالجة المركزية
وقد يتغيّر عدد الأجهزة التي تعمل على نتيجة معيّنة ونوعها وبنيتها بمرور الوقت. بما أنّ النوى المادية المختلفة يمكن أن يكون لها خصائص أداء مختلفة، يجرّد Earth Engine جميع عمليات المعالجة باستخدام وحدات EECU. لا تتوافق ساعة EECU (أو أي وحدة أخرى من وقت EECU) مع وقت الساعة العادية، لذا فإنّ المهمة التي تستهلك 10 ساعات EECU قد يكون وقت تشغيلها المرصود بضع دقائق فقط.
الثبات والقدرة على التنبؤ
يمكن أن يؤدي إرسال الطلبات نفسها (أو طلبات مشابهة) إلى Earth Engine في بعض الأحيان إلى كميات مختلفة جدًا من العمليات الحسابية. تشمل العوامل الشائعة للاختلافات ما يلي:
- التخزين المؤقت، مثل إعادة استخدام نتائج العمليات الحسابية السابقة (بما في ذلك النتائج الجزئية أو المتوسطة)
- بيانات أساسية مختلفة، مثل أعداد متفاوتة من صور القمر الصناعي، وأشكال هندسية متفاوتة التعقيد، وما إلى ذلك
- تغييرات الخوارزمية على منصة EE، بما في ذلك تحسينات الأداء وإصلاح الأخطاء وما إلى ذلك
- التغييرات في مكتبات البرامج، خاصةً إذا كنت تعتمد على الرموز البرمجية أو الحزم الخاصة بمستخدمين آخرين في Earth Engine
مقاييس الأداء
اطّلِع على عيّنة من مقاييس أداء عمليات الحوسبة في Earth Engine.
مقاييس الطلبات التي تعذّر تنفيذها
لا توفّر منصة Earth Engine مقاييس أداء للطلبات أو المهام التي تعذّر تنفيذها، لأنّ هذه الأرقام ستكون غير دقيقة أو مضلِّلة. على سبيل المثال، إذا تعذّر إكمال مهمة بسبب عدم استجابة مهمة عامل، لن يتم احتساب استهلاك المعالجة لهذا العامل ضمن الإجمالي.
المحلّل
يوفّر المحلّل معلومات عن وقت EECU واستخدام الذاكرة (لكل خوارزمية ومادة عرض) الناتجة عن العمليات الحسابية التي يتم إجراؤها أثناء تفعيله. يتوافق كل صف في مخرجات المحلّل مع خوارزمية أو عملية حسابية أو تحميل مادة عرض أو عملية إضافية كما هو موضّح في عمود "الوصف". الأعمدة في محلّل الملفات الشخصية هي:
- الوصف
- وصف نصي لعملية الحوسبة أو الخوارزمية أو تحميل مواد العرض أو العملية الإضافية التي يتم تحليلها
- العدد
- مؤشر يتناسب مع عدد مرات استدعاء العملية الموضحة في "الوصف".
- الحوسبة
- مؤشر على وقت EECU الذي تستغرقه العمليات
- الذاكرة الحالية
لا يظهر هذا العمود إلا إذا حدث خطأ بسبب النص البرمجي
استخدم مقدارًا كبيرًا للغاية من الذاكرة. ويعرض مقدار الذاكرة قيد الاستخدام في أي عقدة حوسبة واحدة في وقت حدوث الخطأ.
- أعلى معدّل استخدام للذاكرة
الحد الأقصى للذاكرة المستخدَمة في أي عقدة حوسبة واحدة للعملية
تفعيل أداة التحليل
أداة تعديل الرموز
استخدِم الزر "تشغيل باستخدام أداة تحليل الأداء"، كما هو موضّح في دليل أداة تعديل الرموز.
Python
أدرِج الرمز التالي في نص Python البرمجي لتفعيل أداة تحليل الأداء:
with ee.profilePrinting():
print(ee.Number(3.14).add(0.00159).getInfo())
ستتم طباعة الملف الشخصي عند انتهاء السياق، سواء حدث أي خطأ في السياق أم لا.
لتسجيل الملف الشخصي كسلسلة، اكتب الملف الشخصي في مخزن مؤقت للسلسلة:
import io
out = io.StringIO()
with ee.profilePrinting(destination=out) as p:
print(ee.Number(3.14).add(0.00159).getInfo())
print('Output:')
print(out.getvalue())
في ما يلي اقتراح لتحويل سلسلة الملف الشخصي إلى جدول لتسهيل تحليلها في Colab وJupyter Notebooks (يُرجى العِلم أنّ هذا مجرد نهج واحد وقد لا يكون مناسبًا لجميع الحالات):
import re
import pandas as pd
lines = out.getvalue().split('\n')
column_names = re.split(r'\s{1,}', lines[0])
column_names = [name.strip() for name in column_names if name.strip()]
data = [
[element for element in re.split(r'\s{2,}', line) if element.strip()]
for line in lines[1:-1]
]
df = pd.DataFrame(data, columns=column_names)
display(df)