الهدف
يقدّم لك البرنامج التعليمي التحقّق من صحة العناوين بكميات كبيرة إرشادات حول سيناريوهات مختلفة يمكن فيها استخدام عمليات تحقّق عالية من العنوان. في هذا البرنامج التعليمي، سنقدم لك أنماط تصميم مختلفة في Google Cloud Platform لتشغيل "التحقّق من صحة العناوين بكميات كبيرة".
سنبدأ بتقديم نظرة عامة حول عملية "التحقّق من صحة العناوين الكبيرة الحجم" في Google Cloud Platform باستخدام Cloud Run أو Compute Engine أو Google Kubernetes Engine لتنفيذ عمليات تنفيذ لمرة واحدة. سنرى بعد ذلك كيفية تضمين هذه الإمكانية كجزء من مسار البيانات.
بنهاية هذه المقالة، من المفترض أن تكون قد تعرّفت جيدًا على الخيارات المختلفة لتشغيل "التحقق من العنوان" بكميات كبيرة في بيئة Google Cloud.
البنية المرجعية في Google Cloud Platform
يتناول هذا القسم بشكل مفصّل أنماط التصميم المختلفة للتحقّق من العناوين بكميات كبيرة باستخدام Google Cloud Platform. من خلال استخدام Google Cloud Platform، يمكنك الدمج مع العمليات ومسارات البيانات الحالية.
إجراء التحقُّق من صحة العنوان بكميات كبيرة مرة واحدة على Google Cloud Platform
في ما يلي بنية مرجعية لكيفية إنشاء تكامل على Google Cloud Platform تكون أكثر ملاءمة للعمليات أو الاختبار لمرة واحدة.
في هذه الحالة، ننصحك بتحميل ملف CSV إلى حزمة Cloud Storage. يمكن بعد ذلك تشغيل النص البرمجي للتحقق من صحة العناوين بكميات كبيرة من خلال بيئة تشغيل على السحابة الإلكترونية. ويمكنك تنفيذه في أي بيئة تشغيل أخرى، مثل Compute Engine أو Google Kubernetes Engine. يمكن أيضًا تحميل ملف CSV للناتج إلى حزمة Cloud Storage.
العمل كمسار بيانات في Google Cloud Platform
نمط النشر الموضح في القسم السابق رائع لاختبار التحقق من صحة العناوين ذات الحجم الكبير للاستخدام مرة واحدة بشكل سريع. ومع ذلك، إذا كنت بحاجة إلى استخدامها بانتظام كجزء من مسار البيانات، يمكنك الاستفادة بشكل أفضل من إمكانات Google Cloud Platform الأصلية لجعلها أكثر فعالية. في ما يلي بعض التغييرات التي يمكنك إجراؤها:
- في هذه الحالة، يمكنك تفريغ ملفات CSV في حِزم Cloud Storage.
- يمكن لمهمة تدفق البيانات اختيار العناوين التي ستتم معالجتها ثم تخزينها مؤقتًا في BigQuery.
- يمكن توسيع مكتبة Python التابعة لـ Dataflow لتطبيق منطق "التحقق من العناوين ذات الحجم الكبير" من أجل التحقق من صحة العناوين من مهمة Dataflow.
تشغيل النص البرمجي من مسار بيانات كعملية متكررة طويلة الأمد
هناك نهج شائع آخر، وهو التحقّق من صحة مجموعة من العناوين كجزء من مسار نقل البيانات كعملية متكررة. قد يكون لديك أيضًا العناوين في مخزن بيانات bigquery. سنرى في هذا النهج كيفية إنشاء مسار متكرّر للبيانات (الذي يجب تشغيله يوميًا/أسبوعيًا/شهريًا)
- حمِّل ملف CSV الأولي إلى حزمة Cloud Storage.
- استخدِم Memorystore كمخزن بيانات دائم للحفاظ على الحالة المتوسطة للعملية على المدى الطويل.
- تخزين العناوين النهائية مؤقتًا في مخزن بيانات BigQuery.
- عليك إعداد أداة جدولة في السحابة الإلكترونية لتشغيل النص البرمجي بشكل دوري.
هذه البنية لها المزايا التالية:
- باستخدام Cloud Scheduler، يمكن التحقّق من صحة العنوان بشكل دوري. يمكنك إعادة التحقق من العناوين على أساس شهري أو التحقق من صحة أي عناوين جديدة على أساس شهري أو ربع سنوي. تساعد هذه البنية في حل حالة الاستخدام هذه.
إذا كانت بيانات العملاء متوفرة في BigQuery، يمكن تخزين العناوين التي تم التحقّق منها أو علامات التحقّق مؤقتًا هناك مباشرةً. ملاحظة: ما الذي يمكن تخزينه مؤقتًا وكيف يمكن توضيحه في التفاصيل في مقالة التحقق من صحة العناوين ذات الأعداد الكبيرة
يوفر استخدام Memorystore مرونة أعلى وإمكانية معالجة المزيد من العناوين. تضيف هذه الخطوات حالة إلى مسار المعالجة بالكامل، وهو أمر ضروري للتعامل مع مجموعات بيانات العناوين الكبيرة جدًا. ويمكن استخدام تقنيات قواعد البيانات الأخرى، مثل Cloud SQL[https://cloud.google.com/sql] أو أي مجموعة أخرى من قواعد البيانات التي توفّرها Google Cloud Platform، هنا أيضًا. مع ذلك، نعتقد أنّ مخزن الذاكرة يساعد بشكل مثالي في تحقيق التوازن بين احتياجات التوسّع والبساطة، لذلك يجب أن يكون الخيار الأول.
الخلاصة
من خلال تطبيق الأنماط الموضّحة هنا، يمكنك استخدام واجهة برمجة التطبيقات "التحقق من العنوان" في حالات الاستخدام المختلفة ومن حالات استخدام مختلفة على Google Cloud Platform.
لقد كتبنا مكتبة بايثون مفتوحة المصدر لمساعدتك في البدء في استخدام حالات الاستخدام الموضحة أعلاه. ويمكن استدعاؤها من سطر أوامر على جهاز الكمبيوتر أو من خلال Google Cloud Platform أو من مقدّمي خدمات السحابة الإلكترونية الآخرين.
يمكنك الاطّلاع على المزيد من المعلومات حول كيفية استخدام المكتبة من هذه المقالة.
الخطوات التالية
يمكنك تنزيل المستند الموجز تحسين الدفع والتسليم والعمليات باستخدام عناوين موثوقة وعرض البرنامج التعليمي على الويب تحسين الدفع والتسليم والعمليات باستخدام التحقّق من صحة العناوين .
قراءة إضافية مقترَحة:
- مستندات واجهة برمجة التطبيقات للتحقّق من صحة العناوين
- الترميز الجغرافي والتحقّق من العنوان
- الاطّلاع على العرض التوضيحي لميزة "التحقّق من صحة العنوان"
المساهمون
تحتفظ Google بهذه المقالة. كتبه المساهمون التاليون في الأصل.
المؤلفون الرئيسيون:
هنريك فالف | مهندس الحلول
توماس أنغلاريت | مهندس الحلول
سارثاك غانغولي | مهندس الحلول