เอกสารนี้อธิบายแนวทางปฏิบัติในการเขียนโค้ดที่มีจุดประสงค์เพื่อเพิ่มโอกาสในการประสบความสำเร็จสำหรับการคำนวณ Earth Engine ที่ซับซ้อนหรือมีค่าใช้จ่ายสูง วิธีการที่อธิบายไว้ที่นี่ใช้ได้กับการคำนวณทั้งแบบอินเทอร์แอกทีฟ (เช่น ตัวแก้ไขโค้ด) และแบบกลุ่ม (Export) แม้ว่าโดยทั่วไปแล้วการคำนวณที่ใช้เวลานานควรดำเนินการในระบบแบบกลุ่มก็ตาม
หลีกเลี่ยงการผสมฟังก์ชันและออบเจ็กต์ฝั่งไคลเอ็นต์กับฟังก์ชันและออบเจ็กต์ฝั่งเซิร์ฟเวอร์
ออบเจ็กต์เซิร์ฟเวอร์ Earth Engine คือออบเจ็กต์ที่มีคอนสตรัคเตอร์ที่ขึ้นต้นด้วย ee (เช่น ee.Image, ee.Reducer) และเมธอดใดๆ ในออบเจ็กต์ดังกล่าวเป็นฟังก์ชันเซิร์ฟเวอร์ ออบเจ็กต์ที่ไม่ได้สร้างในลักษณะนี้คือออบเจ็กต์ไคลเอ็นต์ ออบเจ็กต์ฝั่งไคลเอ็นต์อาจมาจากตัวแก้ไขโค้ด (เช่น Map, Chart) หรือภาษา JavaScript (เช่น Date, Math, [], {})
เพื่อหลีกเลี่ยงลักษณะการทำงานที่ไม่พึงประสงค์ อย่าผสมฟังก์ชันไคลเอ็นต์และเซิร์ฟเวอร์ในสคริปต์ตามที่อธิบายไว้ที่นี่ ที่นี่ และที่นี่ ดูคำอธิบายโดยละเอียดเกี่ยวกับไคลเอ็นต์เทียบกับเซิร์ฟเวอร์ใน Earth Engine ได้ที่หน้านี้และ/หรือบทแนะนำนี้ ตัวอย่างต่อไปนี้แสดงให้เห็นถึงอันตรายของการผสมผสานฟังก์ชันการทำงานของไคลเอ็นต์และเซิร์ฟเวอร์
ข้อผิดพลาด — รหัสนี้ใช้ไม่ได้
var table = ee.FeatureCollection('USDOS/LSIB_SIMPLE/2017');
// Won't work.
for(var i=0; i<table.size(); i++) {
print('No!');
}
คุณเห็นข้อผิดพลาดไหม โปรดทราบว่า table.size() เป็นเมธอดเซิร์ฟเวอร์ในออบเจ็กต์เซิร์ฟเวอร์ และไม่สามารถใช้กับฟังก์ชันฝั่งไคลเอ็นต์ เช่น เงื่อนไข <
สถานการณ์ที่คุณอาจต้องการใช้ for-loop คือการตั้งค่า UI เนื่องจากออบเจ็กต์และเมธอด ui ของ Code Editor อยู่ฝั่งไคลเอ็นต์ (ดูข้อมูลเพิ่มเติมเกี่ยวกับการสร้างอินเทอร์เฟซผู้ใช้ใน Earth Engine) เช่น
ใช้ฟังก์ชันไคลเอ็นต์สำหรับการตั้งค่า UI
var panel = ui.Panel();
for(var i=1; i<8; i++) {
panel.widgets().set(i, ui.Button('button ' + i))
}
print(panel);
ในทางกลับกัน map() เป็นฟังก์ชันเซิร์ฟเวอร์ และฟังก์ชันฝั่งไคลเอ็นต์จะไม่ทำงานภายในฟังก์ชันที่ส่งไปยัง map() เช่น
ข้อผิดพลาด — รหัสนี้ใช้ไม่ได้
var table = ee.FeatureCollection('USDOS/LSIB_SIMPLE/2017');
// Error:
var foobar = table.map(function(f) {
print(f); // Can't use a client function here.
// Can't Export, either.
});
หากต้องการดำเนินการบางอย่างกับทุกองค์ประกอบในคอลเล็กชัน ให้map()ฟังก์ชันเหนือคอลเล็กชันและset()พร็อพเพอร์ตี้
ใช้ map() และ set()
var table = ee.FeatureCollection('USDOS/LSIB_SIMPLE/2017');
print(table.first());
// Do something to every element of a collection.
var withMoreProperties = table.map(function(f) {
// Set a property.
return f.set('area_sq_meters', f.area())
});
print(withMoreProperties.first());
นอกจากนี้ คุณยังfilter()คอลเล็กชันตามพร็อพเพอร์ตี้ที่คำนวณหรือมีอยู่ และprint()ผลลัพธ์ได้ด้วย โปรดทราบว่าคุณไม่สามารถพิมพ์คอลเล็กชันที่มีองค์ประกอบมากกว่า 5,000 รายการได้ หากได้รับข้อผิดพลาด "การค้นหาคอลเล็กชันถูกยกเลิกหลังจากสะสมองค์ประกอบมากกว่า 5,000 รายการ" ให้filter()หรือlimit()คอลเล็กชันก่อนพิมพ์
หลีกเลี่ยงการแปลงเป็นรายการโดยไม่จำเป็น
คอลเล็กชันใน Earth Engine ได้รับการประมวลผลโดยใช้การเพิ่มประสิทธิภาพที่เสียหายจากการแปลงคอลเล็กชันเป็นประเภท List หรือ Array เว้นแต่คุณจะต้องการการเข้าถึงองค์ประกอบคอลเล็กชันแบบสุ่ม (เช่น คุณต้องการรับองค์ประกอบที่ i ของคอลเล็กชัน) ให้ใช้ตัวกรองในคอลเล็กชันเพื่อเข้าถึงองค์ประกอบคอลเล็กชันแต่ละรายการ ตัวอย่างต่อไปนี้แสดงความแตกต่างระหว่างการแปลงประเภท (ไม่แนะนำ) และการกรอง (แนะนำ) เพื่อเข้าถึงองค์ประกอบในคอลเล็กชัน
อย่าแปลงเป็นรายการโดยไม่จำเป็น
var table = ee.FeatureCollection('USDOS/LSIB_SIMPLE/2017');
// Do NOT do this!!
var list = table.toList(table.size());
print(list.get(13)); // User memory limit exceeded.
โปรดทราบว่าคุณอาจทำให้เกิดข้อผิดพลาดได้ง่ายๆ โดยการแปลงคอลเล็กชันเป็นลิสต์โดยไม่จำเป็น วิธีที่ปลอดภัยกว่าคือการใช้ filter() ดังนี้
ใช้ filter()
print(table.filter(ee.Filter.eq('country_na', 'Niger')).first());
โปรดทราบว่าคุณควรใช้ตัวกรองตั้งแต่เนิ่นๆ ในการวิเคราะห์
หลีกเลี่ยง ee.Algorithms.If()
อย่าใช้ ee.Algorithms.If() เพื่อใช้ตรรกะการแยกสาขา โดยเฉพาะในฟังก์ชันที่แมป ดังตัวอย่างต่อไปนี้ ee.Algorithms.If() อาจใช้หน่วยความจำมากและไม่แนะนำให้ใช้
อย่าใช้ If()
var table = ee.FeatureCollection('USDOS/LSIB_SIMPLE/2017');
// Do NOT do this!
var veryBad = table.map(function(f) {
return ee.Algorithms.If({
condition: ee.String(f.get('country_na')).compareTo('Chad').gt(0),
trueCase: f, // Do something.
falseCase: null // Do something else.
});
}, true);
print(veryBad); // User memory limit exceeded.
// If() may evaluate both the true and false cases.
โปรดทราบว่าอาร์กิวเมนต์ที่ 2 ของ map() คือ true ซึ่งหมายความว่าฟังก์ชันที่แมปอาจแสดงผลเป็นค่า Null และระบบจะทิ้งค่าเหล่านั้นในคอลเล็กชันผลลัพธ์
ซึ่งอาจเป็นประโยชน์ (โดยไม่มี If()) แต่ในกรณีนี้ วิธีที่ง่ายที่สุดคือการใช้ตัวกรอง ดังนี้
ใช้ filter()
print(table.filter(ee.Filter.eq('country_na', 'Chad')));
ดังที่แสดงในบทแนะนำนี้ วิธีการเขียนโปรแกรมเชิงฟังก์ชันโดยใช้ตัวกรองเป็นวิธีที่ถูกต้องในการใช้ตรรกะหนึ่งกับองค์ประกอบบางอย่างของคอลเล็กชัน และใช้ตรรกะอื่นกับองค์ประกอบอื่นๆ ของคอลเล็กชัน
หลีกเลี่ยง reproject()
อย่าใช้การฉายภาพซ้ำเว้นแต่จะจำเป็นจริงๆ เหตุผลหนึ่งที่คุณอาจต้องการใช้ reproject() คือการบังคับให้การคำนวณของตัวแก้ไขโค้ดเกิดขึ้นในสเกลที่เฉพาะเจาะจง เพื่อให้คุณตรวจสอบผลลัพธ์ในสเกลการวิเคราะห์ที่ต้องการได้ ในตัวอย่างถัดไป ระบบจะคำนวณแพตช์ของพิกเซลที่ร้อนและคำนวณจำนวนพิกเซลในแต่ละแพตช์ เรียกใช้ตัวอย่างและคลิกแพตช์ใดแพตช์หนึ่ง โปรดทราบว่าจำนวนพิกเซลจะแตกต่างกันระหว่างข้อมูลที่ฉายภาพซ้ำกับข้อมูลที่ไม่ได้ฉายภาพซ้ำ
var l8sr = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2');
var sf = ee.Geometry.Point([-122.405, 37.786]);
Map.centerObject(sf, 13);
// A reason to reproject - counting pixels and exploring interactively.
var image = l8sr.filterBounds(sf)
.filterDate('2019-06-01', '2019-12-31')
.first();
image = image.multiply(0.00341802).add(149); // Apply scale factors.
Map.addLayer(image, {bands: ['ST_B10'], min: 280, max: 317}, 'image');
var hotspots = image.select('ST_B10').gt(317)
.selfMask()
.rename('hotspots');
var objectSize = hotspots.connectedPixelCount(256);
Map.addLayer(objectSize, {min: 1, max: 256}, 'Size No Reproject', false);
// Beware of reproject! Don't zoom out on reprojected data.
var reprojected = objectSize.reproject(hotspots.projection());
Map.addLayer(reprojected, {min: 1, max: 256}, 'Size Reproject', false);
สาเหตุของความคลาดเคลื่อนคือขนาดของการวิเคราะห์กำหนดโดยระดับการซูมของตัวแก้ไขโค้ด การเรียกใช้ reproject() จะเป็นการกำหนดสเกลของการคำนวณแทนตัวแก้ไขโค้ด โปรดใช้ reproject() ด้วยความระมัดระวังอย่างยิ่งตามเหตุผลที่อธิบายไว้ในเอกสารนี้
กรองและselect()ก่อน
โดยทั่วไป ให้กรองคอลเล็กชันอินพุตตามเวลา สถานที่ และ/หรือข้อมูลเมตาก่อนที่จะดำเนินการอื่นๆ กับคอลเล็กชัน ใช้ตัวกรองที่เฉพาะเจาะจงมากกว่าก่อนตัวกรองที่เฉพาะเจาะจงน้อยกว่า ตัวกรองเชิงพื้นที่และ/หรือเชิงเวลามักจะเลือกได้มากกว่า ตัวอย่างเช่น โปรดทราบว่าระบบจะใช้ select() และ filter() ก่อน map() ดังนี้
var images = ee.ImageCollection('COPERNICUS/S2_SR_HARMONIZED');
var sf = ee.Geometry.Point([-122.463, 37.768]);
// Expensive function to reduce the neighborhood of an image.
var reduceFunction = function(image) {
return image.reduceNeighborhood({
reducer: ee.Reducer.mean(),
kernel: ee.Kernel.square(4)
});
};
var bands = ['B4', 'B3', 'B2'];
// Select and filter first!
var reasonableComputation = images
.select(bands)
.filterBounds(sf)
.filterDate('2018-01-01', '2019-02-01')
.filter(ee.Filter.lt('CLOUDY_PIXEL_PERCENTAGE', 1))
.aside(print) // Useful for debugging.
.map(reduceFunction)
.reduce('mean')
.rename(bands);
var viz = {bands: bands, min: 0, max: 10000};
Map.addLayer(reasonableComputation, viz, 'reasonableComputation');
ใช้ updateMask() แทน mask()
ความแตกต่างระหว่าง updateMask() และ mask() คือ จะดำเนินการ
and() เชิงตรรกะของอาร์กิวเมนต์ (มาสก์ใหม่) และมาสก์รูปภาพที่มีอยู่
ในขณะที่ mask() จะแทนที่มาสก์รูปภาพด้วยอาร์กิวเมนต์ อันตรายของวิธีหลังคือคุณอาจเปิดเผยพิกเซลโดยไม่ตั้งใจ ในตัวอย่างนี้ เป้าหมายคือการมาสก์พิกเซลที่มีระดับความสูงน้อยกว่าหรือเท่ากับ 300 เมตร ดังที่คุณเห็น (ซูมออก) การใช้ mask() ทำให้พิกเซลจำนวนมากไม่ถูกปกปิด ซึ่งเป็นพิกเซลที่ไม่ได้อยู่ในรูปภาพที่สนใจ
var l8sr = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2');
var sf = ee.Geometry.Point([-122.40554461769182, 37.786807309873716]);
var aw3d30 = ee.Image('JAXA/ALOS/AW3D30_V1_1');
Map.centerObject(sf, 7);
var image = l8sr.filterBounds(sf)
.filterDate('2019-06-01', '2019-12-31')
.first();
image = image.multiply(0.0000275).subtract(0.2); // Apply scale factors.
var vis = {bands: ['SR_B4', 'SR_B3', 'SR_B2'], min: 0, max: 0.3};
Map.addLayer(image, vis, 'image', false);
var mask = aw3d30.select('AVE').gt(300);
Map.addLayer(mask, {}, 'mask', false);
// NO! Don't do this!
var badMask = image.mask(mask);
Map.addLayer(badMask, vis, 'badMask');
var goodMask = image.updateMask(mask);
Map.addLayer(goodMask, vis, 'goodMask', false);
รวมตัวลด
หากต้องการสถิติหลายรายการ (เช่น ค่าเฉลี่ยและค่าเบี่ยงเบนมาตรฐาน) จากอินพุตเดียว (เช่น ขอบเขตของรูปภาพ) การรวมตัวลดจะช่วยให้มีประสิทธิภาพมากขึ้น เช่น หากต้องการดูสถิติรูปภาพ ให้รวมตัวลดดังนี้
var image = ee.Image(
'COPERNICUS/S2_HARMONIZED/20150821T111616_20160314T094808_T30UWU');
// Get mean and SD in every band by combining reducers.
var stats = image.reduceRegion({
reducer: ee.Reducer.mean().combine({
reducer2: ee.Reducer.stdDev(),
sharedInputs: true
}),
geometry: ee.Geometry.Rectangle([-2.15, 48.55, -1.83, 48.72]),
scale: 10,
bestEffort: true // Use maxPixels if you care about scale.
});
print(stats);
// Extract means and SDs to images.
var meansImage = stats.toImage().select('.*_mean');
var sdsImage = stats.toImage().select('.*_stdDev');
ในตัวอย่างนี้ โปรดทราบว่าตัวลดค่าเฉลี่ยจะรวมกับตัวลดค่าส่วนเบี่ยงเบนมาตรฐาน และ sharedInputs เป็นจริงเพื่อเปิดใช้การส่งผ่านพิกเซลอินพุตครั้งเดียว ในพจนานุกรมเอาต์พุต ระบบจะเพิ่มชื่อของตัวลดลงในชื่อแบนด์ หากต้องการรับรูปภาพค่าเฉลี่ยและค่า SD (เช่น เพื่อปรับรูปภาพอินพุตให้เป็นมาตรฐาน) คุณสามารถเปลี่ยนค่าเป็นรูปภาพและใช้นิพจน์ทั่วไปเพื่อดึงค่าเฉลี่ยและค่า SD แยกกันได้ตามที่แสดงในตัวอย่าง
ใช้ Export
สำหรับการคำนวณที่ส่งผลให้เกิดข้อผิดพลาด "หน่วยความจำของผู้ใช้เกินขีดจำกัด" หรือ "การคำนวณหมดเวลา" ในตัวแก้ไขโค้ด การคำนวณเดียวกันอาจสำเร็จได้โดยใช้ Export เนื่องจากระยะหมดเวลานานกว่าและหน่วยความจำที่ใช้ที่อนุญาตมีขนาดใหญ่กว่าเมื่อทำงานในระบบกลุ่ม (ซึ่งเป็นที่ที่การส่งออกทำงาน) (คุณอาจลองใช้วิธีอื่นๆ ก่อนตามที่อธิบายไว้ในเอกสารการแก้ไขข้อบกพร่อง) ต่อจากตัวอย่างก่อนหน้า สมมติว่าพจนานุกรมแสดงข้อผิดพลาด คุณสามารถดูผลลัพธ์ได้โดยทำดังนี้
var link = '86836482971a35a5e735a17e93c23272';
Export.table.toDrive({
collection: ee.FeatureCollection([ee.Feature(null, stats)]),
description: 'exported_stats_demo_' + link,
fileFormat: 'CSV'
});
โปรดทราบว่าลิงก์จะฝังอยู่ในชื่อชิ้นงานเพื่อให้ทำซ้ำได้ นอกจากนี้ โปรดทราบว่าหากต้องการส่งออก toAsset คุณจะต้องระบุเรขาคณิต ซึ่งอาจเป็นอะไรก็ได้ เช่น เซนทรอยด์ของรูปภาพ ซึ่งมีขนาดเล็กและประมวลผลได้ง่าย (เช่น อย่าใช้เรขาคณิตที่ซับซ้อนหากไม่จำเป็น)
ดูตัวอย่างการใช้ Export เพื่อแก้ไขปัญหาการคำนวณหมดเวลาและการรวมข้อมูลพร้อมกันมากเกินไปได้ที่หน้าการแก้ไขข้อบกพร่อง ดูรายละเอียดเกี่ยวกับการส่งออกโดยทั่วไปได้ในเอกสารนี้
หากไม่จำเป็นต้องคลิป ก็ไม่ต้องใช้ clip()
การใช้ clip() โดยไม่จำเป็นจะเพิ่มเวลาในการคำนวณ หลีกเลี่ยง clip() เว้นแต่จะจำเป็นต่อการวิเคราะห์ หากไม่แน่ใจ ก็อย่าตัดคลิป ตัวอย่างการใช้คลิปที่ไม่เหมาะสม
อย่าตัดอินพุตโดยไม่จำเป็น
var table = ee.FeatureCollection('USDOS/LSIB_SIMPLE/2017');
var l8sr = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2');
var belgium = table.filter(ee.Filter.eq('country_na', 'Belgium')).first();
// Do NOT clip unless you need to.
var unnecessaryClip = l8sr
.select('SR_B4') // Good.
.filterBounds(belgium.geometry()) // Good.
.filterDate('2019-01-01', '2019-04-01') // Good.
.map(function(image) {
return image.clip(belgium.geometry()); // NO! Bad! Not necessary.
})
.median()
.reduceRegion({
reducer: ee.Reducer.mean(),
geometry: belgium.geometry(),
scale: 30,
maxPixels: 1e10,
});
print(unnecessaryClip);
คุณสามารถข้ามการครอบตัดรูปภาพอินพุตได้ทั้งหมด เนื่องจากมีการระบุขอบเขตในการเรียก reduceRegion() ดังนี้
ระบุภูมิภาคสำหรับเอาต์พุต
var noClipNeeded = l8sr
.select('SR_B4') // Good.
.filterBounds(belgium.geometry()) // Good.
.filterDate('2019-01-01', '2019-12-31') // Good.
.median()
.reduceRegion({
reducer: ee.Reducer.mean(),
geometry: belgium.geometry(), // Geometry is specified here.
scale: 30,
maxPixels: 1e10,
});
print(noClipNeeded);
หากการคำนวณนี้หมดเวลา ให้Exportตามตัวอย่างนี้
หากต้องการคลิปด้วยคอลเล็กชันที่ซับซ้อน ให้ใช้ clipToCollection()
หากคุณจำเป็นต้องตัดบางอย่างจริงๆ และเรขาคณิตที่ต้องการใช้สำหรับการตัดอยู่ในคอลเล็กชัน ให้ใช้ clipToCollection()
var ecoregions = ee.FeatureCollection('RESOLVE/ECOREGIONS/2017');
var image = ee.Image('JAXA/ALOS/AW3D30_V1_1');
var complexCollection = ecoregions
.filter(ee.Filter.eq('BIOME_NAME',
'Tropical & Subtropical Moist Broadleaf Forests'));
Map.addLayer(complexCollection, {}, 'complexCollection');
var clippedTheRightWay = image.select('AVE')
.clipToCollection(complexCollection);
Map.addLayer(clippedTheRightWay, {}, 'clippedTheRightWay', false);
อย่าใช้ featureCollection.geometry() หรือ featureCollection.union() กับคอลเล็กชันขนาดใหญ่และ/หรือซับซ้อน ซึ่งอาจใช้หน่วยความจำมากกว่า
อย่าใช้คอลเล็กชันที่ซับซ้อนเป็นขอบเขตสำหรับตัวลด
หากต้องการลดเชิงพื้นที่เพื่อให้ตัวลดรวบรวมอินพุตจากหลายภูมิภาคใน FeatureCollection อย่าระบุ featureCollection.geometry() เป็นอินพุต geometry ไปยังตัวลด แต่ให้ใช้ clipToCollection() และภูมิภาคที่มีขนาดใหญ่พอที่จะครอบคลุมขอบเขตของคอลเล็กชันแทน เช่น
var ecoregions = ee.FeatureCollection('RESOLVE/ECOREGIONS/2017');
var image = ee.Image('JAXA/ALOS/AW3D30_V1_1');
var complexCollection = ecoregions
.filter(ee.Filter.eq('BIOME_NAME', 'Tropical & Subtropical Moist Broadleaf Forests'));
var clippedTheRightWay = image.select('AVE')
.clipToCollection(complexCollection);
Map.addLayer(clippedTheRightWay, {}, 'clippedTheRightWay');
var reduction = clippedTheRightWay.reduceRegion({
reducer: ee.Reducer.mean(),
geometry: ee.Geometry.Rectangle({
coords: [-179.9, -50, 179.9, 50], // Almost global.
geodesic: false
}),
scale: 30,
maxPixels: 1e12
});
print(reduction); // If this times out, export it.
ใช้ errorMargin ที่ไม่ใช่ 0
สำหรับการดำเนินการทางเรขาคณิตที่อาจมีค่าใช้จ่ายสูง ให้ใช้ส่วนต่างความผิดพลาดที่มากที่สุดเท่าที่จะเป็นไปได้ โดยพิจารณาจากความแม่นยำที่จำเป็นในการคำนวณ ส่วนต่างข้อผิดพลาดจะระบุข้อผิดพลาดสูงสุดที่อนุญาต (เป็นเมตร) ในระหว่างการดำเนินการกับเรขาคณิต (เช่น ระหว่างการฉายภาพซ้ำ) การระบุส่วนต่างข้อผิดพลาดเล็กน้อยอาจส่งผลให้ต้องเพิ่มความหนาแน่นของเรขาคณิต (ด้วยพิกัด) ซึ่งอาจใช้หน่วยความจำมาก แนวทางปฏิบัติแนะนำคือการระบุขอบเขตของข้อผิดพลาดให้มากที่สุดเท่าที่จะเป็นไปได้สำหรับการคำนวณ ดังนี้
var ecoregions = ee.FeatureCollection('RESOLVE/ECOREGIONS/2017');
var complexCollection = ecoregions.limit(10);
Map.centerObject(complexCollection);
Map.addLayer(complexCollection);
var expensiveOps = complexCollection.map(function(f) {
return f.buffer(10000, 200).bounds(200);
});
Map.addLayer(expensiveOps, {}, 'expensiveOps');
อย่าใช้มาตราส่วนที่เล็กเกินไปกับ reduceToVectors()
หากต้องการแปลงแรสเตอร์เป็นเวกเตอร์ ให้ใช้มาตราส่วนที่เหมาะสม การระบุสเกลที่เล็กมากอาจเพิ่มต้นทุนการประมวลผลอย่างมาก ตั้งค่าสเกลให้สูงที่สุดเท่าที่จะเป็นไปได้เพื่อให้ได้ความแม่นยำที่ต้องการ ตัวอย่างเช่น หากต้องการรับรูปหลายเหลี่ยมที่แสดงมวลที่ดินทั่วโลก ให้ทำดังนี้
var etopo = ee.Image('NOAA/NGDC/ETOPO1');
// Approximate land boundary.
var bounds = etopo.select(0).gt(-100);
// Non-geodesic polygon.
var almostGlobal = ee.Geometry.Polygon({
coords: [[-180, -80], [180, -80], [180, 80], [-180, 80], [-180, -80]],
geodesic: false
});
Map.addLayer(almostGlobal, {}, 'almostGlobal');
var vectors = bounds.selfMask().reduceToVectors({
reducer: ee.Reducer.countEvery(),
geometry: almostGlobal,
// Set the scale to the maximum possible given
// the required precision of the computation.
scale: 50000,
});
Map.addLayer(vectors, {}, 'vectors');
ในตัวอย่างก่อนหน้านี้ โปรดสังเกตการใช้รูปหลายเหลี่ยมที่ไม่ใช่แบบจีโอเดสิกเพื่อใช้ในการลดขนาดทั่วโลก
ไม่ใช้ reduceToVectors() กับ reduceRegions()
อย่าใช้ FeatureCollection ที่ reduceToVectors() แสดงผลเป็นอินพุตสำหรับ reduceRegions() แต่ให้เพิ่มย่านความถี่ที่ต้องการลดก่อนที่จะเรียกใช้
reduceToVectors():
var etopo = ee.Image('NOAA/NGDC/ETOPO1');
var mod11a1 = ee.ImageCollection('MODIS/061/MOD11A1');
// Approximate land boundary.
var bounds = etopo.select(0).gt(-100);
// Non-geodesic polygon.
var almostGlobal = ee.Geometry.Polygon({
coords: [[-180, -80], [180, -80], [180, 80], [-180, 80], [-180, -80]],
geodesic: false
});
var lst = mod11a1.first().select(0);
var means = bounds.selfMask().addBands(lst).reduceToVectors({
reducer: ee.Reducer.mean(),
geometry: almostGlobal,
scale: 1000,
maxPixels: 1e10
});
print(means.limit(10));
โปรดทราบว่าวิธีอื่นๆ ในการลดพิกเซลของรูปภาพหนึ่งภายในโซนของอีกรูปภาพหนึ่ง ได้แก่ reduceConnectedCommponents() และ/หรือตัวลดการจัดกลุ่ม
ใช้ fastDistanceTransform() สำหรับการดำเนินการในละแวกใกล้เคียง
สำหรับการดำเนินการ Convolution บางอย่าง fastDistanceTransform() อาจมีประสิทธิภาพมากกว่า reduceNeighborhood() หรือ convolve() ตัวอย่างเช่น หากต้องการทำการกัดเซาะและ/หรือการขยายอินพุตแบบไบนารี ให้ทำดังนี้
var aw3d30 = ee.Image('JAXA/ALOS/AW3D30_V1_1');
// Make a simple binary layer from a threshold on elevation.
var mask = aw3d30.select('AVE').gt(300);
Map.setCenter(-122.0703, 37.3872, 11);
Map.addLayer(mask, {}, 'mask');
// Distance in pixel units.
var distance = mask.fastDistanceTransform().sqrt();
// Threshold on distance (three pixels) for a dilation.
var dilation = distance.lt(3);
Map.addLayer(dilation, {}, 'dilation');
// Do the reverse for an erosion.
var notDistance = mask.not().fastDistanceTransform().sqrt();
var erosion = notDistance.gt(3);
Map.addLayer(erosion, {}, 'erosion');
ใช้การเพิ่มประสิทธิภาพใน reduceNeighborhood()
หากคุณต้องการทำการคอนโวลูชัน (Convolution) และใช้ fastDistanceTransform() ไม่ได้ ให้ใช้การเพิ่มประสิทธิภาพใน reduceNeighborhood()
var l8raw = ee.ImageCollection('LANDSAT/LC08/C02/T1_RT');
var composite = ee.Algorithms.Landsat.simpleComposite(l8raw);
var bands = ['B4', 'B3', 'B2'];
var optimizedConvolution = composite.select(bands).reduceNeighborhood({
reducer: ee.Reducer.mean(),
kernel: ee.Kernel.square(3),
optimization: 'boxcar' // Suitable optimization for mean.
}).rename(bands);
var viz = {bands: bands, min: 0, max: 72};
Map.setCenter(-122.0703, 37.3872, 11);
Map.addLayer(composite, viz, 'composite');
Map.addLayer(optimizedConvolution, viz, 'optimizedConvolution');
อย่าสุ่มตัวอย่างข้อมูลมากเกินความจำเป็น
หลีกเลี่ยงการเพิ่มขนาดชุดข้อมูลการฝึกโดยไม่จำเป็น แม้ว่าการเพิ่มปริมาณข้อมูลฝึกฝนจะเป็นกลยุทธ์แมชชีนเลิร์นนิงที่มีประสิทธิภาพในบางสถานการณ์ แต่ก็อาจเพิ่มต้นทุนด้านการประมวลผลโดยที่ความแม่นยำไม่ได้เพิ่มขึ้นตามไปด้วย (ดูข้อมูลเกี่ยวกับกรณีที่ควรเพิ่มขนาดชุดข้อมูลการฝึกได้ที่ข้อมูลอ้างอิงนี้) ตัวอย่างต่อไปนี้แสดงให้เห็นว่าการขอข้อมูลฝึกฝนมากเกินไปอาจทำให้เกิดข้อผิดพลาด "ค่าที่คำนวณได้มีขนาดใหญ่เกินไป" ที่น่ากลัวได้อย่างไร
อย่าสุ่มตัวอย่างข้อมูลมากเกินไป
var l8raw = ee.ImageCollection('LANDSAT/LC08/C02/T1_RT');
var composite = ee.Algorithms.Landsat.simpleComposite(l8raw);
var labels = ee.FeatureCollection('projects/google/demo_landcover_labels');
// No! Not necessary. Don't do this:
labels = labels.map(function(f) { return f.buffer(100000, 1000); });
var bands = ['B2', 'B3', 'B4', 'B5', 'B6', 'B7'];
var training = composite.select(bands).sampleRegions({
collection: labels,
properties: ['landcover'],
scale: 30
});
var classifier = ee.Classifier.smileCart().train({
features: training,
classProperty: 'landcover',
inputProperties: bands
});
print(classifier.explain()); // Computed value is too large
แนวทางที่ดีกว่าคือการเริ่มต้นด้วยข้อมูลจำนวนปานกลางและปรับแต่งไฮเปอร์พารามิเตอร์ของตัวแยกประเภทเพื่อดูว่าคุณสามารถบรรลุความแม่นยำที่ต้องการได้หรือไม่
ปรับแต่งไฮเปอร์พารามิเตอร์
var l8raw = ee.ImageCollection('LANDSAT/LC08/C02/T1_RT');
var composite = ee.Algorithms.Landsat.simpleComposite(l8raw);
var labels = ee.FeatureCollection('projects/google/demo_landcover_labels');
// Increase the data a little bit, possibly introducing noise.
labels = labels.map(function(f) { return f.buffer(100, 10); });
var bands = ['B2', 'B3', 'B4', 'B5', 'B6', 'B7'];
var data = composite.select(bands).sampleRegions({
collection: labels,
properties: ['landcover'],
scale: 30
});
// Add a column of uniform random numbers called 'random'.
data = data.randomColumn();
// Partition into training and testing.
var training = data.filter(ee.Filter.lt('random', 0.5));
var testing = data.filter(ee.Filter.gte('random', 0.5));
// Tune the minLeafPopulation parameter.
var minLeafPops = ee.List.sequence(1, 10);
var accuracies = minLeafPops.map(function(p) {
var classifier = ee.Classifier.smileCart({minLeafPopulation: p})
.train({
features: training,
classProperty: 'landcover',
inputProperties: bands
});
return testing
.classify(classifier)
.errorMatrix('landcover', 'classification')
.accuracy();
});
print(ui.Chart.array.values({
array: ee.Array(accuracies),
axis: 0,
xLabels: minLeafPops
}));
ในตัวอย่างนี้ ตัวแยกประเภทมีความแม่นยำสูงอยู่แล้ว จึงไม่ต้องปรับแต่งมากนัก คุณอาจต้องการเลือกต้นไม้ที่เล็กที่สุดเท่าที่จะเป็นไปได้ (นั่นคือ minLeafPopulation ที่ใหญ่ที่สุด) ซึ่งยังคงมีความแม่นยำตามที่ต้องการ
ผลลัพธ์ระดับกลาง Export รายการ
สมมติว่าวัตถุประสงค์ของคุณคือการเก็บตัวอย่างจากรูปภาพที่คำนวณค่อนข้างซับซ้อน การExportรูปภาพtoAsset() โหลดรูปภาพที่ส่งออก แล้วจึงสุ่มตัวอย่างมักจะมีประสิทธิภาพมากกว่า เช่น
var image = ee.Image('UMD/hansen/global_forest_change_2025_v1_13');
var geometry = ee.Geometry.Polygon(
[[[-76.64069800085349, 5.511777325802095],
[-76.64069800085349, -20.483938229362376],
[-35.15632300085349, -20.483938229362376],
[-35.15632300085349, 5.511777325802095]]], null, false);
var testRegion = ee.Geometry.Polygon(
[[[-48.86726050085349, -3.0475996402515717],
[-48.86726050085349, -3.9248707849303295],
[-47.46101050085349, -3.9248707849303295],
[-47.46101050085349, -3.0475996402515717]]], null, false);
// Forest loss in 2016, to stratify a sample.
var loss = image.select('lossyear');
var loss16 = loss.eq(16).rename('loss16');
// Scales and masks Landsat 8 surface reflectance images.
function prepSrL8(image) {
var qaMask = image.select('QA_PIXEL').bitwiseAnd(parseInt('11111', 2)).eq(0);
var opticalBands = image.select('SR_B.').multiply(0.0000275).add(-0.2);
var thermalBands = image.select('ST_B.*').multiply(0.00341802).add(149.0);
return image.addBands(opticalBands, null, true)
.addBands(thermalBands, null, true)
.updateMask(qaMask);
}
var collection = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
.map(prepSrL8);
// Create two annual cloud-free composites.
var composite1 = collection.filterDate('2015-01-01', '2015-12-31').median();
var composite2 = collection.filterDate('2017-01-01', '2017-12-31').median();
// We want a strtatified sample of this stack.
var stack = composite1.addBands(composite2)
.float(); // Export the smallest size possible.
// Export the image. This block is commented because the export is complete.
/*
var link = '0b8023b0af6c1b0ac7b5be649b54db06'
var desc = 'Logistic_regression_stack_' + link;
Export.image.toAsset({
image: stack,
description: desc,
assetId: desc,
region: geometry,
scale: 30,
maxPixels: 1e10
})
*/
// Load the exported image.
var exportedStack = ee.Image(
'projects/google/Logistic_regression_stack_0b8023b0af6c1b0ac7b5be649b54db06');
// Take a very small sample first, to debug.
var testSample = exportedStack.addBands(loss16).stratifiedSample({
numPoints: 1,
classBand: 'loss16',
region: testRegion,
scale: 30,
geometries: true
});
print(testSample); // Check this in the console.
// Take a large sample.
var sample = exportedStack.addBands(loss16).stratifiedSample({
numPoints: 10000,
classBand: 'loss16',
region: geometry,
scale: 30,
});
// Export the large sample...
ในตัวอย่างนี้ โปรดทราบว่าระบบจะส่งออกภาพเป็นแบบลอย อย่าส่งออกด้วยความแม่นยำแบบ Double Precision เว้นแต่จะจำเป็นจริงๆ เมื่อทำการส่งออกนี้ โปรดทราบว่าลิงก์ตัวแก้ไขโค้ด (ที่ได้รับทันทีก่อนการส่งออก) จะฝังอยู่ในชื่อไฟล์เพื่อให้ทำซ้ำได้
เมื่อส่งออกเสร็จแล้ว ให้โหลดชิ้นงานซ้ำและดำเนินการสุ่มตัวอย่างจากชิ้นงานนั้น โปรดทราบว่าระบบจะเรียกใช้ตัวอย่างขนาดเล็กมากในพื้นที่ทดสอบขนาดเล็กมากก่อนเพื่อแก้ไขข้อบกพร่อง เมื่อเห็นว่าดำเนินการสำเร็จแล้ว ให้เลือกตัวอย่างที่ใหญ่ขึ้นและส่งออก
โดยปกติแล้วตัวอย่างขนาดใหญ่เช่นนี้จะต้องส่งออก อย่าคาดหวังว่าตัวอย่างดังกล่าวจะพร้อมใช้งานแบบอินเทอร์แอกทีฟ (เช่น ผ่าน print()) หรือใช้งานได้ (เช่น เป็นอินพุตสำหรับตัวแยกประเภท) โดยไม่ต้องส่งออกก่อน
Join เทียบกับ map-filter
สมมติว่าคุณต้องการรวมคอลเล็กชันตามเวลา สถานที่ หรือพร็อพเพอร์ตี้ข้อมูลเมตาบางอย่าง โดยทั่วไปแล้ว การดำเนินการนี้จะทำได้อย่างมีประสิทธิภาพมากที่สุดด้วยการรวม ตัวอย่างต่อไปนี้จะทำการรวมเชิงพื้นที่และเวลา (Spatio-Temporal Join) ระหว่างคอลเล็กชัน Landsat 8 และ Sentinel-2
var s2 = ee.ImageCollection('COPERNICUS/S2_HARMONIZED')
.filterBounds(ee.Geometry.Point([-2.0205, 48.647]));
var l8 = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2');
var joined = ee.Join.saveAll('landsat').apply({
primary: s2,
secondary: l8,
condition: ee.Filter.and(
ee.Filter.maxDifference({
difference: 1000 * 60 * 60 * 24, // One day in milliseconds
leftField: 'system:time_start',
rightField: 'system:time_start',
}),
ee.Filter.intersects({
leftField: '.geo',
rightField: '.geo',
})
)
});
print(joined);
แม้ว่าคุณควรลองใช้การรวมก่อน (Export หากจำเป็น) แต่บางครั้ง filter() ภายใน map() ก็อาจมีประสิทธิภาพเช่นกัน โดยเฉพาะอย่างยิ่งสำหรับคอลเล็กชันขนาดใหญ่มาก
var s2 = ee.ImageCollection('COPERNICUS/S2_HARMONIZED')
.filterBounds(ee.Geometry.Point([-2.0205, 48.647]));
var l8 = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2');
var mappedFilter = s2.map(function(image) {
var date = image.date();
var landsat = l8
.filterBounds(image.geometry())
.filterDate(date.advance(-1, 'day'), date.advance(1, 'day'));
// Return the input image with matching scenes in a property.
return image.set({
landsat: landsat,
size: landsat.size()
});
}).filter(ee.Filter.gt('size', 0));
print(mappedFilter);
reduceRegion() เทียบกับ reduceRegions() เทียบกับ for-loop
การเรียกใช้ reduceRegions() โดยมี FeatureCollection ที่มีขนาดใหญ่หรือซับซ้อนมากเป็นอินพุตอาจทำให้เกิดข้อผิดพลาด "ค่าที่คำนวณได้มีขนาดใหญ่เกินไป" ที่น่ากลัว วิธีหนึ่งที่เป็นไปได้คือการแมป reduceRegion() ผ่าน FeatureCollection แทน อีกวิธีหนึ่งที่เป็นไปได้คือการใช้ (อึ้ง) for-loop แม้ว่าเราจะไม่แนะนำให้ทำเช่นนี้ใน Earth Engine ตามที่อธิบายไว้ในแผนที่ (สิ่งที่ควรทำแทนการใช้ for-loop), แนวคิดการเขียนโปรแกรมเชิงฟังก์ชัน และการวนซ้ำ แต่คุณสามารถใช้ reduceRegion() ใน for-loop เพื่อทำการลดขนาดใหญ่ได้
สมมติว่าวัตถุประสงค์ของคุณคือการหาค่าเฉลี่ยของพิกเซล (หรือสถิติใดๆ) ในแต่ละฟีเจอร์ใน FeatureCollection สำหรับแต่ละรูปภาพใน ImageCollection
ตัวอย่างต่อไปนี้เปรียบเทียบแนวทาง 3 แนวทางที่อธิบายไว้ก่อนหน้านี้
// Table of countries.
var countriesTable = ee.FeatureCollection("USDOS/LSIB_SIMPLE/2017");
// Time series of images.
var mod13a1 = ee.ImageCollection("MODIS/061/MOD13A1");
// MODIS vegetation indices (always use the most recent version).
var band = 'NDVI';
var imagery = mod13a1.select(band);
// Option 1: reduceRegions()
var testTable = countriesTable.limit(1); // Do this outside map()s and loops.
var data = imagery.map(function(image) {
return image.reduceRegions({
collection: testTable,
reducer: ee.Reducer.mean(),
scale: 500
}).map(function(f) {
return f.set({
time: image.date().millis(),
date: image.date().format()
});
});
}).flatten();
print(data.first());
// Option 2: mapped reduceRegion()
var data = countriesTable.map(function(feature) {
return imagery.map(function(image) {
return ee.Feature(feature.geometry().centroid(100),
image.reduceRegion({
reducer: ee.Reducer.mean(),
geometry: feature.geometry(),
scale: 500
})).set({
time: image.date().millis(),
date: image.date().format()
}).copyProperties(feature);
});
}).flatten();
print(data.first());
// Option 3: for-loop (WATCH OUT!)
var size = countriesTable.size();
// print(size); // 312
var countriesList = countriesTable.toList(1); // Adjust size.
var data = ee.FeatureCollection([]); // Empty table.
for (var j=0; j<1; j++) { // Adjust size.
var feature = ee.Feature(countriesList.get(j));
// Convert ImageCollection > FeatureCollection
var fc = ee.FeatureCollection(imagery.map(function(image) {
return ee.Feature(feature.geometry().centroid(100),
image.reduceRegion({
reducer: ee.Reducer.mean(),
geometry: feature.geometry(),
scale: 500
})).set({
time: image.date().millis(),
date: image.date().format()
}).copyProperties(feature);
}));
data = data.merge(fc);
}
print(data.first());
โปรดทราบว่าระบบจะพิมพ์สิ่ง first() จากแต่ละคอลเล็กชันเพื่อวัตถุประสงค์ในการแก้ไขข้อบกพร่อง คุณไม่ควรคาดหวังว่าผลลัพธ์ที่สมบูรณ์จะพร้อมใช้งานแบบอินเทอร์แอกทีฟ คุณจะต้องExport นอกจากนี้ โปรดทราบว่าควรใช้ for-loop ด้วยความระมัดระวังอย่างยิ่งและใช้เป็นทางเลือกสุดท้ายเท่านั้น สุดท้าย for-loop ต้องใช้การรับขนาดของคอลเล็กชันอินพุตด้วยตนเองและฮาร์ดโค้ดในตำแหน่งที่เหมาะสม หากคุณไม่เข้าใจสิ่งที่กล่าวมาข้างต้น อย่าใช้ for-loop
ใช้ความแตกต่างแบบเดินหน้าสำหรับเพื่อนบ้านในเวลา
สมมติว่าคุณมี ImageCollection ที่จัดเรียงตามเวลา (เช่น อนุกรมเวลา) และต้องการเปรียบเทียบรูปภาพแต่ละรูปกับรูปภาพก่อนหน้า (หรือถัดไป) การใช้การหาผลต่างไปข้างหน้าแบบอาร์เรย์อาจมีประสิทธิภาพมากกว่าการใช้ iterate() เพื่อวัตถุประสงค์นี้ ตัวอย่างต่อไปนี้ใช้วิธีนี้เพื่อกรองข้อมูลที่ซ้ำกันออกจากคอลเล็กชัน Sentinel-2 โดยระบบจะถือว่าข้อมูลที่ซ้ำกันคือรูปภาพที่มีวันเดียวกันในปีนั้นๆ
var sentinel2 = ee.ImageCollection('COPERNICUS/S2_HARMONIZED');
var sf = ee.Geometry.Point([-122.47555371521855, 37.76884708376152]);
var s2 = sentinel2
.filterBounds(sf)
.filterDate('2018-01-01', '2019-12-31');
var withDoys = s2.map(function(image) {
var ndvi = image.normalizedDifference(['B4', 'B8']).rename('ndvi');
var date = image.date();
var doy = date.getRelative('day', 'year');
var time = image.metadata('system:time_start');
var doyImage = ee.Image(doy)
.rename('doy')
.int();
return ndvi.addBands(doyImage).addBands(time)
.clip(image.geometry()); // Appropriate use of clip.
});
var array = withDoys.toArray();
var timeAxis = 0;
var bandAxis = 1;
var dedupe = function(array) {
var time = array.arraySlice(bandAxis, -1);
var sorted = array.arraySort(time);
var doy = sorted.arraySlice(bandAxis, -2, -1);
var left = doy.arraySlice(timeAxis, 1);
var right = doy.arraySlice(timeAxis, 0, -1);
var mask = ee.Image(ee.Array([[1]]))
.arrayCat(left.neq(right), timeAxis);
return array.arrayMask(mask);
};
var deduped = dedupe(array);
// Inspect these outputs to confirm that duplicates have been removed.
print(array.reduceRegion('first', sf, 10));
print(deduped.reduceRegion('first', sf, 10));
ตรวจสอบคอลเล็กชันที่พิมพ์ออกมาเพื่อยืนยันว่าได้นำรายการที่ซ้ำกันออกแล้ว