靜態與動態推論:驗收成果

靜態 (離線) 推論

請參考下列選項。

在離線推論中,我們會一次對大量資料進行預測,。然後,我們會將這些預測結果放入查詢資料表,供日後使用。以下關於離線推論的敘述何者正確?
我們必須為所有可能的輸入內容建立預測資料。
會,我們必須對所有可能的輸入內容進行預測,並將這些內容儲存至快取或對照表中,以便使用離線推論功能。這是離線推論的其中一個缺點。我們只能針對已知道的範例提供預測。不過,我們預測的組合項目有限時 (例如全球所有城市或資料庫資料表中的所有項目) 就沒有問題。不過,如果是任意形式輸入內容,例如使用者查詢包含不尋常或罕見的項目,我們就無法透過離線推論系統提供完整的涵蓋範圍。
產生預測之後,我們必須先驗證預測結果才能加以套用。
這確實是離線推論的一項實用內容。針對所有預測結果,我們可以在使用前進行完整性檢查及驗證。
我們能比使用線上推論更快,針對特定輸入提供預測。
離線推論的其中一項優點是,一旦將預測結果寫入某些查詢資料表,就能在最短延遲時間內提供預測結果。不需要在要求時進行特徵運算或模型推論。
我們必須長時間監控輸入信號。
這種情況在我們實際不需要長時間監控輸入信號。這是因為將預測結果寫入查詢資料表後,我們不再依賴輸入特徵,請注意,模型的後續更新都將需要進行新的輸入驗證作業。
讓我們能快速因應世界上的變化。
不,這是離線推論的缺點。我們必須等到將一組新的預測寫入查詢資料表之後,才能根據世界的任何變化做出不同的回應。

動態 (線上) 推論

請參考下列選項。

動態 (線上) 推論是指隨選預測。也就是說,在線上推論中,我們會將經過訓練的模型放到伺服器上,並視需要發出推論要求。以下有關動態推論的敘述何者正確?
您可以為所有可能的項目提供預測結果。
是的,這是線上推論的一項優勢。凡是傳入的要求,都會獲得分數。線上推論會處理長尾的分佈 (內含許多稀有項目的情況),例如電影評論中所有可能句子的空間。
您可以在使用預測結果前進行驗證。
一般來說,由於預測是隨選預測,因此無法在使用所有預測結果前進行驗證。但是,您可以監控「匯總」預測性質來提供一定程度的健全檢查,但只有在火災傳播後,才會發出警報。
請務必謹慎監控輸入信號。
會。由於上游問題可能會突然變更信號,進而對預測結果造成負面影響。
執行線上推論時,比起執行離線推論,您不必擔心預測延遲時間 (傳回預測結果的延遲時間) 為何。
預測延遲時間通常是線上推論的真正疑慮。可惜的是,新增更多推論伺服器不一定能修正預測延遲問題。