平衡訓練數(shù)據(jù)是數(shù)據(jù)預(yù)處理的重要組成部分。數(shù)據(jù)不平衡是指數(shù)據(jù)集中的類分布不均，這可能會導致模型訓練的潛在風險。有幾種方法可以平衡訓練數(shù)據(jù)和克服不平衡數(shù)據(jù)，包括重采樣和權(quán)重平衡。想象一下，如果有一個模型可以識別圖片中是狗還是貓。在測試過程中，模型正確識別了圖片中的所有狗，但沒有識別出貓。在查看訓練數(shù)據(jù)集時，意識到有10張狗的圖片和100張貓的圖片。這是數(shù)據(jù)不平衡的一個例子，其中每個對象類的數(shù)據(jù)集沒有可比數(shù)量的實例。

你需要知道的事實是，不平衡的數(shù)據(jù)無處不在，無法避免數(shù)據(jù)集不平衡。考慮一個調(diào)查電動車車主對電動車維修費意見的例子。因為大部分開電動車的人年收入都很高，所以80%的結(jié)果是“收費還算合理”。

換句話說，數(shù)據(jù)集是有偏見的。一個訓練來預(yù)測調(diào)查反應(yīng)的模型通常會預(yù)測一個人，無論收入、駕駛傾向或汽車偏好如何，都會認為費用低廉。

在檢查犯罪數(shù)據(jù)時也會出現(xiàn)同樣的問題。在使用人工智能 (AI) 預(yù)測犯罪行為時，不平衡的犯罪數(shù)據(jù)集會使數(shù)據(jù)集中存在的種族和性別偏見永久化。在面對不平衡數(shù)據(jù)時，使用方法改進訓練過程至關(guān)重要，平衡訓練數(shù)據(jù)有兩種主要方法：關(guān)注數(shù)據(jù)集或權(quán)重。

在我們不想改變模型的情況下，我們可以簡單地進行數(shù)據(jù)預(yù)處理。換句話說，我們應(yīng)該查看我們的數(shù)據(jù)集，了解數(shù)據(jù)分布，并決定如何重新采樣我們的數(shù)據(jù)，這是平衡訓練數(shù)據(jù)的一步。這里，有兩種可能的方法：

過/欠采樣：在少數(shù)類中增加樣本或在多數(shù)類中減少樣本。

聚類技術(shù)：這類似于重采樣，但不是將樣本添加到不同的類中，我們首先找到每個類中的子類或子簇，然后復制子類中的樣本以確保大小相等。

權(quán)重平衡是平衡訓練數(shù)據(jù)和處理不平衡數(shù)據(jù)的另一種好方法，這是通過乘以 logits 將類權(quán)重添加到損失函數(shù)來完成的。我們首先定義類權(quán)重以賦予少數(shù)類額外的權(quán)重，然后將類權(quán)重乘以損失函數(shù)。在 Tensorflow 中，您可以執(zhí)行以下操作：

loss = tf.nn.softmax_cross_entropy_with_logits(labels, pred)

weighted_loss = loss * class_weights

為什么我們要將權(quán)重乘以原始損失函數(shù)?這使得損失成為加權(quán)平均值，其中每個樣本的權(quán)重由其對應(yīng)類的 class_weight 指定。

在 Modzy 平衡訓練數(shù)據(jù)

在 Modzy，我們的數(shù)據(jù)科學家將數(shù)據(jù)預(yù)處理視為一項 關(guān)鍵任務(wù)。在訓練我們的模型之前，我們確保我們的數(shù)據(jù)集不會產(chǎn)生潛在風險并且我們的模型是穩(wěn)健的。

這對您意味著什么

在 AI 激增的世界中，重要的是我們要特別關(guān)注訓練數(shù)據(jù)，以降低有偏差輸出的風險。

上述就是關(guān)于如何解決不平衡數(shù)據(jù)集的問題的全部內(nèi)容，想了解更多關(guān)于人工智能的信息，請繼續(xù)關(guān)注中培偉業(yè)。