發布日期：2022-05-18 點擊率：52
如果我告訴您想象一下馬與鳥之間的某種事物（例如，飛馬），您是否需要看一個具體的例子？這樣的生物不存在，但是沒有什么能阻止我們利用我們的想象力創造一個這種生物：飛馬。
人的思維具有各種機制，可以通過結合現實世界中的抽象知識和具體知識來創建新概念。我們可以想象到我們可能從未見過的現有事物（一頭長脖子的馬-長頸鹿），以及在現實生活中不存在的事物（一條長著翅膀的大蛇，吐著火的龍）。這種認知上的靈活性使我們學習新事物的機會很少，有時甚至沒有新的例子。
相反，眾所周知，機器學習和深度學習（當前的人工智能領先領域）需要許多示例來學習新任務，即使它們與他們已經知道的事物相關。
克服這一挑戰導致了機器學習方面的大量研究工作和創新。盡管我們離創造可以復制大腦理解能力的人工智能還很遙遠，但是該領域的進步是驚人的。
例如，轉移學習是一種技術，它使開發人員可以為新任務微調人工神經網絡，而無需許多培訓示例。一次學習和一次學習就可以使通過一個任務訓練的機器學習模型能夠執行一個或幾個新示例來執行相關任務。例如，如果您擁有訓練有素的圖像分類器來檢測排球和足球，則可以使用一次性學習將籃球添加到它可以檢測到的類別列表中。
AI科學家最近開發了一種稱為“少于一次射擊學習”（或LO-shot學習）的新技術，它將一次射擊學習提高到了一個新的水平。LO-shot學習背后的想法是，要訓練一種機器學習模型來檢測M個類別，每個類別需要少于一個樣本。該技術在arXiv預處理器中發表的一篇論文中介紹，目前仍處于早期階段，但顯示出了該方向的前景，并且可以在沒有足夠數據或太多類的各種情況下使用。
k-NN分類器
k-NN機器學習算法通過查找最接近的實例對數據進行分類。
研究人員提出的LO-shot學習技術適用于“ k近鄰”機器學習算法。K-NN可用于分類（確定輸入的類別）或回歸（預測輸入的結果）任務。但是為了進行討論，我們仍將分類。
顧名思義，k-NN通過將輸入數據與其k個最近的鄰居進行比較來對輸入數據進行分類（k是可調整的參數）。假設您想創建一個k-NN機器學習模型來對手寫數字進行分類。首先，為它提供一組帶有標簽的數字圖像。然后，當您為模型提供新的，未標記的圖像時，它將通過查看其最近的鄰居來確定其類別。
例如，如果將k設置為5，則機器學習模型將為每個新輸入找到五張最相似的數字照片。假設其中三個屬于“ 7”類，它將把圖像分類為數字七。
k-NN是一種“基于實例的”機器學習算法。當您為每個類提供更多帶標簽的示例時，它的準確性會提高，但性能會下降，因為每個新樣本都會添加新的比較操作。
在他們的LO-shot學習論文中，研究人員表明，使用k-NN可以獲得準確的結果，同時提供的示例要少于課堂。人工智能研究人員寫道：“我們提出'少于一個'一次性學習（LO-shot學習），即在這種情況下，模型必須僅給出M<N個示例，每個類少于一個示例，才能學習N個新類?！?“乍看之下，這似乎是不可能完成的任務，但我們在理論和經驗上都證明了可行性?！?/p>
機器學習每班少于一個示例
經典的k-NN算法提供“硬標簽”，這意味著對于每個輸入，它都提供了它所屬的一個類。另一方面，軟標簽提供了輸入屬于每個輸出類別的可能性（例如，有20％的可能性是“ 2”，有70％的可能性是“ 5”，有10％的可能性是“ 5”）。
滑鐵盧大學的AI研究人員在工作中探索了是否可以使用軟標簽來概括k-NN算法的功能。LO-shot學習的命題是，軟標簽原型應允許機器學習模型對少于N個標記實例的N個類進行分類。
該技術建立在研究人員先前在軟標簽和數據蒸餾方面所做的工作的基礎上。該論文的合著者Ilia Sucholutsky對TechTalks表示： “數據集蒸餾是一種生成小型合成數據集的過程，該數據集可以對模型進行訓練，使其具有與在完整訓練集上進行訓練相同的精度。“在使用軟標簽之前，數據集提煉能夠使用每類一個示例來表示像MNIST這樣的數據集。我意識到，添加軟標簽意味著我實際上可以在每個班級使用少于一個示例來代表MNIST。”
MNIST是經常在訓練和測試機器學習模型中使用的手寫數字圖像的數據庫。Sucholutsky和他的同事Matthias Schonlau僅用卷積神經網絡LeNet上的五個合成示例就設法在MNIST上實現了90％以上的準確性。
Sucholutsky說：“這個結果讓我感到非常驚訝，這就是讓我對這種LO鏡頭學習環境進行更廣泛思考的原因?！?/p>
基本上，LO-shot使用軟標簽通過在現有類之間劃分空間來創建新類。
LO-shot學習使用軟標簽在現有類之間劃分空間。
在上面的示例中，有兩個實例可以調整機器學習模型（用黑點顯示）。經典的k-NN算法會在兩個類別之間的兩個點之間劃分空間。但是，所謂的“軟標簽原型k-NN”（SLaPkNN）算法（稱為OL-shot學習模型）在兩個類（綠色區域）之間創建了一個新空間，它代表了一個新標簽（想像帶翅膀的馬） ）。在這里，我們用N-1個樣本實現了N類。
在論文中，研究人員表明，LO-shot學習可以擴展到使用N個標簽甚至更多標簽來檢測3N-2類。
LO-shot學習可以擴展為每個實例獲取多個類。左：從四個實例獲得10個類。右：從五個實例獲得13個類。
Sucholutsky和Schonlau在他們的實驗中發現，使用正確的軟標簽配置，LO-shot機器學習即使在有嘈雜數據的情況下也可以提供可靠的結果。
Sucholutsky表示：“我認為LO-shot學習也可以從其他信息源中進行工作-類似于多少次零學習方法，但是軟標簽是最直接的方法?！笨梢哉业竭m合LO-shot機器學習的正確軟標簽的方法。
盡管本文展示了使用k-NN分類器進行LO射擊學習的強大功能，但Sucholutsky表示，該技術也適用于其他機器學習算法。Sucholutsky說：“論文中的分析專門針對k-NN，因為它更易于分析，但它適用于可以使用軟標簽的任何分類模型。” 研究人員將很快發布更全面的論文，展示LO-shot學習在深度學習模型中的應用。
機器學習研究的新場所
“對于像k-NN這樣的基于實例的算法，LO-shot學習的效率提高非常大，尤其是對于具有大量類的數據集，” Susholutsky說?！案鼜V泛地說，LO-shot學習在將分類算法應用于具有大量類的數據集的任何類型的環境中都是有用的，尤其是對于某些類而言，只有很少或沒有示例可用時，尤其如此?；旧希诖蠖鄶登闆r下使用零鏡頭學習或少鏡頭學習的設置，LO鏡頭學習也可能有用。”
例如，必須從圖像和視頻幀中識別成千上萬個對象的計算機視覺系統可以從這種機器學習技術中受益，特別是如果對于某些對象沒有可用的示例。另一個應用是用于自然具有軟標簽信息的任務，例如執行情感分析的自然語言處理系統（例如，一個句子可能同時表達悲傷和憤怒）。
研究人員在論文中將“少于一次”的學習描述為“機器學習研究中可行的新方向”。
他們寫道：“我們相信，創建專門針對LO-shot學習優化原型的軟標簽原型生成算法是下一步探索這一領域的重要一步?！?/p>
“以前，已經在幾種設置中探索了軟標簽。Susholutsky說：“這里的新內容是我們探索它們的極端環境?！?“我認為，在單發和零發學習之間隱藏著另一種制度并不是直接顯而易見的想法?！?/p>
下一篇： PLC、DCS、FCS三大控
上一篇： 機器視覺和人類感知的
