識別圖像的方法和設備與流程
2024-04-13 12:54:05
識別圖像的方法和設備
1.本技術要求於2021年9月24日在韓國知識產權局提交的第10-2021-0126395號韓國專利申請的權益，所述韓國專利申請的全部公開出於所有目的通過引用包含於此。
技術領域
2.下面的描述涉及一種識別圖像的方法和設備。
背景技術：
3.可在用戶終端中執行與人工智慧(ai)相關的各種操作以增強用戶便利性。通常，由於ai算法需要大量的存儲器和計算，因此，ai算法可經由獨立的伺服器或雲服務來執行，並且可能難以在用戶終端(諸如，智慧型電話)中執行ai算法。
技術實現要素：
4.提供本發明內容以簡化的形式介紹在下面的具體實施方式中進一步描述的構思的選擇。本發明內容不意在確定要求權利的主題的關鍵特徵或必要特徵，也不意在用於幫助確定要求權利的主題的範圍。
5.在一個總體方面，一種識別圖像的方法包括：獲得待識別圖像；通過基於作為第一圖像信息的待識別圖像進行採樣，在由多個預定離散值表示的類別集中確定與第一權重矩陣對應的核自適應權重；基於第一權重矩陣和對應於第一權重矩陣的核自適應權重來確定第一統一核；基於第一圖像信息和第一統一核執行卷積運算，以獲得第二圖像信息；以及基於第二圖像信息獲得圖像識別結果。
6.基於第二圖像信息獲得圖像識別結果的步驟可包括：通過基於第二圖像信息進行採樣，在由多個預定離散值表示的類別集中確定與第二權重矩陣對應的核自適應權重；基於第二權重矩陣和對應於第二權重矩陣的核自適應權重來確定第二統一核；基於第二圖像信息和第二統一核執行卷積運算，以獲得第三圖像信息；以及基於第三圖像信息獲得圖像識別結果。
7.確定與第一權重矩陣對應的核自適應權重的步驟可包括：生成與第一圖像信息對應的多個核相關性分數；以及基於與第一圖像信息對應的多個核相關性分數來確定與第一權重矩陣對應的核自適應權重；確定與第二權重矩陣對應的核自適應權重的步驟可包括：生成與第二圖像信息對應的多個核相關性分數；以及基於與第二圖像信息對應的多個核相關性分數來確定與第二權重矩陣對應的核自適應權重。
8.基於所述多個核相關性分數確定核自適應權重的步驟可包括：通過對所述多個核相關性分數執行耿貝爾柔性最大採樣來確定核自適應權重。
9.確定核自適應權重的步驟可包括：在由0和1表示的類別集中確定與權重矩陣對應的核自適應權重。
10.確定統一核的步驟可包括：通過對其核自適應權重被確定為1的權重矩陣進行求和來確定統一核。
11.確定核自適應權重的步驟可包括：在由0和1表示的類別集中，將與多個權重矩陣中的一個權重矩陣對應的核自適應權重確定為1。
12.確定統一核的步驟可包括：將所述一個權重矩陣確定為統一核。
13.確定核自適應權重的步驟可包括：在由2的冪表示的類別集中確定與權重矩陣對應的自適應權重。
14.確定統一核的步驟可包括：執行每個權重矩陣和對應於權重矩陣的核自適應權重之間的移位運算。
15.所述方法還可包括：基於偏置和核自適應權重來確定統一偏置，其中，執行卷積運算的步驟可包括：基於第一圖像信息、第一統一核和統一偏置來執行卷積運算。
16.在另一總體方面，一種識別圖像的設備包括：一個或多個處理器，被配置為：獲得待識別圖像；通過基於作為第一圖像信息的待識別圖像進行採樣，在由多個預定離散值表示的類別集中確定與第一權重矩陣對應的核自適應權重；基於第一權重矩陣和對應於第一權重矩陣的核自適應權重來確定第一統一核；基於第一圖像信息和第一統一核執行卷積運算，以獲得第二圖像信息；以及基於第二圖像信息獲得圖像識別結果。
17.為了基於第二圖像信息獲得圖像識別結果，所述一個或多個處理器可被配置為：通過基於第二圖像信息進行採樣，在由多個預定離散值表示的類別集中確定與第二權重矩陣對應的核自適應權重；基於第二權重矩陣和對應於第二權重矩陣的核自適應權重來確定第二統一核；基於第二圖像信息和第二統一核執行卷積運算，以獲得第三圖像信息；以及基於第三圖像信息獲得圖像識別結果。
18.為了確定與第一權重矩陣對應的核自適應權重，所述一個或多個處理器可被配置為：生成與第一圖像信息對應的多個核相關性分數；以及基於與第一圖像信息對應的多個核相關性分數來確定與第一權重矩陣對應的核自適應權重；為了確定與第二權重矩陣對應的核自適應權重，所述一個或多個處理器可被配置為：生成與第二圖像信息對應的多個核相關性分數；以及基於與第二圖像信息對應的多個核相關性分數來確定與第二權重矩陣對應的核自適應權重。
19.為了基於所述多個核相關性分數確定核自適應權重，所述一個或多個處理器可被配置為：通過對所述多個核相關性分數執行耿貝爾柔性最大採樣來確定核自適應權重。
20.為了確定核自適應權重，所述一個或多個處理器可被配置為：在由0和1表示的類別集中確定與權重矩陣對應的核自適應權重。
21.為了確定統一核，所述一個或多個處理器可被配置為：通過對其核自適應權重被確定為1的權重矩陣進行求和來確定統一核。
22.為了確定核自適應權重，所述一個或多個處理器可被配置為：在由0和1表示的類別集中，將與多個權重矩陣中的一個權重矩陣對應的核自適應權重確定為1。
23.為了確定統一核，所述一個或多個處理器可被配置為：將所述一個權重矩陣確定為統一核。
24.為了確定核自適應權重，所述一個或多個處理器可被配置為：在由2的冪表示的類別集中確定與權重矩陣對應的核自適應權重。
25.為了確定統一核，所述一個或多個處理器可被配置為：執行每個權重矩陣和對應於權重矩陣的核自適應權重之間的移位運算。
26.所述一個或多個處理器可被配置為：基於偏置和核自適應權重來確定統一偏置；以及基於第一圖像信息、第一統一核和統一偏置來執行卷積運算。
27.在另一總體方面，一種識別圖像的方法包括：獲得待識別圖像；基於作為第一圖像信息的待識別圖像確定權重矩陣的離散值核自適應權重；基於權重矩陣和對應於權重矩陣的核自適應權重來確定統一核；通過執行第一圖像信息與統一核之間的卷積來生成第二圖像信息；以及基於第二圖像信息獲得圖像識別結果。
28.確定統一核的步驟可包括：選擇權重矩陣中的一個權重矩陣作為統一核。
29.選擇權重矩陣中的所述一個權重矩陣的步驟可包括：選擇權重矩陣中的與核自適應權重之中的預定核自適應權重對應的一個權重矩陣。
30.確定統一核的步驟可包括：基於相應的核自適應權重對多個權重矩陣執行移位運算；以及通過對已移位的權重矩陣進行求和來確定統一核。
31.在另一總體方面，一個或多個實施例包括一種存儲指令的非暫時性計算機可讀存儲介質，所述指令在由一個或多個處理器執行時，將所述一個或多個處理器配置為執行在此描述的操作和方法中的任何一個、任何組合或全部。
32.根據下面的具體實施方式、附圖和權利要求，其他特徵和方面將是清楚的。
附圖說明
33.圖1示出使用人工神經網絡的深度學習運算方法的示例。
34.圖2示出執行動態卷積運算的方法的示例。
35.圖3示出確定統一核的方法的示例。
36.圖4示出執行動態卷積運算的方法的示例。
37.圖5示出執行動態卷積運算的方法的示例。
38.圖6示出執行動態卷積運算的方法的示例。
39.圖7示出用於執行動態卷積運算的設備的示例。
40.在整個附圖和具體實施方式中，除非另有描述或提供，否則相同的附圖參考標號將被理解為表示相同的元件、特徵和結構。附圖可不按比例，並且為了清楚、說明和方便，附圖中的元件的相對大小、比例和描繪可被誇大。
具體實施方式
41.提供以下具體實施方式以幫助讀者獲得對在此描述的方法、設備和/或系統的全面理解。然而，在理解本技術的公開之後，在此描述的方法、設備和/或系統的各種改變、修改和等同物將是清楚的。例如，在此描述的操作順序僅是示例，並且不限於在此闡述的那些順序，而是除了必須以特定順序發生的操作之外，可如在理解申請的公開之後將是清楚地那樣改變。此外，為了更清楚和簡明，可省略對在理解本技術的公開之後本領域中已知的特徵的描述。
42.儘管術語「第一」或「第二」用於解釋各種構件、組件、區域、層或部分，但是這些構件、組件、區域、層或部分不受到這些術語限制。相反，這些術語應當僅用於將一個構件、組件、區域、層或部分與另一構件、組件、區域、層或部分區分開。例如，在不脫離示例的教導的情況下，在此描述的示例中所稱的「第一」構件、「第一」組件、「第一」區域、「第一」層或「第
一」部分也可被稱為「第二」構件、「第二」組件、「第二」區域、「第二」層或「第二」部分。
43.應注意，如果描述一個組件「連接到」、「結合到」或「接合到」另一組件時，則儘管第一組件可直接連接到、結合到或接合到第二組件，但是第三組件可「連接」、「結合」和「接合」在第一組件與第二組件之間。相反，應注意，如果描述一個組件「直接連接到」、「直接結合到」或「直接接合到」到另一組件，則第三組件可不存在。描述組件之間的關係的表述(例如，「在
……
之間」、「直接在
……
之間」或「直接與
……
相鄰」等)應當被解釋為相似的。
44.除非上下文另外清楚地指示，否則單數形式也意在在包括複數形式。如在此使用的，術語「和/或」包括相關聯的所列項中的任何一個和任何兩個或更多個的任何組合。還應理解，當在本說明書中使用術語「包括」、「包含」和/或「由
……
組成」時，表明存在陳述的特徵、整體、步驟、操作、元件、組件或它們的組合，但不排除存在或添加一個或多個其他特徵、整體、步驟、操作、元件、組件和/或它們的組。在此關於示例或實施例的術語「可」的使用(例如，關於示例或實施例可包括或可實現什麼)表示存在包括或實現這樣的特徵的至少一個示例或實施例，但是所有示例不限於此。
45.除非另外定義，否則在此使用的所有術語(包括技術術語或科學術語)具有與示例所屬領域的普通技術人員在理解本公開之後通常理解的含義相同的含義。還應理解，除非在此明確地如此定義，否則術語(諸如，在通用詞典中定義的術語)應當被解釋為具有與它們在相關領域的上下文和本公開中的含義一致的含義，並且將不以理想化或過於正式的含義進行解釋。
46.示例可被實現為各種類型的產品(諸如，以個人計算機(pc)、膝上型計算機、平板計算機、智慧型電話、電視(tv)、智能家用電器、智能交通工具、自助服務機和可穿戴裝置為例)。在下文中，將參照附圖詳細描述示例。在附圖中，相同的參考標號用於相同的元件。
47.圖1示出使用人工神經網絡的深度學習運算方法的示例。
48.包括深度學習的人工智慧(ai)算法可將數據10輸入到人工神經網絡(ann)，並且可通過運算(例如，卷積)來學習輸出數據30。在ann中，節點可相互連接並且共同操作以處理輸入數據。各種類型的神經網絡可包括例如卷積神經網絡(cnn)、循環神經網絡(rnn)、深度信念網絡(dbn)或受限玻爾茲曼機(rbm)，但不限於此。在前饋神經網絡中，節點可具有到其他節點的鏈路。可通過神經網絡在單個方向(例如，前向方向)上擴展鏈路。儘管神經網絡可被稱為「人工」神經網絡，但是這樣的引用不意在在賦予關於「神經網絡如何計算地映射或從而直覺地識別信息」與「生物大腦如何操作」的任何相關性。即，術語「人工神經網絡」僅是表示硬體實現的神經網絡的技術術語。
49.圖1示出輸入數據10被輸入到ann並且輸出數據30通過包括一個或多個層的ann(例如，cnn 20)輸出的結構。ann可以是例如包括至少兩個層的深度神經網絡(dnn)。在一個示例中，cnn 20可以是用於圖像識別(例如，對象檢測、對象識別、面部識別等)的神經網絡。
50.cnn 20可用於從輸入數據10(例如，待識別圖像)提取「特徵」(例如，邊界、線條和顏色)。cnn 20可包括多個層。每個層可接收數據，處理輸入到相應層的數據，並生成將要從相應層輸出的數據。在一個示例中，層的輸入數據可以是待識別圖像，或者是基於待識別圖像生成的圖像信息。在一個示例中，「圖像信息」可以是待識別圖像或對圖像進行處理(例如，通過相應層)的結果。從當前層輸出的數據可以是通過執行輸入到cnn 20的圖像或作為圖像信息的特徵圖與至少一個濾波器的權重值的卷積運算而生成的作為圖像信息的輸出
特徵圖，並且輸出特徵圖可被輸入到後續層作為後續層的輸入數據。cnn 20的初始層可進行操作以從輸入提取相對低水平的特徵(例如，邊緣或梯度)。cnn 20的後續層可基於先前層輸出的圖像信息逐漸提取圖像中的更複雜的特徵(例如，眼睛或鼻子)。輸出數據30可包括圖像識別結果。
51.低功率和低計算量的輕量級網絡可用於在移動裝置(諸如，智慧型電話)中運行ai算法。例如，可在諸如安裝在智慧型電話上的應用處理器(ap)或具有較低處理功率的微控制器(mcu)的環境下執行ann。
52.例如，執行動態卷積可在減輕運算量增大的負擔的同時增加網絡的表達能力。與每一層具有一個卷積核的典型卷積不同，動態卷積可學習多組卷積核。然後，可在使用輸入圖像信息將多個卷積核聚合成一個核之後執行最終卷積運算而不是對每個核執行卷積運算。
53.因此，使用這樣的動態卷積，與使用的核的數量的增加相比，運算量增大的負擔可能不顯著。此外，由於根據輸入信息(例如，輸入圖像信息)動態地調整核權重，網絡準確性可被提高。
54.然而，典型的動態卷積在計算資源的使用受到高度限制的環境(諸如，mcu)下可能具有限制。
55.更具體地，例如，針對輸入x的典型卷積運算可由下面示出的等式1表示。
56.等式1：
57.y＝wx+b
58.在等式1中，w可表示卷積核的權重矩陣，並且b可表示偏置。此後，可通過將適當的激活函數(例如，線性整流函數relu和s型函數sigmoid)應用於y來獲得每個層的輸出數據。
59.另一方面，例如，動態卷積運算可由下面示出的等式2表示。
60.等式2：
[0061][0062]
在等式3中，如下所示，可分別通過k個權重矩陣wk和k個偏置bk的線性組合來生成統一核和統一偏置
[0063]
等式3：
[0064][0065]
在等式3中，需要與每個權重矩陣wk對應的核自適應權重πk。可通過對輸入x執行的路由函數(routing function)來確定具有連續值的實數πk。如等式中所示，為了獲得最終需要將wk和πk相乘k次的乘法運算以及將所有k次乘法結果相加的求和運算，因此，在典型的動態卷積運算中可能發生的計算開銷，其中，dk表示卷積核的尺寸(例如，卷積核的高度和寬度均為dk)，c
in
表示輸入通道的數量，c
out
表示輸出通道的數量。此外，為了網絡的權重輕量化，可通過量化處理將由浮點精度表示的實數權重轉換為整數類型，使得權重使用較小的位寬並且可執行運算。因此，在動態卷積中使用實數形式的πk會增加典型動態卷積運算的量化處理的負擔。
[0066]
由於低功率和低計算的輕量級網絡用於在移動裝置(諸如，智慧型電話)中運行ai算
法，所以動態卷積作為在減輕運算量增大的負擔同時增加網絡的表達能力的方式被提出。然而，如上所述的典型動態卷積運算方法會施加針對作為實數的核自適應權重的額外量化處理的負擔。此外，由於執行核聚合需要全精度乘加(mac)運算，所以典型的動態卷積運算方法會降低運算效率。
[0067]
相比之下，一個或多個實施例的動態卷積運算方法可通過對由離散值表示的類別集中的核自適應權重πk進行採樣來減少動態運算中關於核聚合的運算開銷和量化誤差。下面提供非限制性示例的更詳細描述。
[0068]
圖2示出執行動態卷積運算的方法的示例。
[0069]
參照圖2，操作210至230可由用於執行動態卷積運算的設備執行，並且用於執行動態卷積運算的設備可通過硬體模塊中的一個或多個和/或實現軟體模塊中的一個或多個的硬體模塊中的一個或多個來實現。圖2的操作可以以所示的順序和方式執行。然而，在不脫離所示示例的精神和範圍的情況下，可改變一些操作的順序，或者可省略一些操作。圖2中所示的操作可並行或同時執行。
[0070]
在操作210中，用於執行動態卷積運算的設備可在由多個預定離散值表示的類別集中確定分別與多個權重矩陣對應的多個核自適應權重。可預先確定包括在類別集中的元素的數量和值。
[0071]
例如，用於執行動態卷積運算的設備可在由{0，1}表示的兩個類別中對與權重矩陣對應的核自適應權重執行採樣。換言之，每個核自適應權重可通過採樣被量化為0或1。可選擇地，用於執行動態卷積運算的設備可在由{21，20，
…
，0，2-1
，2-2
，2-3
}表示的六個類別中對與權重矩陣對應的核自適應權重執行採樣。
[0072]
在操作220中，用於執行動態卷積運算的設備可基於權重矩陣和對應於權重矩陣的核自適應權重來確定統一核。在典型的動態卷積運算中，需要權重矩陣和對應於權重矩陣的核自適應權重之間的全精度mac運算來計算統一核。
[0073]
然而，一個或多個實施例的用於執行動態卷積運算的設備可在沒有全精度mac運算的情況下確定統一核。
[0074]
在操作230中，用於執行動態卷積運算的設備可基於統一核執行卷積運算。
[0075]
在一個示例中，用於圖像識別的神經網絡模型可包括一個或多個卷積層。在神經網絡模型包括一個卷積層的情況下，用於執行動態卷積運算的設備可獲得待識別圖像，通過基於作為圖像信息的待識別圖像進行採樣，在由多個預定離散值表示的類別集中確定與權重矩陣對應的多個核自適應權重，基於權重矩陣和對應於權重矩陣的核自適應權重來確定統一核，然後基於待識別圖像和統一核執行卷積運算，以生成第二圖像信息，並基於第二圖像信息獲得圖像識別結果。
[0076]
在神經網絡模型包括多個卷積層的情況下，用於執行動態卷積運算的設備可在多個卷積層中的至少一些卷積層執行根據一個或多個實施例的動態卷積運算。例如，在第一卷積層，用於執行動態卷積運算的設備可基於第一卷積層的輸入圖像信息執行採樣，在由多個預定離散值表示的第一類別集中確定與第一權重矩陣對應的核自適應權重；基於第一權重矩陣和對應於第一權重矩陣的核自適應權重來確定第一統一核；然後基於第一卷積層的輸入圖像信息和第一統一核執行卷積運算，以獲得第二圖像信息。在第一卷積層之後的第二卷積層，用於執行動態卷積運算的設備可通過基於第二圖像信息執行採樣，在由多個
預定離散值表示的第二類別集中確定與第二權重矩陣對應的核自適應權重；基於第二權重矩陣和對應於第二權重矩陣的核自適應權重來確定第二統一核；然後基於第二圖像信息和第二統一核執行卷積運算，以生成第三圖像信息。用於執行動態卷積運算的設備可在後續的卷積層重複上述過程，並基於最終輸出的圖像信息獲得圖像識別結果。
[0077]
當用於執行動態卷積運算的設備執行多次動態卷積運算時，與每個卷積層對應的類別集可基於實際需求而被設置為相同或不同。例如，針對第一卷積層的第一類別集可以是由0和1表示的類別集，針對第二卷積層的第二類別集可以是由0和2的冪表示的的類別集。圖3示出確定統一核的方法的示例。圖1至圖2的描述也適用於圖3的示例，因此，已省略了重複的描述。
[0078]
參照圖3，用於執行動態卷積運算的設備可包括核自適應權重採樣模塊和核組合模塊。
[0079]
為了基於輸入數據(例如，輸入圖像信息)執行採樣，核自適應權重採樣模塊可通過對輸入數據執行全局平均池化(gap)來對輸入數據進行壓縮，然後將壓縮的輸入數據通過線性層(例如，全連接層(fc))來生成多個(例如，k個)核相關性分數。核相關性分數可通過對數(logit)表示。
[0080]
執行採樣可表示對離散隨機變量進行建模。然而，因為斜率為0而生成不可微分的層，因此，使用典型的神經網絡訓練方法可能難以表示離散隨機變量。因此，核自適應權重採樣模塊可使用耿貝爾柔性最大(gumbel softmax)採樣方法來從神經網絡學習採樣模塊。
[0081]
更具體地，核自適應權重採樣模塊可通過對多個(例如，k個)核相關性分數執行耿貝爾柔性最大採樣來確定核自適應權重。更具體地，核自適應權重採樣模塊可通過將從耿貝爾分布提取的噪聲添加到多個(例如，k)核相關性分數並使被添加噪聲的核相關性分數通過柔性最大層來確定具有最大值的一個類別。在一個示例中，所確定的一個類別可與由多個預定離散值表示的類別集中的一個值對應。然而，採樣方法不限於耿貝爾柔性最大採樣，並且可應用各種類型的採樣方法。
[0082]
核組合模塊可基於權重矩陣和對應於權重矩陣的核自適應權重來確定統一核。用於執行動態卷積運算的設備可在不執行全精度mac運算的情況下確定統一核。
[0083]
圖4示出執行動態卷積運算的方法的示例。圖1至圖3的描述也適用於圖4的示例，因此，已省略了重複的描述。
[0084]
參照圖4，在操作410中，用於執行動態卷積運算的設備可被配置為在由{0，1}表示的兩個類別中對核自適應權重執行採樣。
[0085]
在操作420中，用於執行動態卷積運算的設備可通過選擇性的核求和來確定統一核。例如，當與權重矩陣wk對應的核自適應權重πk被採樣為0時，對應的權重矩陣wk可不需要乘以核自適應權重πk(例如，因為輸出可以是0，可確定這樣的乘法是不需要的)。因此，當與權重矩陣wk對應的核自適應權重πk被採樣為0時，用於執行動態卷積運算的設備可在用於生成統一核的求和運算中省略對相應的權重矩陣wk執行運算。
[0086]
相反，當與權重矩陣wk對應的核自適應權重πk被採樣為1時，權重矩陣wk可不需要乘以核自適應權重πk，並且可維持權重矩陣wk。因此，當與權重矩陣wk對應的核自適應權重πk被採樣為1時，用於執行動態卷積運算的設備可通過在選擇核自適應權重為1的權重矩陣wk之後執行求和運算來生成統一核
[0087]
在操作430中，確定了統一核的用於執行動態卷積運算的設備可基於統一核來執行卷積運算。
[0088]
圖5示出執行動態卷積運算的方法的示例。圖1至圖3的描述也適用於圖5的示例，因此，已省略了重複的描述。
[0089]
參照圖5，在操作510中，用於執行動態卷積運算的設備可被配置為在由{0，1}表示的兩個類別中對核自適應權重執行採樣。然而，用於執行動態卷積運算的設備可訓練核自適應權重採樣模塊以將與多個權重矩陣中的一個權重矩陣對應的核自適應權重選擇為1。
[0090]
在操作520中，用於執行動態卷積運算的設備可通過核選擇來確定統一核。
[0091]
由於僅與權重矩陣中的一個權重矩陣對應的核自適應權重被採樣為1，因此，用於執行動態卷積運算的設備可選擇核自適應權重πk為1的權重矩陣wk而不執行用於計算統一核的求和運算，並且可將該權重矩陣確定為最終的統一核。
[0092]
在操作530中，確定了統一核的用於執行動態卷積運算的設備可基於統一核來執行卷積運算。
[0093]
圖6示出執行動態卷積運算的方法的示例。圖1至圖3的描述也適用於圖6的示例，因此，已省略了重複的描述。
[0094]
參照圖6，在操作610中，一個或多個實施例的用於執行動態卷積運算的設備可增加類別的數量以增加運算的準確性。此外，可將每個類別的表示值設置為滿足預定條件的數。
[0095]
例如，用於執行動態卷積運算的設備可在由0和2的冪表示的兩個類別中執行採樣。例如，用於執行動態卷積運算的設備可在由{21，20，0，2-1
，2-2
，2-3
}表示的六個類別中對與多個權重矩陣對應的多個核自適應權重執行採樣。
[0096]
在操作620中，用於執行動態卷積運算的設備可通過執行具有更好運算效率的移位運算代替執行核自適應權重πk和權重矩陣wk的乘法運算來減輕運算開銷。換言之，由於核自適應權重πk是由2的冪表示的數，所以核自適應權重πk和權重矩陣wk的乘法運算可通過移位運算來實現。
[0097]
在操作630中，用於執行動態卷積運算的設備可通過對已移位的權重矩陣求和來生成最終的統一核。
[0098]
在操作640中，確定了統一核的用於執行動態卷積運算的設備可基於統一核來執行卷積運算。
[0099]
圖7示出用於執行動態卷積運算的設備的示例。
[0100]
參照圖7，用於執行動態卷積運算的設備700可包括處理器710(例如，一個或多個處理器)、存儲器730(例如，一個或多個存儲器)、通信接口750和傳感器770。處理器710、存儲器730、通信接口750和傳感器770可經由通信總線705彼此通信。
[0101]
處理器710可以是具有用於執行期望的操作的物理結構化電路的硬體實現的處理裝置。例如，期望的操作可包括包含在程序中的代碼或指令。硬體實現的處理裝置可包括例如微處理器、中央處理器(cpu)、圖形處理器(gpu)、處理器核、多核處理器、多處理器、專用集成電路(asic)、現場可編程門陣列(fpga)、神經處理器(npu)、微控制器(mcu)等。
[0102]
處理器710可執行程序並控制用於執行動態卷積運算的設備700。將要由處理器710執行的程序代碼可存儲在存儲器730中。
[0103]
處理器710可在由多個預定離散值表示的類別集中確定分別與多個權重矩陣對應的多個自適應權重，可基於權重矩陣和對應於權重矩陣的自適應權重來確定統一核，並且可基於統一核執行卷積運算。處理器710可執行以上關於圖1至圖6描述的操作中的任何一個操作或者多個或全部操作。
[0104]
存儲器730可包括rom和sram。rom可存儲用於動態卷積運算的神經網絡模型和代碼。
[0105]
sram可用作用於由處理器710執行的操作的工作存儲器，並且可存儲各種應用程式。存儲器730可存儲在上述處理器710的處理過程中生成的各種信息。此外，存儲器730可存儲各種數據和程序。存儲器730可包括大容量存儲介質(諸如，硬碟)以存儲各種數據。
[0106]
傳感器770可包括圖像傳感器。例如，圖像傳感器可檢測圖像幀中的運動，並且可基於是否檢測到運動來對圖像幀之中的目標幀中的區域的至少一部分執行調整。圖像傳感器可通過檢測已調整的目標幀是否存在目標對象來產生觸發信號。處理器710可由傳感器770生成的觸發信號激活，並且可執行各種應用程式。例如，傳感器770可生成圖像數據，並且生成的圖像數據可作為輸入數據被存儲在存儲器730中，或者被輸入到處理器710中。
[0107]
用於執行動態卷積運算的設備700可包括各種領域中的裝置(諸如，以高級駕駛員輔助系統(adas)、平視顯示器(hud)、3d數字信息顯示器(did)、導航裝置、神經形態裝置、3d移動裝置、智慧型電話、智能家電(例如，智能電視、智能冰箱、智能洗衣機)、智能交通工具、物聯網(lot)裝置、醫療裝置、測量裝置等為例)。這裡，術語3d移動裝置可被解釋為表示所有這樣的顯示裝置：例如，用於顯示增強現實(ar)、虛擬實境(vr)和/或混合現實(mr)的顯示裝置、頭戴式顯示器(hmd)、面戴式顯示器(fmd)、ar眼鏡等。
[0108]
此外，儘管未在附圖中示出，但是用於執行動態卷積運算的設備700還可包括顯示器(未示出)。顯示器可以是例如觸摸顯示器和/或柔性顯示器，但不限於此。
[0109]
在此關於圖1至圖7描述的設備、處理器、存儲器、通信接口、傳感器、通信總線、用於執行動態卷積運算的設備700、處理器710、存儲器730、通信接口750、傳感器770、通信總線705和其他設備、裝置、單元、模塊和組件由硬體組件實現或表示硬體組件。可用於執行本技術中描述的操作的硬體組件的示例在適當的情況下包括：控制器、傳感器、生成器、驅動器、存儲器、比較器、算術邏輯單元、加法器、減法器、乘法器、除法器、積分器以及被配置為執行本技術中描述的操作的任何其他電子組件。在其他示例中，通過計算硬體(例如，通過一個或多個處理器或計算機)來實現執行本技術中描述的操作的硬體組件中的一個或多個硬體組件。處理器或計算機可通過一個或多個處理元件(諸如，邏輯門陣列、控制器和算術邏輯單元、數位訊號處理器、微計算機、可編程邏輯控制器、現場可編程門陣列、可編程邏輯陣列、微處理器或被配置為以限定的方式響應並執行指令以實現期望結果的任何其他裝置或裝置的組合)來實現。在一個示例中，處理器或計算機包括或者連接到存儲由處理器或計算機執行的指令或軟體的一個或多個存儲器。由處理器或計算機實現的硬體組件可執行用於執行本技術中描述的操作的指令或軟體(諸如，作業系統(os)和在os上運行的一個或多個軟體應用)。硬體組件還可響應於指令或軟體的執行來訪問、操縱、處理、創建和存儲數據。為了簡明，單數術語「處理器」或「計算機」可用於在本技術中描述的示例的描述中，但是在其他示例中，多個處理器或計算機可被使用，或者處理器或計算機可包括多個處理元件，或多種類型的處理元件，或兩者。例如，單個硬體組件、或兩個或更多個硬體組件可由單個
處理器、或兩個或更多個處理器、或處理器和控制器來實現。一個或多個硬體組件可通過一個或多個處理器、或處理器和控制器來實現，並且一個或多個其他硬體組件可通過一個或多個其他處理器、或另外的處理器和另外的控制器來實現。一個或多個處理器、或處理器和控制器可實現單個硬體組件、或兩個或更多個硬體組件。硬體組件可具有不同處理配置中的任何一個或多個，不同的處理配置包括：單個處理器、獨立處理器、並行處理器、單指令單數據(sisd)多處理、單指令多數據(simd)多處理、多指令單數據(misd)多處理和多指令多數據(mimd)多處理。
[0110]
圖1至圖7中示出的執行本技術中描述的操作的方法由計算硬體(例如，由一個或多個處理器或計算機)來執行，計算硬體被實現為如上所述執行指令或軟體以執行在本技術中描述的由所述方法執行的操作。例如，單個操作、或者兩個或更多個操作可由單個處理器、或者兩個或更多個處理器、或者處理器和控制器來執行。一個或多個操作可由一個或多個處理器、或者處理器和控制器來執行，並且一個或多個其他操作可由一個或多個其他處理器、或者另外的處理器和另外的控制器來執行。一個或多個處理器、或者處理器和控制器可執行單個操作、或者兩個或更多個操作。
[0111]
用於控制計算硬體(例如，一個或多個處理器或計算機)實現硬體組件並執行如上所述的方法的指令或軟體可被編寫為電腦程式、代碼段、指令或它們的任何結合，以單獨地或共同地指示或配置一個或多個處理器或計算機作為機器或專用計算機進行操作，以執行由如上所述的硬體組件和方法執行的操作。在一個示例中，指令或軟體包括由一個或多個處理器或計算機直接執行的機器代碼(諸如，由編譯器產生的機器代碼)。在另一示例中，指令或軟體包括由一個或多個處理器或計算機使用解釋器執行的高級代碼。可基於附圖中示出的框圖和流程圖以及說明書中的相應描述使用任何程式語言來編寫指令或軟體，附圖中示出的框圖和流程圖以及說明書中的相應描述公開了用於執行由如上所述的硬體組件和方法執行的操作的算法。
[0112]
用於控制計算硬體(例如，一個或多個處理器或計算機)實現硬體組件並執行如上所述的方法的指令或軟體以及任何相關聯的數據、數據文件和數據結構可被記錄、存儲或者固定在一個或多個非暫時性計算機可讀存儲介質中，或者被記錄、存儲或固定在一個或多個非暫時性計算機可讀存儲介質上。非暫時性計算機可讀存儲介質的示例包括：只讀存儲器(rom)、隨機存取可編程只讀存儲器(prom)、電可擦除可編程只讀存儲器(eeprom)、隨機存取存儲器(ram)、動態隨機存取存儲器(dram)、靜態隨機存取存儲器(sram)、快閃記憶體、非易失性存儲器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、藍光或光碟存儲裝置、硬碟驅動器(hdd)、固態驅動器(ssd)、快閃記憶體、卡型存儲器(諸如，多媒體卡或微型卡(例如，安全數字(sd)或者極速數字(xd)))、磁帶、軟盤、磁光數據存儲裝置、光學數據存儲裝置、硬碟、固態盤和被配置為以非暫時性方式存儲指令或者軟體以及任何相關聯的數據、數據文件和數據結構並將所述指令或軟體以及任何相關聯的數據、數據文件和數據結構提供給一個或多個處理器或計算機使得一個或多個處理器或計算器能夠執行指令的任何其他裝置。在一個示例中，指令或軟體以及任何相關聯的數據、數據文件和數據結構分布在聯網的計算機系統中，使得指令和軟體以及任何相關聯的數據、數據文件和數據結構以分布式方式被一個或多個處理器或計算機存儲、訪問和執行。
[0113]
雖然本公開包括特定示例，但是在理解本技術的公開之後將清楚的是，在不脫離權利要求及其等同物的精神和範圍的情況下，可在這些示例中進行形式和細節上的各種改變。在此描述的示例應僅被認為是描述性的，而不是出於限制的目的。每個示例中的特徵或方面的描述應被認為可適用於其他示例中的相似特徵或方面。如果描述的技術以不同的順序被執行，和/或如果描述的系統、架構、裝置或電路中的組件以不同的方式被組合、和/或由其他組件或其等同物替代或補充，則可實現合適的結果。