本公開涉及對(duì)象檢測(cè)的領(lǐng)域，并且特別涉及用于檢測(cè)圖像中的對(duì)象的方法、移動(dòng)裝置、計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、圖像的對(duì)象檢測(cè)可以用于許多目的，例如在xr(擴(kuò)展現(xiàn)實(shí))應(yīng)用、自動(dòng)交通工具、交通監(jiān)管等中。然而，與在捕捉圖像的資源受限的移動(dòng)裝置中可用的資源相比，對(duì)象檢測(cè)過(guò)程通常消耗更多的資源。移動(dòng)裝置可具有受限的資源，例如由于有限的電池功率和/或有限的計(jì)算能力。移動(dòng)裝置配備有向?qū)ο髾z測(cè)管線提供圖像的成像裝置(例如，單目相機(jī)、立體相機(jī)、深度相機(jī))。為了從移動(dòng)裝置卸載處理，可以使用遠(yuǎn)程服務(wù)器來(lái)執(zhí)行更強(qiáng)大的計(jì)算。

2、wang等人的“tiling?small?object?detection?for?edge?assisted?autonomousmobile?vision”，ieee?infocom?2021-ieee計(jì)算機(jī)通信會(huì)議(第1-10頁(yè))公開了本地對(duì)象檢測(cè)(在移動(dòng)裝置中)以及卸載的對(duì)象檢測(cè)(在邊緣/云中)。本地對(duì)象檢測(cè)關(guān)于小對(duì)象產(chǎn)生低準(zhǔn)確性，因?yàn)樗鼘?duì)低分辨率視頻進(jìn)行操作以適配移動(dòng)存儲(chǔ)器。由于向邊緣/云上載高分辨率視頻，卸載的對(duì)象檢測(cè)會(huì)導(dǎo)致高時(shí)延。大對(duì)象在本地檢測(cè)，而小對(duì)象檢測(cè)被卸載到邊緣。wang提出了一種用于利用圖塊級(jí)并行性來(lái)增強(qiáng)小對(duì)象檢測(cè)的邊緣裝置協(xié)作框架。出于準(zhǔn)確性和時(shí)延目的，它在圖塊中而不是在整個(gè)圖像中協(xié)調(diào)卸載的檢測(cè)管線。特定地，移動(dòng)裝置中的輕量級(jí)對(duì)象檢測(cè)(通過(guò)降低圖像的分辨率)標(biāo)識(shí)圖像中的大對(duì)象，而小對(duì)象檢測(cè)去往邊緣(通過(guò)保持圖像的高分辨率)。

3、準(zhǔn)確的對(duì)象檢測(cè)(od)是計(jì)算需求很高的任務(wù)，因?yàn)樗枰疃葘W(xué)習(xí)(dl)推斷。此外，為了對(duì)例如slam(同步定位和映射)或在線語(yǔ)義映射之類的其它應(yīng)用有用，并且為了對(duì)用戶體驗(yàn)應(yīng)用(如xr)是可接受的，需要快速執(zhí)行。

技術(shù)實(shí)現(xiàn)思路

1、一個(gè)目的是通過(guò)降低響應(yīng)速度同時(shí)仍然允許準(zhǔn)確的對(duì)象檢測(cè)來(lái)改進(jìn)對(duì)象檢測(cè)。

2、根據(jù)第一方面，提供了一種用于檢測(cè)圖像中的對(duì)象的方法，所述方法由移動(dòng)裝置執(zhí)行。所述方法包括：獲得要處理的圖像；執(zhí)行跟蹤以找到所述圖像中的任何跟蹤對(duì)象，其中，任何跟蹤對(duì)象已經(jīng)在先前圖像中被標(biāo)識(shí)；執(zhí)行對(duì)所述圖像的類別對(duì)象檢測(cè)，產(chǎn)生每個(gè)檢測(cè)到的對(duì)象的相應(yīng)類別標(biāo)簽；以及向服務(wù)器發(fā)送請(qǐng)求以對(duì)在所述類別對(duì)象檢測(cè)中檢測(cè)到的至少一個(gè)對(duì)象執(zhí)行特定對(duì)象檢測(cè)，其中，所述特定對(duì)象檢測(cè)是比所述類別對(duì)象檢測(cè)更細(xì)粒度的對(duì)象檢測(cè)。

3、這使得移動(dòng)裝置能夠首先使用輕量級(jí)類別對(duì)象檢測(cè)來(lái)執(zhí)行準(zhǔn)確且低計(jì)算的對(duì)象檢測(cè)。通過(guò)減少供選擇的標(biāo)簽數(shù)量(類別標(biāo)簽少于特定標(biāo)簽)，我們?cè)试S移動(dòng)裝置中更少的功耗需求和更快的對(duì)象檢測(cè)推斷。此外，由于來(lái)自相同類別的元素可共享相似的外觀，因此我們可以通過(guò)減少相似對(duì)象之間的對(duì)象檢測(cè)錯(cuò)誤的數(shù)量來(lái)提高準(zhǔn)確性。

4、所述方法可還包括：從所述服務(wù)器接收響應(yīng)，所述響應(yīng)包括在所述請(qǐng)求中指示的每個(gè)對(duì)象的至少一個(gè)特定標(biāo)簽；以及合并在所述請(qǐng)求中指示的至少一個(gè)對(duì)象的所述類別標(biāo)簽和所述特定標(biāo)簽。

5、所述合并可包括：對(duì)于每個(gè)合并對(duì)象，將類別標(biāo)簽設(shè)置為最可能檢測(cè)到的類別標(biāo)簽，并且將特定標(biāo)簽檢測(cè)設(shè)置為最可能檢測(cè)到的特定標(biāo)簽。

6、所述類別對(duì)象檢測(cè)可產(chǎn)生每個(gè)對(duì)象的單個(gè)最可能的類別標(biāo)簽，在該情況下，所述響應(yīng)包括每個(gè)對(duì)象的m個(gè)最可能的特定標(biāo)簽。所述合并然后包括：對(duì)于每個(gè)合并對(duì)象，在所述m個(gè)最可能的特定標(biāo)簽內(nèi)找到匹配特定標(biāo)簽，所述匹配特定標(biāo)簽是所述單個(gè)最可能的類別對(duì)象的類(species)；將所述合并對(duì)象的所述類別標(biāo)簽設(shè)置為所述單個(gè)最可能的類別標(biāo)簽，并將所述特定標(biāo)簽設(shè)置為所述匹配特定標(biāo)簽。

7、所述類別對(duì)象檢測(cè)可產(chǎn)生每個(gè)對(duì)象的n個(gè)最可能的類別標(biāo)簽，在該情況下，所述響應(yīng)包括每個(gè)對(duì)象的m個(gè)最可能的特定標(biāo)簽。所述合并然后包括：對(duì)于每個(gè)合并對(duì)象，在所述n個(gè)最可能的類別標(biāo)簽內(nèi)找到匹配類別標(biāo)簽，即所述m個(gè)最可能的特定標(biāo)簽中的至少一個(gè)的屬(genus)，表示為匹配特定標(biāo)簽；將所述合并對(duì)象的所述類別標(biāo)簽設(shè)置為所述匹配類別標(biāo)簽，并將所述特定標(biāo)簽設(shè)置為所述匹配特定標(biāo)簽。

8、所述跟蹤和所述類別對(duì)象檢測(cè)可基于整個(gè)圖像。

9、所述方法可還包括在所述執(zhí)行類別對(duì)象檢測(cè)之前：確定所述圖像內(nèi)的非跟蹤區(qū)域，其中，所述非跟蹤區(qū)域排除在所述執(zhí)行跟蹤中跟蹤的所有對(duì)象。在該情況下，所述執(zhí)行類別對(duì)象檢測(cè)僅針對(duì)所述非跟蹤區(qū)域執(zhí)行。

10、所述方法可還包括在所述執(zhí)行跟蹤之前：確定所述圖像中的一個(gè)或多個(gè)建議區(qū)域以用于類別對(duì)象檢測(cè)；以及，在所述執(zhí)行跟蹤之后，將所述一個(gè)或多個(gè)建議區(qū)域提議與跟蹤對(duì)象在所述圖像中的相應(yīng)位置進(jìn)行匹配。在該情況下，所述執(zhí)行類別對(duì)象檢測(cè)僅針對(duì)沒(méi)有找到與跟蹤對(duì)象的匹配的任何建議區(qū)域來(lái)執(zhí)行。

11、所述方法可還包括：確定特定對(duì)象檢測(cè)集合，所述特定對(duì)象檢測(cè)集合由要使用特定對(duì)象檢測(cè)來(lái)檢測(cè)的至少一個(gè)對(duì)象組成。在該情況下，在所述發(fā)送請(qǐng)求時(shí)，所述請(qǐng)求針對(duì)服務(wù)器，以僅對(duì)所述特定對(duì)象檢測(cè)集合中的任何對(duì)象執(zhí)行特定對(duì)象檢測(cè)。

12、所述特定對(duì)象檢測(cè)集合可包含已經(jīng)被類別檢測(cè)到但不是跟蹤對(duì)象的任何對(duì)象。

13、所述特定對(duì)象檢測(cè)集合可包含任何對(duì)象，對(duì)于所述任何對(duì)象，合并所述類別標(biāo)簽和所述特定標(biāo)簽的先前迭代是不確定的。

14、所述發(fā)送請(qǐng)求可比所述執(zhí)行對(duì)所述圖像的類別對(duì)象檢測(cè)更不頻繁地執(zhí)行。

15、根據(jù)第二方面，提供了一種用于檢測(cè)圖像中的對(duì)象的移動(dòng)裝置。所述移動(dòng)裝置包括：處理器；以及存儲(chǔ)指令的存儲(chǔ)器，當(dāng)由所述處理器執(zhí)行時(shí)，所述指令使所述移動(dòng)裝置：獲得要處理的圖像；執(zhí)行跟蹤以找到所述圖像中的任何跟蹤對(duì)象，其中，任何跟蹤對(duì)象已經(jīng)在先前圖像中被標(biāo)識(shí)；執(zhí)行對(duì)所述圖像的類別對(duì)象檢測(cè)，產(chǎn)生每個(gè)檢測(cè)到的對(duì)象的相應(yīng)類別標(biāo)簽；以及向服務(wù)器發(fā)送請(qǐng)求以對(duì)在所述類別對(duì)象檢測(cè)中檢測(cè)到的至少一個(gè)對(duì)象執(zhí)行特定對(duì)象檢測(cè)，其中，所述特定對(duì)象檢測(cè)是比所述類別對(duì)象檢測(cè)更細(xì)粒度的對(duì)象檢測(cè)。

16、所述移動(dòng)裝置可還包括指令，當(dāng)由所述處理器執(zhí)行時(shí)，所述指令使所述移動(dòng)裝置：從所述服務(wù)器接收響應(yīng)，所述響應(yīng)包括在所述請(qǐng)求中指示的每個(gè)對(duì)象的至少一個(gè)特定標(biāo)簽；以及合并在所述請(qǐng)求中指示的至少一個(gè)對(duì)象的所述類別標(biāo)簽和所述特定標(biāo)簽。

17、用于合并的所述指令可包括指令，當(dāng)由所述處理器執(zhí)行時(shí)，所述指令使所述移動(dòng)裝置：對(duì)于每個(gè)合并對(duì)象，將類別標(biāo)簽設(shè)置為最可能檢測(cè)到的類別標(biāo)簽，并且將特定標(biāo)簽檢測(cè)設(shè)置為最可能檢測(cè)到的特定標(biāo)簽。

18、所述類別對(duì)象檢測(cè)可產(chǎn)生每個(gè)對(duì)象的單個(gè)最可能的類別標(biāo)簽，并且所述響應(yīng)包括每個(gè)對(duì)象的m個(gè)最可能的特定標(biāo)簽。在該情況下，用于合并的所述指令包括指令，當(dāng)由所述處理器執(zhí)行時(shí)，所述指令使所述移動(dòng)裝置：對(duì)于每個(gè)合并對(duì)象，在所述m個(gè)最可能的特定標(biāo)簽內(nèi)找到匹配特定標(biāo)簽，所述匹配特定標(biāo)簽是所述單個(gè)最可能的類別對(duì)象的類；將所述合并對(duì)象的所述類別標(biāo)簽設(shè)置為所述單個(gè)最可能的類別標(biāo)簽，并將所述特定標(biāo)簽設(shè)置為所述匹配特定標(biāo)簽。

19、所述類別對(duì)象檢測(cè)可產(chǎn)生每個(gè)對(duì)象的n個(gè)最可能的類別標(biāo)簽，并且所述響應(yīng)包括每個(gè)對(duì)象的m個(gè)最可能的特定標(biāo)簽。在該情況下，用于合并的所述指令包括指令，當(dāng)由所述處理器執(zhí)行時(shí)，所述指令使所述移動(dòng)裝置：對(duì)于每個(gè)合并對(duì)象，在所述n個(gè)最可能的類別標(biāo)簽內(nèi)找到匹配類別標(biāo)簽，即所述m個(gè)最可能的特定標(biāo)簽中的至少一個(gè)的屬，表示為匹配特定標(biāo)簽；將所述合并對(duì)象的所述類別標(biāo)簽設(shè)置為所述匹配類別標(biāo)簽，并將所述特定標(biāo)簽設(shè)置為所述匹配特定標(biāo)簽。

20、所述跟蹤和所述類別對(duì)象檢測(cè)可基于整個(gè)圖像。

21、所述移動(dòng)裝置可還包括指令，當(dāng)由所述處理器執(zhí)行時(shí)，在所述執(zhí)行類別對(duì)象檢測(cè)之前，所述指令使所述移動(dòng)裝置：確定所述圖像內(nèi)的非跟蹤區(qū)域，其中，所述非跟蹤區(qū)域排除在所述執(zhí)行跟蹤中跟蹤的所有對(duì)象。在該情況下，用于執(zhí)行類別對(duì)象檢測(cè)的所述指令僅針對(duì)所述非跟蹤區(qū)域執(zhí)行。

22、所述移動(dòng)裝置可還包括指令，當(dāng)由所述處理器執(zhí)行時(shí)，在所述執(zhí)行跟蹤之前，所述指令使所述移動(dòng)裝置：確定所述圖像中的一個(gè)或多個(gè)建議區(qū)域以用于類別對(duì)象檢測(cè)；以及，當(dāng)由所述處理器執(zhí)行時(shí)，在所述執(zhí)行跟蹤之后，所述指令使所述移動(dòng)裝置將所述一個(gè)或多個(gè)建議區(qū)域提議與跟蹤對(duì)象在所述圖像中的相應(yīng)位置進(jìn)行匹配。在該情況下，所述執(zhí)行類別對(duì)象檢測(cè)僅針對(duì)沒(méi)有找到與跟蹤對(duì)象的匹配的任何建議區(qū)域來(lái)執(zhí)行。

23、所述移動(dòng)裝置可還包括指令，當(dāng)由所述處理器執(zhí)行時(shí)，所述指令使所述移動(dòng)裝置：確定特定對(duì)象檢測(cè)集合，所述特定對(duì)象檢測(cè)集合由要使用特定對(duì)象檢測(cè)來(lái)檢測(cè)的至少一個(gè)對(duì)象組成。在該情況下，在用于發(fā)送請(qǐng)求的所述指令中，所述請(qǐng)求針對(duì)服務(wù)器，以僅對(duì)所述特定對(duì)象檢測(cè)集合中的任何對(duì)象執(zhí)行特定對(duì)象檢測(cè)。

24、所述特定對(duì)象檢測(cè)集合可包含已經(jīng)被類別檢測(cè)到但不是跟蹤對(duì)象的任何對(duì)象。

25、所述特定對(duì)象檢測(cè)集合可包含任何對(duì)象，對(duì)于所述任何對(duì)象，用于合并所述類別標(biāo)簽和所述特定標(biāo)簽的指令的先前迭代是不確定的。

26、用于發(fā)送請(qǐng)求的所述指令可比用于執(zhí)行對(duì)所述圖像的類別對(duì)象檢測(cè)的所述指令更不頻繁地執(zhí)行。

27、根據(jù)第三方面，提供了一種用于檢測(cè)圖像中的對(duì)象的計(jì)算機(jī)程序。所述計(jì)算機(jī)程序包括計(jì)算機(jī)程序代碼，當(dāng)在移動(dòng)裝置上執(zhí)行時(shí)，所述計(jì)算機(jī)程序代碼使所述移動(dòng)裝置：獲得要處理的圖像；執(zhí)行跟蹤以找到所述圖像中的任何跟蹤對(duì)象，其中，任何跟蹤對(duì)象已經(jīng)在先前圖像中被標(biāo)識(shí)；執(zhí)行對(duì)所述圖像的類別對(duì)象檢測(cè)，產(chǎn)生每個(gè)檢測(cè)到的對(duì)象的相應(yīng)類別標(biāo)簽；以及向服務(wù)器發(fā)送請(qǐng)求以對(duì)在所述類別對(duì)象檢測(cè)中檢測(cè)到的至少一個(gè)對(duì)象執(zhí)行特定對(duì)象檢測(cè)，其中，所述特定對(duì)象檢測(cè)是比所述類別對(duì)象檢測(cè)更細(xì)粒度的對(duì)象檢測(cè)。

28、根據(jù)第四方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括根據(jù)第三方面所述的計(jì)算機(jī)程序以及包括存儲(chǔ)所述計(jì)算機(jī)程序的非暫時(shí)性存儲(chǔ)器的計(jì)算機(jī)可讀部件。

29、通常，權(quán)利要求中使用的所有術(shù)語(yǔ)將根據(jù)其在技術(shù)領(lǐng)域中的普通含義來(lái)解釋，除非本文中另有明確定義。對(duì)“一(a、an)/該元件、設(shè)備、組件、部件、步驟等”的所有引用將被開放地解釋為指代所述元件、設(shè)備、組件、部件、步驟等的至少一個(gè)實(shí)例，除非另有明確說(shuō)明。除非明確說(shuō)明，否則本文公開的任何方法的步驟不一定按照所公開的確切順序來(lái)執(zhí)行。