本申請涉及圖像處理，具體而言，涉及一種視頻生成方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、現(xiàn)有技術(shù)中，雖然可以根據(jù)用戶輸入的文本描述信息，使用擴(kuò)散模型或者gans(generative?adversarial?networks，生成對抗網(wǎng)絡(luò))模型等生成式模型生成與輸入的上述文本描述信息匹配的視頻；但是由于用戶難以通過文本形式精準(zhǔn)描述視頻生成需求，因此導(dǎo)致用戶輸入的文本描述信息較為模糊，生成式模式難以精確控制視頻中的運(yùn)動細(xì)節(jié)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┮环N視頻生成方法、裝置、設(shè)備及存儲介質(zhì)，能夠?qū)⒂脩糨斎氲慕换ブ噶钷D(zhuǎn)化為精細(xì)的運(yùn)動軌跡，實(shí)現(xiàn)了從用戶直觀操作到細(xì)粒度運(yùn)動提示的自動轉(zhuǎn)換，有利于更加精細(xì)化地控制生成視頻中的復(fù)雜運(yùn)動。

2、為使本申請的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說明如下。

3、第一方面，本申請實(shí)施例提供了一種視頻生成方法，所述視頻生成方法包括：

4、接收用戶針對原始圖像輸入的交互指令，確定所述交互指令中指示的運(yùn)動目標(biāo)以及所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，并根據(jù)所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，生成與所述運(yùn)動軌跡匹配的運(yùn)動提示信息；

5、按照預(yù)設(shè)編碼規(guī)則對所述運(yùn)動提示信息進(jìn)行編碼，得到編碼結(jié)果作為所述運(yùn)動提示信息對應(yīng)的運(yùn)動提示特征；

6、對連續(xù)多張所述原始圖像組成的初始圖像序列進(jìn)行加噪處理，得到加噪后的初始圖像序列，并將所述加噪后的初始圖像序列輸入目標(biāo)編碼器中，輸出得到所述加噪后的初始圖像序列對應(yīng)的目標(biāo)編碼特征；

7、對所述運(yùn)動提示特征與所述目標(biāo)編碼特征進(jìn)行特征融合，得到目標(biāo)融合特征；

8、以所述目標(biāo)融合特征作為引導(dǎo)控制條件，通過預(yù)先訓(xùn)練好的擴(kuò)散模型對所述加噪后的初始圖像序列進(jìn)行去噪處理，輸出去噪處理結(jié)果作為與所述交互指令匹配的目標(biāo)視頻。

9、第二方面，本申請實(shí)施例提供了一種視頻生成裝置，所述視頻生成裝置包括：

10、交互模塊，用于接收用戶針對原始圖像輸入的交互指令，確定所述交互指令中指示的運(yùn)動目標(biāo)以及所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，并根據(jù)所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，生成與所述運(yùn)動軌跡匹配的運(yùn)動提示信息；

11、第一特征提取模塊，用于按照預(yù)設(shè)編碼規(guī)則對所述運(yùn)動提示信息進(jìn)行編碼，得到編碼結(jié)果作為所述運(yùn)動提示信息對應(yīng)的運(yùn)動提示特征；

12、第二特征提取模塊，用于對連續(xù)多張所述原始圖像組成的初始圖像序列進(jìn)行加噪處理，得到加噪后的初始圖像序列，并將所述加噪后的初始圖像序列輸入目標(biāo)編碼器中，輸出得到所述加噪后的初始圖像序列對應(yīng)的目標(biāo)編碼特征；

13、特征融合模塊，用于對所述運(yùn)動提示特征與所述目標(biāo)編碼特征進(jìn)行特征融合，得到目標(biāo)融合特征；

14、視頻生成模塊，用于以所述目標(biāo)融合特征作為引導(dǎo)控制條件，通過預(yù)先訓(xùn)練好的擴(kuò)散模型對所述加噪后的初始圖像序列進(jìn)行去噪處理，輸出去噪處理結(jié)果作為與所述交互指令匹配的目標(biāo)視頻。

15、第三方面，本申請實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)上述的視頻生成方法的步驟。

16、第四方面，本申請實(shí)施例提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時執(zhí)行上述的視頻生成方法的步驟。

17、本申請的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

18、本申請實(shí)施例提供的一種視頻生成方法、裝置、設(shè)備及存儲介質(zhì)，接收用戶針對原始圖像輸入的交互指令，確定交互指令中指示的運(yùn)動目標(biāo)以及運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，并根據(jù)運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，生成與運(yùn)動軌跡匹配的運(yùn)動提示信息；按照預(yù)設(shè)編碼規(guī)則對運(yùn)動提示信息進(jìn)行編碼，得到編碼結(jié)果作為運(yùn)動提示信息對應(yīng)的運(yùn)動提示特征；對連續(xù)多張?jiān)紙D像組成的初始圖像序列進(jìn)行加噪處理，得到加噪后的初始圖像序列，并將加噪后的初始圖像序列輸入目標(biāo)編碼器中，輸出得到加噪后的初始圖像序列對應(yīng)的目標(biāo)編碼特征；對運(yùn)動提示特征與目標(biāo)編碼特征進(jìn)行特征融合，得到目標(biāo)融合特征；以目標(biāo)融合特征作為引導(dǎo)控制條件，通過預(yù)先訓(xùn)練好的擴(kuò)散模型對加噪后的初始圖像序列進(jìn)行去噪處理，輸出去噪處理結(jié)果作為與交互指令匹配的目標(biāo)視頻。這樣，本申請能夠?qū)⒂脩糨斎氲慕换ブ噶钷D(zhuǎn)化為精細(xì)的運(yùn)動軌跡，實(shí)現(xiàn)了從用戶直觀操作到細(xì)粒度運(yùn)動提示的自動轉(zhuǎn)換，有利于更加精細(xì)化地控制生成視頻中的復(fù)雜運(yùn)動。

技術(shù)特征：

1.一種視頻生成方法，其特征在于，所述視頻生成方法包括：

2.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，所述接收用戶針對原始圖像輸入的交互指令，確定所述交互指令中指示的運(yùn)動目標(biāo)以及所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，包括：

3.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，所述接收用戶針對原始圖像輸入的交互指令，確定所述交互指令中指示的運(yùn)動目標(biāo)以及所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，包括：

4.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，所述接收用戶針對原始圖像輸入的交互指令，確定所述交互指令中指示的運(yùn)動目標(biāo)以及所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，包括：

5.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，在所述確定所述交互指令中指示的運(yùn)動目標(biāo)以及所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡之后，所述視頻生成方法還包括：

6.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，所述根據(jù)所述運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，生成與所述運(yùn)動軌跡匹配的運(yùn)動提示信息，包括：

7.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，所述將所述加噪后的初始圖像序列輸入目標(biāo)編碼器中，輸出得到所述加噪后的初始圖像序列對應(yīng)的目標(biāo)編碼特征，包括：

8.根據(jù)權(quán)利要求7所述的視頻生成方法，其特征在于，所述對所述運(yùn)動提示特征與所述目標(biāo)編碼特征進(jìn)行特征融合，得到目標(biāo)融合特征，包括：

9.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，所述以所述目標(biāo)融合特征作為引導(dǎo)控制條件，通過預(yù)先訓(xùn)練好的擴(kuò)散模型對所述加噪后的初始圖像序列進(jìn)行去噪處理，包括：

10.一種視頻生成裝置，其特征在于，所述視頻生成裝置包括：

11.一種電子設(shè)備，其特征在于，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時，所述處理器與所述存儲器之間通過總線通信，所述機(jī)器可讀指令被所述處理器執(zhí)行時執(zhí)行如權(quán)利要求1至9任一所述的視頻生成方法的步驟。

12.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，該計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時執(zhí)行如權(quán)利要求1至9任一所述的視頻生成方法的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N視頻生成方法、裝置、設(shè)備及存儲介質(zhì)，該視頻生成方法包括：確定用戶輸入的交互指令中指示的運(yùn)動目標(biāo)以及運(yùn)動目標(biāo)對應(yīng)的運(yùn)動軌跡，生成與運(yùn)動軌跡匹配的運(yùn)動提示信息；按照預(yù)設(shè)編碼規(guī)則對運(yùn)動提示信息進(jìn)行編碼，得到運(yùn)動提示特征；對連續(xù)多張?jiān)紙D像組成的初始圖像序列進(jìn)行加噪處理，得到加噪后的初始圖像序列，并將加噪后的初始圖像序列輸入目標(biāo)編碼器中，輸出得到目標(biāo)編碼特征；對運(yùn)動提示特征與目標(biāo)編碼特征進(jìn)行特征融合，得到目標(biāo)融合特征；以目標(biāo)融合特征作為引導(dǎo)控制條件，通過擴(kuò)散模型對加噪后的初始圖像序列進(jìn)行去噪處理，輸出得到與交互指令匹配的目標(biāo)視頻。這樣，本申請可以更加精細(xì)化地控制生成視頻中的復(fù)雜運(yùn)動。

技術(shù)研發(fā)人員：魏偉亮
受保護(hù)的技術(shù)使用者：網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/8/4