九九热6,久久中文字幕电影,美女撒尿毛片视频免费看,一二三区欧美,特级黄色一级片,亚洲精品爱,国产图色

基于大模型的目標數(shù)據(jù)分類處理方法、裝置及電子設備與流程

文檔序號:42887307發(fā)布日期:2025-08-29 19:35閱讀:11來源:國知局

本發(fā)明涉及數(shù)據(jù)分類與處理,尤其涉及一種基于大模型的目標數(shù)據(jù)分類處理方法、裝置及電子設備。


背景技術:

1、隨著人工智能的發(fā)展,尤其是深度學習技術的進步,圖像識別、自然語言處理等領域取得了顯著進展。然而,在實際應用中,如何高效準確地對海量且多樣的目標數(shù)據(jù)進行分類仍然是一個挑戰(zhàn)。傳統(tǒng)的分類算法往往依賴于手工特征提取,不僅耗時費力,而且難以適應不同類型的數(shù)據(jù)源。

2、近年來,基于大規(guī)模數(shù)據(jù)集訓練的大模型展現(xiàn)出了卓越的表現(xiàn)能力,能夠自動學習到豐富的特征表示,為解決上述問題提供了新的思路。但是,直接使用這些大模型面臨著計算資源需求高、模型微調(diào)復雜等問題。

3、因此,迫切需要一種有效的基于大模型的目標數(shù)據(jù)分類處理方案,既能充分利用大模型的強大表達能力,又能克服其在實際部署中的局限性。


技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于大模型的目標數(shù)據(jù)分類處理方法、裝置及電子設備,以解決現(xiàn)有技術存在的問題中的至少一個。

2、為實現(xiàn)上述目的,根據(jù)本技術的一個方面,本發(fā)明提供了一種基于大模型的目標數(shù)據(jù)分類處理方法,包括:

3、集中采集文本數(shù)據(jù)和文本數(shù)據(jù)的發(fā)布時間;

4、基于文本數(shù)據(jù)和文本數(shù)據(jù)的發(fā)布時間,提取目標文本數(shù)據(jù),并以目標文本數(shù)據(jù)建立初始數(shù)據(jù)匹配模型,并對初始數(shù)據(jù)匹配模型進行第一沖突檢測;

5、實時采集新增文本數(shù)據(jù),并以新增文本數(shù)據(jù)對初始數(shù)據(jù)匹配模型中映射關系的集合進行二次沖突檢測,并更新初始數(shù)據(jù)匹配模型,得到實時數(shù)據(jù)匹配模型;

6、采集用戶的原始數(shù)據(jù),并將用戶的原始數(shù)據(jù)與實時數(shù)據(jù)匹配模型進行關系匹配,進而通過關系匹配結果對目標文本數(shù)據(jù)進行分類。

7、可選地,對文本數(shù)據(jù)進行自然語言處理,以提取文本數(shù)據(jù)中的需求條件集合和滿足結果集合;

8、將第i文本數(shù)據(jù)的需求條件集合記作x(i),將第i文本數(shù)據(jù)的滿足結果集合記作r(i);

9、對各需求條件集合進行邏輯匹配,并對匹配成功的需求條件集合所對應的滿足結果集合進行合并操作;

10、建立合并后第i文本數(shù)據(jù)的需求條件集合與第i文本數(shù)據(jù)的滿足結果集合的映射關系,并將其映射關系記作x(i)-r(i);

11、以映射關系的集合作為初始數(shù)據(jù)匹配模型。

12、可選地,檢測各映射關系中的沖突事件,并在檢測結果為:需求條件集合中存在沖突事件時,判定事件邏輯錯誤,并將該需求條件集合所對應的初始滿足結果集合進行刪除,進而將該需求條件集合所對應的文本數(shù)據(jù)向管理用戶發(fā)送;

13、在檢測結果為:滿足結果集合中存在沖突事件時,判定事件合并錯誤,并對該滿足結果集合所在的映射關系中的需求條件集合所對應的文本數(shù)據(jù)進行報錯,將該文本數(shù)據(jù)向管理用戶發(fā)送;

14、在檢測結果為:映射關系中,滿足結果集合中存在與需求條件集合相同的事件時,將該事件定義為同一事件,并將該同一事件從該滿足結果集合中刪除;

15、將一次更新后的映射關系記作n[x(i)-r(i)]。

16、可選地,以文本數(shù)據(jù)的處理方式對新增文本數(shù)據(jù)進行處理,以得到新增事件結合,進而分類得到新增條件結合和新增結果集合;

17、對新增條件集合與各需求條件集合進行邏輯匹配,并在匹配成功時,將新增結果集合與匹配成功的需求條件集合進行合并操作,此時,對新增結果集合中的各事件設置時效權重,將時效權重設定為w1(k);

18、在匹配失敗時,將時效權重設定為w2(k);

19、對實時數(shù)據(jù)匹配模型進行二次沖突檢測,并在檢測結果為:滿足結果集合中存在沖突事件時,以新增結果集合中的事件對沖突的滿足結果集合進行替換;在檢測結果為:需求條件集合中存在沖突事件或滿足結果集合中存在與需求條件集合相同的事件時,以一次沖突檢測的處理方式進行二次更新。

20、可選地,結合用戶的原始數(shù)據(jù),以所述實時數(shù)據(jù)匹配模型對用戶的二次條件進行推斷,其具體過程如下:

21、將用戶的原始數(shù)據(jù)中的事件與各需求條件集合進行完全匹配,并在完全匹配成功時,將完全匹配成功的滿足結果集合作為次生條件,進而以用戶的原始數(shù)據(jù)的條件和次生條件與各需求條件集合進行完全匹配,在完全匹配成功時,將完全匹配成功的滿足結果集合作為次生條件,以此過程進行迭代,并在迭代后得到新的次生條件數(shù)量為0時,結束迭代過程,將所有次生條件劃分為二次條件。

22、可選地,以用戶的原始條件和二次條件輸入至實時數(shù)據(jù)匹配模型,并以一次沖突檢測的方式對映射關系集合進行三次沖突檢測:將用戶的原始條件和二次條件與需求條件集合中存在沖突事件的映射關系設定為沖突映射關系;反之,不列為沖突映射關系;

23、將實時數(shù)據(jù)匹配模型中除沖突映射關系之外的映射關系進行分類,其分類過程如下:

24、將用戶的原始條件和二次條件部分滿足的映射關系作為缺陷映射關系;

25、將用戶的原始條件和二次條件完全滿足的映射關系作為符合映射關系。

26、可選地,統(tǒng)計各映射關系的達成率μ(q),并依據(jù)三次沖突檢測的結果對關系匹配成功的映射關系進行分類,其過程如下:

27、計算各缺陷映射關系的達成指數(shù)α(q)=μ(q)×η1/(σ時效權重)×w(q);

28、計算各符合映射關系的達成指數(shù)β(q)=μ(q)×η2/(σ時效權重);

29、式中,η1表示第一分類常數(shù),η2表示第二分類常數(shù),η2>η1,w(q)表示第q映射關系的用戶達成的條件的比例,qq表示第q映射關系的達成用戶的數(shù)量;

30、設定分類閾值將關系匹配成功的映射關系進行分類,以將超出分類閾值的映射關系作為可達成映射關系,反之,作為異常映射關系。

31、可選地,還包括:以映射關系的分類結果作為目標文本數(shù)據(jù)的分類結果向用戶進行文本數(shù)據(jù)推送;

32、以映射關系的分類結果作為目標文本數(shù)據(jù)的分類結果向用戶進行文本數(shù)據(jù)推送;

33、統(tǒng)計反饋周期內(nèi)用戶反饋結果,并以用戶反饋結果提取反饋條件;

34、以反饋條件對實時數(shù)據(jù)匹配模型進行三次更新;

35、通過設置反饋閾值對各推送映射關系的反饋達成率進行比對判斷,在反饋達成率大于或等于反饋閾值時,確定反饋條件為非必要條件,不對實時數(shù)據(jù)匹配模型進行三次更新,在反饋達成率小于反饋閾值時,確定反饋條件為必要條件,并將反饋條件補充至對應映射關系的需求條件集合中。

36、根據(jù)本技術的另一方面,提供了一種基于大模型的目標數(shù)據(jù)分類處理裝置,包括:

37、數(shù)據(jù)采集模塊,用于集中采集文本數(shù)據(jù)和文本數(shù)據(jù)的發(fā)布時間;

38、模型建立模塊,用于基于文本數(shù)據(jù)和文本數(shù)據(jù)的發(fā)布時間,提取目標文本數(shù)據(jù),并以目標文本數(shù)據(jù)建立初始數(shù)據(jù)匹配模型,并對初始數(shù)據(jù)匹配模型進行第一沖突檢測;

39、實時更新模塊,用于實時采集新增文本數(shù)據(jù),并以新增文本數(shù)據(jù)對初始數(shù)據(jù)匹配模型中映射關系的集合進行二次沖突檢測,并更新初始數(shù)據(jù)匹配模型,得到實時數(shù)據(jù)匹配模型;

40、數(shù)據(jù)分類模塊,用于采集用戶的原始數(shù)據(jù),并將用戶的原始數(shù)據(jù)與實時數(shù)據(jù)匹配模型進行關系匹配,進而通過關系匹配結果對目標文本數(shù)據(jù)進行分類;

41、反饋更新模塊,用于以映射關系的分類結果作為目標文本數(shù)據(jù)的分類結果向用戶進行文本數(shù)據(jù)推送。

42、根據(jù)本技術的再一方面,提供了一種電子設備,所述電子設備包括:

43、一個或多個處理器;

44、存儲裝置,用于存儲一個或多個程序;

45、當所述一個或多個程序被所述一個或多個處理器執(zhí)行,使得所述一個或多個處理器實現(xiàn)所述的基于大模型的目標數(shù)據(jù)分類處理方法。

46、與現(xiàn)有技術相比,本發(fā)明的有益效果在于:提供了一種基于大模型的目標數(shù)據(jù)分類處理方法、裝置及電子設備,通過集中采集文本數(shù)據(jù)建立初始匹配模型并進行沖突檢測,確保邏輯準確性;實時處理新增數(shù)據(jù)以動態(tài)更新模型,增強適應性;結合用戶原始數(shù)據(jù)進行關系匹配和分類,實現(xiàn)個性化推送;并利用反饋機制校正模型,持續(xù)優(yōu)化。該方法顯著提高了目標數(shù)據(jù)的分類處理效率,減少了錯誤率,支持實時數(shù)據(jù)響應和個性化服務,同時通過時效權重和沖突檢測機制提升系統(tǒng)魯棒性和可靠性,適用于政務服務等大數(shù)據(jù)場景,整體提升數(shù)據(jù)處理自動化水平和用戶體驗。

當前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1