特許 7191443 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-09

(45)【発行日】2022-12-19

(54)【発明の名称】機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221212BHJP

   G06N 3/04 20060101ALI20221212BHJP

【ＦＩ】

G06N20/00

G06N3/04 154

【請求項の数】 15

(21)【出願番号】P 2021562367

(86)(22)【出願日】2020-04-22

(65)【公表番号】

(43)【公表日】2022-07-04

(86)【国際出願番号】 CN2020086007

(87)【国際公開番号】W WO2020224433

(87)【国際公開日】2020-11-12

【審査請求日】2021-10-20

(31)【優先権主張番号】201910386448.4

(32)【優先日】2019-05-09

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】▲喬▼ 治

(72)【発明者】

【氏名】葛 ▲シェン▼

(72)【発明者】

【氏名】晏 ▲陽▼天

(72)【発明者】

【氏名】王 ▲カイ▼

(72)【発明者】

【氏名】▲呉▼ ▲賢▼

(72)【発明者】

【氏名】范 ▲偉▼

【審査官】山本 俊介

(56)【参考文献】

【文献】特開平１０－１４３４９０（ＪＰ，Ａ）

【文献】特開平６－２７６６８１（ＪＰ，Ａ）

【文献】国際公開第２０１９／０５２４０３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータ機器によって実行される、機械学習に基づくターゲットオブジェクト属性予測方法であって、
ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するステップと、
前記検出特徴を第１のニューラルネットワークに入力するステップと、
前記検出特徴のうち各時系列での検出特徴について、前記第１のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第１の法則特徴、及び前記第１の法則特徴と異なる前記検出特徴の将来の変化法則を表す第２の法則特徴を出力するステップと、
前記第１の法則特徴、及び第２の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するステップと、
前記グローバル特徴を第２のニューラルネットワークに入力するステップと、
前記第２のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力するステップと、
前記ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するするステップとを含む方法。

【請求項2】

前記ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するステップは、
前記検出データに対応する属性を全結合ニューラルネットワークに入力し、前記全結合ニューラルネットワークにより前記属性におけるターゲット状態を選別し、前記ターゲット状態に対して加重処理を行い、前記属性の特徴を出力するステップと、
前記検出データを時系列分析ツールに入力し、時系列分析ツールにより前記検出データにおいて各タイプのデータの各時系列での特徴を抽出し、特徴セットを出力するステップと、
特徴セットをディープ&クロスニューラルネットワークに入力し、ディープ&クロスニューラルネットワークにより前記特徴セット内の各時系列特徴に対してクロス処理を行って、前記検出データの特徴を取得するステップと、
前記属性の特徴、及び前記検出データの特徴をディープニューラルネットワークに入力し、前記ディープニューラルネットワークにより、前記検出データと前記検出データに対応する属性の混合特徴を抽出し、前記検出特徴を出力するステップとを含む請求項１に記載の方法。

【請求項3】

前記第１の法則特徴、及び第２の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するステップは、
前記第１の法則特徴と第２の法則特徴とをスプライシングして、第３の法則特徴を取得するステップと、
前記第３の法則特徴に対して加重処理を行って、第４の法則特徴を取得し、前記第４の法則特徴は、前記検出特徴のグローバル変化法則を表すために用いられるステップと、
前記第３の法則特徴、及び前記第４の法則特徴に基づいて、前記グローバル特徴を確定するステップとを含む請求項１または２に記載の方法。

【請求項4】

前記第３の法則特徴に対して加重処理を行って、第４の法則特徴を取得するステップは、
第１のアテンションメカニズム、及び前記第３の法則特徴に基づいて、重み値学習を行って、少なくとも１つの第１の重み値を取得ステップであって、１つの前記第１の重み値は、１つの検出データと前記１つの検出データに対応する属性の重要度を表すために用いられるステップと、
前記少なくとも１つの第１の重み値に対して正規化処理を行って、少なくとも１つの第２の重み値を取得するステップと、
前記少なくとも１つの第２の重み値に基づいて、前記第３の法則特徴に対して加重処理を行って、前記第４の法則特徴を取得するステップとを含む請求項３に記載の方法。

【請求項5】

前記ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するステップは、
前記ターゲットオブジェクトの少なくとも１つのローカル特徴に対して加重処理を行って、ターゲットローカル特徴を取得するステップと、
前記ターゲットローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するステップとを含む請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記ターゲットオブジェクトの少なくとも１つのローカル特徴に対して加重処理を行って、ターゲットローカル特徴を取得するステップは、
第２のアテンションメカニズム、及び前記少なくとも１つのローカル特徴に基づいて、重み値学習を行って、少なくとも１つの第３の重み値を取得するステップと、１つの第３の重み値は、１つのローカル特徴の重要度を表すために用いられるステップと、
前記少なくとも１つの第３の重み値に基づいて、前記少なくとも１つのローカル特徴に対して加重処理を行って、前記ターゲットローカル特徴を取得するステップとを含む請求項５に記載の方法。

【請求項7】

前記第２のニューラルネットワークの各層は１つの前記ローカル特徴を出力する請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記グローバル特徴を前記第２のニューラルネットワークに入力した後に、前記第２のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、前記第２のニューラルネットワークが現在予測される属性を出力することをさらに含み、前記ローカル損失は、前記第２のニューラルネットワークの各層における所望の出力データと実際の出力データとの差であり、前記グローバル損失は、前記第２のニューラルネットワークの所望の最終出力データと実際の最終データとの差である請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記第２のニューラルネットワークにおける第１のターゲット層の階層的特徴、及び第２のターゲット層によって生成されたローカル特徴に基づいて、前記第１のターゲット層よって出力されたローカル特徴を生成するステップをさらに含み、第１のターゲット層の前記階層的特徴は、前記グローバル特徴の第１のターゲット層での状態を表すために用いられ、前記第２のターゲット層は前記第２のニューラルネットワークにおける前記第１のターゲット層の上位層である請求項１～８のいずれか１項に記載の方法。

【請求項10】

前記第１のターゲット層の階層的特徴は、前記グローバル特徴、及び前記第２のターゲット層の階層的特徴によって決定される請求項９に記載の方法。

【請求項11】

機械学習に基づくターゲットオブジェクト属性予測装置であって、
ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するための取得モジュールと、
前記検出特徴を第１のニューラルネットワークに入力し、前記検出特徴のうち各時系列での検出特徴について、前記第１のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第１の法則特徴、及び前記第１の法則特徴と異なる前記検出特徴の将来の変化法則を表す第２の法則特徴を出力するための計算モジュールと、
前記グローバル特徴を第２のニューラルネットワークに入力し、前記第２のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力するための抽出モジュールと、
前記ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するための予測モジュールとを、含み、
前記取得モジュールは、さらに、前記第１の法則特徴、及び第２の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するために用いられる装置。

【請求項12】

前記取得モジュールは、
前記検出データに対応する属性を全結合ニューラルネットワークに入力し、前記全結合ニューラルネットワークにより前記検出データに対応する属性の不要な要素を削除し、前記検出データに対応する属性の特徴を取得し、
前記検出データを時系列分析ツールに入力し、時系列分析ツールにより前記検出データにおいて各タイプのデータの各時系列での特徴を抽出し、特徴セットを出力し、
特徴セットをディープ&クロスニューラルネットワークに入力し、ディープ&クロスニューラルネットワークにより前記特徴セット内の各時系列特徴に対してクロス処理を行って、前記検出データの特徴を取得し、
前記属性の特徴、及び前記検出データの特徴をディープニューラルネットワークに入力し、前記ディープニューラルネットワークにより前記検出データとび前記検出データに対応する属性の混合特徴を抽出し、前記検出特徴を出力するために用いられる請求項１１に記載の装置。

【請求項13】

前記取得モジュールは、
前記第１の法則特徴と第２の法則特徴とをスプライシングして、第３の法則特徴を取得し、
前記第３の法則特徴に対して加重処理を行って、前記検出特徴のグローバル変化法則を表すための第４の法則特徴を取得し、
前記第３の法則特徴、及び前記第４の法則特徴に基づいて、前記グローバル特徴を確定するために用いられる請求項１１または１２に記載の装置。

【請求項14】

コンピュータ機器であって、１つ又は複数のプロセッサ、及び１つ又は複数のメモリを含み、前記１つ又は複数のメモリには少なくとも一つの命令が記憶されており、前記命令が前記１つ又は複数のプロセッサにロードされて実行されることで、請求項１～請求項１０のいずれか一項に記載の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を実現することを特徴とするコンピュータ機器。

【請求項15】

命令を含むコンピュータプログラムであって、コンピュータ上で実行される場合に、請求項１～請求項１０のいずれか一項に記載の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を前記コンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１２年０５月０９日に中国専利局に提出した、出願番号が２０１９１０３８６４４８.４であって、発明の名称が「属性予測方法、装置、コンピュータ機器、及びコンピュータ読み取り可能な記憶媒体」である中国特許出願の優先権を主張し、本願で、その全ての内容を援用により組み込む。

【0002】

本出願は、データ予測の技術分野に関し、特に、機械学習に基づくターゲットオブジェクト属性予測に関する。

【背景技術】

【0003】

ＥＨＲ(ｅｌｅｃｔｒｏｎｉｃ ｈｅａｌｔｈ ｒｅｃｏｒｄｓ、電子健康記録)データは、ターゲットオブジェクトの各回の問診記録を記録することができ、技術の発展に伴い、ますます多くの臨床診断推定モデルは、患者のＥＨＲデータに基づいて医師の診断プロセスをシミュレートして、ユーザーの将来の罹患率を予測することができる。

【0004】

関連技術では、ユーザの将来の罹患率を予測するプロセスは、ＥＨＲデータ内の医療符号化データを患者の属性として臨床診断推定モデルに入力し、臨床診断推定モデルが医療符号化データをトレーニングし、予測された診断結果を出力できることであり得る。なお、臨床診断推定モデルが医療符号化データをトレーニングするプロセスは、臨床診断推定モデルが医師による診断プロセスをシミュレートすることを表すことができ、その後、臨床診断推定モデルによって予測された診断結果に従って、患者の将来の罹患率を予測するようにすることができる。

【0005】

しかしながら、前述の診断予測プロセスにおいて臨床診断推定モデルによって予測された診断結果の精度が低いため、予測された診断結果に基づいて確定された患者の将来の罹患率は不正確である。

【発明の概要】

【課題を解決するための手段】

【0006】

本出願の実施例は、臨床診断推定モデルによって予測された診断結果の精度が低いという問題を解決するできる機械学習に基づくターゲットオブジェクト属性予測方法、及び関連機器を提供する。前記技術案は以下通りである。

【0007】

一局面によれば、機械学習に基づくターゲットオブジェクト属性予測方法を提供し、コンピュータ機器によって実行され、前記方法は、
ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定し、
前記検出特徴を第１のニューラルネットワークに入力し、
前記検出特徴のうち各時系列での検出特徴について、前記第１のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第１の法則特徴、及び前記第１の法則特徴と異なる前記検出特徴の将来の変化法則を表す第２の法則特徴を出力し、
前記第１の法則特徴、及び第２の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定し、
前記グローバル特徴を第２のニューラルネットワークに入力し、
前記第２のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力し、
前記ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測することを含む。

【0008】

他の局面によれば、機械学習に基づくターゲットオブジェクト属性予測装置を提供し、前記装置は、
ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するための取得モジュールと、
前記検出特徴を第１のニューラルネットワークに入力し、前記検出特徴のうち各時系列での検出特徴について、前記第１のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第１の法則特徴、及び前記第１の法則特徴と異なる前記検出特徴の将来の変化法則を表す第２の法則特徴を出力するための計算モジュールと、
前記グローバル特徴を第２のニューラルネットワークに入力し、前記第２のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力するための抽出モジュールと、
前記ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するための予測モジュールとを、含んでおり、
前記取得モジュールは、さらに、前記第１の法則特徴、及び第２の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するために用いられる。

【0009】

他の局面によれば、コンピュータ機器を提供し、当該コンピュータ機器はプロセッサ、及びコンピュータプログラムを格納するためのメモリを含んでおり、当該プロセッサは、メモリに格納されたコンピュータプログラムを実行することで、上記の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を実現するために用いられる。

【0010】

他の局面によれば、コンピュータ読み取り可能な記憶媒体を提供し、コンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサによって実行される場合に、上記の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を実現する。

【0011】

他の局面によれば、命令を含むコンピュータプログラム製品を提供し、コンピュータ上で実行される場合に、上記の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を前記コンピュータに実行させる。

【0012】

本出願の実施例で提供される技術案は、以下の有益な効果を有する。
検出特徴の過去及び将来の変化法則を表す法則特徴に基づいてターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を洗練して、ターゲットオブジェクトの少なくとも１つのローカル特徴を取得し、そうすると、洗練されたローカル特徴はターゲットオブジェクトの特点をより体現でき、ひいては、ローカル特徴に応じてターゲットオブジェクトの属性を予測し、従って、予測された属性の精度を向上させることができ、ターゲットオブジェクトの属性が予測された診断結果である場合に、予測された診断結果の精度を向上させることができる。

【図面の簡単な説明】

【0013】

本出願の実施例における技術案をより明確に説明するために、以下で実施例の記述において使用する必要がある図面を簡単に紹介し、もちろん、以下に記述の図面が本出願のいくつかの実施例に過ぎなく、当業者にとって、創造的な労力をしない前提で、これらの図面に応じて他の図面を得ることもできる。

【図1】本出願の実施例で提供される実施環境の概略図である。

【図2】本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法のフローチャートである。

【図3】本出願の実施例で提供される診断推定モデルの概略図である。

【図4】本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測装置の構造概略図である。

【図5】本出願の実施例で提供されるコンピュータ機器の構造概略図である。

【発明を実施するための形態】

【0014】

本出願で提供される属性予測方法の理解を容易にするために、以下、まず、属性予測の関連技術及び発明者の研究発見を説明する。

【0015】

関連技術では、ユーザの将来の罹患率を予測するプロセスは、ＥＨＲデータにおける医療符号化データを患者の属性として臨床診断推定モデルに入力し、臨床診断推定モデルが医療符号化データをトレーニングし、予測された診断結果を出力できることであり得る。なお、臨床診断推定モデルが医療符号化データをトレーニングするプロセスは、臨床診断推定モデルが医師による診断プロセスをシミュレートすることを表すことができ、その後、トレーニングされた臨床診断推定モデルによる診断結果に応じて患者の将来の罹患率を予測するようにすることができる。

【0016】

しかしながら、上記関連技術の研究において、発明者は、以下のことを発見した：上記の診断予測プロセスにおいて、臨床診断推定モデルに入力されるものは医療符号化データであり、医療符号化データには数千の病気のデータを含むが、１人の患者が１つ又は複数の病気だけを患う可能性があり、あまり多くの病気を患う可能性は低いであり、したがって、医療符号化データにおける有用なデータは、医療符号化データにおいて比較的まばらにかつ離散的に分布しており、さらに、医療符号化データは、患者が病気にかかったことを表すことしかできず、患者の全体的な身体的状態を表すことはできず、その結果。このような医療符号化データを用いて臨床診断推定モデルをトレーニングした後、出力される予測診断結果の精度が低く、この予測診断結果に基づいて決定される患者の将来の罹患率が不正確になる。

【0017】

関連技術における技術的問題を解決するために、本出願は、機械学習に基づくターゲットオブジェクト属性予測方法を提供し、この方法は、具体的に、ターゲットオブジェクトの検出データ、及び検出データに対応する属性に応じて、ターゲットオブジェクトの検出特徴を確定し、検出特徴を第１のニューラルネットワークに入力し、検出特徴のうち各時系列での検出特徴について、第１のニューラルネットワークは、異なる二つの時系列で計算した後に、第１の法則特徴、及び第１の法則特徴と異なる第２の法則特徴を出力し、第１の法則特徴は検出特徴の過去の変化法則を表し、第２の法則特徴は検出特徴の将来の変化法則を表し、第１の法則特徴、及び第２の法則特徴に基づいて、ターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を第２のニューラルネットワークに入力し、第２のニューラルネットワークがグローバル特徴からターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力し、ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいてターゲットオブジェクトの属性を予測することを含む。

【0018】

本出願で提供される機械学習に基づくターゲットオブジェクト属性予測方法では、検出特徴の過去及び将来の変化法則を表す法則特徴に基づいてターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を洗練することで、ターゲットオブジェクトの少なくとも１つのローカル特徴を取得し、そうすると、洗練されたローカル特徴はターゲットオブジェクトの特性をより体現でき、ひいては、ローカル特徴に応じてターゲットオブジェクトの属性を予測し、従って、予測された属性の精度を向上させることができ、ターゲットオブジェクトの属性が予測された診断結果である場合に、予測された診断結果の精度を向上させることができる。

【0019】

本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は、機械学習技術に基づいて実現される。なお、機械学習(Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、ＭＬ)は、複数の分野が交わる学科であり、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの複数の学科に係る。新しい知識やスキルを習得するためにコンピュータが人間の学習行動をどのようにシミュレート又は実現するかを専門に研究し、既存の知識構造を再組織して自身のパフォーマンスを継続的に改善する。機械学習は、人工知能のコアであり、コンピュータに知能を持たせる基本的な方法であり、その適用は人工知能のすべての分野をカバーする。機械学習及び深層学習は、一般、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教示学習などの技術を含む。

【0020】

また、機械学習は、人工知能(Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ)の重要な方向性である。人工知能は、デジタルコンピュータ又はデジタルコンピュータによって制御されるマシンを使用して、人間の知能をシミュレート、延長、拡張し、環境を感知し、知識を獲得し、知識を使用して最適な結果を得る理論、方法、技術、及びアプリケーションシステムである。つまり、人工知能は、計算機科学の総合的な技術であり、知能の本質を理解し、人間の知能と同じように反応できる新しいインテリジェントマシンを生み出そうとする。人工知能は、さまざまなインテリジェントマシンの設計原理と実現方法を研究して、マシンに感知、推論、決定の機能を持たせることである。

【0021】

人工知能技術は総合的な学科であり、ハードウェアについての技術とソフトウェアについての技術の両方を含む幅広い分野に係る。人工知能の基本的な技術は、一般に、センサー、ＡＩ専用チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理技術、オペレーティング/インタラクションシステム、メカトロニクスなどの技術を含む。人工知能のソフトウェア技術は、主に、コンピュータービジョン技術、音声処理技術、自然言語処理技術、機械学習/深層学習などを含む。

【0022】

上記の内容から分かるように、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は、人工知能に関し、特に、人工知能における機械学習に関する。

【0023】

本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は、端末デバイス、サーバーなどの、データ処理を実行できるコンピュータ機器に応用可能であり、なお、端末デバイスは、具体的に、スマートフォン、コンピュータ、パーソナルデジタルアシスタント(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｔａｎｔ、ＰＤＡ)、タブレットコンピューターなどであってもよく、サーバーは、具体的に、アプリケーションサーバーであってもよいし、Ｗｅｂサーバーであってもよく、実際の配置中に、当該サーバーは独立サーバーであってもよいし、クラスターサーバーであってもよい。

【0024】

本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法が端末デバイスによって実行される場合に、端末デバイスは、直接にユーザーによって入力されたターゲットオブジェクトの検出データ、及び当該検出データに対応する属性に応じて、ターゲットオブジェクトの属性を予測し、予測結果はユーザーが見るように表示される。本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法がサーバーによって実行される場合に、サーバーは、まず、端末デバイスによってアップロードされたターゲットオブジェクトの検出データ、及び当該検出データに対応する属性に応じて、ターゲットオブジェクトの属性を予測し、予測結果を取得し、次に、当該予測結果を端末デバイスに送信、端末デバイスは、受信した予測結果をユーザーが見るように表示する。

【0025】

本出願の実施例で提供される技術案を理解しやすいために、以下、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法が端末デバイスに適用されることを例として、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法が適用される適用シナリオについて例示的に説明する。

【0026】

本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法の可能な適用シナリオとして、当該適用シナリオは端末デバイス及びユーザーを含み、端末デバイスは、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法を実行し、ターゲットオブジェクトの属性を予測して予測結果を取得し、ユーザーがみるようにするために用いられる。

【0027】

端末デバイスは、ユーザートによってリガーされた属性予測命令を受信した後に、ターゲットオブジェクトの検出データ、及び検出データに対応する属性に応じて、ターゲットオブジェクトの検出特徴を確定し、検出特徴を第１のニューラルネットワークに入力し、検出特徴のうち各時系列での検出特徴について、第１のニューラルネットワークが異なる二つの時系列で計算した後に、特徴検出特徴の過去の変化法則を表す第１の法則特徴、及び第１の法則特徴と異なる検出特徴の将来の変化法則を表す第２の法則特徴を出力し、第１の法則特徴及び第２の法則特徴に基づいて、ターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を第２のニューラルネットワークに入力し、第２のニューラルネットワークがグローバル特徴からターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力し、ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいてターゲットオブジェクトの属性を予測し、予測結果を取得することができ、端末デバイスは当該予測結果をユーザーに表示するようにする。

【0028】

実際の適用において、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法をサーバーに適用可能であることを理解されたい。これに基づいて、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法の別の可能な適用シナリオとして、当該適用シナリオはサーバー、端末デバイス及びユーザーを含む。なお、端末デバイスは、ユーザーによってトリガーされた属性予測命令を受信した後に、属性予測命令に従って属性予測要求を生成し、属性予測要求にサーバーに送信し、サーバーは、端末デバイスによって送信された属性予測要求を受信した後に、ターゲットオブジェクトの検出データ、及び検出データに対応する属性に応じて、ターゲットオブジェクトの検出特徴を確定し、検出特徴を第１のニューラルネットワークに入力し、検出特徴のうち各時系列での検出特徴について、第１のニューラルネットワークが異なる二つの時系列で計算した後に、検出特徴の過去の変化法則を表す第１の法則特徴、及び第１の法則特徴と異なる検出特徴の将来の変化法則を表す第２の法則特徴を出力し、第１の法則特徴及び第２の法則特徴に基づいて、ターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を第２のニューラルネットワークに入力し、第２のニューラルネットワークがグローバル特徴からターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力し、ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいてターゲットオブジェクトの属性を予測し予測結果を取得するようにし、サーバーは、取得した予測結果を端末デバイスにフィードバックし、ユーザーは端末デバイスで当該予測結果をみることができる。

【0029】

上記の適用シナリオは単なる例であり、実際の適用において、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は、さらに、他の属性予測を行う適用シナリオに応用可能であることを理解されたく、ここで、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は限定されない。

【0030】

本出願の実施例の目的、技術案及びメリットをより明確にするために、以下、図面と合わせて、本出願の実施形態を更に詳しく説明する。

【0031】

図１は、本出願の実施例で提供される実施環境の概略図である。図１を参照して、当該環境は、機械学習に基づくターゲットオブジェクト属性予測システム１００を含み、当該機械学習に基づくターゲットオブジェクト属性予測システムは、前処理モジュール１０１、検出特徴抽出モジュール１０２、法則特徴抽出モジュール１０３及び予測モジュール１０４を含む。

【0032】

なお、前処理モジュール１０１は、ターゲットオブジェクトの検出データ、及び検出データに対応する属性を処理するために用いられ、具体的に、ユーザーの検出データ、及び検出データに対応する属性を、検出特徴抽出モジュール１０２が計算できるデータに変換する。

【0033】

検出特徴抽出モジュール１０２は、検出データの特徴と検出データに対応する属性の混合特徴を抽出するために用いられ、抽出された混合特徴はターゲットオブジェクト検出特徴とすることができる。具体的に、検出特徴抽出モジュール１０２は、まず、前処理モジュール１０１によって処理されたデータに基づいて、属性の特徴及び検出データの特徴を抽出し、次に、抽出された属性の特徴及び検出データの特徴をスプライシングし、最後、検出特徴抽出モジュール１０２がスプライシング結果に基づいて検出特徴を抽出する。

【0034】

法則特徴抽出モジュール１０３は、法則特徴を抽出し、ターゲットオブジェクトのグローバル特徴を生成するために用いられ、当該法則特徴は、検出特徴のグローバル変化法則を表すために用いられ、具体的に、法則特徴抽出モジュール １０３は、まず、検出特徴抽出モジュール１０２によって抽出された検出特徴の過去変化法則及び未来変化法則を抽出することができ、次に、法則特徴抽出モジュール１０３は検出特徴の過去変化法則及び未来変化法則に基づいて、検出特徴のグローバル変化法則を取得し、最後、グローバル変化法則を代表する法則特徴に応じて、ターゲットオブジェクトのグローバル特徴を確定することができる。

【0035】

予測モジュール１０４は、ターゲットオブジェクトの属性を予測するために用いられ、具体的に、予測モジュール１０４は、ニューラルネットワークにより法則特徴抽出モジュール１０３によって生成されたグローバル特徴を洗練し、ターゲットオブジェクトのローカル特徴を取得し、次に、予測モジュール１０４はターゲットローカル特徴を使用して取得した複数のローカル特徴をまとめて表現し、最後、予測モジュール１０４はターゲットローカル特徴に基づいてターゲットオブジェクトの属性を予測することができる。

【0036】

なお、当該機械学習に基づくターゲットオブジェクト属性予測システム１００における各モジュールの機能は、１つのコンピュータ機器によって実現されてもよいし、複数のコンピュータ機器によって実現されてもよく、本出願の実施例では、各モジュールの機能を実現するコンピュータ機器の数は具体的に限定されない。

【0037】

図１は、機械学習に基づくターゲットオブジェクト属性予測システムにおける各モジュールの各々の機能を説明し、機械学習に基づくターゲットオブジェクト属性予測システムによる属性予測の具体的なプロセスを体現するために、図２を参照して、図２は本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法のフローチャートである。図２に示すように、当該機械学習に基づくターゲットオブジェクト属性予測方法は、以下のステップを含む。

【0038】

２０１において、コンピュータ機器が、ターゲットオブジェクトの検出データ、及び当該検出データに対応する属性に応じて、当該ターゲットオブジェクトの検出特徴を確定する。

【0039】

当該コンピュータ機器は任意のコンピュータ機器であってもよい。ターゲットオブジェクトは任意のユーザーであってもよい。

【0040】

ターゲットオブジェクトの検出データは、過去の時間帯におけるターゲットオブジェクトの各検出の検出データを含み得、各検出の検出データは、１つの検出時間に対応するので、各検出の検出データは、当該ターゲットオブジェクトに関する複数のタイプのデータを含み得る。ターゲットオブジェクトを兆候検出することを例として、一度に検出されたデータは、心拍データ、血圧データなどのタイプのデータであり、任意のタイプのデータについて、各検出中に大量のデータが検出され得、一度に検出された複数のデータは今回の検出時間に関する１つの時系列シーケンスを構成できるので、１つの検出時間は複数の時系列シーケンスに対応する可能性があり、１つの検出時間での複数のタイプの検出データを区別するために、各タイプの時系列シーケンスをラベル付けすることができる。なお、本出願の実施例では、検出時間は特に限定されず、二つの検出時間の間の時間間隔は特に限定されていないことに留意されたい。また、本出願の実施例では、上記過去の時間帯は限定されず、上記過去の時間帯とは、コンピュータデバイスが属性予測方法を使用してターゲットオブジェクトの属性を予測する前の任意の時間帯を指すことができる。

【0041】

当該検出データがターゲットオブジェクトの兆候データである場合に、当該検出データはＥＨＲデータに記憶された時系列データであってもよく、当該時系列データにはターゲットオブジェクトの各問診の問診時間、及び各問診時間に検出されたターゲットオブジェクトの兆候データが含まれ、当該問診時間は検出時間でもあることを理解されたい。

【0042】

上記の属性はターゲットオブジェクトの少なくとも１つの状態を指示するために用いられ、当該属性の各位置は１つの状態に対応し、当該ターゲットオブジェクトが対応する状態を有するかどうかを状態識別子で示すことができ、当該状態識別子は第１の状態識別子及び第２の状態識別子を含み得、その中、当該第１の状態識別子は、ターゲットオブジェクトが対応する状態を有することを表すために用いられ、当該第２の状態識別子は、ターゲットオブジェクトが対応する状態を有しないことを表すために用いられ、例えば、当該属性内のいずれかの位置に第１の状態識別子があると、ターゲットオブジェクトが当該位置に対応する状態を有することを説明し、当該属性内のいずれかの位置に第２の状態識別子があると、ターゲットオブジェクトが当該位置に対応する状態を有しないことを説明する。また、異なる文字列を使用して第１の状態識別子及び第２の状態識別子を示すことができるが、本出願の実施例では、当該第１の状態識別子又は第２の状態識別子を表す文字列は具体的に限定されない。

【0043】

毎回ターゲットオブジェクトを検出した後に、今回の検出データを取得し、今回の検出データに基づいて、ターゲットオブジェクトの属性を確定でき、当該確定されたターゲットオブジェクトの属性に対応する検出時間は今回の検出データに対応する検出時間である。本出願の実施例では、１つの属性は１つの検出時間に対応し、そして、当該ターゲットオブジェクトの検出データに少なくとも１つの検出時間を含むと、当該ターゲットオブジェクトの検出データは少なくとも１つの属性に対応することがわかる。

【0044】

上記の少なくとも１つの状態は、ターゲットオブジェクトの罹病の状態であってもよいし、他の状態であってもよく、本出願の実施例では、当該少なくとも１つの状態は具体的に限定されない。当該ターゲットオブジェクトの状況が罹病の状態である場合に、当該検出データに対応する属性は医療符号化データであってもよく、１つの医療符号化データは０と１で構成され得、医療符号化データの各位置は１つの病気に対応し、いずれかの位置でのデータが０であると、ターゲットオブジェクトが当該位置に対応する病気にかからないこと代表し、いずれかの位置でのデータが１である場合に、ターゲットオブジェクトが当該位置に対応する病気にかかることを代表し、ここでの０は第２の状態識別子に相当し、ここでの１は第１の状態識別子に相当することを理解されたい。

【0045】

計算を容易にするために、当該コンピュータ機器は、まず、ターゲットオブジェクトの検出データ、及び当該検出データに対応する属性を前処理し、検出データ、及び検出データに対応する属性がその後の計算に必要なフォーマットに合致し、次に、処理されたデータに対して特徴抽出を行って、当該ターゲットオブジェクトの検出特徴を取得することができる。可能な実現方式では、このステップ２０１は、以下のステップ２０１１－２０１４に示す手順により実現されてもよい。

【0046】

ステップ２０１１において、当該コンピュータ機器が当該検出データに対応する属性を全結合ニューラルネットワークに入力し、当該全結合ニューラルネットワークにより当該属性におけるターゲット状態を選別し、当該ターゲット状態に対して加重処理を行い、当該検出データに対応する属性の特徴を出力する。

【0047】

ターゲットオブジェクトの属性に複数の状態が記憶されているので、当該ターゲットオブジェクトは属性内の幾つかの状態を有し、ターゲットオブジェクトが有する状態をターゲット状態とする。

【0048】

計算を容易にするために、コンピュータ機器は、当該検出データに対応する属性を前処理し、可能な実現方式では、当該コンピュータ機器は、当該検出データに対応する属性をマルチホスト(ｍｕｌｉｔ-ｈｏｔ)ベクトルで表すことができ、当該検出データに対応する属性を前処理する目的を達成する。当該ｍｕｌｉｔ-ｈｏｔベクトルは０と１で構成され、０はターゲットオブジェクトが対応する状態を有しないことを代表し、１はターゲットオブジェクトが対応する状態を有することを代表する。

【0049】

そうすると、当該コンピュータ機器は、ｍｕｌｉｔ-ｈｏｔベクトルを全結合ニューラルネットワークに入力し、全結合ネットワークが符号化行列によりターゲットオブジェクトのターゲット状態を選別し、選別されたターゲット状態に対して加重処理を行って、当該検出データに対応する属性の特徴を出力することができる。なお、本出願は、選別されたターゲット状態に対して加重処理を行うことにより、処理された結果はｍｕｌｉｔ-ｈｏｔベクトルに対応する属性の特徴を集中させることができる。

【0050】

具体的に、当該全結合ネットワークにおける各ネットワークノードは第１の式により当該ｍｕｌｉｔ-ｈｏｔベクトル内のデータを計算することができ、当該第１の式は、π_j=ReLU(W^Tx_j+b_π)として示すことができ、その中、W^Tは符号化特徴行列であり、当該W^Tは予めトレーニングされた行列であってもよいし、全結合ニューラルネットワークが属性の特徴を計算する過程でトレーニングされた行列であってもよく、ｊは、ｊ回目の検出時間の番号であり、x_jはｊ回目の検出中に対応する属性のｍｕｌｉｔ-ｈｏｔベクトルであり、つまり、x_jはｊ回目の検出中対応する属性ｍｕｌｉｔ-ｈｏｔベクトルを代表し、π_jはｊ番目の検出時間に対応する属性の特徴ベクトルであり、当該特徴ベクトルはｊ回目の検出中に対応する属性の特徴を代表し、ｊは１以上の整数であり、b_πは偏差パラメータを示し、b_πは予めトレーニングされたパラメータであってもよいし、全結合ニューラルネットワークが属性の特徴を計算する過程でトレーニングされたパラメータであってもよい。

【0051】

Ｊがターゲットオブジェクトの検出回数の総数を示す場合に、当該コンピュータ機器は全結合ニューラルネットワークにより当該検出データに対応する全ての属性を計算した後に、検出データに対応する属性の特徴π=[π₁, ..., π_J]を得ることができ、なお、当該コンピュータ機器は、全結合ネットワークにより属性の特徴を計算することに加えて、他のニューラルネットワークにより属性の特徴を計算することもできる。

【0052】

１つの属性はターゲットオブジェクトの少なくとも１つの状態を指示するために用いられるので、そうすると、当該属性で指示された状態が多い場合に、当該コンピュータ機器が当該属性のｍｕｌｉｔ-ｈｏｔベクトルで当該属性を示すと、ｍｕｌｉｔ-ｈｏｔベクトルの次元が比較的高い可能性がある。この場合、ターゲット状態を選別することで、属性の特徴πの次元をｍｕｌｉｔ-ｈｏｔベクトルの次元よりも小さくし、ステップ２０１１に示す手順は、次元削減のプロセスとして見なすことができ、これにより、その後の計算が容易になる。

【0053】

ステップ２０１２において、当該コンピュータ機器が当該検出データを時系列分析ツールに入力し、時系列分析ツールにより当該検出データの各タイプのデータの各時系列での特徴を抽出し、特徴セットを出力する。

【0054】

時系列分析ツールは、ＨＣＴＳＡ(ｈｉｇｈｌｙ ｃｏｍｐａｒａｔｉｖｅ ｔｉｍｅ-ｓｅｒｉｅｓ)コードストレージであってもよい。各タイプのデータの各時系列での特徴はこのタイプのデータのデータ分布、エントロピー、ズーム属性などを表す特徴を含んでもよく、これらの特徴は、このタイプのデータの自己相関構造を示すことができることがわかり、そして、これらの特徴は実際の検出データに基づいて取得されるので、これらの特徴は解釈可能である。

【0055】

当該コンピュータ機器は、ｊ回目の検出データを時系列分析ツールに入力した後に、時系列分析ツールは事前設定された特徴抽出ルールに基づいて、ｊ回目の検出データの各タイプのデータの特徴

【数1】

を抽出することができ、その中、

【数2】

はｊ回目の検出中にｋ番目のデータタイプの時系列特徴を示し、ｚは正の整数であり、ｋはデータタイプの番号であり、ｊはｊ回目の検出の番号を示し、つまり、ｊ回目の検出時間の番号であり、ｊは正の整数であり、１≦ｊ≦Ｊであり、Ｊはターゲットオブジェクトの検出回数の総数を示す。なお、本出願の実施例では、当該事前設定された特徴抽出ルールは、具体的に限定されない。

【0056】

Ｊがターゲットオブジェクトの検出回数の総数を示すと、これらのＪ回の検出データを時系列分析ツールにより処理した後に、当該時系列分析ツールは抽出された毎回の検出データの特徴を１つの特徴セット

【数3】

に記憶し、最後、当該時系列分析ツールは当該特徴セットを出力でき、これにより、当該コンピュータ機器は当該特徴セットを得ることができる。

【0057】

特徴セットにおける特徴は、各タイプのデータの自己相関構造を表すことができるだけであり、全ての検出データの特徴を体現できないので、当該コンピュータ機器は、さらに、以下のステップ２０１３を実行することで検出データの特徴を取得する必要がある。

【0058】

ステップ２０１３において、当該コンピュータ機器が特徴セットをディープ&クロスネットワークに入力し、当該ディープ&クロスニューラネットワークにより当該特徴セット内の各時系列特徴に対してクロス処理を行って、当該検出データの特徴を出力する。

【0059】

ＤＣＮ(ｄｅｅｐ&ｃｒｏｓｓ ｎｅｔｗｏｒｋ、ディープ&クロスネットワーク)はクロスネットワーク及び１つのディープネットワークを有し、当該コンピュータ機器は特徴セットをクロスネットワーク及びディープネットワークにそれぞれ入力し、クロスネットワークにより特徴セット内の複数の時系列特徴をクロスさせ、クロスした特徴を出力し、ディープネットワークにより特徴セット内の全ての特徴の共通の特徴を抽出する。最後、ＤＣＮによって出力されるクロス特徴とディープネットワークによって抽出される共通の特徴とを組み合わせて当該検出データの特徴を取得する。

【0060】

なお、本出願の実施例では、ステップ２０１１－２０３の実行順序は、具体的に限定されない。例えば、当該計算装置は、まず、ステップ２０１１を実行してから、ステップ２０１２及び２０１３実行してもよく、まず、ステップ２０１２及び２０１３を実行してからステップ２０１１を実行してもよく、ステップ２０１１を実行する際にステップ２０１２及び２０１３を同時に実行してもよい。

【0061】

ステップ２０１４において、当該コンピュータ機器が当該属性の特徴、及び当該検出データの特徴をディープニューラルネットワークに入力し、当該ディープニューラルネットワークにより当該検出データと当該検出データに対応する属性の混合特徴を抽出し、当該検出特徴を出力する。

【0062】

当該コンピュータ機器は、まず、当該属性の特徴と検出データの特徴とをスプライシングして、１つのスプライシングされた特徴を取得し、次に、スプライシングされた特徴を当該ディープニューラルネットワークに入力する。

【0063】

可能な実現方式では、アレイを接続する関数ｃｏｎｃａｔ[]を採用して、ｊ回目の検出中に対応する属性の特徴π_jとｊ回目の検出中の検出データの特徴τ_jとをx_jにスプライシングし、x_j=concat[τ_j,τ_j]であり、次に、x_jを当該ディープニューラルネットワークの入力として、当該ディープニューラルネットワークにおける各ノードは、以下の第２の式に従ってx_jにおけるデータを計算でき、これにより、当該ディープニューラルネットワークはｊ番目の検出時間での検出特徴ξ_jを出力でき、当該第２の式は、

【数4】

として示すことができ、その中、W_xは第１の重み値行列であり、

【数5】

はW_xの転置行列であり、b_xは第１の偏差パラメータである。

【0064】

W_xの各重み値は、x_jにおける各要素の重要度を表すために用いられるので、

【数6】

により、x_jにおける各要素に対する加重処理を実現でき、さらに、x_jにおける要素を統合でき、ＲｅＬＵ(ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ、正規化線形ユニット)関数は、データ間の関連機能をより適切にマイニングすることができるので、ＲｅＬＵ関数は比較的強い表現力を持っており、ＲｅＬＵ関数を使用して

【数7】

を処理し、処理結果ξ_jはx_jが持つ特徴を表現できるため、ξ_jはｊ回目の検出の検出特徴とすることができる。

【0065】

各検出時間に対応する属性の特徴と検出データの特徴とに対してスプライシング処理を行う場合に、当該コンピュータ機器は、また、当該ディープニューラルネットワークにより各検出時間での検出特徴を抽出でき、説明を容易にするために、各検出時間での検出特徴をサブ検出特徴と呼ぶので、ディープニューラルネットワークによって最終的に出力された検出特徴は、少なくとも１つのサブ検出特徴を含み、当該コンピュータ機器は時系列で当該少なくとも１つのサブ検出特徴を当該検出特徴に記憶し、検出特徴ξ=[ξ₁, ξ₂, ... ξ_J]を取得することができ、ξ_jはｊ番目のサブ検出特徴であり、ｊ番目の検出時間に対応する検出特徴でもあり、ｊは正の整数であり、１≦ｊ≦Ｊであり、Ｊはターゲットオブジェクトの検出回数の総数を示す。

【0066】

検出データの特徴及び属性の特徴は各時系列の各タイプデータの特徴を含んでいるので、当該検出特徴はマルチモードを有し、当該検出特徴はマルチモード特徴として見なすことができる。

【0067】

検出特徴は検出データ及び検出データに対応する属性に基づいて取得されるので、検出データのみに基づいて取得したターゲットオブジェクトの特徴に対して、本出願の実施例における検出特徴はターゲットオブジェクトの検出中の特徴をより体現でき、そして、検出データは、実際に検出されたデータであり、客観的根拠とすることができ、取得された検出特徴は解釈可能であり、検出データに対応する属性は主観的な判断の結果であるので、属性及び検出データに基づいて取得された検出特徴の精度は高い。

【0068】

ステップ２０１１－２０１４に示す手順の理解を容易にするために、図３のマルチモード特徴抽出部分を参照し、図３は本出願の実施例で提供される診断推定モデルの概略図であり、マルチモード特徴抽出部分において、まず、コンピュータ機器が医療符号化データ(即ち、検出データに対応する属性)をｍｕｌｉｔ-ｈｏｔベクトルに変換し、ｍｕｌｉｔ-ｈｏｔベクトルを全結合ニューラルネットワークに入力し、全結合ニューラルネットワークが計算により医療符号化データの特徴(即ち、属性の特徴)を出力できることがわかり、なお、全結合ニューラルネットワークが計算により医療符号化データの特徴を出力するプロセスは医療符号化データを埋め込むプロセスである。

【0069】

次に、コンピュータ機器は時系列データ(即ち、検出データ)に対して特徴抽出を行って、特徴セットを取得し、続いて、コンピュータ機器は特徴セットをＤＣＮに入力し、ＤＣＮはクロスマルチ時系列混合特徴(ｃｒｏｓｓ ｍｕｌｔｉｐｌｅ ｔｉｍｅ ｓｅｒｉｅｓ ｆｅａｔｕｒｅ ｍｉｘｔｕｒｅ)、即ち、検出データの特徴を出力し、最後、コンピュータ機器はクロスマルチ時系列混合特徴と属性特徴とを混合して、混合された特徴に基づいて、マルチモード特徴(即ち、検出特徴)を取得する。

【0070】

なお、当該コンピュータ機器は、ディープニューラルネットワークを使用して、検出データの特徴を取得することに加えて、他のニューラルネットワークを採用して、検出データの特徴を取得することもできる。

【0071】

２０２において、当該コンピュータ機器が当該検出特徴を第１のニューラルネットワークに入力し、検出特徴のうち各時系列での検出特徴について、第１のニューラルネットワークが異なる二つの時系列で計算した後に、当該検出特徴の過去の変化法則を表す第１の法則特徴、及び第１の法則特徴と異なる当該検出特徴の将来の変化法則を表す第２の法則特徴を出力する。

【0072】

第１のニューラルネットワークは、アテンション(ａｔｔｅｎｔｉｏｎ)メカニズムを有するＢｉＲＮＮ(ｂｉｄｉｒｅｃｔｉｏｎａｌ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ、双方向リカレントニューラルネットワーク)であってもよく、当該ＢｉＲＮＮは、１つの第１のサブネットワーク及び１つの第２のサブネットワークで構成され、その中、第１のサブネットワークは第１の法則特徴を取得するために用いられ、第２のサブネットワークは第２の法則特徴を取得するために用いられる。

【0073】

可能な実現方式では、当該コンピュータ機器は、逆方向の時系列順序に従って、当該検出特徴を当該第１のニューラルネットワークの第１のサブネットワークに入力し、当該第１のサブネットワークにより当該検出特徴に対して逆方向の時系列計算を行って、当該第１の法則特徴を取得し、順方向の時系列順序に従って、当該検出特徴を当該第１のニューラルネットワークの第２のサブネットワークに入力し、当該第１のサブネットワークにより当該検出特徴に対して順方向の時系列計算を行って、当該第２の法則特徴を取得する。

【0074】

検出特徴内の少なくとも１つのサブ検出特徴は時間順序に従ってソートされるので、当該コンピュータ機器は、順方向の時系列に従って検出特徴を第１のサブネットワークに入力してもよいし、当該コンピュータ機器は、逆方向の時系列に従って、検出特徴を第２のサブネットワークに入力してもよい。

【0075】

可能な実現方式では、当該コンピュータ機器は、後から前へ検出特徴ξ=[ξ₁,ξ₂, …ξ_J]における各サブ検出特徴を第１のサブネットワーク内の入力層のノードに順次入力し、具体的に、当該コンピュータ機器は、ξ_Jを第１のサブネットワークの入力層の第１のノードに入力し、ξ_J-1を第１のサブネットワークの入力層の第２のノードに入力し、…(以下同様である)。当該コンピュータ機器は当該検出特徴を第１のサブネットワークに入力した後に、当該第１のサブネットワークは第１のサブネットワーク内で事前設定された計算ルールに従って、検出特徴内の各サブ特徴を計算し、最終的に、当該第１のサブネットワークは当該第１の法則特徴

【数8】

を出力でき、ｂは逆方向を表すために用いられるが、本出願の実施例では、当該第１のサブネットワークにおける事前設定された計算ルールは、具体的に限定されない。

【0076】

可能な実現方式では、当該コンピュータ機器は、前から後へ検出特徴ξ=[ξ₁,ξ₂, …ξ_J]にける各サブ検出特徴を第２のサブネットワーク内の入力層のノードに順次入力し、具体的に、当該コンピュータ機器はξ₁を第１のサブネットワークの入力層の第１のノードに入力し、ξ₂を第１のサブネットワークの入力層の第２のノードに入力し…(以下同様である)。当該コンピュータ機器が当該検出特徴を第２のサブネットワークに入力した後に、当該第２のサブネットワークは第２のサブネットワークにおける事前設定された計算ルールに従って検出特徴内の各サブ特徴を計算し、最終的に、当該第２のサブネットワークは当該第２の法則特徴

【数9】

を出力でき、その中、ｆは順方向を代表し、本出願の実施例では、当該第２のサブネットワークにおける事前設定された計算ルールは、具体的に限定されない。

【0077】

２０３において、当該コンピュータ機器が当該第１の法則特徴及び第２の法則特徴に基づいて、当該ターゲットオブジェクトのグローバル特徴を確定する。

【0078】

検出特徴の過去の変化法則は第１の法則特徴によって表され、検出特徴の将来の変化法則は第２の法則特徴によって表されるので、第１の法則特徴及び第２の法則特徴のいずれかは検出特徴のグローバル変化法則を表すことができず、より精確なターゲットオブジェクトのグローバル特徴を取得するために、当該コンピュータ機器は、まず、第１の法則特徴及び第２の法則特徴に基づいて、検出特徴のグローバル変化法則を表す法則特徴を取得し、その後、この法則特徴に応じて、グローバル特徴を取得することができる。

【0079】

可能な実現方式では、このステップ２０３は以下のステップ２０３１－２０３３に示す手順により実現されてもよい。

【0080】

ステップ２０３１において、当該コンピュータ機器が当該第１の法則特徴と第２の法則特徴とをスプライシングして、第３の法則特徴を取得する。

【0081】

第１のサブネットワークが当該第１の法則特徴

【数10】

を出力し、且つ第２のサブネットワークが当該第２の法則特徴

【数11】

を出力した後に、当該コンピュータ機器は第１のニューラルネットワークにより第１の法則特徴h=[h₁, ..., h_J]をスプライシングして、第３の法則特徴h=[h₁, ..., h_J]を取得し、その中、ｊは正の整数であり、１≦ｊ≦Ｊであり、Ｊはターゲットオブジェクトの検出回数の総数を示す。

【0082】

ステップ２０３２において、当該コンピュータ機器が当該第３の法則特徴に対して加重処理を行って、第４の法則特徴を取得し、当該第４の法則特徴は、当該検出特徴のグローバル変化法則を表すために用いられる。

【0083】

当該計算装置は第１のニューラルネットワークにおけるアテンションメカニズムにより、第３の法則特徴に対して加重処理を行うことができる。可能な実現方式では、このステップ２０３２はステップ１１－１３に示す手順により実現されてもよい。

【0084】

ステップ１１において、当該コンピュータ機器が第１のアテンションメカニズム及び当該第３の法則特徴に基づいて、重み値学習を行って、少なくとも１つの第１の重み値を取得し、当該第１の重み値は、１つの検出データと当該１つの検出データに対応する属性の重要度を表すために用いられる。

【0085】

なお、当該第１のアテンションメカニズムは当該第１のニューラルネットワーク内の任一アテンションメカニズムであり、当該コンピュータ機器は当該第１のアテンションメカニズムにおける重み値学習ポリシーに基づいて、重み値学習を行うことができ、当該重み値学習ポリシーは位置に基づくアテンション重み値学習ポリシーであってもよく、位置に基づくアテンション重み値学習ポリシーは、

【数12】

として示すことができ、その中、W_τは第２の重み値ベクトルであり、

【数13】

はW_τの転置行列であり、b_τは第２の偏差パラメータであり、

【数14】

はｊ回目の検出中に対応する第１の重み値である。

【0086】

そうすると、当該コンピュータ機器は第３の法則特徴h=[h₁, ..., h_J]における各法則特徴、及び上記の位置のアテンション重み値学習ポリシーに基づいて、重み値学習を行うことで、Ｊ個の第１の重み値を得ることができ、当該Ｊ個の第１の重み値は少なくとも１つの第１の重み値でもある。

【0087】

なお、当該第１のアテンションメカニズムにおける重み値学習ポリシーは他のアテンション重み値学習ポリシーであってもよく、本出願の実施例では、当該第１のアテンションメカニズムにおける重み値学習ポリシーは、具体的に限定されない。

【0088】

ステップ１２において、当該コンピュータ機器が当該少なくとも１つの第１の重み値に対して正規化処理を行って、少なくとも１つの第２の重み値を取得する。

【0089】

ステップ１１の第１の重み値は数学的計算によって得られた値であるため、当該少なくとも１つの第１の重み値は、大きすぎるか、又は小さすぎる可能性がある。計算を容易にするために、当該少なくとも１つの第１の重み値に対して正規化処理を行って、処理後に得られる各第２の重み値の大きさを適切にすることができ、当該少なくとも１つの第１の重み値が大きすぎる場合、当該少なくとも１つの第１の重み値は比例して減少し得、当該少なくとも１つの第１の重み値が小さすぎる場合に、当該少なくとも１つの第１の重み値は比例して拡大され得、当該少なくとも１つの第１の重み値に対する正規化処理を実現する。

【0090】

各第２の重み値は１つの第１の重みを正規化した結果のみであるため、第２の重み値は第１の重み値と同じ作用を有し、両方とも、１つの検出データ及び１つの検出データに対応する属性の重要度を表すために使用される。

【0091】

ステップ１３において、当該コンピュータ機器が少なくとも１つの第２の重み値に基づいて、当該第３の法則特徴に対して加重処理を行って、当該第４の法則特徴を取得する。

【0092】

当該コンピュータ機器は、当該少なくとも１つの第２の重み値

【数15】

を第３の式に代入し、第３の式の出力を当該第４の法則特徴とすることにより、第３の法則特徴に対する加重処理を実現し、当該第３の式は、

【数16】

として示すことができ、その中、cは第４の法則特徴であり、

【数17】

はｊ回目の検出中に対応する第２の重み値であり、Ｊは当該ターゲットオブジェクトの検出回数の総数である。

【0093】

１つの第２の重み値は、１つの検出データと当該１つの検出データに対応する属性の重要度を表すために用いられ、少なくとも１つの第２の重み値により当該第３の法則特徴に対して加重処理を行い、第３の法則特徴はより統括されて表現されるので、第４の法則特徴は検出特徴のグローバル変化法則を表すことができる。

【0094】

第１の法則特徴及び第２の法則特徴に対して加重処理を行ったので、第１の法則特徴及び第２の法則特徴は、第４の法則特徴によって総括して表され得、従って、第４の法則特徴は、第１の法則特徴で表される過去の変化法則を表すことができるだけではなく、第１の法則特徴で表される将来の変化法則を表すこともできるため、第４の特徴法則は検出特徴のグローバル変化法則を表すことができる。

【0095】

ステップ２０３３において、当該コンピュータ機器が当該第３の法則特徴、及び当該第４の法則特徴に基づいて、当該グローバル特徴を確定する。

【0096】

隣接する検出データ間の相関性と隣接する属性間の相関性が最も高いので、次の検出中のターゲットオブジェクトの属性をさらに予測するために、当該コンピュータ機器は当該第３の法則特徴のうち最後の検出時間に対応する法則特徴、及び当該第４の法則特徴を、第４の式に代入し、第４の式の出力を当該グローバル特徴とすることができ、第４の式は、

【数18】

として示すことができ、その中、

【数19】

は当該グローバル特徴であり、h_Jは第３の法則特徴におけるターゲットオブジェクトの最後の検出時間に対応する法則特徴であり、[h_J,c]はh_Jとｃとがスプライシングされたベクトルであり、W_dは第３の重み値行列であり、

【数20】

はW_dの転置行列であり、b_dは第３の偏差パラメータであり、ReLU()とは正規化線形関数である。

【0097】

第４の法則特徴は検出特徴のグローバル変化法則を表し、第１の法則特徴は検出特徴の過去の変化法則を表し、第２の法則特徴は検出特徴の将来の変化法則を表し得るので、この三つの法則特徴に対して加重処理を行って、得られた結果はターゲットオブジェクトのグローバル特徴を示すことができる。

【0098】

２０４において、当該コンピュータ機器が当該グローバル特徴を第２のニューラルネットワークに入力し、第２のニューラルネットワークがグローバル特徴からターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力する。

【0099】

当該第２のニューラルネットワークは、ＨＭＣＮ(ｈｉｅｒａｒｃｈｉｃａｌ ｍｕｌｔｉ-ｌａｂｅｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｎｅｔｗｏｒｋｓ、階層マルチラベル分類ネットワーク)であってもよく、そして、第２のニューラルネットワークは入力されたグローバル特徴からローカル特徴を抽出することができる。グローバル特徴はターゲットオブジェクトの詳細を表すことができないので、第２のニューラルネットワークによりターゲットオブジェクトの詳細を抽出することができ、具体的に、第２のニューラルネットワークは当該ターゲットオブジェクトの詳細を段階的に抽出することができ、最終的に抽出された詳細は属性予測用のニーズを満たすことができる。

【0100】

当該第２のニューラルネットワークの各層は１つの当該ローカル特徴を出力することができる。当該コンピュータ機器が当該グローバル特徴を当該第２のニューラルネットワークに入力した後に、当該グローバル特徴は入力層から第２のニューラルットワークの出力層までに入力され得、当該第２のニューラルネットワークは層ごとにグローバル特徴を計算でき、当該第２のニューラルネットワークの第１のターゲット層は、計算中に、第２のターゲット層の出力データに基づいて、第１のターゲット層の階層的特徴、及び当該ターゲットオブジェクトの第１のターゲット層におけるローカル特徴を計算することができ、その中、第１のターゲット層は当該第２のニューラルネットワークのいずれかの層であり、第２のターゲット層は当該第２のニューラルネットワークにおける当該第１のターゲット層の上位層であり、当該階層的特徴は、当該第２のニューラルネットワークのネットワーク層における当該グローバル特徴の状態を表すために用いられ、当該第１のターゲット層の階層的特徴は、当該グローバル特徴、及び当該第２のターゲット層の階層的特徴によって決定される。

【0101】

当該第２のニューラルネットワークの第２のターゲット層が第２のターゲット層の階層的特徴、及び当該ターゲットオブジェクトの第２のターゲット層におけるローカル特徴を生成した後に、当該第２のターゲット層は、第１のターゲット層が第２のターゲット層の階層的特徴及び当該グローバル特徴を受信できるように、第１のターゲット層に第２のターゲット層の階層的特徴、及び当該グローバル特徴(第２のターゲット層の出力データ)を出力することができる。そうすると、第２のニューラルネットワークの各ネットワーク層によって出力されたグローバル特徴に伴い当該グローバル特徴を当該第２のニューラルネットワークの各ネットワーク層に入力することができる。

【0102】

第１のターゲット層の階層的特徴は当該グローバル特徴及び当該第２のターゲット層の階層的特徴によって决定されるので、第１のターゲット層が第２のターゲット層の階層的特徴及び当該グローバル特徴を受信した後に、当該第１のターゲット層は第２のターゲット層の階層的特徴、及び当該グローバル特徴に基づいて、第１のターゲット層の階層的特徴を計算することができる。可能な実現方式では、当該第２のニューラルネットワークの第ｉ層の階層的特徴

【数21】

として示すことができ、その中、Gはグローバルを代表し、

【数22】

は第４の重み行列であり、

【数23】

は第ｉ-１層の階層的特徴であり、

【数24】

は第ｉ層の階層的特徴を示し、b_Gは第４の偏差パラメータであり、第ｉの層は第１のターゲット層として見なすことができる。

【0103】

当該第１のターゲット層におけるノードは第１のターゲット層の階層的特徴及び当該グローバル特徴に基づいて、当該ターゲットオブジェクトの第１のターゲット層におけるローカル特徴を取得することができる。可能な実現方式では、当該ターゲットオブジェクトの第ｉの層におけるローカル特徴

【数25】

として示すことができ、その中、Lはネットワーク層を代表し、

【数26】

は第５の重み行列であり、b_Tは第５の偏差パラメータである。

【0104】

当該第２のニューラルネットワークの各層は前の層の階層的特徴及びグローバル特徴に基づいて計算するので、第２のニューラルネットワークの各層におけるターゲットオブジェクトのローカル特徴は前の層ローカル特徴の影響を受け、各層の階層的表現はこの層の階層的特徴によって決定されるので、当該第２のニューラルネットワークにおけるいずれかのネットワーク層によって生成されるローカル特徴は次のネットワーク層によって生成されるローカル特徴の親とすることができる、従って、第２のニューラルネットワークは当該ターゲットオブジェクトの詳細を段階的に抽出することを実現することができる。

【0105】

２０５において、当該コンピュータ機器が当該ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいて、当該ターゲットオブジェクトの属性を予測する。

【0106】

１つのローカル特徴はターゲットオブジェクトの異なるレベルの詳細を表すことができるので、詳細が多いことを考慮して、それらを一括的に処理し、より詳細なローカル特徴を取得し、その後、このより詳細なローカル特徴に応じて、属性予測を行うことができる。

【0107】

可能な実現方式では、本ステップ２０５は、以下のステップ２０５１－２０５２に示す手順により実現されてもよい。

【0108】

ステップ２０５１において、当該コンピュータ機器は当該ターゲットオブジェクトの少なくとも１つのローカル特徴に対して加重処理を行って、ターゲットローカル特徴を取得する。

【0109】

当該ターゲットローカル特徴は、また、より詳細なローカル特徴である。コンピュータ機器は、第２のニューラルネットワークにおけるアテンションメカニズムにより、ターゲットオブジェクトのローカル特徴に対して加重処理を行うことができる。可能な実現方式では、このステップ２０５１はステップ２１－２２に示される手順により実現されてもよい。

【0110】

ステップ２１において、当該コンピュータ機器は第２のアテンションメカニズム及び当該少なくとも１つのローカル特徴に基づいて、重み値学習を行って、少なくとも１つの第３の重み値を取得し、１つの第３の重み値は、１つのローカル特徴の重要度を表すために用いられる。

【0111】

なお、当該第２のアテンションメカニズムは当該第２のニューラルネットワーク内のいずれかのアテンションメカニズムであり、コンピュータ機器は第２のアテンションメカニズム、及び当該少なくとも１つのローカル特徴に基づいて、重み値学習を行って、当該第２のアテンションメカニズムにおける重み値学習ポリシー、重み値を学習し、当該第２のアテンションメカニズムにおける重み値学習ポリシーは、

【数27】

として示すことができ、
その中、

【数28】

は、ｉ番目の第３の重み値であり、W_αは第６の重み値行列であり、b_αは第６の偏差パラメータであり、

【数29】

はｊ番目の検出時間に対応するパラメータの重み値であり、Ｍはローカル特徴の数を示す。

【0112】

なお、当該第２のアテンションメカニズムにおける重み値学習ポリシーは他のアテンション重み値学習ポリシーであってもよく、本出願の実施例では、当該第２のアテンションメカニズムにおける重み値学習ポリシーは具体的に限定されない。

【0113】

ステップ２２において、当該コンピュータ機器が当該少なくとも１つの第３の重み値に基づいて、当該ターゲットオブジェクトの少なくとも１つのローカル特徴に対して加重処理を行って、当該ターゲットローカル特徴を取得する。

【0114】

当該コンピュータ機器は、少なくとも１つの第３の重み値、及び当該ターゲットオブジェクトの少なくとも１つのローカル特徴を第５の式に代入して、第５の式の出力をターゲットローカル特徴として、ターゲットオブジェクトの少なくとも１つのローカル特徴に対する加重処理を実現し、当該第５の式は、

【数30】

として示すことができ、
その中、A_Gは現在の時系列に対応する検出データに対応する属性であり、Ｎは第２のニューラルネットワークの層数である。

【0115】

１つの第３の重み値は１つのローカル特徴の重要度を表すので、少なくとも１つの第３の重み値により少なくとも１つのローカル特徴に対して加重処理を行って、取得したターゲットローカル特徴は洗練される。

【0116】

ステップ２０５２において、当該ターゲットローカル特徴に基づいて、当該ターゲットオブジェクトの属性を予測する。

【0117】

当該コンピュータ機器は、当該ターゲットローカル特徴を第６の式に代入して、ターゲットオブジェクトの属性を予測することができ、当該第６の式は当該ターゲットオブジェクトの属性を予測するために用いられ、当該第６の数は

【数31】

として示すことができ、その中、

【数32】

はＪ+１番目の検出データに対応する予測されたターゲットオブジェクトの属性であり、W_Gは第７の重み値行列であり、b_Gは第７の偏差パラメータである。

【0118】

幾つかの実施例では、第２のニューラルネットワークは、第２のニューラルネットワークのグローバル損失及びローカル損失に応じて、現在予測される属性を出力するかどうかを確定することができる。

【0119】

幾つかの可能な実現方式において、当該グローバル特徴を当該第２のニューラルネットワークに入力した後に、当該第２のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、当該第２のニューラルネットワークは現在予測される属性を出力し、満たさないと、第２のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすまで、当該第２のニューラルネットワークは当該第２のニューラルネットワーク内の重み行列を調整し、当該ローカル損失は、当該第２のニューラルネットワークの各層における所望の出力データと実際の出力データとの差であり、当該グローバル損失は当該第２のニューラルネットワークの所望の最終出力データと実際の最終出力データとの差である。

【0120】

第２のニューラルネットワークのいずれかの層が計算を終了した後に、当該第２のニューラルネットワークは当該いずれかの層の次の検出中のローカル特徴(予測ローカル特徴と略称される)を予測でき、第ｉの層の予測ローカル特徴は、

【数33】

として示すことができ、
その中、

【数34】

は第ｉの層の第８の重み値行列であり、b_Lは第８の偏差パラメータである。

【0121】

第２のニューラルネットワークは少なくとも１つのターゲットオブジェクトの属性を予測でき、第２のニューラルネットワークに基づいて少なくとも１つのターゲットオブジェクトの属性を予測する場合に、当該いずれかの層の予測ローカル特徴に基づき、当該第２のニューラルネットワークはクロスエントロピーポリシーを採用して当該いずれかの層のローカル損失を計算することができ、そうすると、第ｉの層のローカル損失L^liは

【数35】

として示すことができ、
その中、Ｑはターゲットオブジェクトの数であり、

【数36】

はＱ番目のターゲットオブジェクトのグローバル特徴に基づいて、第ｉの層によって実際に出力されたデータであり、

【数37】

はＱ番目のターゲットオブジェクトのグローバル特徴に基づいて予測された第ｉの層の出力データである。

【0122】

第２のニューラルネットワークに基づいて少なくとも１つのターゲットオブジェクトの属性を予測する場合に、当該第２のニューラルネットワークの各層が計算を終了した後に、当該第２のニューラルネットワークが少なくとも１つのターゲットオブジェクトの次の検出中の属性を計算でき、その後、当該第２のニューラルネットワークは少なくとも１つのターゲットオブジェクトの次の検出中の属性を予測でき、クロスエントロピーポリシーを採用してグローバル損失L^Gを計算し、なお、L^Gは、

【数38】

として示すことができ、
その中、

【数39】

は実際に出力されたＱ番目のターゲットオブジェクトの次の検出中の属性であり、

【数40】

は予測されたＱ番目のターゲットオブジェクトの次の検出中の属性である。

【0123】

当該事前設定された条件はLoss=L^G+γ(L^l1+L^l2 ... L^lp)と示され得、その中、Ｐは２よりも大きい整数であり、例えば、ｐ＝３であり、Lossは事前設定された収束値であり、γは事前定義されたパラメータであり、グローバル損失とローカル損失のバランスをとるために用いられ、当該コンピュータ機器はLoss、γ、L^l1、L^l2、...、L^lpを上記の事前設定された条件の式に入力した後に、上記の式が成立すると、当該第２のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たし、上記の式が成立しないと、当該第２のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たさない。

【0124】

第２のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、第２のニューラルネットワークの各層によって生成されるローカル特徴と所望のローカル特徴との差が事前設定された精度に達成したことを説明し、これにより、当該第２のニューラルネットワークの各層のローカル特徴の精度が高いことを保証することができ、ひいては、予測された属性の精度を向上させることができる。

【0125】

なお、第２のニューラルネットワークは数値に基づいて計算するが、ターゲットオブジェクトの属性内の各状態は実際に状態識別子で示されるので、当該コンピュータ機器は、さらに、第２のニューラルネットワークによって実際に出力されたデータを、状態識別子から構成される属性に変換する必要があり、第２のニューラルネットワークによって実際に出力されたデータは少なくとも１つの確率値を含み得、各確率値はターゲットオブジェクトの属性内の１つの状態に対応し、いずれかの確率値がターゲット値よりも大きいと、当該ターゲットオブジェクトが当該いずれかの確率に対応するターゲット状態を有することを説明し、当該コンピュータ機器は、第１の状態識別子を、属性内のターゲット状態の位置に記憶し、いずれかの確率値が当該ターゲット値以下である場合に、当該ターゲットオブジェクトが当該いずれかの確率に対応するターゲット状態を有しないことを説明し、当該コンピュータ機器は、第２の状態識別子を、属性内のターゲット状態の位置に記憶する。そうすると、各確率値を判断することにより、属性の実際の表現方式を得ることができる。本出願の実施例では、当該ターゲット値は具体的に限定されない。

【0126】

ステップ２０３－２０４に示す手順をさらに示すために、図３のニューラルレベルマルチラベルモデリング部分を参照されたい。この部分から、アテンションリカレントネットワーク(ａｔｔｅｎｔｉｏｎ ｒｅｃｕｒｒｅｎｔ ｎｅｔｗｏｒｋｓ)の出力データ(即ち、グローバル特徴)がニューラルレベルマルチラベルモデリング部分に送られ、アテンションリカレントネットワークは第１のニューラルネットワークに相当することが分かる。具体的に、当該コンピュータ機器はグローバル特徴をニューラルレベルマルチラベルモデリング部分における第２のニューラルネットワークの各層に入力し、第１の層がグローバル特徴に応じて第１の層の階層的特徴

【数41】

を生成し、さらに、

【数42】

に応じて、第１の層のローカル特徴

【数43】

を生成し、

【数44】

に基づいてデータ予測を実行でき、第１の層によって予測された出力データ

【数45】

を取得し、コンピュータ機器が第１の層のローカル損失L^l1を計算し、第１の層が

【数46】

を第２の層に出力し、第２の層が同様に第１の層の計算手順を行うことができ、最終に、第２のニューラルネットワークの全ての層は１つの

【数47】

を取得し、コンピュータ機器がＭ個の

【数48】

をアテンションセット(ａｔｔｅｎｔｉｏｎａｌ ｅｎｓｅｍｂｅｌ)に出力し、アテンションセットにおいて、第２の注意メカニズムに基づいて、予測された出力データ

【数49】

を生成し、さらに、予測された出力データ

【数50】

に応じてグローバル損失L_Gを生成する。そのすると、グローバル損失L_G及びローカル損失L_iの両方が事前設定された条件を満たすと、当該第２のニューラルネットワークは

【数51】

出力できる。

【0127】

本出願の実施例で提供される方法によれば、検出特徴の過去及び将来の変化法則を表す法則特徴に基づいてターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を洗練して、ターゲットオブジェクトの少なくとも１つのローカル特徴を取得し、そうすると、洗練されたローカル特徴はターゲットオブジェクトの特徴をより体現でき、さらに、ローカル特徴に応じてターゲットオブジェクトの属性を予測し、従って、予測される属性の精度を向上させることができ、ターゲットオブジェクトの属性が予測された診断結果である場合に、予測された診断結果の精度を向上させることができる。そして、検出特徴は検出データ及び検出データに対応する属性に基づいて取得されるので、検出データのみに基づいて取得したターゲットオブジェクトの特徴に対して、本出願の実施例における検出特徴はターゲットオブジェクトの検出中の特徴をより体現できる。そして、検出データは、実際に検出されたデータであり、客観的根拠とすることができ、取得された検出特徴は解釈可能であり、検出データに対応する属性は主観的な判断の結果であるので、属性及び検出データに基づいて取得された検出特徴の精度は高い。そして、第２のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、第２のニューラルネットワークの各層によって生成されたローカル特徴がいずれも所望値に達したことを説明し、これにより、当該第２のニューラルネットワークの出力層によって出力されるローカル特徴の精度が高いことを保証することができる。

【0128】

図４は本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測装置の構造概略図であり、当該装置は、
ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するための取得モジュール４０１と、
前記検出特徴を第１のニューラルネットワークに入力し、前記検出特徴のうち各時系列での検出特徴について、前記第１のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第１の法則特徴、及び前記第１の法則特徴と異なる前記検出特徴の将来の変化法則を表す第２の法則特徴を出力するための計算モジュール４０２と、
前記グローバル特徴を第２のニューラルネットワークに入力し、前記第２のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも１つのローカル特徴を抽出して出力するための抽出モジュール４０３と、
前記ターゲットオブジェクトの少なくとも１つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するための予測モジュール４０４とを、含んでおり、
前記取得モジュール４０１は、さらに、前記第１の法則特徴、及び第２の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するために用いられる。

【0129】

任意選択で、前記取得モジュール４０１は、
前記検出データに対応する属性を全結合ニューラルネットワークに入力し、前記全結合ニューラルネットワークにより前記属性におけるターゲット状態を選別し、前記ターゲット状態に対して加重処理を行い、前記属性の特徴を出力し、
前記検出データを時系列分析ツールに入力し、時系列分析ツールにより前記検出データにおいて各タイプのデータの各時系列での特徴を抽出し、特徴セットを出力し、
特徴セットをディープ&クロスネットワークニューラルネットワークに入力し、ディープ&クロスニューラルネットワークにより前記特徴セット内の各時系列特徴に対してクロス処理を行って、前記検出データの特徴を取得し、
前記属性の特徴、及び前記検出データの特徴をディープニューラルネットワークに入力し、前記ディープニューラルネットワークにより、前記検出データと前記検出データに対応する属性の混合特徴を抽出し、前記検出特徴を出力するために用いられる。

【0130】

任意選択で、前記取得モジュール４０１は、
前記第１の法則特徴と第２の法則特徴とをスプライシングして、第３の法則特徴を取得し、
前記第３の法則特徴に対して加重処理を行って、第４の法則特徴を取得し、前記第４の法則特徴は、前記検出特徴のグローバル変化法則を表すために用いられ、
前記第３の法則特徴、及び前記第４の法則特徴に基づいて、前記グローバル特徴を確定するために用いられる。

【0131】

任意選択で、前記取得モジュール４０１は、具体的に、
第１のアテンションメカニズム、及び前記第３の法則特徴に基づいて、重み値学習を行って、少なくとも１つの第１の重み値を取得し、１つの前記第１の重み値は、１つの検出データと前記１つの検出データに対応する属性の重要度を表すために用いられ、
前記少なくとも１つの第１の重み値に対して正規化処理を行って、少なくとも１つの第２の重み値を取得し、
前記少なくとも１つの第２の重み値に基づいて、前記第３の法則特徴に対して加重処理を行って、前記第４の法則特徴を取得するために用いられる。

【0132】

任意選択で、前記予測モジュール４０４は、
前記ターゲットオブジェクトの少なくとも１つのローカル特徴に対して加重処理を行って、ターゲットローカル特徴を取得するための処理ユニットと、
前記ターゲットローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するための予測ユニットとを含む。

【0133】

任意選択で、前記処理ユニットは、
第２のアテンションメカニズム、及び前記少なくとも１つのローカル特徴に基づいて、重み値学習を行って、少なくとも１つの第３の重み値を取得し、１つの第３の重み値は、１つのローカル特徴の重要度を表すために用いられ、
前記少なくとも１つの第３の重み値に基づいて、前記少なくとも１つのローカル特徴に対して加重処理を行って、前記ターゲットローカル特徴を取得するために用いられる。

【0134】

任意選択で、前記第２のニューラルネットワークの各層は１つの前記ローカル特徴を出力する。

【0135】

任意選択で、前記装置は、前記グローバル特徴を前記第２のニューラルネットワークに入力した後に、前記第２のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、前記第２のニューラルネットワークが現在予測される属性を出力する出力モジュールをさらに含んでおり、前記ローカル損失は、前記第２のニューラルネットワークの各層における所望の出力データと実際の出力データとの差であり、前記グローバル損失は、前記第２のニューラルネットワークの所望の最終出力データと実際の最終データとの差である。

【0136】

任意選択で、当該装置は、前記第２のニューラルネットワークにおける第１のターゲット層の階層的特徴、及び第２のターゲット層によって生成されたローカル特徴に基づいて、前記第１のターゲット層よって出力されたローカル特徴を生成するための生成モジュールをさらに含んでおり、第１のターゲット層の前記階層的特徴は、前記グローバル特徴の第１のターゲット層での状態を表すために用いられ、前記第２のターゲット層は前記第２のニューラルネットワークにおける前記第１のターゲット層の上位層である。

【0137】

任意選択で、前記第１のターゲット層の階層的特徴は、前記グローバル特徴及び前記第２のターゲット層の階層的特徴によって決定される。

【0138】

図５は、本出願の実施例で提供されるコンピュータ機器の構造概略図であり、当該コンピュータ機器５００は、配置又は性能によって大きく異なり、１つ又は複数のＣＰＵ(ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、プロセッサ)５０１と、１つ又は複数のメモリ５０２とを含んでもよく、ここで、前記メモリ５０２には少なくとも一つの命令が記憶されており、前記少なくとも一つの命令が前記プロセッサ５０１によってロードされて実行されることで、上記の各个方法実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法を実現する。当該コンピュータ機器５００は、入出力のために、有線又は無線ネットワークインターフェース、キーボード及び入出力インターフェースなどの部品をさらに有してもよく、当該コンピュータ機器５００は、他のデバイス機能を実現するための部品をさらに含んでもよく、ここで再度説明されない。

【0139】

例示的な実施例では、さらに、コンピュータ読み取り可能な記憶媒体、例えば、命令を含むメモリを提供し、上記命令は、端末のプロセッサによって実行されることで、上記各実施例における機械学習に基づくターゲットオブジェクト属性予測方法を実現させることが可能である。例えば、前記コンピュータ読み取り可能な記憶媒体は、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み出し専用光ディスク（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気テープ、フロッピーディスクや光データ記憶デバイスなどであってもよい。

【0140】

例示的な実施例では、命令を含むコンピュータプログラム製品をさらに提供し、コンピュータ上で実行される場合に、上記の実施例における機械学習に基づくターゲットオブジェクト属性予測方法を前記コンピュータに実行させる。

【0141】

上記の全ての選択可能な技術案は、任意の組み合わせにより本発明の選択可能な実施例を形成することができ、ここでは再度一つずつ説明されない。

【0142】

なお、上記の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測装置は、属性を予測する場合に、上記の各機能モジュールの分割のみを例に挙げて説明しているが、実際の適用では、必要に応じて上記機能を異なる機能モジュールに割り当て、つまり、装置の内部構成を異なる機能モジュールに分割することにより、上述した機能の全部又は一部を完了してもよい。また、上記の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測装置と、機械学習に基づくターゲットオブジェクト属性予測方法の実施例とは、同一の構想に属し、その具体的な実現過程の詳細については、方法の実施例を参照すればよく、ここで説明を省略する。

【0143】

当業者であれば理解できるように、上記実施例を実現するためのステップの全部又は一部は、ハードウェアによって実行されてもよいし、プログラムによって関連ハードウェアに指示することにより実行されてもよい。該プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。上記で言及された記憶媒体は、読み出し専用メモリ、磁気ディスク、又は光ディスクなどであってもよい。

【0144】

以上は、本発明の好適な実施例に過ぎず、本出願を限定することは意図していない。本出願の精神や原則内の如何なる修正、均等の置き換え、改良などは、本出願の保護範囲内に含まれるべきである。

【符号の説明】

【0145】

１００ ターゲットオブジェクト属性予測システム
１０１ 前処理モジュール
１０２ 検出特徴抽出モジュール
１０３ 法則特徴抽出モジュール
１０４ 予測モジュール
４０１ 取得モジュール
４０２ 計算モジュール
４０３ 抽出モジュール
４０４ 予測モジュール
５００ コンピュータ機器
５０１ プロセッサ
５０２ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】