特表2023-504387 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ センスタイムインターナショナルピーティーイー．リミテッドの特許一覧

特表2023-504387シーン情報の検出方法及びその装置、電子機器、媒体並びにプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-03

(54)【発明の名称】シーン情報の検出方法及びその装置、電子機器、媒体並びにプログラム

(51)【国際特許分類】

G06T 7/00 20170101AFI20230127BHJP

G06V 10/82 20220101ALI20230127BHJP

G06N 3/084 20230101ALI20230127BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06N3/08 140

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022529946

(86)(22)【出願日】2020-10-13

(85)【翻訳文提出日】2022-05-23

(86)【国際出願番号】 IB2020059587

(87)【国際公開番号】W WO2022023806

(87)【国際公開日】2022-02-03

(31)【優先権主張番号】202010739363.2

(32)【優先日】2020-07-28

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520176212

【氏名又は名称】センスタイムインターナショナルピーティーイー．リミテッド

【氏名又は名称原語表記】ＳｅｎｓｅＴｉｍｅＩｎｔｅｒｎａｔｉｏｎａｌＰＴＥ．ＬＴＤ．

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ジャンミンユエン

(72)【発明者】

【氏名】ウージンイー

(72)【発明者】

【氏名】ジンダイション

(72)【発明者】

【氏名】ジャオハイユー

(72)【発明者】

【氏名】イーシューアイ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096EA13

5L096EA39

5L096FA09

5L096FA33

5L096FA64

5L096FA69

5L096GA51

5L096HA11

5L096JA11

5L096JA22

5L096KA04

5L096MA07

(57)【要約】

本願の一実施例は、シーン情報の検出方法及びその装置、電子機器を提供し、当該方法は、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、特徴次元がＣ_ｙ＊１である、伝播されるべき集約特徴を取得することであって、Ｃ_ｙは集約特徴のチャネル次元であり、Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じであり、シーン異種グラフは、少なくとも２つのタイプの異種ノードを含み、当該少なくとも２つのタイプの異種ノードは、補助ノードと、シーン画像に基づいて取得された目標ノードと、を含む、ことと、集約特徴に基づいて目標ノードのノード特徴を更新することと、更新後の目標ノードのノード特徴に基づいて、シーン画像のシーン情報を取得することと、を含む。

【特許請求の範囲】

【請求項1】

シーン情報の検出方法であって、
シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得することであって、前記集約特徴の特徴次元はＣ_ｙ＊１であり、前記Ｃ_ｙは前記集約特徴のチャネル次元であり、前記Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じであり、前記シーン異種グラフは、少なくとも２つのタイプの異種ノードを含み、前記少なくとも２つのタイプの異種ノードは、前記補助ノードと、前記シーン画像に基づいて取得された前記目標ノードと、を含む、ことと、
前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することと、
更新後の前記目標ノードのノード特徴に基づいて、前記シーン画像におけるシーン情報を取得することと、を含む、シーン情報の検出方法。

【請求項2】

前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することは、
前記集約特徴の各チャネルのチャネル特徴に基づいて、前記チャネル特徴を使用して、前記目標ノードのノード特徴において前記各チャネルに対応するすべての特徴位置に対して特徴更新処理を実行することを含む、
請求項１に記載のシーン情報の検出方法。

【請求項3】

前記シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得することは、
前記シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得することを含み、
前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することは、前記再重み付けベクトルに基づいて目標ノードのノード特徴の各チャネルに対して乗算処理を実行すること、及び／又は、前記残差ベクトルによって目標ノードのノード特徴の各チャネルに対して加算処理を実行することを含む、
請求項１に記載のシーン情報の検出方法。

【請求項4】

前記再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得することは、
活性化関数と前記目標ノードのノード特徴の標準偏差を使用して、前記残差ベクトルの値を所定の数値区間にマッピングして、集約特徴として使用することを含む、
請求項３に記載のシーン情報の検出方法。

【請求項5】

前記目標ノードは、オブジェクトグループノードを含み、前記オブジェクトグループは、前記シーン画像内の２つのオブジェクトを含み、
前記更新後の前記目標ノードのノード特徴に基づいて、前記シーン画像におけるシーン情報を取得することは、更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得することを含み、前記シーン情報は前記予測結果を含む、
請求項１ないし４のいずれか一項に記載のシーン情報の検出方法。

【請求項6】

前記シーン異種グラフは、終点として１つのオブジェクトグループノードを持つ情報伝送チェーンを含み、前記情報伝送チェーンは、少なくとも２つの有向辺グループを含み、各有向辺グループは、複数の始点から同一の終点を指向する複数の有向辺を含み、前記情報伝送チェーンの各始点と終点は、少なくとも２つのタイプの前記異種ノードを含み、
前記目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得し、前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することは、
前記少なくとも２つの有向辺グループのうちの第１有向辺グループについて、前記第１有向辺グループが指向する同一の第１終点を前記目標ノードとして、前記第１終点に接続される各始点のノード特徴に従って集約特徴を取得し、前記集約特徴に基づいて前記第１終点のノード特徴を更新することであって、前記第１終点は、同時に、前記少なくとも２つの有向辺グループのうちの第２有向辺グループ内の１つの始点として使用される、ことと、
前記第２有向辺グループについて、前記第２有向辺グループが指向する同一の第２終点を前記目標ノードとして、前記第２終点に接続される各始点のノード特徴に従って集約特徴を取得し、前記集約特徴に基づいて前記第２終点のノード特徴を更新することと、を含む、
請求項５に記載のシーン情報の検出方法。

【請求項7】

前記少なくとも２つの有向辺グループのうちの１つの前記有向辺グループの始点と終点について、
前記始点は、前記シーン画像から特徴を抽出することによって取得された各画素ノードを含み、前記終点は、前記シーン画像から抽出された物体ノードであり、
又は、前記始点と終点の両方が、前記シーン画像から抽出された物体ノードを含み、
又は、前記始点は、前記シーン画像から抽出された物体ノードを含み、前記終点は、前記オブジェクトグループノードを含み、
又は、前記始点は前記オブジェクトグループノードを含み、前記終点は前記物体ノードを含む、
請求項６に記載のシーン情報の検出方法。

【請求項8】

前記各補助ノードは、複数の画素ノードを含み、前記シーン情報の検出方法は、
前記シーン画像に従って特徴抽出を実行して、複数の特徴マップを取得することであって、前記複数の特徴マップは、それぞれ異なるサイズを有する、ことと、
前記複数の特徴マップを同じサイズにスケーリングしてから融合して、融合特徴マップを取得することと、
前記融合特徴マップに基づいて、複数の前記画素ノードのノード特徴を取得することと、を更に含む、
請求項１に記載のシーン情報の検出方法。

【請求項9】

前記更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得することは、
前記オブジェクトグループノードのノード特徴に基づいて、予測された初期分類信頼度を取得することであって、前記初期分類信頼度は、前記オブジェクトグループノードがそれぞれの所定関係カテゴリに対応する初期分類信頼度を含む、ことと、
前記オブジェクトグループノードが前記それぞれの所定関係カテゴリうちの１つのターゲットの所定関係カテゴリに対応する初期分類信頼度と、前記オブジェクトグループノード内の２つのオブジェクトにそれぞれ対応するオブジェクト検出信頼度とに基づいて、前記オブジェクトグループノード内の２つのオブジェクトが前記ターゲットの所定関係カテゴリに対応する信頼度を取得する、ことと、
前記信頼度がプリセットされた信頼度閾値より大きいか等しい場合、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果が、前記ターゲットの所定関係カテゴリであると決定することと、を含む、
請求項５に記載のシーン情報の検出方法。

【請求項10】

画像処理機器によって実行されるシーン情報の検出方法であって、
画像収集機器によって収集されたシーン画像を取得することと、
請求項１ないし９のいずれか一項に記載のシーン情報の検出方法により前記シーン画像を処理して、前記シーン画像におけるシーン情報を出力することと、を含む、シーン情報の検出方法。

【請求項11】

シーン情報の検出装置であって、
シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得するように構成される特徴処理モジュールであって、前記集約特徴の特徴次元はＣ_ｙ＊１であり、前記Ｃ_ｙは、前記集約特徴のチャネル次元であり、前記Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じであり、前記シーン異種グラフは、少なくとも２つのタイプの異種ノードを含み、前記少なくとも２つのタイプの異種ノードは、前記補助ノードと、前記シーン画像に基づいて取得された前記目標ノードと、を含む、特徴処理モジュールと、
前記集約特徴に基づいて、前記目標ノードのノード特徴を更新するように構成される特徴更新モジュールと、
更新後の前記目標ノードのノード特徴に基づいて、前記シーン画像におけるシーン情報を取得するように構成される情報決定モジュールと、を備える、シーン情報の検出装置。

【請求項12】

前記特徴更新モジュールは、前記集約特徴に基づいて前記目標ノードのノード特徴を更新するときに、前記集約特徴の各チャネルのチャネル特徴に基づいて、前記チャネル特徴を使用して、前記目標ノードのノード特徴において各チャネルに対応するすべての特徴位置に対して特徴更新処理を実行するように構成される、
請求項１１に記載のシーン情報の検出装置。

【請求項13】

前記特徴処理モジュールは、具体的に、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得するように構成され、
前記特徴更新モジュールは、具体的に、前記再重み付けベクトルに基づいて目標ノードのノード特徴の各チャネルに対して乗算処理を実行し、及び／又は、前記残差ベクトルによって目標ノードのノード特徴の各チャネルに対して加算処理を実行するように構成される、
請求項１１に記載のシーン情報の検出装置。

【請求項14】

前記特徴処理モジュールは、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得するときに、活性化関数と前記目標ノードのノード特徴の標準偏差を使用して、前記残差ベクトルの値を所定の数値区間にマッピングして、集約特徴として使用するように構成される、
請求項１３に記載のシーン情報の検出装置。

【請求項15】

前記目標ノードは、オブジェクトグループノードを含み、前記オブジェクトグループは、前記シーン画像内の２つのオブジェクトを含み、前記情報決定モジュールは、具体的に、更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得するように構成される、
請求項１１ないし１４のいずれか一項に記載のシーン情報の検出装置。

【請求項16】

前記シーン異種グラフは、終点として１つのオブジェクトグループノードを持つ情報伝送チェーンを含み、前記情報伝送チェーンは、少なくとも２つの有向辺グループを含み、各有向辺グループは、複数の始点から同一の終点を指向する複数の有向辺を含み、前記情報伝送チェーンの各始点と終点は、少なくとも２つのタイプの前記異種ノードを含み、
前記特徴処理モジュールは、前記少なくとも２つの有向辺グループのうちの第１有向辺グループについて、前記第１有向辺グループが指向する同一の第１終点を前記目標ノードとして、前記第１終点に接続される各始点のノード特徴に従って集約特徴を取得し、前記第１終点は、同時に、前記少なくとも２つの有向辺グループのうちの第２有向辺グループ内の１つの始点として使用され、前記第２有向辺グループについて、前記第２有向辺グループが指向する同一の第２終点を前記目標ノードとして、前記第２終点に接続される各始点のノード特徴に従って集約特徴を取得するように構成され、
前記特徴更新モジュールは、前記第１終点に接続される各始点のノード特徴に従って得られた集約特徴に基づいて、前記第１終点のノード特徴を更新し、及び前記第２終点に接続される各始点のノード特徴に従って得られた集約特徴に基づいて、前記第２終点のノード特徴を更新するように構成される、
請求項１５に記載のシーン情報の検出装置。

【請求項17】

【請求項18】

前記各補助ノードは、複数の画素ノードを含み、
前記特徴処理モジュールは、更に、
前記シーン画像に従って特徴抽出を実行して、複数の特徴マップを取得し、前記複数の特徴マップは、それぞれ異なるサイズを有し、前記複数の特徴マップを同じサイズにスケーリングしてから融合して、融合特徴マップを取得し、前記融合特徴マップに基づいて、複数の前記画素ノードのノード特徴を取得するように構成される、
請求項１１に記載のシーン情報の検出装置。

【請求項19】

前記情報決定モジュールは、更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得するときに、前記オブジェクトグループノードのノード特徴に基づいて、予測された初期分類信頼度を取得し、前記初期分類信頼度は、前記オブジェクトグループノードがそれぞれの所定関係カテゴリに対応する初期分類信頼度を含み、前記オブジェクトグループノードが前記それぞれの所定関係カテゴリうちの１つのターゲットの所定関係カテゴリに対応する初期分類信頼度と、前記オブジェクトグループノード内の２つのオブジェクトにそれぞれ対応するオブジェクト検出信頼度とに基づいて、前記オブジェクトグループノード内の２つのオブジェクトが前記ターゲットの所定関係カテゴリに対応する信頼度を取得し、前記信頼度がプリセットされた信頼度閾値より大きいか等しい場合、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果が、前記ターゲットの所定関係カテゴリであると決定するように構成される、
請求項１５に記載のシーン情報の検出装置。

【請求項20】

画像処理機器に適用されるシーン情報の検出装置であって、
画像収集機器によって収集されたシーン画像を取得するように構成される画像取得モジュールと、
請求項１ないし９のいずれか一項に記載のシーン情報の検出方法により前記シーン画像を処理して、前記シーン画像におけるシーン情報を出力するように構成される情報出力モジュールと、を備える、シーン情報の検出装置。

【請求項21】

電子機器であって、
コンピュータ可読命令を記憶するメモリと、
前記コンピュータ可読命令を呼び出して、請求項１ないし９のいずれか一項に記載のシーン情報の検出方法、又は請求項１０に記載のシーン情報の検出方法を実行するプロセッサと、を備える、電子機器。

【請求項22】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサに請求項１ないし９のいずれか一項に記載のシーン情報の検出方法、又は請求項１０に記載のシーン情報の検出方法を実行させる、コンピュータ可読記憶媒体。

【請求項23】

コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、請求項１ないし９のいずれか一項に記載のシーン情報の検出方法、又は請求項１０に記載のシーン情報の検出方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本願は、出願日が２０２０年０７月２８日である中国特許出願第２０２０１０７３９３６３．２に基づいており、当該中国特許出願の優先権を主張し、当該中国特許出願のすべての内容が参照により本願に援用される。
［技術分野］
本願は、コンピュータビジョン技術に関し、シーン情報の検出方法及びその装置、電子機器、コンピュータ可読記憶媒体、並びにコンピュータプログラムに関するが、これらに限定されない。

【背景技術】

【0002】

深層学習技術の継続的な発展により、シーン理解アルゴリズムは、シーン画像に含まれるシーン情報を取得できる。例えば、該シーン情報は、シーン画像にどのオブジェクトが含まれているのか、又はシーン画像内のさまざまなオブジェクト間の関係は何であるかであってもよい。つまり、このシーン画像でどのイベントが発生するのかを理解できる。しかしながら、シーン画像に含まれる情報は複雑で多様であるため、大量の計算などの要因により、既存のシーン理解アルゴリズムは、シーン画像内の１つのタイプの情報のみを使用してシーン理解を支援することがよくある。したがって、最終的に取得したシーン情報の検出精度を向上させる必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

これを鑑みて、本願の実施例は、少なくとも、シーン情報の検出方法及びその装置、電子機器、コンピュータ可読記憶媒体、並びにコンピュータプログラムを提供する。

【課題を解決するための手段】

【0004】

本願の一実施例は、シーン情報の検出方法を提供し、前記方法は、
シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得することであって、前記集約特徴の特徴次元はＣ_ｙ＊１であり、ここで、前記Ｃ_ｙは、前記集約特徴のチャネル次元であり、前記Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じであり、ここで、前記シーン異種グラフは、少なくとも２つのタイプの異種ノードを含み、前記少なくとも２つのタイプの異種ノードは、前記補助ノードと、前記シーン画像に基づいて取得された前記目標ノードと、を含む、ことと、
前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することと、
更新後の前記目標ノードのノード特徴に基づいて、前記シーン画像におけるシーン情報を取得することと、を含む。

【0005】

いくつかの実施例では、前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することは、前記集約特徴の各チャネルのチャネル特徴に基づいて、前記チャネル特徴を使用して、前記目標ノードのノード特徴において前記各チャネルに対応するすべての特徴位置に対して特徴更新処理を実行することを含む。

【0006】

いくつかの実施例では、前記シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得することは、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得することを含み、前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することは、前記再重み付けベクトルに基づいて目標ノードのノード特徴の各チャネルに対して乗算処理を実行すること、及び／又は、前記残差ベクトルによって目標ノードのノード特徴の各チャネルに対して加算処理を実行することを含む。

【0007】

いくつかの実施例では、前記再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得することは、活性化関数と前記目標ノードのノード特徴の標準偏差を使用して、前記残差ベクトルの値を所定の数値区間にマッピングして、集約特徴として使用することを含む。

【0008】

いくつかの実施例では、前記目標ノードは、オブジェクトグループノードを含み、前記オブジェクトグループは、前記シーン画像内の２つのオブジェクトを含み、前記更新後の前記目標ノードのノード特徴に基づいて、前記シーン画像におけるシーン情報を取得することは、更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得することを含む。

【0009】

いくつかの実施例では、前記シーン異種グラフは、終点として１つのオブジェクトグループノードを持つ情報伝送チェーンを含み、前記情報伝送チェーンは、少なくとも２つの有向辺グループを含み、各有向辺グループは、複数の始点から同一の終点を指向する複数の有向辺を含み、前記情報伝送チェーンの各始点と終点は、少なくとも２つのタイプの前記異種ノードを含み、前記目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得し、前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することは、前記少なくとも２つの有向辺グループのうちの第１有向辺グループについて、前記第１有向辺グループが指向する同一の第１終点を前記目標ノードとして、前記第１終点に接続される各始点のノード特徴に従って集約特徴を取得し、前記集約特徴に基づいて前記第１終点のノード特徴を更新することであって、前記第１終点は、同時に、前記少なくとも２つの有向辺グループのうちの第２有向辺グループ内の１つの始点として使用される、ことと、前記第２有向辺グループについて、前記第２有向辺グループが指向する同一の第２終点を前記目標ノードとして、前記第２終点に接続される各始点のノード特徴に従って集約特徴を取得し、前記集約特徴に基づいて前記第２終点のノード特徴を更新することと、を含む。

【0010】

いくつかの実施例では、前記少なくとも２つの有向辺グループのうちの１つの前記有向辺グループの始点と終点について、前記始点は、前記シーン画像から特徴を抽出することによって取得された各画素ノードを含み、前記終点は、前記シーン画像から抽出された物体ノードであり、又は、前記始点と終点の両方が、前記シーン画像から抽出された物体ノードを含み、又は、前記始点は、前記シーン画像から抽出された物体ノードを含み、前記終点は、前記オブジェクトグループノードを含み、又は、前記始点は前記オブジェクトグループノードを含み、前記終点は前記物体ノードを含む。

【0011】

いくつかの実施例では、前記各補助ノードは、複数の画素ノードを含み、前記方法は、前記シーン画像に従って特徴抽出を実行して、複数の特徴マップを取得することであって、前記複数の特徴マップは、それぞれ異なるサイズを有する、ことと、前記複数の特徴マップを同じサイズにスケーリングしてから融合して、融合特徴マップを取得することと、前記融合特徴マップに基づいて、複数の前記画素ノードのノード特徴を取得することと、を更に含む。

【0012】

いくつかの実施例では、前記更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得することは、前記オブジェクトグループノードのノード特徴に基づいて、予測された初期分類信頼度を取得することであって、前記初期分類信頼度は、前記オブジェクトグループノードがそれぞれの所定関係カテゴリに対応する初期分類信頼度を含む、ことと、前記オブジェクトグループノードが前記それぞれの所定関係カテゴリうちの１つのターゲットの所定関係カテゴリに対応する初期分類信頼度と、前記オブジェクトグループノード内の２つのオブジェクトにそれぞれ対応するオブジェクト検出信頼度とに基づいて、前記オブジェクトグループノード内の２つのオブジェクトが前記ターゲットの所定関係カテゴリに対応する信頼度を取得することと、前記信頼度がプリセットされた信頼度閾値より大きいか等しい場合、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果が、前記ターゲットの所定関係カテゴリであると決定することと、を含む。

【0013】

本願の一実施例は、画像処理機器によって実行されるシーン情報の検出方法を提供し、前記方法は、
画像収集機器によって収集されたシーン画像を取得することと、
本願の任意の実施例によって提供されるシーン情報の検出方法により前記シーン画像を処理して、前記シーン画像におけるシーン情報を出力することと、を含む。

【0014】

本願の一実施例は、シーン情報の検出装置を提供し、前記装置は、
シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得するように構成される特徴処理モジュールであって、前記集約特徴の特徴次元はＣ_ｙ＊１であり、ここで、前記Ｃ_ｙは、前記集約特徴のチャネル次元であり、前記Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じであり、ここで、前記シーン異種グラフは、少なくとも２つのタイプの異種ノードを含み、前記少なくとも２つのタイプの異種ノードは、前記補助ノードと、前記シーン画像に基づいて取得された前記目標ノードと、を含む、特徴処理モジュールと、
前記集約特徴に基づいて、前記目標ノードのノード特徴を更新するように構成される特徴更新モジュールと、
更新後の前記目標ノードのノード特徴に基づいて、前記シーン画像におけるシーン情報を取得するように構成される情報決定モジュールと、を備える。

【0015】

いくつかの実施例では、前記特徴更新モジュールが、前記集約特徴に基づいて前記目標ノードのノード特徴を更新するように構成されることは、前記特徴更新モジュールが、前記集約特徴の各チャネルのチャネル特徴に基づいて、前記チャネル特徴を使用して、前記目標ノードのノード特徴において各チャネルに対応するすべての特徴位置に対して特徴更新処理を実行するように構成されることを含む。

【0016】

いくつかの実施例では、前記特徴処理モジュールは、具体的に、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得するように構成され、前記特徴更新モジュールは、具体的に、前記再重み付けベクトルに基づいて目標ノードのノード特徴の各チャネルに対して乗算処理を実行し、及び／又は、前記残差ベクトルによって目標ノードのノード特徴の各チャネルに対して加算処理を実行するように構成される。

【0017】

いくつかの実施例では、前記特徴処理モジュールが、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得するように構成されることは、前記特徴処理モジュールが、活性化関数と前記目標ノードのノード特徴の標準偏差を使用して、前記残差ベクトルの値を所定の数値区間にマッピングして、集約特徴として使用するように構成されることを含む。

【0018】

いくつかの実施例では、前記目標ノードは、オブジェクトグループノードを含み、前記オブジェクトグループは、前記シーン画像内の２つのオブジェクトを含み、前記情報決定モジュールは、具体的に、更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得するように構成される。

【0019】

いくつかの実施例では、前記シーン異種グラフは、終点として１つのオブジェクトグループノードを持つ情報伝送チェーンを含み、前記情報伝送チェーンは、少なくとも２つの有向辺グループを含み、各有向辺グループは、複数の始点から同一の終点を指向する複数の有向辺を含み、前記情報伝送チェーンの各始点と終点は、少なくとも２つのタイプの前記異種ノードを含み、前記特徴処理モジュールは、前記少なくとも２つの有向辺グループのうちの第１有向辺グループについて、前記第１有向辺グループが指向する同一の第１終点を前記目標ノードとして、前記第１終点に接続される各始点のノード特徴に従って集約特徴を取得し、前記第１終点は、同時に、前記少なくとも２つの有向辺グループのうちの第２有向辺グループ内の１つの始点として使用され、前記第２有向辺グループについて、前記第２有向辺グループが指向する同一の第２終点を前記目標ノードとして、前記第２終点に接続される各始点のノード特徴に従って集約特徴を取得するように構成され、前記特徴更新モジュールは、前記第１終点に接続される各始点のノード特徴に従って得られた集約特徴に基づいて、前記第１終点のノード特徴を更新し、及び前記第２終点に接続される各始点のノード特徴に従って得られた集約特徴に基づいて、前記第２終点のノード特徴を更新するように構成される。

【0020】

いくつかの実施例では、前記少なくとも２つの有向辺グループのうちの１つの前記有向辺グループの始点と終点について、
前記始点は、前記シーン画像から特徴を抽出することによって取得された各画素ノードを含み、前記終点は、前記シーン画像から抽出された物体ノードであり、
又は、前記始点と終点の両方が、前記シーン画像から抽出された物体ノードを含み、
又は、前記始点は、前記シーン画像から抽出された物体ノードを含み、前記終点は、前記オブジェクトグループノードを含み、
又は、前記始点は前記オブジェクトグループノードを含み、前記終点は前記物体ノードを含む。

【0021】

いくつかの実施例では、前記各補助ノードは、複数の画素ノードを含み、
前記特徴処理モジュールは、更に、
前記シーン画像に従って特徴抽出を実行して、複数の特徴マップを取得し、前記複数の特徴マップは、それぞれ異なるサイズを有し、前記複数の特徴マップを同じサイズにスケーリングしてから融合して、融合特徴マップを取得し、前記融合特徴マップに基づいて、複数の前記画素ノードのノード特徴を取得するように構成される。

【0022】

いくつかの実施例では、前記情報決定モジュールが、更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得するように構成されることは、前記情報決定モジュールが、前記オブジェクトグループノードのノード特徴に基づいて、予測された初期分類信頼度を取得し、前記初期分類信頼度は、前記オブジェクトグループノードがそれぞれの所定関係カテゴリに対応する初期分類信頼度を含み、前記オブジェクトグループノードが前記それぞれの所定関係カテゴリうちの１つのターゲットの所定関係カテゴリに対応する初期分類信頼度と、前記オブジェクトグループノード内の２つのオブジェクトにそれぞれ対応するオブジェクト検出信頼度とに基づいて、前記オブジェクトグループノード内の２つのオブジェクトが前記ターゲットの所定関係カテゴリに対応する信頼度を取得し、前記信頼度がプリセットされた信頼度閾値より大きいか等しい場合、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果が、前記ターゲットの所定関係カテゴリであると決定するように構成される。

【0023】

本願の一実施例は、画像処理機器に適用されるシーン情報の検出装置を提供し、前記装置は、画像収集機器によって収集されたシーン画像を取得するように構成される画像取得モジュールと、本願の任意の実施例によるシーン情報の検出方法により前記シーン画像を処理して、前記シーン画像におけるシーン情報を出力するように構成される情報出力モジュールと、を備える。

【0024】

本願の一実施例は、メモリとプロセッサを備える電子機器を提供し、前記メモリは、コンピュータ可読命令を記憶し、前記プロセッサは、前記コンピュータ可読命令を呼び出して、本願の任意の実施例におけるシーン情報の検出方法を実行する。

【0025】

本願の一実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムは、プロセッサに、本願の任意の実施例におけるシーン情報の検出方法を実行させる。

【0026】

本願の一実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、本願の任意の実施例におけるシーン情報の検出方法を実行させる。

【発明の効果】

【0027】

本願の実施例によるシーン情報の検出方法及びその装置、電子機器、コンピュータ可読記憶媒体、並びにコンピュータプログラムによれば、ノード特徴を更新する場合、異なるノード間でチャネルレベルの情報を伝送することにより、異種ノード間で情報を転送でき、このように複数のタイプの情報を融合してシーン情報の検出を実行できるため、シーン情報検出がより正確になる。

【0028】

前述の一般的な説明および以下の詳細な説明は、例示的かつ説明的なものにすぎず、本願を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0029】

【図1】本願の少なくとも１つの実施例によるシーン情報の検出方法を示す。

【図2】本願の少なくとも１つの実施例による特徴更新の原理の概略図である。

【図3】本願の少なくとも１つの実施例よる別のシーン情報の検出方法を示す。

【図4】本願の少なくとも１つの実施例によるシーン異種グラフの概略図である。

【図5】本願の少なくとも１つの実施例によるシーン情報の検出装置を示す。

【図6】本願の少なくとも１つの実施例による別のシーン情報の検出装置を示す。

【発明を実施するための形態】

【0030】

本願の１つ又は複数の実施例又は関連技術における技術的特徴をより明確に説明するために、実施例又は関連技術の説明に使用する必要のある図面を簡単に説明する。明らかに、以上の説明の図面は、本願の１つ又は複数の実施例に記載の実施例の一部にすぎず、当業者にとって、創造的な労力なしに、これらの図面に従って他の図面を得ることができる。

【0031】

当業者が本願の１つ又は複数の実施例に置ける技術的解決策を一層簡単に理解できるようにするために、以下、本願の１つ又は複数の実施例における図面を参照して、本願の１つ又は複数の実施例における技術的解決策を明確かつ完全に説明するか、明らかに、説明された実施例は、すべての実施例ではなく、本願の実施例の一部にすぎない。本願の１つ又は複数の実施例に基づき、創造的な労力なしに当業者によって得られる他のすべての実施例は、本願の保護範囲に含まれるものとする。

【0032】

コンピュータビジョン技術は、特定のシーンのシーン画像に対して画像処理を実行することにより、当該シーン内容に関する理解情報（シーン情報と呼ばれ得る）を取得できる。当該シーン情報は、例えば、識別された、シーン画像に含まれる目標オブジェクト、検出された、シーン画像内のオブジェクトの動作、検出された、シーン画像内の異なるオブジェクト間の関係、シーン画像の内容に従って識別された、画像に含まれる情報などを含むが、これらに限定されない。

【0033】

いくつかの実施例では、画像収集機器によってシーン画像を収集することができる。ここで、上記のシーンは、シーン情報を自動分析する必要がある場所、例えば、都市の潜在的な安全上の問題（暴力事件など）が頻繁に発生する場所であり得、監視カメラなどの画像収集機器を設置することができる。別の例として、スーパーマーケットなどの買い物場所で、買い物をしている顧客の画像を自動的に収集して、顧客がどの商品に興味を持っているかを分析したい場合、スーパーマーケットに監視カメラなどの画像収集機器を設置することができる。ここで、上記のシーン画像は、単一フレーム画像であってもよく、ビデオストリーム内の画像フレームの一部であってもよい。

【0034】

シーン画像を収集した後、当該シーン画像を画像分析処理のための画像処理機器に伝送でき、当該画像処理機器は、後続の本願の一実施例で提供されるシーン情報の検出方法により画像収集機器によって収集された画像を分析でき、最終的に、シーン画像におけるシーン情報を出力することができ、例えば、当該シーン情報は、画像内の何人かの人々が喧嘩していることを示す情報であり得る。もちろん、これらは単なる例であり、実際の実施は、上記のケースに限定されない。

【0035】

シーン画像を処理してシーン情報を取得するプロセスでは、通常、シーン内の情報の一部を補助として使用して、識別されるべき及び検出されるべき目標シーン内容を取得する。このプロセスは、補助情報を融合する特徴更新プロセスに関し、特徴更新により複数のタイプの補助情報を融合して、ターゲットを共同で予測及び識別することができる。

【0036】

本願の一実施例は、シーン情報の検出方法を提供し、当該方法は、特徴更新方式を提供し、当該方法で提供される方式で特徴を更新し、更新された特徴に従ってシーン情報を検出する。

【0037】

最初に、識別されるべきシーン画像（例えば、収集されたテニスコートの画像）に対して特徴抽出などの画像処理を実行して、複数のノードを取得でき、これらのノードは、１つのグラフネットワークを形成でき、この実施例では、当該グラフネットワークは、シーン異種グラフ（ＳｃｅｎｅＨｅｔｅｒｏｇｅｎｅｏｕｓＧｒａｐｈ）と呼ばれる。

【0038】

当該シーン異種グラフ内の前記複数のノードは、少なくとも２つのタイプの異種ノードを含み、上記の異種ノードとは、ノード特徴次元（ｆｅａｔｕｒｅｓｈａｐｅｓ）とノード特徴分布（ｆｅａｔｕｒｅｄｉｓｔｒｉｂｕｔｉｏｎｓ）などが異なるノードを指す。

【0039】

前述のシーン異種グラフに含まれる特定の異種ノードは、実際の処理目標に応じて決定でき、この実施例に限定されない。留意されたいこととして、この実施例におけるシーン異種グラフは、複数のタイプの異種ノードを含み得、これにより、より豊富な情報を融合することでシーン理解を実行でき、グラフ内の各ノード間で有向辺の接続を確立でき、有向辺の始点の特徴を有向辺の終点の特徴に融合することにより、有向辺の終点の特徴の最適化と更新を実現する。

【0040】

例えば、取得する必要のあるシーン情報が画像内の人と物体間の関係である場合、グラフ内のノードは、オブジェクトノード（オブジェクトは、人や物などであり得る）、画素ノードなどの異なるノードを含み得る。

【0041】

例えば、別のシーン理解タスクでは、グラフ内のノードは、人体ノード、画素ノードに加えて、人体のキーポイントに対応するノードも含み得る。つまり、同一人のキーポイントを接続してもよく、異なる人の同じキーポイントを接続してもよく、これらのキーポイントは、人体検出ボックスに対応するノードに接続できる。接続辺を有するノード間の情報転送により、人体特徴を最適化及び更新することができ、これにより、更新された人体特徴に従って人の動作姿勢をよりよく捕捉することができる。

【0042】

例えば、別のシーン理解タスクでは、グラフ内のノードは、画素ノード及びオブジェクトノードを含み得、特定の時刻のシーンを、当該時刻に対応する時刻ノードに凝縮することもでき。当該時刻ノードを画素ノードに接続することにより、各時刻の各画素位置の特徴表現を最適化するか、又は当該時刻ノードを特定のオブジェクトノードに接続して最適化することができる。更に、当該シーン理解タスクが、より全体的な環境要因（例えば、全体的な照明条件、天気などの要因及び特徴）に基づくことが予想される場合、これらの全体的な要因に対応するノードをグラフに追加することができる。

【0043】

まとめると、特定のシーン理解タスクに基づいて、シーン異種グラフに含まれるノードを決定でき、この実施例では、グラフは複数のタイプの異種ノードを含み得る。図１に示されるように、当該シーン異種グラフに従ってシーン情報検出処理を実行することは、以下のとおりである。

【0044】

ステップ１００において、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得する。

【0045】

ここで、集約特徴の特徴次元はＣ_ｙ＊１であり、ここで、前記Ｃ_ｙは、前記集約特徴のチャネル次元であり、前記Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じである。

【0046】

ここで、前記シーン異種グラフは、少なくとも２つのタイプの異種ノードを含み、前記少なくとも２つのタイプの異種ノードは、前記補助ノードと、シーン画像に対して特徴抽出を実行することによって得られた前記目標ノードと、を含む。ここで、目標ノード及び補助ノードは両方とも、シーン画像に基づいて得られることができる。例えば、シーン画像に対して目標検出を実行し、画像内の特定のオブジェクト（例えば、人、又は物体など）を検出し、これにより、当該オブジェクトに対応するノードを生成し、当該ノードは補助ノードであり得る。別の例として、目標ノード及び補助ノードは、シーン画像内の２つのオブジェクトで１つのオブジェクトグループ（例えば、一人及び１つのテニスボール）を形成し、当該オブジェクトグループに対応するノードを生成し、当該ノードは目標ノードであり得る。その中の補助ノードの一部は、他の方式でも取得でき、例えば、シーン画像が収集されたときの時間情報、照明条件情報などであり得、これらの情報は、１つのノードに対応でき、該ノードは補助ノードであり得る。もちろん、これらの情報はすべて、後続のプロセスで符号化により、当該補助ノードに対応するノード特徴に融合できる。ここからわかるように、１つのシーン画像を取得した後、当該シーン画像に基づいて、上記の目標ノード、補助ノードを生成でき、更に、これらのノードでシーン異種グラフを形成することができる。

【0047】

例えば、当該少なくとも２つのタイプの異種ノードは、ノードＡ、ノードＢ、ノードＣ、及びノードＤの４つのタイプのノードを含み得、各タイプのノードの数は、複数であり得る。更に、当該シーン異種グラフは、次のようなノード接続関係を含み得る。

【0048】

例えば、複数のノードＡが１つのノードＢに接続され、ノードＡが有向辺の始点として使用され、ノードＢが有向辺の終点として使用される場合、このステップにおける目標ノードと各補助ノードについて、上記の複数のノードＡは各補助ノードであり得、ノードＢは目標ノードであり得る。

【0049】

このステップでは、各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得でき、集約特徴の特徴次元はＣ_ｙ＊１であり、ここで、前記Ｃ_ｙは集約特徴のチャネル次元であり、Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じである。例示的に、目標ノードのノード特徴が２５６個のチャネルを有する場合、集約特徴は、１つの２５６次元のベクトルであり得る。

【0050】

ここで、上記の目標ノードのノード特徴は、シーン画像の画像内容の少なくとも一部に基づいて得られた情報であり得、当該ノード特徴には、シーン画像における、目標ノードに対応するオブジェクトの画像情報が融合されている。画像情報がノード特徴に融合されているからこそ、当該ノード特徴に従ってシーン情報を予測して、シーン画像に含まれるシーン情報を取得することができる。

【0051】

ステップ１０２において、前記集約特徴に基づいて、前記目標ノードのノード特徴を更新する。

【0052】

ここで、上記の集約特徴は、目標ノードに対応する各補助ノードのノード特徴を総合することによって得られたものであり、当該集約特徴は、目標ノードのノード特徴更新に対する各補助ノードの影響を表し、これは、各補助ノードに対応する画像内容の情報を、目標ノードに対応するオブジェクトに伝送することに相当し、これにより、目標ノードのノード特徴を補助ノードに対応する画像内容に融合することができる。

【0053】

このステップでは、集約特徴とノード特徴のチャネル次元は同じであり、目標ノードのノード特徴を更新する場合、更新方式は、チャネルレベル（ｃｈａｎｎｅｌ－ｗｉｓｅ）の情報更新である。具体的には、前記集約特徴の各チャネルのチャネル特徴に基づいて、前記チャネル特徴を使用して、前記目標ノードのノード特徴において前記チャネルのすべての特徴位置に対して特徴更新処理を実行することである。

【0054】

例えば、依然として、目標ノードのノード特徴が２５６個のチャネルを有し、集約特徴が１つの２５６次元のベクトルであり得ることを例として説明する。図２を参照すると、複数の補助ノードＡのノード特徴に基づいて、１つの集約特徴｛ｐ１，ｐ２，ｐ３……ｐ２５６｝を算出でき、当該集約特徴は、１つの２５６次元のベクトルである。目標ノードＢのノード特徴の各チャネルは、７＊７＝４９個の特徴位置を有し、ノード特徴を更新するとき、チャネルを逐次更新することができる。例えば、図２に示されるように、目標ノードの最初のチャネルを更新する場合、集約特徴のベクトルから最初のベクトル要素ｐ１を抽出でき、目標ノードの最初のチャネル内のすべての特徴位置に、このベクトル要素（ここでは「加算」を例として説明し、いくつかの実施例では、「乗算」などの他の操作も使用できる）を追加することにより、当該最初のチャネル内のすべての特徴位置に対する特徴更新処理を実現する。図２は、特徴位置の一部での＋ｐ１の操作を示している。同様に、目標ノードの２番目のチャネルを更新する場合、集約特徴のベクトル内の２番目のベクトル要素を使用して、２番目のチャネル内のすべての特徴位置に当該２番目のベクトル要素を追加する。

【0055】

ステップ１０４において、更新後の前記目標ノードのノード特徴に基づいて、前記シーン画像におけるシーン情報を取得する。

【0056】

上記のステップ１００及びステップ１０２において、１回の目標ノードの更新を例として説明したが、実際の実施では、シーン画像検出からシーン情報を取得するプロセスでは、複数回のそのような特徴更新が含まれることができる。例えば、複数のノードＡの特徴に基づいて、共通で指向する１つのノードＢの特徴を更新した後、当該ノードＢは、他のノードＢと一緒に、これらのノードＢのノード特徴に基づいて、共通で指向するノードＣの特徴を更新でき、更新方式は、図２に示されるとおりである。

【0057】

少なくとも１回の、この実施例の特徴更新を経過した後、更新後の目標ノードのノード特徴を使用して、前記シーン画像におけるシーン情報を最終的に取得することができる。ここで、複数回の上記の特徴更新を含む場合、ここでの更新後の目標ノードのノード特徴は、最終的に得られた更新後の目標ノード（すなわち、これ以上他のノードを指向するための始点として再度使用されない、最後の有向辺の終点である）、又は、シーン異種グラフから選択されたノードの一部であり得、この実施例では限定されない。また、シーン情報を取得する方式及び具体的なシーン情報は、実際のサービス要件に応じて決定でき、例えば、実際のサービス目標が、シーンにおけるオブジェクト間の関係を予測することである場合、多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉ－ｌａｙｅｒＰｅｒｃｅｐｔｒｏｎ）を介して、更新されたノード特徴に基づいて、オブジェクト間の関係カテゴリを予測することができる。

【0058】

この実施例のシーン情報の検出方法によれば、ノード特徴を更新する場合、異なるノード間でチャネルレベルの情報を伝送することにより、異種ノード間で情報を転送でき、このように複数のタイプの情報を融合してシーン情報の検出を実行できるため、シーン情報検出がより正確になる。

【0059】

図３は、別のシーン情報の検出方法を示しており、当該方法は、図１に示す方法の上で、例として、特定のチャネル情報の形式を示している。図３に示されるように、当該方法は、以下のステップを含み得る。

【0060】

ステップ３００において、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得する。

【0061】

このステップでは、複数の補助ノードのノード特徴に従って得られた集約特徴は、再重み付けベクトルと残差ベクトルのうちの少なくとも１種であり得る。例えば、１つの再重み付けベクトルのみであってもよく、１つの残差ベクトルのみであってもよく、再重み付けベクトルと残差ベクトルの２種のベクトルを計算することであってもよい。

【0062】

ｗ_ｙは、再重み付けベクトル（ｃｈａｎｎｅｌ－ｗｉｓｅｒｅ－ｗｅｉｇｈｔｉｎｇｖｅｃｔｏｒ）を表し、ｂ_ｙは、残差ベクトル（ｃｈａｎｎｅｌ－ｗｉｓｅｒｅｓｉｄｕａｌｖｅｃｔｏｒ）を表す。これらの２つのベクトルを計算するとき、まず、１つの関数を介して、目標ノードのノード特徴に対する補助ノードのノード特徴の影響パラメータを取得でき、次に、異なる補助ノードの影響パラメータを組み合わせる。組み合わせる方式もたくさんあり、例えば、加重加算、又は多層パーセプトロンを介して組み合わせることができる。

【0063】

以下では、例として、再重み付けベクトルと残差ベクトルの２つの計算方式を示しているが、具体的な計算方式はこれに限定されないことが理解できる。

【0064】

いくつかの実施例では、下記式により、再重み付けベクトルと残差ベクトルを算出することができる。

【0065】

（１）

（２）

【0066】

ここで、Ｈ_ｗとＨ_ｂは２つの線形変換行列であり、補助ノードの次元Ｃ’＊Ｌ’のＬ’のノード特徴をチャネル次元がＣ_ｙである特徴に変換するために使用でき、ｆ_ｘは、補助ノードのノード特徴を表す。ｗ_ｘｙはアテンション重みであり、下記式で算出できる。

【0067】

（３）

（４）

【0068】

ここで、Ｗ_ｋとＷ_ｑは２つの線形変換行列であり、補助ノードのノード特徴ｆ_ｘと目標ノードのノード特徴ｆ_ｙを同じ次元ｄ_ｋの特徴変換するために使用できる。ここで、ｄ_ｋは１つのハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）であり、状況に応じて設定できる。＜．，．＞は、２つのベクトルの内積の計算関数である。

【0069】

いくつかの実施例では、下記式により、再重み付けベクトルと残差ベクトルを算出することができる。

【0070】

（５）

（６）

【0071】

ここで、Ｈ_ｘとＨ_ｙの作用は、前の計算方式におけるＷ_ｋとＷ_ｑに類似しており、ｆ_ｘとｆ_ｙを同じ次元ｄ_ｋに変換するために使用できる。ここで、［；］は連結を意味し、つまり、２つのベクトルを直接連結することを意味する。ＭＬＰは多層パーセプトロンであり、具体的なパラメータ設定は、比較的柔軟である。

【0072】

上記の２つの方式は、再重み付けベクトルｗ_ｙと残差ベクトルｂ_ｙの計算を示しており、この２つのベクトルの次元はすべてＣ_ｙ＊１である。

【0073】

ステップ３０２において、前記集約特徴に基づいて、前記目標ノードのノード特徴を更新することは、再重み付けベクトルに基づいて目標ノードのノード特徴の各チャネルに対して乗算処理を実行すること、及び／又は、残差ベクトルによって目標ノードのノード特徴の各チャネルに対して加算処理を実行することを含む。

【0074】

このステップでは、集約特徴に基づいて、目標ノードのノード特徴を更新することも、複数の方式がある。

【0075】

更新式の例は次のとおりである。

【0076】

（７）

【0077】

ここで、目標ノードはｙであり、次元はＣ_ｙ＊Ｌｙであり、Ｃ_ｙはチャネル次元であり、Ｌｙは目標ノードの各チャネルの特徴サイズであり、当該目標ノードの更新前の特徴はｆ_ｙであり、更新後の新しい特徴はｆ_ｙ’であり、当該目標ノードｙを指向する合計Ｍ個の有向辺があると仮定すると、これらのＭ個の有向辺の始点は、Ｍ個の補助ノードであり、これらのＭ個の補助ノードで形成される集合はＮ（ｙ）であり、各補助ノードの特徴次元はＣ’＊Ｌ’である。上記の式により、Ｍ個の補助ノードのノード特徴に従って集約特徴を取得した後、当該集約特徴を目標ノードｙに転送することにより、更新後の新しい特徴ｆ_ｙ’を取得する。

【0078】

まず、ｗ_ｙとｂ_ｙは、ステップ３００で例示したように２つの方式で取得でき、これらの２つのベクトルの次元はＣ_ｙ＊１である。依然として上記の式を参照すると、当該式で表される操作は以下を含む。

【0079】

１）Ｓｉｇｍｏｉｄ活性化関数により、ｗ_ｙを（０，１）区間にマッピングし、活性化関数Ｔａｎｈ、及び目標ノードの更新前のノード特徴ｆ_ｙの標準偏差σ（ｆ_ｙ）により、残差ベクトルｂ_ｙの値を所定の数値区間［－ｓｔａｎｄ、＋ｓｔａｎｄ］にマッピングする。ここで、σ（ｆ_ｙ）の意味は、ｆ_ｙの各チャネルの標準偏差を求めるものであり、長さがＣ_ｙ＊１であるベクトルであり、各ビットは、対応するチャネル上のｆ_ｙのＬｙ位置データの標準偏差を表す。Ｃｏｎｖは１つの１次元の畳み込み操作であり、畳み込みカーネルのサイズは１であり、入力チャネルの数と出力チャネルの数はＣ_ｙである。

【0080】

２）残差ベクトルの場合、当該残差ベクトル

は、ｆ_ｙの各チャネルのすべての特徴位置に「ブロードキャスト」され、すなわち、

である。その後、ｆ_ｙの各チャネルの数に再重み付けベクトルを乗算する。具体的には、式において、各チャネル上のすべての特徴位置の数に、ｓｉｇｍｏｉｄ活性化関数によって変換された再重み付けベクトルを乗算することができる。最後に、畳み込み操作を介して各チャネルの情報を融合して、更新後の特徴を取得する。

【0081】

上記の式は、再重み付けベクトルと残差ベクトルを同時計算することを例として説明したが、実際の実施では、様々な変形があり得る。例えば、再重み付けベクトルｗ_ｙを使用しないか、又は残差ベクトルｂ_ｙを使用しないか、又は畳み込み操作Ｃｏｎｖを使用しないなどである。別の例として、畳み込み操作の畳み込みカーネルのサイズを変更することであり得るか、又は最初に再重み付けベクトルｗ_ｙと残差ベクトルｂ_ｙを畳み込み、次にｆ_ｙの各チャネルに伝播することであり得る。別の例として、集約特徴を目標ノードのノード特徴に融合する場合、上記の式の例の乗算および加算操作に加えて、除算、減算、または複数のネスト（たとえば、最初に加算してから乗算するなど）などの他の形式も可能である。

【0082】

この実施例のシーン情報検出方法は、以下の効果を有する。

【0083】

第１に、ノード特徴を更新する場合、異なるノード間でチャネルレベルの情報を伝送することにより、異種ノード間で情報を転送でき、このように複数のタイプの情報を融合してシーン情報の検出を実行できるため、シーン情報検出がより正確になる。更に、チャネルレベルの情報のみを送信することで情報伝送量を減らし、異種ノード間の高速情報伝送が可能になる。また、異なる異種ノードのノード特徴の情報を事前に圧縮する必要がないため、ノード特徴の元の内容を十分に保持でき、元の特徴に対する不可逆的な圧縮を必要としないため、様々なフレームワークに容易に適用でき、幅広い適用性を有する。

【0084】

第２に、チャネルレベルの再重み付けベクトルと残差ベクトルを取得して、目標ノードに伝播することにより、目標ノードの最適化効果が向上し、目標ノードの最終のシーン情報に基づく検出がより正確になる。

【0085】

第３に、更に、この実施例では、目標ノード特徴の標準偏差を使用して残差ベクトルの値の範囲を制約することにより、更新後の新しい特徴が、更新前の特徴の特徴分布から大きく逸脱しないようにし、これにより、目標ノード更新に対する異種ノードの特徴分布の違いの影響を低減する。

【0086】

上記のように、この実施例で提供される異種ノード間の情報伝送メカニズムによれば、チャネルレベルの情報の伝送により、特徴次元が異なる異種ノード間の情報転送を実現し、標準偏差により残差ベクトルの値の範囲を制限することにより、目標ノード特徴分布に対する、特徴分布が異なる異種ノードの影響を低減する。したがって、当該メカニズムは、異種ノード間の情報転送を実現し、様々なより豊富なノード特徴を介して目標ノード特徴を最適化でき、これにより、最適化された目標ノード特徴に基づくシーン情報の検出がより正確になる。

【0087】

以下、シーン画像におけるオブジェクト関係検出を例として、シーン情報の検出方法について説明する。以下の実施例では、検出されるシーン情報は、シーン画像内の２つのオブジェクト間の関係であり、この２つのオブジェクトが人及び物体であることを例として、人と物体の関係を識別し（ＨＯＩ検出：Ｈｕｍａｎ－ｏｂｊｅｃｔＩｎｔｅｒａｃｔｉｏｎＤｅｔｅｃｔｉｏｎ）、例えば、人がボールをプレーすることを識別する。

【0088】

図４に示す例を参照すると、図４は、ＨＯＩ検出の場合、シーン画像に従って作成されたシーン異種グラフを示している。この実施例では、例として、シーン異種グラフが、画素ノード、物体ノード、及びオブジェクトグループノード３つのタイプのノードを含み、他の可能な実施例では、当該異種グラフは、他のタイプのノードも含み得る。以下、上記の３つのタイプのノードのノード特徴の取得方式の例を示すが、実際の実施はこれに限定されず、他の方式でノード特徴を取得することもできる。

【0089】

画素ノードＶ_ｐｉｘの場合、１つの特定の実現方式は、ＦＰＮを使用してシーン画像に対して特徴抽出を実行して、複数の特徴マップを取得し、前記複数の特徴マップは、それぞれ異なるサイズを有し、次に、前記複数の特徴マップを同じサイズにスケーリングした後、１つの畳み込みレイアを介して融合して、融合特徴マップを取得し、最後に、前記融合特徴マップに基づいて、複数の前記画素ノードのノード特徴を取得することである。例えば、融合特徴マップの特徴次元は２５６＊７＊７であり、ここで、２５６はチャネル次元であり、ＨとＷはそれぞれ特徴マップの高さと幅を表す。したがって、シーン異種グラフには、画素を表すＨ＊Ｗ個のノード（すなわち、画素ノード）が含まれ、各画素ノードの次元は２５６である。

【0090】

上記の方式では、異なるサイズの特徴マップを融合することにより、融合特徴マップは、（高解像度画像からの）多くの低セマンティック特徴と局部特徴だけでなく、（低解像度画像からの）多くの高セマンティック情報とグローバル特徴を含むことができ、これにより、より豊富の画像内容を画素ノードに融合することができ、後続のシーン情報の検出精度を向上させるのに有益である。

【0091】

物体ノードＶ_ｉｎｓｔの場合、例えば、ＦａｓｔｅｒＲ－ＣＮＮを使用してシーン画像を処理して、シーン画像内のすべての物体のカテゴリと位置を検出し、ＲｏＩＡｌｉｇｎアルゴリズムを使用して、各物体の特徴を抽出することができる。検出アルゴリズムにより、このシーン内のＮ個の物体を検出した場合、シーン異種グラフは、異なる物体を表すＮ個の物体ノードを含み、各物体ノードの特徴次元は２５６＊７＊７である。当該物体ノードは、例えば、人、ボール、馬などであり得る。又は、他の例では、ＲｅｓＮｅｔ５０などのＤｅｐｔｈｗｉｓｅ畳み込みニューラルネットワークを介して、物体検出ボックス内の内容から特徴を抽出することであってもよい。

【0092】

オブジェクトグループノードＶ_ｐａｉｒの場合、シーン画像にＮ個の物体があると仮定すると、Ｎ＊（Ｎ－１）個のオブジェクトグループノードを形成できる。ここで、Ｏ１とＯ２の２つの物体ノードの場合、「Ｏ１－Ｏ２」は、１つのオブジェクトグループノードであり、当該オブジェクトグループノードの主体はＯ１であり、客体はＯ２である。「Ｏ２－Ｏ１」は、別のオブジェクトグループノードであり、当該オブジェクトグループノードの主体はＯ２であり、客体はＯ１である。

【0093】

各オブジェクトグループノードの特徴は、３つの領域の特徴によって決定される。具体的には、オブジェクトグループノードに含まれる２つの物体ノードに対応する物体の位置がそれぞれ（ａｘ１，ａｙ１，ａｘ２，ａｙ２）と（ｂｘ１，ｂｙ１，ｂｘ２，ｂｙ２）であると仮定し、ここで、ａｘ１は、最初の物体の検出ボックスの左上隅の横座標であり、ａｙ１は、最初の物体の検出ボックスの左上隅の縦座標であり、ａｘ２は、最初の物体の検出ボックスの右下隅の横座標であり、ａｙ２は、最初の物体の検出ボックスの右下隅の縦座標であり、ｂｘ１は、２番目の物体の検出ボックスの左上隅の横座標であり、ｂｙ１は、２番目の物体の検出ボックスの左上隅の縦座標であり、ｂｘ２は、２番目の物体の検出ボックスの右下隅の横座標であり、ｂｙ２は、２番目の物体の検出ボックスの右下隅の縦座標である。次に、ＲｏＩＡｌｉｇｎアルゴリズムを使用して、３つの領域から特徴（ａｘ１，ａｙ２，ａｘ２，ａｙ２），（ｂｘ１，ｂｙ１，ｂｘ２，ｂｙ２），（ｍｉｎ（ａｘ１，ｂｘ１），ｍｉｎ（ａｙ１，ｂｙ１），ｍａｘ（ａｘ２，ｂｘ２），ｍａｘ（ａｙ２，ｂｙ２））を抽出する。ＲｏＩＡｌｉｇｎアルゴリズムにより各領域から取得した特徴次元はすべて２５６＊７＊７であるため、３つの２５６＊７＊７の特徴マップを取得する。連結後、７６８＊７＊７の次元の特徴マップを取得でき、これは、オブジェクトグループノードのノード特徴として使用される。したがって、シーン異種グラフには、これらのＮ＊（Ｎ－１）個のオブジェクトグループノードが含まれ、各オブジェクトグループノードの特徴次元は、７６８＊７＊７である。

【0094】

グラフ内の３つのタイプのノードのノード特徴を決定した後、各タイプのノード間で有向辺を確立する必要がある。異なる異種ノード間で有向辺を作成する方式もたくさんあり得、以下では、２つの方式を例として示す。

【0095】

［有向辺の作成方式１］
すべての画素ノードをすべてのオブジェクトグループノードに接続して、Ｈ＊Ｗ＊Ｎ＊（Ｎ－１）個の有向辺を取得する。すべての物体ノードを２つずつ接続して、Ｎ＊（Ｎ－１）個の有向辺を取得する。すべての物体ノードと、それに対応するオブジェクトグループノード（すなわち、このオブジェクトグループノード内の主体又は客体は、当該物体である）を接続して、２＊Ｎ＊（Ｎ－１）個の有向辺を取得する。

【0096】

［有向辺の作成方式２］
すべての画素ノードをすべての物体ノードに接続して、Ｈ＊Ｗ＊Ｎ個の有向辺を取得する。すべての物体ノードのうちの２つの物体ノードをそれぞれ接続して、Ｎ＊（Ｎ－１）個の有向辺を取得する。すべての物体ノードと、それに対応するオブジェクトグループノード（すなわち、このオブジェクトグループノード内の主体又は客体は、当該物体である）を接続して、２＊Ｎ＊（Ｎ－１）個の有向辺を取得する。

【0097】

上記の有向辺の作成方式では、画素ノードのノード特徴は、オブジェクトグループノードに直接伝送されるのではなく、物体ノードに伝送されてから、物体ノードによってオブジェクトグループノードに伝送される。このように、物体ノードを中継点として使用すると、物体ノードの数が比較的少ないため、情報の伝送量を減らし、伝送効率を向上させることができる。

【0098】

上記の２つの方式で説明したように、ノードを接続する辺は有向辺であり、例えば、その１つの画素ノードＶ_ｐｉｘを１つの物体ノードＶ_ｉｎｓｔに接続する場合、当該有向辺は、画素ノードＶ_ｐｉｘから物体ノードＶ_ｉｎｓｔを指向し、始点は画素ノードＶ_ｐｉｘであり、終点は物体ノードＶ_ｉｎｓｔである。

【0099】

画素ノード、物体ノード、及びオブジェクトグループノードの数は複数であり得、それに対応して、上記の３つのタイプの有向辺の数も複数であり得る。これらの３つのタイプの有向辺の集合は、次のように表すことができる。

【0100】

（８）

（９）

（１０）

【0101】

また、有向辺を作成する方式は、上記の２つの方式に限らず、適切に調整することができる。例えば、物体ノード間の接続辺を削除したり、人体キーポイントのノードがある場合、人体キーポイントのノードと物体ノード（人体検出ボックス）との間の接続辺を追加したりすることができる。別の例では、物体ノードをオブジェクトグループノードに接続した後、当該オブジェクトグループノードを当該物体ノードに接続することによって、複数回の最適化を行うことができる。例えば、特定のオブジェクトグループノードＶ_ｐａｉｒのノード特徴が更新した後、それを始点として使用して、それに接続された物体ノードを更新し続け、次に、当該物体ノードが更新された後、再び、上記のオブジェクトグループノードＶ_ｐａｉｒを更新する。

【0102】

有向辺がどのように作成されても、当該シーン異種グラフのノード特徴を更新する場合、最終的に取得するノード特徴は、オブジェクトグループノードの特徴であり、当該オブジェクトグループノードのノード特徴に従ってオブジェクト関係の予測結果を取得する。したがって、シーン異種グラフには、オブジェクトグループノードを最終の終点とした情報伝送チェーンが存在する。

【0103】

図４に示されるように（図４は単純な例示にすぎず、実際の実施におけるノードの数は比較的に多い）、オブジェクトグループノード４１を例にとると、上記の情報伝送チェーンは、以下の３つの有向辺グループを含む：
（第１有向辺グループ）：物体ノード４２を目標ノードとし、画素ノード４３、４４、４５を各補助ノードとし、各補助ノードのノード特徴に従って物体ノード４２のノード特徴を更新する。更新方式は、前述の式に基づくことができ、例えば、再重み付けベクトルと残差ベクトルを算出し、これらのベクトルのチャネル次元は、物体ノード４２のチャネル次元と同じであり、物体ノード４２に対してチャネルレベルの更新を実行する。

【0104】

（第２有向辺グループ）：物体ノード４６を目標ノードとし、画素ノード４７及び４８を各補助ノードとし、各補助ノードのノード特徴に従って物体ノード４６のノード特徴を更新する。更新方式は、前述の式に基づくことができ、ここでは繰り返して説明しない。

【0105】

（第３有向辺グループ）：オブジェクトグループノード４１を目標ノードとし、物体ノード４２及び４６を各補助ノードとし、各補助ノードのノード特徴に従ってオブジェクトグループノード４１のノード特徴を更新する。

【0106】

上記のように、多くの異種ノードを含むシーン異種グラフでは、各有向辺グループ内の終点のノード特徴を順番に逐次更新でき、各有向辺グループは、オブジェクトグループノードのノード特徴が最終的に更新されるまで、始点から終点に収束する。

【0107】

オブジェクトグループノードのノード特徴を取得した後、当該更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果、すなわち、ＨＯＩの関係予測を取得する。例えば、下記式に従って初期分類信頼度を取得できる。

【0108】

（１１）

【0109】

ここで、ＭＬＰは多層パーセプトロンであり、ｓ_ｙは、更新後のオブジェクトグループノードのノード特徴ｆ_ｙに従って得られた初期分類信頼度のベクトルであり、前記初期分類信頼度は、前記オブジェクトグループノードがそれぞれの所定関係カテゴリに対応する信頼度を含み、当該ベクトルｓ_ｙの次元はＣ_{ｃｌａｓｓ}＋１であり、ここで、Ｃ_{ｃｌａｓｓ}は、所定関係カテゴリの数であり、１は「ｎｏａｃｔｉｏｎ」である。例えば、オブジェクトグループノードに対応する２つのオブジェクトの１つは人であり、もう１つはテニスボールであり、この２つのオブジェクト間の関係は「打ち」であり、つまり、人がテニスをし、「打ち」（ｈｉｔ）は、所定関係カテゴリであり、同様に、他の関係も有し得、ｓ_ｙは、各関係の信頼度を含む。

【0110】

次に、前記初期分類信頼度及びオブジェクト検出信頼度に基づいて、前記２つのオブジェクト間の関係の予測結果を取得できる。

【0111】

（１２）

【0112】

ここで、ｃは、特定の所定関係カテゴリを表し、ｙは、特定のオブジェクトグループノードを表し、

は、前記所定関係カテゴリｃ上の当該オブジェクトグループノードの信頼度であり、それは、オブジェクトグループノード内の２つのオブジェクト間の関係が前記所定関係カテゴリｃである確率に相当する。

は、ｓ_ｙベクトルにおいて所定関係カテゴリｃに対応する信頼度値であり、

と

はそれぞれ、オブジェクトグループノード内の２つのオブジェクトのそれぞれに対応するオブジェクト検出信頼度であり、例えば、

は、人体ボックスの検出信頼度であり、

は物体ボックスの検出信頼度である。実際の状況では、オブジェクト検出器（ｏｂｊｅｃｔｄｅｔｅｃｔｏｒ）を介して、シーン画像内のオブジェクトを検出でき、例えば、人体又は物体を顕出でき、対応する人体ボックス又は物体ボックスを取得し、同時に、当該オブジェクト検出器は、検出スコア（ｄｅｔｅｃｔｉｏｎｓｃｏｒｅｓ）（オブジェクト検出信頼度とも呼ばれ得る）を出力することもできる。検出ボックスの不完全により、誤検出や低検出精度などの状況が発生する場合があるため、検出ボックスも、対応する信頼度（すなわち、上記のオブジェクト検出信頼度）を有する。

【0113】

実際の実施では、オブジェクト関係の予測結果の閾値を設定でき、特定のオブジェクトグループノードについては、最終的な予測結果がこの閾値に達した場合にのみ、当該オブジェクトグループノードの２つのオブジェクト間にそのような関係があると決定する。

【0114】

１つのシーン画像を例にとると、当該シーン画像内のすべてのｐａｉｒをトラバースすることができ、例えば、すべての人と物体をペアリングして、オブジェクトグループノードを生成する。その後、オブジェクトグループノードごとに、上記の方式に応じて当該オブジェクトグループノードがそれぞれの所定関係カテゴリにそれぞれ対応する信頼度を取得し、閾値を超える信頼度を有するオブジェクトグループノードを、シーン画像から識別されたＨＯＩ関係であると決定する。

【0115】

上記の各実施例におけるＨＯＩ関係の検出は、様々な用途を有し得る。

【0116】

例えば、スマートシティでの異常行動検出において、当該方法により、人と人との間の暴力事件が発生したが否か、又は誰かが店を壊しているか否かなどをより良く判断することができる。

【0117】

別の例として、スーパーマーケットで買い物をするシーンでは、当該方法により、スーパーマーケットで収集された画像を処理することで、各人が購入したものや気になる商品を自動分析することができる。

【0118】

図５は、シーン情報の検出装置を示し、図５に示されるように、当該装置は、特徴処理モジュール５１と、特徴更新モジュール５２と、情報決定モジュール５３とを備える。

【0119】

特徴処理モジュール５１は、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、伝播されるべき集約特徴を取得するように構成され、前記集約特徴の特徴次元はＣ_ｙ＊１であり、ここで、前記Ｃ_ｙは、前記集約特徴のチャネル次元であり、前記Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じであり、ここで、前記シーン異種グラフは、少なくとも２つのタイプの異種ノードを含み、前記少なくとも２つのタイプの異種ノードは、前記補助ノードと、前記シーン画像に基づいて取得された前記目標ノードと、を含む。

【0120】

特徴更新モジュール５２は、前記集約特徴に基づいて、前記目標ノードのノード特徴を更新するように構成される。

【0121】

情報決定モジュール５３は、更新後の前記目標ノードのノード特徴に基づいて、前記シーン画像におけるシーン情報を取得するように構成される。

【0122】

いくつかの実施例では、前記特徴更新モジュール５２が、前記集約特徴に基づいて前記目標ノードのノード特徴を更新するように構成されることは、前記特徴更新モジュール５２が、前記集約特徴の各チャネルのチャネル特徴に基づいて、前記チャネル特徴を使用して、前記目標ノードのノード特徴において各チャネルに対応するすべての特徴位置に対して特徴更新処理を実行するように構成されることを含む。

【0123】

いくつかの実施例では、前記特徴処理モジュール５１は、具体的に、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得するように構成される。

【0124】

前記特徴更新モジュール５２は、具体的に、前記再重み付けベクトルに基づいて目標ノードのノード特徴の各チャネルに対して乗算処理を実行し、及び／又は、前記残差ベクトルによって目標ノードのノード特徴の各チャネルに対して加算処理を実行するように構成される。

【0125】

いくつかの実施例では、前記特徴処理モジュール５１が、再重み付けベクトルと残差ベクトルのうちの少なくとも１つを前記集約特徴として取得するように構成されることは、前記特徴処理モジュール５１が、活性化関数と前記目標ノードのノード特徴の標準偏差を使用して、前記残差ベクトルの値を所定の数値区間にマッピングして、集約特徴として使用するように構成されることを含む。

【0126】

いくつかの実施例では、前記目標ノードは、オブジェクトグループノードを含み、前記オブジェクトグループは、前記シーン画像内の２つのオブジェクトを含み、前記情報決定モジュール５３は、具体的に、更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得するように構成される。

【0127】

いくつかの実施例では、前記シーン異種グラフは、終点として１つのオブジェクトグループノードを持つ情報伝送チェーンを含み、前記情報伝送チェーンは、少なくとも２つの有向辺グループを含み、各有向辺グループは、複数の始点から同一の終点を指向する複数の有向辺を含み、前記情報伝送チェーンの各始点と終点は、少なくとも２つのタイプの前記異種ノードを含み。前記特徴処理モジュール５１は、前記少なくとも２つの有向辺グループのうちの第１有向辺グループについて、前記第１有向辺グループが指向する同一の第１終点を前記目標ノードとして、前記第１終点に接続される各始点のノード特徴に従って集約特徴を取得し、前記第１終点は、同時に、前記少なくとも２つの有向辺グループのうちの第２有向辺グループ内の１つの始点として使用され、前記第２有向辺グループについて、前記第２有向辺グループが指向する同一の第２終点を前記目標ノードとして、前記第２終点に接続される各始点のノード特徴に従って集約特徴を取得するように構成される。前記特徴更新モジュール５２は、前記第１終点に接続される各始点のノード特徴に従って得られた集約特徴に基づいて、前記第１終点のノード特徴を更新し、及び前記第２終点に接続される各始点のノード特徴に従って得られた集約特徴に基づいて、前記第２終点のノード特徴を更新するように構成される。

【0128】

いくつかの実施例では、前記少なくとも２つの有向辺グループのうちの１つの前記有向辺グループの始点と終点について、
前記始点は、前記シーン画像から特徴を抽出することによって取得された各画素ノードを含み、前記終点は、前記シーン画像から抽出された物体ノードであり、
又は、前記始点と終点の両方が、前記シーン画像から抽出された物体ノードを含み、
又は、前記始点は、前記シーン画像から抽出された物体ノードを含み、前記終点は、前記オブジェクトグループノードを含み、
又は、前記始点は前記オブジェクトグループノードを含み、前記終点は前記物体ノードを含む。

【0129】

いくつかの実施例では、前記各補助ノードは、複数の画素ノードを含み、
前記特徴処理モジュール５１は、更に、
前記シーン画像に従って特徴抽出を実行して、複数の特徴マップを取得し、前記複数の特徴マップは、それぞれ異なるサイズを有し、前記複数の特徴マップを同じサイズにスケーリングしてから融合して、融合特徴マップを取得し、前記融合特徴マップに基づいて、複数の前記画素ノードのノード特徴を取得するように構成される。

【0130】

いくつかの実施例では、情報決定モジュール５３が、更新後のオブジェクトグループノードのノード特徴に基づいて、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果を取得するように構成されることは、前記情報決定モジュール５３が、前記オブジェクトグループノードのノード特徴に基づいて、予測された初期分類信頼度を取得し、前記初期分類信頼度は、前記オブジェクトグループノードがそれぞれの所定関係カテゴリに対応する初期分類信頼度を含み、前記オブジェクトグループノードが前記それぞれの所定関係カテゴリうちの１つのターゲットの所定関係カテゴリに対応する初期分類信頼度と、前記オブジェクトグループノード内の２つのオブジェクトにそれぞれ対応するオブジェクト検出信頼度とに基づいて、前記オブジェクトグループノード内の２つのオブジェクトが前記ターゲットの所定関係カテゴリに対応する信頼度を取得し、前記信頼度がプリセットされた信頼度閾値より大きいか等しい場合、前記オブジェクトグループノード内の２つのオブジェクト間の関係の予測結果が、前記ターゲットの所定関係カテゴリであると決定するように構成される。

【0131】

図６は、別のシーン情報の検出装置を示し、当該装置は画像処理機器に適用され、図６に示されるように、前記装置は、画像取得モジュール６１と、情報出力モジュール６２とを備える。

【0132】

画像取得モジュール６１は、画像収集機器によって収集されたシーン画像を取得するように構成され、
情報出力モジュール６２は、本願の任意の実施例における検出方法により前記シーン画像を処理して、前記シーン画像におけるシーン情報を出力するように構成される。

【0133】

当業者なら自明であるが、本願の１つ又は複数の実施例は、方法、システム、又はコンピュータプログラム製品として提供され得る。したがって、本願の１つ又は複数の実施例は、完全ハードウェア実施例、完全ソフトウェア実施例、又はソフトウェアとハードウェアの組み合わせた実施例の形を採用することができる。更に、本願の１つ又は複数の実施例は、コンピュータ可読プログラムコードが記憶された、１つ又は複数のコンピュータ可読記憶媒体（磁気ディスクストレージ、ＣＤ－ＲＯＭ、光ストレージなどを含むが、これらに限定されない）で実装されるコンピュータプログラム製品の形を採用することができる。

【0134】

本願の一実施例は、コンピュータ可読記憶媒体を更に提供し、当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されるときに、本願の任意の実施例におけるシーン情報の検出方法を実現する。

【0135】

本願の一実施例は、電子機器を更に提供し、当該電子機器は、メモリと、プロセッサとを備え、前記メモリには、コンピュータ可読命令が記憶されており、前記プロセッサは、前記コンピュータ可読命令を呼び出して実行することにより、本願の任意の実施例におけるシーン情報の検出方法を実現する。

【0136】

ここで、本願の一実施例に記載の「及び／又は」は、両者のうちの少なくとも１つを含むことを意味し、例えば、「Ａ１及び／又はＡ２」は、Ａ１のみが存在し、Ａ２のみが存在し、Ａ１及びＡ２が同時に存在するという３つの状況を含む。

【0137】

本願の各実施例は、漸進的に説明されており、各実施例間の同じ又は類似の部分は、互いに参照でき、各実施例は、他の実施例との違いに焦点を合わせている。特に、シーン情報の検出装置については、基本的に方法の実施例と類似しているため、その説明は比較的簡単であり、関連する部分については、方法の実施例の関連する部分の説明を参照されたい。

【0138】

以上は、本願の特定の実施例について説明してきた。他の実施例は、特許請求の範囲内に含まれる。場合によっては、特許請求の範囲に記載の動作又はステップは、実施例とは異なる順序で実行でき、依然として望ましい結果を達成することができる。更に、図面に示されているプロセスは、望ましい結果を達成するために、必ずしも示されている特定の順序又は連続順序を必要としない。いくつかの実施形態では、マルチタスクと並列処理も可能であるか、有利な場合がある。

【0139】

本願で説明される主題および機能的操作の実施例は、デジタル電子回路、具現化されたコンピュータソフトウェアまたはファームウェア、本願で開示される構造およびそれらの構造的同等物を含むコンピュータハードウェア、又はそれらの１つまたは複数の組み合わせで実現できる。本願で説明される主題の実施例は、１つ又は複数のコンピュータプログラムとして実装でき、つまり、データ処理装置によってデータ処理装置の操作を実行又は制御するために、有形の非一時的プログラムキャリアに符号化されたコンピュータプログラム命令における１つ又は複数のモジュールとして実装できる。代替的または追加的に、プログラム命令は、人工的に生成された伝播信号（例えば、機器によって生成された電気的、光学的または電磁的信号など）にエンコードすることができ、当該信号は、情報を符号化して、データ処理装置による実行のために適切な受信機装置に伝送するために生成される。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、又はこれらの１つまたは複数の組み合わせであり得る。

【0140】

本願で説明される処理及び論理フローは、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラム可能なコンピュータによって実行でき、これにより、入力データに従って操作を実行して出力を生成することで対応する機能を実行できる。前記処理および論理フローは、専用論理回路によって実行でき、例えば、フィールドプログラマブルゲートアレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡ）又は特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、ＡＳＩＣ）によって実行でき、また、装置も、専用論理回路として実装することができる。

【0141】

コンピュータプログラムの実行に適したコンピュータは、例えば、汎用及び／又は専用マイクプロセッサ、又は任意の他のタイプの中央処理装置（ＣＰＵ）を含む。通常、中央処理装置は、読み取り専用メモリ及び／又はランダムアクセスメモリから命令とデータを受信する。コンピュータの基本的なコンポーネントは、命令を実装または実行するための中央処理装置と、命令及びデータを記憶するための１つ又は複数のストレージデバイスを含む。通常、コンピュータは更に、データを記憶するための１つ又は複数の大容量ストレージデバイスを含み、例えば、磁気ディスク、磁気光学ディスク又は光ディスクなどを含み得、又は、コンピュータは、大容量ストレージデバイスに操作可能に結合されて、それからデータを受信するか、それにデータを伝送するか、又は、その両方を行う。ただし、コンピュータは、そのような機器を備えなくても構わない。更に、コンピュータは、別の機器に組み込まれることができ、例えば、携帯電話、携帯情報端末（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ、ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ、ＧＰＳ）受信機、又はユニバーサルシリアルバス（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ、ＵＳＢ）フラッシュドライブなどのポータブルストレージデバイスなどに組み込まれることができる。

【0142】

コンピュータプログラム命令及びデータの記憶に適したコンピュータ可読媒体は、あらゆる形の不揮発性メモリ、媒体、およびストレージデバイスを含み、例えば、半導体ストレージデバイス、磁気ディスク（例えば、内蔵ハードディスクまたはリムーバブルディスク）、磁気光学ディスク、ＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。ここで、半導体ストレージデバイスは、消去可能プログラマブル読み取り専用メモリ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ、ＥＥＰＲＯＭ）、及びフラッシュメモリデバイスであり得る。プロセッサとメモリは、専用論理回路によって補完されるか、専用論理回路に組み込まれることができる。

【0143】

本願は多くの具体的な実施詳細を含むが、これらは、開示の範囲または主張されている保護範囲を制限するものとして解釈されるべきではなく、特定の開示された特定の実施例の特徴を説明するためのものである。本願の複数の実施例で説明された特定の特徴はまた、単一の実施例で組み合わせて実施できる。一方、単一の実施例で説明された様々な特徴はまた、複数の実施例で別々に実施するか、又は任意の適切なサブ組合せで実施できる。更に、特徴は、上記のように、特定の組み合わせで機能し、元々そのように主張されていても、主張された組み合わせからの１つ又は複数の特徴は、場合によっては、組み合わせから排除でき、主張された組み合わせは、サブ組合せ又はサブ組合せの変形を指すことができる。

【0144】

同様に、図面において、操作は特定の順序で図示されているが、これは、望ましい結果を達成するために、図示された特定の順序でこれらの操作を実行する必要がある、又は図示されたすべての操作を実行する必要があると解釈されるべきではない。場合によっては、マルチタスクと並列処理が有利な場合がある。更に、上記の実施例における様々なシステムモジュールおよびコンポーネントの分離は、すべての実施例においてそのような分離を必要とするものとして解釈されるべきではなく、説明されたプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に統合されるか、又は複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

【0145】

これまで、主題の特定の実施例が説明されてきた。他の実施例は、特許請求の範囲内に含まれる。場合によっては、特許請求の範囲に記載の動作は、異なる順序で実行することができ、それでも望ましい結果を達成することができる。更に、図面に示される処理は、望ましい結果を達成するために、必ずしも示されている特定の順序で実行する必要はない。特定の実現では、マルチタスクと並列処理が有利な場合がある。

【0146】

上記の説明は、本願の１つ又は複数の実施例の好ましい実施例にすぎず、本願の１つ又は複数の実施例を限定することを意図するものではない。本願の１つ又は複数の実施例の精神及び原則内で行われるいかなる修正、同等置換、改善なども、すべて本願の保護範囲に含まれるものとする。

【産業上の利用可能性】

【0147】

本願の実施例は、シーン情報の検出方法及びその装置、電子機器、コンピュータ可読記憶媒体、並びにコンピュータプログラムを提供し、当該方法は、シーン異種グラフの目標ノードに接続された各補助ノードのノード特徴に基づいて、特徴次元がＣ_ｙ＊１である、伝播されるべき集約特徴を取得することであって、Ｃ_ｙは集約特徴のチャネル次元であり、Ｃ_ｙは目標ノードのノード特徴のチャネル次元と同じであり、ここで、シーン異種グラフは、少なくとも２つのタイプの異種ノードを含み、当該少なくとも２つのタイプの異種ノードは、補助ノードと、シーン画像に基づいて取得された目標ノードと、を含む、ことと、集約特徴に基づいて目標ノードのノード特徴を更新することと、更新後の目標ノードのノード特徴に基づいて、シーン画像のシーン情報を取得することと、を含む。

【図1】