特許 7554946 画像データの処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-11

(45)【発行日】2024-09-20

(54)【発明の名称】画像データの処理方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240912BHJP

   G06T 7/55 20170101ALI20240912BHJP

   G06T 7/70 20170101ALI20240912BHJP

【ＦＩ】

G06T7/00 350C

G06T7/55

G06T7/70 Z

【請求項の数】 10

(21)【出願番号】P 2023553068

(86)(22)【出願日】2022-09-14

(65)【公表番号】

(43)【公表日】2024-02-21

(86)【国際出願番号】 CN2022118735

(87)【国際公開番号】W WO2023082822

(87)【国際公開日】2023-05-19

【審査請求日】2023-08-31

(31)【優先権主張番号】202111329386.7

(32)【優先日】2021-11-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】522378775

【氏名又は名称】北京地平▲線▼信息技▲術▼有限公司

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】チェン、テン

(72)【発明者】

【氏名】スイ、ウェイ

(72)【発明者】

【氏名】シエ、ジャフェン

(72)【発明者】

【氏名】ジャン、チェン

(72)【発明者】

【氏名】フアン、チャン

【審査官】村山 絢子

(56)【参考文献】

【文献】特表２０２１－５１３１７３（ＪＰ，Ａ）

【文献】中国特許出願公開第１１３６０９８８８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｔ １／００

Ｇ０６Ｇ ３／００－３／６０８

Ｇ０６Ｔ ５／００－５／９４

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

第１のニューラルネットワークを用いて第１の画像及び第２の画像を処理し、ホモグラフィ行列を得るステップであって、前記第１の画像は第１の時刻で撮影され、前記第２の画像は第２の時刻で撮影され、且つ前記第１の画像及び前記第２の画像は同一領域の路面要素を有するステップと、
前記ホモグラフィ行列に基づいて、第１の画像特徴のマッピング画像特徴を決定するステップであって、前記第１の画像特徴は前記第１の画像に基づいて抽出された特徴であるステップと、
前記マッピング画像特徴と第２の画像特徴を融合し、融合画像特徴を得るステップであって、前記第２の画像特徴は前記第２の画像に基づいて抽出された特徴であるステップと、
第２のニューラルネットワークを用いて前記融合画像特徴を処理し、前記第２の画像の第１の画素高深比を得るステップと、を含む、画像データの処理方法。

【請求項2】

第１のニューラルネットワークを用いて第１の画像及び第２の画像を処理し、ホモグラフィ行列を得る前記ステップは、
前記第１の画像の第１の画像特徴及び前記第２の画像の第２の画像特徴を融合し、第３の画像特徴を得るステップと、
前記第１のニューラルネットワークにおける路面サブネットワークを用いて前記第３の画像特徴を処理し、路面法線情報を決定するステップと、
前記第１のニューラルネットワークにおける姿勢サブネットワークを用いて前記第３の画像特徴を処理し、前記第１の画像と前記第２の画像との間のカメラ相対姿勢を決定するステップと、
前記路面法線情報、前記カメラ相対姿勢及び予め記憶されている路面に対するカメラの高さに基づいて、前記ホモグラフィ行列を決定するステップと、を含む、請求項１に記載の画像データの処理方法。

【請求項3】

第２のニューラルネットワークを用いて前記融合画像特徴を処理し、前記第２の画像の第１の画素高深比を得る前記ステップの後、さらに、
前記第２の画像の収集時間内で、前記第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて、前記ターゲットオブジェクトの第２の画素高深比を決定するステップと、
前記第１の画素高深比と前記第２の画素高深比との差に基づいて、前記第２のニューラルネットワークに対してパラメーター調整を行うステップと、を含む、請求項１に記載の画像データの処理方法。

【請求項4】

第１のニューラルネットワークを用いて第１の画像及び第２の画像を処理し、ホモグラフィ行列を得る前記ステップの後、さらに、
前記ホモグラフィ行列を用いて前記第１の画像に対して画像再構成を行い、第１の再構成画像を得るステップと、
前記第１の再構成画像と前記第２の画像との間の前記同一領域の路面要素における画素シフトに基づいて、前記ホモグラフィ行列の行列パラメーターを調整するステップと、
行列パラメーターが調整されたホモグラフィ行列に基づいて、前記路面サブネットワーク及び前記姿勢サブネットワークに対してパラメーター調整を行うステップと、を含む、請求項２に記載の画像データの処理方法。

【請求項5】

第２のニューラルネットワークを用いて前記融合画像特徴を処理し、前記第２の画像の第１の画素高深比を得る前記ステップの後、さらに、
前記第２の画像の収集時間内で、前記第１の画素高深比、前記第２の画像の路面マスク、及び前記第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて全体損失値を決定するステップと、
前記全体損失値に基づいて、前記第１のニューラルネットワーク及び前記第２のニューラルネットワークに対してパラメーター調整を行うステップと、を含む、請求項１に記載の画像データの処理方法。

【請求項6】

前記第２の画像の収集時間内で、前記第１の画素高深比、前記第２の画像の路面マスク、及び前記第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて全体損失値を決定する前記ステップは、
前記レーダースキャンデータに基づいて前記ターゲットオブジェクトの第２の画素高深比を決定するステップと、
前記第１の画素高深比及び前記第２の画素高深比に基づいて、第１の損失値を決定するステップと、
前記ホモグラフィ行列を用いて前記第１の画像に対して画像再構成を行い、第１の再構成画像を得るステップと、
前記第１の画素高深比に基づいて、第１の画像領域と第２の画像領域との間の画素シフトを決定するステップであって、前記第１の画像領域は前記第１の再構成画像において路面画像領域を除いた残りの画像領域であり、前記第２の画像領域は前記第２の画像において路面画像領域を除いた残りの画像領域であるステップと、
前記画素シフトに基づいて前記第１の再構成画像の画素位置を調整し、第２の再構成画像を得るステップと、
前記第２の再構成画像、前記第２の画像及び前記第２の画像の路面マスクに基づいて、第２の損失値を決定するステップと、
前記第１の損失値及び前記第２の損失値に基づいて、前記全体損失値を決定するステップと、を含む、請求項５に記載の画像データの処理方法。

【請求項7】

前記第２の再構成画像、前記第２の画像及び前記第２の画像の路面マスクに基づいて、第２の損失値を決定する前記ステップは、
前記第２の再構成画像と前記第２の画像との間の全画像光度誤差を決定するステップと、
前記全画像光度誤差及び前記第２の画像の路面マスクに基づいて、前記第２の再構成画像と前記第２の画像との路面画像領域における光度誤差を決定するステップと、
前記全画像光度誤差、及び前記第２の再構成画像と前記第２の画像との路面画像領域における光度誤差に基づいて、前記第２の損失値を決定するステップと、を含む、請求項６に記載の画像データの処理方法。

【請求項8】

第１のニューラルネットワークを用いて第１の画像及び第２の画像を処理し、ホモグラフィ行列を得るために用いられるホモグラフィ行列決定モジュールであって、前記第１の画像は第１の時刻で撮影され、前記第２の画像は第２の時刻で撮影され、且つ前記第１の画像及び前記第２の画像は同一領域の路面要素を有する、ホモグラフィ行列決定モジュールと、
前記ホモグラフィ行列に基づいて、第１の画像特徴のマッピング画像特徴を決定するために用いられるマッピング画像特徴決定モジュールであって、前記第１の画像特徴は前記第１の画像に基づいて抽出された特徴である、マッピング画像特徴決定モジュールと、
前記マッピング画像特徴と第２の画像特徴を融合し、融合画像特徴を得るために用いられる融合モジュールであって、前記第２の画像特徴は前記第２の画像に基づいて抽出された特徴である、融合モジュールと、
第２のニューラルネットワークを用いて前記融合画像特徴を処理し、前記第２の画像の第１の画素高深比を得るために用いられる第１の画素高深比決定モジュールと、を含む、画像データの処理装置。

【請求項9】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、請求項１～７のいずれか一項に記載の画像データの処理方法を実現するために用いられる、コンピュータ可読記憶媒体。

【請求項10】

プロセッサーと、
前記プロセッサーにより実行可能なコマンドを記憶するために用いられるメモリーと、を含み、
前記プロセッサーは、前記メモリーから前記実行可能なコマンドを読み取り、且つ上記請求項１～７のいずれか一項に記載の画像データの処理方法を実現するように前記コマンドを実行するために用いられる、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２１年１１月１０日に中国知識財産権局に出願された、出願番号が２０２１１１３２９３８６．７で、発明の名称が「画像データの処理方法及び装置」である中国特許出願の優先権を主張し、そのすべての内容が参照により本願に組み込まれる。

【0002】

本開示は、画像処理の技術分野に関し、特に、画像データの処理方法及び装置に関する。

【背景技術】

【0003】

平面視差法は、２つの視角から同じ物体又はシーンを観察する差に基づいて３Ｄシーンをモデリングするものであり、当該方法は、特定の平面に依存し、シーン中の１つの画素点から平面までの高さ及び観測点までの距離、すなわち、当該画素点の画素高深比を回復することができる。

【0004】

現在の平面視差法は、オプティカルフロー推定に依存して、２つの視角で対応する点のマッチング結果を得る。オプティカルフロー法は、密な推定結果を得ることができず、ノイズから大きな影響を受ける。どのようにして画像データに基づいて密で正確な画素高深比を得るかは、解決すべき課題となる。

【発明の概要】

【0005】

本開示は、上記の技術的課題を解決するためになされたものである。

【0006】

本開示の実施例の第１の態様によれば、
第１のニューラルネットワークを用いて第１の画像及び第２の画像を処理し、ホモグラフィ行列を得るステップであって、前記第１の画像は第１の時刻で撮影され、前記第２の画像は第２の時刻で撮影され、且つ前記第１の画像及び前記第２の画像は同一領域の路面要素を有するステップと、
前記ホモグラフィ行列に基づいて、第１の画像特徴のマッピング画像特徴を決定するステップであって、前記第１の画像特徴は前記第１の画像に基づいて抽出された特徴であるステップと、
前記マッピング画像特徴と第２の画像特徴を融合し、融合画像特徴を得るステップであって、前記第２の画像特徴は前記第２の画像に基づいて抽出された特徴であるステップと、
第２のニューラルネットワークを用いて前記融合画像特徴を処理し、前記第２の画像の第１の画素高深比を得るステップと、を含む画像データの処理方法が提供される。

【0007】

本開示の実施例の第２の態様によれば、
第１のニューラルネットワークを用いて第１の画像及び第２の画像を処理し、ホモグラフィ行列を得るために用いられるホモグラフィ行列決定モジュールであって、前記第１の画像は第１の時刻で撮影され、前記第２の画像は第２の時刻で撮影され、且つ前記第１の画像及び前記第２の画像は同一領域の路面要素を有する、ホモグラフィ行列決定モジュールと、
前記ホモグラフィ行列に基づいて、第１の画像特徴のマッピング画像特徴を決定するために用いられるマッピング画像特徴決定モジュールであって、前記第１の画像特徴は前記第１の画像に基づいて抽出された特徴である、マッピング画像特徴決定モジュールと、
前記マッピング画像特徴と第２の画像特徴を融合し、融合画像特徴を得るために用いられる融合モジュールであって、前記第２の画像特徴は前記第２の画像に基づいて抽出された特徴である、融合モジュールと、
第２のニューラルネットワークを用いて前記融合画像特徴を処理し、前記第２の画像の第１の画素高深比を得るために用いられる第１の画素高深比決定モジュールと、を含む画像データの処理装置が提供される。

【0008】

本開示の実施例の第３の態様によれば、コンピュータ可読記憶媒体が提供され、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムは上記第１の態様に記載の画像データの処理方法を実行するために用いられる。

【0009】

本開示の実施例の第４の態様によれば、電子機器が提供され、前記電子機器は、
プロセッサーと、
前記プロセッサーにより実行可能なコマンドを記憶するために用いられるメモリーと、を含み、
前記プロセッサーは、前記メモリーから前記実行可能なコマンドを読み取り、且つ上記第１の態様に記載の画像データの処理方法を実現するように前記コマンドを実行するために用いられる。

【0010】

本開示の上記実施例により提供される画像データの処理方法及び装置によれば、第１のニューラルネットワークを用いて、カメラにより撮影された、同一領域の路面要素を有する第１の画像及び第２の画像を処理し、ホモグラフィ行列を得、次に、ホモグラフィ行列により第１の画像特徴をマッピングしてマッピング画像特徴を得、且つマッピング画像特徴と第２の画像特徴を融合し、融合画像特徴を得、第２のニューラルネットワークを用いて融合画像特徴を処理し、第１の画素高深比を決定する。ここで、第１の画素高深比は、路面に対する第２の画像におけるターゲットオブジェクトの画素の高さと画素の深さとの比であり、当該比は３Ｄシーンモデリングに用いることができる。本開示の実施例の画像データの処理方法は、画像データに基づいて密で正確な画素高深比を得ることができ、さらに３Ｄシーンモデリングを補助することができる。

【0011】

以下は図面及び実施例により、本開示の技術的解決手段についてより詳細に説明する。
本開示の上記及び他の目的、特徴及び利点は、図面に合わせて本開示の実施例についてより詳細に説明することによって明らかになるであろう。図面は、本開示の実施例のさらなる理解を提供するために用いられ、本明細書の一部を構成し、本開示の実施例と共に本開示を説明するために用いられ、本開示を限定するものではない。また、図面において、同じ参照符号は一般的に同じ部品又はステップを表す。

【図面の簡単な説明】

【0012】

【図1】本開示の一実施例における画像データの処理方法のフローチャートである。

【図2】本開示の一実施例におけるステップＳ１のフローチャートである。

【図3】本開示の一例における第１のニューラルネットワークの動作原理図である。

【図4】本開示の別の実施例における画像データの処理方法のフローチャートである。

【図5】本開示のさらに別の実施例におけるステップＳ４の後のフローチャートである。

【図6】本開示のさらに別の実施例におけるステップＳ４の後のフローチャートである。

【図7】本開示の一実施例におけるステップＳ５″のフローチャートである。

【図8】本開示の一実施例におけるステップＳ５″－６のフローチャートである。

【図9】本開示の一実施例における画像データの処理装置の構造ブロック図である。

【図10】本開示の一実施例におけるホモグラフィ行列決定モジュール１００の構造ブロック図である。

【図11】本開示の別の実施例における画像データの処理装置の構造ブロック図である。

【図12】本開示のさらに別の実施例における画像データの処理装置の構造ブロック図である。

【図13】本開示のさらに別の実施例における画像データの処理装置の構造ブロック図である。

【図14】本開示の一実施例における全体損失値決定モジュール１０００の構造ブロック図である。

【図15】本開示の一実施例により提供される電子機器の構造図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら、本開示による例示的な実施例について詳細に説明する。明らかに、説明される実施例は、本開示の全ての実施例ではなく、本開示の実施例の一部にすぎず、本開示はここで説明される例示的な実施例により限定されたものではないことを理解されたい。

【0014】

なお、特に特定的な説明がない限り、これらの実施例に記載された部材及びステップの相対配置、数式及び数値は本開示の範囲を限定するものではない。

【0015】

当業者であれば理解できるように、本開示の実施例における「第１」、「第２」などの用語は異なるステップ、機器又はモジュールなどを区別するために用いられ、いかなる特定の技術的意味を表すものではなく、またそれらの間の必然的な論理的順序を表すものでもない。

【0016】

さらなる理解すべきものとして、本開示の実施例では、「複数」は２つ又は２つ以上を意味してもよく、「少なくとも１つ」は１つ、２つ又は２つ以上を意味してもよい。

【0017】

さらなる理解すべきものとして、本開示の実施例に言及されるいずれかの部材、データ又は構造は、明示的に定義されないか、又は文脈から逆の示唆が与えられない場合、概して１つ又は複数と理解されてもよい。

【0018】

本開示において用語の「及び／又は」とは、関連オブジェクトの関連関係を説明するものにすぎず、３種類の関係が存在することを表し、例えば、Ａ及び／又はＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという３つの状況を表すことができる。また、本開示において文字の「／」は、一般に、前後関連オブジェクトが「又は」の関係であることを表す。

【0019】

さらなる理解すべきものとして、本開示の各実施例に対する説明は、各実施例の間の相違点に重点を置き、その同一又は類似の点は互いに参照することができ、簡潔にするために、一つ一つ説明しない。

【0020】

以下の少なくとも１つの例示的な実施例の説明は実際に説明的なものにすぎず、決して本開示及びその適用又は使用を制限するものとしていない。

【0021】

関連分野の当業者に既知の技術、方法及び機器について詳細な説明を行わないが、適切な場合、前記技術、方法及び機器は説明書の一部と見なされるべきである。

【0022】

なお、以下の図面において同様の符号及び文字は同様の項目を表しており、したがって、ある項目が一度１つの図面において定義されると、それ以降の図面においては更なる説明を要しない。

【0023】

本開示の実施例は、多くの他の汎用又は専用のコンピューティングシステム環境又は構成とともに動作できる、端末機器、コンピュータシステム、サーバーなどの電子機器に適用することができる。端末機器、コンピュータシステム、サーバーなどの電子機器と共に使用するのに適した周知の端末機器、コンピューティングシステム、環境及び／又は構成の例としては、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、ハンドヘルド又はラップトップ機器、マイクロプロセッサーベースのシステム、セットトップボックス、プログラム可能な消費者電子製品、ウェブパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、及び上記のシステムのいずれかを含む分散式クラウドコンピューティング技術環境などが挙げられるが、これらに限定されない。

【0024】

端末機器、コンピュータシステム、サーバーなどの電子機器は、コンピュータシステムによって実行されるコンピュータシステム実行可能コマンド（プログラムモジュールなど）の一般的な文脈で記述されてもよい。一般に、プログラムモジュールは、特定のタスクを実行するか、又は特定の抽象データ型を実現するルーチン、プログラム、目的プログラム、コンポーネント、論理、データ構造などを含むことができる。コンピュータシステム／サーバーは分散式クラウドコンピューティング環境において実施することができ、分散式クラウドコンピューティング環境において、タスクは通信ネットワークによってリンクされた遠隔処理機器によって実行される。分散式クラウドコンピューティング環境において、プログラムモジュールは、記憶機器を含むローカル又は遠隔コンピューティングシステム記憶媒体上に位置してもよい。
例示的な方法

【0025】

図１は本開示の一実施例における画像データの処理方法のフローチャートである。本実施例はサーバーに適用することができ、図１に示すように、当該方法はステップＳ１～ステップＳ４を含む。

【0026】

Ｓ１において、第１のニューラルネットワークを用いて第１の画像及び第２の画像を処理し、ホモグラフィ行列（ｈｏｍｏｇｒａｐｈｙ ｍａｔｒｉｘ）を得る。ここで、第１の画像は第１の時刻で撮影され、第２の画像は第２の時刻で撮影され、且つ第１の画像及び第２の画像は同一領域の路面要素を有する。

【0027】

具体的には、車両にカメラが設けられ、カメラ内部パラメーター及びカメラ外部パラメーターが予め設定される。車両の走行中、カメラによって画像が撮影される。

【0028】

同一カメラが第１の時刻で撮影した第１の画像、及び当該カメラが第２の時刻で撮影した第２の画像を取得する。ここで、ビデオを撮影することにより画像を撮影してもよく、一定の時間おきに画像を１回撮影することにより複数フレームの画像を撮影してもよい。本実施例では、第１の時刻と第２の時刻とはＭフレーム（Ｍは０より大きい整数）だけ離れていてもよい。

【0029】

運転シーンで撮影された画像には、通常、路面が含まれるため、本実施例では、第１の画像及び第２の画像における路面を平面視差法に必要な基準面とする。

【0030】

特徴抽出ネットワークを用いて第１の画像に対して特徴抽出を行い、第１の画像特徴を得、且つ特徴抽出ネットワークを用いて第２の画像に対して特徴抽出を行い、第２の画像特徴を得る。ここで、特徴抽出ネットワークは第１のニューラルネットワークに属してもよく、第１のニューラルネットワークとは独立したネットワークであってもよい。本実施例では、同じダウンサンプリングにより特徴抽出を行う。例えば、元々３＊ｈ＊ｗ次元数（ｈとｗはそれぞれ画像の幅と長さを表す）の第１の画像に対してダウンサンプリングを行い、ｎ＊ｈ’＊ｗ’次元数の第１の特徴図を得て第１の画像特徴とする。且つ元々３＊ｈ＊ｗ次元数の第２の画像に対してダウンサンプリングを行い、ｎ＊ｈ’＊ｗ’次元数の第２の特徴図を得て第２の画像特徴とする。ここで、ｎはチャンネル数であり、ｈ’はｈの１／３２、１／６４などである。ｗ’はｗの１／３２、１／６４などである。ｈ’とｗ’の値は同じであってもよく、異なってもよい。

【0031】

第１のニューラルネットワークを用いて第１の画像特徴及び第２の画像特徴を処理し、第１の画像及び第２の画像における路面を合わせるためのホモグラフィ行列を得る。例示的には、ホモグラフィ行列の計算方式は以下のとおりである。

【数1】

ここで、Ｈはホモグラフィ行列を表し、例えば、３×３の要素を有する行列を採用してもよく、Ｋはカメラ内部パラメーターを表し、Ｋ^－１はＫの逆行列を表し、ｄは路面に対するカメラの高さを表し、ｄはキャリブレーションにより得られてもよく、Ｒ及びｔはそれぞれ第１の画像と第２の画像との間のカメラ相対回転行列（例えば３×３）及び相対平行移動行列（例えば１×３）を表し、Ｎは路面法線を表す。

【0032】

Ｓ２において、ホモグラフィ行列に基づいて、第１の画像特徴のマッピング画像特徴を決定する。

【0033】

具体的には、ホモグラフィ行列を用いて第１の画像特徴を第２の画像特徴の視角にマッピングし、マッピング画像特徴を得、マッピング画像特徴の次元数は第１の画像特徴及び第２の画像特徴の次元数と同じであり、ステップＳ１の例によれば、マッピング画像特徴の次元数はｎ＊ｈ’＊ｗ’である。

【0034】

Ｓ３において、マッピング画像特徴及び第２の画像特徴を融合し、融合画像特徴を得る。

【0035】

選択可能な一態様では、マッピング画像特徴及び第２の画像特徴をチャネル次元数に従って重ね合わせることにより、融合画像特徴を得る。ステップＳ１及びＳ２の例によれば、融合画像特徴の次元数は２ｎ＊ｈ’＊ｗ’である。

【0036】

Ｓ４において、第２のニューラルネットワークを用いて融合画像特徴を処理し、第２の画像の第１の画素高深比を得る。

【0037】

具体的には、第２のニューラルネットワークは予めトレーニングされたモデルであり、例えばディープラーニングモデルである。第２のニューラルネットワークは、融合画像特徴に基づいて画素高深比を予測することができる。本実施例では、第２のニューラルネットワークにより融合画像特徴に対して予測された画素高深比を第１の画素高深比とする。

【0038】

本実施例では、第１のニューラルネットワークを用いて、カメラにより撮影された、共同領域の路面要素を有する第１の画像及び第２の画像を処理し、ホモグラフィ行列を得、次に、ホモグラフィ行列により第１の画像特徴をマッピングしてマッピング画像特徴を得、且つマッピング画像特徴と第２の画像特徴を融合し、融合画像特徴を得、第２のニューラルネットワークを用いて融合画像特徴を処理し、第１の画素高深比を決定する。ここで、第１の画素高深比（ｈｉｇｈ－ｄｅｐｔｈ ｒａｔｉｏ）は、路面に対する第２の画像におけるターゲットオブジェクトの画素の高さと画素の深さとの比であり、当該比は３Ｄシーンモデリングに用いることができる。本開示の実施例の画像データの処理方法は、画像データに基づいて密で正確な画素高深比を得、さらに３Ｄシーンモデリングを補助することができる。

【0039】

図２は本開示の一実施例におけるステップＳ１のフローチャートである。図２に示すように、本実施例では、ステップＳ１は、ステップＳ１－１～ステップＳ１－４を含む。

【0040】

Ｓ１－１において、第１の画像特徴及び第２の画像特徴を融合し、第３の画像特徴を得る。

【0041】

図３は本開示の一例における第１のニューラルネットワークの動作原理図である。図３に示すように、本例では、特徴抽出ネットワークは第１のニューラルネットワークに属する。特徴抽出ネットワークは、第１の画像特徴及び第２の画像特徴を抽出した後、第１の画像特徴及び第２の画像特徴を特徴融合モジュールに入力して融合する。ここで、特徴融合モジュールは第１の画像特徴及び第２の画像特徴をチャネル次元数に従って重ね合わせることにより、融合画像特徴を得てもよい。例えば、第１の画像特徴の次元数がｎ＊ｈ’＊ｗ’で、且つ第２の画像特徴の次元数がｎ＊ｈ’＊ｗ’である場合、第３の画像特徴の次元数は２ｎ＊ｈ’＊ｗ’である。

【0042】

Ｓ１－２において、第１のニューラルネットワークにおける路面サブネットワークを用いて第３の画像特徴を処理し、路面法線情報を決定する。

【0043】

引き続き図３を参照すると、特徴融合モジュールは第３の画像特徴を路面サブネットワークに入力し、路面サブネットワークによって第３の画像特徴に基づいて予測し、路面法線情報を出力する。ここで、路面サブネットワークは、入力された、路面特徴を有する画像特徴に基づいて予測して路面法線情報を出力するネットワークモデルである。本実施例では、路面法線情報は、Ｎ＝［ｎ_ｘ，ｎ_ｙ，ｎ_ｚ］の路面方程式で示されてもよい。ここで、ｎ_ｘ，ｎ_ｙ，ｎ_ｚは路面座標系における三次元座標である。

【0044】

Ｓ１－３において、第１のニューラルネットワークにおける姿勢サブネットワークを用いて第３の画像特徴を処理し、第１の画像と第２の画像との間のカメラ相対姿勢を決定する。

【0045】

引き続き図３を参照すると、特徴融合モジュールは第３の画像特徴を姿勢サブネットワークに入力し、姿勢サブネットワークによって第３の画像特徴に基づいて予測し、カメラ相対姿勢を出力する。ここで、姿勢サブネットワークは、入力画像特徴に基づいて予測してカメラ相対姿勢を出力するネットワークモデルである。本実施例では、カメラ相対姿勢はカメラ相対回転行列及び相対平行移動行列を含む。

【0046】

Ｓ１－４において、路面法線情報、カメラ相対姿勢及び予め記憶されている路面に対するカメラの高さに基づいて、ホモグラフィ行列を決定する。

【0047】

引き続き図３を参照すると、第１のニューラルネットワークは、路面に対するカメラの高さ、路面法線情報及びカメラ相対姿勢に基づいて、上記のホモグラフィ行列の計算方式でホモグラフィ行列を決定する。なお、第１のニューラルネットワークにより路面に対するカメラの高さ、路面法線情報及びカメラ相対姿勢を出力し、さらに第１のニューラルネットワーク以外のほかのモジュールによりホモグラフィ行列を決定してもよい。

【0048】

本実施例では、第１のニューラルネットワークにおける路面サブネットワーク及び姿勢サブネットワークを用いて、融合後の第３の画像特徴をそれぞれ処理し、例えば、路面サブネットワーク及び姿勢サブネットワークを用いて、第１の画像特徴と第２の画像特徴をチャネル次元数上で重ね合わせることにより得られた第３の画像特徴を処理し、路面法線情報及びカメラ相対姿勢を得、路面法線情報、カメラ相対姿勢及び予め記憶されている路面に対するカメラの高さに基づいて、ホモグラフィ行列を正確に決定することができる。

【0049】

図４は本開示の別の実施例における画像データの処理方法のフローチャートである。図４に示すように、本実施例では、ステップＳ４の後、ステップＳ５及びステップＳ６をさらに含む。

【0050】

Ｓ５において、第２の画像の収集時間内で、第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて、ターゲットオブジェクトの第２の画素高深比を決定する。

【0051】

具体的には、車両には車載レーダーが設けられる。第２の画像の収集時刻はｔ_２であり、車載レーダーによりｔ_２時刻の車両近傍のレーダースキャンデータを取得する。第２の画像及び車両近傍のレーダースキャンデータを分析することにより、分析結果に基づいて車両近傍のレーダースキャンデータからターゲットオブジェクトに対応するレーダースキャンデータを抽出することができる。抽出されたレーダースキャンデータに基づいて車両に対するターゲットオブジェクトの位置及びターゲットオブジェクトの体積を正確に得ることができ、さらにｔ_２時刻の画素高深比の真値を生成し、第２の画素高深比と記す。

【0052】

Ｓ６において、第１の画素高深比と第２の画素高深比との差に基づいて、第２のニューラルネットワークに対してパラメーター調整を行う。

【0053】

具体的には、ｔ_２時刻の画素高深比の真値（すなわち第２の画素高深比）と画素高深比の予測値（すなわち第１の画素高深比）との間の差に基づいて、バックプロパゲーションによって第２のニューラルネットワークに対してパラメーター調整を行う。

【0054】

本実施例では、同一時刻でレーダーデータにより決定された画素高深比の真値を第２のニューラルネットワークの監視情報とすることにより、画素高深比の真値と予測値との間の差によって、第２のニューラルネットワークのパラメーターを合理的に調整し、第２のニューラルネットワークの予測精度を向上させる。

【0055】

図５は本開示のさらに別の実施例におけるステップＳ４の後のフローチャートである。図５に示すように、本実施例では、ステップＳ４の後、ステップＳ５′～ステップＳ７′をさらに含む。

【0056】

Ｓ５′において、ホモグラフィ行列を用いて第１の画像に対して画像再構成を行い、第１の再構成画像を得る。

【0057】

具体的には、ホモグラフィ行列を用いて、第１の画像に対して逆マッピングにより画像再構成を行い、第１の再構成画像を得る。

【0058】

Ｓ６′において、第１の再構成画像と第２の画像との間の同一領域の路面要素における画素シフトに基づいて、ホモグラフィ行列の行列パラメーターを調整する。

【0059】

具体的には、ホモグラフィ行列の行列パラメーターが最適に達している場合、第１の再構成画像と第２の画像が道路部分で合わせられ、ホモグラフィ行列の行列パラメーターが最適に達していない場合、第１の再構成画像と第２の画像は道路部分で画素シフトが存在する。

【0060】

第１の再構成画像と第２の画像との間の同一領域の路面要素における画素シフトに基づいて、ホモグラフィ行列の行列パラメーターを合理的に調整することができる。

【0061】

Ｓ７′において、行列パラメーターが調整されたホモグラフィ行列に基づいて、路面サブネットワーク及び姿勢サブネットワークに対してパラメーター調整を行う。

【0062】

具体的には、ホモグラフィ行列は、路面サブネットワークにより予測された路面法線情報、姿勢サブネットワークにより予測されたカメラ相対姿勢、及び予め記憶されている路面に対するカメラの高さに基づいて決定される。そのため、行列パラメーターが調整されたホモグラフィ行列に基づいて、バックプロパゲーションにより路面サブネットワーク及び姿勢サブネットワークのパラメーターを合理的に調整する。

【0063】

本実施例では、第１の再構成画像と第２の画像との間の同一領域の路面要素における画素シフトにより、ホモグラフィ行列の行列パラメーターを合理的に調整することができ、行列パラメーターが調整されたホモグラフィ行列を監督情報として、路面サブネットワーク及び姿勢サブネットワークのパラメーターを調整することで、路面サブネットワーク及び姿勢サブネットワークの予測正確性を向上させることができる。

【0064】

図６は本開示のさらに別の実施例におけるステップＳ４の後のフローチャートである。図６に示すように、本実施例では、ステップＳ４の後、ステップＳ５″及びステップＳ６″をさらに含む。

【0065】

Ｓ５″において、第２の画像の収集時間内で、第１の画素高深比、第２の画像の路面マスク及び第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて全体損失値を決定する。

【0066】

具体的には、本実施例は、第１のニューラルネットワーク及び第２のニューラルネットワークを一体とする。ここで、第１の画素高深比及び第２の画像の路面マスクに基づいて、光度損失関数により全体の光度損失値を計算することができる。第２の画像の収集時間内で第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて、車両に対するターゲット画像の位置及びターゲットオブジェクトの体積を得ることができ、さらに、全体の監督損失値の決定を補助することができる。全体の光度損失値及び監督損失値に基づいて全体損失値を決定することができる。

【0067】

Ｓ６″において、全体損失値に基づいて、第１のニューラルネットワーク及び第２のニューラルネットワークに対してパラメーター調整を行う。

【0068】

本実施例では、第１のニューラルネットワーク及び第２のニューラルネットワークを全体として全体損失値を計算することにより、第１のニューラルネットワーク及び第２のニューラルネットワークのパラメーターに対して合理的な調整を行い、第１のニューラルネットワークと第２のニューラルネットワークの予測正確率を向上させることができる。

【0069】

図７は本開示の一実施例におけるステップＳ５″のフローチャートである。図７に示すように、本実施例では、ステップＳ５″はステップＳ５″－１～ステップＳ５″－７を含む。

【0070】

Ｓ５″－１において、第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて、ターゲットオブジェクトの第２の画素高深比を決定する。

【0071】

具体的には、車両には車載レーダーが設けられる。第２の画像の収集時刻はｔ_２であり、車載レーダーによりｔ_２時刻の車両近傍のレーダースキャンデータを取得する。第２の画像及び車両近傍のレーダースキャンデータを分析することにより、分析結果に基づいて車両近傍のレーダースキャンデータからターゲットオブジェクトに対応するレーダースキャンデータを抽出する。抽出されたレーダースキャンデータに基づいて車両に対するターゲットオブジェクトの位置及びターゲットオブジェクトの体積を正確に得ることができ、さらにｔ_２時刻の画素高深比の真値を生成し、第２の画素高深比と記すことができる。

【0072】

Ｓ５″－２において、第１の画素高深比及び第２の画素高深比に基づいて、第１の損失値を決定する。ここで、第１の画素高深比と第２の画素高深比の間の減算を行って第１の損失値を得る。

【0073】

Ｓ５″－３において、ホモグラフィ行列を用いて第１の画像に対して画像再構成を行い、第１の再構成画像を得る。

【0074】

具体的には、ホモグラフィ行列を用いて、第１の画像に対して逆マッピングにより画像再構成を行い、第１の再構成画像を得る。

【0075】

Ｓ５″－４において、第１の画素高深比に基づいて、第１の画像領域と第２の画像領域との間の画素シフトを決定する。ここで、第１の画像領域は第１の再構成画像において路面画像領域を除いた残りの画像領域であり、第２の画像領域は第２の画像において路面画像領域を除いた残りの画像領域である。

【0076】

具体的には、ホモグラフィ行列に基づいて第１の再構成画像と第２の画像の、路面画像領域での基本的な合わせ（ホモグラフィ行列の行列パラメーターが最適に達していない場合、第１の再構成画像と第２の画像は路面部分で画素シフトが依然と存在する）を実現し、しかし、第１の再構成画像と第２の画像の、路面画像領域以外の残りの画像領域とは合わせられていない。第１の再構成画像と第２の画像においての路面画像領域以外の残りの画像領域を画素毎に比較し、第１の画像領域と第２の画像領域との間の画素シフトを得る。

【0077】

Ｓ５″－５において、第１の画像領域と第２の画像領域との間の画素シフトに基づいて、第１の再構成画像の画素位置を調整し、第２の再構成画像を得る。

【0078】

具体的には、第１の画像領域と第２の画像領域との間の画素シフトに基づいて、第１の再構成画像の画素位置を調整することにより、第２の再構成画像と第２の画像に路面画像領域における画素の合わせを実現させることができる。第１の再構成画像と第２の画像との路面画像領域における基本的な合わせが既に実現されたことに合わせて、第２の再構成画像と第２の画像との全画像における基本的な合わせを実現する。

【0079】

Ｓ５″－６において、第２の再構成画像、第２の画像及び第２の画像の路面マスクに基づいて、第２の損失値を決定する。

【0080】

具体的には、第２の再構成画像、第２の画像及び第２の画像の路面マスクに基づいて第２の再構成画像と第２の画像との間の光度損失を第２の損失値として計算することができる。

【0081】

Ｓ５″－７において、第１の損失値及び第２の損失値に基づいて、全体損失値を決定する。ここで、第１の損失値と第２の損失値を加算して全体損失値を得てもよい。

【0082】

本実施例では、第２の画像の収集時間内で、第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータ、第１の画素高深比及び第２の画像の路面マスクに基づいて、全体損失値を合理的に決定することができ、それにより、全体損失値に基づいて第１のニューラルネットワーク及び第２のニューラルネットワークのパラメーターを合理的に調整し、さらに第１のニューラルネットワークと第２のニューラルネットワークの予測精度を向上させる。

【0083】

図８は本開示の一実施例におけるステップＳ５″－６のフローチャートである。図８に示すように、本実施例では、ステップＳ５″－６は、ステップＳ５″－６－１～ステップＳ５″－６－３を含む。

【0084】

Ｓ５″－６－１において、第２の再構成画像と第２の画像との間の全画像光度誤差を決定する。

【0085】

選択可能な一態様では、光度誤差関数に基づいて、以下の式で全画像光度誤差を決定する。

【数2】

【数3】

ここで、Ｌ_ｐは光度損失係数を表し、αは重みを表し、且つαは定数であり、Ｉｔは第２の画像を表し、Ｉｓｗは第２の再構成画像を表し、ＳＳＩＭ（Ｉｔ，Ｉｓｗ）は第２の画像と第２の再構成画像との間の構造類似パラメーターを表し、Ｌ＿ｐｈｏｔｏ１は全画像光度誤差を表す。

【0086】

Ｓ５″－６－２において、全画像光度誤差及び第２の画像の路面マスクに基づいて、第２の再構成画像と第２の画像との路面画像領域における光度誤差を決定する。

【0087】

選択可能な一態様では、以下の式で第２の再構成画像と第２の画像との路面画像領域における光度誤差を決定する。

【数4】

ここで、Ｌ＿ｐｈｏｔｏ２は第２の再構成画像と第２の画像との路面画像領域における光度誤差を表し、ｍａｓｋ＿ｇｒｏｕｎｄは第２の画像の路面マスクを表す。

【0088】

Ｓ５″－６－３において、全画像光度誤差及び第２の再構成画像と第２の画像との路面画像領域における光度誤差に基づいて、第２の損失値を決定する。

【0089】

具体的には、以下の式で第２の損失値を決定する。

【数5】

【0090】

本実施例では、第２の再構成画像、第２の画像及び第２の画像の路面マスクに基づいて、第２の再構成画像と第２の画像との間の第２の損失値を合理的に決定することができ、それにより第２の損失値に基づいて第１のニューラルネットワークと第２のニューラルネットワークのパラメーターを合理的に調整し、さらに第１のニューラルネットワーク及び第２のニューラルネットワークの予測正確率を向上させる。

【0091】

本開示の実施例により提供されるいずれかの画像データの処理方法は、端末機器及びサーバなどを含むがこれらに限らない、データ処理能力を有する任意の適切な機器により実行することができる。又は、本開示の実施例により提供されるいずれかの画像データの処理方法はプロセッサーにより実行することができ、例えば、プロセッサーは、メモリーに記憶されている対応するコマンドを呼び出すことにより、本開示の実施例により提供されるいずれかの画像データの処理方法を実行する。以下、重複する説明を省略する。
例示的な装置

【0092】

図９は本開示の一実施例における画像データの処理装置の構造ブロック図である。図９に示すように、本実施例では、画像データの処理装置は、ホモグラフィ行列決定モジュール１００、マッピング画像特徴決定モジュール２００、融合モジュール３００及び第１の画素高深比決定モジュール４００を含む。

【0093】

そのうち、ホモグラフィ行列決定モジュール１００は、第１のニューラルネットワークを用いて第１の画像及び第２の画像を処理し、ホモグラフィ行列を得るために用いられ、ここで、前記第１の画像は第１の時刻で撮影され、前記第２の画像は第２の時刻で撮影され、且つ前記第１の画像及び前記第２の画像は同一領域の路面要素を有し、マッピング画像特徴決定モジュール２００は、前記ホモグラフィ行列に基づいて、第１の画像特徴のマッピング画像特徴を決定するために用いられ、ここで、前記第１の画像特徴は前記第１の画像に基づいて抽出された特徴であり、融合モジュール３００は、前記マッピング画像特徴及び前記第２の画像特徴を融合し、融合画像特徴を得るために用いられ、ここで、前記第２の画像特徴は前記第２の画像に基づいて抽出された特徴であり、第１の画素高深比決定モジュール４００は、第２のニューラルネットワークを用いて前記融合画像特徴を処理し、前記第２の画像の第１の画素高深比を得るために用いられる。

【0094】

図１０は本開示の一実施例におけるホモグラフィ行列決定モジュール１００の構造ブロック図である。図１０に示すように、本実施例では、ホモグラフィ行列決定モジュール１００は、
前記第１の画像特徴及び前記第２の画像特徴を融合し、第３の画像特徴を得るために用いられる融合ユニット１０１と、
前記第１のニューラルネットワークにおける路面サブネットワークを用いて前記第３の画像特徴を処理し、路面法線情報を決定するために用いられる路面法線情報決定ユニット１０２と、
前記第１のニューラルネットワークにおける姿勢サブネットワークを用いて前記第３の画像特徴を処理し、前記第１の画像と前記第２の画像との間のカメラ相対姿勢を決定するために用いられるカメラ相対姿勢決定ユニット１０３と、
前記路面法線情報、前記カメラ相対姿勢及び予め記憶されている路面に対するカメラの高さに基づいて、前記ホモグラフィ行列を決定するために用いられるホモグラフィ行列決定ユニット１０４と、を含む。

【0095】

図１１は本開示の別の実施例における画像データの処理装置の構造ブロック図である。図１１に示すように、本実施例では、画像データの処理装置はさらに、
前記第２の画像の収集時間内で、前記第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて、前記ターゲットオブジェクトの第２の画素高深比を決定するために用いられる第２の画素高深比決定モジュール５００と、
前記第１の画素高深比と前記第２の画素高深比との差に基づいて、前記第２のニューラルネットワークに対してパラメーター調整を行うために用いられる第１のパラメーター調整モジュール６００と、を含む。

【0096】

図１２は本開示のさらに別の実施例における画像データの処理装置の構造ブロック図である。図１２に示すように、本実施例では、画像データの処理装置はさらに、
前記ホモグラフィ行列を用いて前記第１の画像に対して画像再構成を行い、第１の再構成画像を得るために用いられる画像再構成モジュール７００と、
前記第１の再構成画像と前記第２の画像との間の、前記同一領域の路面要素における画素シフトに基づいて、前記ホモグラフィ行列の行列パラメーターを調整するために用いられるホモグラフィ行列パラメーター調整モジュール８００と、
行列パラメーターが調整されたホモグラフィ行列に基づいて、前記路面サブネットワーク及び前記姿勢サブネットワークに対してパラメーター調整を行うために用いられる第１のネットワークパラメーター調整モジュール９００と、を含む。

【0097】

図１３は本開示のさらに別の実施例における画像データの処理装置の構造ブロック図である。図１３に示すように、本実施例では、画像データの処理装置はさらに、
前記第２の画像の収集時間内で、前記第１の画素高深比、前記第２の画像の路面マスク及び前記第２の画像におけるターゲットオブジェクトに対応するレーダースキャンデータに基づいて全体損失値を決定するために用いられる全体損失値決定モジュール１０００と、
前記全体損失値に基づいて、前記第１のニューラルネットワーク及び前記第２のニューラルネットワークに対してパラメーター調整を行うために用いられる第２のネットワークパラメーター調整モジュール１１００と、を含む。

【0098】

図１４は本開示の一実施例における全体損失値決定モジュール１０００の構造ブロック図である。図１４に示すように、本実施例では、全体損失値決定モジュール１０００は、
前記レーダースキャンデータに基づいて前記ターゲットオブジェクトの第２の画素高深比を決定するために用いられる第２の画素高深比決定ユニット１００１と、
前記第１の画素高深比及び前記第２の画素高深比に基づいて、第１の損失値を決定するために用いられる第１の損失値決定ユニット１００２と、
前記ホモグラフィ行列を用いて前記第１の画像に対して画像再構成を行い、第１の再構成画像を得るために用いられる第１の再構成画像ユニット１００３と、
前記第１の画素高深比に基づいて、第１の画像領域と第２の画像領域との間の画素シフトを決定するために用いられる画素シフト決定ユニット１００４であって、前記第１の画像領域は前記第１の再構成画像における、路面画像領域を除いた残りの画像領域であり、前記第２の画像領域は前記第２の画像における、路面画像領域を除いた残りの画像領域である画素シフト決定ユニット１００４と、
前記画素シフトに基づいて前記第１の再構成画像の画素位置を調整し、第２の再構成画像を得るために用いられる第２の再構成画像ユニット１００５と、
前記第２の再構成画像、前記第２の画像及び前記第２の画像の路面マスクに基づいて、第２の損失値を決定するために用いられる第２の損失値決定ユニット１００６と、
前記第１の損失値及び前記第２の損失値に基づいて前記全体損失値を決定するために用いられる全体損失値決定ユニット１００７と、を含む。

【0099】

本開示の一実施例では、第２の損失値決定ユニット１００６は具体的には、前記第２の再構成画像と前記第２の画像との間の全画像光度誤差を決定するために用いられ、第２の損失値決定ユニット１００６はさらに、前記全画像光度誤差及び前記第２の画像の路面マスクに基づいて、前記第２の再構成画像と前記第２の画像との路面画像領域における光度誤差を決定するために用いられ、第２の損失値決定ユニット１００６はさらに前記全画像光度誤差及び前記第２の再構成画像と前記第２の画像との路面画像領域における光度誤差に基づいて、前記第２の損失値を決定するために用いられる。

【0100】

なお、本開示の実施例の画像データの処理装置の具体的な実施形態は本開示の実施例の画像データの処理方法の具体的な実施形態と類似しており、具体的には、画像データの処理方法の部分を参照し、冗長性を減らすために、重複する説明を省略する。
例示的な電子機器

【0101】

以下、図１５を参照して本開示の一実施例により提供される電子機器について説明する。図１５に示すように、電子機器は、１つ又は複数のプロセッサー１０と、メモリー２０と、を含む。

【0102】

プロセッサー１０は、中央処理ユニット（ＣＰＵ）又はデータ処理能力及び／又はコマンド実行能力を有する他の形式の処理ユニットであってもよく、所望の機能を実行するように電子機器内の他の構成要素を制御することができる。

【0103】

メモリー２０は、揮発性メモリー及び／又は不揮発性メモリーなどの様々な形態のコンピュータ可読記憶媒体を含む、１つ又は複数のコンピュータプログラム製品を含んでもよい。前記揮発性メモリーは、ランダムアクセスメモリー（ＲＡＭ）及び／又はキャッシュメモリー（ｃａｃｈｅ）などを含んでもよい。前記不揮発性メモリーは、例えば、リードオンリメモリー（ＲＯＭ）、ハードディスク、フラッシュメモリーなどを含んでもよい。前記コンピュータ可読記憶媒体には１つ又は複数のコンピュータプログラムコマンドが記憶されてもよく、プロセッサー１０は前記プログラムコマンドを実行することにより、上述した本開示の各実施例における画像データの処理方法及び／又はほかの期待される機能を実現することができる。また、コンピュータ可読記憶媒体には、入力信号、信号成分、ノイズ成分等の各種コンテンツが記憶されていてもよい。

【0104】

一例では、電子機器はさらに、バスシステム及び／又は他の形態の接続機構（図示せず）を介して相互に接続されている入力装置３０及び出力装置４０を含んでもよい。入力装置３０はキーボードやマウスなどであってもよい。出力装置４０は、例えば、ディスプレイ、スピーカ、プリンタ、並びに通信ネットワーク及びそれに接続される遠隔出力機器などを含んでもよい。

【0105】

もちろん、図１５においては、説明の簡略化のため、電子機器内の本開示に関連する構成要素の一部のみを示しており、バスや入力／出力インタフェースなどの構成要素は省略している。このほか、具体的な適用状況に応じて、電子機器はさらに任意の適切な他の構成要素を含んでもよい。
例示的なコンピュータ可読記憶媒体

【0106】

コンピュータ可読記憶媒体は、１つ又は複数の読み取り可能な媒体の任意の組み合わせを採用することができる。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であってもよい。読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、又は半導体のシステム、装置、若しくはデバイス、又はそれらの任意の組み合わせを含んでもよいが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）としては、１つ以上のワイヤを有する電気接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリー（ＲＡＭ）、リードオンリメモリー（ＲＯＭ）、消去可能プログラマブルリードオンリメモリー（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバ、ポータブルコンパクトディスクリードオンリメモリー（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせが挙げられる。

【0107】

以上、具体的な実施例に合わせて本開示の基本原理について説明したが、本開示で言及された利点、優勢、効果などは、限定的なものではなく例示に過ぎず、本開示の様々な実施例がそれらの利点、優勢、効果などを必ず備えていると考えるべきではないことを指摘すべきである。また、上記開示の具体的な詳細は、例示する作用及び理解を容易にする作用に過ぎず、限定的なものではなく、上記詳細は、本開示が必ず上記具体的な詳細で実現されることを限定しない。

【0108】

本明細書における様々な実施例は、逐次的な方法で説明され、各実施例は、他の実施例との相違点を中心に説明し、各実施例の間の同一又は類似の部分は、相互に参照すればよい。システムの実施例については、基本的に方法の実施例に対応するため、説明は比較的単純であるが、関連する箇所は方法の実施例の説明の一部を参照すればよい。

【0109】

本開示に係るデバイス、装置、機器、システムのブロック図は、単なる例示的な例に過ぎず、必ずブロック図に示される方式で接続、配置、構成を行うことを要求又は暗示することを意図していない。当業者であればわかるように、これらのデバイス、装置、機器、システムを任意の方法で接続、配置、構成してもよい。「含む」、「含有する」、「有する」などの単語は開放語彙であり、「…含むが、…に限定されない」ことを意味し、且つそれと互換的に使用されてもよい。本明細書で使用される「又は」及び「及び」という用語は、「及び／又は」という用語を指し、文脈が明らかにそうでないことを示さない限り、それらと互換的に使用されてもよい。ここで使用される言葉「例えば」は、「例えば、…が、…に限定されない」という言葉を指し、且つそれと互換的に使用されてもよい。

【0110】

本開示の方法及び装置は、多くの方法で実現されてもよい。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって実現されてもよい。前記方法のステップの上述の順序は、単に説明のためのものであり、本開示の方法のステップは、特に明記されない限り、上記で具体的に説明された順序に限定されない。また、いくつかの実施例では、本開示は、記録媒体に記録されたプログラムとしても具現化され、これらのプログラムは、本開示による方法を実現するための機械読み取り可能なコマンドを含む。したがって、本開示は、本開示による方法を実行するためのプログラムを記憶した記録媒体も含む。

【0111】

また、本開示の装置、機器及び方法において、各構成要素又は各ステップは、分解及び／又は再結合が可能であることに留意されたい。これらの分解及び／又は再結合は、本開示の等価解決手段と見なされるべきである。

【0112】

開示された態様についての上記の説明は、当業者が本開示を作成又は使用することを可能にするために提供される。これらの態様に対する様々な修正は、当業者には非常に明らかであり、本明細書で定義される一般原理は、本開示の範囲から逸脱することなく他の態様に適用されてもよい。したがって、本開示は、本明細書に示された態様に限定されることを意図しておらず、本明細書に開示された原理及び新規の特徴と一致する最も広い範囲に従う。

【0113】

上記の説明は、例示及び説明の目的で提示されている。さらに、この説明は、本開示の実施例を本明細書に開示された形態に限定することを意図していない。以上、複数の例示的な態様及び実施例を説明したが、当業者であれば、それらの特定の変形、修正、変更、追加、及び部分的組み合わせを認識するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】