特表 2022-522548 画像関連付け方法、システム及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-20

(54)【発明の名称】画像関連付け方法、システム及び装置

(51)【国際特許分類】

   G06T 7/30 20170101AFI20220413BHJP

   G06T 7/10 20170101ALI20220413BHJP

   G06T 7/60 20170101ALI20220413BHJP

【ＦＩ】

G06T7/30

G06T7/10

G06T7/60 180B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2020545641

(86)(22)【出願日】2020-02-25

(85)【翻訳文提出日】2020-09-01

(86)【国際出願番号】 IB2020051580

(87)【国際公開番号】W WO2021130545

(87)【国際公開日】2021-07-01

(31)【優先権主張番号】10201913017T

(32)【優先日】2019-12-23

(33)【優先権主張国・地域又は機関】SG

(81)【指定国・地域】

(71)【出願人】

【識別番号】520238082

【氏名又は名称】商▲湯▼国▲際▼私人有限公司

【氏名又は名称原語表記】ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＰＴＥ． ＬＴＤ．

【住所又は居所原語表記】７５００Ａ Ｂｅａｃｈ Ｒｏａｄ， ＃０５－３１８，Ｔｈｅ Ｐｌａｚａ １９９５９１ Ｓｉｎｇａｐｏｒｅ Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】蔡 中昂

(72)【発明者】

【氏名】▲呉▼ 金易

(72)【発明者】

【氏名】▲趙▼ 海宇

(72)【発明者】

【氏名】伊 ▲帥▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA05

5L096DA02

5L096EA14

5L096FA16

5L096FA66

5L096FA69

5L096FA72

5L096GA51

(57)【要約】

本発明の実施例は、画像関連付け方法、システム及び装置を提供する。まず、第１画像収集機器で収集された第１画像と第２画像収集機器で収集された第２画像を取得する。第１画像は、第１画像収集機器が第１視点において１つのシナリオを収集して取得したものであり、第２画像は、第２画像収集機器が第１視点と異なる第２視点において前記シナリオを同期収集して取得したものである。次に、第１画像収集機器の、第２画像の所在する平面におけるエピポールを特定し、第１境界ボックス内の第１ターゲットポイントの、第２画像における投影点を特定する。第１境界ボックスは、第１画像における１つのターゲットの境界ボックスである。最後に、エピポール及び投影点に基づいて、第１境界ボックスの第２画像における関連境界ボックスを特定する。前記関連境界ボックスにおけるターゲットおよび前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットである。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像関連付け方法であって、
第１画像及び第２画像を取得するステップであって、前記第１画像は、第１画像収集機器が第１視点において１つのシナリオを収集して取得したものであり、前記第２画像は、第２画像収集機器が第２視点において前記シナリオを同期収集して取得したものであり、前記第１視点と前記第２視点が異なるステップと、
前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定するステップであって、前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表すステップと、
第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定するステップであって、前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスであるテップと、
前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するステップと、を含み、
前記関連境界ボックスにおけるターゲット及び前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットであることを特徴とする画像関連付け方法。

【請求項2】

前記第１画像には、複数のターゲットが含まれ、
第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定するステップは、
前記複数のターゲットに対応する第１境界ボックスを前記第１画像において特定し、各前記第１境界ボックスは、第１ターゲットポイントを含むことと、
各前記第１境界ボックスの前記第１画像における位置の下から上に向かって順に、各前記第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を順次特定することと、を含み、
前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するステップは、
各前記第１境界ボックスの前記第１画像における位置の下から上に向かって順に、順次前記エピポール及び各前記投影点に基づいて、各前記投影点に対応する第１境界ボックスの、前記第２画像における関連境界ボックスを特定することを含むことを特徴とする請求項１に記載の画像関連付け方法。

【請求項3】

前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定するステップは、
予め特定された基礎行列に基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定することを含み、
前記基礎行列は、前記第１画像の画素座標系と前記第２画像の画素座標系との間の変換行列であることを特徴とする請求項１に記載の画像関連付け方法。

【請求項4】

予め特定された基礎行列に基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定することは、
前記基礎行列の各固有値と前記各固有値に対応する固有ベクトルとを特定することと、
最小の固有値に対応する固有ベクトルに基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定することと、を含むことを特徴とする請求項３に記載の画像関連付け方法。

【請求項5】

第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定するステップは、
予め特定されたホモグラフィ行列に基づいて、前記第１ターゲットポイントの、前記第２画像における投影点を特定することを含み、
前記ホモグラフィ行列は、第１画像における共通平面から前記第２画像における前記共通平面への変換行列であり、前記共通平面は、前記第１ターゲットポイントが所在し、且つ第２画像収集機器の視野内に出現する平面であることを特徴とする請求項１に記載の画像関連付け方法。

【請求項6】

前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するステップは、
各第２境界ボックスにおける第２ターゲットポイントから前記エピポールと前記投影点とで定められた直線までの垂線の足と距離とを特定し、１つの第２境界ボックスは、前記第２画像における１つのターゲットの境界ボックスであり、１つの第２境界ボックスにおける第２ターゲットポイントと当該第２境界ボックスとの相対位置関係は、前記第１ターゲットポイントと前記第１ターゲットポイントが所在する第１境界ボックスとの相対位置関係と同じであることと、
距離が所定範囲内であり、且つ垂線の足が前記エピポールと前記投影点とで定められた線分に位置する第２ターゲットポイントの所属する第２境界ボックスを、候補境界ボックスとして特定することと、
前記候補境界ボックスを候補境界ボックスグループに入れることと、
前記第１境界ボックスの、前記第２画像における関連境界ボックスを前記候補境界ボックスグループから特定することと、を含むことを特徴とする請求項１に記載の画像関連付け方法。

【請求項7】

前記第１境界ボックスの、前記第２画像における関連境界ボックスを前記候補境界ボックスグループから特定することは、
垂線の足と前記投影点との距離が２番目に近い第２ターゲットポイントが所属する候補境界ボックスを、前記関連境界ボックスとして特定することを含むことを特徴とする請求項６に記載の画像関連付け方法。

【請求項8】

第１取得モジュールと第１特定モジュールと第２特定モジュールと関連付けモジュールとを備える画像関連付け装置であって、
前記第１取得モジュールは、第１画像及び第２画像を取得し、前記第１画像は、第１画像収集機器が第１視点において１つのシナリオを収集して取得したものであり、前記第２画像は、第２画像収集機器が第２視点において前記シナリオを同期収集して取得したものであり、前記第１視点と前記第２視点が異なり、
前記第１特定モジュールは、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定し、前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表し、
前記第２特定モジュールは、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定し、前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスであり、
前記関連付けモジュールは、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定し、
前記関連境界ボックスにおけるターゲット及び前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットであることを特徴とする画像関連付け装置。

【請求項9】

前記第１画像には、複数のターゲットが含まれ、
前記第２特定モジュールは、前記複数のターゲットに対応する第１境界ボックスを前記第１画像において特定し、各前記第１境界ボックスは、第１ターゲットポイントを含み、
前記第２特定モジュールは、各前記第１境界ボックスの前記第１画像における位置の下から上に向かって順に、各前記第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を順次特定し、
前記関連付けモジュールは、
各前記第１境界ボックスの前記第１画像における位置の下から上に向かって順に、順次前記エピポール及び各前記投影点に基づいて、各前記投影点に対応する第１境界ボックスの、前記第２画像における関連境界ボックスを特定することを特徴とする請求項８に記載の画像関連付け装置。

【請求項10】

前記第１特定モジュールは、予め特定された基礎行列に基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定し、
前記基礎行列は、前記第１画像の画素座標系と前記第２画像の画素座標系との間の変換行列であることを特徴とする請求項８に記載の画像関連付け装置。

【請求項11】

前記第１特定モジュールは、
前記基礎行列の各固有値と前記各固有値に対応する固有ベクトルとを特定するための第１特定手段と、
最小の固有値に対応する固有ベクトルに基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定するための第２特定手段と、を備えることを特徴とする請求項１０に記載の画像関連付け装置。

【請求項12】

前記第２特定モジュールは、予め特定されたホモグラフィ行列に基づいて、前記第１ターゲットポイントの、前記第２画像における投影点を特定し、
前記ホモグラフィ行列は、第１画像における共通平面から前記第２画像における前記共通平面への変換行列であり、前記共通平面は、前記第１ターゲットポイントが所在し、且つ第２画像収集機器の視野内に出現する平面であることを特徴とする請求項８に記載の画像関連付け装置。

【請求項13】

前記関連付けモジュールは、第３特定手段と第４特定手段と関連付け手段とを備え、
前記第３特定手段は、各第２境界ボックスにおける第２ターゲットポイントから前記エピポールと前記投影点とで定められた直線までの垂線の足と距離とを特定し、１つの第２境界ボックスは、前記第２画像における１つのターゲットの境界ボックスであり、１つの第２境界ボックスにおける第２ターゲットポイントと当該第２境界ボックスとの相対位置関係は、前記第１ターゲットポイントと前記第１ターゲットポイントが所在する第１境界ボックスとの相対位置関係と同じであり、
前記第４特定手段は、距離が所定範囲内であり、且つ垂線の足が前記エピポールと前記投影点とで定められた線分に位置する第２ターゲットポイントの所属する第２境界ボックスを、候補境界ボックスとして特定し、前記候補境界ボックスを候補境界ボックスグループに入れ、
前記関連付け手段は、前記第１境界ボックスの、前記第２画像における関連境界ボックスを前記候補境界ボックスグループから特定することを特徴とする請求項８に記載の画像関連付け装置。

【請求項14】

前記関連付け手段は、
垂線の足と前記投影点との距離が２番目に近い第２ターゲットポイントが所属する候補境界ボックスを、前記関連境界ボックスとして特定することを特徴とする請求項１３に記載の画像関連付け装置。

【請求項15】

画像関連付けシステムであって、
第１視点において１つのシナリオを収集して第１画像を取得するための第１画像収集機器と、
前記第１視点とは異なる第２視点において前記シナリオを同期収集して第２画像を取得するための第２画像収集機器と、
第１画像及び第２画像を取得し、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定し、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定し、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するためのプロセッサと、を備え、
前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表し、前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスであり、前記関連境界ボックスにおけるターゲット及び前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットであることを特徴とする画像関連付けシステム。

【請求項16】

コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
当該プログラムがプロセッサによって実行されるときに、請求項１から７の何れか一項に記載の方法は実施されることを特徴とするコンピュータ可読記憶媒体。

【請求項17】

メモリと、プロセッサと、メモリに記憶されてプロセッサで運転可能なコンピュータプログラムとを備えるコンピュータ機器であって、
前記プロセッサは、前記プログラムを実行するときに、請求項１から７の何れか一項に記載の方法を実施することを特徴とするコンピュータ機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータビジョン技術分野に関し、特に画像関連付け方法、システム及び装置に関する。

【背景技術】

【0002】

複数の画像収集機器を含むシステム（例えば、マルチカメラシステム）は、実生活で非常によく見られる。単一の画像収集機器しか有さないシステムよりも、複数の画像収集機器を含むシステムは、視野がより広く、単一画像収集機器では解決できない遮蔽問題を解決することが可能であり、各画像収集機器の情報を融合して物体の完全な情報を得ることができる。しかし、複数の画像収集機器を含むシステムは、検出関連付けの問題に直面している。即ち、ある画像収集機器から収集された画像における物体と、別の画像収集機器から収集された画像における物体とが物理空間における同一の物体であるか否かを判断する必要はある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の実施例は、画像関連付け方法、システム及び装置を提供する。

【課題を解決するための手段】

【0004】

具体的に、本発明は、以下の解決手段を講じる。

【0005】

本発明の実施例の第１態様は、画像関連付け方法を提供する。前記方法は、
第１画像及び第２画像を取得するステップであって、前記第１画像は、第１画像収集機器が第１視点において１つのシナリオを収集して取得したものであり、前記第２画像は、第２画像収集機器が第２視点において前記シナリオを同期収集して取得したものであり、前記第１視点と前記第２視点が異なるステップと、
前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定するステップであって、前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表すステップと、
第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定するステップであって、前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスであるテップと、
前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するステップと、を含み、
前記関連境界ボックスにおけるターゲットおよび前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットである。

【0006】

幾つかの実施例において、前記第１画像には、複数のターゲットが含まれ、
前記第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定するステップは、
前記複数のターゲットに対応する第１境界ボックスを前記第１画像において特定し、各前記第１境界ボックスは、第１ターゲットポイントを含むことと、
各前記第１境界ボックスの前記第１画像における位置の下から上に向かって順に、各前記第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を順次特定することと、を含み、
前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するステップは、
各前記第１境界ボックスの前記第１画像における位置の下から上に向かって順に、順次前記エピポール及び各前記投影点に基づいて、各前記投影点に対応する第１境界ボックスの、前記第２画像における関連境界ボックスを特定することを含む。

【0007】

幾つかの実施例において、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定するステップは、
予め特定された基礎行列に基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定することを含み、
前記基礎行列は、前記第１画像の画素座標系と前記第２画像の画素座標系との間の変換行列である。

【0008】

幾つかの実施例において、予め特定された基礎行列に基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定することは、
前記基礎行列の各固有値と前記各固有値に対応する固有ベクトルとを特定することと、
最小の固有値に対応する固有ベクトルに基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定することと、を含む。

【0009】

幾つかの実施例において、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定するステップは、
予め特定されたホモグラフィ行列に基づいて、前記第１ターゲットポイントの、前記第２画像における投影点を特定することを含み、
前記ホモグラフィ行列は、第１画像における共通平面から前記第２画像における前記共通平面への変換行列であり、前記共通平面は、前記第１ターゲットポイントが所在し、且つ第２画像収集機器の視野内に出現する平面である。

【0010】

幾つかの実施例において、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するステップは、
各第２境界ボックスにおける第２ターゲットポイントから前記エピポールと前記投影点とで定められた直線までの垂線の足と距離とを特定し、１つの第２境界ボックスは、前記第２画像における１つのターゲットの境界ボックスであり、１つの第２境界ボックスにおける第２ターゲットポイントと当該第２境界ボックスとの相対位置関係は、前記第１ターゲットポイントと前記第１ターゲットポイントが所在する第１境界ボックスとの相対位置関係と同じであることと、
距離が所定範囲内であり、且つ垂線の足が前記エピポールと前記投影点とで定められた線分に位置する第２ターゲットポイントの所属する第２境界ボックスを、候補境界ボックスとして特定することと、
前記候補境界ボックスを候補境界ボックスグループに入れることと、
前記第１境界ボックスの、前記第２画像における関連境界ボックスを前記候補境界ボックスグループから特定することと、を含む。

【0011】

幾つかの実施例において、前記第１境界ボックスの、前記第２画像における関連境界ボックスを前記候補境界ボックスグループから特定することは、
垂線の足と前記投影点との距離が２番目に近い第２ターゲットポイントが所属する候補境界ボックスを前記関連境界ボックスとして特定することを含む。

【0012】

本発明の実施例の第２態様は、画像関連付け装置を提供する。前記装置は、第１取得モジュールと第１特定モジュールと第２特定モジュールと関連付けモジュールとを備える。
前記第１取得モジュールは、第１画像及び第２画像を取得し、前記第１画像は、第１画像収集機器が第１視点において１つのシナリオを収集して取得したものであり、前記第２画像は、第２画像収集機器が第２視点において前記シナリオを同期収集して取得したものであり、前記第１視点と前記第２視点が異なり、
前記第１特定モジュールは、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定し、前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表し、
前記第２特定モジュールは、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定し、前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスであり、
前記関連付けモジュールは、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定し、
前記関連境界ボックスにおけるターゲットおよび前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットである。

【0013】

幾つかの実施例において、前記第１画像には、複数のターゲットが含まれ、
前記第２特定モジュールは、前記複数のターゲットに対応する第１境界ボックスを前記第１画像において特定し、各前記第１境界ボックスは、第１ターゲットポイントを含み、
前記第２特定モジュールは、各前記第１境界ボックスの前記第１画像における位置の下から上に向かって順に、各前記第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を順次特定し、
前記関連付けモジュールは、
各前記第１境界ボックスの前記第１画像における位置の下から上に向かって順に、順次前記エピポール及び各前記投影点に基づいて、各前記投影点に対応する第１境界ボックスの、前記第２画像における関連境界ボックスを特定する。

【0014】

幾つかの実施例において、前記第１特定モジュールは、予め特定された基礎行列に基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定し、前記基礎行列は、前記第１画像の画素座標系と前記第２画像の画素座標系との間の変換行列である。

【0015】

幾つかの実施例において、前記第１特定モジュールは、前記基礎行列の各固有値と前記各固有値に対応する固有ベクトルとを特定するための第１特定手段と、最小の固有値に対応する固有ベクトルに基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定するための第２特定手段と、を備える。

【0016】

幾つかの実施例において、前記第２特定モジュールは、予め特定されたホモグラフィ行列に基づいて、前記第１ターゲットポイントの、前記第２画像における投影点を特定し、前記ホモグラフィ行列は、第１画像における共通平面から前記第２画像における前記共通平面への変換行列であり、前記共通平面は、前記第１ターゲットポイントが所在し、且つ第２画像収集機器の視野内に出現する平面である。

【0017】

幾つかの実施例において、前記関連付けモジュールは、第３特定手段と第４特定手段と関連付け手段とを備え、
前記第３特定手段は、各第２境界ボックスにおける第２ターゲットポイントから前記エピポールと前記投影点とで定められた直線までの垂線の足と距離とを特定し、１つの第２境界ボックスは、前記第２画像における１つのターゲットの境界ボックスであり、１つの第２境界ボックスにおける第２ターゲットポイントと当該第２境界ボックスとの相対位置関係は、前記第１ターゲットポイントと前記第１ターゲットポイントが所在する第１境界ボックスとの相対位置関係と同じであり、
前記第４特定手段は、距離が所定範囲内であり、且つ垂線の足が前記エピポールと前記投影点とで定められた線分に位置する第２ターゲットポイントの所属する第２境界ボックスを、候補境界ボックスとして特定し、前記候補境界ボックスを候補境界ボックスグループに入れ、
前記関連付け手段は、前記第１境界ボックスの、前記第２画像における関連境界ボックスを前記候補境界ボックスグループから特定する。

【0018】

幾つかの実施例において、前記関連付け手段は、垂線の足と前記投影点との距離が２番目に近い第２ターゲットポイントが所属する候補境界ボックスを前記関連境界ボックスとして特定する。

【0019】

本発明の実施例の第３態様は、画像関連付けシステムを提供する。当該画像関連付けシステムは、
第１視点において１つのシナリオを収集して第１画像を取得するための第１画像収集機器と、
前記第１視点とは異なる第２視点において前記シナリオを同期収集して第２画像を取得するための第２画像収集機器と、
第１画像及び第２画像を取得し、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定し、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定し、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するためのプロセッサと、を備え、
前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表し、前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスであり、前記関連境界ボックスにおけるターゲット及び前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットである。

【0020】

本発明の実施例の第４態様は、コンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、当該プログラムがプロセッサによって実行されるときに、何れかの実施例に記載の方法は実施される。

【0021】

本発明の実施例の第５態様は、コンピュータ機器を提供する。当該コンピュータ機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサで運転可能なコンピュータプログラムとを備え、前記プロセッサは、前記プログラムを実行するときに、何れかの実施例に記載の方法を実施する。

【発明の効果】

【0022】

本発明の実施例では、まず、第１画像収集機器で収集された第１画像と第２画像収集機器で収集された第２画像とを取得する。前記第１画像は、第１画像収集機器が第１視点において１つのシナリオを収集して取得したものであり、前記第２画像は、第２画像収集機器が第２視点において前記シナリオを同期収集して取得したものであり、前記第１視点と前記第２視点は、異なる。次に、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定し、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定する。前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表す。前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスである。最後に、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定する。前記関連境界ボックスにおけるターゲットと前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットである。当該方法は、従来の３次元関連アルゴリズムよりも、単眼深度推定手法を用いて距離を推定することを回避することにより、距離推定の不正確による関連付けの不正確を回避し、画像関連付けの信頼性と精確度を向上させ、各種の複数の画像収集機器を含むシステムに適用可能であり、応用範囲が広くなる。

【0023】

上述した一般的な記述と後文の詳細の記述が単に例示的なものと解釈的なものであり、本発明を制限するためのものではないことは、理解されるべきである。

【図面の簡単な説明】

【0024】

ここでの図面は、明細書に組み込まれて明細書の一部を構成し、本発明に合致する実施例を示しつつ、明細書の記載とともに本発明の解決手段を解釈するために用いられる。

【図1】本発明の一実施例の画像関連付け方法のフローチャートである。

【図2】本発明の一実施例の複数の画像収集機器を含むシステムの模式図である。

【図3】本発明の一実施例の異なる画像収集機器で収集された画像における対応する画素点の模式図である。

【図4】本発明の一実施例の画像における境界ボックスの模式図である。

【図5】本発明の一実施例の関連境界ボックスを特定する模式図である。

【図6】本発明の一実施例の共通平面の模式図である。

【図7】本発明の一実施例の候補境界ボックスを特定する模式図である。

【図8】本発明の一実施例の関連境界ボックスを特定する模式図である。

【図9】本発明の一実施例の画像関連付け装置のブロック図である。

【図10】本発明の一実施例の本発明の方法を実施するためのコンピュータ機器の模式図である。

【発明を実施するための形態】

【0025】

ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。

【0026】

本発明で使用される用語は、単に特定の実施例を記述する目的であり、本発明を制限するためのものではない。本発明及び添付する特許請求の範囲で使用される単数形式の「一種」、「前記」及び「当該」も、文脈から他の意味を明瞭で分かる場合でなければ、複数の形式を含むことを意図する。理解すべきことは、本文で使用される用語「及び／又は」が、１つまたは複数の関連する列挙項目を含む如何なる或いは全ての可能な組み合わせを指す。また、本文における用語「少なくとも１種」は、複数種のうちの何れか１種または複数種のうちの少なくとも２種の任意の組み合わせを指す。

【0027】

理解すべきことは、本発明において第１、第２、第３等という用語を用いて各種の情報を記述するが、これらの情報は、これらの用語に限定されるものではない。これらの用語は、単に同一のタイプの情報同士を区分するために用いられる。例えば、本発明の範囲を逸脱しない限り、第１情報が第２情報と呼ばれてもよく、類似的に、第２情報が第１情報と呼ばれてもよい。これは、コンテキストに依存する。例えば、ここで使用される言葉「場合」は、「…とき」や「…ときに」あるいは「特定の状況に応じて」として解釈されてもよい。

【0028】

当業者が本発明の実施例における技術案をより良好に理解でき、且つ本発明の実施例の上記目的、特徴およびメリットがより分かりやすくなるように、以下に図面を組み合わせて本発明の実施例における技術案をより詳細に説明する。

【0029】

図１に示すように、本発明は、画像関連付け方法を提供する。前記方法は、ステップＳ１０１～ステップＳ１０４を含む。

【0030】

ステップＳ１０１では、第１画像及び第２画像を取得する。前記第１画像は、第１画像収集機器が第１視点において１つのシナリオを収集して取得したものであり、前記第２画像は、第２画像収集機器が第２視点において前記シナリオを同期収集して取得したものであり、前記第１視点と前記第２視点は、異なる。

【0031】

ステップＳ１０２では、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定する。前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表す。

【0032】

ステップＳ１０３では、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定する。前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスである。

【0033】

ステップＳ１０４では、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定する。前記関連境界ボックスにおけるターゲットと前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットである。

【0034】

本発明の実施例は、複数の画像収集機器を含むシステムに適用可能である。画像収集機器は、カメラ、ウェブカメラ等であってもよい。１つの実施例の複数の画像収集機器を含むシステムは、図２に示される。図２には、３つの画像収集機器を含むシステムが示されている。理解できるように、本実施例が単に例示であり、実際の応用において、画像収集機器の数が２つであってもよく、２つよりも大きくなってもよく、本発明ではこれについて限定しない。当該複数の画像収集機器を含むシステムでは、各画像収集機器は、何れも一定領域内の画像を収集でき、収集された画像には、１つまたは複数のターゲットが含まれる可能性がある。ターゲットは、人、動物、物体または空間等を含んでもよいが、それらに限定されない。各画像収集機器で収集された画像について関連付け処理を行う必要がある。このように、前記各画像におけるターゲットが物理空間における同一のターゲットであるか否かを判断する。例えば、図２における画像収集機器２で収集された画像は、２つのターゲットを含み、画像収集機器１で収集された画像は、１つのターゲットを含み、画像収集機器３で収集された画像も１つのターゲットを含む。これで、この３つの画像収集機器で収集された画像に対して関連付けを行うことで、画像収集機器１で収集された画像におけるターゲットが画像収集機器２で収集された画像におけるターゲットの１つであるか否かを特定し、および画像収集機器３で収集された画像におけるターゲットが画像収集機器２で収集された画像におけるターゲットの１つであるか否かを特定する必要がある。

【0035】

記述の便宜上、１つの画像における境界ボックスについて関連境界ボックスを探すときには、当該画像が第１画像と呼ばれ、第１画像を撮影する画像収集機器が第１画像収集機器と呼ばれる。ある境界ボックスの関連境界ボックスを１つの画像において探すときには、当該画像が第２画像と呼ばれ、第２画像を撮影する画像収集機器が第２画像収集機器と呼ばれる。相変わらず図２に示すマルチ画像収集機器システムを例とすると、画像収集機器２で収集された画像における各ターゲットの境界ボックスについて関連境界ボックスを探す必要があると仮定すれば、画像収集機器２で収集された画像が第１画像と呼ばれ、画像収集機器２が第１画像収集機器と呼ばれ、画像収集機器１で収集された画像及び画像収集機器３で収集された画像から関連境界ボックスを特定すれば、画像収集機器１で収集された画像及び画像収集機器３で収集された画像が何れも第２画像と呼ばれ、画像収集機器１及び画像収集機器３が何れも第２画像収集機器と呼ばれる。

【0036】

実際の応用において、同一シナリオについて異なる視点（例えば、平面ビュー、左側面ビュー、右側面ビュー等）で画像を収集する画像収集機器は、２つに限らず、複数あってもよい。画像収集機器が複数あるときに、収集された複数の画像における２つずつの間で本発明の実施例に供される画像関連付け方法を用いて、画像におけるターゲットを関連付けさせ、更に複数の画像におけるターゲットの関連関係を特定することが可能である。記述の便宜上、以下では、第１画像収集機器と第２画像収集機器との数が何れも１である場合を説明する。画像収集機器の数が２つを超えるとき、各画像収集機器で収集された画像におけるターゲットの関連付け方法は、ここで繰り返し説明しない。

【0037】

ステップＳ１０１では、システムが第１画像収集機器及び第２画像収集機器を含むときに、第１画像収集機器及び第２画像収集機器によって異なる視点において画像を同期収集してもよい。例えば、第１画像収集機器は、１つの領域内の平面視図像を収集してもよく、第２画像収集機器は、前記領域内の側面視画像（例えば、左側面視画像、右側面視画像等）を同期収集してもよい。前記画像は、ビデオにおける１つの画像フレームであってもよく、画像収集機器で撮影されたピクチャであってもよい。本発明の実施例における第１画像及び第２画像は、それぞれ第１画像収集機器と第２画像収集機器で同期収集されたものである。つまり、第１画像が前記シナリオにおけるＴ時点の画像であるとすれば、第２画像も前記シナリオにおけるＴ時点の画像となる。

【0038】

ステップＳ１０２では、前記第１画像収集機器と前記第２画像収集機器との間の基礎行列（Ｆｕｎｄａｍｅｎｔａｌ Ｍａｔｒｉｘ）に基づいて、第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定してもよい。前記基礎行列は、前記第１画像の画素座標系と前記第２画像の画素座標系との間の変換行列である。基礎行列は、予め特定されてもよい。第１画像収集機器と第２画像収集機器との間の相対位置が変化しなければ、基礎行列は、変化しない。具体的に、前記基礎行列の各固有値とそれに対応する固有ベクトルとを特定し、最小の固有値に対応する固有ベクトルに基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポール（ｅｐｉｐｏｌｅ）を特定してもよい。当該第１画像収集機器の、第２画像の所在する平面におけるエピポールは、第１画像収集機器の、第２画像収集機器視野における位置を示すために用いられてもよい。説明すべきことは、第１画像収集機器が第２画像収集機器の視野外に存在することが許容される。

【0039】

第１画像及び第２画像における複数グループの対応画素点を取得してから、前記複数グループの対応画素点に基づいて第１画像収集機器から第２画像収集機器への基礎行列を算出してもよい。各グループの対応画素点は、物理空間において同一の物理点に対応する。２つの画像収集機器は、一部の視野が重なっているときに、この２つの画像収集機器から見た画素点が現実世界において対応関係を有してもよい。例えば、机の面に１つのインク点がある場合に、当該インク点が第１画像及び第２画像にそれぞれ形成された画素点は、対応関係を有する。

【0040】

図３は、本発明の一実施例の異なる画像収集機器画像における対応する画素点の模式図である。Ｆ１とＦ２は、それぞれ第１画像と第２画像であり、Ｐは、物理空間における一点であり、Ｐ１とＰ２は、それぞれ点Ｐの第１画像及び第２画像における対応画素点であり、即ち、第１画像及び第２画像における１グループの対応画素点である。Ｏ１とＯ２は、それぞれ第１画像収集機器と第２画像収集機器の光学中心であり、Ｅ１とＥ２は、それぞれＯ１及びＯ２の接続線と第１画像及び第２画像との交点である。即ち、Ｅ１は、第２画像収集機器の、第１画像の所在する平面におけるエピポールであり、Ｅ２は、第１画像収集機器の、第２画像の所在する平面におけるエピポールである。複数グループの対応画素点を取得することにより、前記複数グループの対応画素点に基づいて第１画像収集機器から第２画像収集機器への基礎行列を算出し、その後基礎行列に基づいて、第１画像収集機器の、第２画像の所在する平面におけるエピポールＥ２を特定してもよい。

【0041】

ステップＳ１０３では、境界ボックスとは、画像におけるターゲットのために生成された矩形ボックスを指す。ターゲットは、境界ボックス内に位置し、各境界ボックスの画像における画素位置および当該境界ボックスの大きさは、既知である（各境界ボックスの左上角の画素座標と当該境界ボックスの長さ及び幅とが与えられることは、一般的である）。したがって、境界ボックスによって、ターゲットの画像における画素位置は、特定可能である。１つの画像には、１つまたは複数のターゲットがあってもよく、各ターゲットは、１つの境界ボックスを有し、各境界ボックスは、画像上の異なる位置に分布される。図４は、本発明の一実施例の画像における境界ボックスの模式図である。図には、３つの境界ボックスが示される。複数の境界ボックスが存在するときに、境界ボックスごとにその関連境界ボックスを特定してもよい。図４における境界ボックスについて、境界ボックス１の関連境界ボックス、境界ボックス２の関連境界ボックスおよび境界ボックス３の関連境界ボックスをそれぞれ特定してもよい。

【0042】

１つの実施例において、前記第１画像には、複数のターゲットが含まれ、当該複数のターゲットに対応する第１境界ボックスを第１画像において特定する。各第１境界ボックスは、第１ターゲットポイントを含む。各第１境界ボックスの、前記第１画像における位置の下から上に向かって順に、各第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を順次特定し、各第１境界ボックスの、前記第１画像における位置の下から上に向かって順に、順次前記エピポール及び各投影点に基づいて、各投影点に対応する第１境界ボックスの、前記第２画像における関連境界ボックスを特定してもよい。ここでの「上」と「下」は、第１画像における相対位置関係である。「下」は、画素座標のうちの縦座標が比較的に大きい画像領域を指し、「上」は、画素座標のうちの縦座標が比較的に小さい画像領域を指す。

【0043】

図５は、図４に示す画像における境界ボックスの関連境界ボックスを特定する模式図である。境界ボックス２と境界ボックス３と境界ボックス１との、第１画像Ｆ１における位置が順に下から上へのものであるため、第２画像Ｆ２において関連境界ボックスを特定するときに、第１画像Ｆ１の境界ボックス２内の第１ターゲットポイントの、前記第２画像における投影点Ａ２、境界ボックス３の第１ターゲットポイントの、前記第２画像における投影点Ａ３、および境界ボックス１の第１ターゲットポイントの、前記第２画像における投影点Ａ１を順次特定する。エピポール及びＡ２に基づいて、境界ボックス２の前記第２画像における関連境界ボックス（即ち、関連境界ボックス２）を特定し、その後、エピポール及びＡ３に基づいて、境界ボックス３の前記第２画像における関連境界ボックス（即ち、関連境界ボックス３）を特定し、その後、エピポール及びＡ１に基づいて、境界ボックス１の前記第２画像における関連境界ボックス（即ち、関連境界ボックス１）を特定する。１つの境界ボックスの第１ターゲットポイントは、境界ボックスの中心点であってもよく、境界ボックス内の任意１つの点であってもよい。

【0044】

一般的に、第１画像における画像下方により近いターゲットは、第１画像収集機器との距離がより近いターゲットである。先に第１画像の上方の第１境界ボックスから関連境界ボックスのマッチングを始めると、第２画像から取得される関連境界ボックスの数が多い可能性はある。このように、マッチングエラーがより容易に発生するどころか、マッチングの複雑度も増加する。下から上へ関連境界ボックスのマッチングを始めると、第１画像の下方の第１境界ボックスにとって第２画像から取得し得る関連境界ボックスの数が比較的に少なく、ひいては唯一である可能性もある。下方の第１境界ボックスのマッチングが完了した後、上方の第１境界ボックスについてマッチングを行うときに、下方の第１境界ボックスの関連境界ボックスを排除することが可能であるため、可能な関連境界ボックスの数が削減され、マッチングの精確性が向上し、マッチングの複雑度が低減される。

【0045】

第１境界ボックスの第１ターゲットポイントの、前記第２画像における投影点は、前記第１ターゲットポイントの、第２画像収集機器視野内の共通平面における対応点である。第１ターゲットポイントが、ある平面に位置するときに、当該平面が第２画像収集機器の視野内に出現可能であれば、当該平面は、共通平面と呼ばれる。一般的に、第１画像収集機器と第２画像収集機器が何れも平面の上方に存在すると仮定し、当該平面が第１画像収集機器と第２画像収集機器との視野に同時に出現すれば、当該平面は、共通平面となる。共通平面は、机の面、路面等の平面であってもよい。図６は、１つの実施例の共通平面であり、当該共通平面は、点線ブロックにおける路面である。当該路面は、同時に第１画像収集機器と第２画像収集機器との視野内に出現したため、共通平面となる。

【0046】

１つの実施例において、前記第１画像収集機器と前記第２画像収集機器との間のホモグラフィ行列に基づいて、第１境界ボックス境界ボックスの第１ターゲットポイントの、前記第２画像における投影点を特定してもよい。第１ターゲットポイントは、第１境界ボックスの中心点であってもよい。マッチングすべき第１境界ボックスごとに、その中心点を第１ターゲットポイントとして取る。当該中心点が共通平面に出現するとすれば、ホモグラフィ行列を用いてそれを第２画像収集機器視野内の共通平面における１つの画素点に投影し、当該画素点を投影点と記す。ホモグラフィ行列が第１画像と第２画像とにおける複数グループの対応画素点によって予め算出されてもよいが、ホモグラフィ行列を算出するための全ての画素点に対応する物理点が何れも共通平面に位置することは要求される。

【0047】

ステップＳ１０４では、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定してもよい。

【0048】

具体的に、各第２境界ボックスにおける第２ターゲットポイントから前記エピポールと前記投影点とで定められた直線までの垂線の足と距離とを特定してもよい。１つの第２境界ボックスは、前記第２画像における１つのターゲットの境界ボックスであり、１つの第２境界ボックスにおける第２ターゲットポイントと当該第２境界ボックスとの相対位置関係は、前記第１ターゲットポイントとそれが所在する第１境界ボックスとの相対位置関係と同じである。また、距離が所定範囲内であり、且つ垂線の足が前記エピポールと前記投影点とで定められた線分に位置する第２ターゲットポイントの所属する第２境界ボックスを、候補境界ボックスとして特定する。また、当該候補境界ボックスを候補境界ボックスグループに入れる。また、前記候補境界ボックスグループから前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定する。

【0049】

本発明の一実施例の候補境界ボックスを特定する模式図は、図７に示される。Ｅは、エピポールであり、Ｎは、投影点であり、ＥＧは、線分ＥＮの延長線であり、Ｍ１、Ｍ２とＭ３は、それぞれ第２画像における３つの第２境界ボックスの第２ターゲットポイントであり、Ｑ１、Ｑ２とＱ３は、それぞれＭ１とＭ２とＭ３との線分ＥＮにおける垂線の足である。Ｍ２とＭ３から直線ＧＮまでの距離が所定範囲内であり、且つＭ１から直線ＧＮまでの距離が所定範囲内でないと仮定すれば、Ｑ３が線分ＥＮに存在せず、線分ＥＮの延長線に存在する一方、距離が所定範囲内であり、且つ垂線の足が前記エピポールと前記投影点とで定められた線分に位置することを満たすのは、Ｍ２しかないため、Ｍ２に対応する境界ボックスは、候補境界ボックスとして特定される。

【0050】

候補境界ボックスグループにおける候補境界ボックスが１つを超えた場合、垂線の足と前記投影点との距離が２番目に近い第２ターゲットポイントが所属する候補境界ボックスを前記関連境界ボックスとして特定してもよい。図８は、本発明の一実施例の関連境界ボックスを特定する模式図を示す。左上角の矩形は、第１画像収集機器視野であり、右上角の矩形は、第２画像収集機器視野であり、下方の台形は、共通平面であり、共通平面における点は、第１画像収集機器で撮影された第１画像において境界ボックスの中心点に対応し、第２画像収集機器で撮影された第２画像において前記中心点の投影点に対応し、左上角の台形は、第１画像収集機器視野内の共通平面であり、右上角の台形は、第２画像収集機器視野内の共通平面である。

【0051】

第１画像の濃色境界ボックスの、第２画像における関連境界ボックスを取得する際、第２画像に図示される２つの境界ボックスが存在する場合に、第２画像において、垂線の足が投影点から比較的に遠く離れる第２ターゲットポイントに対応する境界ボックス（即ち、第２画像における濃色境界ボックス）を第１画像における濃色境界ボックスの関連境界ボックスとしてもよい。一方で、垂線の足が投影点から最も近い第２ターゲットポイントに対応する境界ボックス（薄色境界ボックス）を採用すれば、マッチングエラーが発生してしまう。

【0052】

２次元平面に基づく関連方式では、ターゲットが何れもある平面（例えば、机の面または路面）に出現すると仮定すれば、ホモグラフィ行列によって、１つの画像収集機器で収集された画像における物体を別の画像収集機器で収集された画像へ投影し、二分法最小損失のマッチングアルゴリズム（Ｋｕｈｎ－Ｍｕｎｋｒｅｓアルゴリズム）を利用してマッチングを行う。しかし、当該アルゴリズムは、平面上の物体の関連のみに適用可能であり、応用上で非常に大きく制限されている。これは、全てのシナリオにおける全ての物体が何れも共通する２Ｄ平面に位置するとは限らないからである。また、画像収集機器の結像平面が当該２Ｄ平面に平行でなく、同じ画素距離が画像の異なる位置において異なる実距離に対応する。これは、二分法最小損失のマッチングアルゴリズムに影響を与え、極端の場合に完全に使用不可能にさせてしまう。２つの平面が互いに平行でないとき、境界ボックスの１辺のみが共通２Ｄ平面に接触するが、当該辺の中点があえて物体の中心ではない。したがって、各種のノイズを考慮しなくても、複数の画像収集機器の境界ボックスの投影が完全に重なり合うことはない。これは、物体が密に集まっているときにマッチングエラーを引き起こす。

【0053】

３Ｄ空間に基づく関連方式は、２Ｄ空間に基づく関連方式よりも複雑である。これは、画像収集機器にターゲットの深度距離情報（即ち、１つの距離の大きい大物体と１つの距離の小さい小物体とが同じ結像を有してもよい）がないからである。したがって、まず、深度推定のアルゴリズムを用いて（例えば、単眼画像収集機器が既知の物体の大きさの情報を用いてもよい）深度距離を推定する必要がある。その後、３Ｄ空間ではターゲットに対して二分法最小損失によるマッチングを行う。３Ｄ空間に基づく関連アルゴリズムの問題は、単眼視覚深度推定のアルゴリズムにおいて、深度学習モデルを使用しない場合に、境界ボックスの大きさでしか推定することができないことにある。ここで、２つの問題がある。１つは、境界ボックスが通常、完璧なものではないため、物体を完全に囲むことができないことがよくある。即ち、境界ボックスの大きさは、物体の大きさを反映できない。もう１つは、物体の実の大きさが通常、既知ではなく、物体の正しい種別が検出されたとしても、当該種別の物体の寸法にも大きな差があり得る。したがって、深度推定のロバスト性が良くなくて、次のマッチングアルゴリズムの精度にも影響を与える。

【0054】

本発明で提出された２．５Ｄ関連付けの解決案は、２Ｄ関連方式及び３Ｄ関連方式のメリットを組み合わせた一方、両者の欠点を回避し、シナリオにおける２Ｄ平面を用いる場合に３Ｄ空間における境界ボックスのマッチングを実現する。本発明の実施例は、コンピュータビジョンにおけるエピポーラ幾何に基づいて、第１画像収集機器の、第２画像収集機器で収集された第２画像の所在する平面における位置、および第１画像収集機器の境界ボックスの仮定での平面上の点を第２画像収集機器の平面に投影する位置を算出し、可能な対応する第２画像における関連境界ボックスを探して、マッチングを完成させる。本発明の実施例の技術案は、３次元空間における物体の境界ボックスの関連付けを実現可能であるとともに、従来の３次元関連アルゴリズムよりも、本発明は深度距離推定アルゴリズムを必要とせず、画像関連付けの信頼性及び精確度を向上させ、各種のマルチ画像収集機器システムに適用可能であり、応用範囲が広くなる。

【0055】

当業者であれば理解できるように、具体的な実施形態の上記方法において、各ステップの記載順が厳格意味での実行順とはならないため、実施手順に如何なる制限を構成しない。各ステップの具体的な実行順は、その機能及び可能な内在論理によって特定されるべきである。

【0056】

図９に示すように、本発明は、画像関連付け装置を更に提供する。前記装置は、下記のモジュールを備える。

【0057】

第１取得モジュール９０１は、第１画像及び第２画像を取得する。前記第１画像は、第１画像収集機器が第１視点において１つのシナリオを収集して取得したものであり、前記第２画像は、第２画像収集機器が第２視点において前記シナリオを同期収集して取得したものであり、前記第１視点と前記第２視点は、異なる。

【0058】

第１特定モジュール９０２は、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定する。前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表す。

【0059】

第２特定モジュール９０３は、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定する。前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスである。

【0060】

関連付けモジュール９０４は、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定する。前記関連境界ボックスにおけるターゲットと、前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットである。

【0061】

幾つかの実施例において、前記第１画像には、複数のターゲットが含まれ、前記第２特定モジュールは、
前記複数のターゲットに対応する第１境界ボックスを前記第１画像において特定し、
各第１境界ボックスの前記第１画像における位置の下から上に向かって順に、各第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を順次特定する。各前記第１境界ボックスは、第１ターゲットポイントを含む。
前記関連付けモジュールは、各第１境界ボックスの前記第１画像における位置の下から上に向かって順に、順次前記エピポール及び各投影点に基づいて、各投影点に対応する第１境界ボックスの、前記第２画像における関連境界ボックスを特定する。

【0062】

幾つかの実施例において、前記第１特定モジュールは、予め特定された基礎行列に基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定する。前記基礎行列は、前記第１画像の画素座標系と前記第２画像の画素座標系との間の変換行列である。
幾つかの実施例において、前記第１特定モジュールは、
前記基礎行列の各固有値と前記各固有値に対応する固有ベクトルとを特定するための第１特定手段と、
最小の固有値に対応する固有ベクトルに基づいて、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定するための第２特定手段と、を備える。

【0063】

幾つかの実施例において、前記第２特定モジュールは、
予め特定されたホモグラフィ行列に基づいて、前記第１ターゲットポイントの、前記第２画像における投影点を特定する。ただし、前記ホモグラフィ行列は、第１画像における共通平面から前記第２画像における前記共通平面への変換行列であり、前記共通平面は、前記第１ターゲットポイントが所在し、且つ第２画像収集機器の視野内に出現する平面である。

【0064】

幾つかの実施例において、前記関連付けモジュールは、下記の手段を備える。
第３特定手段は、各第２境界ボックスにおける第２ターゲットポイントから、前記エピポールと前記投影点とで定められた直線までの垂線の足と距離とを特定する。１つの第２境界ボックスは、前記第２画像における１つのターゲットの境界ボックスであり、１つの第２境界ボックスにおける第２ターゲットポイントと当該第２境界ボックスとの相対位置関係は、前記第１ターゲットポイントとそれが所在する第１境界ボックスとの相対位置関係と同じである。
第４特定手段は、距離が所定範囲内であり、且つ垂線の足が前記エピポールと前記投影点とで定められた線分に位置する第２ターゲットポイントの所属する第２境界ボックスを、候補境界ボックスとして特定し、前記候補境界ボックスを候補境界ボックスグループに入れる。
関連付け手段は、前記候補境界ボックスグループから前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定する。

【0065】

幾つかの実施例において、前記関連付け手段は、垂線の足と前記投影点との距離が２番目に近い第２ターゲットポイントが所属する候補境界ボックスを前記関連境界ボックスとして特定する。

【0066】

幾つかの実施例において、本発明の実施例に係る装置が有する機能又は含むモジュールは、上記方法実施例に記述された方法を実行可能である。その具体的な実施は、上記方法実施例の記述を参照すればよい。簡素化のために、ここで繰り返し説明しない。

【0067】

本発明の実施例は、画像関連付けシステムを更に提供する。当該画像関連付けシステムは、
第１視点において１つのシナリオを収集して第１画像を取得するための第１画像収集機器と、
前記第１視点と異なる第２視点において前記シナリオを同期収集して第２画像を取得するための第２画像収集機器と、
第１画像及び第２画像を取得し、前記第１画像収集機器の、前記第２画像の所在する平面におけるエピポールを特定し、第１境界ボックス内の第１ターゲットポイントの、前記第２画像における投影点を特定し、前記エピポール及び前記投影点に基づいて、前記第１境界ボックスの、前記第２画像における関連境界ボックスを特定するためのプロセッサと、を備え、
前記エピポールは、前記第１画像収集機器の、前記第２画像の所在する平面における位置を表し、前記第１境界ボックスは、前記第１画像における１つのターゲットの境界ボックスであり、前記関連境界ボックスにおけるターゲットと、前記第１境界ボックスにおけるターゲットは、前記シナリオにおける同一のターゲットである。

【0068】

画像関連付けシステムでは、第１画像収集機器及び第２画像収集機器が如何に画像を収集するか、並びに、プロセッサが如何に第１画像におけるターゲットの境界ボックスと第２画像におけるターゲットの境界ボックスとを関連付けさせるかは、上記方法実施例の記述を参照すればよい。簡潔のために、ここで繰り返し説明しない。

【0069】

上述した装置実施例は、単に例示であり、その中、分離部品として説明される上記モジュールが物理的に分離されるものであってもよくでなくてもよい。また、モジュールとして表示される部品は、物理モジュールであってもでなくてもよい。更に、それらのモジュールは、１箇所に位置してもよく、複数のネットワークモジュールに分散してもよい。実際の需要に応じてその中の一部または全部のモジュールを選択して本明細書の技術案の目的を果たすことが可能である。当業者は、進歩性に値する労働をせずに、理解して実施可能である。

【0070】

本明細書の装置実施例は、コンピュータ機器、例えばサーバまたは端末機器に適用可能である。装置実施例は、ソフトウェアで実施されてもよく、ハードウェアまたはソフト・ハードウェアを組み合わせた方式で実施されてもよい。ソフトウェアによる実施を例とすると、１つの論理意味での装置は、プロセッサが不揮発性メモリにおける対応するコンピュータプログラム指令をメモリに読み込んで運転させることで形成されるものである。ハードウェア実装から言うと、図１０は、本明細書の装置の所在するコンピュータ機器のハードウェア構造図を示す。図１０に示すプロセッサ１００１、メモリ１００２、ネットワークインターフェース１００３および不揮発性メモリ１００４の他に、実施例における装置の所在するサーバまたは電子機器は、当該コンピュータ機器の実際の機能に応じて、他のハードウェアを含んでもよいが、ここで繰り返し説明しない。

【0071】

それ相応に、本発明の実施例は、コンピュータ記憶媒体を更に提供する。当該コンピュータ記憶媒体には、コンピュータプログラムが記憶され、当該プログラムがプロセッサによって実行されるときに、何れかの実施例に記載の方法は実施される。

【0072】

それ相応に、本発明の実施例は、コンピュータ機器を更に提供する。コンピュータ機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサで運転可能であるコンピュータプログラムとを備え、前記プロセッサは、前記プログラムを実行するときに何れかの実施例に記載の方法を実施する。

【0073】

本発明は、１つまたは複数の、プログラムコードを含む記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むが、それらに限定されない）上で実施されたコンピュータプログラム製品の形態を採用してもよい。コンピュータ利用可能な記憶媒体は、永久性及び非永久性のもの、移動可能及び移動不可能な媒体を含み、如何なる方法や技術で情報の記憶を実施してもよい。情報は、コンピュータ可読命令、データ構造、プログラムのモジュールまたは他のデータであってもよい。コンピュータの記憶媒体の例は、相変化メモリ（ＰＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュ記憶体若しくは他のメモリ技術、読み取り専用光ディスク・読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）または他の光学記憶形態、磁気カセット型テープ、テープ・磁気ディスク記憶若しくは他の磁気記憶機器、または、演算機器によってアクセスされ得る情報を記憶するための如何なる他の非伝送媒体も含むが、それらに限定されない。

【0074】

当業者は、明細書を考慮してここで開示された明細書を実践した後、本発明の他の実施案を容易に想到し得る。本発明は、本発明の如何なる変形、用途または適応的変化もカバーすることを意図する。これらの変形、用途または適応的変化は、本発明の一般的な原理に従い、本発明に開示されていない当分野における公知常識或いは慣用技術手段を含む。明細書及び実施例は、単に例示と見なされ、本発明の真の範囲及び要旨は、請求項から与えられる。

【0075】

理解できるように、本発明は、上述され且つ図面に示された精確な構造に限定されず、その範囲を逸脱しない範囲で各種の変更や改良を行うことが可能である。本発明の範囲は、添付する請求項のみで限定される。

【0076】

上述したのは、本発明の好適な実施例に過ぎず、本発明を制限するためのものではない。本発明の精神及び原則内でなされた如何なる変更、均等物による置換、改良等も、本発明の保護範囲内に含まれるべきである。

【0077】

上記各実施例に対する記述に各実施例同士の相違点を強調する傾向があり、同じまたは類似するところは、互いに参照可能である。簡潔のために、本文で繰り返し説明しない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】