ホーム > 特許ランキング > 北京図森智途科技有限公司
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023021087
(43)【公開日】2023-02-09
(54)【発明の名称】両眼画像マッチング方法、装置、デバイス、及び記憶媒体
(51)【国際特許分類】
G06T 7/593 20170101AFI20230202BHJP
G06V 10/766 20220101ALI20230202BHJP
G01B 11/00 20060101ALI20230202BHJP
【ＦＩ】
G06T7/593
G06V10/766
G01B11/00 H
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022121527
(22)【出願日】2022-07-29
(31)【優先権主張番号】202110873191.2
(32)【優先日】2021-07-30
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】521254764
【氏名又は名称】北京図森智途科技有限公司
(74)【代理人】
【識別番号】110002217
【氏名又は名称】弁理士法人矢野内外国特許事務所
(72)【発明者】
【氏名】李宏揚
(72)【発明者】
【氏名】黄澤昊
(72)【発明者】
【氏名】王乃岩
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA06
2F065DD03
2F065FF05
2F065JJ03
2F065JJ05
2F065MM26
2F065QQ03
2F065QQ28
2F065QQ31
2F065UU05
5L096AA09
5L096CA02
5L096EA15
5L096FA16
5L096FA66
5L096FA69
(57)【要約】 （修正有）
【課題】両眼画像内のオブジェクトの正確なマッチングを実現することができる両眼画像マッチング方法を提供する。
【解決手段】両眼画像マッチング方法は、両眼画像の第１画像に対してオブジェクト検出を行い、第１画像内のオブジェクトの第１バウンディングボックスを取得するステップと、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを決定するステップと、第２バウンディングボックスを用いて、オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップと、を含む。
【選択図】図１Ａ
【解決手段】両眼画像マッチング方法は、両眼画像の第１画像に対してオブジェクト検出を行い、第１画像内のオブジェクトの第１バウンディングボックスを取得するステップと、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを決定するステップと、第２バウンディングボックスを用いて、オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップと、を含む。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するステップと、
第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するステップと、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップと、を含み、
ここで、前記第１画像及び前記第２画像は、それぞれ両眼カメラの左カメラ及び右カメラによって収集される、ことを特徴とする両眼画像マッチング方法。
第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するステップと、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップと、を含み、
ここで、前記第１画像及び前記第２画像は、それぞれ両眼カメラの左カメラ及び右カメラによって収集される、ことを特徴とする両眼画像マッチング方法。
【請求項2】
前記第２バウンディングボックスは、
第１バウンディングボックスと同じ画像位置を有するボックスである第１候補ボックス、
第１バウンディングボックスを推定視差だけ並進した後に取得されたボックスである第２候補ボックス、
第１バウンディングボックスを両眼補正した後、両眼補正された第１バウンディングボックスを補正なしの第２画像座標系に投影して取得されたボックスである第３候補ボックス、あるいは、
第１バウンディングボックスを両眼補正及び推定視差だけ並進した後、両眼補正及び推定視差だけ並進された第１バウンディングボックスを補正なしの第２画像座標系に投影して取得されたボックスである第４候補ボックスのいずれかである、ことを特徴とする請求項１に記載の方法。
第１バウンディングボックスと同じ画像位置を有するボックスである第１候補ボックス、
第１バウンディングボックスを推定視差だけ並進した後に取得されたボックスである第２候補ボックス、
第１バウンディングボックスを両眼補正した後、両眼補正された第１バウンディングボックスを補正なしの第２画像座標系に投影して取得されたボックスである第３候補ボックス、あるいは、
第１バウンディングボックスを両眼補正及び推定視差だけ並進した後、両眼補正及び推定視差だけ並進された第１バウンディングボックスを補正なしの第２画像座標系に投影して取得されたボックスである第４候補ボックスのいずれかである、ことを特徴とする請求項１に記載の方法。
【請求項3】
前記両眼カメラのベースライン及び焦点距離が予め設定された低視差条件に合致する場合、前記第１候補ボックスを前記第２バウンディングボックスとする、ことを特徴とする請求項２に記載の方法。
【請求項4】
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップは、
予め構築された特徴抽出ネットワークを用いて、前記第２画像の特徴マップを生成することと、
前記第２バウンディングボックスに対応する候補特徴を抽出することと、
予め構築された回帰ネットワークを用いて前記候補特徴を処理し、前記第３バウンディングボックスを取得することとを含む、ことを特徴とする請求項１に記載の方法。
予め構築された特徴抽出ネットワークを用いて、前記第２画像の特徴マップを生成することと、
前記第２バウンディングボックスに対応する候補特徴を抽出することと、
予め構築された回帰ネットワークを用いて前記候補特徴を処理し、前記第３バウンディングボックスを取得することとを含む、ことを特徴とする請求項１に記載の方法。
【請求項5】
前記回帰ネットワークの入力は、前記第２バウンディングボックスの候補特徴であり、出力は、前記第２バウンディングボックスと第３バウンディングボックスとのずれ量を含み、前記ずれ量は、寸法ずれ量と、中心点又は対角線頂点を含むキーポイントの座標ずれ量とを含む、ことを特徴とする請求項４に記載の方法。
【請求項6】
前記ずれ量は、
２種類のバウンディングボックスの幅の比、高さの比、キーポイントの横座標の差と第２バウンディングボックスの幅との比、及びキーポイントの縦座標の差と第２バウンディングボックスの高さとの比の少なくとも１つを含む、ことを特徴とする請求項５に記載の方法。
２種類のバウンディングボックスの幅の比、高さの比、キーポイントの横座標の差と第２バウンディングボックスの幅との比、及びキーポイントの縦座標の差と第２バウンディングボックスの高さとの比の少なくとも１つを含む、ことを特徴とする請求項５に記載の方法。
【請求項7】
方法は、さらに、
前記オブジェクトのクラスに対応する並進係数を取得するステップと、
前記並進係数と前記オブジェクトの画素幅とに基づいて、前記オブジェクトの前記第１画像及び第２画像における推定視差を決定するステップと、を含み、
ここで、前記オブジェクトの画素幅は、前記オブジェクトの第１バウンディングボックス幅に基づいて決定される、ことを特徴とする請求項１に記載の方法。
前記オブジェクトのクラスに対応する並進係数を取得するステップと、
前記並進係数と前記オブジェクトの画素幅とに基づいて、前記オブジェクトの前記第１画像及び第２画像における推定視差を決定するステップと、を含み、
ここで、前記オブジェクトの画素幅は、前記オブジェクトの第１バウンディングボックス幅に基づいて決定される、ことを特徴とする請求項１に記載の方法。
【請求項8】
前記方法は、さらに、
前記両眼カメラによって収集された履歴画像において、マークされた同一オブジェクトの視差及び画素幅を決定するステップと、
マークされた同一クラスにおける各オブジェクトの画素幅及び視差に基づいて、該クラスに対応する並進係数を計算するステップと、を含む、ことを特徴とする請求項７に記載の方法。
前記両眼カメラによって収集された履歴画像において、マークされた同一オブジェクトの視差及び画素幅を決定するステップと、
マークされた同一クラスにおける各オブジェクトの画素幅及び視差に基づいて、該クラスに対応する並進係数を計算するステップと、を含む、ことを特徴とする請求項７に記載の方法。
【請求項9】
前記履歴画像のそれぞれには、両眼カメラに対応するベースラインがさらにマークされ、マークされた同一クラスにおける各オブジェクトの画素幅及び実視差に基づいて、該クラスに対応する並進係数を計算するステップは、
マークされた同一クラスにおける各オブジェクトの画素幅と視差、及び対応するベースラインに基づいて、該クラスに対応するサブ並進係数を計算することを含み、
前記オブジェクトのクラスに対応する並進係数を取得する前記ステップは、
前記サブ並進係数と、対応するベースラインとに基づいて、前記オブジェクトのクラスに対応する並進係数を決定することを含む、ことを特徴とする請求項８に記載の方法。
マークされた同一クラスにおける各オブジェクトの画素幅と視差、及び対応するベースラインに基づいて、該クラスに対応するサブ並進係数を計算することを含み、
前記オブジェクトのクラスに対応する並進係数を取得する前記ステップは、
前記サブ並進係数と、対応するベースラインとに基づいて、前記オブジェクトのクラスに対応する並進係数を決定することを含む、ことを特徴とする請求項８に記載の方法。
【請求項10】
前記方法は、さらに、
前記第１バウンディングボックス及び前記第３バウンディングボックスに基づいて、前記オブジェクトの前記第１画像及び第２画像における視差を計算するステップと、
前記視差と、前記両眼カメラのベースラインと焦点距離とに基づいて、前記オブジェクトの奥行き情報を計算するステップと、を含む、ことを特徴とする請求項１に記載の方法。
前記第１バウンディングボックス及び前記第３バウンディングボックスに基づいて、前記オブジェクトの前記第１画像及び第２画像における視差を計算するステップと、
前記視差と、前記両眼カメラのベースラインと焦点距離とに基づいて、前記オブジェクトの奥行き情報を計算するステップと、を含む、ことを特徴とする請求項１に記載の方法。
【請求項11】
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記１つ又は複数のプログラムは、前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１～１０のいずれか一項に記載の両眼画像マッチング方法を実現させる、ことを特徴とする電子機器。
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記１つ又は複数のプログラムは、前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１～１０のいずれか一項に記載の両眼画像マッチング方法を実現させる、ことを特徴とする電子機器。
【請求項12】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該プログラムは、プロセッサにより実行されると、請求項１～１０のいずれか一項に記載の両眼画像マッチング方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例は、画像データ処理技術の分野に関し、特に、両眼画像マッチング方法、装置、デバイス、及び記憶媒体に関する。
【背景技術】
【0002】
オブジェクト距離測定は、無人運転システムにおいて極めて重要な一部であり、オブジェクト距離測定の正確性を確保するために、通常、両眼距離測定の方式を採用し、両眼画像からそれぞれ相応のオブジェクトを検出し、そして両眼画像における各オブジェクトをマッチングして、同一オブジェクトの両眼画像における位置を決定し、これにより両眼カメラの内部パラメータ、外部パラメータなどと組み合わせて、視差又は三角距離測定に基づいて該オブジェクトの距離を算出する。
【0003】
現在、両眼画像に対してオブジェクトマッチングを行う場合、通常、対応するマッチングアルゴリズムを予め設計して同一オブジェクトの両眼画像における対応関係を確立し、このとき、該マッチングアルゴリズムは、多種の付加的な特徴、多種の閾値、及び精細なパラメータ調整などに関与し、マッチングアルゴリズムが複雑であり、一定のマッチングミス率が存在し、両眼画像におけるオブジェクトマッチングのロバスト性及び正確性に大きく影響する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
これに鑑みて、本発明の実施例は、両眼画像マッチング方法、装置、デバイス、及び記憶媒体を提供し、両眼画像内のオブジェクトの正確なマッチングを実現し、両眼画像内のオブジェクトのマッチングの正確性及びロバスト性を向上させる。
【課題を解決するための手段】
【0005】
第１態様において、本発明の実施例は、両眼画像マッチング方法を提供し、該方法は、
両眼画像の第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するステップと、
前記両眼画像の第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するステップと、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップと、を含む。
両眼画像の第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するステップと、
前記両眼画像の第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するステップと、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップと、を含む。
【0006】
第２態様において、本発明の実施例は、両眼画像マッチング装置を提供し、該装置は、
第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するためのオブジェクト検出モジュールと、
前記両眼画像の第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するための領域決定モジュールと、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するための回帰モジュールと、を含む。
第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するためのオブジェクト検出モジュールと、
前記両眼画像の第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するための領域決定モジュールと、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するための回帰モジュールと、を含む。
【0007】
第３態様において、本発明の実施例は、電子機器を提供し、該電子機器は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記１つ又は複数のプログラムは、前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに本発明の任意の実施例に記載の両眼画像マッチング方法を実現させる。
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記１つ又は複数のプログラムは、前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに本発明の任意の実施例に記載の両眼画像マッチング方法を実現させる。
【0008】
第４態様において、本発明の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該プログラムは、プロセッサにより実行されると、本発明の任意の実施例に記載の両眼画像マッチング方法を実現する、コンピュータ可読記憶媒体を提供する。
【発明の効果】
【0009】
本発明の実施例によって提供される両眼画像マッチング方法、装置、デバイス、及び記憶媒体は、両眼画像の第１画像に対してオブジェクト検出を行うことで、第１画像内のオブジェクトの第１バウンディングボックスを取得することができ、このとき、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを直接的に決定することができ、そして第２バウンディングボックスを用いて、第２画像内のオブジェクトの第３バウンディングボックスを回帰し、これにより両眼画像内のオブジェクトの正確なマッチングを実現し、両眼画像内の２つの画像に対していずれもオブジェクト検出を行う必要がなく、その後、マッチングアルゴリズムを用いて２つの画像内で検出されたオブジェクトのマッチングを行い、両眼画像内のオブジェクトのマッチングの計算オーバーヘッドを大幅に減少させ、従来技術において複数の特徴と閾値を用いて設定されたマッチングアルゴリズムが複雑であるという問題を解決し、両眼画像内のオブジェクトのマッチングの制限を回避し、両眼画像内のオブジェクトのマッチングの効率性、正確性及びロバスト性を向上させる。
【図面の簡単な説明】
【0010】
【図1A】本発明の実施例１による両眼画像マッチング方法のフローチャートである。
【図1B】本発明の実施例１による方法における第２バウンディングボックスを決定する模式図である。
【図1C】本発明の実施例１による方法における両眼カメラにおけるオブジェクトの結像の原理模式図である。
【図2A】本発明の実施例２による両眼画像マッチング方法のフローチャートである。
【図2B】本発明の実施例２による両眼画像マッチング過程の原理模式図である。
【図3】本発明の実施例３による両眼画像マッチング方法のフローチャートである。
【図4】本発明の実施例４による両眼画像マッチング装置の構造模式図である。
【図5】本発明の実施例５による電子機器の構造模式図である。
【発明を実施するための形態】
【0011】
以下は図面及び実施例を参照して本発明をさらに詳細に説明する。理解されるように、ここで説明された具体的な実施例は本発明を説明するためのものにすぎず、本発明を限定するものではない。なお、説明の便宜上、図面は本発明に関連する部分のみを示しており、全ての構造を示しているわけではない。また、本発明の実施例及び実施例の特徴は、矛盾しない限り、互いに組み合わせることができる。
（実施例１）
（実施例１）
【0012】
図１Ａは、本発明の実施例１による両眼画像マッチング方法のフローチャートであり、本実施例は、両眼画像の２つの画像に存在する同じオブジェクトをマッチングする場合に適用できる。本実施例によって提供される両眼画像マッチング方法は、本発明の実施例によって提供される両眼画像マッチング装置によって実行されてもよく、該装置は、ソフトウェア及び／又はハードウェアの形態で実現されてもよく、本方法を実行する電子機器に集積される。
【0013】
具体的には、図１Ａを参照すると、該方法は、以下のステップを含んでもよい。
【0014】
Ｓ１１０、両眼画像の第１画像に対してオブジェクト検出を行い、第１画像内のオブジェクトの第１バウンディングボックスを取得する。
【0015】
任意選択で、両眼距離測定を考慮すると、両眼画像内の同じオブジェクトに対してマッチングを行う必要があるが、両眼画像の２つの画像に対してそれぞれオブジェクト検出を行い、設定されたマッチングアルゴリズムを用いて２つの画像内の各オブジェクトに対してマッチングを行う場合、マッチング計算のオーバーヘッドが大きく、マッチングが非効率的であるという問題が生じる。
【0016】
したがって、本実施例では、上記問題を解決するために、両眼画像内の第１画像に対してオブジェクト検出を行い、第１画像内の各オブジェクトの位置情報を取得することができる。また、第１画像内に各オブジェクトを正確にマークするために、本実施例は、バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ、Ｂｂｏｘ）の方式を採用して第１画像内の各オブジェクトの位置検出結果を示すことができ、即ち、第１画像内の各オブジェクトの第１バウンディングボックスを取得することができる。さらに、後続は第１画像内の各オブジェクトの第１バウンディングボックスを参考に、該両眼画像を収集するための両眼カメラの特性を解析することで、両眼画像内の同一オブジェクトの第２画像内における位置情報を判断し、これにより両眼画像内のオブジェクトマッチングを実現することができる。
【0017】
もちろん、本開示は、３目、４目などの他の多目画像にも適用可能であり、この場合、任意の２目の間に１つの両眼画像を構成し、即ち、他のいずれかの画像のバウンディングボックスに基づいて、該バウンディングボックスの他の画像内での位置を決定することができる。
【0018】
ここで、本実施例における第１画像は、両眼画像のうち、左画像と右画像のいずれか一方の画像であってもよく、他方の画像は両眼画像の第２画像であり、本実施例は、両眼画像の第１画像と第２画像が、左画像であるか右画像であるかを限定するものではない。また、バウンディングボックスは、第１画像内の各オブジェクトを囲むための矩形ボックスであり、本実施例における第１バウンディングボックスは、
で表すことができ、ここでＮは第１画像内で検出されたオブジェクトの数であり、
は、第１画像内のｉ番目のオブジェクトの第１バウンディングボックスを表す。
で表すことができ、ここでＮは第１画像内で検出されたオブジェクトの数であり、
は、第１画像内のｉ番目のオブジェクトの第１バウンディングボックスを表す。
【0019】
Ｓ１２０、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを決定する。
【0020】
具体的には、両眼画像の第１画像内の各オブジェクトの第１バウンディングボックスを検出した後、両眼画像内のオブジェクトのマッチングにおける計算オーバーヘッドを減少するために、両眼画像の第２画像に対してオブジェクト検出を行わない。代わりに、両眼カメラの内部パラメータ及び外部パラメータによって、第１画像内の各オブジェクトの第１バウンディングボックスを参考に、第２画像内において、各オブジェクトの第１バウンディングボックスに対応する第２バウンディングボックスを直接的に決定し、該第２バウンディングボックスは、
で表すことができ、第２画像内で各オブジェクトが予備的にマッチングされた後の位置をマークするために用いられる。
で表すことができ、第２画像内で各オブジェクトが予備的にマッチングされた後の位置をマークするために用いられる。
【0021】
例示的に、図１Ｂに示すように、本実施例における第２バウンディングボックスは、以下の候補ボックスのいずれかであってもよい。
【0022】
１）第１バウンディングボックスと同等の画像位置のボックスを、第１候補ボックスと記す。
【0023】
第１ケースでは、第１画像と第２画像との間の結像の差が小さい場合に、第１画像及び第２画像内の同一オブジェクトの位置の差が大きくないことが示される。そこで、本実施例は、第１画像内の各オブジェクトの第１バウンディングボックスの座標位置に応じて、第２画像内において、第１バウンディングボックスと同等の位置のボックスを直接的に決定することができ、第１候補ボックスと記す。そして、第１画像と第２画像との間の結像の差が小さいことを考慮して、該第１候補ボックスを、第２画像内の各オブジェクトの第２バウンディングボックスとしてもよい。
【0024】
なお、本実施例は、両眼カメラが同一オブジェクトを撮影したときの該オブジェクトの第１画像と第２画像における結像位置の差である両眼画像における視差を用いて、第１画像と第２画像との間の結像の差を判断してもよい。図１Ｃに示すように、Ｐ点を撮影オブジェクトとすると、О１、Ｏ２は両眼カメラの２つの光学中心であり、２つの線分は両眼カメラにおける２つの光学中心に対応する仮想結像平面を表し、ｆは両眼カメラの焦点距離を表し、両眼カメラの２つの光学中心のベースライン長はｂａｓｅｌｉｎｅであり、目標点Ｐの奥行きはｄｅｐｔｈである。したがって、Ｐ、Ｏ１、Ｏ２が１つの三角形を構成でき、こうすると２つの光学中心に対応する仮想結像平面上の点Ｐの視差（ｄｉｓｐａｒｉｔｙ）は、
であってもよく、ここで、ｘｌは第１仮想結像平面における点Ｐの位置であり、ｘrは第２仮想結像平面における点Ｐの位置である。したがって、相似三角形の原理を用いて、
を得ることができる。
であってもよく、ここで、ｘｌは第１仮想結像平面における点Ｐの位置であり、ｘrは第２仮想結像平面における点Ｐの位置である。したがって、相似三角形の原理を用いて、
を得ることができる。
【0025】
第１画像及び第２画像内の同一オブジェクトについて、該オブジェクトの奥行きが同じであることが考慮される。したがって、上記式から、両眼画像における視差は、該両眼画像を収集するための両眼カメラのベースライン及び焦点距離によって影響されることが決定される。
【0026】
そこで、本実施例では、予め相応の低視差条件を設定しておくことで、第１画像と第２画像との間の結像の差が小さい場合を示すことができる。また、本実施例では、現在マッチング対象の両眼画像に対応する両眼カメラのベースライン及び焦点距離の情報を取得し、そして該両眼カメラのベースライン及び焦点距離が予め設定された低視差条件に合致するか否かを判断することにより、第１画像と第２画像との間の結像の差が小さいか否かを決定することができる。該両眼カメラのベースライン及び焦点距離が予め設定された低視差条件に合致する場合、本実施例における第２バウンディングボックスは、第２画像内の第１バウンディングボックスと同等の画像位置の第１候補ボックスであり、第１バウンディングボックスに対して何ら調整を行う必要がなく、両眼画像内のオブジェクトのマッチングの効率性を保証する。ここで、低視差条件は、例えば、両眼カメラのベースラインが第１閾値よりも小さい、及び／又は焦点距離が第２閾値よりも小さいことであり、もちろんこれに限定されず、当業者は必要に応じて低視差条件を設定してもよく、本開示はこれを限定しない。
【0027】
２）第１バウンディングボックスを推定視差だけ並進した後に取得されたボックスを、第２候補ボックスと記す。
【0028】
第２ケースでは、第１画像と第２画像との間に、ある程度の結像の差が存在することは避けられないため、同一オブジェクトの位置にもある程度の差が存在する。また、図１Ｃから、両眼画像内における同一オブジェクトの位置の差を視差で表すことができることが分かる。したがって、本実施例は、両眼画像の視差を推定し、そして第２画像内で該推定視差にしたがって第１バウンディングボックスを並進することで、同一オブジェクトの第２画像内における第２バウンディングボックスを取得することができる。つまり、本実施例における第２バウンディングボックスは、両眼画像内のオブジェクトのマッチングの正確性を確保するために、第２画像内で第１バウンディングボックスを推定視差だけ並進した後に取得された第２候補ボックスであってもよい。
【0029】
３）第１バウンディングボックスを両眼補正し、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第３候補ボックスと記す。該第２画像座標系は、第２画像の画像座標系であってもよく、好ましくは第２画像の画素座標系であり、もちろんこれに限定されない。ここで、画像座標系は画像中心点を原点とし、画素座標系は画像左上隅頂点を原点とする。
【0030】
第３ケースでは、上述のように、両眼画像内の同一オブジェクトに対する第１バウンディングボックスと第２バウンディングボックスとのマッチングは、いずれも理想的な両眼系を参照して得られる。しかし、両眼カメラにおける２つの光学中心の位置には多少の誤差が生じることが避けられないため、理想的な両眼系を得ることが困難であり、したがって理想的な両眼系に近づけるためには両眼補正が必要となる。本実施例では、両眼画像内のオブジェクトのマッチングが、いずれもオブジェクトバウンディングボックスの変換によって得られることを考慮し、両眼画像内の他の画素点の変換は関与しない。したがって、第２画像内においてオブジェクトの第２バウンディングボックスを決定するとき、該オブジェクトの第１バウンディングボックスに対して両眼補正を行い、そして補正なしの第２画像座標系に投影すると、両眼画像内の各画素点に対して両眼補正を行う必要がなく、両眼画像内のオブジェクトのマッチングの補正を実現することができ、両眼画像の補正のオーバーヘッドを大幅に減少させる。また、本実施例における第２バウンディングボックスは、第１バウンディングボックスを両眼補正し、かつ補正なしの第２画像座標系に投影した後に取得された第３候補ボックスであってもよく、両眼画像内のオブジェクトのマッチングの正確性及び効率性を保証する。
【0031】
４）第１バウンディングボックスを両眼補正及び推定視差だけ並進し、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第４候補ボックスと記す。
【0032】
第４ケースでは、第１画像と第２画像との間に、ある程度の結像の差が存在することは避けられず、及び理想的な両眼系の問題を考慮し、第２ケースと第３ケースとを組み合わせて解析することができる。つまり、第１バウンディングボックスを両眼補正及び推定視差だけ並進して、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第４候補ボックスと記し、本実施例における第２バウンディングボックスを該第４候補ボックスとすることで、両眼画像内のオブジェクトのマッチングの正確性をさらに向上させる。当業者は、並進推定視差は、両眼補正操作の前、両眼補正操作の後、投影操作の前、投影操作の後のいずれでもよく、本開示は、並進操作が位置する位置の順序を限定しないことを理解するであろう。また、本開示に言及する補正なしの第２画像座標系は、いずれも第２画像の画像座標系であってもよく、第２画像の画素座標系であってもよく、本開示はこれを限定しない。
【0033】
これに基づき、ステップＳ１２０は、第１バウンディングボックスを推定視差だけ並進し、第２画像内の対応する位置の第２バウンディングボックスを取得することを含むことができる。さらに、第１バウンディングボックスを推定視差だけ並進し、第２画像内の対応する位置の第２バウンディングボックスを取得することは、第１バウンディングボックスを両眼補正し、推定視差だけ並進し、補正なしの第２画像座標系に投影し、第２画像内の対応する位置の第２バウンディングボックスを取得することを含む。
【0034】
なお、本実施例で実行される両眼補正及び投影操作は、いずれも両眼画像に対して何らかの補正操作を実行することなくバウンディングボックスに対して実行される操作であり、両眼画像の補正時における両眼画像内の各画素点の調整処理が大幅に省略され、これにより両眼画像のオブジェクトのマッチングの効率を向上させる。
【0035】
Ｓ１３０、第２バウンディングボックスを用いて、オブジェクトの第２画像内における第３バウンディングボックスを回帰する。
【0036】
本実施例では、第１画像と第２画像とで同一オブジェクトが結像後に多少の寸法の差があり、第２バウンディングボックスと第１バウンディングボックスとの寸法がほぼ同じか又は大きく異ならないため、第２画像内において、第２バウンディングボックスが対応するオブジェクトを完全に囲むことができない可能性があることを示す。したがって、第２画像内のオブジェクトの正確性を保証するために、オブジェクトの第２画像内における第２バウンディングボックスを決定した後、第２画像内のオブジェクト特徴に基づいて第２バウンディングボックスに対して回帰処理を行い、オブジェクトの第２画像内における第３バウンディングボックスを取得する。本実施例におけるバウンディングボックス回帰は、主に、第２バウンディングボックスと第２画像内のオブジェクトの実際の特徴との間に存在する何らかのマッピング関係を解析し、かつ取得された第３バウンディングボックスがオブジェクトの実際のバウンディングボックスに限りなく近くなるように、該マッピング関係を用いて第２バウンディングボックスをマッピングすることによって、両眼画像内のオブジェクトの正確なマッチングを実現する。
【0037】
本実施例における両眼画像内のオブジェクトのマッチング方式は、両眼画像の応用シーン及び収集方式を限定する必要がなく、両眼画像内のオブジェクトのマッチングの制限を回避し、両眼画像内のオブジェクトのマッチングの効率性及びロバスト性を向上させる。また、本開示の両眼距離測定は、画素レベルではなく物体レベルであり、物体の奥行き情報を直接的に与えることができる。
【0038】
また、本実施例は、第２バウンディングボックスを用いてオブジェクトの第２画像内における第３バウンディングボックスを回帰することにより、両眼画像内のオブジェクトの正確なマッチングを実現した後、第１バウンディングボックス及び第３バウンディングボックスに基づいて、両眼画像内におけるオブジェクトの実視差を計算するステップと、実視差、両眼画像に対応する両眼カメラのベースライン及び焦点距離に基づいて、オブジェクトの奥行き情報を計算するステップと、をさらに含んでもよい。
【0039】
つまり、両眼画像内における同一オブジェクトの第１画像内における第１バウンディングボックスと、第２画像内における第３バウンディングボックスとを取得した後、第１バウンディングボックスと第２バウンディングボックスとの間の座標の差を、両眼画像内におけるオブジェクトの実視差として算出することができる。そして、両眼画像内におけるオブジェクトの実視差、両眼画像に対応する両眼カメラのベースライン及び焦点距離を、
の式に代入すれば、該オブジェクトの奥行き情報を算出することができ、これにより両眼画像内のオブジェクト距離測定を実現することができる。
の式に代入すれば、該オブジェクトの奥行き情報を算出することができ、これにより両眼画像内のオブジェクト距離測定を実現することができる。
【0040】
本実施例によって提供される技術案は、両眼画像の第１画像に対してオブジェクト検出を行うことで、第１画像内のオブジェクトの第１バウンディングボックスを取得することができ、このとき、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを直接的に決定することができ、そして第２バウンディングボックスを用いて、第２画像内のオブジェクトの第３バウンディングボックスを回帰し、これにより両眼画像内のオブジェクトの正確なマッチングを実現し、両眼画像内の２つの画像に対していずれもオブジェクト検出を行う必要がなく、その後、マッチングアルゴリズムを用いて２つの画像内で検出されたオブジェクトのマッチングを行い、両眼画像内のオブジェクトのマッチングの計算オーバーヘッドを大幅に減少させ、従来技術において複数の特徴と閾値を用いて設定されたマッチングアルゴリズムが複雑であるという問題を解決し、両眼画像内のオブジェクトのマッチングの制限を回避し、両眼画像内のオブジェクトのマッチングの効率性、正確性及びロバスト性を向上させる。
（実施例２）
（実施例２）
【0041】
図２Ａは、本発明の実施例２による両眼画像マッチング方法のフローチャートであり、図２Ｂは、本発明の実施例２による両眼画像マッチング過程の原理模式図である。本実施例は、上記実施例を基にして最適化を行ったものである。具体的には、本実施例では、オブジェクトの第２画像内における第２バウンディングボックスから第３バウンディングボックスへの具体的な回帰過程について詳細に説明する。
【0042】
具体的には、図２Ａに示すように、本実施例では、以下のステップを含んでもよい。
【0043】
Ｓ２１０、両眼画像の第１画像に対してオブジェクト検出を行い、第１画像内のオブジェクトの第１バウンディングボックスを取得する。
【0044】
Ｓ２２０、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを決定する。
【0045】
Ｓ２３０、予め構築された特徴抽出ネットワークを用いて、第２画像の特徴マップを生成する。
【0046】
任意選択で、第２画像内において、オブジェクトの第２バウンディングボックスを回帰するとき、第２バウンディングボックスと第２画像内のオブジェクトの実際の特徴との間に存在する何らかのマッピング関係を解析する必要があり、したがって、第２画像内のオブジェクト特徴を抽出する必要がある。
【0047】
本実施例では、図２Ｂに示すように、対応する特徴抽出ネットワークを予め構築することにより、第２画像を該特徴抽出ネットワークに入力する。そして、該特徴抽出ネットワークは、自身が既にトレーニングした各ネットワークパラメータを用いて、入力された第２画像に対して特徴解析を行い、これにより第２画像の特徴マップを生成し、後続は第２画像内の各オブジェクトの特徴を正確に解析することを容易にする。
【0048】
Ｓ２４０、第２バウンディングボックスに対応する候補特徴を抽出する。
【0049】
第２画像の特徴マップを取得した後、オブジェクトの第２画像内における第２バウンディングボックスに応じて、オブジェクトと該特徴マップとの間の関係を解析する。そして、該関係に応じて、第２バウンディングボックスに対応する候補特徴を、第２画像内のオブジェクト特徴として、該特徴マップから正確に抽出することができる。
【0050】
Ｓ２５０、予め構築した回帰ネットワークを用いて候補特徴を処理し、第３バウンディングボックスを取得する。
【0051】
任意選択で、図２Ｂに示すように、第２バウンディングボックスを正確に回帰するために、本実施例は、回帰ネットワークを予め構築する。ここで、該回帰ネットワークの入力は、第２バウンディングボックスの候補特徴であり、出力は、第２バウンディングボックスと第３バウンディングボックスとのずれ量であり、該ずれ量は、バウンディングボックスの寸法のずれ量、及びバウンディングボックス内の同一キーポイントの座標ずれ量を含んでもよく、かつ該キーポイントは、第２バウンディングボックス及び第３バウンディングボックスの中心点及び／又は対角線頂点を含んでもよい。
【0052】
例示的に、本実施例における第２バウンディングボックスと第３バウンディングボックスとのずれ量は、具体的には、２種類のバウンディングボックスの幅の比（例えば、ｗ３／ｗ２）、高さの比（例えば、ｈ３／ｈ２）、キーポイントの横座標の差と第２バウンディングボックスの幅との比（例えば、（ｘ３－ｘ２）／ｗ２）、キーポイントの縦座標の差と第２バウンディングボックスの高さとの比（例えば、（ｙ３－ｙ２）／ｈ２）のうち少なくとも１つを含んでもよい。ここで、（ｘ２，ｙ２）は第２バウンディングボックス内のあるキーポイントの座標であり、（ｘ３，ｙ３）は第３バウンディングボックス内の対応するキーポイントの座標であり、ｗ２とｈ２は第２バウンディングボックスの幅と高さであり、ｗ３とｈ３は第３バウンディングボックスの幅と高さである。
【0053】
もちろん、該バウンディングボックスは、３次元ボックスであってもよく、この場合、ずれ量は、２種類のバウンディングボックスの長さの比、幅の比、高さの比、キーポイントの横座標の差と第２バウンディングボックスの長さとの比、キーポイントの縦座標の差と第２バウンディングボックスの幅との比、キーポイントの縦座標の差と第２バウンディングボックスの高さとの比であってもよい。さらに、本開示は、物体の寸法変化の回帰に対する影響を低減するために、寸法依存比値（即ち、長さ比、幅比、高さ比）の対数ｌｏｇを取ることもできる。
【0054】
したがって、第２バウンディングボックスに対応する候補特徴を抽出した後、該候補特徴を該回帰ネットワークに入力し、該回帰ネットワーク内の既にトレーニングされた各ネットワークパラメータによって該候補特徴を回帰処理し、これにより第２バウンディングボックスと第３バウンディングボックスとのずれ量を出力することができる。そして、該ずれ量を用いて第２バウンディングボックスに対して対応してずれ調整を行うことで、オブジェクトの第２画像内における第３バウンディングボックスを取得することができる。
【0055】
本実施例によって提供される技術案は、予め構築された回帰ネットワークによって第２バウンディングボックスの候補特徴に対して回帰処理を行うとき、第２バウンディングボックスと第３バウンディングボックスとのずれ量を直接的に出力することができ、該ずれ量を用いて第２バウンディングボックスと第３バウンディングボックスとの間の各差を迅速に決定することが容易であり、第２バウンディングボックスと第３バウンディングボックスとの間の差パラメータを用いて他のパラメータを計算する必要があるとき、ずれ量から直接的に取得することができ、これにより両眼画像内のオブジェクトのマッチング時の差パラメータ決定効率を向上させる。
（実施例３）
（実施例３）
【0056】
図３は、本発明の実施例３による両眼画像マッチング方法のフローチャートである。本実施例は、上記実施例を基にして最適化を行ったものである。具体的には、第２バウンディングボックスは、いずれかの候補ボックスであってもよく、１）第１バウンディングボックスと同等の画像位置のボックスを、第１候補ボックスと記し、２）第１バウンディングボックスを推定視差だけ並進した後に取得されたボックスを、第２候補ボックスと記し、３）第１バウンディングボックスを両眼補正し、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第３候補ボックスと記し、４）第１バウンディングボックスを両眼補正及び推定視差だけ並進し、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第４候補ボックスと記すことが考慮される。第２候補ボックス及び第４候補ボックスを取得する場合、いずれも推定視差に応じて第１バウンディングボックスを並進する必要があるため、両眼画像の第２画像において第１バウンディングボックスに対応する第２バウンディングボックスを決定する前に、まず両眼画像内のオブジェクトの推定視差を決定する必要がある。そこで、本実施例では、主に両眼画像内のオブジェクトの推定視差の具体的な計算過程について詳細に説明する。
【0057】
具体的には、図３を参照すると、該方法は、以下のステップを含んでもよい。
【0058】
Ｓ３１０、両眼画像の第１画像に対してオブジェクト検出を行い、第１画像内のオブジェクトの第１バウンディングボックス及びオブジェクトのクラスを取得する。
【0059】
任意選択で、本実施例は、両眼距離測定において、両眼画像の視差を推定するために、単眼距離測定の原理を導入してもよく、該単眼距離測定式は、
であってもよく、ここで、ｗはオブジェクトの画素幅であり、ｆは焦点距離であり、Ｗはオブジェクトの実際の幅であり、ｄｅｐｔｈはオブジェクトの奥行きである。両眼距離測定の式は、上記実施例２で言及したとおりであり、
である。
であってもよく、ここで、ｗはオブジェクトの画素幅であり、ｆは焦点距離であり、Ｗはオブジェクトの実際の幅であり、ｄｅｐｔｈはオブジェクトの奥行きである。両眼距離測定の式は、上記実施例２で言及したとおりであり、
である。
【0060】
次いで、上記の２つの式を組み合わせると、
を得ることができ、ここで、
は、第１バウンディングボックスの並進係数を表す。このことから、本実施例における推定視差は、並進係数とオブジェクトの画素幅に関連することが分かる。ここで、オブジェクトの画素幅は、検出ボックス幅としてもよい。さらに、オブジェクトが車体である場合、画素幅は車体幅、例えば、車尾幅又は車体断面幅としてもよく、この場合、特定のアルゴリズムにしたがって、オブジェクトの両眼画像における対応する幅を正確に抽出することができる。
を得ることができ、ここで、
は、第１バウンディングボックスの並進係数を表す。このことから、本実施例における推定視差は、並進係数とオブジェクトの画素幅に関連することが分かる。ここで、オブジェクトの画素幅は、検出ボックス幅としてもよい。さらに、オブジェクトが車体である場合、画素幅は車体幅、例えば、車尾幅又は車体断面幅としてもよく、この場合、特定のアルゴリズムにしたがって、オブジェクトの両眼画像における対応する幅を正確に抽出することができる。
【0061】
また、並進係数は、両眼カメラのベースラインとオブジェクトの実際の幅に関連し、両眼カメラのベースラインは、予め決定されてもよく、かつ、同一クラスにおける各オブジェクトの実際の幅がほぼ同じであることを考慮し、したがって、並進係数は、未知であるが、オブジェクトクラスに関連する量であってもよく、異なるオブジェクトクラスは対応する並進係数を設定する。
【0062】
そこで、本実施例では、対応する並進係数を決定するために、第１画像に対するオブジェクト検出の際に、第１画像内の各オブジェクトのクラスを検出して、該オブジェクトのクラスに対応する並進係数を取得する。
【0063】
Ｓ３２０、オブジェクトのクラスに対応する並進係数を取得する。
【0064】
本実施例は、予め設定されたオブジェクトクラスと並進係数との間の対応関係に応じて、第１画像内のオブジェクトのクラスを検出した後、オブジェクトのクラスに対応する並進係数を取得することができ、後続は該並進係数とオブジェクトの画素幅とに基づいて、オブジェクトの第２画像内における推定視差を計算することを容易とする。
【0065】
なお、本実施例では、オブジェクトクラスと並進係数との間の対応関係に対して、多数の履歴両眼画像の各クラスにおける各オブジェクトの画素幅と実視差を用いて、オブジェクトクラスと並進係数との間の関係を解析することができる。つまり、履歴両眼画像において、マッチングとマークされた同一オブジェクトの実視差及び画素幅を決定し、マークされた同一クラスにおける各オブジェクトの画素幅と実視差とに基づいて、該クラスに対応する並進係数を計算する。
【0066】
具体的には、履歴両眼画像において各オブジェクトの第１画像内における第１バウンディングボックスと第２画像内における第３バウンディングボックスを正確にマークし、それによって、両眼画像内の同一オブジェクトに対する正確なマッチングを行う。さらに、履歴両眼画像内でマークされた第１バウンディングボックス及び第３バウンディングボックスは、画像補正後のバウンディングボックスである。したがって、履歴両眼画像において、マッチングとマークされた同一オブジェクトの第１バウンディングボックス及び第３バウンディングボックスに基づいて、マッチングとマークされた各オブジェクトの実視差及び画素幅を取得することができる。そして、履歴両眼画像における各オブジェクトに対してクラス分類を行い、各クラスにおける各オブジェクトを取得する。当業者は、必要に応じて、オブジェクト大分類又は小分類の分類精細度を設定することができ、本開示はこれを限定しない。そして、各クラスにおいて複数のオブジェクトの実視差と画素幅が存在するので、これにより、各クラスにおける各オブジェクトの履歴並進係数を取得する。さらに、各クラスにおける各オブジェクトの履歴並進係数を平均化処理することで、該クラスに対応する並進係数を取得することができる。
【0067】
例えば、本実施例は、
の式により、各クラスに対応する並進係数を計算することができる。ここで、
はｉ番目のクラスで対応する並進係数であり、
はｉ番目のクラスでのオブジェクト数であり、
はｉ番目のクラスでのｊ番目のオブジェクトの実視差であり、
はｉ番目のクラスでのｊ番目のオブジェクトの画素幅である。
の式により、各クラスに対応する並進係数を計算することができる。ここで、
はｉ番目のクラスで対応する並進係数であり、
はｉ番目のクラスでのオブジェクト数であり、
はｉ番目のクラスでのｊ番目のオブジェクトの実視差であり、
はｉ番目のクラスでのｊ番目のオブジェクトの画素幅である。
【0068】
さらに、履歴両眼画像にも対応する両眼カメラのベースラインがマークされ、現在マッチング対象の両眼画像にも相応の両眼カメラのベースラインが存在し、両者に異なる両眼カメラを採用すると、並進係数における両眼カメラのベースラインも異なる。そこで、本実施例では、並進係数の正確性を保証するために、マークされた同一クラスの各オブジェクトの画素幅と実視差とに基づいて、該クラスに対応する並進係数を計算するとき、履歴両眼画像におけるマークされた両眼カメラのベースラインを参照して、本実施例における並進係数を両眼カメラのベースラインとサブ並進係数とに２分する。
の式により、本実施例におけるサブ並進係数は、各クラスにおけるオブジェクトの実際の幅であると決定することができる。さて、マークされた同一クラスにおける各オブジェクトの画素幅と実視差、及び対応する両眼カメラのベースラインに基づいて、該クラスに対応するサブ並進係数ｔを計算するとき、参照される計算式は以下のとおりであり、
ここで、
はｉ番目のクラスに対応するサブ並進係数であり、
はｉ番目のクラスでのｊ番目のオブジェクトに対応する両眼カメラのベースラインであり、
はｉ番目のクラスの実際の幅であり、このパラメータは実際に統計をしていない。本開示は、平均統計の方法により、各クラスにおける異なるオブジェクトクラスのｔ値（即ち、１／Ｗ値）と、実際の適用時における両眼カメラのベースラインを取得し、即ち、線形関係により、マッチング対象の両眼画像の並進係数ｋを取得することができる。
の式により、本実施例におけるサブ並進係数は、各クラスにおけるオブジェクトの実際の幅であると決定することができる。さて、マークされた同一クラスにおける各オブジェクトの画素幅と実視差、及び対応する両眼カメラのベースラインに基づいて、該クラスに対応するサブ並進係数ｔを計算するとき、参照される計算式は以下のとおりであり、
ここで、
はｉ番目のクラスでのｊ番目のオブジェクトに対応する両眼カメラのベースラインであり、
はｉ番目のクラスの実際の幅であり、このパラメータは実際に統計をしていない。本開示は、平均統計の方法により、各クラスにおける異なるオブジェクトクラスのｔ値（即ち、１／Ｗ値）と、実際の適用時における両眼カメラのベースラインを取得し、即ち、線形関係により、マッチング対象の両眼画像の並進係数ｋを取得することができる。
【0069】
相応して、各オブジェクトクラスに対応するサブ並進係数を算出した後、該サブ並進係数と、現在マッチング対象の両眼画像に対応する両眼カメラのベースラインとに基づいて、オブジェクトのクラスに対応する並進係数を決定することができる。つまり、
の式を用いて第２画像内の各オブジェクトのクラスに対する並進係数を計算する。
の式を用いて第２画像内の各オブジェクトのクラスに対する並進係数を計算する。
【0070】
Ｓ３３０、並進係数とオブジェクトの画素幅とに基づいて、オブジェクトの両眼画像内における推定視差を決定する。
【0071】
ここで、オブジェクトの画素幅は、オブジェクトの第１バウンディングボックス幅に基づいて決定される。そして、オブジェクトの第２画像内における並進係数とオブジェクトの画素幅を、
の式に代入して、オブジェクトの両眼画像内における推定視差を算出し、第２画像内での第１バウンディングボックスの正確な並進を可能にし、第２バウンディングボックスの正確性を保証する。
の式に代入して、オブジェクトの両眼画像内における推定視差を算出し、第２画像内での第１バウンディングボックスの正確な並進を可能にし、第２バウンディングボックスの正確性を保証する。
【0072】
Ｓ３４０、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを決定する。
【0073】
Ｓ３５０、第２バウンディングボックスを用いて、オブジェクトの第２画像内における第３バウンディングボックスを回帰する。
【0074】
本実施例によって提供される技術案は、両眼画像の第１画像に対してオブジェクト検出を行うことで、第１画像内のオブジェクトの第１バウンディングボックスを取得することができ、このとき、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを直接的に決定することができ、そして第２バウンディングボックスを用いて、第２画像内のオブジェクトの第３バウンディングボックスを回帰し、これにより両眼画像内のオブジェクトの正確なマッチングを実現し、両眼画像内の２つの画像に対していずれもオブジェクト検出を行う必要がなく、その後、マッチングアルゴリズムを用いて２つの画像内で検出されたオブジェクトのマッチングを行い、両眼画像内のオブジェクトのマッチングの計算オーバーヘッドを大幅に減少させ、従来技術において複数の特徴と閾値を用いて設定されたマッチングアルゴリズムが複雑であるという問題を解決し、両眼画像内のオブジェクトのマッチングの制限を回避し、両眼画像内のオブジェクトのマッチングの効率性、正確性及びロバスト性を向上させる。
（実施例４）
（実施例４）
【0075】
図４は、本発明の実施例４による両眼画像マッチング装置の構造模式図であり、図４に示すように、該装置は、
第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するためのオブジェクト検出モジュール４１０と、
前記両眼画像の第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するための領域決定モジュール４２０と、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するための回帰モジュール４３０と、を含んでもよい。
第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するためのオブジェクト検出モジュール４１０と、
前記両眼画像の第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するための領域決定モジュール４２０と、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するための回帰モジュール４３０と、を含んでもよい。
【0076】
本実施例によって提供される技術案は、両眼画像の第１画像に対してオブジェクト検出を行うことで、第１画像内のオブジェクトの第１バウンディングボックスを取得することができ、このとき、両眼画像の第２画像において、第１バウンディングボックスに対応する第２バウンディングボックスを直接的に決定することができ、そして第２バウンディングボックスを用いて、第２画像内のオブジェクトの第３バウンディングボックスを回帰し、これにより両眼画像内のオブジェクトの正確なマッチングを実現し、両眼画像内の２つの画像に対していずれもオブジェクト検出を行う必要がなく、その後、マッチングアルゴリズムを用いて２つの画像内で検出されたオブジェクトのマッチングを行い、両眼画像内のオブジェクトのマッチングの計算オーバーヘッドを大幅に減少させ、従来技術において複数の特徴と閾値を用いて設定されたマッチングアルゴリズムが複雑であるという問題を解決し、両眼画像内のオブジェクトのマッチングの制限を回避し、両眼画像内のオブジェクトのマッチングの効率性、正確性及びロバスト性を向上させる。
【0077】
さらに、上記第２バウンディングボックスは、以下のいずれかの候補ボックスであってもよく、
第１バウンディングボックスと同等の画像位置のボックスを、第１候補ボックスと記し、
第１バウンディングボックスを推定視差だけ並進した後に取得されたボックスを、第２候補ボックスと記し、
第１バウンディングボックスを両眼補正し、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第３候補ボックスと記し、
第１バウンディングボックスを両眼補正及び推定視差だけ並進し、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第４候補ボックスと記す。
第１バウンディングボックスと同等の画像位置のボックスを、第１候補ボックスと記し、
第１バウンディングボックスを推定視差だけ並進した後に取得されたボックスを、第２候補ボックスと記し、
第１バウンディングボックスを両眼補正し、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第３候補ボックスと記し、
第１バウンディングボックスを両眼補正及び推定視差だけ並進し、かつ補正なしの第２画像座標系に投影した後に取得されたボックスを、第４候補ボックスと記す。
【0078】
さらに、マッチング対象の両眼画像に対応する両眼カメラのベースライン及び焦点距離が予め設定された低視差条件に合致する場合、前記第２バウンディングボックスは前記第１候補ボックスである。
【0079】
さらに、上記回帰モジュール４３０は、具体的には、
予め構築された特徴抽出ネットワークを用いて、前記第２画像の特徴マップを生成することと、
前記第２バウンディングボックスに対応する候補特徴を抽出することと、
予め構築された回帰ネットワークを用いて前記候補特徴を処理し、前記第３バウンディングボックスを取得することとに用いられてもよい。
予め構築された特徴抽出ネットワークを用いて、前記第２画像の特徴マップを生成することと、
前記第２バウンディングボックスに対応する候補特徴を抽出することと、
予め構築された回帰ネットワークを用いて前記候補特徴を処理し、前記第３バウンディングボックスを取得することとに用いられてもよい。
【0080】
さらに、上記回帰ネットワークの入力は、前記第２バウンディングボックスの候補特徴であり、出力は、前記第２バウンディングボックスと第３バウンディングボックスとのずれ量であり、前記ずれ量は、寸法ずれ量と、中心点及び／又は対角線頂点を含むキーポイントの座標ずれ量とを含む。
【0081】
さらに、上記ずれ量は、
２種類のバウンディングボックスの幅の比、高さの比、キーポイントの横座標の差と第２バウンディングボックスの幅との比、及びキーポイントの縦座標の差と第２バウンディングボックスの高さとの比の少なくとも１つを含んでもよい。
２種類のバウンディングボックスの幅の比、高さの比、キーポイントの横座標の差と第２バウンディングボックスの幅との比、及びキーポイントの縦座標の差と第２バウンディングボックスの高さとの比の少なくとも１つを含んでもよい。
【0082】
さらに、上記オブジェクト検出の結果は、前記オブジェクトのクラスをさらに含んでもよく、上記両眼画像マッチング装置は、推定視差計算モジュールをさらに含んでもよく、
前記推定視差計算モジュールは、前記オブジェクトのクラスに対応する並進係数を取得することと、前記並進係数と前記オブジェクトの画素幅に基づいて、前記オブジェクトの前記両眼画像における推定視差を決定することとに用いられ、
ここで、前記オブジェクトの画素幅は、前記オブジェクトの第１バウンディングボックス幅に基づいて決定される。
前記推定視差計算モジュールは、前記オブジェクトのクラスに対応する並進係数を取得することと、前記並進係数と前記オブジェクトの画素幅に基づいて、前記オブジェクトの前記両眼画像における推定視差を決定することとに用いられ、
ここで、前記オブジェクトの画素幅は、前記オブジェクトの第１バウンディングボックス幅に基づいて決定される。
【0083】
さらに、上記両眼画像マッチング装置は、
履歴両眼画像において、マッチングとマークされた同一オブジェクトの実視差及び画素幅を決定するための履歴パラメータ決定モジュールと、
マークされた同一クラスにおける各オブジェクトの画素幅及び実視差に基づいて、該クラスに対応する並進係数を計算するための並進係数計算モジュールと、をさらに含んでもよい。
履歴両眼画像において、マッチングとマークされた同一オブジェクトの実視差及び画素幅を決定するための履歴パラメータ決定モジュールと、
マークされた同一クラスにおける各オブジェクトの画素幅及び実視差に基づいて、該クラスに対応する並進係数を計算するための並進係数計算モジュールと、をさらに含んでもよい。
【0084】
さらに、上記履歴両眼画像には、対応する両眼カメラのベースラインがさらにマークされてもよく、上記並進係数計算モジュールは、具体的には、
マークされた同一クラスにおける各オブジェクトの画素幅と実視差、及び対応する両眼カメラのベースラインに基づいて、該クラスに対応するサブ並進係数を計算するために用いられてもよく、
相応して、上記推定視差計算モジュールは、具体的には、
前記サブ並進係数と、現在のマッチング対象の両眼画像に対応する両眼カメラのベースラインとに基づいて、前記オブジェクトのクラスに対応する並進係数を決定するために用いられてもよい。
マークされた同一クラスにおける各オブジェクトの画素幅と実視差、及び対応する両眼カメラのベースラインに基づいて、該クラスに対応するサブ並進係数を計算するために用いられてもよく、
相応して、上記推定視差計算モジュールは、具体的には、
前記サブ並進係数と、現在のマッチング対象の両眼画像に対応する両眼カメラのベースラインとに基づいて、前記オブジェクトのクラスに対応する並進係数を決定するために用いられてもよい。
【0085】
さらに、上記両眼画像マッチング装置は、
前記第１バウンディングボックス及び前記第３バウンディングボックスに基づいて、前記オブジェクトの前記両眼画像における実視差を計算するための実視差計算モジュールと、
前記実視差と、前記両眼画像に対応する両眼カメラのベースラインと焦点距離とに基づいて、前記オブジェクトの奥行き情報を計算するためのオブジェクト奥行き情報計算モジュールと、をさらに含んでもよい。
前記第１バウンディングボックス及び前記第３バウンディングボックスに基づいて、前記オブジェクトの前記両眼画像における実視差を計算するための実視差計算モジュールと、
前記実視差と、前記両眼画像に対応する両眼カメラのベースラインと焦点距離とに基づいて、前記オブジェクトの奥行き情報を計算するためのオブジェクト奥行き情報計算モジュールと、をさらに含んでもよい。
【0086】
本実施例によって提供される両眼画像マッチング装置は、上述した任意の実施例によって提供される両眼画像マッチング方法に適用されることができ、相応の機能及び有益な効果を有する。
（実施例５）
（実施例５）
【0087】
図５は、本発明の実施例５による電子機器の構造模式図である。図５に示すように、該電子機器は、プロセッサ５０、記憶装置５１、及び通信装置５２を含み、電子機器におけるプロセッサ５０の数は、１つ又は複数であってもよく、図５では、１つのプロセッサ５０を例とし、電子機器のプロセッサ５０、記憶装置５１、及び通信装置５２は、バス又は他の方式で接続されてもよく、図５ではバスで接続されていることを例とする。
【0088】
記憶装置５１は、コンピュータ可読記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能プログラム、及びモジュールを記憶するために用いられることができる。プロセッサ５０は、記憶装置５１に記憶されたソフトウェアプログラム、命令及びモジュールを実行することにより、電子機器の各種機能アプリケーション及びデータ処理を実行し、即ち上述した両眼画像マッチング方法を実現する。
【0089】
記憶装置５１は、主に、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶可能な記憶プログラム領域と、端末の使用に応じて作成されたデータなどを記憶可能な記憶データ領域とを含むことができる。さらに、記憶装置５１は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つのディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含んでもよい。いくつかの例では、記憶装置５１は、多機能コントローラ５０から遠隔に配置されたメモリをさらに含んでもよく、これらの遠隔メモリは、ネットワークを介して電子機器に接続されてもよい。上記ネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク、及びそれらの組み合わせが挙げられるが、これらに限定されない。
【0090】
通信装置５２は、機器間のネットワーク接続やモバイルデータ接続を実現するために用いられる。
【0091】
本実施例によって提供される電子機器は、上述した任意の実施例によって提供される両眼画像マッチング方法を実行するために用いられることができ、相応の機能及び有益な効果を有する。
（実施例６）
（実施例６）
【0092】
本発明の実施例６は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該プログラムは、プロセッサにより実行されると、上述した任意の実施例における両眼画像マッチング方法を実現できる、コンピュータ可読記憶媒体をさらに提供する。該方法は、
両眼画像の第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するステップと、
前記両眼画像の第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するステップと、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップと、を含む。
両眼画像の第１画像に対してオブジェクト検出を行い、前記第１画像内のオブジェクトの第１バウンディングボックスを取得するステップと、
前記両眼画像の第２画像において、前記第１バウンディングボックスに対応する第２バウンディングボックスを決定するステップと、
前記第２バウンディングボックスを用いて、前記オブジェクトの前記第２画像内における第３バウンディングボックスを回帰するステップと、を含む。
【0093】
もちろん、本発明の実施例によって提供されるコンピュータ実行可能命令を含む記憶媒体は、上述したような方法操作に限定されず、本発明の任意の実施例によって提供される両眼画像マッチング方法における関連する操作を実行することができる。
【0094】
以上の実施形態に関する記述から、当業者であれば、本発明が、ソフトウェア及び必要な汎用ハードウェアで実現可能であること、当然にハードウェアでも実現可能であることが明らかであろうが、多くの場合、前者がより好適な実施形態である。このような理解に基づいて、本発明の技術案は、本質的に、又は、先行技術に貢献する部分が、本発明の各実施例に記載の方法をコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置などでもよい）に実行させるためのいくつかの命令を含む、コンピュータのフロッピーディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ（ＦＬＡＳＨ Ｍｅｍｏｒｙ）、ハードディスク、又は光ディスクなどのコンピュータ可読記憶媒体に記憶されてもよいソフトウェア製品の形態で具現化されてもよい。
【0095】
なお、上記両眼画像マッチング装置の実施例において、含まれる各ユニットとモジュールは機能論理によって区分されるだけであり、相応の機能を実現できる限り、上記の区分に限定されず、また、各機能ユニットの具体的な名称も、互いに区別するためのものであり、本発明の範囲を限定するものではない。
【0096】
なお、上述したのは、本発明の好適な実施例及び適用技術原理にすぎない。当業者は、本発明がここに記載された特定の実施例に限定されず、当業者にとって、本発明の保護範囲から逸脱することなく、様々な明らかな変更、再調整、及び置換が可能であることを理解するであろう。以上、実施例を用いて本発明をより詳細に説明したが、本発明は、以上の実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、さらに多くの等価実施例を含むことができ、本発明の範囲は、添付の特許請求の範囲によって定められる。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3】
【図4】
【図5】
