特許 6681470 奥行き知覚３眼カメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6681470

(24)【登録日】2020年3月25日

(45)【発行日】2020年4月15日

(54)【発明の名称】奥行き知覚３眼カメラシステム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20200406BHJP

   G01C 3/06 20060101ALI20200406BHJP

【ＦＩ】

   G01B11/00 H

   G01C3/06 110V

【請求項の数】5

【全頁数】31

(21)【出願番号】特願2018-533803(P2018-533803)

(86)(22)【出願日】2016年12月2日

(65)【公表番号】特表2019-500613(P2019-500613A)

(43)【公表日】2019年1月10日

(86)【国際出願番号】US2016064831

(87)【国際公開番号】WO2017112393

(87)【国際公開日】20170629

【審査請求日】2018年7月26日

(31)【優先権主張番号】15/147,879

(32)【優先日】2016年5月5日

(33)【優先権主張国】US

(31)【優先権主張番号】62/271,212

(32)【優先日】2015年12月22日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】518221025

【氏名又は名称】アキフィ，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100119987

【弁理士】

【氏名又は名称】伊坪 公一

(74)【代理人】

【識別番号】100141254

【弁理士】

【氏名又は名称】榎原 正巳

(72)【発明者】

【氏名】ピエトロ サルバグニーニ

(72)【発明者】

【氏名】ミシェル ストッパ

(72)【発明者】

【氏名】アッバース ラフィ

【審査官】 仲野 一秀

(56)【参考文献】

【文献】 特開２００８−９６１６２（ＪＰ，Ａ）

【文献】 特開２００９−５３１３６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１６８３７０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

第１カメラ、第２カメラ、及び第３カメラを備える奥行きカメラシステムのキャリブレーションずれを検出する方法であって、前記第１カメラ、第２カメラ、及び第３カメラは、実質的に重畳する重畳視野を所定の方向に有し、前記方法は：
特徴点を前記第１カメラで撮影される第１画像中に検出し、
前記特徴点を前記第２カメラで撮影される第２画像中に検出し、
前記特徴点を前記第３カメラで撮影される第３画像中に検出し、前記第３カメラが、前記第１カメラ及び第２カメラと同一直線上には位置しておらず、
第１共役エピポーラ線を前記第２画像中に、前記第１画像中の前記特徴点の検出位置、及び複数のキャリブレーションパラメータに従って特定し、
第２共役エピポーラ線を前記第２画像中に、前記第３画像中の前記特徴点の検出位置、及び前記複数のキャリブレーションパラメータに従って特定し、
前記第２画像中の前記特徴点の検出位置と前記第１及び第２共役エピポーラ線との差異を計算し、
前記差異が閾値を上回ると、前記奥行きカメラシステムのキャリブレーションずれが発生していることを示す通知を出力する、
ことを具備する方法。

【請求項2】

前記差異は、第１差異及び第２差異を含み、
前記差異を計算することは：
前記第２画像中の前記特徴点の前記検出位置と前記第１共役エピポーラ線との第１差異を計算し、
前記第２画像中の前記特徴点の前記検出位置と前記第２共役エピポーラ線との第２差異を計算する、
ことを具備する、請求項１に記載の方法。

【請求項3】

更に、前記第１共役エピポーラ線と前記第２共役エピポーラ線の交点の位置を計算することを具備し、
前記差異を計算することは、前記第２画像中の前記特徴点の前記検出位置と前記交点の前記位置との間の距離を計算することを具備する、
請求項１に記載の方法。

【請求項4】

前記第１カメラ及び前記第２カメラは、不可視光を撮影するように構成され、
前記第３カメラは、可視光を撮影するように構成される、
請求項１に記載の方法。

【請求項5】

更に、前記第１カメラと前記第２カメラとの間に配置される投影装置により、不可視光凹凸パターンを前記重畳視野の方向に放出する、請求項４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態の態様は、奥行きカメラシステムに関するものである。更に詳細には、本発明の実施形態の幾つかの態様は、複数台カメラを含む奥行きカメラシステム、及びキャリブレーションずれ（decalibration）を検出するシステム及び方法に関するものである。

【背景技術】

【0002】

良好な品質の高解像度奥行きデータを生成する必要性が、モバイル機器、家庭用娯楽機器、ゲーム機、ロボット、ドローン、拡張現実又は仮想現実（ＡＲ／ＶＲ）システム、自動車、セキュリティ機器などを含む多種多様な電子機器に関して益々大きくなっている。奥行きデータは、消費者市場及び工業市場の多くの撮像用途及び検出用途に使用される。

【0003】

奥行き知覚カメラシステムを使用して、シーンを撮影し、シーンにおける各ピクセルの奥行き（又は、「ｚ距離」）を推定することにより、「奥行きマップ」を生成することができる。一般には、奥行きカメラシステム（又は、「奥行きカメラ」）は、受動型奥行きカメラ及び能動型奥行きカメラに分類することができる。

【0004】

能動型奥行きカメラは普通、光をシーンに放出する能動型照明部品又はプロジェクタを含む。広義には、これらのカメラは：変調照明拡散光をシーンに放出する能動型奥行き「飛行時間」型カメラ；及び照明パターンを放出してパターンをシーンに投影する能動型奥行き「構造化光」カメラを含む。当該パターンを使用して、一般的事例の視差を判定し（例えば、凹凸を凹凸の小さい物体に追加することにより、又は視差の判定結果を最適化することにより）、当該パターンにより、周囲照明光が弱い状態における（例えば、暗い環境における）操作も可能にする。受動型奥行きカメラシステムには、このような能動型照明部品が無い。

【0005】

幾つかの奥行きカメラシステムはステレオビジョン技術を利用し、ステレオビジョン技術では、奥行きデータが、複数台カメラで撮影される画像中に検出される照合特徴点間の視差に基づいて算出される。２台以上のカメラを含む画像取得システムを使用することにより、投影パターンの偏りに対する堅牢性を高めることができ、更には、周囲照明光が強い状況における操作を可能にする（例えば、この状況では、能動型照明部品により投影されるパターンは、周囲光よりも明るい光を受光する場合に検出することができない）。

【0006】

幾つかの奥行きカメラシステムはステレオビジョン技術を利用し、ステレオビジョン技術では、奥行きデータが、１台のカメラで撮影される画像中に検出される照合パターン特徴点間の視差、及び所謂構造化光照明法で投影される符号化パターンに基づいて算出される。以下に続く文章では、主題は、普及しているマルチカメラステレオシステムの観点から記載され、構造化光照明法は、システムの下位概念に相当すると考えることができる。

【0007】

奥行き情報を算出すると、奥行きカメラシステムは、以下に更に詳細に説明されるように、既知のキャリブレーションパラメータを使用する。キャリブレーションパラメータは、奥行き計算が、これらのカメラの間の距離、及び互いに対するこれらのカメラの向き（例えば、光軸がなす角度、又はカメラの光学平面がなす角度）の影響を受けることを示している。

【発明の概要】

【0008】

本発明の実施形態の態様は、複数台カメラを含む奥行きカメラシステムに関するものである。本発明の実施形態の態様は更に、複数台カメラのキャリブレーションずれが発生している状態を自動的に検出するシステム及び方法に関するものである。

【0009】

本発明の１つの実施形態によれば、第１カメラ、第２カメラ、及び第３カメラを含む奥行きカメラシステム又は奥行きカラーカメラシステムのキャリブレーションずれを検出する方法であって、前記第１カメラ、第２カメラ、及び第３カメラは、実質的に重畳する重畳視野を所定の方向に有し、前記方法では：特徴点を前記第１カメラで撮影される第１画像中に検出し；前記特徴点を前記第２カメラで撮影される第２画像中に検出し；前記特徴点を前記第３カメラで撮影される第３画像中に検出し、前記第３カメラが、前記第１カメラ及び第２カメラと同一直線上には位置しておらず；第１共役エピポーラ線を前記第２画像中に、前記第１画像中の前記特徴点の検出位置、及び複数のキャリブレーションパラメータに従って特定し；第２共役エピポーラ線を前記第２画像中に、前記第３画像中の前記特徴点の検出位置、及び前記複数のキャリブレーションパラメータに従って特定し；前記第２画像中の前記特徴点の検出位置と前記第１及び第２共役エピポーラ線との差異を計算し；前記差異が閾値を上回ると、前記奥行きカメラシステムのキャリブレーションずれが発生していることを示す通知を出力する。

【0010】

前記差異は、第１差異及び第２差異を含むことができ、前記差異を計算する際に：前記第２画像中の前記特徴点の前記検出位置と前記第１共役エピポーラ線との第１差異を計算し；前記第２画像中の前記特徴点の前記検出位置と前記第２共役エピポーラ線との第２差異を計算する。

【0011】

前記方法では更に、前記第１共役エピポーラ線と前記第２共役エピポーラ線の交点の位置を計算し、前記差異を計算する際に、前記第２画像中の前記特徴点の前記検出位置と前記交点の前記位置との間の距離を計算する。

【0012】

前記第１カメラ及び前記第２カメラは、不可視光を撮影するように構成することができ、前記第３カメラは、可視光を撮影するように構成することができる。

【0013】

前記方法では更に、前記第１カメラと前記第２カメラとの間に配置される投影装置により、不可視光凹凸パターンを前記重畳視野の方向に放出する。

【0014】

本発明の１つの実施形態によれば、奥行き知覚カメラシステムは：赤外線画像を撮影するように構成される第１カメラと；第２カメラと；前記第１カメラ及び第２カメラと同一直線上に位置しないように配置される第３カメラであって、前記第１カメラ、第２カメラ、及び第３カメラが、実質的に重畳する重畳視野を所定の方向に有し、前記第２カメラ及び第３カメラのうち少なくとも一方のカメラが、可視光画像を撮影するように構成され、前記第３カメラが、前記第１カメラ及び第２カメラから等距離に位置し、前記第３カメラが、前記第１カメラの解像度よりも解像度倍率ｒだけ高い解像度を有する、前記第３カメラと；画像を前記第１カメラ、前記第２カメラ、及び前記第３カメラから受信するように構成される画像信号プロセッサと、を含み、前記画像信号プロセッサは、前記第１カメラ、第２カメラ、及び第３カメラのキャリブレーションずれを検出するように構成され、第１基線は、前記第２カメラと前記第１カメラとの間に延び、第２基線は、前記第２カメラと前記第３カメラとの間に延び、前記第１基線と前記第２基線とがなす角度αは略α_optimalであり、以下の関係

【数1】

が成り立つ。

【0015】

前記解像度倍率は１．０とすることができ、前記角度αは、２６．０度〜４４．３度の範囲とすることができる。前記角度αは、２８．９度〜４１．９度の範囲とすることができる。前記角度αは約３５．６度とすることができる。

【0016】

前記解像度倍率は２．０とすることができ、前記角度αは、２１．４度〜５３．４度の範囲とすることができる。

【0017】

前記第１カメラ及び前記第２カメラは、不可視光を撮影するように構成することができ、前記第３カメラは、可視光を撮影するように構成することができる。

【0018】

前記奥行き知覚カメラシステムは更に、前記第１カメラと前記第２カメラとの間に配置される投影装置を備え、前記投影装置は、不可視光凹凸パターンを前記重畳視野の方向に放出するように構成される。

【0019】

前記画像信号プロセッサは、前記第１カメラ、第２カメラ、及び第３カメラの前記キャリブレーションずれを：特徴点を前記第１カメラで撮影される第１画像中に検出し；前記特徴点を前記第２カメラで撮影される第２画像中に検出し；前記特徴点を前記第３カメラで撮影される第３画像中に検出し、前記第３カメラが、前記第１カメラ及び第２カメラと同一直線上には位置しておらず；第１共役エピポーラ線を前記第２画像中に、前記第１画像中の前記特徴点の検出位置、及び複数のキャリブレーションパラメータに従って特定し；第２共役エピポーラ線を前記第２画像中に、前記第３画像中の前記特徴点の検出位置、及び前記複数のキャリブレーションパラメータに従って特定し；前記第２画像中の前記特徴点の検出位置と前記第１及び第２共役エピポーラ線との差異を計算し；前記差異が閾値を上回ると、前記奥行きカメラシステムのキャリブレーションずれが発生していることを示す通知を出力することにより検出するように構成することができる。

【0020】

前記差異は、第１差異及び第２差異を含むことができ、前記画像信号プロセッサは前記差異を：前記第２画像中の前記特徴点の前記検出位置と前記第１共役エピポーラ線との第１差異を計算し；前記第２画像中の前記特徴点の前記検出位置と前記第２共役エピポーラ線との第２差異を計算することにより計算するように構成することができる。

【0021】

前記画像信号プロセッサは更に：前記第１共役エピポーラ線と前記第２共役エピポーラ線との交点の位置を計算し；前記差異を、前記第２画像中の前記特徴点の前記検出位置と前記交点の前記位置との間の距離を計算することにより計算するように構成することができる。

【0022】

本発明の１つの実施形態によれば、モバイル機器は：ディスプレイと；赤外線画像を撮影するように構成される第１カメラであって、前記第１カメラが前記ディスプレイの第１辺縁に隣接する、前記第１カメラと；前記ディスプレイの前記第１辺縁に隣接する第２カメラと；前記第１カメラ及び第２カメラと同一直線上に位置しないように、かつ前記ディスプレイの第２辺縁に隣接するように配置される第３カメラであって、前記第１カメラ、第２カメラ、及び第３カメラが、実質的に重畳する重畳視野を有し、前記第２カメラ及び第３カメラのうち少なくとも一方のカメラが、可視光画像を撮影するように構成され、前記第３カメラが、前記第１カメラ及び第２カメラから等距離に位置し、前記第３カメラが、前記第１カメラの解像度よりも解像度倍率ｒだけ高い解像度を有する、前記第３カメラと；前記ディスプレイを制御し、画像を前記第１カメラ、前記第２カメラ、及び前記第３カメラから受信するように構成される画像信号プロセッサと、を含み、前記画像信号プロセッサは、前記第１カメラ、第２カメラ、及び第３カメラのキャリブレーションずれを検出するように構成され、第１基線は、前記第２カメラと前記第１カメラとの間に延び、第２基線は、前記第２カメラと前記第３カメラとの間に延び、前記第１基線と前記第２基線とがなす角度αは略α_optimalであり、以下の関係

【数2】

が成り立つ。

【0023】

前記解像度倍率ｒは１．０とすることができ、前記角度αは、２６．０度〜４４．３度の範囲とすることができる。前記角度αは、２８．９度〜４１．９度の範囲とすることができる。前記解像度倍率ｒは２．０とすることができ、前記角度αは、２１．４度〜５３．４度の範囲とすることができる。

【0024】

前記画像信号プロセッサは、前記第１カメラ、第２カメラ、及び第３カメラの前記キャリブレーションずれを：特徴点を前記第１カメラで撮影される第１画像中に検出し；前記特徴点を前記第２カメラで撮影される第２画像中に検出し；前記特徴点を前記第３カメラで撮影される第３画像中に検出し、前記第３カメラが、前記第１カメラ及び第２カメラと同一直線上には位置しておらず；第１共役エピポーラ線を前記第２画像中に、前記第１画像中の前記特徴点の検出位置、及び複数のキャリブレーションパラメータに従って特定し；第２共役エピポーラ線を前記第２画像中に、前記第３画像中の前記特徴点の検出位置、及び前記複数のキャリブレーションパラメータに従って特定し；前記第２画像中の前記特徴点の検出位置と前記第１及び第２共役エピポーラ線との差異を計算し；前記差異が閾値を上回ると、前記第１カメラ、第２カメラ、及び第３カメラのキャリブレーションずれが発生していることを示す通知を出力することにより検出するように構成することができる。

【図面の簡単な説明】

【0025】

添付の図面は、本明細書と一体となって、本発明の好適な実施形態を例示し、詳細な説明と一体となって、本発明の原理を説明するのに役立つようになっている。

【図1】図１は、空間中の所定のポイントを撮像する１つの実施形態による奥行き知覚カメラシステムの模式図である。

【図2A】図２Ａは、本発明の１つの実施形態による奥行き知覚カメラシステムを示すブロック図である。

【図2B】図２Ｂは、本発明の１つの実施形態による３台のカメラを含む奥行き知覚カメラシステムの斜視図である。

【図3】図３は、２台のカメラの間の遮蔽を示している。

【図4】図４は、３台のカメラが同一直線上に位置している３眼システムの回転によるキャリブレーションずれを示している。

【図5A】図５Ａは、平行等位化を行なった後のカメラペアのピンホールモデルの模式図である。

【図5B】図５Ｂは、平行等位化を行なった後の、かつカメラ群のうち１台のカメラが回転を経た後のカメラペアのピンホールモデルの模式図である。

【図5C】図５Ｃは、キャリブレーションずれを発生させる変形を受ける前後の第１カメラの出力画像中の特徴点の位置ｘ₁、及び第２カメラの出力画像中の特徴点の位置ｘ₂及びx^₂をそれぞれ模式的に示している。

【図6】図６は、同一直線上に位置していない３台のカメラの配置構成が異なる本発明の２つの異なる実施形態を示している。

【図7】図７は、カメラ群のうち１台のカメラのキャリブレーションずれが発生している本発明の１つの実施形態による３眼カメラシステムを示している。

【図8】図８は、本発明の１つの実施形態による奥行き知覚カメラシステムを示す模式図である。

【図9A】図９Ａ及び図９Ｂは、視差誤差を、１台のカメラのキャリブレーションずれが発生している、又はｙ軸線回りに回転するときの角度ψの関数として分析した結果を示すグラフである。

【図9B】図９Ａ及び図９Ｂは、視差誤差を、１台のカメラのキャリブレーションがずれている、又はｙ軸線回りに回転するときの角度ψの関数として分析した結果を示すグラフである。

【図10】図１０は、本発明の１つの実施形態によるキャリブレーションずれ現象を検出する方法を示すフローチャートである。

【図11A】図１１Ａ、図１１Ｂ、及び図１１Ｃは、本発明の実施形態による少なくとも３台のカメラを含む奥行きカメラシステムにおける遮蔽及びエピポーラ誤差検出の分析結果を示すグラフである。

【図11B】図１１Ａ、図１１Ｂ、及び図１１Ｃは、本発明の実施形態による少なくとも３台のカメラを含む奥行きカメラシステムにおける遮蔽及びエピポーラ誤差検出の分析結果を示すグラフである。

【図11C】図１１Ａ、図１１Ｂ、及び図１１Ｃは、本発明の実施形態による少なくとも３台のカメラを含む奥行きカメラシステムにおける遮蔽及びエピポーラ誤差検出の分析結果を示すグラフである。

【図11D】図１１Ｄは、カメラ群のうち２台のカメラが、長さ５０ｍｍの基線に沿って配置され、カメラ群のうち１台のカメラが、他の２台のカメラよりも高い解像度を有する、３台のカメラを備える本発明の１つの実施形態による奥行きカメラシステムの分析結果を示すグラフである。

【発明を実施するための形態】

【0026】

以下の詳細な説明では、本発明の特定の好適な実施形態についてのみ、例を通して示し、説明する。当業者であれば理解できることであるが、本発明は、多くの異なる形態で具体化されてもよく、本明細書に記載される実施形態に限定されると解釈されるべきではない。同様の参照番号は、同様の構成要素を、本明細書全体を通じて指している。

【0027】

一般的に言うと、立体視奥行きカメラシステムは、２台のカメラを含むことができ、これらのカメラは、互いに離間され、高剛性フレームのような共有構造に高剛性に取り付けられる。２台のカメラで撮像されるシーン中の特徴点の奥行きを検出するために、奥行きカメラシステムは、これらのカメラで撮影される画像群の各画像中の特徴点のピクセル位置を導出する。２つの画像中の特徴点間の距離は、物体の距離又は奥行きに反比例する視差と表記される（これは、物体を片方の眼で一度に見るときに物体が「ずれる」量を比較する場合の影響である−ずれの大きさは、物体が視認者の眼からどれだけ離れているかに依存し、物体がより近くなると、ずれがより大きくなり、物体がより遠くなると、ずれがより小さくなり、所定距離だけ離れた位置にある物体は、検出可能なずれがほとんど無いか、全くない）。

【0028】

以下の説明では、奥行きカメラシステムの画像取得システムは、「マスター」カメラ及び１台以上の「スレーブ」カメラと表記することができる少なくとも２台のカメラを有していると表記することができる。一般的に言うと、推定奥行きマップ又は視差マップは、マスターカメラの視点に基づいて算出されるが、これらのカメラのいずれのカメラもマスターカメラとして使用してもよい。本明細書において使用されるように、master/slave、left/right、above/below、first/second/third、及びＣＡＭ１／ＣＡＭ２／ＣＡＭ３は、特に断らない限り、同じ意味に使用される。別の表現をすると、これらのカメラのうちいずれか１つのカメラは、マスターカメラ又はスレーブカメラとすることができ、カメラの右側にあるカメラを基準として左側にあるカメラに関する注意事項は、対称性により、他方の方向に当てはめることもできる。また、以下に提示される注意事項は、様々な台数のカメラに関しても有効である。

【0029】

マスターカメラとスレーブカメラとの間の視差の大きさは、奥行きカメラシステムの物理特性によって異なり、物理特性として、カメラのピクセル解像度、カメラ間の距離、及びカメラの視野を挙げることができる。したがって、正確な奥行き測定値を生成するために、奥行きカメラシステム（又は、奥行き知覚カメラシステム）のキャリブレーションは、これらの物理特性に基づいて行なわれる。

【0030】

幾つかの奥行きカメラシステムでは、これらのカメラは、カメラのイメージセンサの水平ピクセル行が略平行となるように配置することができる。画像修正技術を使用して、カメラのレンズの形状、及びカメラの向きの変化に起因する画像の歪みを吸収することができる。

【0031】

また、照合特徴点を、重畳視野を有する複数台カメラを備える奥行きカメラシステムにおいて特定する作業は、エピポーラ線の近傍の領域に対する探索範囲を狭くすることにより加速することができる。更に詳細には、第１カメラによる画像中のピクセルは、第２カメラによる画像中のエピポーラ線分に後方投影することができ、エピポーラ線分は、元の視線光線の投影像の間に延びている。したがって、１つの画像中に検出される特徴点は、第２画像へのピクセルの投影像に対応するエピポーラ線に沿って発見することができるので、照合特徴点の探索範囲を、第２画像全体に跨る探索範囲ではなく、略直線状の探索範囲に限定することができる。これらの方法は、例えば Springer, 2010, p.467 et seq. に掲載された R.Szeliski. による“Computer Vision: Algorithms and Applications”と題する論文に更に詳細に記載されている。例えば、図１を参照すると、図１は、３台カメラシステム又は３眼カメラシステムを示しており、エピポーラ線１３１−２、１３１−３、１３２−１、及び１３３−１が、点線で図示されている。

【0032】

図１は、空間中の所定のポイントを撮像する１つの実施形態による奥行き知覚カメラシステムの模式図である。図１を参照するに、第１カメラＣＡＭ１、第２カメラＣＡＭ２、及び第３カメラＣＡＭ３は、３次元空間（３Ｄ空間又はｘ−ｙ−ｚ空間）中のポイントｐを撮像する。これらのカメラの各カメラは、撮像平面１１１，１１２，１１３（例えば、イメージセンサに対応する）及び中心ポイント１２１，１２２，１２３を有する。ポイントｐは、それぞれの位置ｘ₁，ｘ₂，及びｘ₃にある撮像平面１１１，１１２，１１３に投影される。カメラの中心と、これらのカメラの該当する撮像平面と、の間の仮想直線の交差ポイントには、白抜き円の記号が付されている。例えば、ＣＡＭ１及びＣＡＭ２の中心１２１と中心１２２との間の直線は、これらのカメラの該当する撮像平面１１１及び１１２と、１４１−２及び１４２−１の位置で交差する。同様に、ＣＡＭ１及びＣＡＭ３の中心１２１と中心１２３との間の直線は、これらのカメラの該当する撮像平面１１１及び１１３と、１４１−３及び１４３−１の位置で交差する。

【0033】

カメラのキャリブレーションが、以下に更に詳細に説明される通りに行なわれる場合、撮像平面１１１上の位置ｘ₁は、３Ｄポイントｐに対応する撮像平面１１２の共役エピポーラ線１３２−１に投影することができ、位置ｘ₂は、共役エピポーラ線１３２−１上に位置する。同様に、位置ｘ₂は、ポイントｐに対応する撮像平面１１１の共役エピポーラ線１３１−２に投影することができ、位置ｘ₁は、共役エピポーラ線１３１−２上に位置する。同様に、撮像平面１１１上の位置ｘ₁は、ポイントｐに対応する撮像平面１１３の共役エピポーラ線１３３−１に投影することができ、位置ｘ₃は、共役エピポーラ線１３３−１上に位置する。位置ｘ₃は、ポイントｐに対応する撮像平面１１１の共役エピポーラ線１３１−３に投影することができ、位置ｘ₁は、共役エピポーラ線１３１−２上に位置する。したがって、以下に更に詳細に説明されるように、共役エピポーラ線は、画像群の各画像中の各位置に対応して、既知のキャリブレーションパラメータに基づいて特定することができる。

【0034】

したがって、キャリブレーションが正しく行なわれると、ＣＡＭ１の撮像平面１１１へのポイントｐの投影像は、エピポーラ線１３１−２及び１３１−３の交点に位置する。

【0035】

図１はまた、ｐを含む３Ｄシーンの他の構成部が更に、画像を撮像平面１１１，１１２，及び１１３上に有することを示しており、ポイントｐ₁、及びｐをｐ₁に連結する線分Ｉ₁に注目されたい。

【0036】

カメラキャリブレーション情報は、入力画像を修正するために必要な情報となって、同等のカメラシステムのエピポーラ線が、平行等位化を行なった後の画像の走査線に一致するようになる。このような事例では、シーン中の３Ｄポイントは、平行等位化を行なった後のマスター画像中及びスレーブ画像中の同じ走査線インデックスに投影される。ｘ₁ 及び ｘ₂ を、同等のマスターカメラ及び同等のスレーブカメラのぞれぞれのカメラ内の同じ３Ｄポイントｐの画像の走査線上の座標とし、各カメラでは、これらの座標は、原点（光軸が焦点面と交わる交点）を中心とし、かつ平行等位化を行なった後の画像の走査線と平行な横軸を有する軸座標系を基準としている。上に説明したように、差異ｘ₁−ｘ₂は、視差と呼ばれ、ｄで指示される；視差は、修正カメラを基準とする３Ｄポイントの直交距離（すなわち、いずれかのカメラの光軸上へのポイントの直交投影線の長さ）に反比例する。

【0037】

本発明の幾つかの実施形態では、奥行きカメラシステムは、２つの不可視光カメラと、１つの可視光カメラ又はカラーカメラと、を含み、システムは、カラーカメラの各カラーピクセルに関する奥行き推定結果を算出するように構成される。これらの実施形態では、不可視光及び可視光の両方を撮影することにより、奥行きカラー知覚カメラシステムを有効にすることができる（ＲＧＢ−Ｄシステム又はＲＧＢ−Ｚシステムと表記される場合があり、ＲＧＢは「赤色緑色青色」を表わし、Ｄ又はＺは、「奥行き」を表わしている）。幾つかの実施形態では、不可視光カメラは赤外線カメラとすることができる。別の表現をすると、通常の使用法では、奥行き情報をカラーカメラの視野から、奥行きカメラの視野からカラーカメラの視野に映し出される奥行き情報に「ゆがみを与える」ことにより取得する。ゆがみを与えることができるためには、カラーカメラのキャリブレーションが更に、奥行きカメラを基準にして行なわれる。また、カラーカメラは普通、不可視光カメラよりも多くのピクセル（又は、より高い解像度）を有し、追加カラー情報を奥行き計算アルゴリズムに与えて、システムの奥行き計算の全体精度を向上させることができる。更に、カラーカメラのカラー情報及び高解像度が使用される場合でも、第３カメラは、例えば２台のカメラしか使用しない場合に遮蔽される可能性があるシーンの一部の奥行きを与えることにより高精度の奥行き計算を可能にするのに役立つことができる。

【0038】

上に説明したように、複数台カメラを使用する奥行きカメラシステムのキャリブレーションは通常、制御型環境の状況において行なわれて、互いに対するカメラの物理的位置及び向きの問題を解決するようになっている。例えば、高剛性フレームに取り付けられる複数台カメラは、互いに対して様々な向きになるように、かつ互いから様々な距離に位置するように配置することができる。取り付け作業時の不正確及び変動により、カメラの最終位置が奥行きカメラシステムごとに異なってしまう。したがって、キャリブレーション作業を行なってキャリブレーションパラメータを生成することにより、正確な奥行き測定結果をカメラの実際位置に基づいて算出することができ、キャリブレーション作業では、撮像平面の各撮像平面内のピクセル群に対応する複数の共役エピポーラ線を定義する。キャリブレーション作業では通常、キャリブレーション対象物（市松模様のように見える）の１つ以上の画像を既知の幾何学を用いて撮影し、撮像平面内の一連の３Ｄポイント及びこれらのポイントの（サブ）ピクセル位置の投影方程式を解く。幾つかのシステムでは、このキャリブレーションは、製造時（例えば、カメラシステムを組み付けた後）に行なわれ、キャリブレーション設定を装置に、エンドユーザに供給する前に書き込むことができる。

【0039】

理想的なシナリオでは、製造時のキャリブレーションは、カメラ間の物理的関係が不変のままである環境において十分とすることができる。例えば、ビデオアーケード機の奥行きカメラシステムは、アーケードキャビネットに高剛性に取り付けることができ、アーケードキャビネットにより保護することができる。別の例として、家庭用ビデオゲームコンソールの奥行きカメラシステムは、テレビ画面に隣接して設置することができ、概して、システムの寿命全体を通じて、ほぼ静置することができる。

【0040】

実際、多くの環境では、カメラ間の物理的関係は、大きな変化を装置の寿命全体に亘って受ける可能性がある。ビデオゲームアーケード機は、プレイヤーにより頻繁に酷使され、家庭用ビデオゲームコンソールの部品は、ひっくり返される、及び／又は踏みつけられる可能性がある。別の例として、スマートフォン、タブレット、ラップトップ、及び他の携帯型コンピューティング装置のようなモバイル機器又はモバイルコンピューティング装置は普通、集積型ディスプレイを含み、頻繁に落とされ、曲げられ、大きな温度変化を受け、様々な他のやり方で間違って扱われるので、モバイル機器に組み込まれる奥行きカメラシステムは、カメラが高剛性フレームに取り付けられる場合でも、キャリブレーションがずれてしまう。

【0041】

その結果、モバイル機器に取り付けられる奥行きカメラシステム、又はスタンドアローン型ポータブル奥行きカメラシステムの複数台カメラは、必ずしも、同じ物理的関係を奥行きカメラシステムの寿命全体を通じて維持することができる訳ではない。例えば、図４に示すように、モバイル機器の永久的湾曲のような変形により、カメラの向きに変化が生じる可能性がある。これにより、カメラシステムのキャリブレーションがずれて、奥行きカメラシステムが、正確な奥行き情報を計算しなくなる。例えば、図４（ｃ）に示す変形後の奥行きカメラシステムは、物体が実際に位置している位置よりもずっと遠く離れているものとして物体を計算する可能性がある。このキャリブレーションずれ、及び正確度低下により、キャリブレーションがずれている奥行きカメラシステムを使用してユーザジェスチャ入力を検出する場合の機能が低下するか、又は損なわれ、更には、ツールとして使用されて外界の物体のサイズ及び位置を測定する場合の誤差が非常に大きくなる。したがって、キャリブレーションがずれている状態を、好適には、ユーザが明示的な検証を行なうことなく検出可能になることが重要である。

【0042】

再キャリブレーション作業が難しくなってしまうが、その理由は、製品を再キャリブレーション中に使用不能にする必要があるとともに、再キャリブレーションが、膨大な計算処理リソースを必要とするからである。したがって、再キャリブレーション作業が、カメラのキャリブレーションが実際にずれている場合に行なわれることが重要である。

【0043】

これらの問題に鑑みて、本発明の実施形態は、複数台カメラを有する奥行きカメラシステムに関するものであり、これらのカメラを配置して、キャリブレーションがずれている状態を、奥行きマップの生成機能を高く維持しながら検出する。本発明の１つの実施形態は、これらの特性を有する３台カメラ（又は、３眼カメラ）システムに関するものである。

【0044】

奥行きカメラシステムは、画像処理システムに組み込むことができる。本発明の多くの実施形態による画像処理システムは、多種多様なソフトウェア構成可能なコンピューティング装置を使用して実行することができ、コンピューティング装置として、（これらには限定されないが）パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、エンベデッドデバイス、拡張現実（ＡＲ）機器及び仮想現実（ＶＲ）機器（例えば、ヘッドギア）を挙げることができ、（これらには限定されないが）テレビ、ディスクプレーヤ、セットトップボックス、及びゲームコンソールのようなコンシューマ電子機器を挙げることができる。本発明の１つの実施形態による画像処理システムを図２Ａに示す。画像処理システム１００は、画像信号プロセッサ（又は、カメラインタフェース）２４及びディスプレイインタフェース２６と通信するように構成されるプロセッサ２２を含む。画像処理システムは更に、メモリ２８を含み、メモリ２８は、半導体記憶装置及び／又はディスク記憶装置を含む１つ以上の異なる種類のストレージの形態を採ることができる。図示の実施形態では、プロセッサ２２は、メモリ２８に格納されるオペレーティングシステム３０を使用して構成される。

【0045】

多くの実施形態では、プロセッサは、ビデオデータフレームを、画像信号プロセッサ２４を介して少なくとも１台のカメラ（例えば、カメラＣＡＭ１，ＣＡＭ２，及びＣＡＭ３）から受信する。カメラインタフェースは、特定の用途の要求に適する多種多様なインタフェースのいずれかとすることができ、当該インタフェースとして（これらには限定されないが）、オレゴン州ビーバートンにあるＵＳＢ−ＩＦ社が規定するＵＳＢ２．０インタフェース規格又はＵＳＢ３．０インタフェース規格、及び非営利団体ＭＩＰＩ Ａｌｌｉａｎｃｅが規定するＭＩＰＩ−ＣＳＩ２インタフェースを挙げることができる。複数の実施形態では、受信ビデオデータフレームは、３つの色チャネルの強度値として表わされるＲＧＢカラーモデルを使用して表わされる画像データを含む。幾つかの実施形態では、受信ビデオデータフレームは、１つの色チャネルの強度値を使用して表わされる単色画像データを含む。幾つかの実施形態では、画像データは可視光を表わす。他の実施形態では、画像データは、（これらには限定されないが）スペクトルの赤外線領域、近赤外線領域、及び紫外線領域を含むスペクトルの非可視光領域（又は、不可視光領域）の光強度を表わしている。特定の実施形態では、画像データは、これに限定されないが、超音波信号を含む、他のソースにより生成される電気信号に基づいて生成することができる。幾つかの実施形態では、受信ビデオデータフレームは、Joint Photographic Experts Group が規定する Motion JPEG ビデオフォーマット（ISO/IEC JTC1/SC29/WG10）を使用して圧縮される。複数の実施形態では、ビデオデータフレームは、ブロックベースの映像符号化方式を使用して符号化され、映像符号化方式として、（これに限定されないが）ITU-T Video Coding Experts Group（ＶＣＥＧ）が ISO/IEC JTC1 Motion Picture Experts Group と一体となって開発した H.264/MPEG-4 Part 10（Advanced Video Coding：最新映像符号化）規格を挙げることができる。特定の実施形態では、画像処理システムは、生の画像データ（RAW image data）を受信する。

【0046】

本発明の幾つかの実施形態では、奥行き知覚カメラシステムは、インタフェース４０を含むことにより、当該システムをコンピュータのようなホストハードウェア装置に接続することができる。インタフェース４０は、例えばＵＳＢ２．０接続又はＵＳＢ３．０接続とすることができる。

【0047】

本発明の幾つかの実施形態は、カメラ群のうち１台以上のカメラで検出可能なスペクトル領域で発光するように構成される能動型照明プロジェクタ１８を含む。例えば、１台以上の不可視光カメラ（例えば、２台の赤外線カメラＣＡＭ１及びＣＡＭ２）を含む本発明の実施形態では、能動型照明プロジェクタは、赤外光凹凸パターンを放出するように構成することができる。幾つかの実施形態では、能動型照明プロジェクタ１８は、プロジェクタが放出するスペクトルに対応する光を検出するように構成されるカメラ群の間に配置される（カメラ群と同一直線上に配置される）。例えば、能動型照明プロジェクタが、赤外光を放出するように構成される実施形態では、プロジェクタは、２台の赤外線カメラの間に配置することができる。能動型照明プロジェクタ１８は、発光ダイオード（ＬＥＤ）又はレーザのような光源を使用して実現することができ、光源は、パターンを生成するように構成される光学系に接続することができる。このようなシステムの例が、例えば「Systems and Methods for Reducing Z-Thickness and Zero-Order Effects in Depth Cameras」と題する米国特許出願第１４／７４３，７３８号明細書、及び「3D Depth Sensor and Projection System and Methods of Operating Thereof」と題する米国特許出願第１４／７４３，７４２号明細書に記載されており、これらの米国特許出願は共に、米国特許商標庁に２０１５年６月１８日に出願され、これらの米国特許出願の開示内容全体が、参照により本明細書に援用される。

【0048】

様々な実施形態では、カメラは、相補型金属酸化物半導体（ＣＭＯＳ）デジタルイメージセンサ又は電荷結合型素子（ＣＣＤ）デジタルイメージセンサのような標準的なデジタルイメージセンサを含むことができる。また、カメラ群の各カメラは普通、入射光を個々のカメラのイメージセンサに集光させるように構成される１つ以上のレンズのような光学系を含む。幾つかの実施形態では、赤外線カメラ及びカラーカメラのセンサは、略同様とすることができるが、単にフィルタの有無の点で異なるようにすることができる（例えば、Ｂａｙｅｒパターンに配置される赤色フィルタ、緑色フィルタ、及び青色フィルタのようなカラーフィルタ、又は赤外線領域に対応する帯域通過フィルタもしくは低域通過フィルタ）。幾つかの実施形態では、赤外線カメラは、カラーカメラよりも大きなサイズのピクセルを備えるセンサを有することができ、これらの実施形態では、赤外線カメラは、カラーカメラよりも低い解像度を有することができる。しかしながら、本発明の実施形態は、これらには限定されない。

【0049】

幾つかの実施形態では、奥行き知覚３眼カメラシステム１００は、画像処理システム内で、及び／又は画像処理システムの外部で集積化することができる表示装置を駆動するように構成されるディスプレイインタフェース２６を含む。複数の実施形態では、カリフォルニア州サニーベールにある HDMI Licensing,LLC 社が規定する HDMI High Definition Multimedia Interface（高精細度マルチメディアインタフェース）を利用して表示装置とのインタフェースとする。他の実施形態では、特定の用途の要求に適する多種多様なディスプレイインタフェースのいずれのディスプレイインタフェースも利用することができる。ディスプレイと一体化される本発明の幾つかの実施形態では、カメラは、ディスプレイを取り囲むベゼル領域に配置することができ、カメラ群のうち少なくとも１台のカメラは、他のカメラ群のうち少なくとも１台のカメラとは異なるディスプレイの辺縁に隣接して配置される（例えば、２台のカメラは、ディスプレイの第１辺縁に沿って配置することができ、第３カメラは、ディスプレイの第１辺縁に対向し、かつ第１辺縁に平行なディスプレイの第２辺縁に沿って配置することができる）。

【0050】

図２Ｂは、本発明の１つの実施形態による３台のカメラを含む奥行き知覚カメラシステムの斜視図である。図２Ｂに示す実施形態では、カメラＣＡＭ１，ＣＡＭ２，及びＣＡＭ３は、略同じ方向を向くように、かつ重畳視野を有するように配置される。更に、能動型照明部品１８は、カメラＣＡＭ１、ＣＡＭ２，及びＣＡＭ３と同じ方向を向き、ＣＡＭ１及びＣＡＭ２と同一直線上に、かつＣＡＭ１とＣＡＭ２との間に配置される。外部インタフェース４０を使用して、奥行き知覚カメラシステムをホスト装置に接続することができる。

【0051】

奥行き検出及びキャリブレーション

【0052】

本発明の実施形態の態様について、２台の赤外線カメラ及び１台のカラーカメラがある状況として以下に説明する。しかしながら、本発明の実施形態は、これに限定されない。例えば、本発明の実施形態は、カメラ群の異なる組み合わせを使用することができ、例えば：２台のカラーカメラを１台の赤外線カメラと組み合わせて使用する；３台の赤外線カメラを使用する；又は、３台のカラーカメラを使用することができる。３台カメラ配置を本明細書では、「３眼」配置と表記するが、本発明の実施形態は、これに限定されず、幾つかの実施形態は、３台よりも多くのカメラを含むことができる。

【0053】

複数台カメラを有する奥行きカメラシステムのカメラ群の配置を設計する際の１つのファクタは、結果的に得られるシステムの設計精度である。理論的には、カメラ間の距離が長くなると、奥行き計算精度が高くなる。上に説明したように、キャリブレーションされた状態のステレオカメラペアを使用する３Ｄ空間中のポイントについての奥行き計算は、一方の（第１）カメラ内のポイントの画像と他方の（第２）カメラ内の同じポイントの画像との所謂ピクセル視差を測定し、次に三角測量法を適用することにより行なわれる。物体が遠く離れている場合（例えば、長い奥行きを有している場合）、視差はゼロになる。視差は、ポイントがカメラ（短い奥行きを有する位置）に近づくにつれて大きくなる。

【0054】

シーン中の全てのカメラ視認ポイントに関する奥行き計算を可能にするために、これらのカメラ内の３Ｄ空間中の撮像ポイント群の一致度を判断する。カメラのキャリブレーションを行なって「ピンホールカメラ」モデルに追従させる場合、これらのカメラ内の対応ポイント群は殆どが、それぞれの撮像平面内の所謂共役（関連）エピポーラ線（図１参照）上にある。図１では、例えば３Ｄ空間中のポイントｐに対応するカメラＣＡＭ１及びカメラＣＡＭ２に関する共役エピポーラ線を参照されたい。

【0055】

カメラ群（例えば、図２のＣＡＭ１及びＣＡＭ２）がイメージセンサのピクセル行に平行な直線に沿って配置される場合、カメラの画像を修正した後、画像のエピポーラ線はピクセル行に平行である。これにより、整合特徴点の探索を行毎の探索（キャリブレーション誤差が僅かであるので上下の行の数ピクセルの探索）に簡易化することができる。カメラ群がこのようには配置されない場合、エピポーラ線を設定し続けることになるが、エピポーラ線は、対応するセンサ行に必ずしも平行になる訳ではない。例えば、第３カメラＣＡＭ３がＣＡＭ１及びＣＡＭ２と同一直線上に位置していない場合、ＣＡＭ１とＣＡＭ３との間のエピポーラ線のみならず、ＣＡＭ１とＣＡＭ３との間のエピポーラ線が、画像を横切る対角線に沿って位置する。これについて、図７及び図８を参照して以下に更に詳細に説明する。

【0056】

一般的に言うと、高品質奥行きデータを、キャリブレーションずれの検出を可能にしながら供給することができるカメラ配置を設計する場合に少なくとも２つの競合するファクタが存在する。１つの注意事項は、遮蔽（例えば、少なくとも１台のカメラには見えるが、少なくとも１台の他のカメラには見えないシーンの一部の遮蔽）を低減させる、又は最小限に抑えることである。他の注意事項は、実際に発生すると予測される広範囲のキャリブレーションずれの可能性を検出することができることである。

【0057】

一般に、遮蔽は、カメラ群が互いに接近して配置される場合に低減する。図３は、２台のカメラＣＡＭ１及びＣＡＭ２の間の遮蔽を示している。図３に示すように、物体３０２は、カメラ（ＣＡＭ１及びＣＡＭ２）と背景３０４との間に位置している。背景３０４の背景構成部分Ｃ−Ｄは、ＣＡＭ１の視野から見えない。ＣＡＭ２がＣＡＭ１から距離ｄ_aの位置（ａ）に位置している場合、背景３０４の背景構成部分Ａ−Ｄは、物体３０２に遮られる。したがって、背景構成部分Ａ−Ｃは、ＣＡＭ１には見えるが、ＣＡＭ２には見えない。これとは異なり、ＣＡＭ２がＣＡＭ１により近い位置（ｂ）（ＣＡＭ１から距離ｄ_bの位置、ｄ_b＜ｄ_a）に位置している場合、背景３０４のより小さな背景構成部分Ｂ−Ｄは、物体３０２に遮られる。その結果、遮蔽量は、背景構成部分Ａ−Ｂのサイズだけ減少する。別の表現をすると、依然として背景構成部分Ｂ−ＣがＣＡＭ１に見えて、ＣＡＭ２には見えないが、背景構成部分Ｂ−Ｃは背景構成部分Ａ−Ｃよりも小さい。

【0058】

遮蔽は、対応する特徴点を画像中に特定する場合に問題となり得る。例えば、部分的に遮蔽されるシーン構成部分に検出される特徴点は、別の画像中ではなく１つの画像中に検出されることになるので、シーン中の特徴点の奥行きを求めることが不可能になる。別の例として、シーンの特徴点の色のような質感情報は、カラーカメラが撮像できないシーン構成部分について入手することもできない。

【0059】

３台以上のカメラを備える奥行きカメラシステムでは、カメラ群は必ずしも、同一直線上に位置している訳ではない。カメラ群が同一直線上に位置している場合、遮蔽は、カメラ群が形成する直線に直角な方向に沿って無くなるか、又は最小限に抑えられる。これとは異なり、遮蔽は、カメラが直線から外れると大きくなる。更に、カラーカメラを含む本発明の実施形態では、カラーカメラをマスターカメラ（例えば、結果的に得られる奥行き画像が視野に基づいて算出される場合の当該視野に対応するカメラ）により近接して配置することにより、遮蔽の影響を低減させることもできる。

【0060】

これとは異なり、以下に更に詳細に説明されるように、カメラ群のうち１台のカメラを「軸外に」配置することにより、システムは、様々な種類のキャリブレーションずれを検出する機能を向上させることができる。キャリブレーションがずれている状態又はキャリブレーションされた状態からずれた状態は、奥行き計算、及びカラー情報が奥行き情報でゆがむ場合のゆがみ計算（又は、カラー情報の融合計算）に影響を与えてしまう。具体的には、３眼配置からキャリブレーションずれが発生する場合、奥行きピクセル及びカラーピクセルが重なり合うことが正しくなくなる。重なり合うことが正しくない場合、ピクセルごとに撮像されるシーンの奥行きが正しくないか、又は同じシーンのカラーが正しくない可能性がある。この状態は、数ピクセルの誤差でも大きな誤差が生じてしまう物体のエッジにおいてかなり深刻になる。

【0061】

図４は、３台のカメラが同一直線上に位置する３眼システムの回転によるキャリブレーションずれを示している。図４（ａ）は、３眼カメラシステムの正面図である。図４（ｂ）は、キャリブレーションずれが発生する前の３眼カメラシステムの上面図である。図４（ｃ）は、カメラシステムが変形した後の奥行きカメラシステムの上面図である。図４（ｃ）に示すように、回転による変形（例えば、カメラの取り付け先の支持体又はフレームの湾曲）により、ＣＡＭ１及びＣＡＭ２が、カメラの原点軸に対してΨ度だけ回転し、互いに対して２Ψ度だけ回転している。この種類の変形は、温度、圧力、衝撃のような機械的原因により、又は他のカメラハンドリング問題に起因して起こり得る。非常に微小なキャリブレーションずれ（回転による変形）角度により巨視的な誤差が、視差測定に生じてしまい、したがって奥行き計算に生じてしまう。更に、３眼カメラシステムのカメラが同一直線上に位置する場合（例えば、図２Ａの配置の場合）、以下に更に詳細に説明するように、これらの誤差は検出するのが難しい。

【0062】

キャリブレーションされた状態からずれた状態又はキャリブレーションがずれている状態の検出

【0063】

図５Ａは、平行等位化を行なった後のカメラペアのピンホールモデルの模式図である。以下の説明では、キャリブレーションされた状態のステレオカメラシステムにおけるエピポーラ線の計算について簡単に再考察する。これは、例えば Cambridge University Press (2004) に掲載された Hartley and Zisserman による「Multiple View Geometry in Computer Vision, Second Edition」と題する論文に記載されている。

【0064】

図５Ａに示すように、焦点距離ｆを有するカメラＣＡＭ１及びＣＡＭ２は、距離Ｂだけ離間される。これらのカメラは、これらのカメラからｚ方向に沿って所定距離に位置するポイントｐを含むシーンを撮像する。ポイントｐを位置ｘ₁にあるイメージセンサに、又はＣＡＭ１の撮像平面１１１に投影し、位置ｘ₂にあるイメージセンサに、又はＣＡＭ２の撮像平面１１２に投影する。カメラペアの場合、内部キャリブレーションパラメータ及び外部キャリブレーションパラメータは、以下の通りに微調整することができる：

【数3】

【数4】

【数5】

【0065】

式中、Ｋは、全てがピクセル単位で測定されるｆ（焦点距離）、ｃ_x及びｃ_y（レンズの中心と撮像平面の中心とのずれ量）を定義するカメラ内部パラメータを指し、Ｒは、カメラの回転量（この場合、カメラを回転させるのではないので、恒等行列Ｉ）を指し、Ｔは、マスターカメラに対するカメラの並進移動量（この場合、第１カメラＣＡＭ１がマスターカメラであると考えられるので、第１カメラは、第２カメラＣＡＭ２がＣＡＭ１からｘ方向に沿って遠ざかるように距離Ｂだけ並進移動している間に並進移動しない）を指している。これらのキャリブレーションパラメータは、上に説明したキャリブレーション作業中に決定することができ、組み付け後の奥行き知覚カメラシステムは、既知の状態に設定される。ステレオペアのキャリブレーション及び平行等位化が行なわれている状態のこの場合の基本行列Ｆは以下の通りである：

【数6】

【0066】

ポイントｐが３次元空間中に以下の通りに与えられる：

【数7】

【0067】

ポイントｐを、以下の式で与えられる位置ｘ₁及びｘ₂にある２台のカメラに投影する：

【数8】

【数9】

【0068】

基本行列Ｆが与えられると、ＣＡＭ２のエピポーラ線Ｉ₁₂の方程式を、カメラ１のポイントｘ₁の観測値に基づいて算出することができる：

【数10】

【0069】

これは、ｘ₂のｙ座標値に対応する垂直シフト量を持って通過することによりエピポーラ線上に位置するようになる横線の方程式である。

【0070】

図５Ｂは、平行等位化を行なった後の、かつカメラ群のうち１台のカメラが回転を経た後のカメラペアのピンホールモデルの模式図である。以下の説明では、一般性を失うことなく、カメラ群のうち１台のみのカメラ（例えば、第２カメラＣＡＭ２）の焦点面が、キャリブレーションずれを起こす回転を経ているのに対し、基線（カメラＣＡＭ２とカメラＣＡＭ２との間の距離）は変化しておらず、他のカメラ又はカメラ群（例えば、第１カメラＣＡＭ１）の焦点面の角度は変化していないと仮定することとする。更に、奥行きカメラシステムは、ポイントｐをシステムのカメラの視野内に投影する際の投影位置（空間中のポイントｐの共役画像ポイントｘと表記される）を、システムのキャリブレーションずれが発生する前のシステムに関するキャリブレーションパラメータに基づいて算出することができると仮定する。

【0071】

本発明の実施形態の態様は、１つ以上の照合画像ポイント（例えば、ポイントｐにある特徴点に対応する撮影画像中の共役画像ポイントｘ）の分析結果に基づいて、奥行きカメラシステムが、キャリブレーション状態を維持することができなくなる（キャリブレーションがずれている状態になる、又はキャリブレーションされた状態からずれた状態になる）と判断するシステム及び方法に関するものである。一般的に言うと、キャリブレーションずれは、測定画像ポイントが、これらの画像ポイントが共役エピポーラ線上に発見されると予測される当該共役エピポーラ線から離れた箇所に位置している場合に検出することができる。共役画像ポイントｘの位置を、共役画像ポイントがエピポーラ線上に現われると予測される当該エピポーラ線から外れるように共役画像ポイントを移動させることなく変化させてしまったキャリブレーションずれ現象は、シーン中の物体の奥行きに関する判断を妥当であるが正しくない判断にしてしまう。

【0072】

図５Ｂに示すように、ＣＡＭ２は、Ψ度だけ回転し、その結果、ポイントｐが、撮像平面又はイメージセンサ１１２’に、回転前の当該共役画像ポイントの位置ｘ₂とは異なる新たな位置x^₂に投影される（イメージセンサ１１２で図示されるように）。この差異により、奥行きカメラシステムは、ｘ₁とｘ₂との正しい視差よりもｘ₁とx^₂との視差が増えているので、ポイントｐを、ポイントｐが実際に位置する奥行きよりも長い奥行きを有するものとして間違って計算することになる。更に正式に表現すると、カメラ群のうち１台のカメラは、Ｒ（Ψ）の回転を経ている：

【数11】

更に、x^₂は、以下の通りに表現することができる：

【数12】

【0073】

図５Ｃは、変形を受ける前後それぞれの第１カメラＣＡＭ１の出力画像中の位置ｘ₁、及び第２カメラＣＡＭ２の出力画像中の位置ｘ₂及びx^₂を模式的に示している。図５Ｃに示すように、位置ｘ₁はＣＡＭ１のイメージセンサ１１１へのポイントｐの投影点に対応する。ＣＡＭ１の画像の位置ｘ₁は、エピポーラ線１３２−１に沿って位置しているので、カメラＣＡＭ１及びカメラＣＡＭ２がキャリブレーション状態にある場合、ＣＡＭ２のイメージセンサ１１２の位置ｘ₂へのポイントｐの投影点もエピポーラ線５０６上に位置している。

【0074】

しかしながら、図５Ｃに示すように、ＣＡＭ２が変形を受けた後、ポイント ｐ は位置 x^₂ に投影される。x^₂とｘ₂との間のベクトルは「誤差」ｅ（例えば、ｅ＝x^₂−ｘ₂）と表記され、誤差ｅは、エピポーラ線５０６に平行な成分ｅ_‖、及びエピポーラ線５０６と直交する成分ｅ_⊥（又は、「エピポーラ線から外れる」成分）に分解することができる（例えば、ｅ＝ｅ_⊥＋ｅ_‖）。

【0075】

概括すると、平行誤差ｅ_‖は、ポイントｐにある特徴点の画像が第２画像中の位置ｘ₂にあることが普通、第１画像中の位置ｘ₁に対応するエピポーラ線に沿ったいずれの箇所においても合理的である、又は妥当であることから殆ど検出することができないのに対し、エピポーラ線から外れる誤差ｅ_⊥は、より容易に検出可能である。

【0076】

２台カメラシステムでは、基線に平行な軸線回りのカメラの回転、又は大きな回転成分を基線に平行な軸線回りに持つ回転のような数種類の回転により、エピポーラ線から外れる誤差ｅ_⊥が非常に大きくなるが、これは、誤差を容易に検出して報告することができる、又は補正することができるので望ましい。

【0077】

これとは異なり、平行誤差又は「エピポーラ線上にある場合の」誤差ｅ_‖は検出不能である可能性があり、キャリブレーションずれ現象は、ｅ_⊥が観測されるために十分大きい場合に検出することもできる。例えば、ｙ軸線回りの（例えば、エピポーラ線と直角な方向回りの）単純回転により、エピポーラ線と直角な方向回りの誤差ｅ_⊥を殆ど無くすことができる。これらの種類の誤差は、取り付けボードがカメラ間の基線と直角な直線回りに湾曲する状況におけるような場合に現実的に起こり得る。

【0078】

本明細書における分析結果から分かるように、２台カメラシステムでは、キャリブレーションずれが、カメラが２台のカメラの間の基線と直角な軸線回りに回転することにより発生する場合、エピポーラ線から外れる場合の誤差ｅ_⊥は普通、エピポーラ線上にある場合の誤差ｅ_‖よりもずっと小さい（例えば、ｅ_⊥≪ｅ_‖）。したがって、この種類のキャリブレーションずれ現象が発生している状態では、ステレオシステムが、共役画像ポイントペアが現われることによりキャリブレーションずれが発生しているのを発見するのが難しい。したがって、必要なのは、キャリブレーションずれが発生している状態から大きなｅ_⊥誤差が生じて当該誤差を更に容易に検出可能なカメラシステムである。

【0079】

このようなことから、本発明の実施形態は、最も一般的な更に多種多様なキャリブレーションずれが発生している状況を検出することができる奥行きカメラシステムに関するものであり、奥行きカメラシステムは、同一直線上に位置していない少なくとも３台のカメラを含む。

【0080】

図６は、同一直線上に位置していない３台のカメラの異なる配置構成を有する本発明の２つの異なる実施形態を示しており、カメラ群のうち２台のカメラは、基線距離Ｂだけ離間される。図６に示すように、１つの実施形態では、第３カメラＣＡＭ３は、最初の２台のカメラＣＡＭ１とＣＡＭ２との間の軸線に沿った中点からずれた位置６０７に位置して、３台のカメラが二等辺三角形を形成するようにし、二等辺三角形の２つの等角はαとして表わされる（また、第３角度は（１８０°−２α）度である）。本発明の別の実施形態では、第３カメラＣＡＭ３’は、カメラ群のうち１台のカメラ（ＣＡＭ１）の「真上に」ある位置６０６に位置している、別の表現をすると、ＣＡＭ１とＣＡＭ３’との間の基線Ｂ_1,3は、ＣＡＭ１とＣＡＭ２との間の基線Ｂ_1,2に直角となって、３台のカメラが直角三角形を形成するようにし、ＣＡＭ３’、ＣＡＭ２と、ＣＡＭ２、ＣＡＭ１とがなす角度はφで表わされる。しかしながら、本発明の実施形態はこれに限定されない。例えば、ＣＡＭ３は、ＣＡＭ２の「真上に」配置してもよい、又はＣＡＭ２の真上の位置とＣＡＭ１の真上の位置との間の任意の位置に配置してもよい。例えば、３台のカメラＣＡＭ１、ＣＡＭ２、及びＣＡＭ３が、不規則三角形を形成するようにしてもよい。第３カメラを位置ＣＡＭ３に配置する理由は、キャリブレーションされた状態からずれた状態の検出性を向上させるためであり、第３カメラを位置ＣＡＭ３’に配置する理由は、以下に説明されるように、ＣＡＭ１とキャリブレーションされた状態からずれた状態の検出性がかなり低下している第３カメラとの間の遮蔽（図３に示すような）を低減させるためである。

【0081】

図６に示す３台のカメラは、ほぼ重なり合う重畳視野（ＦＯＶ）、又は共通視野を有する。例えば、全ての３台のカメラの向きは、シーンを撮像するために略同じ方向に設定され、３台のカメラの光軸は略平行とすることができる。

【0082】

図７は、カメラ群のうち１台のカメラのキャリブレーションずれが発生している状態の本発明の１つの実施形態による３眼カメラシステムを示している。図７は、図１と略同様であるので、同じである構成部分に関する説明は、ここでは繰り返さないものとする。図７を参照するに、ＣＡＭ１は、ＣＡＭ１のキャリブレーションずれが発生しているものとして図示されており、カメラ中心１２１は、新たな位置１２１’にシフトしており、撮像平面１１１（点線で図示される）は回転して新たな位置１１１’（実線で図示される）に移動している。その結果、ポイントｐがこの時点で、位置x^₁に投影される。また、キャリブレーションずれが発生することにより、共役エピポーラ線１３１−３の位置が１３１−３’にシフトしており、共役エピポーラ線１３３−１の位置が１３３−１’にシフトしている。キャリブレーションずれが発生している状態は、共役エピポーラ線１３２−１に殆どもしくは全く影響しなかったが、以下に更に詳細に説明するように、キャリブレーションずれが発生することにより生じるエピポーラ線１３３−１から１３３−１’に至るシフト量又は誤差７０２は大きく、検出可能である。

【0083】

本発明の実施形態による少なくとも３台のカメラを有する奥行きカメラシステムは幾つかの利点を提供し、利点は、例えば奥行きが、推論をシステム内の全てのカメラペア（例えば、３眼システム内の３つのカメラペアＣＡＭ１−ＣＡＭ２，ＣＡＭ１−ＣＡＭ３，及びＣＡＭ２−ＣＡＭ３）に由来する視差に基づいて行なうことにより算出することができること、及び更には、カラーカメラをグレースケールステレオペア又は赤外線ステレオペアに追加することにより、カラー情報を再構成後の３次元シーンに供給することができることである。

【0084】

３台のカメラを含む本発明の１つの実施形態では、カメラ群のうち２台のカメラを使用して、シーン中の様々なポイントの視差（したがって、奥行き）を算出するのに対し、第３カメラを使用してカラー情報を取得する。３つのカメラペアの各カメラペアは、複数の共役エピポーラ線で表わされるエピポーラ幾何学を定義する。更に詳細には、撮像平面１１１，１１２，及び１１３の各撮像平面の各位置又は各ピクセルは、他の撮像平面の対応する共役エピポーラ線に投影することができる。例えば、図１及び図７に示すように、位置ｘ₁にある第１撮像平面１１１の位置又はピクセルを第２撮像平面１１２のエピポーラ線１３２−１に投影することができ（カメラペアＣＡＭ１−ＣＡＭ２の場合）、更には、第３撮像平面１１３の共役エピポーラ線１３３−１に投影することができる（カメラペアＣＡＭ１−ＣＡＭ３の場合）。同様に、第２撮像平面１１２の位置ｘ₂を第１撮像平面１１１のエピポーラ線１３１−２に投影することができ、更には、第３撮像平面１１３の共役エピポーラ線に投影することができる。同じようにして、第３撮像平面１１３の位置ｘ₃を第１撮像平面１１１のエピポーラ線１３１−３に投影することができ、更には、第２撮像平面１１２の共役エピポーラ線に投影することができる。

【0085】

図８は、ＣＡＭ１，ＣＡＭ２，及びＣＡＭ３を含む本発明の１つの実施形態による３台カメラシステムを示す平面模式図である。シーン中のポイントｐを撮像し、ＣＡＭ１，ＣＡＭ２，及びＣＡＭ３の撮像平面の位置ｘ₁、ｘ₂、及びｘ₃にそれぞれ投影する。ペア（例えば、ｘ₁−ｘ₂、又はｘ₁−ｘ₃、もしくはｘ₂−ｘ₃）の位置の差異が視差に対応する。システムの残りの構成部材が同じ状態を保っている状態で、第２カメラＣＡＭ２のキャリブレーションずれが発生する（例えば、回転する）場合、シーンの同じポイントｐはこの時点で、位置x^₂に投影される。図５Ｃを参照して上に説明したように、x^₂とｘ₂との間の距離は、誤差ｅと表記される。

【0086】

図５Ｃに関する上の説明では、誤差ｅを２つの誤差成分：エピポーラ線上にある場合の誤差成分であって、エピポーラ線１３２−１（第１カメラＣＡＭ１と第２カメラＣＡＭ２との間のエピポーラ線）に平行な誤差成分ｅ_‖、及びエピポーラ線から外れる場合の誤差成分であって、エピポーラ線１３２−１に直角な、又は直交する誤差成分ｅ_⊥として表わすことができるのでｅ＝ｅ_‖＋ｅ_⊥が成り立つことに注目した。

【0087】

図５Ｃでは、２台のカメラＣＡＭ１及びＣＡＭ２しか考慮されていないが、エピポーラ線から外れる場合の誤差成分ｅ_⊥は、エピポーラ線上にある場合の誤差成分ｅ_‖よりも小さかった（例えばＣＡＭ２の向きの変化の殆どは、エピポーラ線１３２−１に直角な軸線回りの回転が原因であった）。幾つかの環境では、エピポーラ線から外れる場合の誤差成分ｅ_⊥は、十分大きくはないことから検出可能ではなかった。

【0088】

しかしながら、状況は、第３カメラＣＡＭ３を追加する図８の配置構成により変わる。ＣＡＭ１とＣＡＭ２との間のエピポーラ線１３２−１と比較した場合の第１誤差ｅ¹は同じままであり、ｅ¹＝ｅ¹_‖＋ｅ¹_⊥ が成り立ち、ｅ¹_⊥は依然として比較的小さい（演算子＋はこの場合、ベクトル加算である）。しかしながら、この環境では、ＣＡＭ３とＣＡＭ２との間のエピポーラ線１３２−３を使用して第２誤差ｅ²の絶対値を導出することもでき（すなわち、ｅの上付き文字２であり、ｅの２乗ではない）、ｅ²＝ｅ²_‖＋ｅ²_⊥ が成り立つ（演算子＋はこの場合、ベクトル加算である）。図８から分かるように、ｅ²_⊥ はｅ¹_⊥もよりも遥かに大きいので、第２カメラＣＡＭ２のキャリブレーションずれが発生している状態の検出を可能にするために十分大きいのに対し、ｅ¹_⊥ は小さ過ぎて検出することができなかった。エピポーラ線から外れる場合の誤差の絶対値のこの差異は、第３カメラＣＡＭ３が他の２台のカメラＣＡＭ１及びＣＡＭ２と同一直線上に位置していないという理由で現われることにより、エピポーラ線１３２−３のような、２台のカメラを用いた場合のエピポーラ線が他の２台のカメラの間のエピポーラ線（例えば、ＣＡＭ１とＣＡＭ２との間のエピポーラ線１３２−１）と平行ではなくなる。

【0089】

このように、奥行き知覚カメラシステムの少なくとも３台のカメラの配置が適正である場合、カメラの回転に起因するキャリブレーションずれ現象により、エピポーラ線から外れる場合の誤差が、システム内のカメラペア群のうち少なくとも１つのカメラペアについて顕著になる。これは、エピポーラ線から外れる場合の誤差の大きさが、キャリブレーションずれが発生しているカメラの回転軸線の方向によって異なるからである。この軸線が、１つのカメラペアの基線と直交し、かつペア中の第１カメラの焦点面に平行である場合、エピポーラ線から外れる場合の当該カメラペアについての微小な誤差ｅ_⊥が予測される必要がある。しかしながら、幾何学から、この状況が、全てのカメラペアに同時には発生し得ないことが分かるので、少なくとも１つのカメラペアは、エピポーラ線から外れる場合の顕著な誤差ｅ_⊥を有することになる。

【0090】

したがって、本発明の実施形態により、キャリブレーションずれ現象を、これらのキャリブレーションずれ現象を２眼カメラシステムにより発見できなかった場合でも検出することができる。３眼カメラシステムの場合、３台のカメラを正三角形に配置することにより、エピポーラ線から外れる場合のカメラペア間の誤差の絶対値をエピポーラ線上にある場合の誤差の絶対値で除算して得られる値の合計値を最大にすることができる。

【0091】

図９Ａ及び図９Ｂは、視差誤差の分析結果を、１台のカメラのキャリブレーションずれが発生している場合の、又は１台のカメラがｙ軸線回りに回転している場合の角度ψの関数として示すグラフである（これらの図では、視差誤差と表記される）。具体的には、図９Ａ及び図９Ｂは、実際の視差誤差を示している、別の表現をすると、システムのキャリブレーションずれが発生しなかった場合の特徴点の予測位置ｘと、キャリブレーションずれが発生した後の特徴点の実際の検出位置x^との間のエピポーラ線の方向に沿ったピクセル単位の距離を示している。

【0092】

図９Ａ及び図９Ｂは更に、複数の状況におけるエピポーラ誤差（例えば、ｅ_⊥）の上記モデルの分析結果を示している。具体的には、検出エピポーラ誤差が、２台カメラシステムに関して図示されており（図９Ａ及び図９Ｂにおいて、「Epi err 2 views」と表記される）、２台のカメラの間の基線は、ｙ軸線に直角なｘ軸線に沿って延びており、ｙ軸線回りに、カメラ群のうち１台のカメラが回転する。図９Ａ及び図９Ｂに更に図示されているのは、１台のカメラが基線カメラ群のうち１台の基線カメラの真上に位置するように配置される（例えば、図６に示すような直角三角形として配置され、位置６０６にある第３カメラＣＡＭ３’は、図９Ａ及び図９Ｂでは、「Epi err 3 view top master」と表記される）構成の３台カメラシステム、及び１台のカメラが、他の２台のカメラの間の中点の上方に配置される（例えば、図６に示すような二等辺三角形として配置され、位置６０７にある第３カメラＣＡＭ３は、図９Ａ及び図９Ｂでは、「Epi err 3 view middle」と表記される）構成の３台カメラシステムに関して検出されるエピポーラ誤差である。

【0093】

図９Ａは、モデルシステムの分析結果を示しており、カメラ群のうち２台のカメラ（例えば、当該モデルにおいて、赤外線カメラであると仮定されるＣＡＭ１及びＣＡＭ２）の間の基線長は５０．０ｍｍであり、基線と第３カメラ（例えば、当該モデルにおいて、カラーカメラであると仮定されるＣＡＭ３）との間の距離は、位置６０７において４３．３ｍｍである。グラフの横軸は、スレーブカメラ（例えば、ＣＡＭ２）がｙ軸線（例えば、基線と直角な方向に延び、かつ基線と第３カメラＣＡＭ３との間の直線に平行な軸線）回りに回転する場合の角度を表わし、縦軸は、ピクセル単位の誤差を表わしている。グラフは、実線で指示される視差誤差を含み、視差誤差は、特徴点の予測位置ｘとキャリブレーションずれが発生した後の特徴点の実際の位置x^との間のエピポーラ線に沿って投影される距離（例えば、｜ｘ − x^｜）であり、グラフは更に、様々な点線で指示される異なる配置構成に対応するエピポーラ誤差を含み、エピポーラ誤差は、特徴点の予測位置ｘとキャリブレーションずれが発生した後の特徴点の実際の位置x^との間のエピポーラ線と直角な方向の投影距離（例えば、｜ｘ − x^｜）である。モデルは、３Ｄポイント群が、カメラ群の視野をカバーする５００．０〜５０００．０ｍｍの範囲の距離に位置していると仮定する。「color resolution factor（カラー分解能）」（図９の「colorHDfact」）は、赤外線カメラＣＡＭ１及びＣＡＭ２の垂直解像度に対するカラーカメラＣＡＭ３の垂直解像度の比を指しており、この比は、当該モデルでは１．０であると仮定される（例えば、３台のカメラＣＡＭ１、ＣＡＭ２、及びＣＡＭ３が同じ解像度を有していると仮定する）。予測されることであるが、スレーブカメラ又は第２カメラＣＡＭ２が回転しない（ゼロ角度である）場合、視差誤差は発生しない（ゼロピクセルである）。視差誤差は、キャリブレーションずれ角度が大きくなるにつれて大きくなる−これらの特定の状態では、視差誤差は、キャリブレーションずれ角度とともに直線的に大きくなり、図２に示すように、２５ピクセルよりも多くのピクセル誤差が、角度２度のキャリブレーションずれ、又は負の角度２度のキャリブレーションずれが発生する場合に予測される。角度２度のキャリブレーションずれは、カメラシステム幾何学の大きな変形であり、通常のカメラは、３０度〜６０度の範囲の視野を有することができるので、角度２度の変化により、視野に収まる物体の１／３０〜１／１５が変化することを理解されたい。

【0094】

しかしながら、２台カメラ配置構成では、例えば第１カメラＣＡＭ１及び第２カメラＣＡＭ２のみを用いる２台カメラ配置構成では、スレーブカメラＣＡＭ２が、角度２度と同じ程度に回転して、実際の視差誤差が２５ピクセル超になる場合でも、エピポーラ線から外れる場合の誤差ｅ_⊥は、曲線「Epi err 2 views」から分かるように非常に小さく、当該誤差が大きくなっても、角度２度のキャリブレーションずれが発生している状態で１ピクセルとなるに過ぎない。別の表現をすると、ｙ軸線回りに２度未満の角度だけ回転することによりカメラのキャリブレーションずれが発生する場合、誤差を、対応する特徴点を探索する場合に検出することが難しくなるが、その理由は、特徴点が２５ピクセル超、エピポーラ線上にある方向に沿ってシフトした場合でも、キャリブレーションずれにより特徴点が１ピクセル未満しか、エピポーラ線から外れる方向にシフトしないからである。

【0095】

本発明の幾つかの実施形態による他のカメラと同一直線上に位置していない第３カメラＣＡＭ３を追加することにより、これを大きく変えることができる。図９Ａから分かるように、第３カメラが、他の２台のカメラの間を延びる基線から４３．３ｍｍだけ外れて、かつマスターカメラ（例えば、ＣＡＭ１）の真上に配置される場合、ＣＡＭ２の回転は、「Epi err 3 view top master」の記号が付された曲線から分かるように、第３カメラＣＡＭ３とスレーブカメラ又は第２カメラＣＡＭ２との間のエピポーラ線から外れる場合の誤差ｅ_⊥として検出可能である。例えば、スレーブカメラ又は第２カメラＣＡＭ２がｙ軸線回りに０．５度の角度だけ回転することにより、エピポーラ線から外れる場合の約４ピクセルの誤差が生じて、当該誤差をシステムが検出することができる。これとは異なり、２台カメラシステムでは、０．５度の角度だけ回転することにより、エピポーラ線から外れる場合の１ピクセル未満の誤差が生じることになって、当該誤差を検出できない可能性がある。

【0096】

幾つかの実施形態では、第３カメラＣＡＭ３が他のカメラの間の基線の中点の上方に配置される。これらの実施形態では、所定のキャリブレーションずれ角度に対応するエピポーラ誤差の大きさの増加は、「Epi err 3 view middle」の記号が付された曲線により表わされる。しかしながら、本発明の実施形態は、これに限定されない。

【0097】

図９Ｂは、図９Ａと同様であるが、カメラ群のうち２台のカメラの間の基線の長さを５０．０ｍｍから７０．０ｍｍに変えている。また、図９Ｂに示す分析では、基線と第３カメラとの間の垂直距離を６０．６２ｍｍに増やしている。図９Ｂから分かるように、視差誤差の曲線「Epi err 2 views」、「Epi err 3 view top master」、及び「Epi err 3 view middle」は、図９Ａにおける曲線とほぼ同じであり、２台カメラ配置構成におけるエピポーラ線から外れる場合の誤差は、約２度の角度未満のキャリブレーションずれ現象について１ピクセル未満とすることができ、同一直線上に位置していない第３カメラは、エピポーラ線から外れる場合の誤差の大きさを大幅に増加させる。

【0098】

図９Ａ及び図９Ｂに提示されるデータは、分析方法を、上に説明した異なる装置に収容される広範囲の複数台カメラシステムの空間配置に適用することができることを示している。
キャリブレーションずれを検出する方法

【0099】

図１０は、本発明の１つの実施形態による同一直線上に位置していない少なくとも３台のカメラを含む奥行きカメラシステムにおけるキャリブレーションずれ現象を検出する方法のフローチャートである。図１０を参照するに、奥行きカメラシステムのキャリブレーションずれを検出する方法１０００では、特徴点（例えば、３台のカメラから見ることができるシーン中のポイントｐにある特徴点）を、第１カメラ１０１０で撮影される第１画像中に、第２カメラ１０２０で撮影される第２画像中に、第３カメラ１０３０で撮影される第３画像中に、ほぼ同時に（例えば、同調して）検出する。図８を参照するに、ポイントｐにある特徴点は、位置ｘ₁，ｘ₂，及びｘ₃にそれぞれ現われる。

【0100】

操作１０４０では、第２画像中の第１共役エピポーラ線を、キャリブレーションパラメータ、及び第１画像中の特徴点の位置に基づいて特定する（例えば、図８に示すように、第１共役エピポーラ線１３２−１を、第１カメラＣＡＭ１の撮像平面１１１内の位置ｘ₁に基づいて特定する）。操作１０５０では、第２画像中の第２共役エピポーラ線を、キャリブレーションパラメータ、及び第３画像中の特徴点の位置に基づいて特定する（例えば、図８に示すように、第２共役エピポーラ線１３２−３を、第３カメラＣＡＭ３の撮像平面１１３内の位置ｘ₃に基づいて特定する）。共役エピポーラ線の特定では、例えば線位置を他の画像の検出特徴ポイント、及びキャリブレーションパラメータに基づいて計算することができ、これらのパラメータはキャリブレーション作業中に測定された。

【0101】

操作１０６０では、第２画像中の特徴点の検出位置（例えば、図８のx^₂）と第１共役エピポーラ線（例えば、図８のエピポーラ線１３２−１）との第１差異を計算する（例えば、この差異は、図８に示すエピポーラ線から外れる場合の誤差ｅ_⊥¹に対応する）。同様に、操作１０７０では、第２画像中の特徴点の検出位置（この場合も図８のx^₂と第２共役エピポーラ線（例えば、図８のエピポーラ線１３２−３）との第２差異を計算する（例えば、この差異は、図８に示すエピポーラ線から外れる場合の誤差ｅ_⊥²に対応する）。

【0102】

操作１０８０では、第１差異を閾値と比較し、第２差異を閾値と比較する。第１差異及び第２差異の閾値は、同じとするか、又は異ならせることができる。これらの差異のうち少なくとも一方の差異が閾値よりも大きい場合、奥行きカメラシステム１００は、カメラのキャリブレーションずれが発生していることを操作１０９０において検出する。しかしながら、これらの差異の両方の差異が、閾値を下回る（例えば、ゼロ）場合、奥行きカメラシステム１００は、システムがキャリブレーションされた状態になっていることを操作１０９２において検出する。

【0103】

このような閾値は、ピクセル単位であり、カメラ解像度、特徴点検出及び照合操作に際する予測ノイズ、及び検出したいと考えられるキャリブレーション誤差量に従って設定することができる。

【0104】

本発明の他の実施形態では、キャリブレーションずれは、画像中の特徴点の予測位置に基づいて検出することができる。例えば、第１共役エピポーラ線及び第２共役エピポーラ線を操作１０４０及び１０５０において特定した後、特徴点の予測位置ｘ₂は、第１共役エピポーラ線と第２共役エピポーラ線の交点の位置に基づいて計算することができる。次に、予測位置ｘ₂と検出位置x^₂との差異を計算することができ、システムは、この差異が閾値を上回っていると判断すると、カメラのキャリブレーションずれが発生していると判断することができる。

【0105】

したがって、本発明の実施形態は、同一直線上に位置していない３台のカメラを含む奥行きカメラシステムのキャリブレーションずれを検出することができる。
奥行きカメラシステム内のカメラの空間配置

【0106】

本発明の実施形態では、奥行き検知カメラペア（ＣＡＭ１及びＣＡＭ２で指示される）を結ぶ軸線に対してずれた位置にある第３カラーカメラ（例えば、ＣＡＭ３で指示される）は、カメラ群のいずれかのカメラがキャリブレーションされた状態から、システムの残りの構成要素に対して（例えば、他の２台のカメラに対して）ずれた状態になる時点の検出も可能にしながら、シーンの融合カラー情報及び奥行き情報を略同時に取得することができる。

【0107】

図６を参照した上の説明から分かるように、３台のカメラの広範囲の空間構成が存在する。例えば、第３カメラＣＡＭ３が、第１カメラＣＡＭ１と第２カメラＣＡＭ２との間の基線の中点の上方の位置６０７に配置される第１構成では、基線と第３カメラＣＡＭ３と第１カメラ又は第２カメラとの間の直線とがなす角度をαと表わすことができる。別の構成では、第３カメラＣＡＭ３は位置６０６に配置することができ、第３カメラは、他のカメラ群のうち１台のカメラの真上に配置されて、第３カメラと第１カメラとの間の直線が、第１カメラと第２カメラとの間の基線と直角になり、第２カメラと第３カメラとの間の直線と当該基線とが角度φをなす。

【0108】

分析から、エピポーラ線から外れる場合のカメラペア間の誤差の絶対値をエピポーラ線上にある場合の誤差の絶対値で除算して得られる値の合計値は、３台のカメラが互いに等距離（例えば、正三角形）に位置する場合に最大になることが分かる。

【0109】

これとは異なり、上に説明したように、遮蔽は、これらのカメラが互いにより接近して配置される場合に低減される。

【0110】

このようなことから、キャリブレーションずれ検出機能及び遮蔽低減の両方を、同一直線上に位置していないシステムのカメラ群の配置構成を決定する際に考慮に入れる必要がある。遮蔽とキャリブレーションずれ検出性（及び／又は可能な限り大きな共通視野を有すること）のトレードオフから、多種多様なカメラ配置を、各最適化要素が与えられる場合に異なる重みを割り当てることにより想到することができる。また、最適な解決策の利点の９０％又は９５％をもたらす解決策のような良好であるが最適ではない配置構成を本発明の実施形態に、カメラ群の間のディスプレイ装置の配置のような他の設計制約に基づいて含めることもできる。

【0111】

図６を参照するに、カメラ群のうち２台のカメラは、互いに基線距離Ｂだけ離間される。１つの実施形態では、これらの２台のカメラは、赤外線カメラであり、奥行き計算を行なうために使用される。このようなことから、基線は、奥行きデータの精度を、目標物からカメラまでの距離の関数としてほぼ決定するファクタ群のうちの１つのファクタである。具体的には、奥行き精度は、以下の数式により与えられる：

【数13】

【0112】

式中、Δｚは、奥行きを推定する際の精度又は統計的誤差であり、ｚは、目標物までの距離であり、ｆは、２台のカメラの焦点距離であり、Ｂは、２台のカメラの間の基線又は距離である。図９Ａ及び図９Ｂのモデル化システムでは、基線長はそれぞれ５０ｍｍ及び７０ｍｍであったが、本発明の実施形態は、これらには限定されない。

【0113】

平行等位化を行なった後の基線長Ｂ_1,2だけ離れたステレオペアの２台のカメラＣＡＭ１及びＣＡＭ２が、距離Ｚ_Bにある背景（例えば、壁）を背景に、距離Ｚ_Fにある前景の物体を観測する場合、各カメラにおける画像は、遮蔽された背景ピクセル領域（すなわち、ピクセル群のうち、１台のカメラから見えるが、他のカメラからは見えない背景の複数点の投影画素であるピクセル）を含む。各画像中の遮蔽領域（図３参照）の面積は、前景物体の距離Ｚ_F及び背景の距離Ｚ_Bの関数であるのみならず、焦点距離ｆの関数である関数ｇ（Ｚ_F，Ｚ_B，ｆ）に基線Ｂ_1,2を乗算して得られる（便宜上、２台のカメラの焦点距離が同じ焦点距離ｆであると仮定する）。

【0114】

同様に、遮蔽量を、３眼システムにおいて焦点距離ｆを持つ第３カメラＣＡＭ３に関して計算する。例えば、第３カメラＣＡＭ３と、第１カメラＣＡＭ１で撮影される画像との間の遮蔽について考察する場合、画像上で測定される遮蔽量は、同じ関数ｇ（Ｚ_F，Ｚ_B，ｆ）に新規基線Ｂ_1,3（例えば、第１カメラＣＡＭ１と第３カメラＣＡＭ３との間の距離）を乗算して得られる値に等しい（）。これらの２つの遮蔽面積（ＣＡＭ１とＣＡＭ２との間の遮蔽面積、及びＣＡＭ１とＣＡＭ３との間の遮蔽面積）の比はしたがって、関数ｇが同じであるので、Ｂ_1,3／Ｂ_1,2に等しい。

【0115】

本発明の１つの実施形態では、第１カメラＣＡＭ１及び第２カメラＣＡＭ２は、基線距離Ｂ_1,2だけ離れ、基線距離Ｂ_1,2は、携帯電話、タブレット、又はラップトップコンピュータのようなカメラシステムを収容する物理装置のサイズのような注意事項に基づいて選択することができる。これとは異なり、第３カメラＣＡＭ３（例えば、カラーカメラ）の配置は、上の遮蔽比Ｂ_1,3／Ｂ_1,2の中のパラメータＢ_1,3を調整するように選択することができる。

【0116】

図１１Ａ、図１１Ｂ、図１１Ｃ、及び図１１Ｄは、本発明の実施形態による少なくとも３台のカメラを含む奥行きカメラシステムにおける遮蔽及びエピポーラ誤差検出の分析結果を示すグラフである。奥行きカメラシステムのカメラ群のうち２台のカメラは、基線に沿って一定距離に配置される。第３カメラは基線から離間され、グラフの横軸は、基線からの第３カメラの距離である。グラフの縦軸は、グラフで「ratio（比率）」と表記される性能指数を表わしている。

【0117】

１つの実施形態では、エピポーラ誤差検出性能指数は、エピポーラ線から外れる場合の全ての誤差の各誤差の絶対値を、エピポーラ線上にある場合の誤差の絶対値で除算して得られる値の合計値であり（「detected epi error（検出エピポーラ誤差）」の記号が付された曲線を参照）、遮蔽性能指数は、比率Ｂ_1,3／Ｂ_1,2である（「vertical/horizontal occlusion（垂直／水平遮蔽）」の記号が付された曲線を参照）。このようなことから、１つの実施形態では、エピポーラ線から外れる場合に検出される誤差、及び遮蔽量の両方を考慮に入れた性能指数は、図１１Ａ及び図１１Ｂにおいて「det err-occlusion（検出誤差−遮蔽量）」の記号が付された曲線から分かるように、これらの性能指数の間の差異である。

【0118】

図１１Ａは、３台のカメラを備える奥行きカメラシステムの分析結果を示すグラフであり、カメラ群のうち２台のカメラは、長さ５０ｍｍの基線に沿って配置される。図１１Ａに示すように、かつ上に説明したように、「detected epi error」曲線は、３台のカメラが正三角形に配置される場合、例えば第３カメラが基線から約４３．３ｍｍの距離の位置に配置される場合に最大値を有する。遮蔽指数「vertical/horizontal occlusion」は、第３カメラと他のカメラとの間の距離が最小になる場合（言い換えれば、３台のカメラが同一直線上に位置している場合）に最小になるが、これにより、「detected epi error」指数も最小になって望ましくない。このようなことから、「det err-occlusion」と表わされる２つの性能指数の差異を図１１に更に示す。この曲線は、約３５．６度の角度α（図６に図示される通りの）に対応する約１７．９ｍｍの位置に最大値を有する。

【0119】

図１１Ｂは、３台のカメラを備える奥行きカメラシステムの分析結果を示すグラフであり、カメラ群のうち２台のカメラは、長さ７０ｍｍの基線に沿って配置される。図１１Ｂは、図１１Ａとほぼ同様であり、基線が長いので距離に目盛りを付けているが（例えば、幾何学により、「detected epi error」の最大値は、約６０．６ｍｍに位置し、「det err-occlusion」の最大値は約２５．１ｍｍに位置している）、エピポーラ線から外れる場合に検出される誤差を大きくする、又は最大にするとともに、遮蔽量を低減させる、又は最小にすることを考慮に入れた性能指数（「det err-occlusion」）の最大値に対応する角度αは依然として、約３５．６度の角度に最大値を有する。

【0120】

約３５．６度の角度αが本発明の実施形態によるカメラシステムの幾つかの配置構成に最適であるが、本発明の実施形態はこれに限定されず、「det err-occlusion」指数が良好な性能範囲に収まる（例えば、約３５．６度の角度に位置する最大値の７５％超）範囲の角度αも含む。例えば、前記百分位数で表示される場合、角度α及び垂直基線の範囲は、以下の通りに推定することができる：７５％では、αは、約１９．８〜約４８．９度の範囲の角度であり、垂直基線は、９．０〜２８．７ｍｍの範囲であり；８０％では、αは、約２１．６〜約４７．６度の範囲の角度であり、垂直基線は、９．９〜２７．４ｍｍの範囲であり；８５％では、αは、約２３．７〜約４６．１度の範囲の角度であり、垂直基線は、１１．０〜２６．０ｍｍの範囲であり；９０％では、αは、約２６〜約４４．３度の範囲の角度であり、垂直基線はそれに応じて、１２．２〜２４．４ｍｍの範囲であり；９５％では、αは、２８．９〜４１．９度の範囲の角度であり、垂直基線はそれに応じて、１３．８〜２２．４ｍｍの範囲である。図１１Ａに示す９０％百分位数及び９５％百分位数の位置の横線は、例示のためにのみ図示されており、寸法通りにはなっていない。

【0121】

本発明について特定の好適な実施形態に関連付けながら説明してきたが、本発明は開示の実施形態に限定されるのではなく、添付の特許請求の範囲、及び特許請求の範囲の均等物の趣旨及び範囲に含まれる様々な変形物及び等価な配置構成を包含するものとする。

【0122】

例えば、本発明の幾つかの実施形態が、奥行き知覚３眼（又は、３台カメラ）システムに関連して上に説明されているが、本発明の実施形態はこれに限定されず、４台以上のカメラを有する奥行き知覚システムに適用することができる。カメラの配置構成を計算により求める作業は、システム内のカメラ群の全てのカメラに関する遮蔽量及びキャリブレーションずれコストの重み付け平均に基づいて行なわれる。

【0123】

図１１Ｃ及び図１１Ｄは、３台のカメラを備える本発明の１つの実施形態による奥行きカメラシステムの分析結果を示すグラフであり、カメラ群のうち２台のカメラは、長さ５０ｍｍの基線に沿って配置され、カメラ群のうち１台のカメラは、他の２台のカメラよりも高い解像度を有する。上の説明では、便宜上、これらのカメラは同じ解像度を有していると仮定した。しかしながら、実際には、カラーカメラは普通、赤外線カメラ（例えば、奥行き計算に使用されるカメラ）よりもずっと高い解像度（例えば、百万画素の数倍程度の解像度）を有する。図１１Ｃ及び図１１Ｄは、本明細書において提示される方法を、異なる解像度及び略同じ視野のカメラを備える３眼システムに適用することもできることを示している。詳細には、図１１Ｃ及び図１１Ｄでは、第３カメラ（例えば、ＣＡＭ３）が、２．０の解像度倍率（本明細書では、幾つかの実施形態において、「カラー解像度倍率」とも表記される）を有すると仮定して、垂直方向及び水平方向の両方向に２倍の解像度を持つカメラであることを示唆しているので、他の基線カメラ（例えば、ＣＡＭ１及びＣＡＭ２）の解像度の合計２ｘ２＝４倍の解像度を有することを示唆している。例えば、ＣＡＭ１及びＣＡＭ２が共に、６４０ピクセル×４８０ピクセルの解像度を有し、ＣＡＭ３が、１２８０ピクセル×９６０ピクセルの解像度を有する場合、解像度倍率は２．０である（例えば、１２８０ピクセル／６４０ピクセル＝２．０及び９６０ピクセル／４８０ピクセル＝２．０）。「color resolution factor（カラー解像度倍率）」という用語は、本明細書では、カラーカメラが他のカメラ（例えば、カラーカメラ以外のカメラ）よりも高い解像度を有することを提案示唆するために使用されるが、本発明の実施形態はこれに限定されず、より高い解像度を有するカメラは、カラーカメラである必要はなく、より低い解像度を有するカメラとは異なるスペクトル光を撮影する必要もない。例えば、全ての３台のカメラは、カラーカメラ又は可視光カメラとすることができ、全ての３台のカメラは赤外線カメラ、又はこれらの赤外線カメラの様々な組み合わせとすることができ、これらのカメラのいずれかのカメラは、他のカメラよりも高い解像度を有することができる。

【0124】

図１１Ｃはしたがって、同じ５０ｍｍの基線長を有する図１１Ａと同様であるが、第３カメラの解像度が異なっている。図１１Ｄは、第３カメラが、「color resolution factor（カラー解像度倍率）」＝１．０（図１１Ａと同じであり、字幕「color res f.＝1.0」が付されている）を有する場合のエピポーラ誤差と、第３カメラが、「color resolution factor（カラー解像度倍率）」＝２．０（図１１Ｃと同じであり、字幕「color res f.＝2.0」が付されている）を有する場合のエピポーラ誤差とを、他の２台のカメラの間の基線又は軸線に対する第３カメラのｍｍ単位の垂直位置（図１１Ｄのｘ軸に沿って図示される）の関数として比較している。この実施形態では、第３カメラ（例えば、ＣＡＭ３）がより高い解像度を有することにより第３カメラを、図１１Ａの実施形態（１．０のカラー解像度倍率を有する）の同じ誤差検出性能を維持しながら、他の２台のカメラ（例えば、ＣＡＭ１及びＣＡＭ２）の基線軸に、カラー解像度倍率が２．０の場合に、１７．９ｍｍから９．９ｍｍにより接近させることができる。これは、「カラー解像度倍率」１．０曲線に対応する１７．９ｍｍの最適垂直位置（図１１Ｄにおいて「opt vert pos, color res f.＝1.0，17.9［ｍｍ］」の記号が付された点線垂直線で図示される）からカラー解像度倍率２．０曲線までの横線を辿って、同じ性能を有するカラー解像度倍率２．０曲線の対応部分を発見して、この交点が、垂直基線と水平基線とがなす角度が２１．６度となる９．９ｍｍの垂直位置に対応していることを特定することにより、当該図から明らかになる。図３に示すように、２台のカメラの間の基線距離を短距離化することにより、不所望な遮蔽の影響を低減させることもできる。このように、図１１Ｄを参照して説明される実施形態は、カラー解像度倍率が１．０である実施形態と同じ誤差検出機能を、遮蔽の影響を低減させながら維持することができる。図１１Ｃは更に、「det err-occlusion」指数が最大値の７５％以内に収まる角度αの範囲が、約３８．６度の角度である本発明の１つの実施形態を示している。前記百分位数で表示される場合、角度αは、約２１．４度〜約５３．４度の範囲であり、垂直基線長（５０．０ｍｍの水平基線長が与えられる場合）は、９．８ｍｍ〜３３．７ｍｍの範囲である。同様の範囲を、他の実施形態について計算することができる。「det err-occlusion」指数が最大値の８０％以内に収まる１つの実施形態では、角度αの範囲は、約２３．４度〜約５１．９度の範囲である（例えば、約１０．８〜約３１．９ｍｍの範囲の垂直基線長）。「det err-occlusion」指数が最大値の８５％以内に収まる１つの実施形態では、角度αの範囲は、約２５．５度〜約５０．３度の範囲である（例えば、約１１．９〜約３０．１ｍｍの範囲の垂直基線長）。「det err-occlusion」指数が最大値の９０％以内に収まる１つの実施形態では、角度αの範囲は、約２８．０度〜約４８．２度の範囲である（例えば、約１３．３〜約２８．０ｍｍの範囲の垂直基線長）。「det err-occlusion」指数が最大値の９５％以内に収まる１つの実施形態では、角度αの範囲は、約３１．３度〜約４５．５度の範囲である（例えば、約１５．２〜約２５．４ｍｍの範囲の垂直基線長）。

【0125】

図１１Ａ、図１１Ｂ、図１１Ｃ、及び図１１Ｄは、本発明の幾つかの好適な実施形態を示している。例えば、図１１Ａは、１．０のカラー解像度倍率を有するシステムの分析結果を示しており、図１１Ｃは、２．０のカラー解像度倍率を有するシステムの分析結果を示しているが、本発明の実施形態はこれらには限定されず、本発明の実施形態は、異なるカラー解像度倍率を有するシステムを包含することもできる。分析的に、キャリブレーションされた状態からずれた状態の検出性、及び本発明の垂直基線と水平基線との間の遮蔽の低減に最適な角度αは、以下の通りに表現することができる：

【数14】

式中、

【数15】

が成り立ち、ｒ は、解像度倍率であり、argmax_α{expression} は、表現式を最大化するα値を発見する既知の関数である。また、上に説明したように、最適角度 α_optimal 近傍の角度 α の範囲は、性能が最適に近い場合の範囲として計算することができる（例えば、最適角度 α_optimal における性能の７５％以上、９０％以上、又は９５％以上となる角度範囲）。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】