ホーム > 特許ランキング > 株式会社ＪＶＣケンウッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024116474
(43)【公開日】2024-08-28
(54)【発明の名称】情報処理装置及び方法
(51)【国際特許分類】
G01B 11/00 20060101AFI20240821BHJP
【ＦＩ】
G01B11/00 H
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023022109
(22)【出願日】2023-02-16
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社ＪＶＣケンウッド
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】小林 敏秀
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA04
2F065AA06
2F065AA53
2F065BB05
2F065DD03
2F065EE05
2F065EE08
2F065FF12
2F065GG22
2F065GG23
2F065GG24
2F065JJ03
2F065JJ26
2F065LL04
2F065LL06
(57)【要約】
【課題】焦点距離をより正確に得ることを可能にする技術を提供する。
【解決手段】本発明の情報処理装置１００は、被写体の距離画像を取得する取得部１０１と、距離画像に対して歪曲補正を行う補正部１０６と、歪曲補正済みの距離画像の水平方向の端部の水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の垂直測距値の少なくとも１つと、歪曲補正済みの距離画像の中央部分の中央測距値と、受光面から光学系の像側主平面までの距離と、受光面から光学系の入射瞳位置までの距離と、ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての光学系の焦点距離を算出する算出部１０２と、算出した焦点距離を記憶する記憶部１０５と、を備える。
【選択図】図１０
【解決手段】本発明の情報処理装置１００は、被写体の距離画像を取得する取得部１０１と、距離画像に対して歪曲補正を行う補正部１０６と、歪曲補正済みの距離画像の水平方向の端部の水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の垂直測距値の少なくとも１つと、歪曲補正済みの距離画像の中央部分の中央測距値と、受光面から光学系の像側主平面までの距離と、受光面から光学系の入射瞳位置までの距離と、ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての光学系の焦点距離を算出する算出部１０２と、算出した焦点距離を記憶する記憶部１０５と、を備える。
【選択図】図１０
【特許請求の範囲】
【請求項1】
投射された光が被写体で反射されて光学系を通過して受光面で受光されるまでの光の飛行時間に対応する複数の距離値で構成された距離画像を生成するＴＯＦセンサから、前記被写体の前記距離画像を取得する取得部と、
前記距離画像に対して歪曲補正を行う補正部と、
前記歪曲補正済みの距離画像の水平方向の端部の測距値である水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の測距値である垂直測距値の少なくとも１つと、前記歪曲補正済みの距離画像の中央部分の測距値である中央測距値と、前記受光面から前記光学系の像側主平面までの距離と、前記受光面から前記光学系の入射瞳位置までの距離と、前記ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての前記光学系の焦点距離を算出する算出部と、
算出した前記焦点距離を記憶する記憶部と、
を備える、情報処理装置。
前記距離画像に対して歪曲補正を行う補正部と、
前記歪曲補正済みの距離画像の水平方向の端部の測距値である水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の測距値である垂直測距値の少なくとも１つと、前記歪曲補正済みの距離画像の中央部分の測距値である中央測距値と、前記受光面から前記光学系の像側主平面までの距離と、前記受光面から前記光学系の入射瞳位置までの距離と、前記ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての前記光学系の焦点距離を算出する算出部と、
算出した前記焦点距離を記憶する記憶部と、
を備える、情報処理装置。
【請求項2】
前記光学系は、焦点距離を変更するズーム動作を実行可能なズームレンズであり、
前記情報処理装置は、前記ズーム動作を制御するためのズーム制御値を出力するズーム制御部を備え、
前記補正部は、前記ズーム制御値に基づいて前記歪曲補正を行う、
請求項１に記載の情報処理装置。
前記情報処理装置は、前記ズーム動作を制御するためのズーム制御値を出力するズーム制御部を備え、
前記補正部は、前記ズーム制御値に基づいて前記歪曲補正を行う、
請求項１に記載の情報処理装置。
【請求項3】
前記光学系は、焦点距離の可動領域がそれぞれ異なる複数のズームレンズから選択されたズームレンズであり、
前記補正部は、前記選択されたズームレンズの種類にさらに基づいて前記歪曲補正を行う、
請求項２に記載の情報処理装置。
前記補正部は、前記選択されたズームレンズの種類にさらに基づいて前記歪曲補正を行う、
請求項２に記載の情報処理装置。
【請求項4】
前記情報処理装置は、前記記憶部に記憶された前記焦点距離に基づいて、前記複数の距離値を３次元点群データに変換する変換部をさらに備え、
前記取得部は、前記被写体を反射した可視光から前記被写体のカラー画像を生成するＲＧＢセンサから、前記被写体のカラー画像を取得し、
前記補正部は、前記カラー画像を歪曲補正し、
前記変換部は、前記歪曲補正したカラー画像を前記３次元点群データに配置することにより、前記被写体のカラーが反映された前記３次元点群データを生成する、
請求項１に記載の情報処理装置。
前記取得部は、前記被写体を反射した可視光から前記被写体のカラー画像を生成するＲＧＢセンサから、前記被写体のカラー画像を取得し、
前記補正部は、前記カラー画像を歪曲補正し、
前記変換部は、前記歪曲補正したカラー画像を前記３次元点群データに配置することにより、前記被写体のカラーが反映された前記３次元点群データを生成する、
請求項１に記載の情報処理装置。
【請求項5】
投射された光が被写体で反射されて光学系を通過して受光面で受光されるまでの光の飛行時間に対応する複数の距離値で構成された距離画像を生成するＴＯＦセンサから、前記被写体の前記距離画像を取得するステップと、
前記距離画像に対して歪曲補正を行うステップと、
前記歪曲補正済みの距離画像の水平方向の端部の測距値である水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の測距値である垂直測距値の少なくとも１つと、前記歪曲補正済みの距離画像の中央部分の測距値である中央測距値と、前記受光面から前記光学系の像側主平面までの距離と、前記受光面から前記光学系の入射瞳位置までの距離と、前記ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての前記光学系の焦点距離を算出するステップと、
算出した前記焦点距離を記憶するステップと、
を備える、方法。
前記距離画像に対して歪曲補正を行うステップと、
前記歪曲補正済みの距離画像の水平方向の端部の測距値である水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の測距値である垂直測距値の少なくとも１つと、前記歪曲補正済みの距離画像の中央部分の測距値である中央測距値と、前記受光面から前記光学系の像側主平面までの距離と、前記受光面から前記光学系の入射瞳位置までの距離と、前記ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての前記光学系の焦点距離を算出するステップと、
算出した前記焦点距離を記憶するステップと、
を備える、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び方法に関する。
【背景技術】
【0002】
光の飛行時間（ＴＯＦ：time of flight）を利用して測距領域内の被写体までの距離を測定して、被写体についてのｘ、ｙ、ｚの３次元座標の点群データを取得するＴＯＦカメラが知られている（例えば、特許文献１参照）。一般的に、ＴＯＦカメラで取得した測距距離は、レンズの厚さを考慮せずに設定された焦点距離を用いて、ｘ、ｙ、ｚの３次元座標の点群データに変換される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１５３８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、実際のレンズは厚みがある。そのため、レンズの厚さを考慮せずに設定された焦点距離を用いる場合、実際の焦点距離との誤差が大きいという課題があった。
【0005】
上記を鑑み、本発明の目的は、焦点距離をより正確に得ることを可能にする技術を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある態様の情報処理装置は、投射された光が被写体で反射されて光学系を通過して受光面で受光されるまでの光の飛行時間に対応する複数の距離値で構成された距離画像を生成するＴＯＦセンサから、前記被写体の前記距離画像を取得する取得部と、前記距離画像に対して歪曲補正を行う補正部と、前記歪曲補正済みの距離画像の水平方向の端部の測距値である水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の測距値である垂直測距値の少なくとも１つと、前記歪曲補正済みの距離画像の中央部分の測距値である中央測距値と、前記受光面から前記光学系の像側主平面までの距離と、前記受光面から前記光学系の入射瞳位置までの距離と、前記ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての前記光学系の焦点距離を算出する算出部と、算出した前記焦点距離を記憶する記憶部と、を備える。
【0007】
本発明の他の態様の方法は、投射された光が被写体で反射されて光学系を通過して受光面で受光されるまでの光の飛行時間に対応する複数の距離値で構成された距離画像を生成するＴＯＦセンサから、前記被写体の前記距離画像を取得するステップと、前記距離画像に対して歪曲補正を行うステップと、前記歪曲補正済みの距離画像の水平方向の端部の測距値である水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の測距値である垂直測距値の少なくとも１つと、前記歪曲補正済みの距離画像の中央部分の測距値である中央測距値と、前記受光面から前記光学系の像側主平面までの距離と、前記受光面から前記光学系の入射瞳位置までの距離と、前記ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての前記光学系の焦点距離を算出するステップと、算出した前記焦点距離を記憶するステップと、を備える。
【0008】
本発明の他の態様のプログラムは、コンピュータに、投射された光が被写体で反射されて光学系を通過して受光面で受光されるまでの光の飛行時間に対応する複数の距離値で構成された距離画像を生成するＴＯＦセンサから、前記被写体の前記距離画像を取得するステップと、前記距離画像に対して歪曲補正を行うステップと、前記歪曲補正済みの距離画像の水平方向の端部の測距値である水平測距値及び前記歪曲補正済みの距離画像の垂直方向の端部の測距値である垂直測距値の少なくとも１つと、前記歪曲補正済みの距離画像の中央部分の測距値である中央測距値と、前記受光面から前記光学系の像側主平面までの距離と、前記受光面から前記光学系の入射瞳位置までの距離と、前記ＴＯＦセンサの水平方向及び垂直方向の少なくとも１つについての有効サイズと、に基づいて、水平方向及び垂直方向の少なくとも１つについての前記光学系の焦点距離を算出するステップと、算出した前記焦点距離を記憶するステップと、を実行させるためのプログラムである。
【発明の効果】
【0009】
本発明によれば、焦点距離をより正確に得ることが可能となる。
【図面の簡単な説明】
【0010】
【図1】水平平面上でのピンホールレンズモデルを例示する図である。
【図2】垂直平面上でのピンホールレンズモデルを例示する図である。
【図3】ＴＯＦセンサの測距値を３次元点群データに変換する手法を説明するための図である。
【図4】ＴＯＦセンサの測距値を３次元点群データに変換する手法を説明するための図である。
【図5】レンズの光路長を考慮した水平平面上でのレンズモデルを例示する図である。
【図6】レンズの光路長を考慮した垂直平面上でのレンズモデルを例示する図である。
【図7】第１実施形態のＴＯＦカメラの構成を例示する図である。
【図8】第１実施形態に係る、キャリブレーションに関する情報処理装置の処理を示すフローチャートである。
【図9】第１実施形態に係る、撮影対象の被写体を撮影して３次元点群データを得る際の情報処理装置の処理を示すフローチャートである。
【図11】第２実施形態の情報処理装置の構成を例示する図である。
【図12】ＴＯＦカメラがその光軸に対して垂直に配置されているかを確認するための第１段階の手順を示すフローチャートである。
【図13】ホワイトチャートについての歪曲補正済みの距離画像における画面四隅の各領域を例示する図である。
【図14】第２実施形態の焦点距離を算出する第２段階の手順を示すフローチャートである。
【図15】ホワイトチャートの歪曲補正済みの距離画像についての画面中央の領域、画面中央から上下端に位置する領域、画面中央から左右端に位置する領域を例示する図である。
【図16】第２実施形態に係る、撮影対象の被写体を撮影して３次元点群データを得る際の情報処理装置の処理を示すフローチャートである。
【図17】第３実施形態のＴＯＦカメラの構成を例示する図である。
【図18】第４実施形態のＴＯＦカメラの構成を例示する図である。
【図19】第５実施形態のＴＯＦカメラの構成を例示する図である。
【図20】可視光反射ダイクロイック膜の反射分光特性を例示する図である。
【発明を実施するための形態】
【0011】
第１実施形態
ＴＯＦカメラでは、ＴＯＦセンサから被写体の各観測点までの距離が測距され、得られた複数の測距値ｄがｘ、ｙ、ｚの３次元座標における点群データ（以下、３次元点群データという）に変換される。その際、一般的に、レンズの光路が最も単純なピンホールレンズモデルが用いられる。
ＴＯＦカメラでは、ＴＯＦセンサから被写体の各観測点までの距離が測距され、得られた複数の測距値ｄがｘ、ｙ、ｚの３次元座標における点群データ（以下、３次元点群データという）に変換される。その際、一般的に、レンズの光路が最も単純なピンホールレンズモデルが用いられる。
【0012】
図１はｙ方向から見たときのＨ（水平）平面上でのピンホールレンズモデルを示し、図２はｘ方向から見たときのＶ（垂直）平面上でのピンホールレンズモデルを示す。図１中のFOVH及び図２中のFOVVは、それぞれ、ＴＯＦセンサ１０の有効画素が捕らえることが可能な最大画角である。図１のHs及び図２のVsはそれぞれＴＯＦセンサ１０の水平方向及び垂直方向の有効画素のサイズ（距離寸法）である。以下、ＴＯＦセンサ１０の水平方向及び垂直方向の有効画素のサイズを、単に有効サイズということがある。
【0013】
ＴＯＦセンサ１０に受光する像は、レンズ２０の中心Ｏの一点を通る。有効画素はＴＯＦセンサ１０のアスペクト比で異なる。例えば４：３のアスペクト比では、Hs：Vsは４：３となる。そのため、水平方向と垂直方向で画角が変わることから、ＴＯＦセンサ１０では、ＴＯＦセンサ１０とレンズ２０との間の水平方向の焦点距離fx（図１参照。以下、水平焦点距離fxという）及び垂直方向の焦点距離fy（図２参照。以下、垂直焦点距離fyという）がそれぞれ定義される。水平焦点距離fx及び垂直焦点距離fyの設定手法については後述する。
【0014】
図３及び図４は、ピンホールレンズモデルを用いて、ＴＯＦセンサ１０から被写体までの測距値ｄを３次元点群データｘ、ｙ、ｚに変換する手法を説明するための図である。図３及び図４は、それぞれ、ｙ方向及びｘ方向からレンズを見たときの図である。ＴＯＦセンサ１０は、ピクセル単位で水平方向にスキャンし、１ラインスキャンすると垂直方向の次のラインをスキャンする順次スキャンセンサである。このようにしてＴＯＦセンサ１０によって得られた複数の測距値ｄからなる二次元のピクセルデータを、距離画像とも呼ぶ。
【0015】
被写体の観測点であるＰ点をＴＯＦセンサ１０の受光面のＳピクセル（Ｓ点）で捕らえたとき、Ｓ点からＰ点の測距値ｄはＴＯＦセンサ１０の出力に基づいて得られる。この測距値ｄを３次元点群データｘ、ｙ、ｚに変換する。このとき、レンズ２０の中心位置Ｏを３次元点群データｘ、ｙ、ｚの原点（ｘ＝０、ｙ＝０、ｚ＝０）とすると、図３のPxがＰ点のｘ方向の点群データとなり、図４のPyの距離がＰ点のｙ方向の点群データになる。ＴＯＦセンサ１０の受光面のピクセル配列を正方ピクセルの配列とし、ピクセル間のピッチをSp［ｍｍ］とし、ＴＯＦセンサ１０の受光面の水平中央から水平方向にShピクセル離れたＳ点の実距離Sx［ｍｍ］は、以下の式（１）で表される。
Sx＝Sh×Sp 式（１）
Sx＝Sh×Sp 式（１）
【0016】
同様に、ＴＯＦセンサ１０の受光面の垂直中央から垂直方向にSvピクセル離れたＳ点の実距離はSy［ｍｍ］は、以下の式（２）で表される。
Sy＝Sv×Sp 式（２）
Sy＝Sv×Sp 式（２）
【0017】
Ｐ点を図３及び図４に示すようにレンズ２０の光軸に対して水平方向及び垂直方向にそれぞれΘx及びΘy傾いた位置の被写体の観測点とする。測距値ｄを図３のｘ、ｚ平面で表すと、測距値ｄは以下の式（３）で表される距離dxに変換される。
dx＝d×cos(Θy) 式（３）
dx＝d×cos(Θy) 式（３）
【0018】
ここで、図４において、Ｓ点を含むSdy、Sy及びfyの辺で成り立つ三角形と、Ｐ点を含むPdy、Py、Pzの辺に成り立つ三角形とは相似の関係にあるため、Θyは以下のように式（４）で表される。距離Sdxは、以下の式（５）で表される。
Θy＝arctan(Sy/fy) 式（４）
Sdx＝fx/cos(Θx) 式（５）
Θy＝arctan(Sy/fy) 式（４）
Sdx＝fx/cos(Θx) 式（５）
【0019】
ここで、図３において、Ｓ点を含むSdx、Sx及びfxの辺で成り立つ三角形と、Ｐ点を含むPdx、Px、Pzの辺に成り立つ三角形とは相似の関係にあるため、Θxは以下のように式（６）で表される。距離Sdx並びに点群変換後の距離Pz及びPxは、以下の式（７）～式（９）で表される。
Θx＝arctan(Sx/fx) 式（６）
Pdx＝dx－Sdx 式（７）
Pz＝Pdx×cos(Θx) 式（８）
Px＝Pdx×sin(Θx) 式（９）
Θx＝arctan(Sx/fx) 式（６）
Pdx＝dx－Sdx 式（７）
Pz＝Pdx×cos(Θx) 式（８）
Px＝Pdx×sin(Θx) 式（９）
【0020】
同様に、距離dy、Sdy、Pdy、及び点群変換後の距離Pyは、それぞれ、以下の式（１０）～式（１３）で表される。
dy＝d×cos(Θx) 式（１０）
Sdy＝fy/cos(Θy) 式（１１）
Pdy＝dy－Sdy 式（１２）
Py＝Pdy×sin(Θy) 式（１３）
dy＝d×cos(Θx) 式（１０）
Sdy＝fy/cos(Θy) 式（１１）
Pdy＝dy－Sdy 式（１２）
Py＝Pdy×sin(Θy) 式（１３）
【0021】
ここで、従来、焦点距離ｆは、水平方向及び垂直方向について、例えば、以下に示す公知の理論式に基づいて、レンズの厚さを無視して設定される。ここで、ｎはレンズの屈折率であり、Ｒ１はレンズの入射面の曲率半径であり、Ｒ２はレンズの射出面の曲率半径である。
(ｎ－１)((１／Ｒ１)－（１／Ｒ２）)＝１／ｆ
(ｎ－１)((１／Ｒ１)－（１／Ｒ２）)＝１／ｆ
【0022】
このように、従来、レンズ２０の厚さを考慮せずにピンホールレンズモデルの水平焦点距離fx及び垂直焦点距離fyを設定して、測距値ｄを３次元点群データｘ、ｙ、ｚに変換している。しかし、レンズを複数枚使用したＴＯＦカメラやズームレンズを使用したＴＯＦカメラの場合、レンズの物理的長さにより入射瞳位置と像側主平面の位置とに差が生じ、最大画角がわずかに変わるため、水平焦点距離fx及び垂直焦点距離fyに誤差が生じる。その結果、測距値から３次元点群データを精度良く得られないという問題がある。
【0023】
これに対し、チェッカーパターンのチャートを空間的に向きや位置を変えて複数枚撮影してキャプチャーし、キャプチャーした画像データをピンホールレンズモデルの行列式の解として扱い、その複数解から行列式の係数を求めることで、水平焦点距離fx及び垂直焦点距離fyをキャリブレーションする手法がある。しかし、この手法では、複数の画像を向きや画角を変えて取得しなければならないため、キャリブレーションするためには工数がかかる。さらに、キャプチャーした画像のライティングやノイズの影響を受けやすいため、水平焦点距離fx及び垂直焦点距離fyを精度良く得ることが難しいという問題がある。
【0024】
上記を鑑み、以下に本発明の第１実施形態における焦点距離の算出手法について説明する。
【0025】
図５は、ｙ方向から見たときのレンズの光路長を考慮したレンズモデルを例示する。図５のレンズモデルでは、ＴＯＦセンサ１０の受光面Ｔから被写体までの距離が測距値ｄとして正確に得られるものとする。そのため、ＴＯＦセンサ１０の受光面Ｔの中央部分から画角の中央部分の被写体の観測点Pcまでの距離Cが、ＴＯＦセンサ１０の光軸に当たる受光面Ｔの中央部分のピクセルでの測距値ｄにより得られる。その中央部分のピクセルにおける測距値をdcとすると、この測距値dcは、以下の式（１４）で表される。第１実施形態の測距値dcは、中央測距値の一例である。
dc＝C 式（１４）
dc＝C 式（１４）
【0026】
ＴＯＦセンサ１０の受光面Ｔから光路長が考慮されたレンズ２５の入射瞳位置までの距離をIEとする。入射瞳位置までの距離IEは、レンズ２５に応じて予め定められる値を用いる。入射瞳位置から被写体における画角の中央部分の観測点Pcまでの距離をadとすると、距離adは以下の式（１５）で表される。
ad＝C－IE 式（１５）
ad＝C－IE 式（１５）
【0027】
次に、垂直方向の位置がレンズ２５の光軸と同じ位置であり、水平方向の位置が水平方向についてＴＯＦセンサ１０でキャプチャーできる最大画角に位置する被写体の観測点Ｐの測距値ｄをdpとすると、距離dpは図５の太線ＨＲの光路長の距離になる。第１実施形態の測距値dpは、水平測距値の一例である。太線ＨＲを図５のように、HRa、HRb、HRcに分けると、HRaは、以下の式（１６）で表される。
HRa＝HR－HRb－HRc＝dp－HRb－HRc 式（１６）
HRa＝HR－HRb－HRc＝dp－HRb－HRc 式（１６）
【0028】
AFOVHを水平方向に関してＴＯＦセンサ１０でキャプチャーできる最大画角とし、Haを最大画角の両端間の距離とすると、三角関数を用いることにより、以下の式（１７）及び式（１８）のように画角AFOV/2及び距離Ha/2を求めることができる。
AFOVH/2＝arccos(ad/HRa)＝arccos(ad/(dp－HRb－HRc)) 式（１７）
Ha/2＝ad×tan(AFOVH/2) 式（１８）
AFOVH/2＝arccos(ad/HRa)＝arccos(ad/(dp－HRb－HRc)) 式（１７）
Ha/2＝ad×tan(AFOVH/2) 式（１８）
【0029】
ＴＯＦセンサ１０の受光面Ｔから光路長が考慮されたレンズ２５の像側主平面（Rear Principal Plane）までの距離をRppとする。像側主平面までの距離Rppは、レンズ２５に応じて予め定められる値を用いる。HRbの実距離は、入射瞳位置までの距離IEと像側主平面までの距離Rppとに基づいて、以下の式（１９）で表される。
HRb＝IE－Rpp 式（１９）
HRb＝IE－Rpp 式（１９）
【0030】
HRcの実距離は、ＴＯＦセンサ１０の水平方向有効サイズHsと距離Rppとに基づいて、平方根により以下の式（２０）で表される。
HRc＝SQRT((Hs/2)^2+Rpp^2) 式（２０）
HRc＝SQRT((Hs/2)^2+Rpp^2) 式（２０）
【0031】
水平焦点距離fxは、距離C＝dcをHaとＴＯＦセンサ１０の水平方向有効サイズHsの比で分割した以下の式（２１）で求められる。
fx＝Hs/(Ha＋Hs)×dc
＝Hs/(2×ad×tan(AFOVH/2)＋Hs)×dc
＝Hs/(2×(dc－IE)×tan(AFOVH/2)＋Hs)×dc 式（２１）
fx＝Hs/(Ha＋Hs)×dc
＝Hs/(2×ad×tan(AFOVH/2)＋Hs)×dc
＝Hs/(2×(dc－IE)×tan(AFOVH/2)＋Hs)×dc 式（２１）
【0032】
ここで、AFOVH/2は、式（１７）、式（１９）及び式（２０）より、以下の式（２２）で表される。
AFOVH/2＝arccos（ad/(dp－HRb－HRc)）
＝arccos((dc－IE)/(dp－(IE－Rpp)－SQRT((Hs/2)^2＋Rpp^2))) 式（２２）
AFOVH/2＝arccos（ad/(dp－HRb－HRc)）
＝arccos((dc－IE)/(dp－(IE－Rpp)－SQRT((Hs/2)^2＋Rpp^2))) 式（２２）
【0033】
このように実際のレンズ２５を用いて測距された距離dc及びdpの値から、レンズ２５の入射瞳位置及び像側主平面までの各距離IE及びRppと水平方向有効サイズHsとを用いることにより、ピンホールレンズ想定の水平焦点距離fxを求めることができる。
【0034】
図６は、ｘ方向から見たときのレンズの光路長を考慮したレンズモデルを例示する。AFOVVを垂直方向に関してＴＯＦセンサ１０でキャプチャーできる最大画角とし、ＴＯＦセンサ１０の垂直方向の有効画素のサイズをVsとする。水平方向がレンズ２５の光軸と同じ位置であり、垂直方向の位置が垂直方向についてＴＯＦセンサ１０でキャプチャーできる最大画角に位置する被写体の観測点Ｑの測距値ｄをdqとする。第１実施形態の測距値dqは、垂直測距値の一例である。垂直焦点距離fyは、水平焦点距離fxの算出方法と同様に算出することにより、以下の式（２３）で表される。
fy＝Vs/(2×(dc－IE)×tan(AFOVV/2)＋Vs)×dc 式（２３）
fy＝Vs/(2×(dc－IE)×tan(AFOVV/2)＋Vs)×dc 式（２３）
【0035】
ここで、AFOVV/2は、以下の式（２４）で表される。
AFOVV/2＝arccos((dc－IE)/(dq－(IE－Rpp)－SQRT((Vs/2)^2＋Rpp^2))) 式（２４）
AFOVV/2＝arccos((dc－IE)/(dq－(IE－Rpp)－SQRT((Vs/2)^2＋Rpp^2))) 式（２４）
【0036】
このように実際のレンズ２５を用いて測距された距離dc及びdqの値から、レンズ２５の入射瞳位置及び像側主平面までの各距離IE及びRppと垂直方向有効サイズVsとを用いることにより、ピンホールレンズ想定の垂直焦点距離fyを求めることができる。
【0037】
第１実施形態では、画角の中央部分の測距値dc、画角の水平方向端の測距値dp、画角の垂直方向端の測距値dqを取得することにより、厚みを有するレンズの焦点距離をピンホールレンズ想定の焦点距離に変換した水平焦点距離fx及び垂直焦点距離fyが得られる。このように得られた水平焦点距離fx及び垂直焦点距離fyを式（１）～式（１３）に入力することにより、３次元点群データ、すなわち、点群変換後の距離Px、Py、Pzを得ることができる。
【0038】
図７は、第１実施形態のＴＯＦカメラ１の構成を例示する。ＴＯＦカメラ１は、ＴＯＦセンサ１０と、レンズ２５と、例えばＴＯＦカメラ１の撮影ボタンをユーザが押したことに応じて光を投射する投光部５０と、例えばＬＣＤや有機ＥＬなどを有する表示装置６０と、情報処理装置１００と、を備える。ＴＯＦセンサ１０は、投光部５０から投射された光が被写体で反射されてレンズ２５を通過して受光面で受光されるまでの光の飛行時間に対応する複数の測距値を生成する。レンズ２５は、１枚のレンズであっても、複数のレンズを組み合わせたものであってもよい。第１実施形態のレンズ２５は、光学系の一例である。
【0039】
情報処理装置１００は、取得部１０１と、算出部１０２と、変換部１０３と、表示部１０４と、記憶部１０５と、を備える。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェアなどのプログラムが利用可能である。
【0040】
取得部１０１は、ＴＯＦセンサ１０の測距値を取得する。算出部１０２は、焦点距離を算出する。変換部１０３は、測距値を３次元点群データに変換する。表示部１０４は、３次元点群データを表示装置６０に表示させる。表示部１０４は、ＴＯＦカメラ１の外部にある他の表示装置に３次元点群データを表示させてもよい。記憶部１０５は、レンズ２５の入射瞳位置までの各距離IE、レンズ２５の像側主平面までの距離Rpp、水平方向有効サイズHs、及び垂直方向有効サイズVsや各種閾値、焦点距離、情報処理装置１００の各種処理を実行するためのプログラムを格納している。
【0041】
第１実施形態では、第１段階として、ＴＯＦカメラ１の投射する光に対する反射率の高い（例えば９４％の反射率）平面の被写体５として例えばホワイトチャートを用意し、ホワイトチャートを用いて焦点距離のキャリブレーションを行う。図８は、第１実施形態のキャリブレーションに関する情報処理装置１００の処理Ｓ１００を示すフローチャートである。
【0042】
ステップＳ１０１で、取得部１０１は、ＴＯＦセンサ１０からホワイトチャートの複数の測距値を取得する。例えば、取得部１０１は、投光部５０から測定範囲に投射されてホワイトチャートから反射された光をＴＯＦセンサ１０の受光面で検出することにより生成されたホワイトチャートに関する複数の測距値をＴＯＦセンサ１０から取得する。この複数の測距値は、投光部５０から投射された光が被写体５で反射されてレンズ２５を通過してＴＯＦセンサ１０の受光面で受光されるまでの光の飛行時間に対応する。
【0043】
ステップＳ１０１では、ホワイトチャートがＴＯＦカメラ１の撮影画面全体に全て映るようにＴＯＦカメラ１とホワイトチャートとの間の距離を調整し、ＴＯＦカメラ１によりホワイトチャートの撮影を行うことにより、ホワイトチャートの複数の測距値が取得される。
【0044】
ステップＳ１０２で、算出部１０２は、取得した複数の測距値に基づいて、水平焦点距離fx及び垂直焦点距離fyを算出する。例えば、算出部１０２は、取得した複数の測距値のうち、画角の中央部分の測距値dc、画角の水平方向端の測距値dp、画角の垂直方向端の測距値dqを取り出し、上記式（２１）及び式（２３）等を用いて水平焦点距離fx及び垂直焦点距離fyをそれぞれ算出する。
【0045】
ステップＳ１０３で、記憶部１０５は、算出した水平焦点距離fx及び垂直焦点距離fyを記憶する。ステップＳ１０３の後、処理Ｓ１００は終了する。
【0046】
図９は、第１実施形態の撮影対象の被写体を撮影して３次元点群データを得る際の情報処理装置１００の処理Ｓ２００のフローチャートである。
【0047】
ステップＳ２０１で、取得部１０１は、ＴＯＦセンサ１０から撮影対象の被写体の複数の測距値を取得する。
【0048】
ステップＳ２０２で、変換部１０３は、ステップＳ１０３で記憶した水平焦点距離fx及び垂直焦点距離fyを記憶部１０５から読み出し、読み出した水平焦点距離fx及び垂直焦点距離fyに基づいて、複数の測距値を３次元点群データに変換する。例えば、変換部１０３は、記憶部１０５から読み出した水平焦点距離fx及び垂直焦点距離fyに基づいて、上記式（８）、式（９）及び式（１３）等を用いて各測距値についてPx、Py、Pzを算出することにより、各測距値を３次元点群データに変換する。
【0049】
ステップＳ２０３で、表示部１０４は、３次元点群データを表示装置６０に表示させる。また、３次元点群データは、記憶部１０５に記憶される。
【0050】
ステップＳ２０３の後、処理Ｓ２００は終了する。
【0051】
このように、第１実施形態では、算出部１０２は、レンズ２５の入射瞳位置までの距離IEと、レンズ２５の像側主平面までの距離Rppと、水平方向有効サイズHsと、垂直方向有効サイズVsと、測距値dc、dp及びdqとに基づいて、水平焦点距離fx及び垂直焦点距離fyを算出する。本構成によると、レンズの厚さを考慮した高精度の焦点距離が得られるため、３次元点群データを精度良く得ることが可能となる。また、従来のようにチェッカーパターンのチャートを空間的に向きや位置を変えて複数枚取得する撮影を要しないため、従来よりも手軽に適切な焦点距離を得ることが可能となる。
【0052】
以下、変形例について説明する。
【0053】
実施形態では、水平焦点距離fx及び垂直焦点距離fyの両方が算出されたが、水平焦点距離fx及び垂直焦点距離fyの少なくとも一方が算出されてもよい。例えば、取得部１０１は、測距値dp及びdqの少なくとも１つを取得し、算出部１０２は、測距値dp及びdqの少なくとも１つと、測距値dcと、水平方向有効サイズHs及び垂直方向有効サイズVsの少なくとも１つと、距離IE及びRppと、に基づいて水平焦点距離fx及び垂直焦点距離fyの少なくとも１つが算出されてもよい。
【0054】
実施形態では、レンズ２５は、入射瞳位置および像側主平面が特定できれば、１群１枚（単玉レンズ）のものでも１群複数枚（接合レンズ）のものでもよい。
【0055】
実施形態では、ホワイトチャートの複数の測距値が用いられたが、これに限定されず、任意の平面の被写体の複数の測距値が用いられてもよい。
【0056】
第２実施形態
以下、本発明の第２実施形態を説明する。第２実施形態の図面および説明では、第１実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第１実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。
以下、本発明の第２実施形態を説明する。第２実施形態の図面および説明では、第１実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第１実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。
【0057】
図１０（ａ）は歪曲したレンズを用いて得られた距離画像を例示し、図１０（ｂ）は図１０（ａ）の距離画像を歪曲補正した画像を例示する。距離画像は、ピクセル毎の測距値を示す画像である。ＴＯＦカメラ１のレンズが歪曲している場合、ＴＯＦカメラ１はこの歪曲したレンズを通過した光を検出して測距値を取得する。そのため、得られる距離画像は、図１０（ａ）に示すように歪みを有する。この歪みを有する距離画像を電気的に補正した場合、通常、図１０（ｂ）のように補正前よりも画角が狭くなる。そのため、焦点距離が本来のレンズで得られる焦点距離よりも少し大きくなる方向に変化し、実際の焦点距離との誤差が大きくなることから、測距値を３次元点群データに変換したときに、実際の距離寸法とのずれが大きくなってしまうという問題がある。
【0058】
歪曲を考慮した焦点距離を求めるために、チェッカーパターンのチャートを用いて焦点距離をキャリブレーションする手法が考えられるが、上述したように、キャリブレーションの工数の問題やライティングやノイズの影響を受けやすいという問題がある。
【0059】
上記を鑑み、第２実施形態について説明する。図１１は、第２実施形態の情報処理装置１００の機能ブロック図を示す。図１１に示すように、第２実施形態の情報処理装置１００は、距離画像に対して歪曲補正を行う補正部１０６をさらに備える。
【0060】
第２実施形態では、第１段階として、ＴＯＦカメラ１の投射する光に対する反射率の高い（例えば９４％の反射率）ホワイトチャートを用意し、ホワイトチャートがＴＯＦカメラ１の光軸に対して垂直に配置されているかを確認する。図１２は、ＴＯＦカメラ１がその光軸に対して垂直に配置されているかを確認するための第１段階の手順Ｓ３００を示すフローチャートである。
【0061】
ステップＳ３０１で、取得部１０１は、ＴＯＦセンサ１０からホワイトチャートの距離画像を取得する。ここでは、ホワイトチャートがＴＯＦカメラ１の撮影画面全体に全て映るようにＴＯＦカメラ１とホワイトチャートとの間の距離を調整し、ＴＯＦカメラ１によりホワイトチャートの撮影を行うことにより、ホワイトチャートの距離画像が取得される。
【0062】
ステップＳ３０２で、補正部１０６は、取得した距離画像に対して歪曲補正を行う。歪曲補正は、例えば一般的に用いられる以下の式（２５）及び式（２６）を用いて行われる。
X’＝x/(1＋k1×r^2＋k2×r^4＋k3×r^6) 式（２５）
Y’＝y/(1＋k1×r^2＋k2×r^4＋k3×r^6) 式（２６）
ここで、式（２５）及び式（２６）において、rは画面中心からの像高であり、k1、k2、k3はレンズの歪曲により調整された歪曲補正係数であり、xは水平方向の画面中心からの位置であり、yは垂直方向の画面中心からの位置であり、X’は補正後の水平方向の画面中心からの位置であり、Y’は補正後の垂直方向の画面中心からの位置である。以下、歪曲補正係数についてk1、k2、k3を区別しないで説明する場合、単にkと表記することがある。
X’＝x/(1＋k1×r^2＋k2×r^4＋k3×r^6) 式（２５）
Y’＝y/(1＋k1×r^2＋k2×r^4＋k3×r^6) 式（２６）
ここで、式（２５）及び式（２６）において、rは画面中心からの像高であり、k1、k2、k3はレンズの歪曲により調整された歪曲補正係数であり、xは水平方向の画面中心からの位置であり、yは垂直方向の画面中心からの位置であり、X’は補正後の水平方向の画面中心からの位置であり、Y’は補正後の垂直方向の画面中心からの位置である。以下、歪曲補正係数についてk1、k2、k3を区別しないで説明する場合、単にkと表記することがある。
【0063】
ステップＳ３０３で、算出部１０２は、ホワイトチャートの歪曲補正済みの距離画像について、画面四隅の５×５ピクセルの各領域LU、RU、LD、RD（図１３参照）までのLU距離平均値、RU距離平均値、LD距離平均値及びRD距離平均値を算出する。LU距離平均値、RU距離平均値、LD距離平均値及びRD距離平均値は、領域LU、RU、LD、RDにおいてそれぞれ得られた測距値の平均値である。なお、領域の大きさは５×５ではなくてもよく、任意に設定されてもよい。
【0064】
ステップＳ３０４で、算出部１０２は、LU距離平均値、RU距離平均値、LD距離平均値及びRD距離平均値の平均値LRUD_AVE＝（LU＋RU＋LD＋RD）/4を算出し、その平均値LRUD_AVEとLU距離平均値、RU距離平均値、LD距離平均値及びRD距離平均値の各々との差分を算出する。例えば、算出部１０２は、LUd=LU－LRUD_AVE、RUd=RU－LRUD_AVE、LDd=LD－LRUD_AVE及びRDd=RD－LRUD_AVEを算出する。
【0065】
ステップＳ３０５で、表示部１０４は、各領域LU、RU、LD、RDについて算出した差分LUd、RUd、LDd及びRDdと任意の閾値Ntとを比較し、比較結果に応じた表示態様で、撮影したホワイトチャートを表示装置６０に表示させる。例えば、表示部１０４は、LUd＞Ntである場合、ホワイトチャートの画像において領域LUに相当する部分を赤色で表示する。例えば、表示部１０４は、LUd＜-Ntである場合、ホワイトチャートの画像において領域LUに相当する部分を青色で表示する。例えば、表示部１０４は、LUd≦Nt且つLUd≧-Ntである場合、ホワイトチャートの画像において領域LUに相当する部分を緑色で表示する。表示部１０４は、RUd、LDd及びRDdについても閾値Ntによる比較結果に応じて上述したLUdの場合と同様に色分けして表示する。ユーザはこのように色付けられた画面を見ながら、各領域LU、RU、LD、RDの全てが緑色になるようにＴＯＦカメラ１のパン及びチルト調整を行い、各領域LU、RU、LD、RDの全てが緑色になった場合にＴＯＦカメラ１を固定する。
【0066】
ステップＳ３０５の後、手順Ｓ３００は終了する。ステップＳ３０１～３０５により、ホワイトチャートがＴＯＦカメラ１の光軸に対して垂直に配置されているかを確認することが可能となる。
【0067】
次に、第２段階として第２実施形態の焦点距離を算出する手順を説明する。図１４は、第２実施形態の焦点距離を算出する第２段階の手順Ｓ４００を示すフローチャートである。図１４の手順Ｓ４００は、図１２の手順Ｓ３００においてホワイトチャートがＴＯＦカメラの光軸に対して垂直に配置されてＴＯＦカメラが固定された状態で行われる。
【0068】
ステップＳ４０１で、取得部１０１は、ホワイトチャートの距離画像を取得する。ステップＳ４０１は、ホワイトチャートを用いて距離画像を取得するものであり、ステップＳ３０１と同様であるため、その説明を省略する。
【0069】
ステップＳ４０２で、補正部１０６は、取得した距離画像に対して歪曲補正を行う。ステップＳ４０２は、ステップＳ３０２と同様であるため、その説明を省略する。
【0070】
ステップＳ４０３で、算出部１０２は、ホワイトチャートの歪曲補正済みの距離画像に対して、画面中央の２×２ピクセルの領域Co、画面中央から上下端に位置する４×２ピクセルの領域VU及びVD、画面中央から左右端に位置する２×４ピクセルの領域HL及びHRまでのCo距離平均値、VU距離平均値、VD距離平均値、HL距離平均値及びHR距離平均値を算出する（図１５参照）。このとき、各領域の測距値のノイズが多い場合は、ノイズを抑えるようにフレーム間でピクセル毎の移動平均を用いて各領域の距離平均値が算出されてもよい。
【0071】
ステップＳ４０４で、算出部１０２は、HL距離平均値及びHR距離平均値の平均値HLR_AVE＝（HL＋HR）/2をdpとし、VU距離平均値及びVD距離平均値の平均値VUD_AVE＝（VU+VD）/2をdqとし、画面中央領域の平均値Cをdcとして、式（２１）及び式（２３）等を用いて、ピンホールレンズモデルに換算した水平焦点距離fx及び垂直焦点距離fyを算出する。
【0072】
ステップＳ４０５で、記憶部１０５は、算出した水平焦点距離fx及び垂直焦点距離fyを記憶する。
【0073】
ステップＳ４０５の後、手順Ｓ４００は終了する。
【0074】
図１６は、撮影対象の被写体５を撮影して３次元点群データを得る際の第２実施形態の処理Ｓ５００のフローチャートである。
【0075】
ステップＳ５０１で、取得部１０１は、ＴＯＦセンサ１０から撮影対象の被写体５の距離画像を取得する。ステップＳ５０１は、被写体がホワイトチャートではなく実際の撮影対象のものである点を用いて、ステップＳ３０１と同様であるため、その説明を省略する。
【0076】
ステップＳ５０２で、補正部１０６は、取得した距離画像に対して歪曲補正を行う。ステップＳ５０２は、ステップＳ３０２と同様であるため、その説明を省略する。
【0077】
ステップＳ５０３で、変換部１０３は、記憶した水平焦点距離fx及び垂直焦点距離fyを記憶部１０５から読み出し、読み出した水平焦点距離fx及び垂直焦点距離fyに基づいて上記式（８）、式（９）及び式（１３）等を用い、撮影対象の被写体５の歪曲補正済みの距離画像における各測距値についてPx、Py、Pzを算出して各測距値を３次元点群データに変換する。このようにすることで、距離寸法がより現実の距離に近い３次元点群データが得られる。レンズの焦点距離は被写体５との距離で大きく変わらないため、様々な被写体５を撮影しても距離寸法がより現実の距離に近い３次元点群データが得られる。
【0078】
ステップＳ５０３で、表示部１０４は、３次元点群データを表示装置６０に表示させる。また、３次元点群データは、記憶部１０５に記憶される。
【0079】
ステップＳ５０３の後、処理Ｓ５００は終了する。なお、静止画の場合はここで終了してもよいが、動画として点群を生成する場合は、フレーム毎に処理Ｓ５００を実施する。
【0080】
このように、第２実施形態によると、実際にＴＯＦカメラ１が備えるレンズ２５で得られる距離画像を歪曲補正した距離画像を用いて水平焦点距離fx及び垂直焦点距離fyを求めるため、実際の歪曲補正を加味したピンホールレンズモデル換算の焦点距離が得られる。また、ホワイトチャートを用いてＴＯＦカメラ１の位置を調整して撮影するだけで適切な焦点距離を求めることができるため、適切な焦点距離を求めるための作業負担を軽減することができる。
【0081】
ステップＳ４０３では、ノイズの影響を低減するために画面の上下両端及び左右両端の各領域の距離平均値の平均値が用いられたが、これに限定されず、上下一端及び左右一端の各領域の距離平均値や上下一端及び左右一端の測距値が用いられてもよい。
【0082】
第２実施形態では、水平焦点距離fx及び垂直焦点距離fyの両方が算出されたが、水平焦点距離fx及び垂直焦点距離fyの少なくとも一方が算出されてもよい。例えば、算出部１０２は、歪曲補正済みの距離画像の水平方向の端部の水平測距値及び垂直方向の端部の垂直測距値の少なくとも１つと、中央測距値と、水平方向有効サイズHs及び垂直方向有効サイズVsの少なくとも１つと、距離IE及びRppと、に基づいて、水平焦点距離fx及び垂直焦点距離fyの少なくとも１つを算出してもよい。
【0083】
第２実施形態では、ホワイトチャートの距離画像が用いられたが、これに限定されず、任意の平面の被写体の距離画像が用いられてもよい。また、情報処理装置１００は、補正部１０６が歪曲補正した距離画像及び赤外光画像を、変換部１０３を通さずに表示部１０４に入力し、表示装置６０に表示させるようにしてもよい。このとき、情報処理装置１００は、ステップＳ３０３及びＳ４０３で距離平均値を算出する各領域LU、RU、LD、及びRD並びCo、VU、VD、HL及びHRを表示装置６０に表示させてもよい。
【0084】
第３実施形態
以下、本発明の第３実施形態を説明する。第３実施形態の図面および説明では、第２実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第２実施形態と重複する説明を適宜省略し、第２実施形態と相違する構成について重点的に説明する。
以下、本発明の第３実施形態を説明する。第３実施形態の図面および説明では、第２実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第２実施形態と重複する説明を適宜省略し、第２実施形態と相違する構成について重点的に説明する。
【0085】
上述した第２実施形態の手法は、単焦点レンズに対しては有効であるが、ズームレンズに対しては、ズーム位置が変わる毎に焦点距離および適切な歪曲補正係数が変わるため、必ずしも有効とは言えない。通常、ズームレンズの距離画像のワイド端側は樽の形で歪曲しており、その距離画像を歪曲補正するとやや拡大し、画角がやや狭くなる。この場合、焦点距離を少し大きくしなければ、測距値を３次元点群データに変換したときに厳密には正しい距離にならない。また、通常、ズームレンズでは、テレ端側になるにしたがって、樽歪が徐々に減少する。テレ端側で糸巻歪になるレンズもあり、糸巻歪も歪曲補正でやや拡大されるため、焦点距離を少し大きくしなければ測距値を３次元点群データに変換したときに厳密には正しい距離にならない。そのため、ズームレンズに対応したキャリブレーション及び点群化が必要である。上記を鑑み、第３実施形態について説明する。
【0086】
図１７は、第３実施形態のＴＯＦカメラ１の構成を例示する。第３実施形態のＴＯＦカメラ１は、焦点距離を変更するズーム動作を実行可能なズームレンズ２６を備える。第３実施形態の情報処理装置１００は、ズームレンズ２６のズーム動作を制御するズーム制御部１０７をさらに備える。第３実施形態のズームレンズ２６は、光学系の一例である。
【0087】
ズーム制御部１０７は、ＴＯＦカメラ１に装着したズームレンズ２６のズーム動作を制御するためのズーム制御値ZCをズームレンズ２６に出力する。ズーム制御値ZCは、例えば８ＢＩＴの０～２５５の値によって与えられ、ワイド端からテレ端まで２５６分割した値とする。ズームレンズ２６のアクチュエータ（不図示）は、ズーム制御値ZCに応じたズーム動作を実行する。
【0088】
ズーム制御部１０７は、ズーム制御値ZCを補正部１０６にさらに出力する。補正部１０６は、ズームレンズ２６を用いて得られた距離画像に基づいて、入力したズーム制御値ZC毎に、最適な歪曲補正を行う。例えば、記憶部１０５は、一般的に用いられる像高に応じて曲線的に歪曲補正する式（２５）及び式（２６）の歪曲補正係数kを、256分割したズーム制御値ZCに対応する256個分保持しており、補正部１０６は、ズーム制御値ZCの示すズーム時のレンズ歪曲を最適に補正する歪曲補正係数kを記憶部１０５から読み出し、その歪曲補正係数で距離画像に対して歪曲を補正する。
【0089】
以下、ズーム制御値ZC毎に焦点距離を算出する手順について説明する。まず、第１段階として、上述した図１２の手順Ｓ３００を実行して、ホワイトチャートがＴＯＦカメラ１の光軸に対して垂直に配置されているかを確認し、ＴＯＦカメラ１の位置を確定させる。
【0090】
次に、第２段階として、情報処理装置１００は、ズーム制御値ZC毎に、図１５の手順Ｓ４００を実行して、水平焦点距離fx及び垂直焦点距離fyを算出する。第３実施形態の水平焦点距離fxは、256個分の水平焦点距離fx[ZC]（すなわちfx[0]～fx[255]）として、垂直焦点距離fyは、256個分のfy[ZC]（すなわちfy[0]～fy[255]）として、それぞれズーム制御値ZCに紐付けされて記憶部１０５に保持される。
【0091】
例えば、ワイド端のときにズーム制御値ZC＝０である場合、情報処理装置１００は、図１５の手順Ｓ４００を実行してズーム制御値ZC＝０の場合の水平焦点距離fx及び垂直焦点距離fyを算出する。fx[ZC]＝fx[0]、fy[ZC]=fy[0]の記憶部１０５の記憶領域に、ズーム制御値ZC＝０において算出した水平焦点距離fx及び垂直焦点距離fyが記憶される。
【0092】
次に、ズーム制御値ZCの値を１進め、ズーム制御値ZC＝1にして、ズームレンズ２６をワイド端から１ステップだけテレ側にずらす。情報処理装置１００は、手順Ｓ４００を実行してズーム制御値ZC＝1の場合の水平焦点距離fx及び垂直焦点距離fyを算出する。記憶部１０５におけるfx[ZC]＝fx[1]及びfy[ZC]=fy[1]の記憶領域にその算出結果が記憶される。
【0093】
このズーム制御値ZC毎の水平焦点距離fx及び垂直焦点距離fyの算出をズームレンズ２６の位置がテレ端になるまで実施する。これにより、ワイド端からテレ端までの水平焦点距離fx[ZC]及び垂直焦点距離fy[ZC]が記憶部１０５に記憶される。
【0094】
実際に撮影対象の被写体５を撮影する場合には、情報処理装置１００は、図１６の処理Ｓ５００を実行して、ズームレンズ２６を制御する毎に瞬時にそのズーム制御値ZCに相当する水平焦点距離fx[ZC]及び垂直焦点距離fy[ZC]を記憶部１０５から読み出し、その焦点距離に基づいて点群変換を行う。
【0095】
このように、第３実施形態では、補正部１０６は、ズーム制御値に基づいて歪曲補正を行う。本構成によると、ズーム動作をしても最適な距離寸法でより現実の距離に近い点群を得ることができる。
【0096】
第４実施形態
以下、本発明の第４実施形態を説明する。第４実施形態の図面および説明では、第３実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第３実施形態と重複する説明を適宜省略し、第３実施形態と相違する構成について重点的に説明する。
以下、本発明の第４実施形態を説明する。第４実施形態の図面および説明では、第３実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第３実施形態と重複する説明を適宜省略し、第３実施形態と相違する構成について重点的に説明する。
【0097】
焦点距離の可動領域が異なるレンズ毎に適切な焦点距離を適用できれば、より汎用性のあるＴＯＦカメラ１を実現できる。そこで、第４実施形態は、例えばレンズマウントをＣマウントにしてそれぞれ異なる焦点距離の可動領域を有するレンズに交換可能なＴＯＦカメラ１を示す。
【0098】
図１８は、第４実施形態のＴＯＦカメラ１の構成を例示する。第４実施形態のＴＯＦカメラ１は、交換式のズームレンズである交換式レンズ２７と、交換式レンズ２７をＴＯＦカメラ１に取り付けるためのＣマウント２８と、ユーザ入力を受け付ける入力装置７０と、を備える。第４実施形態の交換式レンズ２７は、焦点距離の可動領域がそれぞれ異なるズームレンズからユーザの用途に応じて選択されてＴＯＦカメラ１に装着される。第４実施形態の交換式レンズ２７は、光学系の一例である。
【0099】
第４実施形態の記憶部１０５は、例えば、焦点距離の可動領域がそれぞれ異なる３種類の交換式レンズ２７毎に各ズーム制御値ZCに対応する２５６通りの歪曲補正係数kを保持している。例えば、記憶部１０５は、１種類目の交換式レンズ２７の各ズーム制御値ZCに対応する２５６通りの歪曲補正係数kを格納する第１領域１０５ａと、２種類目の交換式レンズ２７の各ズーム制御値ZCに対応する２５６通りの歪曲補正係数kを格納する第２領域１０５ｂと、３種類目の交換式レンズ２７の各ズーム制御値ZCに対応する２５６通りの歪曲補正係数kを格納する第３領域１０５ｃと、を有する。
【0100】
以下、交換式レンズ２７毎に焦点距離を算出する手順について説明する。例えば、ユーザが入力装置７０を介してこれらの第１～第３領域１０５ａ～１０５ｃにそれぞれインデックス番号１～３を設定し、３種類の交換式レンズ２７のうち装着した交換式レンズ２７に相当するインデックス番号を指定する。インデックス番号は、交換式レンズ２７の種類を示す。例えば、第１領域１０５ａに関するインデックス番号１が指定されたものとする。この指定後、上記第３実施形態で説明したズーム制御値ZC毎に焦点距離を算出する手順を実施する。補正部１０６は、指定されたインデックス番号１及びズーム制御部１０７から入力されたズーム制御値ZCに対応する歪曲補正係数kを記憶部１０５の第１領域１０５ａから読み出し、距離画像を補正する。例えば、ズーム制御値ZC＝０であるとき、算出部１０２は、ズーム制御値ZC＝０について図１４のステップＳ４０３及びＳ４０４を実行して、水平焦点距離fx[INDEX][ZC]＝fx[1][0]及び垂直焦点距離fy[INDEX][ZC]＝fy[1][0]を算出する。記憶部１０５は、得られた焦点距離fx[1][0]及びfy[1][0]をインデックス番号１及びズーム制御値ZC＝０に対応する第１領域１０５ａに記憶する。これらの手順をインデックス番号１における各ズーム制御値ZCについて繰り返し、インデックス番号１及び各ズーム制御値ZCについての水平焦点距離fx[INDEX][ZC]及び垂直焦点距離fy[INDEX][ZC]をインデックス番号１及び各ズーム制御値ZCに対応する第１領域１０５ａに記憶する。
【0101】
次に、例えば、ユーザが交換式レンズ２７をインデックス番号２に対応する交換式レンズ２７に交換して入力装置７０を介してインデックス番号２を指定した後、ズーム制御値ZC毎に焦点距離を算出する手順を実施する。補正部１０６は、指定されたインデックス番号２及びズーム制御部１０７から入力されたズーム制御値ZCに対応する歪曲補正係数kを記憶部１０５の第２領域１０５ｂから読み出し、距離画像を補正する。例えば、ズーム制御値ZC＝０であるとき、算出部１０２は、ズーム制御値ZC＝０について図１４のステップＳ４０３及びＳ４０４を実行して、水平焦点距離fx[INDEX][ZC]＝fx[2][0]及び垂直焦点距離fy[INDEX][ZC]＝fy[2][0]を算出する。記憶部１０５は、得られた焦点距離fx[2][0]及びfy[2][0]をインデックス番号２及びズーム制御値ZC＝０に対応する第２領域１０５ｂに記憶する。これらの手順をインデックス番号２における各ズーム制御値ZCについて繰り返し、インデックス番号２及び各ズーム制御値ZCについての水平焦点距離fx[INDEX][ZC]及び垂直焦点距離fy[INDEX][ZC]をインデックス番号２及び各ズーム制御値ZCに対応する第２領域１０５ｂに記憶する。
【0102】
次に、ユーザが交換式レンズ２７をインデックス番号３に対応する交換式レンズ２７に交換して入力装置７０を介してインデックス番号３を指定した後、ズーム制御値ZC毎に焦点距離を算出する手順を実施する。補正部１０６は、指定されたインデックス番号３及びズーム制御部１０７から入力されたズーム制御値ZCに対応する歪曲補正係数kを記憶部１０５の第３領域１０５ｃから読み出し、距離画像を補正する。例えば、ズーム制御値ZC＝０であるとき、算出部１０２は、ズーム制御値ZC毎に図１４のステップＳ４０３及びＳ４０４を実行して、ズーム制御値ZC＝０について水平焦点距離fx[INDEX][ZC]＝fx[3][0]及び垂直焦点距離fy[INDEX][ZC]＝fy[3][0]を算出する。記憶部１０５は、得られた焦点距離fx[3][0]及びfy[3][0]をインデックス番号３及びズーム制御値ZC＝０に対応する第３領域１０５ｃに記憶する。これらの手順をインデックス番号３における各ズーム制御値ZCについて繰り返し、インデックス番号３及び各ズーム制御値ZCについての水平焦点距離fx[INDEX][ZC]及び垂直焦点距離fy[INDEX][ZC]をインデックス番号３及び各ズーム制御値ZCに対応する第３領域１０５ｃに記憶する。
【0103】
実際に被写体を撮影する場合には、装着した交換式レンズ２７のインデックス番号を指定することにより、変換部１０３は、交換式レンズ２７を制御する毎に瞬時にそのズーム制御値ZCに相当する水平焦点距離fx[INDEX][ZC]及び垂直焦点距離fy[INDEX][ZC]を記憶部１０５から読み出し、その焦点距離に基づいて点群変換を行う。
【0104】
このように、第４実施形態では、補正部１０６は、ズーム制御値ZCに加え、選択された交換式レンズ２７の種類にさらに基づいて歪曲補正を行う。本構成によると、選択された交換式レンズ２７に応じて最適な距離寸法でより現実の距離に近い点群を得ることができる。
【0105】
第４実施形態では、３種類の交換式レンズ２７を用いる例を示したが、３種類に限定されず、２種類以上であればよい。
【0106】
第５実施形態
以下、本発明の第５実施形態を説明する。第５実施形態の図面および説明では、第４実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第４実施形態と重複する説明を適宜省略し、第４実施形態と相違する構成について重点的に説明する。
以下、本発明の第５実施形態を説明する。第５実施形態の図面および説明では、第４実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第４実施形態と重複する説明を適宜省略し、第４実施形態と相違する構成について重点的に説明する。
【0107】
被写体のＲＧＢのカラー画像をさらに活用して３次元点群データを生成すると、より実物に近い３次元モデルが再現できる。しかし、上述のレンズの歪曲、ズーム制御値ZC、焦点距離の可動領域によって、被写体からの反射光から得られるカラー画像におけるＲＧＢの配置は異なるものとなる。したがって、上記第４実施形態のようにレンズの歪曲、ズーム制御値ZC、焦点距離の可動領域を考慮して距離画像を適切に３次元点群に変換したとしても、被写体のＲＧＢのカラー画像が３次元点群データに適切に配置されないおそれがある。上記を鑑みて、第５実施形態について説明する。
【0108】
図１９は、第５実施形態のＴＯＦカメラ１の構成を例示する。第５実施形態のＴＯＦカメラ１は、交換式レンズ２７を通過した光を分光するプリズム８０と、被写体を反射した可視光から被写体のＲＧＢのカラー画像を生成するＲＧＢセンサ１５と、を備える。カラー画像は、ピクセル毎のＲＧＢのカラー値を示す画像である。プリズム８０は、可視光反射ダイクロイック膜８１を備える。可視光反射ダイクロイック膜８１は、例えば、図２０に示す反射分光特性を有し、波長が400～700［nm］の可視光を反射してＲＧＢセンサ１５に出力するとともに、投光部５０から投射された近赤外光（例えば波長が940［nm］の赤外光）を透過してＴＯＦセンサ１０に出力する。第５実施形態のＴＯＦセンサ１０及びＲＧＢセンサ１５は、プリズム８０を用いて同光軸上に配置されている。ＲＧＢセンサ１５の検出する被写体のカラー画像はＴＯＦセンサ１０の検出する距離画像と同じ画角で同じピクセル数とする。
【0109】
可視光の環境光及び投光部５０から投射された近赤外光は、被写体を反射して交換式レンズ２７を通過し、プリズム８０に入射する。プリズム８０に入射した光のうち可視光は可視光反射ダイクロイック膜８１で反射されてＲＧＢセンサ１５に入射し、近赤外光は可視光反射ダイクロイック膜８１を透過してＴＯＦセンサ１０に入射する。
【0110】
ＴＯＦセンサ１０の測距値を用いた焦点距離の算出手法は第４実施形態と同様であるため、その説明を省略する。以下では、生成された３次元点群データに対して、レンズの歪曲等を考慮して被写体のＲＧＢのカラー画像を適切に配置する手法を説明する。
【0111】
第５実施形態の記憶部１０５は、交換式レンズ２７の歪曲補正に加えて交換式レンズ２７の倍率色収差を補正するために、Ｒ、Ｇ、Ｂのチャンネルの各々について、式（２５）及び式（２６）の歪曲補正係数kを、ズーム制御値ZCに対して256分割した256個分保持している。すなわち、記憶部１０５は、Ｒ、Ｇ、Ｂのそれぞれについての256個分の歪曲補正係数kを記憶している。さらに、第５実施形態の記憶部１０５は、第４実施形態のように、交換式レンズ２７毎にインデックス番号を設定してそのインデックス番号毎にズーム制御値ZCに対応する２５６通りの歪曲補正係数kを保持している。
【0112】
取得部１０１は、ＲＧＢセンサ１５から被写体のカラー画像を取得する。補正部１０６は、入力装置７０を介してユーザによって指定されたインデックス番号及びズーム制御値ZCに対応する歪曲補正係数kを記憶部１０５から読み出し、カラー画像に対して式（２５）及び式（２６）を用いて歪曲補正を行う。変換部１０３は、色収差及び歪曲を補正したカラー画像を３次元点群データに配置することにより、被写体のカラーが反映された３次元点群データを生成する。表示部１０４は、被写体のカラーが反映された３次元点群データを表示装置６０に表示させる。
【0113】
第５実施形態では、補正部１０６はカラー画像を歪曲補正し、変換部１０３は歪曲補正したカラー画像を３次元点群データに配置することにより、被写体のカラーが反映された３次元点群データを生成する。本構成によると、歪曲補正したカラー画像を用いることで、３次元点群データにカラー画像を適切に配置できるため、より現実に近い３次元モデルを提供することが可能となる。
【0114】
第５実施形態では、補正部１０６は、インデックス番号及びズーム制御値ZCに基づいてカラー画像に対して歪曲補正を行ったが、これに限定されず、インデックス番号及びズーム制御値ZCに用いずに歪曲補正を行ってもよい。
【0115】
第６実施形態
以下、本発明の第６実施形態を説明する。第６実施形態の図面および説明では、第５実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第５実施形態と重複する説明を適宜省略し、第５実施形態と相違する構成について重点的に説明する。
以下、本発明の第６実施形態を説明する。第６実施形態の図面および説明では、第５実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第５実施形態と重複する説明を適宜省略し、第５実施形態と相違する構成について重点的に説明する。
【0116】
第６実施形態の記憶部１０５は、各ズーム制御値ZCに対応する入射瞳位置までの距離IE及び像側主平面までの距離Rppを記憶している。第６実施形態の算出部１０２は、ズーム制御値ZC毎に対応する距離IE及びRppを読み出し、その読み出した距離IE及びRppに基づいて式（２１）及び式（２３）等を用いて水平焦点距離fx及び垂直焦点距離fyを算出する。
【0117】
ここで、入射瞳位置までの距離IE及び像側主平面までの距離Rppは、ズーム制御値ZCによって変化する。第６実施形態によると、ズーム制御値ZC毎に適切な距離IE及びRppを用いて水平焦点距離fx及び垂直焦点距離fyを算出することができるため、焦点距離の精度をより向上させることができる。
【0118】
上記実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0119】
１ ＴＯＦカメラ、 １０ ＴＯＦセンサ、 １５ ＲＧＢセンサ、２０ ピンホールレンズ、 ２５ レンズ、 ２６ ズームレンズ、 ２７ 交換式レンズ、 ５０ 投光部、 ６０ 表示装置、 ７０ 入力装置、 ８０ プリズム、 １００ 情報処理装置、 １０１ 取得部、 １０２ 算出部、 １０３ 変換部、 １０４ 表示部、 １０５ 記憶部、 １０６ 補正部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】