特開 2024-157339 マルチ測距カメラの制御装置及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024157339

(43)【公開日】2024-11-07

(54)【発明の名称】マルチ測距カメラの制御装置及び制御方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20241030BHJP

【ＦＩ】

G01C3/06 120Q

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023071641

(22)【出願日】2023-04-25

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】小林 敏秀

【テーマコード（参考）】

2F112

【Ｆターム（参考）】

2F112AD01

2F112CA12

2F112DA02

2F112DA25

(57)【要約】

【課題】被写体との距離が互いに異なった状態で複数台の測距カメラが配置されていたとしても、各測距カメラによる撮影画像の点群の量を一致させることができるマルチ測距カメラの制御装置を提供する。
【解決手段】演算部３１は、被写体２を囲むように配置されており、ズームレンズを含む複数の測距カメラ１Ａ～１Ｄにおける各測距カメラから被写体２の中心２ｃまでの距離を算出する。複数の測距カメラ１Ａ～１Ｄのうちのいずれかを基準の測距カメラとする。ズーム制御部３３は、基準の測距カメラ以外の測距カメラが被写体２を撮影するときのズームの焦点距離を、基準の測距カメラが被写体２を撮影するときのズームの焦点距離に、基準の測距カメラから被写体２の中心２ｃまでの距離を基準の測距カメラ以外の測距カメラから被写体２の中心２ｃまでの距離で除算した値を乗算した焦点距離とするよう、基準の測距カメラ以外の測距カメラのズームを制御する。
【選択図】図９

【特許請求の範囲】

【請求項1】

被写体を囲むように配置されており、ズームレンズを含む複数の測距カメラにおける各測距カメラから前記被写体の中心までの距離を算出する演算部と、
前記複数の測距カメラのうちのいずれかを基準の測距カメラとし、前記基準の測距カメラ以外の測距カメラが前記被写体を撮影するときのズームの焦点距離を、前記基準の測距カメラが前記被写体を撮影するときのズームの焦点距離に、前記基準の測距カメラから前記被写体の中心までの距離を前記基準の測距カメラ以外の測距カメラから前記被写体の中心までの距離で除算した値を乗算した焦点距離とするよう、前記基準の測距カメラ以外の測距カメラのズームを制御するズーム制御部と、
を備えるマルチ測距カメラの制御装置。

【請求項2】

前記演算部は、
前記複数の測距カメラのうちの対向する２つの測距カメラ間の距離と、前記各測距カメラから前記被写体の表面までの距離とに基づいて、前記対向する２つの測距カメラの方向の前記被写体の幅を算出し、
前記各測距カメラから前記被写体の表面までの距離と前記被写体の幅とに基づいて、前記各測距カメラから前記被写体の中心までの距離を算出する
請求項１に記載のマルチ測距カメラの制御装置。

【請求項3】

前記演算部は、
前記各測距カメラのローカルの原点座標と前記各測距カメラが前記被写体までの距離を測距したローカルの点群座標とを、前記基準の測距カメラを基準とするグローバル座標の原点座標及び前記被写体までの距離を示す点群座標に変換し、
前記複数の測距カメラによる前記被写体までの距離を示すグローバル座標の点群座標の平均値に基づいて前記被写体の中心を求め、
前記被写体の中心から前記各測距カメラのグローバル座標の原点座標までの距離を算出する
請求項１に記載のマルチ測距カメラの制御装置。

【請求項4】

前記演算部は、前記各測距カメラと前記各測距カメラと隣り合う測距カメラとの間の距離に基づいて、前記各測距カメラのローカルの原点座標と前記各測距カメラが前記被写体までの距離を測距したローカルの点群座標とを、グローバル座標の原点座標及び前記被写体までの距離を示す点群座標に変換する請求項３に記載のマルチ測距カメラの制御装置。

【請求項5】

被写体を囲むように配置された複数の測距カメラを制御するコンピュータ機器が、
前記複数の測距カメラにおける各測距カメラから前記被写体の中心までの距離を算出し、
前記複数の測距カメラのうちのいずれかを基準の測距カメラとし、前記基準の測距カメラ以外の測距カメラが前記被写体を撮影するときのズームの焦点距離を、前記基準の測距カメラが前記被写体を撮影するときのズームの焦点距離に、前記基準の測距カメラから前記被写体の中心までの距離を前記基準の測距カメラ以外の測距カメラから前記被写体の中心までの距離で除算した値を乗算した焦点距離とするよう、前記基準の測距カメラ以外の測距カメラのズームを制御する
マルチ測距カメラの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチ測距カメラの制御装置及び制御方法に関する。

【背景技術】

【0002】

ボリュメトリック画像生成装置は、複数台の測距カメラによって被写体を３６０度の角度で撮影して、被写体の３次元モデルであるボリュメトリック画像を生成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／１０５６９７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

被写体と各測距カメラとの距離が互いに異なると、各測距カメラが被写体を撮影するときの画角が一致しないので、各測距カメラによる撮影画像の点群の量が異なってしまう。測距カメラがズームレンズを備え、各測距カメラが異なるズーム量でズーミングした場合も同様に、各測距カメラによる撮影画像の点群の量が異なってしまう。複数台の測距カメラによる点群の量が互いに異なる撮影画像を合成してボリュメトリック画像を生成すると、視覚的に違和感が生じることがある。

【0005】

被写体と各測距カメラとの距離が厳密に管理されたボリュメトリックスタジオと称される専用スタジオで被写体を撮影すれば、各測距カメラによる撮影画像の点群の量は一致する。しかしながら、専用スタジオを借りる費用がかかってしまい、また手軽に被写体を撮影することもできない。

【0006】

本発明は、被写体との距離が互いに異なった状態で複数台の測距カメラが配置されていたとしても、各測距カメラによる撮影画像の点群の量を一致させることができるマルチ測距カメラの制御装置及び制御方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、被写体を囲むように配置されており、ズームレンズを含む複数の測距カメラにおける各測距カメラから前記被写体の中心までの距離を算出する演算部と、前記複数の測距カメラのうちのいずれかを基準の測距カメラとし、前記基準の測距カメラ以外の測距カメラが前記被写体を撮影するときのズームの焦点距離を、前記基準の測距カメラが前記被写体を撮影するときのズームの焦点距離に、前記基準の測距カメラから前記被写体の中心までの距離を前記基準の測距カメラ以外の測距カメラから前記被写体の中心までの距離で除算した値を乗算した焦点距離とするよう、前記基準の測距カメラ以外の測距カメラのズームを制御するズーム制御部とを備えるマルチ測距カメラの制御装置を提供する。

【0008】

本発明は、被写体を囲むように配置された複数の測距カメラを制御するコンピュータ機器が、前記複数の測距カメラにおける各測距カメラから前記被写体の中心までの距離を算出し、前記複数の測距カメラのうちのいずれかを基準の測距カメラとし、前記基準の測距カメラ以外の測距カメラが前記被写体を撮影するときのズームの焦点距離を、前記基準の測距カメラが前記被写体を撮影するときのズームの焦点距離に、前記基準の測距カメラから前記被写体の中心までの距離を前記基準の測距カメラ以外の測距カメラから前記被写体の中心までの距離で除算した値を乗算した焦点距離とするよう、前記基準の測距カメラ以外の測距カメラのズームを制御するマルチ測距カメラの制御方法を提供する。

【発明の効果】

【0009】

本発明のマルチ測距カメラの制御装置及び制御方法によれば、被写体との距離が互いに異なった状態で複数台の測距カメラが配置されていたとしても、各測距カメラによる撮影画像の点群の量を一致させることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、被写体を囲むように配置された複数の測距カメラを示す図である。

【図2】図２は、図１に示す複数の測距カメラがズーム量を同じにした状態で被写体を撮影して生成する点群データを示す概念図である。

【図3】図３は、第１実施形態に係るマルチ測距カメラの制御装置が複数の測距カメラにおける互いに対向する測距カメラ間の距離を測定する状態を示す図である。

【図4A】図４Ａは、第１実施形態に係るマルチ測距カメラの制御装置が互いに対向する測距カメラ間の距離を測定する部分的な処理を示すフローチャートである。

【図4B】図４Ｂは、第１実施形態に係るマルチ測距カメラの制御装置が互いに対向する測距カメラ間の距離を測定する、図４Ａに続く部分的な処理を示すフローチャートである。

【図5A】図５Ａは、測距カメラのレンズ鏡筒を正面から見た平面図である。

【図5B】図５Ｂは、測距カメラのレンズにレンズキャップを装着した状態を示す平面図である。

【図5C】図５Ｃは、測距カメラのレンズに中心部が白でその周囲部が黒のレンズキャップを装着した状態を示す平面図である。

【図6】図６は、測距カメラのレンズ鏡筒にレンズキャップを装着した状態を示す部分斜視図である。

【図7】図７は、複数の測距カメラのうちの１つの測距カメラが対向する測距カメラを撮影することによって生成した近赤外画像を概念的に示す図である。

【図8】図８は、図７に示す近赤外画像におけるレンズキャップを通る垂直位置における水平方向の近赤外光の輝度レベルを示す図である。

【図9】図９は、複数の測距カメラが被写体を撮影している状態を示す図である。

【図10】図１０は、測距カメラによる被写体までの測距を詳細に示す図である。

【図11A】図１１Ａは、第２実施形態に係るマルチ測距カメラの制御装置が隣り合う２つの測距カメラまでの距離を測定する部分的な処理を示すフローチャートである。

【図11B】図１１Ｂは、第２実施形態に係るマルチ測距カメラの制御装置が隣り合う２つの測距カメラまでの距離を測定する、図１１Ａに続く部分的な処理を示すフローチャートである。

【図11C】図１１Ｃは、第２実施形態に係るマルチ測距カメラの制御装置が隣り合う２つの測距カメラまでの距離を測定する、図１１Ｂに続く部分的な処理を示すフローチャートである。

【図11D】図１１Ｄは、第２実施形態に係るマルチ測距カメラの制御装置が隣り合う２つの測距カメラまでの距離を測定する、図１１Ｃに続く部分的な処理を示すフローチャートである。

【図11E】図１１Ｅは、第２実施形態に係るマルチ測距カメラの制御装置が隣り合う２つの測距カメラまでの距離を測定する、図１１Ｄに続く部分的な処理を示すフローチャートである。

【図12】図１２は、複数の測距カメラのうちの１つの測距カメラが隣り合う２つの測距カメラを撮影することによって生成した近赤外画像を概念的に示す図である。

【図13A】図１３Ａは、測距カメラ１Ａが測距カメラ１Ｂ及び１Ｄを撮影している状態で、第２実施形態に係るマルチ測距カメラの制御装置が抽出するレンズキャップの中央における点群座標を示す図である。

【図13B】図１３Ｂは、測距カメラ１Ｂが測距カメラ１Ａ及び１Ｃを撮影している状態で、第２実施形態に係るマルチ測距カメラの制御装置が抽出するレンズキャップの中央における点群座標を示す図である。

【図13C】図１３Ｃは、測距カメラ１Ｃが測距カメラ１Ｂ及び１Ｄを撮影している状態で、第２実施形態に係るマルチ測距カメラの制御装置が抽出するレンズキャップの中央における点群座標を示す図である。

【図13D】図１３Ｄは、測距カメラ１Ｄが測距カメラ１Ａ及び１Ｃを撮影している状態で、第２実施形態に係るマルチ測距カメラの制御装置が抽出するレンズキャップの中央における点群座標を示す図である。

【図14】図１４は、測距カメラ１Ａから見た測距カメラ１Ｂの座標系を示す図である。

【図15】図１５は、図１４をモデル化した、測距カメラ１Ａの軸の方向と、測距カメラ１Ｂの軸の方向との関係を示す図である。

【図16】図１６は、第２実施形態に係るマルチ測距カメラの制御装置が被写体の中心を求める際の視野範囲を示す図である。

【発明を実施するための形態】

【0011】

以下、各実施形態に係るマルチ測距カメラの制御装置及び制御方法について、添付図面を参照して説明する。

【0012】

＜第１実施形態＞
第１実施形態に係るマルチ測距カメラの制御装置及び制御方法は、複数の測距カメラによって撮影される被写体を、各測距カメラの調整時に一時的に移動させることが可能な場合に用いて好適である。

【0013】

図１において、測距カメラ１Ａ～１Ｄは被写体２を囲むように配置されている。測距カメラ１Ａ～１Ｄは同じ性能を有する。測距カメラ１Ａ～１Ｄは、レンズ鏡筒１１内にズームレンズ１ＺＬを有することによりズーム機能を備える。図１では被写体２を球としているが、被写体２は球でなくてもよい。測距カメラ１Ａ～１Ｄのうちのいずれかを特定しない測距カメラを測距カメラ１と称することとする。測距カメラ１は、垂直共振型面発光レーザ１３（図５Ａ参照）等の赤外光源から例えば近赤外の波長の光を照射し、被写体から反射した反射光をセンサで受光することによって被写体までの距離を算出する。

【0014】

被写体２は、任意の数である複数の測距カメラ１によって囲まれていればよい。測距カメラ１は、ＴＯＦ（Time Of Flight）カメラまたは３Ｄスキャナと称されるカメラであってもよい。

【0015】

測距カメラ１Ａ及び１Ｃは、測距カメラ１Ａと測距カメラ１Ｃとの間に被写体２が配置された状態で、レンズ鏡筒１１が互いに向かい合うように配置されている。測距カメラ１Ｂ及び１Ｄは、測距カメラ１Ｂと測距カメラ１Ｄとの間に被写体２が配置された状態で、レンズ鏡筒１１が互いに向かい合うように配置されている。測距カメラ１Ａ～１Ｄにおける図示していないセンサから被写体２の中心２ｃまでの距離を、それぞれＤａ、Ｄｂ、Ｄｃ、Ｄｄとする。Ｄａ～Ｄｄは、Ｄａ＞Ｄｃ＞Ｄｂ＞Ｄｄの関係を有するとする。

【0016】

測距カメラ１Ａ～１Ｄにおけるズーム量が同じであるとする。測距カメラ１Ａ～１Ｄが生成する距離データを点群データに変換すると、測距カメラ１Ａ～１Ｄに対応する点群データＰＣａ～ＰＣｄは、概念的に図２に示すようになる。点群データＰＣａ～ＰＣｄにおける被写体２の大きさは、点群データＰＣｄ、ＰＣｂ、ＰＣｃ、ＰＣａの順で大きい。よって、被写体２に含まれる点群の量が点群データＰＣａ～ＰＣｄで異なる。

【0017】

点群データＰＣａ～ＰＣｄを合成して被写体２の３次元モデルであるボリュメトリック画像を生成すると、視覚的に違和感が生じることがある。そこで、測距カメラ１Ａ～１Ｄにおける各ズーム量は、被写体２の大きさが全て同じになるように個別に調整される必要がある。

【0018】

図３において、第１実施形態に係るマルチ測距カメラの制御装置であるズーム制御装置３０は、演算部３１、記憶部３２、ズーム制御部３３を備える。ズーム制御装置３０は、パーソナルコンピュータのようなコンピュータ機器によって構成することができる。図３に示すように、図１に示す被写体２は、一時的に、測距カメラ１Ａと測距カメラ１Ｃとの間及び測距カメラ１Ｂと測距カメラ１Ｄとの間から外れた任意の位置に移動されている。

【0019】

ズーム制御装置３０は、図４Ａ及び図４Ｂに示すフローチャートに従って、測距カメラ１Ａ～１Ｄにおける互いに対向する２つの測距カメラ１間の距離を測定する。

【0020】

図４Ａにおいて、ズーム制御装置３０は、ステップＳ１にて、測距カメラ１Ａを、測距カメラ１Ａが測距カメラ１Ｃまでの距離を測定するモードに設定する。ユーザは、ステップＳ２にて、測距カメラ１Ｃのレンズ鏡筒１１に白のレンズキャップ１２を装着する。図５Ａは、測距カメラ１のレンズ鏡筒１１を正面から見た平面図である。レンズ鏡筒１１の先端部には、レンズ１１Ｌの周囲に例えば４つの垂直共振型面発光レーザ（ＶＣＳＥＬ）１３が設けられている。ＶＣＳＥＬ１３は近赤外光を射出する。図５Ｂに示すように、ユーザは、ここでは測距カメラ１Ｃのレンズ１１Ｌを覆うようにレンズキャップ１２を装着する。

【0021】

図５Ｃに示すように、ユーザは、測距カメラ１のレンズ鏡筒１１に、光軸を含む中心部１２Ｂ１が白で、その周囲部１２Ｂ２が黒のレンズキャップ１２Ｂを装着してもよい。図６に示すように、ユーザは、レンズ鏡筒１１の先端部の全体を覆う白のレンズキャップ１２Ｃを装着してもよい。

【0022】

レンズ鏡筒１１を含む測距カメラ１の筐体は、黒または灰色のような暗い色の塗料が塗られているか素材自体が黒または灰色のような暗い色である。暗い色の被写体における近赤外光の反射率は低いため、測距カメラ１が対向する測距カメラ１までの距離を測定するときの測距精度が悪化して正確に測距できない。レンズ鏡筒１１にレンズキャップ１２、１２Ｂ、または１２Ｃを装着すれば、対向する測距カメラ１までの距離を正確に測距することができる。

【0023】

レンズキャップ１２、レンズキャップ１２Ｂの中心部１２Ｂ１、レンズキャップ１２Ｃは、白の塗料が塗られているか素材自体が白であればよい。白の塗料として、例えば、近赤外光の反射率が高い屋外の遮熱を目的として複合酸化物顔料を用いてもよい。以下、レンズ鏡筒１１にレンズキャップ１２が装着されているとする。

【0024】

ズーム制御装置３０は、ステップＳ３にて、測距カメラ１Ａを次のように制御して、測距カメラ１Ａが算出した測距カメラ１Ｃまでの距離である測距値Ｄaccapを取得する。測距カメラ１は、ｉＴｏＦ（Indirect ToF）方式を採用しており、距離データを画素として示す測距画像と同時に近赤外画像を生成する。図７は、測距カメラ１Ａが測距カメラ１Ｃを撮影することによって生成した近赤外画像ＮＩａを概念的に示している。図８は、近赤外画像ＮＩａにおけるレンズキャップ１２を通る垂直位置における水平方向の近赤外光の輝度レベルを示している。

【0025】

測距カメラ１Ａのセンサは、ＶＣＳＥＬ１３より射出された近赤外光が測距カメラ１Ｃのレンズ鏡筒１１に装着されたレンズキャップ１２で反射して戻ってきた近赤外光を受信する。このとき、ズーム制御装置３０は、測距カメラ１Ｂ～１ＤにおけるＶＣＳＥＬ１３からの近赤外光の射出を停止させている。

【0026】

ズーム制御装置３０は、近赤外画像ＮＩａにおけるズーム制御装置３０が設定する閾値Ｔｈを超えるレンズキャップ１２に相当する領域の測距値のみの平均値をとって測距値Ｄaccapを生成するよう測距カメラ１Ａを制御する。ズーム制御装置３０が測距カメラ１Ａをこのように制御すれば、測距カメラ１Ａは測距カメラ１Ｃのレンズ鏡筒１１の先端部までの距離を正確に測定することができる。ズーム制御装置３０は、測距カメラ１Ａがこのように生成した測距値Ｄaccapを取得する。

【0027】

ズーム制御装置３０は、近赤外画像ＮＩａにおける閾値Ｔｈを超える領域を例えば黄色で着色して、図示していない表示部に近赤外画像ＮＩａを表示してもよい。ユーザは、表示部に表示されている近赤外画像ＮＩａにおける黄色で着色されている領域を確認することにより、測距カメラ１Ａがレンズキャップ１２に相当する領域の測距値に基づいて測距値Ｄaccapを生成しているか否かを判断することができる。

【0028】

ズーム制御装置３０の演算部３１は、ステップＳ４にて、測距値Ｄaccapに測距カメラ１Ｃのレンズキャップからセンサまでの図３に示す距離Ｄｓを加算して、測距カメラ１Ａから測距カメラ１Ｃまでの距離Ｄａｃを算出する。測距カメラ１のレンズキャップからセンサまでの距離Ｄｓは既知であり、ズーム制御装置３０は記憶部３２に距離Ｄｓを予め保持している。

【0029】

ズーム制御装置３０は、ステップＳ５にて、測距カメラ１Ｂを、測距カメラ１Ｂが測距カメラ１Ｄまでの距離を測定するモードに設定する。ユーザは、ステップＳ６にて、測距カメラ１Ｄのレンズ鏡筒１１に白のレンズキャップ１２を装着する。ズーム制御装置３０は、ステップＳ７にて、測距カメラ１Ａを制御するのと同様に測距カメラ１Ｂを制御して、測距カメラ１Ｂが算出した測距カメラ１Ｄまでの距離である測距値Ｄbdcapを取得する。このとき、ズーム制御装置３０は、測距カメラ１Ａ、１Ｃ、及び１ＤにおけるＶＣＳＥＬ１３からの近赤外光の射出を停止させている。

【0030】

ズーム制御装置３０の演算部３１は、ステップＳ８にて、測距値Ｄbdcapに測距カメラ１Ｄのレンズキャップ１２からセンサまでの距離Ｄｓを加算して、測距カメラ１Ｂから測距カメラ１Ｄまでの距離Ｄｂｄを算出する。

【0031】

図４Ｂにおいて、ズーム制御装置３０は、ステップＳ９にて、測距カメラ１Ｃを、測距カメラ１Ｃが測距カメラ１Ａまでの距離を測定するモードに設定する。ユーザは、ステップＳ１０にて、測距カメラ１Ａのレンズ鏡筒１１に白のレンズキャップ１２を装着する。ズーム制御装置３０は、ステップＳ１１にて、測距カメラ１Ａを制御するのと同様に測距カメラ１Ｃを制御して、測距カメラ１Ｃが算出した測距カメラ１Ａまでの距離である測距値Ｄcacapを取得する。このとき、ズーム制御装置３０は、測距カメラ１Ａ、１Ｂ、及び１ＤにおけるＶＣＳＥＬ１３からの近赤外光の射出を停止させている。

【0032】

ズーム制御装置３０の演算部３１は、ステップＳ１２にて、測距値Ｄcacapに測距カメラ１Ａのレンズキャップ１２からセンサまでの距離Ｄｓを加算して、測距カメラ１Ｃから測距カメラ１Ａまでの距離Ｄｃａを算出する。

【0033】

ズーム制御装置３０は、ステップＳ１３にて、測距カメラ１Ｄを、測距カメラ１Ｄが測距カメラ１Ｂまでの距離を測定するモードに設定する。ユーザは、ステップＳ１４にて、測距カメラ１Ｂのレンズ鏡筒１１に白のレンズキャップ１２を装着する。ズーム制御装置３０は、ステップＳ１５にて、測距カメラ１Ａを制御するのと同様に測距カメラ１Ｄを制御して、測距カメラ１Ｄが算出した測距カメラ１Ｂまでの距離である測距値Ｄdbcapを取得する。このとき、ズーム制御装置３０は、測距カメラ１Ａ、１Ｂ、及び１ＣにおけるＶＣＳＥＬ１３からの近赤外光の射出を停止させている。

【0034】

ズーム制御装置３０の演算部３１は、ステップＳ１６にて、測距値Ｄdbcapに測距カメラ１Ｂのレンズキャップ１２からセンサまでの距離Ｄｓを加算して、測距カメラ１Ｄから測距カメラ１Ｂまでの距離Ｄｄｂを算出する。

【0035】

ズーム制御装置３０は、ステップＳ１７にて、ズーム制御装置３０を距離保存モードに設定する。ズーム制御装置３０の演算部３１は、ステップＳ１８にて、距離Ｄａｃと距離Ｄｃａとの平均値Ｄacaveを算出し、距離Ｄｂｄと距離Ｄｄｂの平均値Ｄbdaveを算出する。演算部３１は、ステップＳ１９にて、平均値Ｄacave及びＤbdaveを記憶部３２に保存して処理を終了させる。

【0036】

理論的には、距離Ｄａｃと距離Ｄｃａとは同じ値であり、距離Ｄｂｄと距離Ｄｄｂとは同じ値である。実際には、測距カメラ１による測距値は誤差を含む。距離Ｄａｃと距離Ｄｃａとの平均値Ｄacaveを算出し、距離Ｄｂｄと距離Ｄｄｂの平均値Ｄbdaveを算出することにより、測距カメラ１Ａと測距カメラ１Ｃとの間の正確な距離、及び測距カメラ１Ｂと測距カメラ１Ｄとの間の正確な距離を取得することができる。

【0037】

このように、距離Ｄａｃと距離Ｄｃａとの平均値Ｄacaveを算出し、距離Ｄｂｄと距離Ｄｄｂの平均値Ｄbdaveを算出することが好ましい。距離Ｄａｃのみ、または距離Ｄｃａのみを算出して、測距カメラ１Ａと測距カメラ１Ｃとの間の距離を測定する処理を簡略化してもよい。距離Ｄｂｄのみ、または距離Ｄｄｂのみを算出して、測距カメラ１Ｂと測距カメラ１Ｄとの間の距離を測定する処理を簡略化してもよい。

【0038】

以上のようにして、ズーム制御装置３０は、測距カメラ１Ａ～１Ｄにおける互いに対向する２つの測距カメラ１間の距離の測定を完了して、距離を測定するモードを終了させる。

【0039】

続けて、ズーム制御装置３０は、被写体２を撮影するモードに移行する。図９に示すように、図１に示す被写体２は、測距カメラ１Ａと測距カメラ１Ｃとの間及び測距カメラ１Ｂと測距カメラ１Ｄとの間の位置に戻される。図９において、ズーム制御装置３０は、測距カメラ１Ａより測距カメラ１Ａのセンサから被写体２の表面までの距離Ｄ２ａを取得し、測距カメラ１Ｃより測距カメラ１Ｃのセンサから被写体２の表面までの距離Ｄ２ｃを取得する。また、ズーム制御装置３０は、測距カメラ１Ｂより測距カメラ１Ｂのセンサから被写体２の表面までの距離Ｄ２ｂを取得し、測距カメラ１Ｄより測距カメラ１Ｄのセンサから被写体２の表面までの距離Ｄ２ｄを取得する。

【0040】

ズーム制御装置３０の演算部３１は、式（１）に従って、被写体２の測距カメラ１Ａの及び１Ｃを結ぶ方向の幅Ｗａｃを算出し、式（２）に従って、被写体２の測距カメラ１Ｂの及び１Ｄを結ぶ方向の幅Ｗｂｄを算出する。
Ｗａｃ＝Ｄacave－Ｄ２ａ－Ｄ２ｃ …（１）
Ｗｂｄ＝Ｄbdave－Ｄ２ｂ－Ｄ２ｄ …（２）

【0041】

演算部３１は、式（３）～（６）に従って、それぞれ、測距カメラ１Ａ～１Ｄから被写体２の中心２ｃまでの距離Ｄａ～Ｄｄを算出する。被写体２の中心２ｃは、Ｗａｃ／２及びＷｂｄ／２に位置する。
Ｄａ＝Ｄ２ａ＋Ｗａｃ／２ …（３）
Ｄｂ＝Ｄ２ｂ＋Ｗｂｄ／２ …（４）
Ｄｃ＝Ｄ２ｃ＋Ｗａｃ／２ …（５）
Ｄｄ＝Ｄ２ｄ＋Ｗｂｄ／２ …（６）

【0042】

演算部３１は、測距カメラ１Ａ～１Ｄが生成する測距画像のフレームごとに距離Ｄａ～Ｄｄを算出する。被写体２が静止物体ではなく動体であるとき、演算部３１は、被写体２が変化したり動いたりしたときに距離Ｄａ～Ｄｄを算出してもよい。

【0043】

次に、ユーザは、ズーム制御装置３０によって測距カメラ１Ａ～１Ｄのうちのいずれかの測距カメラ１を基準の測距カメラに指定する。ユーザは測距カメラ１Ａを基準の測距カメラに指定したとする。ユーザは、ズーム制御装置３０のズーム制御部３３によって測距カメラ１Ａにおけるズーム量を任意に設定する。測距カメラ１Ａのズームの焦点距離をＦＡとする。

【0044】

ズーム制御部３３は、測距カメラ１Ｂ～１Ｄにおけるズームの焦点距離ＦＢ～ＦＤをそれぞれ式（７）～（９）に基づき制御する。ズーム制御部３３は、測距カメラ１Ｂ～１Ｄにおけるズームが式（７）～（９）に示す焦点距離ＦＢ～ＦＤとなるように測距カメラ１Ｂ～１Ｄにズーム制御値を供給する。
ＦＢ＝ＦＡ×Ｄａ／Ｄｂ …（７）
ＦＣ＝ＦＡ×Ｄａ／Ｄｃ …（８）
ＦＤ＝ＦＡ×Ｄａ／Ｄｄ …（９）

【0045】

このように、ユーザが基準の測距カメラである測距カメラ１Ａのズームの焦点距離をＦＡに設定すると、ズーム制御部３３は測距カメラ１Ｂ～１Ｄにおけるズームの焦点距離ＦＢ～ＦＤをそれぞれ式（７）～（９）に基づき制御する。測距カメラ１Ａ～１Ｄにおけるズーム量が被写体２と各測距カメラ１との距離に応じて制御されるから、被写体２は測距カメラ１Ａ～１Ｄによってほぼ同じ大きさで撮影される。

【0046】

その結果、測距カメラ１Ａ～１Ｄが被写体２を撮影するときの画角がほぼ一致するので、各測距カメラ１による撮影画像の点群の量がほぼ一致する。よって、測距カメラ１Ａ～１Ｄによる撮影画像を合成してボリュメトリック画像を生成すると、視覚的な違和感はほとんど生じない。

【0047】

ユーザが測距カメラ１Ａのズームの焦点距離を変化させれば、ズーム制御部３３は、測距カメラ１Ｂ～１Ｄにおけるズームの焦点距離を、測距カメラ１Ａの焦点距離の変化に対応するように即座に制御する。測距カメラ１Ａ～１Ｄによる撮影画像の点群の量は常時ほぼ一致し、視覚的な違和感がほとんどないボリュメトリック画像を生成することができる。

【0048】

ところで、測距カメラ１におけるズームレンズ１ＺＬが移動可能な範囲には限界があるから、ズーム制御装置３０（ズーム制御部３３）は、ズームレンズ１ＺＬの移動可能な範囲内で、測距カメラ１Ｂ～１Ｄにおけるズームの焦点距離を制御する必要がある。測距カメラ１Ａ～１Ｄにおけるズームレンズ１ＺＬは同じ性能を有し、ズームレンズ１ＺＬはワイド端からテレ端まで、焦点距離Ｗ（ｍｍ）からＴ（ｍｍ）まで可変するとする。

【0049】

測距カメラ１Ａがメインカメラに指定されているとき、距離Ｄｂ～Ｄｄのうち、距離Ｄａより大きい最大の距離を最大距離Ｄｍａｘとする。距離Ｄｂ～Ｄｄがいずれも距離Ｄａより大きくないとき、距離Ｄａを最大距離Ｄｍａｘとする。距離Ｄｂ～Ｄｄのうち、距離Ｄａより小さい最小の距離を最小距離Ｄｍｉｎとする。距離Ｄｂ～Ｄｄがいずれも距離Ｄａより小さくないとき、距離Ｄａを最小距離Ｄｍｉｎとする。最大距離Ｄｍａｘのときの焦点距離をＦｍａｘ、最小距離Ｄｍｉｎのときの焦点距離をＦｍｉｎとすると、焦点距離Ｆｍａｘ及びＦｍｉｎは式（１０）及び（１１）で表される。

【0050】

Ｆｍａｘ＝ＦＡ×Ｄｍａｘ／Ｄａ …（１０）
Ｆｍｉｎ＝ＦＡ×Ｄｍｉｎ／Ｄａ …（１１）

【0051】

焦点距離Ｆｍｉｎが焦点距離Ｗより小さく、焦点距離Ｆｍａｘが焦点距離Ｔより小さい第１の条件を満たすとき、ズーム制御装置３０は、式（１０）及び（１１）における焦点距離ＦＡを式（１２）に示す焦点距離Ｆａに置換する。
Ｆａ＝Ｗ×Ｗ／Ｆｍｉｎ …（１２）

【0052】

焦点距離Ｆｍｉｎが焦点距離Ｗより大きく、焦点距離Ｆｍａｘが焦点距離Ｔより大きい第２の条件を満たすとき、ズーム制御装置３０は、式（１０）及び（１１）における焦点距離ＦＡを式（１３）に示す焦点距離Ｆａに置換する。
Ｆａ＝Ｔ×Ｔ／Ｆｍａｘ …（１３）

【0053】

焦点距離Ｆｍｉｎが焦点距離Ｗより小さく、焦点距離Ｆｍａｘが焦点距離Ｔより大きく、焦点距離ＦＡが（Ｔ－Ｗ）／２＋Ｗより小さい第３の条件を満たすとき、ズーム制御装置３０は、式（１０）及び（１１）における焦点距離ＦＡを式（１４）に示す焦点距離Ｆａに置換する。
Ｆａ＝Ｗ×Ｗ／Ｆｍｉｎ …（１４）

【0054】

焦点距離Ｆｍｉｎが焦点距離Ｗより小さく、焦点距離Ｆｍａｘが焦点距離Ｔより大きく、焦点距離ＦＡが（Ｔ－Ｗ）／２＋Ｗより大きい第４の条件を満たすとき、ズーム制御装置３０は、式（１０）及び（１１）における焦点距離ＦＡを式（１５）に示す焦点距離Ｆａに置換する。
Ｆａ＝Ｔ×Ｔ／Ｆｍａｘ …（１５）

【0055】

第１～第４の条件のいずれも満たさなければ、ズーム制御装置３０は、式（１６）に示すように、式（１０）及び（１１）における焦点距離ＦＡをそのまま焦点距離Ｆａとする。
Ｆａ＝ＦＡ …（１６）

【0056】

ズーム制御装置３０は、測距カメラ１Ａのズームの焦点距離ＦＡを式（１２）～（１６）に示す焦点距離Ｆａとする。ズーム制御装置３０は、式（７）～（９）における焦点距離ＦＡを式（１２）～（１６）に示す焦点距離Ｆａに置換した上で測距カメラ１Ｂ～１Ｄにおける焦点距離ＦＢ～ＦＤを算出する。

【0057】

以上のように、ズーム制御装置３０の演算部３１は、被写体２を囲むように配置されており、ズームレンズ１ＺＬを含む複数の測距カメラ１における各測距カメラ１から被写体２の中心２ｃまでの距離を算出する。

【0058】

ズーム制御装置３０のズーム制御部３３は、複数の測距カメラ１のうちのいずれかを基準の測距カメラ１とする。ズーム制御部３３は、基準の測距カメラ１以外の測距カメラ１が被写体２を撮影するときのズームの焦点距離を次のように制御する。ズーム制御部３３は、基準の測距カメラ１が被写体２を撮影するときのズームの焦点距離に、基準の測距カメラ１から被写体２の中心２ｃまでの距離を基準の測距カメラ１以外の測距カメラ１から被写体２の中心２ｃまでの距離で除算した値を乗算した焦点距離を求める。ズーム制御部３３は、このように求めた焦点距離とするよう、基準の測距カメラ１以外の測距カメラ１のズームを制御する。

【0059】

ズーム制御装置３０が、ズームレンズ１ＺＬの移動可能な範囲内で、測距カメラ１Ａ～１Ｄにおけるズームの焦点距離を制御することにより、測距カメラ１Ａ～１Ｄによる撮影画像の点群の量をほぼ一致させて、視覚的な違和感がほとんどないボリュメトリック画像を生成することができる。

【0060】

＜第２実施形態＞
第２実施形態に係るマルチ測距カメラの制御装置及び制御方法は、複数の測距カメラによって撮影される被写体を、各測距カメラの調整時に一時的に移動させることが不可能な場合に用いて好適である。被写体を一時的に移動できなければ、第１実施形態における距離Ｄａｃ、Ｄｃａ、Ｄｂｄ、Ｄｄｂのような対向する２つの測距カメラ１間の距離を算出することはできない。第２実施形態に係るマルチ測距カメラの制御装置及び制御方法は、対向する２つの測距カメラ１間の距離を算出することができない場合に用いて好適である。

【0061】

第２実施形態に係るマルチ測距カメラの制御装置は、図３または図９に示すズーム制御装置３０で構成することができる。第２実施形態において、第１実施形態と共通する事項の説明を省略することがある。第２実施形態に係るマルチ測距カメラの制御装置は、図９に示すように測距カメラ１Ａ～１Ｄの間に被写体２を配置した状態で以下のようにして被写体２の中心２ｃを求める。

【0062】

図１０は、測距カメラ１による被写体２までの測距を詳細に示している。図１０においては、測距カメラ１における矩形状に簡略化したレンズ鏡筒１１とセンサ１４のみを示している。測距カメラ１による測距値は、一点鎖線で示す、被写体２の表面から入射瞳位置までの距離ＨＲａと、入射瞳位置から像側主平面までの距離ＨＲｂと、像側主平面からセンサ１４までの距離ＨＲｃとの合計値で表される。図１０においては、センサ１４の左端部に入射する近赤外光を例示している。測距カメラ１は、距離データを点群データに変換するとき、センサ１４の表面から焦点Ｆｐまでの焦点距離の位置を原点にした（ｘ，ｙ，ｚ）座標で表される点群を生成する。

【0063】

第２実施形態に係るマルチ測距カメラの制御装置であるズーム制御装置３０は、図１１Ａ～図１１Ｅに示すフローチャートに従って、対向する測距カメラ１ではなく、隣り合う２つの測距カメラ１までの距離を（ｘ，ｙ，ｚ）座標で表されるグローバル空間で測定する。

【0064】

図１１Ａにおいて、ズーム制御装置３０は、ステップＳ２１にて、測距カメラ１Ａを、測距カメラ１Ａが測距カメラ１Ｂ及び１Ｄまでの距離を測定するモードに設定する。ズーム制御装置３０は、測距カメラ１ＡにおけるＶＣＳＥＬ１３から近赤外光を射出させ、測距カメラ１Ｂ～１ＤにおけるＶＣＳＥＬ１３からの近赤外光の射出を停止さる。

【0065】

ユーザは、ステップＳ２２にて、測距カメラ１Ｂ及び１Ｄのレンズ鏡筒１１に白のレンズキャップ１２を装着する。ズーム制御装置３０は、ステップＳ２３にて、表示部に近赤外画像を表示する。このとき、ズーム制御装置３０は、表示部にさらに測距画像及び点群画像を表示してもよい。

【0066】

ズーム制御装置３０は、ステップＳ２４にて、測距カメラ１Ｂまでの測距値Ｄabcap及び測距カメラ１Ｄまでの測距値Ｄadcapを取得する。ズーム制御装置３０は、ステップＳ２５にて、測距値Ｄabcap及びＤadcapをそれぞれ測距値Ｄabcapに対応する点群座標ＰＡ[x,y,z]及び測距値Ｄadcapに対応する点群座標ＰＡ[x,y,z]に変換する。ユーザは、ステップＳ２６にて、カーソルによってレンズキャップ１２の中央を指定する。

【0067】

図１２は、ステップＳ２３で表示部に表示される近赤外画像ＮＩａ２を示している。図１２に示すように、近赤外画像ＮＩａ２においてレンズキャップ１２の正面が見えている場合には、ユーザはステップＳ２６でカーソルによってレンズキャップ１２の中央を指定すればよい。測距カメラ１Ｂまたは１Ｄの向きによって近赤外画像ＮＩａ２においてレンズキャップ１２の正面が見えていない場合には、ユーザはステップＳ２２で測距カメラ１Ｂまたは１Ｄのレンズ鏡筒１１に図６に示すレンズキャップ１２Ｃを装着すればよい。ユーザはステップＳ２６でカーソルによってレンズキャップ１２の中央に相当するレンズキャップ１２Ｃの位置を指定すればよい。

【0068】

ズーム制御装置３０は、ステップＳ２７にて、各点群座標ＰＡ[x,y,z]からレンズキャップ１２の中央における点群座標ＰＡ[xb,yb,zb]及びＰＡ[xd,yd,zd]を抽出して、記憶部３２に保存する。

【0069】

図１３Ａは、ズーム制御装置３０がステップＳ２７で抽出する点群座標ＰＡ[xb,yb,zb]及びＰＡ[xd,yd,zd]を示している。測距カメラ１Ａにおける焦点Ｆｐの点群座標を原点座標ＰＡ[0,0,0]とすると、点群座標ＰＡ[xb,yb,zb]は原点座標ＰＡ[0,0,0]から測距カメラ１Ｂのレンズキャップ１２までの距離を示し、点群座標ＰＡ[xd,yd,zd]は原点座標ＰＡ[0,0,0]から測距カメラ１Ｄのレンズキャップ１２までの距離を示す。

【0070】

ステップＳ２７に続けて、図１１Ｂにおいて、ズーム制御装置３０は、ステップＳ２８にて、測距カメラ１Ｂを、測距カメラ１Ｂが測距カメラ１Ａ及び１Ｃまでの距離を測定するモードに設定する。ズーム制御装置３０は、測距カメラ１ＢにおけるＶＣＳＥＬ１３から近赤外光を射出させ、測距カメラ１Ａ、１Ｃ、及び１ＤにおけるＶＣＳＥＬ１３からの近赤外光の射出を停止さる。

【0071】

ユーザは、ステップＳ２９にて、測距カメラ１Ａ及び１Ｃのレンズ鏡筒１１に白のレンズキャップ１２を装着する。ズーム制御装置３０は、ステップＳ３０にて、表示部に近赤外画像を表示する。このとき、ズーム制御装置３０は、表示部にさらに測距画像及び点群画像を表示してもよい。ステップＳ２９においても、測距カメラ１Ａまたは１Ｃの向きによっては、レンズ鏡筒１１にレンズキャップ１２の代わりにレンズキャップ１２Ｃを装着してもよい。

【0072】

ズーム制御装置３０は、ステップＳ３１にて、測距カメラ１Ａまでの測距値Ｄbacap及び測距カメラ１Ｃまでの測距値Ｄbccapを取得する。ズーム制御装置３０は、ステップＳ３２にて、測距値Ｄbacap及びＤbccapをそれぞれ測距値Ｄbacapに対応する点群座標ＰＢ[x,y,z]及び測距値Ｄbccapに対応する点群座標ＰＢ[x,y,z]に変換する。ユーザは、ステップＳ３３にて、カーソルによってレンズキャップ１２の中央を指定する。

【0073】

ズーム制御装置３０は、ステップＳ３４にて、各点群座標ＰＢ[x,y,z]からレンズキャップ１２の中央における点群座標ＰＢ[xa,ya,za]及びＰＢ[xc,yc,zc]を抽出して、記憶部３２に保存する。

【0074】

図１３Ｂは、ズーム制御装置３０がステップＳ３４で抽出する点群座標ＰＢ[xa,ya,za]及びＰＢ[xc,yc,zc]を示している。測距カメラ１Ｂにおける焦点Ｆｐの点群座標を原点座標ＰＢ[0,0,0]とすると、点群座標ＰＢ[xa,ya,za]は原点座標ＰＢ[0,0,0]から測距カメラ１Ａのレンズキャップ１２までの距離を示し、点群座標ＰＢ[xc,yc,zc]は原点座標ＰＢ[0,0,0]から測距カメラ１Ｃのレンズキャップ１２までの距離を示す。

【0075】

ステップＳ３４に続けて、図１１Ｃにおいて、ズーム制御装置３０は、ステップＳ３５にて、測距カメラ１Ｃを、測距カメラ１Ｃが測距カメラ１Ｂ及び１Ｄまでの距離を測定するモードに設定する。ズーム制御装置３０は、測距カメラ１ＣにおけるＶＣＳＥＬ１３から近赤外光を射出させ、測距カメラ１Ａ、１Ｂ、及び１ＤにおけるＶＣＳＥＬ１３からの近赤外光の射出を停止さる。

【0076】

ユーザは、ステップＳ３６にて、測距カメラ１Ｂ及び１Ｄのレンズ鏡筒１１に白のレンズキャップ１２を装着する。ズーム制御装置３０は、ステップＳ３７にて、表示部に近赤外画像を表示する。このとき、ズーム制御装置３０は、表示部にさらに測距画像及び点群画像を表示してもよい。ステップＳ３６においても、測距カメラ１Ｂまたは１Ｄの向きによっては、レンズ鏡筒１１にレンズキャップ１２の代わりにレンズキャップ１２Ｃを装着してもよい。

【0077】

ズーム制御装置３０は、ステップＳ３８にて、測距カメラ１Ｂまでの測距値Ｄcbcap及び測距カメラ１Ｄまでの測距値Ｄcdcapを取得する。ズーム制御装置３０は、ステップＳ３９にて、測距値Ｄcbcap及びＤcdcapをそれぞれ測距値Ｄcbcapに対応する点群座標ＰＣ[x,y,z]及び測距値Ｄcdcapに対応する点群座標ＰＣ[x,y,z]に変換する。ユーザは、ステップＳ４０にて、カーソルによってレンズキャップ１２の中央を指定する。

【0078】

ズーム制御装置３０は、ステップＳ４１にて、各点群座標ＰＣ[x,y,z]からレンズキャップ１２の中央における点群座標ＰＣ[xb,yb,zb]及びＰＣ[xd,yd,zd]を抽出して、記憶部３２に保存する。

【0079】

図１３Ｃは、ズーム制御装置３０がステップＳ４１で抽出する点群座標ＰＣ[xb,yb,zb]及びＰＣ[xd,yd,zd]を示している。測距カメラ１Ｃにおける焦点Ｆｐの点群座標を原点座標ＰＣ[0,0,0]とすると、点群座標ＰＣ[xb,yb,zb]は原点座標ＰＣ[0,0,0]から測距カメラ１Ｂのレンズキャップ１２までの距離を示し、点群座標ＰＣ[xd,yd,zd]は原点座標ＰＣ[0,0,0]から測距カメラ１Ｄのレンズキャップ１２までの距離を示す。

【0080】

ステップＳ４１に続けて、図１１Ｄにおいて、ズーム制御装置３０は、ステップＳ４２にて、測距カメラ１Ｄを、測距カメラ１Ｄが測距カメラ１Ａ及び１Ｃまでの距離を測定するモードに設定する。ズーム制御装置３０は、測距カメラ１ＤにおけるＶＣＳＥＬ１３から近赤外光を射出させ、測距カメラ１Ａ～１ＣにおけるＶＣＳＥＬ１３からの近赤外光の射出を停止さる。

【0081】

ユーザは、ステップＳ４３にて、測距カメラ１Ａ及び１Ｃのレンズ鏡筒１１に白のレンズキャップ１２を装着する。ズーム制御装置３０は、ステップＳ４４にて、表示部に近赤外画像を表示する。このとき、ズーム制御装置３０は、表示部にさらに測距画像及び点群画像を表示してもよい。ステップＳ４２においても、測距カメラ１Ａまたは１Ｃの向きによっては、レンズ鏡筒１１にレンズキャップ１２の代わりにレンズキャップ１２Ｃを装着してもよい。

【0082】

ズーム制御装置３０は、ステップＳ４５にて、測距カメラ１Ａまでの測距値Ｄdacap及び測距カメラ１Ｃまでの測距値Ｄdccapを取得する。ズーム制御装置３０は、ステップＳ４６にて、測距値Ｄdacap及びＤdccapをそれぞれ測距値Ｄdacapに対応する点群座標ＰＤ[x,y,z]及び測距値Ｄdccapに対応する点群座標ＰＤ[x,y,z]に変換する。ユーザは、ステップＳ４７にて、カーソルによってレンズキャップ１２の中央を指定する。

【0083】

ズーム制御装置３０は、ステップＳ４８にて、各点群座標ＰＤ[x,y,z]からレンズキャップ１２の中央における点群座標ＰＤ[xa,ya,za]及びＰＤ[xc,yc,zc]を抽出して、記憶部３２に保存する。

【0084】

図１３Ｄは、ズーム制御装置３０がステップＳ４８で抽出する点群座標ＰＤ[xa,ya,za]及びＰＤ[xc,yc,zc]を示している。測距カメラ１Ｄにおける焦点Ｆｐの点群座標を原点座標ＰＤ[0,0,0]とすると、点群座標ＰＤ[xa,ya,za]は原点座標ＰＤ[0,0,0]から測距カメラ１Ａのレンズキャップ１２までの距離を示し、点群座標ＰＤ[xc,yc,zc]は原点座標ＰＤ[0,0,0]から測距カメラ１Ｃのレンズキャップ１２までの距離を示す。

【0085】

ステップＳ４８に続けて、図１１Ｅにおいて、ズーム制御装置３０の演算部３１は、ステップＳ４９にて、後述する回転角度θｂｒｔ及び原点座標ＰＡ[xcamb,ycamb,zcamb]を算出して記憶部３２に保存する。演算部３１は、ステップＳ５０にて、後述する回転角度θｄｒｔ及びＰＡ[xcamd,ycamd,zcamd]を算出して記憶部３２に保存する。演算部３１は、ステップＳ５１にて、後述する回転角度θｃｒｔ及び原点座標ＰＡ[xcamc,ycamc,zcamc]を算出して記憶部３２に保存し、処理を終了させる。

【0086】

測距カメラ１Ａ～１Ｄのうちのどの測距カメラ１を基準とするかは任意であり、測距カメラ１Ａを基準とすることに限定されない。

【0087】

ステップＳ４９～Ｓ５１の処理を具体的に説明する。ズーム制御装置３０が抽出した点群座標ＰＡ[xb,yb,zb]及びＰＡ[xd,yd,zd]、ＰＢ[xa,ya,za]及びＰＢ[xc,yc,zc]、ＰＣ[xb,yb,zb]及びＰＣ[xd,yd,zd]、ＰＤ[xa,ya,za]及びＰＤ[xc,yc,zc]は、各測距カメラ１のローカルの点群座標である。そこで、演算部３１は、ステップＳ４９～Ｓ５１で、基準とする測距カメラ１以外で測距したときの点群座標をグローバル座標に変換する。

【0088】

図１４及び図１５を用いて、点群座標からグローバル座標への変換を具体的に説明する。図１４に示すように、測距カメラ１Ａに対して測距カメラ１Ｂが直角ではなく斜めに設置されていると、測距カメラ１Ａから見て測距カメラ１Ｂの座標は斜めの座標となる。よって、測距カメラ１Ｂの座標系は、測距カメラ１Ａの座標系とは一致しない。

【0089】

図１５は、図１４をモデル化した図である。図１５を用いて、測距カメラ１Ｂによる点群座標ＰＢ[xa,ya,za]及びＰＢ[xc,yc,zc]の向きを、測距カメラ１Ａによる点群座標ＰＡ[xb,yb,zb]及びＰＡ[xd,yd,zd]の座標系の向きに変換する方法を説明する。

【0090】

図１５において、測距カメラ１Ａの原点座標ＰＡ[0,0,0]から測距カメラ１Ａの光軸方向を軸ＺＡ、測距カメラ１Ａの水平方向であり軸ＺＡと直交する方向を軸ＸＡとする。測距カメラ１Ａの原点座標ＰＡ[0,0,0]からレンズキャップ１２までの距離をＬＣとする。距離ＬＣは既知である。測距カメラ１Ｂの原点座標ＰＢ[0,0,0]から測距カメラ１Ｂの光軸方向を軸ＺＢ、測距カメラ１Ｂの水平方向であり軸ＺＢと直交する方向を軸ＸＢとする。測距カメラ１Ｂの原点座標ＰＢ[0,0,0]からレンズキャップ１２までの距離を、測距カメラ１Ａの原点座標ＰＡ[0,0,0]からレンズキャップ１２までの距離ＬＣと同じＬＣとする。

【0091】

測距カメラ１Ａのローカルのレンズキャップ１２の点群座標はＰＡ[0,0,LC]であり、測距カメラ１Ｂのローカルの点群座標による測距カメラ１Ａのレンズキャップ１２の点群座標はＰＢ[xa,ya,za]である。測距カメラ１Ｂのローカルのレンズキャップ１２の点群座標はＰＢ[0,0,LC]であり、測距カメラ１Ａのローカルの点群座標による測距カメラ１Ｂのレンズキャップ１２の点群座標はＰＡ[xb,yb,zb]である。

【0092】

ここで、測距カメラ１Ａの点群座標を基準として、軸ＸＡ、ＺＡ、及び図１５では図示していない軸ＸＡ及びＺＡと直交する軸ＹＡ上の点群座標をグローバル座標とする。軸ＸＡと平行の原点座標ＰＢ[0,0,0]を通る軸を軸ＸＡ’、軸ＺＡと平行の原点座標ＰＢ[0,0,0]を通る軸を軸ＺＡ’とする。軸ＸＡ’は、軸ＸＢを角度θｒｔだけ回転させた軸であり、軸ＺＡ’は軸ＺＢを角度θｒｔだけ回転させた軸である。

【0093】

測距カメラ１Ｂによる点群座標を軸ＸＢ及びＺＢの双方で角度θｒｔだけ回転させ、原点座標ＰＢ[0,0,0]を原点座標ＰＡ[0,0,0]に変更すれば、測距カメラ１Ｂによる近赤外画像ＮＩａ２に基づく点群座標ＰＢ[xa,ya,za]及びＰＢ[xc,yc,zc]を測距カメラ１Ａの点群座標を基準としたグローバル座標で表すことができる。

【0094】

ズーム制御装置３０は、次のようにして角度θｒｔを求める。測距カメラ１Ａの原点座標ＰＡ[0,0,0]から測距カメラ１Ｂのレンズキャップ１２までの直線と軸ＺＡとがなす角度をθabcapとする。測距カメラ１Ｂの原点座標ＰＢ[0,0,0]から測距カメラ１Ａのレンズキャップ１２までの直線と軸ＺＢとがなす角度をθbacapとする。角度θabcap及び角度θbacapは、次の式（１７）及び式（１８）で求められる。

【0095】

θabcap＝ａｒｃｔａｎ（－ＰＡ[xb]／ＰＡ[zb]） …（１７）
θbacap＝ａｒｃｔａｎ（ＰＢ[xa]／ＰＢ[za]） …（１８）

【0096】

測距カメラ１Ａの原点座標ＰＡ[0,0,0]から測距カメラ１Ｂのレンズキャップ１２までの直線と、測距カメラ１Ｂの原点座標ＰＢ[0,0,0]から測距カメラ１Ａのレンズキャップ１２までの直線との交点における角度をθｏとすると、角度θｒｔは角度θabcap及び角度θbacapと角度θｏとで次の式（１９）で表される。

【0097】

θｒｔ＝１８０－θabcap－（１８０－（１８０－（θbacap＋θｏ）））
＝１８０－θabcap－θbacap－θｏ …（１９）

【0098】

角度θｏは次のように求めることができる。測距カメラ１Ａのレンズキャップ１２の位置から、測距カメラ１Ａの原点座標ＰＡ[0,0,0]から測距カメラ１Ｂのレンズキャップ１２までの直線に直交する位置を点ＰＬａとする。点ＰＬａから測距カメラ１Ａのレンズキャップ１２の位置までの距離をＡｐ、点ＰＬａから測距カメラ１Ｂのレンズキャップ１２までの距離をＬａとする。測距カメラ１Ｂのレンズキャップ１２の位置から、測距カメラ１Ｂの原点座標ＰＢ[0,0,0]から測距カメラ１Ａのレンズキャップ１２までの直線に直交する位置を点ＰＬｂとする。点ＰＬｂから測距カメラ１Ｂのレンズキャップ１２までの距離をＢｐ、点ＰＬｂから測距カメラ１Ａのレンズキャップ１２までの距離をＬｂとする。

【0099】

距離Ａｐ及び距離Ｂｐは次の式（２０）及び式（２１）で求められる。
Ａｐ＝ＬＣ（ｓｉｎθabcap） …（２０）
Ｂｐ＝ＬＣ（ｓｉｎθbacap） …（２１）

【0100】

距離Ｌａ及び距離Ｌｂは次の式（２２）及び式（２３）で求められる。

【0101】

【数1】

【0102】

【数2】

【0103】

角度θｏは次の式（２４）または式（２５）で求められる。
θｏ＝ａｒｃｔａｎ（Ｂｐ／（Ｌｂ×Ｂｐ／（ＡＰ＋Ｂｐ））） …（２４）
θｏ＝ａｒｃｔａｎ（ＡＰ／（Ｌａ×Ａｐ／（Ａｐ＋Ｂｐ））） …（２５）

【0104】

距離Ｌａ及びＬｂは、それぞれ、点群座標ＰＡ[xb,yb,zb]及びＰＢ[xa,ya,za]のＸ軸及びＺ軸の値を用いて計算しており、ノイズ等による測定誤差を含むことがある。そこで、式（２４）で計算された角度θｏと式（２５）で計算された角度θｏとを平均した値を角度θｏとすることが好ましい。式（１９）に平均した角度θｏを入力することによって角度θｒｔが求められる。

【0105】

式（２６）は、測距カメラ１Ｂによる点群座標を軸ＸＢ及びＺＢの双方で角度θｒｔだけ回転させて、測距カメラ１Ｂによる点群座標を測距カメラ１Ａの点群座標を基準としたグローバル座標に変換するための演算式である。

【0106】

【数3】

【0107】

式（２６）のｘ、ｙ、ｚに測距カメラ１Ｂのレンズキャップ１２の点群座標ＰＢ[0,0,LC]を入力することによって得られたｘ’、ｙ’、ｚ’を点群座標ＢＣＡＰ[xb’,yb’,zb’]とする。点群座標ＢＣＡＰ[xb’,yb’,zb’]は、測距カメラ１Ａを基準とするグローバル座標である。測距カメラ１Ａの原点座標ＰＡ[0,0,0]から測距カメラ１Ｂの原点座標ＰＢ[0,0,0]を見ると、測距カメラ１Ｂの原点座標ＰＡ[xcamb,ycamb,zcamb]は、式（２７）のように、点群座標ＰＡ[xb,yb,zb]から点群座標ＢＣＡＰ[xb’,yb’,zb’]をベクトル的に減算した値となる。原点座標ＰＡ[xcamb,ycamb,zcamb]は、測距カメラ１Ａを基準とするグローバル座標である。

【0108】

ＰＡ[xcamb,ycamb,zcamb]＝ＰＡ[xb,yb,zb]－ＢＣＡＰ[xb’,yb’,zb’] …（２７）

【0109】

図１５に示す角度θｒｔは、測距カメラ１Ａのローカルの点群座標に対する測距カメラ１Ｂのローカルの点群座標の回転角度であり、角度θｂｒｔと称することとする。測距カメラ１Ａのローカルの点群座標に対する測距カメラ１Ｄのローカルの点群座標の回転角度を角度θｄｒｔと称する。測距カメラ１Ｄについても同様にして、演算部３１は、角度θｄｒｔを求め、測距カメラ１Ａを基準とするグローバル座標の点群座標ＤＣＡＰ[xd’,yd’,zd’]及び原点座標ＰＡ[xcamd,ycamd,zcamd]を求める。

【0110】

測距カメラ１Ａのローカルの点群座標に対する測距カメラ１Ｃのローカルの点群座標の回転角度を角度θｃｒｔと称する。測距カメラ１Ｃについては、ズーム制御装置３０は、グローバル座標における測距カメラ１Ｂの点群座標ＢＣＡＰ[xb’,yb’,zb’]及び原点座標ＰＡ[xcamb,ycamb,zcamb]に基づいて、測距カメラ１Ａを基準とするグローバル座標の点群座標ＣＣＡＰ[xc’,yc’,zc’]及び原点座標ＰＡ[xcamc,ycamc,zcamc]を求める。

【0111】

まず、演算部３１は、測距カメラ１Ｂで捕らえた測距カメラ１Ｃのレンズキャップ１２の点群座標ＰＢ[xc,yc,zc]を、測距カメラ１Ａが基準とするグローバル座標PA[xc,yc,zc]に変換する。式（２６）に、角度θｂｒｔと点群座標ＰＢ[xc,yc,zc]とを入力することによって得られたグローバル座標PA[xc,yc,zc]を得ることによって、測距カメラ１Ｃのレンズキャップ１２の点群座標ＰＢ[xc,yc,zc]を測距カメラ１Ａが基準とするグローバル座標PA[xc,yc,zc]に変換することができる。

【0112】

次に、式（１７）～（２５）におけるＰＡの代わりに、原点座標ＰＡ[xcamb,ycamb,zcamb]を一時的にＰＡ[0,0,0]として、測距カメラ１Ｂのレンズキャップ１２の位置ＰＡ[xb’-xcamb,yb’-ycamb,zb’-zcamb]と測距カメラ１Ｂが捕らえた測距カメラ１Ｃのグローバル座標PA[xc,yc,zc]とを入力する。さらに式（１７）～（２５）におけるＰＢの代わりに、測距カメラ１Ｃのローカルの原点座標ＰＣ[0,0,0]に対する測距カメラ１Ｂのレンズキャップ１２の点群座標ＰＣ[xb,yb,zb]を入力することによって、角度θｃｒｔを求める。

【0113】

式（２６）におけるθｒｔに角度θｃｒｔを入力し、ｘ、ｙ、ｚに測距カメラ１Ｃのレンズキャップ１２の点群座標ＰＣ[0,0,LC]を入力することによって得られたｘ’、ｙ’、ｚ’を点群座標ＣＣＡＰ[xc’,yc’,zc’]とする。式（２８）に示すように、測距カメラ１Ｂから見た測距カメラ１Ｃのレンズキャップ１２のグローバル座標PA[xc,yc,zc]から、測距カメラ１Ｃの原点からの測距カメラ１Ｃのレンズキャップ１２のグローバル座標CCAP[xc’,yc’,zc’]を減算することで、原点座標PA[xcamc - xcamb, ycamc - ycamb, zcamc -zcamb]を得る。

【0114】

PA[xcamc-xcamb, ycamc-ycamb, zcamc-zcamb]＝PA[xc,yc,zc]－ＣＣＡＰ[xc’,yc’,zc’] …（２８）

【0115】

式（２８）までは一時的に測距カメラ１Ｂの原点を[0,0,0]にしている。式（２９）に示すように、原点を元に戻すため、式（２８）にＰＡ[xcamb,ycamb,zcamb]を加算することによって。測距カメラ１Ｃの原点座標PA[xcamc, ycamc, zcamc]を得る。
PA[xcamc, ycamc, zcamc]＝PA[xc,yc,zc]－ＣＣＡＰ[xc’,yc’,zc’]＋ ＰＡ[xcamb,ycamb,zcamb] …（２９）

【0116】

測距カメラ１Ｃの位置の精度を向上させるために、演算部３１は次のように演算してもよい。演算部３１は、グローバル座標の点群座標ＤＣＡＰ[xb’,yb’,zb’]及び原点座標ＰＡ[xcamd,ycamd,zcamd]に基づいて角度θｃｒｔを求める。演算部３１は、測距カメラ１Ｄの座標に基づいて、測距カメラ１Ａを基準とするグローバル座標の点群座標ＣＣＡＰ[x,y,z]及び原点座標ＰＡ[xcamc,ycamc,zcamc]を求める。

【0117】

演算部３１は、測距カメラ１Ｄの座標に基づく点群座標ＣＣＡＰ[x,y,z]及び原点座標ＰＡ[xcamc,ycamc,zcamc]と、上記のように測距カメラ１Ｂの座標に基づいて求めた点群座標ＣＣＡＰ[x,y,z]及び原点座標ＰＡ[xcamc,ycamc,zcamc]との平均を求める。演算部３１は、求めた平均値の点群座標ＣＣＡＰ[x,y,z]及び原点座標ＰＡ[xcamc,ycamc,zcamc]を最終的な点群座標ＣＣＡＰ[x,y,z]及び原点座標ＰＡ[xcamc,ycamc,zcamc]とする。

【0118】

以上のようにして、ズーム制御装置３０は、測距カメラ１Ａを基準として、回転角度θｂｒｔ、θｃｒｔ、θｄｒｔ、測距カメラ１Ｂの原点座標ＰＡ[xcamb,ycamb,zcamb]、測距カメラ１Ｃの原点座標ＰＡ[xcamc,ycamc,zcamc]、測距カメラ１Ｄの原点座標ＰＡ[xcamd,ycamd,zcamd]を得ることができる。

【0119】

ズーム制御装置３０（演算部３１）は、これらの値を用いることによって、測距カメラ１Ｂ～１Ｄのローカルの点群座標PB[x,y,z]、PC[x,y,z]、PD[x,y,z]を、測距カメラ１Ａを基準とするグローバル座標の点群座標PA[x,y,z]に変換する。

【0120】

図１３Ｂにおいて、測距カメラ１Ｂが被写体２を測距して得た測距カメラ１Ｂのローカルの点群座標をPB[xhb,yhb,zhb]とする。演算部３１は、式（２６）における角度θｒｔに角度θｂｒｔに代入し、ｘ、ｙ、ｚに点群座標PB[xhb,yhb,zhb]を代入して、ｘ’、ｙ’、ｚ’としてPA[x’hb,y’hb,z’hb]を求める。演算部３１は、PA[x’hb,y’hb,z’hb]に測距カメラ１Ｂの原点座標PA[xcamb,ycamb,zcamb]をベクトル的に加算して測距カメラ１Ａを基準とするグローバル座標の点群座標PA[x,y,z]を求める。

【0121】

図１３Ｃにおいて、測距カメラ１Ｃが被写体２を測距して得た測距カメラ１Ｃのローカルの点群座標をPC[xhc,yhc,zhc]とする。演算部３１は、式（２６）における角度θｒｔに角度θｃｒｔに代入し、ｘ、ｙ、ｚに点群座標PC[xhc,yhc,zhc]を代入して、ｘ’、ｙ’、ｚ’としてPA[x’hc,y’hc,z’hc]を求める。演算部３１は、PA[x’hc,y’hc,z’hc]に測距カメラ１Ｃの原点座標PA[xcamc,ycamc,zcamc]をベクトル的に加算して測距カメラ１Ａを基準とするグローバル座標の点群座標PA[x,y,z]を求める。

【0122】

図１３Ｄにおいて、測距カメラ１Ｄが被写体２を測距して得た測距カメラ１Ｄのローカルの点群座標をPD[xhd,yhd,zhd]とする。演算部３１は、式（２６）における角度θｒｔに角度θｄｒｔに代入し、ｘ、ｙ、ｚに点群座標PD[xhd,yhd,zhd]を代入して、ｘ’、ｙ’、ｚ’としてPA[x’hd,y’hd,z’hd]を求める。演算部３１は、PA[x’hd,y’hd,z’hd]に測距カメラ１Ｄの原点座標PA[xcamd,ycamd,zcamd]をベクトル的に加算して測距カメラ１Ａを基準とするグローバル座標の点群座標PA[x,y,z]を求める。

【0123】

図１６を用いて、被写体２の中心２ｃを求める方法を説明する。演算部３１は、測距カメラ１Ａ～１Ｄが被写体２を測距して点群化した測距カメラ１Ａを基準とするグローバル座標の点群座標PA[x,y,z]の平均値を、被写体２の中心２ｃを示す座標ＰＡ[Hcx,Hcy,Hcz]とする。

【0124】

図１６において、測距カメラ１Ａ～１Ｄの視野角であるＡＦＯＶ（Angle Field Of View）で囲われた範囲を視野範囲ＦＶ０とする。図１５における軸ＸＡ、ＺＡ、及び、軸ＸＡ及びＺＡと直交する図示していない軸ＹＡの方向で、視野範囲ＦＶ０を、内側に距離ＦＶoffsetだけオフセットした範囲をオフセット視野範囲ＦＶ１とする。演算部３１は、オフセット視野範囲ＦＶ１内の測距カメラ１Ａ～１Ｄによる点群座標PA[x,y,z]のみの平均値を被写体２の中心２ｃの座標ＰＡ[Hcx,Hcy,Hcz]とすることが好ましい。

【0125】

演算部３１は、被写体２の中心２ｃの座標ＰＡ[Hcx,Hcy,Hcz]から測距カメラ１Ａ～１Ｄの原点座標ＰＡ[xcamb,ycamb,zcamb]、ＰＡ[xcamc,ycamc,zcamc]、PA[xcamd,ycamd,zcamd]までのそれぞれの距離Ｄａ～Ｄｄを式（３０）～（３３）に基づいて求める。

【0126】

【数4】

【0127】

以上のようにして、ズーム制御装置３０（演算部３１）は、被写体２が測距カメラ１Ａ～１Ｄに囲まれた状態のままであっても、測距カメラ１Ａ～１Ｄから被写体２の中心２ｃまでの距離Ｄａ～Ｄｄを求めることができる。演算部３１は、測距カメラ１Ａ～１Ｄが生成する測距画像のフレームごとに距離Ｄａ～Ｄｄを算出する。演算部３１は、被写体２が変化したり動いたりしたときに距離Ｄａ～Ｄｄを算出してもよい。

【0128】

ズーム制御装置３０（ズーム制御部３３）は、第１実施形態と同様に、ユーザが基準の測距カメラである測距カメラ１Ａのズームの焦点距離をＦＡに設定すると、測距カメラ１Ｂ～１Ｄにおけるズームの焦点距離ＦＢ～ＦＤをそれぞれ式（７）～（１６）に基づき制御する。ズーム制御部３３は、ズームレンズ１ＺＬの移動可能な範囲内で、測距カメラ１Ａ～１Ｄにおけるズームの焦点距離を制御する。

【0129】

第２実施形態においても、ズーム制御部３３は測距カメラ１Ａ～１Ｄにおけるズーム量を被写体２と各測距カメラ１との距離に応じて制御するから、被写体２は測距カメラ１Ａ～１Ｄによってほぼ同じ大きさで撮影される。その結果、測距カメラ１Ａ～１Ｄが被写体２を撮影するときの画角がほぼ一致するので、各測距カメラ１による撮影画像の点群の量がほぼ一致する。よって、測距カメラ１Ａ～１Ｄによる撮影画像を合成してボリュメトリック画像を生成すると、視覚的な違和感はほとんど生じない。

【0130】

本発明は以上説明した第１または第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更である。

【符号の説明】

【0131】

１Ａ～１Ｄ 測距カメラ
２ 被写体
３０ ズーム制御装置（マルチ測距カメラの制御装置）
３１ 演算部
３２ 記憶部
３３ ズーム制御部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】

【図11E】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】

【図14】

【図15】

【図16】