特許 7445027 複合撮像測距装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】複合撮像測距装置

(51)【国際特許分類】

   H04N 23/90 20230101AFI20240228BHJP

   G01S 7/481 20060101ALI20240228BHJP

   G01S 17/89 20200101ALI20240228BHJP

   G03B 15/00 20210101ALI20240228BHJP

   G03B 37/00 20210101ALI20240228BHJP

   H04N 23/45 20230101ALI20240228BHJP

   H04N 23/60 20230101ALI20240228BHJP

   H04N 23/695 20230101ALI20240228BHJP

   H04N 23/698 20230101ALI20240228BHJP

【ＦＩ】

H04N23/90

G01S7/481 Z

G01S17/89

G03B15/00 H

G03B15/00 W

G03B37/00 A

H04N23/45

H04N23/60 500

H04N23/698

【請求項の数】 2

(21)【出願番号】P 2023002869

(22)【出願日】2023-01-12

(62)【分割の表示】P 2020570301の分割

【原出願日】2019-02-07

(65)【公開番号】P2023052347

(43)【公開日】2023-04-11

【審査請求日】2023-02-01

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】小野 裕明

(72)【発明者】

【氏名】川前 治

(72)【発明者】

【氏名】益岡 信夫

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１８－１４２９６３（ＪＰ，Ａ）

【文献】特開２００５－２５２４８２（ＪＰ，Ａ）

【文献】特開２０１８－１５１７９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／９０

Ｇ０１Ｓ ７／４８１

Ｇ０１Ｓ １７／８９

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６９５

(57)【特許請求の範囲】

【請求項1】

複数の撮像デバイスと、
複数の測距デバイスと、
前記複数の撮像デバイスと測距デバイスが配置される基体と、を備え、
各撮像デバイスの撮像データを接続して連続した広範囲の撮像データを生成する第１プロセッサと、
各測距デバイスの測距データを接続して連続した広範囲の測距データを生成する第２プロセッサを更に備え、
前記複数の撮像デバイス及び前記複数の測距デバイスは、下記二つの拘束条件の両方を満たして前記基体に配置される；
拘束条件１：前記複数の撮像デバイスの其々が、方位空間において最近接するデバイスが前記測距デバイスの内の少なくとも一つである、
拘束条件２：前記複数の測距デバイスの其々が、方位空間において最近接するデバイスが前記撮像デバイスの内の少なくとも一つである、
ことを特徴とする複合撮像測距装置。

【請求項2】

請求項１に記載の複合撮像測距装置であって、
前記第２プロセッサは、前記測距デバイスの測距データを接続する際、接続エリアの撮像データを参照して測距データの接続を行う、
ことを特徴とする複合撮像測距装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複合撮像測距装置に関し、特に、複数種類のデバイスを一つの基体に配置するための技術に関する。

【背景技術】

【0002】

近年、携帯電話やスマートフォン等の携帯情報端末等の装置では小型化が進むと同時に様々な付加機能が搭載されており、これにより差別化が行われている。特にカメラ機能が充実しており、広角レンズを搭載して広範囲の画像や映像を撮影することが可能となっている。例えば特許文献１には、「周囲カメラは、正十二面体のような多面体の各構成面上に１台ずつカメラを搭載してなり、各々のカメラによって全周囲にわたる撮像画像が得られる。隣り合うカメラの撮像画像同士を順次接続していくことで、１枚の全周囲画像が得られる。但し、各カメラの投影中心が完全に一致するように周囲カメラを組み立てることはできない。そこで、撮像画像同士を接続するときには、被写体の遠近に応じて、隣接する撮像画像同士の接続位置を動的に調整することで、画像間の境界付近での途切れや継ぎ目をなくし、滑らかな周囲風景を生成する。（要約抜粋）」構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－２０４０１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の方法による測距方法は、被写体までの距離を仮定して撮像画像同士の接続位置を動的に調整し、滑らかに接続された場合の距離をその被写体までの推定距離とするという間接的なものであるので、得られる距離の確度が十分なものにならない。従って、撮像機能の他に、被写体までの距離を直接的に測定する測距機能を別に備えた方が望ましい。特許文献１の周囲カメラで用いられるフレームは、有線接続されて固定的に用いられるので比較的大型のフレームを採用することができ、このような場合は、撮像デバイスの画角を大きくして撮像範囲を重複させ、ステレオ法による測距機能を実装することも可能である。しかし、携帯情報端末のような小型化が進んだ装置に、全立体角の測距機能と撮像機能を搭載する場合、測距機能を、撮像デバイスを用いたステレオ法で実現することは基線長が短くなるために測距精度が向上しないという課題がある。従って、特許文献１に記載の周囲カメラ技術を小型装置にそのまま転用することには課題が残る。

【0005】

本発明は上記課題を解決するためになされたものであり、複数種類のデバイスを一つの基体に効率よく配置した複合撮像測距装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明は特許請求の範囲に記載の構成を備える。その一例をあげるならば、本発明は、複数の撮像デバイスと、複数の測距デバイスと、前記複数の撮像デバイスと測距デバイスが配置される基体と、を備え、各撮像デバイスの撮像データを接続して連続した広範囲の撮像データを生成する第１プロセッサと、各測距デバイスの測距データを接続して連続した広範囲の測距データを生成する第２プロセッサを更に備え、前記複数の撮像デバイス及び前記複数の測距デバイスは、下記二つの拘束条件の両方を満たして前記基体に配置される；
拘束条件１：前記複数の撮像デバイスの其々が、方位空間において最近接するデバイスが前記測距デバイスの内の少なくとも一つである、
拘束条件２：前記複数の測距デバイスの其々が、方位空間において最近接するデバイスが前記撮像デバイスの内の少なくとも一つである、ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、複数種類のデバイスを一つの基体に効率よく配置した複合撮像測距装置を提供することができる。上記した以外の目的、構成、効果は以下の実施形態において明らかにされる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る複合入出射装置１の外観図

【図2】第１実施形態に係る複合入出射装置１の全体ブロック図

【図3A】第１実施形態における第１種デバイス及び第２種デバイスの配置例を示す図

【図3B】第１実施形態における第１種デバイス及び第２種デバイスの配置例を示す図

【図4A】立方体中心から見た面中心（重心）方向の方位グループを用いてデバイスを配置した図

【図4B】頂点方向の方位グループを用いてデバイスを配置した図

【図4C】辺中心方位の方位グループを用いてデバイスを配置した図

【図5A】立方八面体の正方形の面に第１種デバイス、正三角形の面に第２種デバイスを配置した図

【図5B】全てのデバイスの向いている方位を極座標で示す図

【図6】立方体、正八面体、立方八面体に関する各方位グループにおける方位数と必要入出射角度範囲とを示した図

【図7A】直方体（六面体）の携帯情報端末に複合入出射装置を実装した図

【図7B】測距センサを正八面体の各頂点方位グループの方向に配置した図

【図8】図５Ａで示した４つの測距センサの其々が計測した測距データを示す図

【図9】全立体角測距データを示す図

【図10A】撮像データの例を示す図

【図10B】測距センサの合成方法例を示す図

【図10C】領域間を接続して整形した例を示す図

【図11A】第２実施形態に係る複合入出射装置の外観図

【図11B】第２実施形態に係る複合入出射装置の表示例を示す図

【図12】第２実施形態に係る複合入出射装置の全体ブロック図

【図13】画像処理プロセッサが実行する全立体角撮影及び測距アルゴリズムを示す図

【図14】全立体角画像に距離情報を付加して表示した例を示す図

【図15】全立体角画像及び全立体角測距データの作成処理の流れを示すフローチャート

【図16】全立体角画像及び全立体角測距データの再生処理の流れを示すフローチャート

【図17A】複合入出射装置１を適用したＨＭＤの例を示す図

【図17B】ＨＭＤにおけるデバイス配置例を示す図

【図18A】ＨＭＤに配置されたデバイスの必要入出射角度範囲を示す図

【図18B】全てのデバイスの向いている方位を極座標で示す図

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を、図面を参照して説明する。全図を通じて同一の構成には同一の符号を付し、重複説明を省略する。以下の説明では、異種デバイスの組み合わせとして、撮像デバイス（第１種デバイスに相当する）と測距センサ（第２種デバイスに相当する）を例示するが、これに限定されるものではない。

【0010】

（第１実施形態）
第１実施形態では、デバイスを搭載する基体２（図１参照）の他に、第１種デバイス及び第２種デバイスの中心方位（入出射範囲の中心方向を向ける方位）を定義する方位定義多面体５（図３Ａ参照）を考える。ここで、「方位」とは、入出射範囲の中心方向を向けるべき実空間における向きをいう。また「方位空間」とは、実空間における方位の集合として定義される空間である。例えば、極座標系（ｒ、θ、φ）の偏角（θ、φ）で現実空間の方位は表される。そして、現実空間のベクトルで平行移動して重なるものは同一の方位を持つ、とする。「基体２」とは実空間内において実際に存在し、第１種デバイス及び第２種デバイスを搭載する物体である。これに対して「方位定義多面体５」とは、基体２に搭載される第１種デバイス及び第２種デバイスの中心方位を決定するために導入する概念上の形状であり、実存する物体ではない。「方位定義多面体５」とは、その幾何学的対称性から、対称性のよい複数の方位からなる方位グループを「方位空間」の中で定義する。

【0011】

方位グループとは、例えば、「方位定義多面体５」の中心位置から同一形状の面の面中心に向かう方位のグループである（詳しくは後述する）。「方位定義多面体５」は、第１対称性と第２対称性との少なくとも二つ以上の方位の対称性を有する形状である。方位定義多面体５が内包する第１対称性を有する複数の方位のそれぞれに対応する第１種のデバイスを、対応する方位をデバイスの中心方位として基体２に配置する。また、方位定義多面体５が内包する第２対称性を有する複数の方位のそれぞれに対応する第２種のデバイスを、対応する方位をデバイスの中心方位として基体２に配置する。なお、第１種デバイス第２種デバイス共に、配置位置は、それぞれのデバイスの入出射範囲に基体２が入らないように設定する。但し、基体２が入出射範囲の妨害になったとしても、個々のデバイスの入出射範囲が十分に広く、それぞれの種類のデバイスの入出射範囲を合わせると全立体角が覆われる場合は妨害があってもよい。

【0012】

更に、妨害を受ける方位が入出射を必要としていない方位の場合も、その方位に関わる一部のデバイスの入出射範囲に妨害があってもよい。基体２による妨害が少なくなるデバイスの配置は、基体２が方位定義多面体５と同じ形状かそれに近ければ、基体２の中心から見たデバイスの配置方位がデバイスの中心方位に近い場合である。このような配置の場合、デバイスの中心方位方向が、平均的に基体２の表面の垂直方向に近くためである。また、このような配置にした場合、第１種デバイスと第２種デバイスの中心方位を方位空間において入れ子状にしているため、基体２上の配置位置についても入れ子状になり、デバイスの配置効率がよくなる。基体２の形状が方位定義多面体５の形状と異なる場合は、基体２の中心から見たデバイスの配置方位がデバイスの中心方位になる位置を基本配置として、基体２の形状と実装上の制約を考慮して、デバイスの中心位置を保ちながら、その基体２上の配置位置を基本配置から移動させて調整する。この場合も基本配置からの調整であるので、デバイスの配置効率はよい。

【0013】

図１は、第１実施形態に係る複合入出射装置１の外観図である。複合入出射装置１は、携帯情報端末、例えばスマートフォンの本体を基体２とし、方位定義多面体５が内包する第１対称性を満たす方位を中心方位として、複数の第１種デバイス１、２、・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）が配置される。更に、方位定義多面体５が内包する第２対称性を満たす方位を中心方位として、複数の第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）が配置される。各デバイスの基体２上での配置位置は、基体２の実装上の制約を考慮して決定される。方位定義多面体５、第１対称性及び第２対称性については後述する。

【0014】

基体２の内部にはコントローラ３が備えられる。コントローラ３は、複数の第１種デバイス１、２、・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）の其々、及び複数の第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々と接続される。コントローラ３は、プロセッサやサーキットを含むコンピュータにより構成される。第１種デバイスの個数を示すＭ及び第２種デバイスの個数を示すＮは、２以上の整数である。ＭとＮとが同数であってもよいし、異なる数でもよい。また複数の第１種デバイス１、２、・・・、Ｍ（１１－１、１１－２、・・・、１１－Ｍ）をまとめて第１種デバイス群１１、第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）をまとめて第２種デバイス群１２という。

【0015】

第１種デバイス１、２・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）の其々は、広角レンズ、ＣＣＤ（Ｃｈａｒｇｅ―Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ或いはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ-ｏｘｉｄｅ-ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等で構成される撮像デバイスである。第１種デバイス１、２・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）の其々は、基体２の適切な位置に適切な方位に向けて配置されることで、全立体角の撮像をすることが可能である。

【0016】

第２種デバイス１、２、・・・Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々は、例えば人物や物体までの距離を測定するＴＯＦセンサである。第２種デバイス１、２、・・・Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々は、基体２の適切な位置に適切な方位に向けて配置されることで、全立体角の物体の距離を測定することが可能である。

【0017】

図２は、第１実施形態に係る複合入出射装置１の全体ブロック図である。複合入出射装置１のコントローラ３は、第１種デバイス群１１を制御する第１種デバイスプロセッサ２１１、第２種デバイス群１２を制御する第２種デバイスプロセッサ２１２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６、ＣＰＵ１６の処理、第１種デバイス群１１の制御、第２種デバイス群１２の制御等を行うためのプログラムや各種設定値を保持するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、第１種デバイス群１１から出力された撮像データ及び第２種デバイス群１２から出力された測距データ（以下、撮像データ及び測距データを総称して「計測データ」という）を一時保存し、実行されるプログラムのワークエリアを提供するＲＡＭ１４、計測データ、撮像データ、また予め作成又は撮像された映像データや画像データを保存する外部メモリ１５、及びシステムバス１７を含む。

【0018】

図３Ａは、第１実施形態に係る第１種デバイス１、２・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）の其々、及び第２種デバイス１、２、・・・Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々の方位定義多面体５に基づいた配置例を示す。

【0019】

方位定義多面体５として、正多面体、半正多面体、又はカタランの立体（半正多面体の双対多面体）を用いる。図３Ａでは、方位定義多面体５の形状は立方八面体である。

【0020】

第１種デバイス群１１、第２種デバイス群１２のそれぞれは、方位定義多面体５が内包する対称性を用いて配置される。具体的には、方位定義多面体５の中心を基準点とし、中心から面中心（重心でもよい）を見た方位からなる方位グループを第１対称性、中心から辺中心を見た方位からなる方位グループを第２対称性、中心から頂点をみた方位からなる方位グループを第３対称性と定義する。対称性の良い同一の方位定義多面体５が内包する方位グループの方位を中心方位として、第１種デバイス１、２、・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）、第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々を配置すれば、相互に干渉することなく、方位空間において入れ子状に効率よく、全立体角をカバーすることができる。例えば、面中心方位（第１対称性）を中心方位として第１種デバイス１、２、・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）を配置し、頂点中心方位（第３対称性）を中心方位として第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）を配置する。なお、方位グループの数だけ異種デバイスを配置できるので、デバイスの種類は３種類以上であってもよい。

【0021】

また、例えば魚眼レンズ等の超広角レンズを使った撮像デバイスは、１つの撮像デバイスのみで１８０度以上の画角を有する場合などは敢えて方位グループ内の全ての方位を使用してデバイスを配置する必要はない。但し、この場合も、異種デバイスと組み合わせる場合は、異種デバイスを配置する方位グループと入れ子状となる方位グループの一部に撮像デバイスを配置する。これにより、全体的に対称性のよい効率的なデバイス配置とすることができ、また干渉も少なくすることができる。この場合、数の少ないデバイス近傍についてのみ方位空間において入れ子状の配置となる。この状況では、偏りのない入れ子状の配置であることは、取り付け誤差も考慮し、数の少ない方のデバイスの第１近接デバイスと第２近接デバイスが異種デバイスになっていると表現できる。

【0022】

図３Ａは、基体２が方位定義多面体５に等しい場合のデバイス配置の例でもある。図３Ａでは、立方八面体中心から四角形の面中心に向かう方位を中心方位として、６か所に６個の第１種デバイス１１－１、１１－２、１１－３（図では残り３つは省略する）の其々が配置される。図示を省略した残りの３個については反対側の見えない位置の正方形の面に配置されている。

【0023】

更に立方八面体中心から三角形の面中心に向かう方位を中心方位として、８か所に８個の第２種デバイス１２－１、１２－２、１２－３、１２－４（図では残り４つは省略する）の其々が配置される。図示を省略した残りの４個については反対側の見えない位置の正三角形の面に配置されている。

【0024】

第１種デバイス１１－１、１１－２、１１－３の撮像範囲、第２種デバイス１２－１、１２－２、１２－３、１２－４の測距範囲はそれぞれ、個々のデバイスの入出射角度範囲を合成して、全立体角を覆う。一つの第１種デバイスから見ると、方位空間における最近接デバイスは第２種デバイスであり、一つの第２種デバイスから見ると、方位空間における最近接デバイスは第１種デバイスである。

【0025】

個々のデバイスの入出射角度範囲が、必要最低限の値よりも大きい場合は、厳密に方位定義多面体５に内包される対称方位に合っている必要はなく、全立体角を覆う範囲でデバイスの取り付け方位には許容度がある。

【0026】

例えば、第１種デバイスとして、広角レンズ付きのＣＣＤやＣＭＯＳと組み合わせた撮像デバイスを複数個配置して全立体角の撮影を可能にする。第２種デバイスとしての測距センサとしては例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサを複数個配置し、全立体角を測距する。ＴＯＦセンサを用いて撮像素子側から光を照射し、対象物に反射して戻ってくるまでの時間的なずれを画素ごとに計測し、距離を測定することで、二次元配列のセンサー（ＣＭＯＳやＣＣＤ）と併用すると、被写体との距離を二次元的に把握できる。

【0027】

但し、二次元的に把握できるが、そのためにはＴＯＦセンサを二次元的に基体２に配置する必要がある。たとえ広角レンズを搭載するにしても、広画角のものでも１２０～１４０度程度である。但し、画素の大きさは１０μｍ程度であるため、センサそのものの大きさは数ミリ角に抑えることが可能になる。このため、基体２に複数個搭載することも可能になる。従って、ＴＯＦセンサの数と配置位置、角度を適切に行えば、全立体角の測距は容易である。

【0028】

デバイスの配置は、デバイスが向いている方位さえ同じであれば、基体２（今の場合は方位定義多面体５に同じ）の特定の位置（面中心位置、辺中心位置、頂点位置）でなくてもよい。

【0029】

更に、基体２の形状は、方位定義多面体５の形状と異なっていてもよい。その場合、デバイスの向く方向は、方位定義多面体５に内包される方位グループの方位である。例えば、図３Ａにおいて、立方八面体の撮像デバイスと測距センサをデバイスの向く方位は変えずに直方体を基体２として、直方体の面中心位置と頂点位置に配置してもよい。この例を図３Ｂに示す。

【0030】

図３Ｂでは、直方体に第１種デバイスとしての撮像デバイスが各直方体の面に、第２種デバイスとしての測距センサが各直方体の頂点に配置される。この場合、撮像デバイスが向いている方位は、直方体中心から面中心に向かう方位と同一になるが、測距センサが向いている方位は、直方体中心から頂点に向かう方位とは異なる。あくまでも図３Ａの立方八面体の正三角形の面が向く方位となる。この図３Ｂは、基体２の形状がスマートフォンやタブレット端末の形状（直方体）と同じなので、実際に携帯可能な複合入出射装置１として使用することも可能である。なお、上記「撮像デバイスが向いている方位」とは、撮像デバイスの画角中心線の方位であり、「測距センサが向いている方位」とは、測距センサのスキャン範囲の中心線の方位である。

【0031】

図４Ａ、図４Ｂ、図４Ｃは、上述した各デバイスを正多面体、半正多面体とカタランの立体に其々内包される対称性を用いて配置した例を示す図である。ここでの例示は、基体２の形状と方位定義多面体５の形状とが同じ場合である。図４Ａは、立方体中心から見た面中心（重心）方向の方位グループを用いてデバイスを配置した図を示す。図４Ｂは、頂点方向の方位グループを用いてデバイスを配置した図を示す。図４Ｃは、辺中心方位の方位グループを用いてデバイスを配置した図である。

【0032】

同じ立方体でも各方位グループにより搭載するデバイス数は異なる。どの方位グループを採用するかは搭載するデバイスの入出射角度により決めればよい。これに関しては下記に述べる。

【0033】

搭載された各デバイスの組み合わせで実際に全立体角の測距や撮影を可能にするための各デバイスの必要入出射角度に関しての説明を図５、図６を用いて説明する。

【0034】

図５Ａは、立方八面体の正方形の面に第１種デバイス（１１－１）（１１－２）（１１－３）が配置されており（裏側図示省略）、正三角形の面に第２種デバイス（１２－１）（１２－２）（１２－３）（１２－４）が配置されている（裏側図示省略）。ここでの例示も、基体２と方位定義多面体５が同じ場合である。正方形の面に搭載された第１種デバイスが全立体角を覆うため（全立体角を計測するため）には第１種デバイスのグループ内での最近接のサブグループの方位ベクトルで構成される角錐内の方位範囲を入出射角度範囲が覆えばよい。即ち、図５ＡのＸ軸、Ｙ軸、Ｚ軸で構成される三角錐内の方位範囲（これが第１種デバイスの計測範囲の一単位となる）が余裕（隣接する第１種デバイスの入出射角度範囲との重複領域）を含めて第１種デバイスの入出射角度範囲で覆われることが必要となる。

【0035】

図５Ｂは、全てのデバイスの向いている方位を、極座標の偏角で示す。第１種デバイス（１１－１）の方位はθ＝０度の方位なので、図５Ｂにおいては図５Ａの円が帯として表記される。必要入出射角度範囲を図５Ｂで示すと、第１種デバイスの１つのデバイス（例えば第１種デバイス１１－２）の入出射角度範囲が、角錐頂角の中心軸方向まで覆えばいいことになる。この場合、「中心軸方向」とは、図５Ａの第２種デバイス（１２－１）の方向になる。即ち図５ＡのＶ方向になる。これは図５Ｂで示すところのαの値となる。即ち、必要入出射角度範囲は、第１種デバイスの方向と角錐頂角の中心軸方向がなす角αの２倍になる。

【0036】

図５Ｂでは第１種デバイス１１－２の周りに破線で示した領域の範囲である。この場合、αは５４．７°になるので、必要入出射角度は２倍の１０９．５°になる。この例を踏まえて正四面体、立方体、正八面体、立方八面体に関する各方位グループにおける方位数（搭載デバイス数としてもよい）と必要入出射角度範囲を示したのが図６である。ここで、立方八面体の面中心方位グループのように、面や辺や頂点の種類により、方位グループが更に細かく分かれる場合もある。これはあくまでも一例であり、他の多面体の場合でも同様の考え方で必要入出射角度範囲を求めることができる。上記では第１種デバイスに関しての記述であるが、当然第２種デバイスに関しても同様の考え方で必要入出射角度範囲を決めることができる。

【0037】

上記必要入出射角度であれば、測距センサとしてＴＯＦセンサを用いた場合、隣接するＴＯＦセンサとの間で測定範囲が重なることになるが、これに関しては互いにデータの補完をすることで精度の高い計測が可能になる。

【0038】

即ち、ＴＯＦセンサでは画角の周辺部分より、中心に近い方のデータのほうが測定精度は高くなるので、隣接のＴＯＦセンサのデータを比べて、画角の中心部分に近いほうの測距データを使うことでより精度の高い全立体角距離測定を可能にする。図６に示す必要入出射角度は多面体の各方位グループにＴＯＦセンサを配置した時にそのＴＯＦセンサに求められる必要画角を示したものになる。例えば正六面体では各頂点にＴＯＦセンサを配置すると必要デバイス数は８個になるが、各ＴＯＦセンサの画角は１０９．５度有れば８個で全立体角の測距が可能になる。同様に、立方八面体では各頂点に配置するとすれば１２個のＴＯＦセンサが必要になるが、必要画角は９０度となり、少ない画角のＴＯＦセンサでも全立体角の距離を測定することができる。最隣接の同種デバイス同士で画角の重なりがある場合は、上述通り、隣接のデバイスの計測データを補完することでより高精度の測定や画像を得ることができる。上記は測距センサとしてのＴＯＦセンサの記述であるが、同様に例えば撮像デバイスに関しても隣接の重なりがある場合は、画角の中心に近い画像のほうが歪みは少ないので、画角の中心に近い方の画像を選択するとよい。このように、デバイスの入出射角度範囲は搭載デバイス数を決める重要な要素である。

【0039】

図６は各種多面体の方位グループとその方位数、必要入出射角度範囲を纏めた表である。図６では多面体の数を主なものとして正四面体、立方体、正八面体、立方八面体の場合を記載しているが、これに限ることは無く、他の正多面体、半正多面体とカタランの立体等、色々な多面体においても同様の考え方で必要入出射角度範囲が求められ、デバイスの搭載数も決めることができる。

【0040】

即ち、本実施形態は、測定範囲が小立体角の測距センサによる全立体角測距とカメラによる全立体角撮像の組み合わせに関し、全立体角を効率よくカバーするために、測距系、撮像系共に対称性のよい方向の組み合わせを選ぶ事を特徴としている。その点に鑑み、方位定義多面体５としての正多面体、半正多面体とカタランの立体に内包される対称性を用いている。具体的には、各種正多面体や、半正多面体とカタランの立体の中心から見た、種類毎の、面中心（重心）方位、辺中心方位、頂点方位の方位グループを用い、同一の各種正多面体（或いは半正多面体やカタラン多面体）に内包される方位グループの方位に、測距センサ、撮像デバイスを配置すれば、相互に干渉することなく、入れ子状に効率よく、全立体角をカバーすることができる。

【0041】

なお、１８０度以上の画角の広角レンズを持つ撮像デバイスであれば、相対する２方向にデバイスを配置すれば全立体角の撮像は可能になる。この場合は、方位グループの全ての方位にデバイスを配置しなくてもよい。但しこの場合も、異種デバイスと組み合わせる場合は、異種デバイスを配置する方位グループと入れ子状となる方位グループの一部に撮像デバイスを配置することにより、全体的に対称性のよい効率的なデバイス配置とすることができ、また異種デバイス間の干渉も少なくすることができる。

【0042】

更に、後述するが、変形例として、各デバイスの中心を通る軸線は方向を変えなければ、１点に集まっている必要性はない。これにより、配置の自由度が増す。また、別の変形例として、デバイスの縦横でカバーする入出射角度が異なる場合は、菱形多面体の面中心方位を用いても配置効率がよい。

【0043】

次に上述した各撮像デバイス、測距センサの搭載位置に関し、具体的に搭載する配置方法の一例を、図７Ａ、図７Ｂを用いて説明する。但し、下記説明は一例なので、配置例は下記に限定されない。

【0044】

図７Ａは、概直方体（六面体）の携帯情報端末に複合入出射装置１を実装した例である。概直方体が基体２である。そして例えば正八面体を方位定義多面体５として、その方位グループを使用して、測距センサと撮像デバイスを配置する。測距センサの中心方位として面中心方位の方位グループを採用した場合には８個の測距センサを配置する必要がある。しかしながら、携帯情報端末は六面体なので８個の測距センサを各面に搭載することはできない。これを解決するために、８個の測距センサを図７Ａに示すとおり、例えば、上面に４、底面に４を辺部分に、正八面体の面中心方位グループの方位に向けて配置する。

【0045】

また、携帯情報端末の辺に測距センサを配置する場合は、各辺に溝を作り（又は面取りを行い）、そこに搭載してもよい。このときの測距センサの画角は、図６の正八面体方位グループの面中心方位の値１０９．５度以上有ればよい。上記は携帯情報端末の各辺に溝を作って測距センサを配置する方法についての記述であるが、これに限ることは無く、測距センサの中心方位が上述の方位に配置できるのならば、方法は問わない。

【0046】

一方、撮影デバイス１１０、１１１は正八面体の辺中心方位グループ方向に配置する。ここでは、撮像デバイスの画角が１８０度以上あるとして、辺中心方位グループの中から対向する二方位を選択し、携帯情報端末の六面体の対称位置にある２つの面に搭載することで、全立体角を撮影することが可能になる。

【0047】

図７Ｂは、測距センサを方位定義多面体５としての正八面体の各頂点方位グループの方位を中心方位として配置する例を示す。この場合、上面に３、底面に３を配置する。具体的には、携帯情報端末の頂点を斜めに切り落とし、上述の方位グループの方位に向くように搭載してもよい。この場合にも、測距センサの画角は１０９．５度以上あればよい。

【0048】

一方、撮影デバイス１１０、１１１は正八面体の面中心方位グループ方位を中心方位として配置する。ここでは、撮像デバイスの画角が１８０度以上あるとして、面中心方位グループの中から対向する二方位を選択し、携帯情報端末の六面体の対称位置にある２つの面に搭載することで、全立体角を撮影することが可能になる。この例では、面中心方位グループの全ての方位に撮像デバイスを配置していないが、全ての測距センサの方位空間における最近接デバイスは撮像デバイスとなっている。

【0049】

この様に、方位定義多面体５としての同一の正多面体、半正多面体とカタランの立体が内包する方位グループの方位を中心方位として基体２に撮像デバイスと測距センサを効率よく配置し、全立体角の測距と撮影を行うことが可能となる。

【0050】

また、夜間や暗いところでの撮影を考慮し、全立体角用の照明を搭載したいこともあるが、これに関しても照明を出射デバイスとして同様の考え方で複数搭載すればよい。この場合、撮像デバイスの中心方位と照明デバイスの中心方位が方位空間において入れ子状に配置されることにより、照明デバイスから撮像デバイスへの直接的な干渉が減る、という効果がある。

【0051】

図８は例えば図５Ａで示した４つの測距センサ１２－１、１２－２、１２－３、１２－４の其々が計測した測距データを用いて、一つの測距データに合成した例を示す。

【0052】

各測距センサ１２－１、１２－２、１２－３、１２－４はそれぞれ測定範囲を含む。各測定範囲は、周辺部分はより測距に対する誤差は大きくなる。これは例えばＴＯＦセンサのような場合、測定系に光学系のレンズを使っているため、カメラセンサにおける画角のように、周辺部になるほど歪が大きくなることによる。従って、図８に示すように、中心部に比べ、周辺部の方が測定精度は悪くなる。

【0053】

このため、周辺部はできるだけ使わないほうがよい。そこで、複数の測距センサ１２－１、１２－２、１２－３、１２－４の其々の測定範囲が方位空間において隣接する測距センサの測定範囲に重なり合うような位置に配置し、より測定精度のよい部分を優先的に使うことで、全立体角測距を行っても精度のよい測定が可能になる。この選択は例えば予め設計時に隣接する測距センサの位置関係は分かるので、個々の測距センサの距離計測担当範囲を決めておけばよい。図７Ａで示す残りの測距センサ１２－５～１２－８迄の測距センサについても同様に行い、全立体角の測距を高精度に仕上げることができる。

【0054】

図９は、複数の測距データを一つの測距データに合成した例を示す。図９では、距離情報がパターン３種類で表現されているがこれに限ることは無く、実際は更に細かな濃淡で正確に距離が算出されるし、色分けしても良い。

【0055】

ＣＰＵ１６は、各測距センサ１２－１～１２－４の其々から測距データを読込み、これらを合成及びトリミングして、全立体角測距データ８００を生成してもよい。測距データの合成処理は、各測距センサの測距データのみを用いて行っても良いし、複数の撮像デバイスからの撮像データを用いて測距データを補完し、測距データの合成処理を行ってもよい。この詳細は後述する。

【0056】

測距データを合成する際に、測定範囲の接続部で測距データにずれが生じることがある。これは、各測距センサに入射する光の幾何学的な集光点が必ずしも一致しないため、測定対象の距離により、それぞれの測距センサがカバーする方位範囲の領域がずれてくるためである。このような場合のデータの補正方法について図１０を用いて説明する。

【0057】

図１０Ａで示す撮像データは例えば図２の撮像デバイス１１－１を例にしたものである。図１０Ｂは上述の撮像データの範囲を測距する測距センサ１２－１と１２－２の２つのデータの合成方法について記載したものである。実際は撮像デバイス１１－１の近接デバイスは４個の測距センサが配置されているので、４個のデータの合成になるが、説明を簡単にするために、近接２つの測距センサに関して説明する。また、２つの測距センサ１２－１、１２－２の測定範囲は撮像デバイス１１－１の撮像範囲以外の部分も存在しているが、この説明では撮像デバイス１１－１の撮像範囲内の測定についての説明になっている。測距センサ１２－１、１２－２が幾何学的に正確な位置、角度、方向に配置していると仮定すれば補正は周辺部の歪のみとなる。この場合には測距データの合成は図８で示したように測定範囲とその位置関係より精度の高いほうのデータを使って合成すればよい。

【0058】

しかしながら、実際の製品では測距センサは幾何学的な位置からずれた状態で配置される。即ち、各デバイスの「集光点」（入射信号が幾何学的に収束する点）が一点に揃っていない場合や、歪みと測距センサそのものの取り付け位置や精度の問題からたとえ画角が重なっていたとしてもデータ同士が綺麗に接続できない可能性がある。そのため、被写体の距離に応じてダイナミックにデータの接続を調整する必要がある。このために使うのが撮像データである。例えばある目標物を撮像した場合、その目標物を測距センサ１２－１、１２－２で計測した場合の測距データ範囲は図１０Ｂに示すように集光点のずれや取り付け精度により少しずれた状態になる。従って、このずれを上述の撮像データに合うように測距データを修正し、領域間の接続の整形を行う（図１０Ｃ参照）。この修正は対象物の距離と、デバイスの特性、配置から計算することも可能であるが、撮像データを参考に更に整形することにより、境界領域のデータの正確性を向上させることができる。

【0059】

第１実施形態によれば、一つの基体２に複数種類のデバイスを配置する際に、方位定義多面体５が内包する異なる対称性方位グループを用いてデバイスを方位空間において入れ子状に配置するので、異種又は同種のデバイスのいずれとも基体２における中心方位が被ることなく、かつ全立体角の計測が可能なように複数種類のデバイスを効率よく配置できる。

【0060】

（第２実施形態）
第２実施形態は、携帯情報端末４に複合入出射装置１ａを応用した実施形態である。図１１Ａは、第２実施形態に係る複合入出射装置１ａの外観図である。図１１Ｂは、複合入出射装置１ａの表示例を示す図である。

【0061】

複合入出射装置１ａは、基体２としての携帯情報端末４に撮影デバイスや測距センサで計測された物体や人物等の距離や画像を確認するためのディスプレイ２０を備える。撮像デバイス及び測距センサの構成は、図５Ｂで示したものと同じである。図１１Ａでは隠れている部分は示していない。

【0062】

図１１Ｂに示すように、複合入出射装置１ａは、計測中であることを示す文字表示等を行っても良い。また、計測＆撮影後は全立体角の撮影画像や、距離情報を表示してもよい。この時は携帯情報端末４を左右上下等の方向に回転させることでディスプレイ２０には全立体角の画像が表示される。この時は携帯情報端末のジャイロセンサ（図１２参照）と連動させて携帯情報端末４の方位を確認し、それに対応する画像を表示させる。

【0063】

図１２は、複合入出射装置１ａの全体ブロックを示す。

【0064】

携帯情報端末４は、第１種デバイスとしての広角レンズ及び撮像素子（例えばＣＣＤ或いはＣＭＯＳセンサ）を含むカメラ１１０、同じく広角レンズと撮像素子を含み、ディスプレイ２０側を撮像範囲とするインカメラ１１１、カメラ１１０及びインカメラ１１１の其々からの撮像データを基に画像処理を行う画像処理プロセッサ１１２、第２種デバイスとしてのＮ個のＴＯＦセンサ１、２、・・・、Ｎ（１２－１）、（１２－２）、・・・、（１２－Ｎ）、ＲＯＭ１３、ＲＡＭ１４、外部メモリ１５、ＣＰＵ１６、システムバス１７、ジャイロセンサ１８、加速度センサ１９、ディスプレイ２０、ＬＡＮ通信器２１、電話網通信器２２、及びＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）２３を備える。

【0065】

画像処理プロセッサ１１２は、撮影画像からその角度補正や回転補正、或いは広角レンズのため、歪んでいる画像を本来の状態に見えるように補正する歪み補正部１１４、人物の顔や物体を認識する被写体認識部１１６、被写体認識部１１６に基づいて画像データから顔や物体部分を切り出すトリミング部１１５、上記複数のカメラの画像を合成する画像合成部１１７を含む。

【0066】

本実施形態では、少なくともカメラは２個以上搭載されている。例えば上述ではカメラ２個をインカメラと通常カメラとして、少なくとも１８０度以上の画角の広角レンズを搭載し、搭載位置はそれぞれ別の面に搭載することで、全立体角の画像を撮影可能となっている。カメラの搭載個数は２個以上であれば、幾つ搭載しても良い。

【0067】

画像処理プロセッサ１１２は、カメラ１１０又はインカメラ１１１のいずれかから取得した撮像データに対して最初に歪み補正部１１４で歪み補正をし、被写体認識部１１６で人物や物体を認識した後にトリミング部１１５で人物や物体をトリミングしているが、これに限ることは無く、超広角レンズにより発生した歪みを簡略的に補正した後に認識し、トリミングした後により精度の高い歪み補正を行っても良いし、後述するが測距センサ群１２から得られた人物や物体までの詳細な距離を対応させてディスプレイ２０に表示しても良い。

【0068】

図１３は、画像処理プロセッサ１１２が実行する全立体角撮影及び測距アルゴリズムを示す。

【0069】

画像処理プロセッサ１１２は、カメラ１１０からの撮像データが入力され、広角レンズの歪みを補正する第１歪み補正部１１４－１、及びインカメラ１１１からの撮像データが入力され、広角レンズの歪みを補正する第２歪み補正部１１４－２と、を備える。第１歪み補正部１１４－１は、第１収差補正部及び第１正像変換部を含む。同様に。第２歪み補正部１１４－２は、第２収差補正部及び第２正像変換部を含む。上述ではカメラひとつに対し、歪み処理部は一つずつ有るが、これに限ることは無く、高速処理で時間的な制約が無ければひとつの処理機能がスイッチングしながら処理を行っても良い。

【0070】

第１歪み補正部１１４－１及び第２歪み補正部１１４－２の其々は、歪み補正処理を行った画像を画像合成部１１７に出力する。画像合成部１１７は、第１歪み補正部１１４－１及び第２歪み補正部１１４－２の其々から取得した歪み補正後の画像を合成し、全立体角の画像（以下「全立体角画像」という）を作成し、被写体認識部１１６に出力する。

【0071】

被写体認識部１１６は、全立体角画像に基づいて被写体認識処理を行い、その結果をトリミング部１１５に出力する。

【0072】

トリミング部１１５は、全立体角画像中において被写体認識処理で認識された被写体が撮像領域に対してトリミングを行う。被写体領域を完全にトリミングして被写体領域だけを取り出してもよいし、被写体領域枠を内包する枠を付加する処理でも良い。トリミングした画像に関しては更なる歪み補正を施しても良いし、そのトリミングした部分を拡大や強調をし、後述するようにそこまでの距離を表示させても良い。

【0073】

一方、ＣＰＵ１６は、ＴＯＦセンサ１２－１、１２－２、・・・１２－ｎの各測距データを取得し、全立体角測距データに合成する。ＣＰＵ１６は、測距センサの画角で測定された測距データを相互に補完しながら、全立体角測距データ８００を作成する（図８、図９参照）。

【0074】

ＣＰＵ１６は、画像合成部１１７から全立体角画像を取得し（図１３のＬ－Ａ）、全立体角測距データ８００と関連付ける。この手法は様々あるが、例えば、予め複合入出射装置１ａの周囲の既知の位置に被写体を設置し、全立体角画像を作成する。また測距センサ群１２を用いて複合入出射装置１ａから同一の被写体までの距離を測定し全立体角測距データ８００を作成する。そして同一の被写体が撮像された全立体角画像内の被写体領域と、全立体角測距データ８００から読み出した同一の被写体までの距離情報と、を関連付けることで、全立体角画像内の撮像領域と、当該撮像領域内に写り込んだ被写体までの距離情報とを関連付けたキャリブレーションデータを作成し、格納しておく。

【0075】

ユーザが複合入出射装置１ａを使用すると、ＣＰＵ１６は、全立体角画像を作成し、キャリブレーションデータを参照し、全立体角画像の撮像領域に対応する距離情報を読み出す。ＣＰＵ１６は、読み出した距離情報及びそれに対応する撮像領域の全立体角画像内における位置（例えば全立体角画像内の座標）を距離情報付加部１１８に出力する。

【0076】

距離情報付加部１１８は、トリミング部１１５から取得した被写体領域の情報を基に、ＣＰＵ１６から取得した距離情報を全立体角画像における被写体領域に付加する。

【0077】

図１４は、全立体角画像に距離情報を付加して表示した例を示す。図１４では、ディスプレイ２０の表示範囲は全立体角の一部であるが、全立体角を表示する時には、ジャイロセンサ１８のデータを元にディスプレイ２０の位置を上下、左右に回転させることで表示させても良いし、ディスプレイ２０を前後左右にスクロールさせて表示させても良い。また、距離情報を特定の対象物に対し、図の様にそこまでの距離を表示させても良い。

【0078】

図１５は、複合入出射装置１ａにおける全立体角画像及び全立体角測距データ８００の作成処理の流れを示すフローチャートである。下記処理の流れは、第１実施形態で説明した複合入出射装置１にもあてはまる。

【0079】

複合入出射装置１ａのユーザが全立体角撮影及び全立体角測距をしたい場合、ユーザは、複合入出射装置１ａの動作モードを全立体角撮影及び全立体角測距モードに切り替える（Ｓ１００）。複合入出射装置１ａはディスプレイ２０にモードセレクト画面を表示させ、ユーザからモード選択操作を受け付ける。複合入出射装置１ａは、全立体角撮影及び全立体角測距モードに切り替わると、ディスプレイ２０に“ただ今全立体角撮影＆測距システム稼働中”等の表示を行い、ユーザにできるだけ揺らさない等の注意を促す表示を行っても良い。

【0080】

カメラ１１０及びインカメラ１１１の其々が起動及び撮影を開始する。また、各測距センサ１２－１、１２－２、・・・１２－Ｎが起動し測距を開始する（Ｓ１０１）。

【0081】

カメラ１１０及びインカメラ１１１の其々が生成した撮像データが画像処理プロセッサ１１２に出力される。画像処理プロセッサ１１２は、広角レンズに起因する歪み補正を行い（Ｓ１０２）、全立体角画像を作成する（Ｓ１０３）。

【0082】

ＣＰＵ１６（第１実施形態では第２種デバイスプロセッサ２１２）は、測距センサ１２－１、１２－２、・・・１２－Ｎで測定された測距データを合成して全立体角測距データ８００を作成する（Ｓ１０４）。ステップＳ１０３とステップＳ１０４は同時に実行されてもよいし、ステップＳ１０４が先に実行されてもよい。

【0083】

画像処理プロセッサ１１２は、全立体角画像から被写体領域を検出し（Ｓ１０５）、被写体領域に対してトリミング処理をして切り出す。そしてＳ１０４で作成された全立体角測距データ８００を用いて複合入出射装置１ａから被写体までの距離情報を付加する（Ｓ１０６）。

【0084】

画像処理プロセッサ１１２は、距離情報を付加した全立体角画像、及び全立体角測距データをＲＡＭ１４、外部メモリ１５の少なくとも一方に記録し（Ｓ１０７）、終了する。

【0085】

図１６は、複合入出射装置１ａにおける全立体角画像及び全立体角測距データ８００の再生処理の流れを示すフローチャートである。下記処理の流れは、第１実施形態で説明した複合入出射装置１にもあてはまる。

【0086】

複合入出射装置１ａが全立体角画像及び全立体角測距データの再生モードに移行するための操作を行う（Ｓ１１０）。複合入出射装置１ａは、ディスプレイ２０にモードセレクト画面を表示させ、ユーザからモード選択操作を受け付ける。更に、複合入出射装置１ａは、ユーザからＲＡＭ１４又は外部メモリ１５に記録されたデータのうち再生対象のファイルを選択する操作を受け付け、そのファイルを再生する（Ｓ１１１）。

【0087】

再生するファイルは、ディスプレイ２０より広範囲、即ち全立体角の画像情報と距離情報が含まれている（図１４参照）。そこで、複合入出射装置１ａは、ジャイロセンサ１８、加速度センサ１９とＧＰＳ２３による位置情報を基に、水平面内の方位情報と仰ぎ角情報を演算し、全立体角画像の特定の方位の画像（全立体角画像の部分画像）及び距離情報を表示させる。

【0088】

その後、複合入出射装置１ａは、ユーザに対しディスプレイ２０のスクロール処理、或いは複合入出射装置１ａを動かす事を要求する（Ｓ１１２）。

【0089】

複合入出射装置１ａは、ユーザの動き（例えばスクロール操作や複合入出射装置１ａを動かすこと）を検知すると（Ｓ１１３／Ｙｅｓ）、その指示に従いその方向の画像や距離情報を表示させる（Ｓ１１４）。

【0090】

ユーザの動きがない場合（Ｓ１１３／Ｎｏ）、又はステップＳ１１４の後、終了条件、例えば、ユーザの指示や動きが一定時間無い場合や、再生終了操作を受け付けた場合（Ｓ１１５／Ｙｅｓ）、再生処理を終了する。終了条件非充足の場合（Ｓ１１５／Ｎｏ）、ステップＳ１１２へ戻る。

【0091】

図１７Ａに複合入出射装置１をＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）５０に適用した例を示す。

【0092】

ＨＭＤを用いてＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実）表示を行う場合に、ＨＭＤユーザの現実の周囲環境を撮像及び測距し、その撮像データ及び測距データをＡＲ表示に用いてもよい。これにより、現実空間に仮想オブジェクトを重畳表示する際の制御がより精密になる。

【0093】

図１７Ａに示すように、ＨＭＤ５０は、側頭部装着体５０－１及び頭頂部装着体５０－２、及び透過性又は非透過性のディスプレイ５０－３を備える。ディスプレイ５０－３の上辺中心に広角レンズを有する第１カメラ５１－１を、側頭部装着体５０－１の後頭部中央に広角レンズを有する第２カメラ５１－２を備える。またディスプレイ５０－３の左右頂点の其々に第１測距センサ５２－１、第２測距センサ５２－２を備える。更に頭頂部装着体５０－２における頭頂部に第３測距センサ５２－３を備え、側頭部装着体５０－１の後頭部中央に第４測距センサ５２－４を備える。即ち、図１７Ｂに示すように、この例においてＨＭＤ５０では、方位定義多面体５として正四面体を用いる。カメラは画角１８０度以上のものを用いて辺中心方位グループの内、対向する２つの方位（５１－１、５１－２）に配置し、測距センサは頂点中心方位に配置される。

【0094】

ＨＭＤ５０において全立体角画像及び全立体角測距データを作成する場合、全立体角画像の接合部がＨＭＤ５０の真下、即ちＨＭＤ５０の装着者側に位置することが望ましい。これは、ＨＭＤ５０の装着者にとって、自分自身の画像は不要であることが多いためである。測距データについても同様で、自分自身との距離を知りたいという要望はほぼないと考えられるので、測距データの接合部もＨＭＤ５０の装着者側に位置させることが望ましい。そこで、センサ配置の変形例として、図１８Ａ、図１８Ｂに示すように、隣接するセンサとの必要入射角範囲を確保しつつ、カメラの方位を辺中心方位からずらす。これにより、撮像データ及び測距データの接合部を、ＨＭＤ５０の真下に来るように各センサの方向を調整する。図１８Ｂは方位空間での各デバイスの向く方位を表している。図１８Ｂで５１－１、５１－２が辺中心方位に配置した場合で、５１－１、５１－２が方位を調整した変形例である。変形例において、Ｚ軸の正方向を垂直上側方向に選べば、ユーザの身体がＺ軸の負方向になり、カメラの光軸が水平方向になるので、撮像データ、測距データ共に、接合部がＨＭＤ５０の装着者側に位置することになる。なお、この変形例においても、個々のデバイスの方位空間における最近接デバイスは異種デバイスとなっている。

【0095】

本実施形態によれば、スマートフォンのように小型の携帯情報端末にも複数種類のデバイスを、異種及び同種のデバイスの配置位置が重ならないように、かつ全立体角を計測範囲に含ませて配置することができる。

【0096】

上記実施形態は、本発明の実施形態の一例を示したにすぎず、本発明は上記に限定されるものでない。例えば、別の実施態様としてテレビ会議システムとして使うことも可能である。全立体角の距離情報と物体認識を利用することで、例えばテレビ会議システムにおいて、出席者全員の顔認識画像と距離情報から会議に出席している人の位置を把握し、指向性マイクとの組み合わせで、発言している人を特定し、その人を拡大して表示すること。或いは会話内容と出席者の特定を行ったうえで会話を鮮明に記録することが可能になる。

【0097】

また、その他の入射デバイス、出射デバイスの例としては電波の送信アンテナ及び受信アンテナがある。携帯電話で使用する周波数が高くなり、指向性が強くなることにより、効率よくアンテナを配置して全立体角を電波の入出射範囲として覆う必要がある。この場合にも本発明が有効である。

【0098】

また、更に入射デバイス、出射デバイスの他の例として、指向性の強いマイクや指向性の強いスピーカがある。スマートスピーカのような音声入出力デバイスにおいて、周辺に存在する使用者の中から、特定の使用者を対象にした音声のやり取りを実現する際にも本発明が有効である。

【0099】

また、複合入出射装置１、１ａのハードウェア構成も一例に過ぎず、１つのＣＰＵ１６が第１種デバイスプロセッサ２１１、第２種デバイスプロセッサ２１２、画像処理プロセッサ１１２の各機能を実行してもよい。

【符号の説明】

【0100】

１、１ａ ：複合入出射装置
２ ：基体
３ ：コントローラ
４ ：携帯情報端末
５ ：方位定義多面体
１１ ：第１種デバイス群
１２ ：第２種デバイス群
１３ ：ＲＯＭ
１４ ：ＲＡＭ
１５ ：外部メモリ
１６ ：ＣＰＵ
１７ ：システムバス
１８ ：ジャイロセンサ
１９ ：加速度センサ
２０ ：ディスプレイ
２１ ：ＬＡＮ通信器
２２ ：電話網通信器
２３ ：ＧＰＳ
５０ ：ＨＭＤ
５０－１ ：側頭部装着体
５０－２ ：頭頂部装着体
５０－３ ：ディスプレイ
５１－１ ：第１カメラ
５１－２ ：第２カメラ
５２－１ ：第１測距センサ
５２－２ ：第２測距センサ
５２－３ ：第３測距センサ
５２－４ ：第４測距センサ
１１０ ：カメラ
１１１ ：インカメラ
１１２ ：画像処理プロセッサ
１１４ ：歪み補正部
１１４－１ ：補正部
１１４－２ ：補正部
１１５ ：トリミング部
１１６ ：被写体認識部
１１７ ：画像合成部
１１８ ：距離情報付加部
２１１ ：第１種デバイスプロセッサ
２１２ ：第２種デバイスプロセッサ
８００ ：全立体角測距データ

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図18A】

【図18B】