(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061729
(43)【公開日】2024-05-08
(54)【発明の名称】複合入出射装置
(51)【国際特許分類】
G02B 7/28 20210101AFI20240426BHJP
G02B 7/40 20210101ALI20240426BHJP
G03B 15/00 20210101ALI20240426BHJP
G03B 19/07 20210101ALI20240426BHJP
H04N 23/60 20230101ALI20240426BHJP
H04N 23/698 20230101ALI20240426BHJP
G01S 17/86 20200101ALN20240426BHJP
G01S 7/481 20060101ALN20240426BHJP
【ＦＩ】
G02B7/28 N
G02B7/40
G03B15/00 W
G03B19/07
H04N23/60 500
H04N23/698
G01S17/86
G01S7/481 Z
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024025057
(22)【出願日】2024-02-22
(62)【分割の表示】P 2023002869の分割
【原出願日】2019-02-07
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】小野 裕明
(72)【発明者】
【氏名】川前 治
(72)【発明者】
【氏名】益岡 信夫
(57)【要約】
【課題】複数種類のデバイスを一つの基体に効率よく配置した複合入出射装置を提供する
。
【解決手段】複合入出射装置は、エネルギーを入射又は出射する複数の第１種デバイスと、エネルギーを入射又は出射し、前記第１種デバイスとは種類が異なる複数の第２種デバイスと、基体と、を備え、複数の第１種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、複数の第２種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、複数の第１種デバイス及び複数の第２種デバイスは、下記二つの拘束条件の両方を満たして基体に配置される；拘束条件１：複数の第１種デバイスの其々は、方位空間において最近接するデバイスが第２種デバイスの内の少なくとも一つである、拘束条件２：複数の第２種デバイスの其々が、方位空間において最近接するデバイスは第１種デバイスの内の少なくとも一つである。
【選択図】図１
。
【解決手段】複合入出射装置は、エネルギーを入射又は出射する複数の第１種デバイスと、エネルギーを入射又は出射し、前記第１種デバイスとは種類が異なる複数の第２種デバイスと、基体と、を備え、複数の第１種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、複数の第２種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、複数の第１種デバイス及び複数の第２種デバイスは、下記二つの拘束条件の両方を満たして基体に配置される；拘束条件１：複数の第１種デバイスの其々は、方位空間において最近接するデバイスが第２種デバイスの内の少なくとも一つである、拘束条件２：複数の第２種デバイスの其々が、方位空間において最近接するデバイスは第１種デバイスの内の少なくとも一つである。
【選択図】図１
【特許請求の範囲】
【請求項1】
エネルギーを入射又は出射する複数の第１種デバイスと、
エネルギーを入射又は出射し、前記第１種デバイスとは種類が異なる複数の第２種デバイスと、
前記複数の第１種デバイス及び前記複数の第２種デバイスが配置される基体と、を備え、
前記複数の第１種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、前記複数の第２種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、
前記複数の第１種デバイス及び前記複数の第２種デバイスは、下記二つの拘束条件の両方を満たして前記基体に配置される；
拘束条件１：前記複数の第１種デバイスの其々は、方位空間において最近接するデバイスが前記第２種デバイスの内の少なくとも一つである、
拘束条件２：前記複数の第２種デバイスの其々が、方位空間において最近接するデバイスは前記第１種デバイスの内の少なくとも一つである、
ことを特徴とする複合入出射装置。
エネルギーを入射又は出射し、前記第１種デバイスとは種類が異なる複数の第２種デバイスと、
前記複数の第１種デバイス及び前記複数の第２種デバイスが配置される基体と、を備え、
前記複数の第１種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、前記複数の第２種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、
前記複数の第１種デバイス及び前記複数の第２種デバイスは、下記二つの拘束条件の両方を満たして前記基体に配置される；
拘束条件１：前記複数の第１種デバイスの其々は、方位空間において最近接するデバイスが前記第２種デバイスの内の少なくとも一つである、
拘束条件２：前記複数の第２種デバイスの其々が、方位空間において最近接するデバイスは前記第１種デバイスの内の少なくとも一つである、
ことを特徴とする複合入出射装置。
【請求項2】
請求項１に記載の複合入出射装置において、
方位定義多面体が定義され、
前記方位定義多面体は、前記方位定義多面体内の１点を基準点とする第１対称性及び当
該第１対称性とは異なる第２対称性を内包する形状であり、
前記複数の第１種デバイスの其々は、前記方位定義多面体における前記第１対称性を満
たす方位に配置され、
前記複数の第２種デバイスの其々は、前記方位定義多面体における前記第２対称性を満
たす方位に配置される、
ことを特徴とする複合入出射装置。
方位定義多面体が定義され、
前記方位定義多面体は、前記方位定義多面体内の１点を基準点とする第１対称性及び当
該第１対称性とは異なる第２対称性を内包する形状であり、
前記複数の第１種デバイスの其々は、前記方位定義多面体における前記第１対称性を満
たす方位に配置され、
前記複数の第２種デバイスの其々は、前記方位定義多面体における前記第２対称性を満
たす方位に配置される、
ことを特徴とする複合入出射装置。
【請求項3】
請求項２に記載の複合入出射装置において、
前記方位定義多面体は、正多面体、半正多面体、又はカタランの立体である、
ことを特徴とする複合入出射装置。
前記方位定義多面体は、正多面体、半正多面体、又はカタランの立体である、
ことを特徴とする複合入出射装置。
【請求項4】
請求項３に記載の複合入出射装置において、
前記第１対称性及び前記第２対称性の其々は、前記基準点から前記方位定義多面体の面
中心又は重心に向けた方位グループ、前記基準点から前記基体の辺中心方位に向けた方位
グループ、又は前記基準点から前記基体の頂点方位に向けた方位グループのいずれかであ
る、
ことを特徴とする複合入出射装置。
前記第１対称性及び前記第２対称性の其々は、前記基準点から前記方位定義多面体の面
中心又は重心に向けた方位グループ、前記基準点から前記基体の辺中心方位に向けた方位
グループ、又は前記基準点から前記基体の頂点方位に向けた方位グループのいずれかであ
る、
ことを特徴とする複合入出射装置。
【請求項5】
請求項１に記載の複合入出射装置において、
前記複数の第１種デバイスの其々が入射デバイス、かつ前記複数の第２種デバイスの其
々が出射デバイスである、又は前記複数の第１種デバイスの其々が出射デバイス、かつ前
記複数の第２種デバイスの其々が入射デバイスであり、
前記出射デバイスから出射されたエネルギーが前記入射デバイスに直接入射されること
がない向き及び位置に、前記複数の第１種デバイス及び前記複数の第２種デバイスが前記
基体に配置される、
ことを特徴とする複合入出射装置。
前記複数の第１種デバイスの其々が入射デバイス、かつ前記複数の第２種デバイスの其
々が出射デバイスである、又は前記複数の第１種デバイスの其々が出射デバイス、かつ前
記複数の第２種デバイスの其々が入射デバイスであり、
前記出射デバイスから出射されたエネルギーが前記入射デバイスに直接入射されること
がない向き及び位置に、前記複数の第１種デバイス及び前記複数の第２種デバイスが前記
基体に配置される、
ことを特徴とする複合入出射装置。
【請求項6】
請求項１記載の複合入出射装置において、
前記基体は携帯情報端末である、
ことを特徴とする複合入出射装置。
前記基体は携帯情報端末である、
ことを特徴とする複合入出射装置。
【請求項7】
請求項１に記載の複合入出射装置において、
前記複数の第１種デバイスによって計測された情報から全立体角の情報を合成し、前記
複数の第２種デバイスによって計測された情報から全立体角の情報を合成するプロセッサ
を更に備える、
ことを特徴とする複合入出射装置。
前記複数の第１種デバイスによって計測された情報から全立体角の情報を合成し、前記
複数の第２種デバイスによって計測された情報から全立体角の情報を合成するプロセッサ
を更に備える、
ことを特徴とする複合入出射装置。
【請求項8】
請求項１に記載の複合入出射装置において、
前記第１種デバイス及び前記第２種デバイスの一方は撮像デバイスであり、他方は測距
センサである、
ことを特徴とする複合入出射装置。
前記第１種デバイス及び前記第２種デバイスの一方は撮像デバイスであり、他方は測距
センサである、
ことを特徴とする複合入出射装置。
【請求項9】
請求項８に記載の複合入出射装置において、
前記撮像デバイスが計測した撮像データ、及び前記測距センサが計測した測距データを
用いて、全立体角の画像情報を合成として表示するプロセッサを更に備える、
ことを特徴とする複合入出射装置。
前記撮像デバイスが計測した撮像データ、及び前記測距センサが計測した測距データを
用いて、全立体角の画像情報を合成として表示するプロセッサを更に備える、
ことを特徴とする複合入出射装置。
【請求項10】
請求項９に記載の複合入出射装置において、
前記プロセッサは、前記測距データを全立体角の測距情報として合成する際、前記測距
センサの其々の測定範囲において、より高精度に測定される方位角から得られた測距デー
タを抽出して合成する、
ことを特徴とする複合入出射装置。
前記プロセッサは、前記測距データを全立体角の測距情報として合成する際、前記測距
センサの其々の測定範囲において、より高精度に測定される方位角から得られた測距デー
タを抽出して合成する、
ことを特徴とする複合入出射装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複合入出射装置に関し、特に、複数種類のデバイスを一つの基体に配置する
ための技術に関する。
ための技術に関する。
【背景技術】
【0002】
近年、携帯電話やスマートフォン等の携帯情報端末等の装置では小型化が進むと同時に
様々な付加機能が搭載されており、これにより差別化が行われている。特にカメラ機能が
充実しており、広角レンズを搭載して広範囲の画像や映像を撮影することが可能となって
いる。例えば特許文献１には、「周囲カメラは、正十二面体のような多面体の各構成面上
に１台ずつカメラを搭載してなり、各々のカメラによって全周囲にわたる撮像画像が得ら
れる。隣り合うカメラの撮像画像同士を順次接続していくことで、１枚の全周囲画像が得
られる。但し、各カメラの投影中心が完全に一致するように周囲カメラを組み立てること
はできない。そこで、撮像画像同士を接続するときには、被写体の遠近に応じて、隣接す
る撮像画像同士の接続位置を動的に調整することで、画像間の境界付近での途切れや継ぎ
目をなくし、滑らかな周囲風景を生成する。（要約抜粋）」構成が開示されている。
様々な付加機能が搭載されており、これにより差別化が行われている。特にカメラ機能が
充実しており、広角レンズを搭載して広範囲の画像や映像を撮影することが可能となって
いる。例えば特許文献１には、「周囲カメラは、正十二面体のような多面体の各構成面上
に１台ずつカメラを搭載してなり、各々のカメラによって全周囲にわたる撮像画像が得ら
れる。隣り合うカメラの撮像画像同士を順次接続していくことで、１枚の全周囲画像が得
られる。但し、各カメラの投影中心が完全に一致するように周囲カメラを組み立てること
はできない。そこで、撮像画像同士を接続するときには、被写体の遠近に応じて、隣接す
る撮像画像同士の接続位置を動的に調整することで、画像間の境界付近での途切れや継ぎ
目をなくし、滑らかな周囲風景を生成する。（要約抜粋）」構成が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００１－２０４０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の方法による測距方法は、被写体までの距離を仮定して撮像画像同士の接続
位置を動的に調整し、滑らかに接続された場合の距離をその被写体までの推定距離とする
という間接的なものであるので、得られる距離の確度が十分なものにならない。従って、
撮像機能の他に、被写体までの距離を直接的に測定する測距機能を別に備えた方が望まし
い。特許文献１の周囲カメラで用いられるフレームは、有線接続されて固定的に用いられ
るので比較的大型のフレームを採用することができ、このような場合は、撮像デバイスの
画角を大きくして撮像範囲を重複させ、ステレオ法による測距機能を実装することも可能
である。しかし、携帯情報端末のような小型化が進んだ装置に、全立体角の測距機能と撮
像機能を搭載する場合、測距機能を、撮像デバイスを用いたステレオ法で実現することは
基線長が短くなるために測距精度が向上しないという課題がある。従って、特許文献１に
記載の周囲カメラ技術を小型装置にそのまま転用することには課題が残る。
位置を動的に調整し、滑らかに接続された場合の距離をその被写体までの推定距離とする
という間接的なものであるので、得られる距離の確度が十分なものにならない。従って、
撮像機能の他に、被写体までの距離を直接的に測定する測距機能を別に備えた方が望まし
い。特許文献１の周囲カメラで用いられるフレームは、有線接続されて固定的に用いられ
るので比較的大型のフレームを採用することができ、このような場合は、撮像デバイスの
画角を大きくして撮像範囲を重複させ、ステレオ法による測距機能を実装することも可能
である。しかし、携帯情報端末のような小型化が進んだ装置に、全立体角の測距機能と撮
像機能を搭載する場合、測距機能を、撮像デバイスを用いたステレオ法で実現することは
基線長が短くなるために測距精度が向上しないという課題がある。従って、特許文献１に
記載の周囲カメラ技術を小型装置にそのまま転用することには課題が残る。
【0005】
本発明は上記課題を解決するためになされたものであり、複数種類のデバイスを一つの
基体に効率よく配置した複合入出射装置を提供することを目的とする。
基体に効率よく配置した複合入出射装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は特許請求の範囲に記載の構成を備える。その一例をあげるならば、本発明は、エネルギーを入射又は出射する複数の第１種デバイスと、エネルギーを入射又は出射し、前記第１種デバイスとは種類が異なる複数の第２種デバイスと、前記複数の第１種デバイス及び前記複数の第２種デバイスが配置される基体と、を備え、前記複数の第１種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、前記複数の第２種デバイスのエネルギーの入射又は出射によって計測された情報を合成し、前記複数の第１種デバイス及び前記複数の第２種デバイスは、下記二つの拘束条件の両方を満たして前記基体に配置される；
拘束条件１：前記複数の第１種デバイスの其々は、方位空間において最近接するデバイスが前記第２種デバイスの内の少なくとも一つである、
拘束条件２：前記複数の第２種デバイスの其々が、方位空間において最近接するデバイスは前記第１種デバイスの内の少なくとも一つである、ことを特徴とする。
拘束条件１：前記複数の第１種デバイスの其々は、方位空間において最近接するデバイスが前記第２種デバイスの内の少なくとも一つである、
拘束条件２：前記複数の第２種デバイスの其々が、方位空間において最近接するデバイスは前記第１種デバイスの内の少なくとも一つである、ことを特徴とする。
【発明の効果】
【0007】
本発明によれば、複数種類のデバイスを一つの基体に効率よく配置した複合入出射装置
を提供することができる。上記した以外の目的、構成、効果は以下の実施形態において明
らかにされる。
を提供することができる。上記した以外の目的、構成、効果は以下の実施形態において明
らかにされる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る複合入出射装置１の外観図
【図2】第１実施形態に係る複合入出射装置１の全体ブロック図
【図3A】第１実施形態における第１種デバイス及び第２種デバイスの配置例を示す図
【図3B】第１実施形態における第１種デバイス及び第２種デバイスの配置例を示す図
【図4A】立方体中心から見た面中心（重心）方向の方位グループを用いてデバイスを配置した図
【図4B】頂点方向の方位グループを用いてデバイスを配置した図
【図4C】辺中心方位の方位グループを用いてデバイスを配置した図
【図5A】立方八面体の正方形の面に第１種デバイス、正三角形の面に第２種デバイスを配置した図
【図5B】全てのデバイスの向いている方位を極座標で示す図
【図6】立方体、正八面体、立方八面体に関する各方位グループにおける方位数と必要入出射角度範囲とを示した図
【図7A】直方体（六面体）の携帯情報端末に複合入出射装置を実装した図
【図7B】測距センサを正八面体の各頂点方位グループの方向に配置した図
【図9】全立体角測距データを示す図
【図10A】撮像データの例を示す図
【図10B】測距センサの合成方法例を示す図
【図10C】領域間を接続して整形した例を示す図
【図11A】第２実施形態に係る複合入出射装置の外観図
【図11B】第２実施形態に係る複合入出射装置の表示例を示す図
【図12】第２実施形態に係る複合入出射装置の全体ブロック図
【図13】画像処理プロセッサが実行する全立体角撮影及び測距アルゴリズムを示す図
【図14】全立体角画像に距離情報を付加して表示した例を示す図
【図15】全立体角画像及び全立体角測距データの作成処理の流れを示すフローチャート
【図16】全立体角画像及び全立体角測距データの再生処理の流れを示すフローチャート
【図17A】複合入出射装置１を適用したＨＭＤの例を示す図
【図17B】ＨＭＤにおけるデバイス配置例を示す図
【図18A】ＨＭＤに配置されたデバイスの必要入出射角度範囲を示す図
【図18B】全てのデバイスの向いている方位を極座標で示す図
【発明を実施するための形態】
【0009】
以下、本発明の実施形態を、図面を参照して説明する。全図を通じて同一の構成には同
一の符号を付し、重複説明を省略する。以下の説明では、異種デバイスの組み合わせとし
て、撮像デバイス（第１種デバイスに相当する）と測距センサ（第２種デバイスに相当す
る）を例示するが、これに限定されるものではない。
一の符号を付し、重複説明を省略する。以下の説明では、異種デバイスの組み合わせとし
て、撮像デバイス（第１種デバイスに相当する）と測距センサ（第２種デバイスに相当す
る）を例示するが、これに限定されるものではない。
【0010】
（第１実施形態）
第１実施形態では、デバイスを搭載する基体２（図１参照）の他に、第１種デバイス及
び第２種デバイスの中心方位（入出射範囲の中心方向を向ける方位）を定義する方位定義
多面体５（図３Ａ参照）を考える。ここで、「方位」とは、入出射範囲の中心方向を向け
るべき実空間における向きをいう。また「方位空間」とは、実空間における方位の集合と
して定義される空間である。例えば、極座標系（ｒ、θ、φ）の偏角（θ、φ）で現実空
間の方位は表される。そして、現実空間のベクトルで平行移動して重なるものは同一の方
位を持つ、とする。「基体２」とは実空間内において実際に存在し、第１種デバイス及び
第２種デバイスを搭載する物体である。これに対して「方位定義多面体５」とは、基体２
に搭載される第１種デバイス及び第２種デバイスの中心方位を決定するために導入する概
念上の形状であり、実存する物体ではない。「方位定義多面体５」とは、その幾何学的対
称性から、対称性のよい複数の方位からなる方位グループを「方位空間」の中で定義する
。
第１実施形態では、デバイスを搭載する基体２（図１参照）の他に、第１種デバイス及
び第２種デバイスの中心方位（入出射範囲の中心方向を向ける方位）を定義する方位定義
多面体５（図３Ａ参照）を考える。ここで、「方位」とは、入出射範囲の中心方向を向け
るべき実空間における向きをいう。また「方位空間」とは、実空間における方位の集合と
して定義される空間である。例えば、極座標系（ｒ、θ、φ）の偏角（θ、φ）で現実空
間の方位は表される。そして、現実空間のベクトルで平行移動して重なるものは同一の方
位を持つ、とする。「基体２」とは実空間内において実際に存在し、第１種デバイス及び
第２種デバイスを搭載する物体である。これに対して「方位定義多面体５」とは、基体２
に搭載される第１種デバイス及び第２種デバイスの中心方位を決定するために導入する概
念上の形状であり、実存する物体ではない。「方位定義多面体５」とは、その幾何学的対
称性から、対称性のよい複数の方位からなる方位グループを「方位空間」の中で定義する
。
【0011】
方位グループとは、例えば、「方位定義多面体５」の中心位置から同一形状の面の面中
心に向かう方位のグループである（詳しくは後述する）。「方位定義多面体５」は、第１
対称性と第２対称性との少なくとも二つ以上の方位の対称性を有する形状である。方位定
義多面体５が内包する第１対称性を有する複数の方位のそれぞれに対応する第１種のデバ
イスを、対応する方位をデバイスの中心方位として基体２に配置する。また、方位定義多
面体５が内包する第２対称性を有する複数の方位のそれぞれに対応する第２種のデバイス
を、対応する方位をデバイスの中心方位として基体２に配置する。なお、第１種デバイス
第２種デバイス共に、配置位置は、それぞれのデバイスの入出射範囲に基体２が入らない
ように設定する。但し、基体２が入出射範囲の妨害になったとしても、個々のデバイスの
入出射範囲が十分に広く、それぞれの種類のデバイスの入出射範囲を合わせると全立体角
が覆われる場合は妨害があってもよい。
心に向かう方位のグループである（詳しくは後述する）。「方位定義多面体５」は、第１
対称性と第２対称性との少なくとも二つ以上の方位の対称性を有する形状である。方位定
義多面体５が内包する第１対称性を有する複数の方位のそれぞれに対応する第１種のデバ
イスを、対応する方位をデバイスの中心方位として基体２に配置する。また、方位定義多
面体５が内包する第２対称性を有する複数の方位のそれぞれに対応する第２種のデバイス
を、対応する方位をデバイスの中心方位として基体２に配置する。なお、第１種デバイス
第２種デバイス共に、配置位置は、それぞれのデバイスの入出射範囲に基体２が入らない
ように設定する。但し、基体２が入出射範囲の妨害になったとしても、個々のデバイスの
入出射範囲が十分に広く、それぞれの種類のデバイスの入出射範囲を合わせると全立体角
が覆われる場合は妨害があってもよい。
【0012】
更に、妨害を受ける方位が入出射を必要としていない方位の場合も、その方位に関わる
一部のデバイスの入出射範囲に妨害があってもよい。基体２による妨害が少なくなるデバ
イスの配置は、基体２が方位定義多面体５と同じ形状かそれに近ければ、基体２の中心か
ら見たデバイスの配置方位がデバイスの中心方位に近い場合である。このような配置の場
合、デバイスの中心方位方向が、平均的に基体２の表面の垂直方向に近くためである。ま
た、このような配置にした場合、第１種デバイスと第２種デバイスの中心方位を方位空間
において入れ子状にしているため、基体２上の配置位置についても入れ子状になり、デバ
イスの配置効率がよくなる。基体２の形状が方位定義多面体５の形状と異なる場合は、基
体２の中心から見たデバイスの配置方位がデバイスの中心方位になる位置を基本配置とし
て、基体２の形状と実装上の制約を考慮して、デバイスの中心位置を保ちながら、その基
体２上の配置位置を基本配置から移動させて調整する。この場合も基本配置からの調整で
あるので、デバイスの配置効率はよい。
一部のデバイスの入出射範囲に妨害があってもよい。基体２による妨害が少なくなるデバ
イスの配置は、基体２が方位定義多面体５と同じ形状かそれに近ければ、基体２の中心か
ら見たデバイスの配置方位がデバイスの中心方位に近い場合である。このような配置の場
合、デバイスの中心方位方向が、平均的に基体２の表面の垂直方向に近くためである。ま
た、このような配置にした場合、第１種デバイスと第２種デバイスの中心方位を方位空間
において入れ子状にしているため、基体２上の配置位置についても入れ子状になり、デバ
イスの配置効率がよくなる。基体２の形状が方位定義多面体５の形状と異なる場合は、基
体２の中心から見たデバイスの配置方位がデバイスの中心方位になる位置を基本配置とし
て、基体２の形状と実装上の制約を考慮して、デバイスの中心位置を保ちながら、その基
体２上の配置位置を基本配置から移動させて調整する。この場合も基本配置からの調整で
あるので、デバイスの配置効率はよい。
【0013】
図１は、第１実施形態に係る複合入出射装置１の外観図である。複合入出射装置１は、
携帯情報端末、例えばスマートフォンの本体を基体２とし、方位定義多面体５が内包する
第１対称性を満たす方位を中心方位として、複数の第１種デバイス１、２、・・・、Ｍ（
１１－１，１１－２、・・・、１１－Ｍ）が配置される。更に、方位定義多面体５が内包
する第２対称性を満たす方位を中心方位として、複数の第２種デバイス１、２、・・・、
Ｎ（１１－１，１１－２、・・・、１１－Ｎ）が配置される。各デバイスの基体２上での
配置位置は、基体２の実装上の制約を考慮して決定される。方位定義多面体５、第１対称
性及び第２対称性については後述する。
携帯情報端末、例えばスマートフォンの本体を基体２とし、方位定義多面体５が内包する
第１対称性を満たす方位を中心方位として、複数の第１種デバイス１、２、・・・、Ｍ（
１１－１，１１－２、・・・、１１－Ｍ）が配置される。更に、方位定義多面体５が内包
する第２対称性を満たす方位を中心方位として、複数の第２種デバイス１、２、・・・、
Ｎ（１１－１，１１－２、・・・、１１－Ｎ）が配置される。各デバイスの基体２上での
配置位置は、基体２の実装上の制約を考慮して決定される。方位定義多面体５、第１対称
性及び第２対称性については後述する。
【0014】
基体２の内部にはコントローラ３が備えられる。コントローラ３は、複数の第１種デバ
イス１、２、・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）の其々、及び複数の
第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々と
接続される。コントローラ３は、プロセッサやサーキットを含むコンピュータにより構成
される。第１種デバイスの個数を示すＭ及び第２種デバイスの個数を示すＮは、２以上の
整数である。ＭとＮとが同数であってもよいし、異なる数でもよい。また複数の第１種デ
バイス１、２、・・・、Ｍ（１１－１、１１－２、・・・、１１－Ｍ）をまとめて第１種
デバイス群１１、第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１
１－Ｎ）をまとめて第２種デバイス群１２という。
イス１、２、・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）の其々、及び複数の
第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々と
接続される。コントローラ３は、プロセッサやサーキットを含むコンピュータにより構成
される。第１種デバイスの個数を示すＭ及び第２種デバイスの個数を示すＮは、２以上の
整数である。ＭとＮとが同数であってもよいし、異なる数でもよい。また複数の第１種デ
バイス１、２、・・・、Ｍ（１１－１、１１－２、・・・、１１－Ｍ）をまとめて第１種
デバイス群１１、第２種デバイス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１
１－Ｎ）をまとめて第２種デバイス群１２という。
【0015】
第１種デバイス１、２・・・、Ｍ（１１－１，１１－２、・・・、１１－Ｍ）の其々は
、広角レンズ、ＣＣＤ（Ｃｈａｒｇｅ―Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ或いはＣ
ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ-ｏｘｉｄｅ-ｓｅｍｉｃｏｎｄｕｃｔ
ｏｒ）センサ等で構成される撮像デバイスである。第１種デバイス１、２・・・、Ｍ（１
１－１，１１－２、・・・、１１－Ｍ）の其々は、基体２の適切な位置に適切な方位に向
けて配置されることで、全立体角の撮像をすることが可能である。
、広角レンズ、ＣＣＤ（Ｃｈａｒｇｅ―Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ或いはＣ
ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ-ｏｘｉｄｅ-ｓｅｍｉｃｏｎｄｕｃｔ
ｏｒ）センサ等で構成される撮像デバイスである。第１種デバイス１、２・・・、Ｍ（１
１－１，１１－２、・・・、１１－Ｍ）の其々は、基体２の適切な位置に適切な方位に向
けて配置されることで、全立体角の撮像をすることが可能である。
【0016】
第２種デバイス１、２、・・・Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々は
、例えば人物や物体までの距離を測定するＴＯＦセンサである。第２種デバイス１、２、
・・・Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々は、基体２の適切な位置に適
切な方位に向けて配置されることで、全立体角の物体の距離を測定することが可能である
。
、例えば人物や物体までの距離を測定するＴＯＦセンサである。第２種デバイス１、２、
・・・Ｎ（１１－１，１１－２、・・・、１１－Ｎ）の其々は、基体２の適切な位置に適
切な方位に向けて配置されることで、全立体角の物体の距離を測定することが可能である
。
【0017】
図２は、第１実施形態に係る複合入出射装置１の全体ブロック図である。複合入出射装
置１のコントローラ３は、第１種デバイス群１１を制御する第１種デバイスプロセッサ２
１１、第２種デバイス群１２を制御する第２種デバイスプロセッサ２１２、ＣＰＵ（Ｃｅ
ｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６、ＣＰＵ１６の処理、第１種デバイ
ス群１１の制御、第２種デバイス群１２の制御等を行うためのプログラムや各種設定値を
保持するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、第１種デバイス群１
１から出力された撮像データ及び第２種デバイス群１２から出力された測距データ（以下
、撮像データ及び測距データを総称して「計測データ」という）を一時保存し、実行され
るプログラムのワークエリアを提供するＲＡＭ１４、計測データ、撮像データ、また予め
作成又は撮像された映像データや画像データを保存する外部メモリ１５、及びシステムバ
ス１７を含む。
置１のコントローラ３は、第１種デバイス群１１を制御する第１種デバイスプロセッサ２
１１、第２種デバイス群１２を制御する第２種デバイスプロセッサ２１２、ＣＰＵ（Ｃｅ
ｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６、ＣＰＵ１６の処理、第１種デバイ
ス群１１の制御、第２種デバイス群１２の制御等を行うためのプログラムや各種設定値を
保持するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、第１種デバイス群１
１から出力された撮像データ及び第２種デバイス群１２から出力された測距データ（以下
、撮像データ及び測距データを総称して「計測データ」という）を一時保存し、実行され
るプログラムのワークエリアを提供するＲＡＭ１４、計測データ、撮像データ、また予め
作成又は撮像された映像データや画像データを保存する外部メモリ１５、及びシステムバ
ス１７を含む。
【0018】
図３Ａは、第１実施形態に係る第１種デバイス１、２・・・、Ｍ（１１－１，１１－２
、・・・、１１－Ｍ）の其々、及び第２種デバイス１、２、・・・Ｎ（１１－１，１１－
２、・・・、１１－Ｎ）の其々の方位定義多面体５に基づいた配置例を示す。
、・・・、１１－Ｍ）の其々、及び第２種デバイス１、２、・・・Ｎ（１１－１，１１－
２、・・・、１１－Ｎ）の其々の方位定義多面体５に基づいた配置例を示す。
【0019】
方位定義多面体５として、正多面体、半正多面体、又はカタランの立体（半正多面体の
双対多面体）を用いる。図３Ａでは、方位定義多面体５の形状は立方八面体である。
双対多面体）を用いる。図３Ａでは、方位定義多面体５の形状は立方八面体である。
【0020】
第１種デバイス群１１、第２種デバイス群１２のそれぞれは、方位定義多面体５が内包
する対称性を用いて配置される。具体的には、方位定義多面体５の中心を基準点とし、中
心から面中心（重心でもよい）を見た方位からなる方位グループを第１対称性、中心から
辺中心を見た方位からなる方位グループを第２対称性、中心から頂点をみた方位からなる
方位グループを第３対称性と定義する。対称性の良い同一の方位定義多面体５が内包する
方位グループの方位を中心方位として、第１種デバイス１、２、・・・、Ｍ（１１－１，
１１－２、・・・、１１－Ｍ）、第２種デバイス１、２、・・・、Ｎ（１１－１，１１－
２、・・・、１１－Ｎ）の其々を配置すれば、相互に干渉することなく、方位空間におい
て入れ子状に効率よく、全立体角をカバーすることができる。例えば、面中心方位（第１
対称性）を中心方位として第１種デバイス１、２、・・・、Ｍ（１１－１，１１－２、・
・・、１１－Ｍ）を配置し、頂点中心方位（第３対称性）を中心方位として第２種デバイ
ス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）を配置する。なお、方
位グループの数だけ異種デバイスを配置できるので、デバイスの種類は３種類以上であっ
てもよい。
する対称性を用いて配置される。具体的には、方位定義多面体５の中心を基準点とし、中
心から面中心（重心でもよい）を見た方位からなる方位グループを第１対称性、中心から
辺中心を見た方位からなる方位グループを第２対称性、中心から頂点をみた方位からなる
方位グループを第３対称性と定義する。対称性の良い同一の方位定義多面体５が内包する
方位グループの方位を中心方位として、第１種デバイス１、２、・・・、Ｍ（１１－１，
１１－２、・・・、１１－Ｍ）、第２種デバイス１、２、・・・、Ｎ（１１－１，１１－
２、・・・、１１－Ｎ）の其々を配置すれば、相互に干渉することなく、方位空間におい
て入れ子状に効率よく、全立体角をカバーすることができる。例えば、面中心方位（第１
対称性）を中心方位として第１種デバイス１、２、・・・、Ｍ（１１－１，１１－２、・
・・、１１－Ｍ）を配置し、頂点中心方位（第３対称性）を中心方位として第２種デバイ
ス１、２、・・・、Ｎ（１１－１，１１－２、・・・、１１－Ｎ）を配置する。なお、方
位グループの数だけ異種デバイスを配置できるので、デバイスの種類は３種類以上であっ
てもよい。
【0021】
また、例えば魚眼レンズ等の超広角レンズを使った撮像デバイスは、１つの撮像デバイ
スのみで１８０度以上の画角を有する場合などは敢えて方位グループ内の全ての方位を使
用してデバイスを配置する必要はない。但し、この場合も、異種デバイスと組み合わせる
場合は、異種デバイスを配置する方位グループと入れ子状となる方位グループの一部に撮
像デバイスを配置する。これにより、全体的に対称性のよい効率的なデバイス配置とする
ことができ、また干渉も少なくすることができる。この場合、数の少ないデバイス近傍に
ついてのみ方位空間において入れ子状の配置となる。この状況では、偏りのない入れ子状
の配置であることは、取り付け誤差も考慮し、数の少ない方のデバイスの第１近接デバイ
スと第２近接デバイスが異種デバイスになっていると表現できる。
スのみで１８０度以上の画角を有する場合などは敢えて方位グループ内の全ての方位を使
用してデバイスを配置する必要はない。但し、この場合も、異種デバイスと組み合わせる
場合は、異種デバイスを配置する方位グループと入れ子状となる方位グループの一部に撮
像デバイスを配置する。これにより、全体的に対称性のよい効率的なデバイス配置とする
ことができ、また干渉も少なくすることができる。この場合、数の少ないデバイス近傍に
ついてのみ方位空間において入れ子状の配置となる。この状況では、偏りのない入れ子状
の配置であることは、取り付け誤差も考慮し、数の少ない方のデバイスの第１近接デバイ
スと第２近接デバイスが異種デバイスになっていると表現できる。
【0022】
図３Ａは、基体２が方位定義多面体５に等しい場合のデバイス配置の例でもある。図３
Ａでは、立方八面体中心から四角形の面中心に向かう方位を中心方位として、６か所に６
個の第１種デバイス１１－１、１１－２、１１－３（図では残り３つは省略する）の其々
が配置される。図示を省略した残りの３個については反対側の見えない位置の正方形の面
に配置されている。
Ａでは、立方八面体中心から四角形の面中心に向かう方位を中心方位として、６か所に６
個の第１種デバイス１１－１、１１－２、１１－３（図では残り３つは省略する）の其々
が配置される。図示を省略した残りの３個については反対側の見えない位置の正方形の面
に配置されている。
【0023】
更に立方八面体中心から三角形の面中心に向かう方位を中心方位として、８か所に８個
の第２種デバイス１２－１、１２－２、１２－３、１２－４（図では残り４つは省略する
）の其々が配置される。図示を省略した残りの４個については反対側の見えない位置の正
三角形の面に配置されている。
の第２種デバイス１２－１、１２－２、１２－３、１２－４（図では残り４つは省略する
）の其々が配置される。図示を省略した残りの４個については反対側の見えない位置の正
三角形の面に配置されている。
【0024】
第１種デバイス１１－１、１１－２、１１－３の撮像範囲、第２種デバイス１２－１、
１２－２、１２－３、１２－４の測距範囲はそれぞれ、個々のデバイスの入出射角度範囲
を合成して、全立体角を覆う。一つの第１種デバイスから見ると、方位空間における最近
接デバイスは第２種デバイスであり、一つの第２種デバイスから見ると、方位空間におけ
る最近接デバイスは第１種デバイスである。
１２－２、１２－３、１２－４の測距範囲はそれぞれ、個々のデバイスの入出射角度範囲
を合成して、全立体角を覆う。一つの第１種デバイスから見ると、方位空間における最近
接デバイスは第２種デバイスであり、一つの第２種デバイスから見ると、方位空間におけ
る最近接デバイスは第１種デバイスである。
【0025】
個々のデバイスの入出射角度範囲が、必要最低限の値よりも大きい場合は、厳密に方位
定義多面体５に内包される対称方位に合っている必要はなく、全立体角を覆う範囲でデバ
イスの取り付け方位には許容度がある。
定義多面体５に内包される対称方位に合っている必要はなく、全立体角を覆う範囲でデバ
イスの取り付け方位には許容度がある。
【0026】
例えば、第１種デバイスとして、広角レンズ付きのＣＣＤやＣＭＯＳと組み合わせた撮
像デバイスを複数個配置して全立体角の撮影を可能にする。第２種デバイスとしての測距
センサとしては例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサを複数個配置し、
全立体角を測距する。ＴＯＦセンサを用いて撮像素子側から光を照射し、対象物に反射し
て戻ってくるまでの時間的なずれを画素ごとに計測し、距離を測定することで、二次元配
列のセンサー（ＣＭＯＳやＣＣＤ）と併用すると、被写体との距離を二次元的に把握でき
る。
像デバイスを複数個配置して全立体角の撮影を可能にする。第２種デバイスとしての測距
センサとしては例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサを複数個配置し、
全立体角を測距する。ＴＯＦセンサを用いて撮像素子側から光を照射し、対象物に反射し
て戻ってくるまでの時間的なずれを画素ごとに計測し、距離を測定することで、二次元配
列のセンサー（ＣＭＯＳやＣＣＤ）と併用すると、被写体との距離を二次元的に把握でき
る。
【0027】
但し、二次元的に把握できるが、そのためにはＴＯＦセンサを二次元的に基体２に配置
する必要がある。たとえ広角レンズを搭載するにしても、広画角のものでも１２０～１４
０度程度である。但し、画素の大きさは１０μｍ程度であるため、センサそのものの大き
さは数ミリ角に抑えることが可能になる。このため、基体２に複数個搭載することも可能
になる。従って、ＴＯＦセンサの数と配置位置、角度を適切に行えば、全立体角の測距は
容易である。
する必要がある。たとえ広角レンズを搭載するにしても、広画角のものでも１２０～１４
０度程度である。但し、画素の大きさは１０μｍ程度であるため、センサそのものの大き
さは数ミリ角に抑えることが可能になる。このため、基体２に複数個搭載することも可能
になる。従って、ＴＯＦセンサの数と配置位置、角度を適切に行えば、全立体角の測距は
容易である。
【0028】
デバイスの配置は、デバイスが向いている方位さえ同じであれば、基体２（今の場合は
方位定義多面体５に同じ）の特定の位置（面中心位置、辺中心位置、頂点位置）でなくて
もよい。
方位定義多面体５に同じ）の特定の位置（面中心位置、辺中心位置、頂点位置）でなくて
もよい。
【0029】
更に、基体２の形状は、方位定義多面体５の形状と異なっていてもよい。その場合、デ
バイスの向く方向は、方位定義多面体５に内包される方位グループの方位である。例えば
、図３Ａにおいて、立方八面体の撮像デバイスと測距センサをデバイスの向く方位は変え
ずに直方体を基体２として、直方体の面中心位置と頂点位置に配置してもよい。この例を
図３Ｂに示す。
バイスの向く方向は、方位定義多面体５に内包される方位グループの方位である。例えば
、図３Ａにおいて、立方八面体の撮像デバイスと測距センサをデバイスの向く方位は変え
ずに直方体を基体２として、直方体の面中心位置と頂点位置に配置してもよい。この例を
図３Ｂに示す。
【0030】
図３Ｂでは、直方体に第１種デバイスとしての撮像デバイスが各直方体の面に、第２種
デバイスとしての測距センサが各直方体の頂点に配置される。この場合、撮像デバイスが
向いている方位は、直方体中心から面中心に向かう方位と同一になるが、測距センサが向
いている方位は、直方体中心から頂点に向かう方位とは異なる。あくまでも図３Ａの立方
八面体の正三角形の面が向く方位となる。この図３Ｂは、基体２の形状がスマートフォン
やタブレット端末の形状（直方体）と同じなので、実際に携帯可能な複合入出射装置１と
して使用することも可能である。なお、上記「撮像デバイスが向いている方位」とは、撮
像デバイスの画角中心線の方位であり、「測距センサが向いている方位」とは、測距セン
サのスキャン範囲の中心線の方位である。
デバイスとしての測距センサが各直方体の頂点に配置される。この場合、撮像デバイスが
向いている方位は、直方体中心から面中心に向かう方位と同一になるが、測距センサが向
いている方位は、直方体中心から頂点に向かう方位とは異なる。あくまでも図３Ａの立方
八面体の正三角形の面が向く方位となる。この図３Ｂは、基体２の形状がスマートフォン
やタブレット端末の形状（直方体）と同じなので、実際に携帯可能な複合入出射装置１と
して使用することも可能である。なお、上記「撮像デバイスが向いている方位」とは、撮
像デバイスの画角中心線の方位であり、「測距センサが向いている方位」とは、測距セン
サのスキャン範囲の中心線の方位である。
【0031】
図４Ａ、図４Ｂ、図４Ｃは、上述した各デバイスを正多面体、半正多面体とカタランの
立体に其々内包される対称性を用いて配置した例を示す図である。ここでの例示は、基体
２の形状と方位定義多面体５の形状とが同じ場合である。図４Ａは、立方体中心から見た
面中心（重心）方向の方位グループを用いてデバイスを配置した図を示す。図４Ｂは、頂
点方向の方位グループを用いてデバイスを配置した図を示す。図４Ｃは、辺中心方位の方
位グループを用いてデバイスを配置した図である。
立体に其々内包される対称性を用いて配置した例を示す図である。ここでの例示は、基体
２の形状と方位定義多面体５の形状とが同じ場合である。図４Ａは、立方体中心から見た
面中心（重心）方向の方位グループを用いてデバイスを配置した図を示す。図４Ｂは、頂
点方向の方位グループを用いてデバイスを配置した図を示す。図４Ｃは、辺中心方位の方
位グループを用いてデバイスを配置した図である。
【0032】
同じ立方体でも各方位グループにより搭載するデバイス数は異なる。どの方位グループ
を採用するかは搭載するデバイスの入出射角度により決めればよい。これに関しては下記
に述べる。
を採用するかは搭載するデバイスの入出射角度により決めればよい。これに関しては下記
に述べる。
【0033】
【0034】
図５Ａは、立方八面体の正方形の面に第１種デバイス（１１－１）（１１－２）（１１
－３）が配置されており（裏側図示省略）、正三角形の面に第２種デバイス（１２－１）
（１２－２）（１２－３）（１２－４）が配置されている（裏側図示省略）。ここでの例
示も、基体２と方位定義多面体５が同じ場合である。正方形の面に搭載された第１種デバ
イスが全立体角を覆うため（全立体角を計測するため）には第１種デバイスのグループ内
での最近接のサブグループの方位ベクトルで構成される角錐内の方位範囲を入出射角度範
囲が覆えばよい。即ち、図５ＡのＸ軸、Ｙ軸、Ｚ軸で構成される三角錐内の方位範囲（こ
れが第１種デバイスの計測範囲の一単位となる）が余裕（隣接する第１種デバイスの入出
射角度範囲との重複領域）を含めて第１種デバイスの入出射角度範囲で覆われることが必
要となる。
－３）が配置されており（裏側図示省略）、正三角形の面に第２種デバイス（１２－１）
（１２－２）（１２－３）（１２－４）が配置されている（裏側図示省略）。ここでの例
示も、基体２と方位定義多面体５が同じ場合である。正方形の面に搭載された第１種デバ
イスが全立体角を覆うため（全立体角を計測するため）には第１種デバイスのグループ内
での最近接のサブグループの方位ベクトルで構成される角錐内の方位範囲を入出射角度範
囲が覆えばよい。即ち、図５ＡのＸ軸、Ｙ軸、Ｚ軸で構成される三角錐内の方位範囲（こ
れが第１種デバイスの計測範囲の一単位となる）が余裕（隣接する第１種デバイスの入出
射角度範囲との重複領域）を含めて第１種デバイスの入出射角度範囲で覆われることが必
要となる。
【0035】
図５Ｂは、全てのデバイスの向いている方位を、極座標の偏角で示す。第１種デバイス
（１１－１）の方位はθ＝０度の方位なので、図５Ｂにおいては図５Ａの円が帯として表
記される。必要入出射角度範囲を図５Ｂで示すと、第１種デバイスの１つのデバイス（例
えば第１種デバイス１１－２）の入出射角度範囲が、角錐頂角の中心軸方向まで覆えばい
いことになる。この場合、「中心軸方向」とは、図５Ａの第２種デバイス（１２－１）の
方向になる。即ち図５ＡのＶ方向になる。これは図５Ｂで示すところのαの値となる。即
ち、必要入出射角度範囲は、第１種デバイスの方向と角錐頂角の中心軸方向がなす角αの
２倍になる。
（１１－１）の方位はθ＝０度の方位なので、図５Ｂにおいては図５Ａの円が帯として表
記される。必要入出射角度範囲を図５Ｂで示すと、第１種デバイスの１つのデバイス（例
えば第１種デバイス１１－２）の入出射角度範囲が、角錐頂角の中心軸方向まで覆えばい
いことになる。この場合、「中心軸方向」とは、図５Ａの第２種デバイス（１２－１）の
方向になる。即ち図５ＡのＶ方向になる。これは図５Ｂで示すところのαの値となる。即
ち、必要入出射角度範囲は、第１種デバイスの方向と角錐頂角の中心軸方向がなす角αの
２倍になる。
【0036】
図５Ｂでは第１種デバイス１１－２の周りに破線で示した領域の範囲である。この場合
、αは５４．７°になるので、必要入出射角度は２倍の１０９．５°になる。この例を踏
まえて正四面体、立方体、正八面体、立方八面体に関する各方位グループにおける方位数
（搭載デバイス数としてもよい）と必要入出射角度範囲を示したのが図６である。ここで
、立方八面体の面中心方位グループのように、面や辺や頂点の種類により、方位グループ
が更に細かく分かれる場合もある。これはあくまでも一例であり、他の多面体の場合でも
同様の考え方で必要入出射角度範囲を求めることができる。上記では第１種デバイスに関
しての記述であるが、当然第２種デバイスに関しても同様の考え方で必要入出射角度範囲
を決めることができる。
、αは５４．７°になるので、必要入出射角度は２倍の１０９．５°になる。この例を踏
まえて正四面体、立方体、正八面体、立方八面体に関する各方位グループにおける方位数
（搭載デバイス数としてもよい）と必要入出射角度範囲を示したのが図６である。ここで
、立方八面体の面中心方位グループのように、面や辺や頂点の種類により、方位グループ
が更に細かく分かれる場合もある。これはあくまでも一例であり、他の多面体の場合でも
同様の考え方で必要入出射角度範囲を求めることができる。上記では第１種デバイスに関
しての記述であるが、当然第２種デバイスに関しても同様の考え方で必要入出射角度範囲
を決めることができる。
【0037】
上記必要入出射角度であれば、測距センサとしてＴＯＦセンサを用いた場合、隣接する
ＴＯＦセンサとの間で測定範囲が重なることになるが、これに関しては互いにデータの補
完をすることで精度の高い計測が可能になる。
ＴＯＦセンサとの間で測定範囲が重なることになるが、これに関しては互いにデータの補
完をすることで精度の高い計測が可能になる。
【0038】
即ち、ＴＯＦセンサでは画角の周辺部分より、中心に近い方のデータのほうが測定精度
は高くなるので、隣接のＴＯＦセンサのデータを比べて、画角の中心部分に近いほうの測
距データを使うことでより精度の高い全立体角距離測定を可能にする。図６に示す必要入
出射角度は多面体の各方位グループにＴＯＦセンサを配置した時にそのＴＯＦセンサに求
められる必要画角を示したものになる。例えば正六面体では各頂点にＴＯＦセンサを配置
すると必要デバイス数は８個になるが、各ＴＯＦセンサの画角は１０９．５度有れば８個
で全立体角の測距が可能になる。同様に、立方八面体では各頂点に配置するとすれば１２
個のＴＯＦセンサが必要になるが、必要画角は９０度となり、少ない画角のＴＯＦセンサ
でも全立体角の距離を測定することができる。最隣接の同種デバイス同士で画角の重なり
がある場合は、上述通り、隣接のデバイスの計測データを補完することでより高精度の測
定や画像を得ることができる。上記は測距センサとしてのＴＯＦセンサの記述であるが、
同様に例えば撮像デバイスに関しても隣接の重なりがある場合は、画角の中心に近い画像
のほうが歪みは少ないので、画角の中心に近い方の画像を選択するとよい。このように、
デバイスの入出射角度範囲は搭載デバイス数を決める重要な要素である。
は高くなるので、隣接のＴＯＦセンサのデータを比べて、画角の中心部分に近いほうの測
距データを使うことでより精度の高い全立体角距離測定を可能にする。図６に示す必要入
出射角度は多面体の各方位グループにＴＯＦセンサを配置した時にそのＴＯＦセンサに求
められる必要画角を示したものになる。例えば正六面体では各頂点にＴＯＦセンサを配置
すると必要デバイス数は８個になるが、各ＴＯＦセンサの画角は１０９．５度有れば８個
で全立体角の測距が可能になる。同様に、立方八面体では各頂点に配置するとすれば１２
個のＴＯＦセンサが必要になるが、必要画角は９０度となり、少ない画角のＴＯＦセンサ
でも全立体角の距離を測定することができる。最隣接の同種デバイス同士で画角の重なり
がある場合は、上述通り、隣接のデバイスの計測データを補完することでより高精度の測
定や画像を得ることができる。上記は測距センサとしてのＴＯＦセンサの記述であるが、
同様に例えば撮像デバイスに関しても隣接の重なりがある場合は、画角の中心に近い画像
のほうが歪みは少ないので、画角の中心に近い方の画像を選択するとよい。このように、
デバイスの入出射角度範囲は搭載デバイス数を決める重要な要素である。
【0039】
図６は各種多面体の方位グループとその方位数、必要入出射角度範囲を纏めた表である
。図６では多面体の数を主なものとして正四面体、立方体、正八面体、立方八面体の場合
を記載しているが、これに限ることは無く、他の正多面体、半正多面体とカタランの立体
等、色々な多面体においても同様の考え方で必要入出射角度範囲が求められ、デバイスの
搭載数も決めることができる。
。図６では多面体の数を主なものとして正四面体、立方体、正八面体、立方八面体の場合
を記載しているが、これに限ることは無く、他の正多面体、半正多面体とカタランの立体
等、色々な多面体においても同様の考え方で必要入出射角度範囲が求められ、デバイスの
搭載数も決めることができる。
【0040】
即ち、本実施形態は、測定範囲が小立体角の測距センサによる全立体角測距とカメラに
よる全立体角撮像の組み合わせに関し、全立体角を効率よくカバーするために、測距系、
撮像系共に対称性のよい方向の組み合わせを選ぶ事を特徴としている。その点に鑑み、方
位定義多面体５としての正多面体、半正多面体とカタランの立体に内包される対称性を用
いている。具体的には、各種正多面体や、半正多面体とカタランの立体の中心から見た、
種類毎の、面中心（重心）方位、辺中心方位、頂点方位の方位グループを用い、同一の各
種正多面体（或いは半正多面体やカタラン多面体）に内包される方位グループの方位に、
測距センサ、撮像デバイスを配置すれば、相互に干渉することなく、入れ子状に効率よく
、全立体角をカバーすることができる。
よる全立体角撮像の組み合わせに関し、全立体角を効率よくカバーするために、測距系、
撮像系共に対称性のよい方向の組み合わせを選ぶ事を特徴としている。その点に鑑み、方
位定義多面体５としての正多面体、半正多面体とカタランの立体に内包される対称性を用
いている。具体的には、各種正多面体や、半正多面体とカタランの立体の中心から見た、
種類毎の、面中心（重心）方位、辺中心方位、頂点方位の方位グループを用い、同一の各
種正多面体（或いは半正多面体やカタラン多面体）に内包される方位グループの方位に、
測距センサ、撮像デバイスを配置すれば、相互に干渉することなく、入れ子状に効率よく
、全立体角をカバーすることができる。
【0041】
なお、１８０度以上の画角の広角レンズを持つ撮像デバイスであれば、相対する２方向
にデバイスを配置すれば全立体角の撮像は可能になる。この場合は、方位グループの全て
の方位にデバイスを配置しなくてもよい。但しこの場合も、異種デバイスと組み合わせる
場合は、異種デバイスを配置する方位グループと入れ子状となる方位グループの一部に撮
像デバイスを配置することにより、全体的に対称性のよい効率的なデバイス配置とするこ
とができ、また異種デバイス間の干渉も少なくすることができる。
にデバイスを配置すれば全立体角の撮像は可能になる。この場合は、方位グループの全て
の方位にデバイスを配置しなくてもよい。但しこの場合も、異種デバイスと組み合わせる
場合は、異種デバイスを配置する方位グループと入れ子状となる方位グループの一部に撮
像デバイスを配置することにより、全体的に対称性のよい効率的なデバイス配置とするこ
とができ、また異種デバイス間の干渉も少なくすることができる。
【0042】
更に、後述するが、変形例として、各デバイスの中心を通る軸線は方向を変えなければ
、１点に集まっている必要性はない。これにより、配置の自由度が増す。また、別の変形
例として、デバイスの縦横でカバーする入出射角度が異なる場合は、菱形多面体の面中心
方位を用いても配置効率がよい。
、１点に集まっている必要性はない。これにより、配置の自由度が増す。また、別の変形
例として、デバイスの縦横でカバーする入出射角度が異なる場合は、菱形多面体の面中心
方位を用いても配置効率がよい。
【0043】
【0044】
図７Ａは、概直方体（六面体）の携帯情報端末に複合入出射装置１を実装した例である
。概直方体が基体２である。そして例えば正八面体を方位定義多面体５として、その方位
グループを使用して、測距センサと撮像デバイスを配置する。測距センサの中心方位とし
て面中心方位の方位グループを採用した場合には８個の測距センサを配置する必要がある
。しかしながら、携帯情報端末は六面体なので８個の測距センサを各面に搭載することは
できない。これを解決するために、８個の測距センサを図７Ａに示すとおり、例えば、上
面に４、底面に４を辺部分に、正八面体の面中心方位グループの方位に向けて配置する。
。概直方体が基体２である。そして例えば正八面体を方位定義多面体５として、その方位
グループを使用して、測距センサと撮像デバイスを配置する。測距センサの中心方位とし
て面中心方位の方位グループを採用した場合には８個の測距センサを配置する必要がある
。しかしながら、携帯情報端末は六面体なので８個の測距センサを各面に搭載することは
できない。これを解決するために、８個の測距センサを図７Ａに示すとおり、例えば、上
面に４、底面に４を辺部分に、正八面体の面中心方位グループの方位に向けて配置する。
【0045】
また、携帯情報端末の辺に測距センサを配置する場合は、各辺に溝を作り（又は面取り
を行い）、そこに搭載してもよい。このときの測距センサの画角は、図６の正八面体方位
グループの面中心方位の値１０９．５度以上有ればよい。上記は携帯情報端末の各辺に溝
を作って測距センサを配置する方法についての記述であるが、これに限ることは無く、測
距センサの中心方位が上述の方位に配置できるのならば、方法は問わない。
を行い）、そこに搭載してもよい。このときの測距センサの画角は、図６の正八面体方位
グループの面中心方位の値１０９．５度以上有ればよい。上記は携帯情報端末の各辺に溝
を作って測距センサを配置する方法についての記述であるが、これに限ることは無く、測
距センサの中心方位が上述の方位に配置できるのならば、方法は問わない。
【0046】
一方、撮影デバイス１１０、１１１は正八面体の辺中心方位グループ方向に配置する。
ここでは、撮像デバイスの画角が１８０度以上あるとして、辺中心方位グループの中から
対向する二方位を選択し、携帯情報端末の六面体の対称位置にある２つの面に搭載するこ
とで、全立体角を撮影することが可能になる。
ここでは、撮像デバイスの画角が１８０度以上あるとして、辺中心方位グループの中から
対向する二方位を選択し、携帯情報端末の六面体の対称位置にある２つの面に搭載するこ
とで、全立体角を撮影することが可能になる。
【0047】
図７Ｂは、測距センサを方位定義多面体５としての正八面体の各頂点方位グループの方
位を中心方位として配置する例を示す。この場合、上面に３、底面に３を配置する。具体
的には、携帯情報端末の頂点を斜めに切り落とし、上述の方位グループの方位に向くよう
に搭載してもよい。この場合にも、測距センサの画角は１０９．５度以上あればよい。
位を中心方位として配置する例を示す。この場合、上面に３、底面に３を配置する。具体
的には、携帯情報端末の頂点を斜めに切り落とし、上述の方位グループの方位に向くよう
に搭載してもよい。この場合にも、測距センサの画角は１０９．５度以上あればよい。
【0048】
一方、撮影デバイス１１０、１１１は正八面体の面中心方位グループ方位を中心方位と
して配置する。ここでは、撮像デバイスの画角が１８０度以上あるとして、面中心方位グ
ループの中から対向する二方位を選択し、携帯情報端末の六面体の対称位置にある２つの
面に搭載することで、全立体角を撮影することが可能になる。この例では、面中心方位グ
ループの全ての方位に撮像デバイスを配置していないが、全ての測距センサの方位空間に
おける最近接デバイスは撮像デバイスとなっている。
して配置する。ここでは、撮像デバイスの画角が１８０度以上あるとして、面中心方位グ
ループの中から対向する二方位を選択し、携帯情報端末の六面体の対称位置にある２つの
面に搭載することで、全立体角を撮影することが可能になる。この例では、面中心方位グ
ループの全ての方位に撮像デバイスを配置していないが、全ての測距センサの方位空間に
おける最近接デバイスは撮像デバイスとなっている。
【0049】
この様に、方位定義多面体５としての同一の正多面体、半正多面体とカタランの立体が
内包する方位グループの方位を中心方位として基体２に撮像デバイスと測距センサを効率
よく配置し、全立体角の測距と撮影を行うことが可能となる。
内包する方位グループの方位を中心方位として基体２に撮像デバイスと測距センサを効率
よく配置し、全立体角の測距と撮影を行うことが可能となる。
【0050】
また、夜間や暗いところでの撮影を考慮し、全立体角用の照明を搭載したいこともある
が、これに関しても照明を出射デバイスとして同様の考え方で複数搭載すればよい。この
場合、撮像デバイスの中心方位と照明デバイスの中心方位が方位空間において入れ子状に
配置されることにより、照明デバイスから撮像デバイスへの直接的な干渉が減る、という
効果がある。
が、これに関しても照明を出射デバイスとして同様の考え方で複数搭載すればよい。この
場合、撮像デバイスの中心方位と照明デバイスの中心方位が方位空間において入れ子状に
配置されることにより、照明デバイスから撮像デバイスへの直接的な干渉が減る、という
効果がある。
【0051】
【0052】
各測距センサ１２－１、１２－２、１２－３、１２－４はそれぞれ測定範囲を含む。各
測定範囲は、周辺部分はより測距に対する誤差は大きくなる。これは例えばＴＯＦセンサ
のような場合、測定系に光学系のレンズを使っているため、カメラセンサにおける画角の
ように、周辺部になるほど歪が大きくなることによる。従って、図８に示すように、中心
部に比べ、周辺部の方が測定精度は悪くなる。
測定範囲は、周辺部分はより測距に対する誤差は大きくなる。これは例えばＴＯＦセンサ
のような場合、測定系に光学系のレンズを使っているため、カメラセンサにおける画角の
ように、周辺部になるほど歪が大きくなることによる。従って、図８に示すように、中心
部に比べ、周辺部の方が測定精度は悪くなる。
【0053】
このため、周辺部はできるだけ使わないほうがよい。そこで、複数の測距センサ１２－
１、１２－２、１２－３、１２－４の其々の測定範囲が方位空間において隣接する測距セ
ンサの測定範囲に重なり合うような位置に配置し、より測定精度のよい部分を優先的に使
うことで、全立体角測距を行っても精度のよい測定が可能になる。この選択は例えば予め
設計時に隣接する測距センサの位置関係は分かるので、個々の測距センサの距離計測担当
範囲を決めておけばよい。図７Ａで示す残りの測距センサ１２－５～１２－８迄の測距セ
ンサについても同様に行い、全立体角の測距を高精度に仕上げることができる。
１、１２－２、１２－３、１２－４の其々の測定範囲が方位空間において隣接する測距セ
ンサの測定範囲に重なり合うような位置に配置し、より測定精度のよい部分を優先的に使
うことで、全立体角測距を行っても精度のよい測定が可能になる。この選択は例えば予め
設計時に隣接する測距センサの位置関係は分かるので、個々の測距センサの距離計測担当
範囲を決めておけばよい。図７Ａで示す残りの測距センサ１２－５～１２－８迄の測距セ
ンサについても同様に行い、全立体角の測距を高精度に仕上げることができる。
【0054】
図９は、複数の測距データを一つの測距データに合成した例を示す。図９では、距離情
報がパターン３種類で表現されているがこれに限ることは無く、実際は更に細かな濃淡で
正確に距離が算出されるし、色分けしても良い。
報がパターン３種類で表現されているがこれに限ることは無く、実際は更に細かな濃淡で
正確に距離が算出されるし、色分けしても良い。
【0055】
ＣＰＵ１６は、各測距センサ１２－１～１２－４の其々から測距データを読込み、これ
らを合成及びトリミングして、全立体角測距データ８００を生成してもよい。測距データ
の合成処理は、各測距センサの測距データのみを用いて行っても良いし、複数の撮像デバ
イスからの撮像データを用いて測距データを補完し、測距データの合成処理を行ってもよ
い。この詳細は後述する。
らを合成及びトリミングして、全立体角測距データ８００を生成してもよい。測距データ
の合成処理は、各測距センサの測距データのみを用いて行っても良いし、複数の撮像デバ
イスからの撮像データを用いて測距データを補完し、測距データの合成処理を行ってもよ
い。この詳細は後述する。
【0056】
測距データを合成する際に、測定範囲の接続部で測距データにずれが生じることがある
。これは、各測距センサに入射する光の幾何学的な集光点が必ずしも一致しないため、測
定対象の距離により、それぞれの測距センサがカバーする方位範囲の領域がずれてくるた
めである。このような場合のデータの補正方法について図１０を用いて説明する。
。これは、各測距センサに入射する光の幾何学的な集光点が必ずしも一致しないため、測
定対象の距離により、それぞれの測距センサがカバーする方位範囲の領域がずれてくるた
めである。このような場合のデータの補正方法について図１０を用いて説明する。
【0057】
図１０Ａで示す撮像データは例えば図２の撮像デバイス１１－１を例にしたものである
。図１０Ｂは上述の撮像データの範囲を測距する測距センサ１２－１と１２－２の２つの
データの合成方法について記載したものである。実際は撮像デバイス１１－１の近接デバ
イスは４個の測距センサが配置されているので、４個のデータの合成になるが、説明を簡
単にするために、近接２つの測距センサに関して説明する。また、２つの測距センサ１２
－１、１２－２の測定範囲は撮像デバイス１１－１の撮像範囲以外の部分も存在している
が、この説明では撮像デバイス１１－１の撮像範囲内の測定についての説明になっている
。測距センサ１２－１、１２－２が幾何学的に正確な位置、角度、方向に配置していると
仮定すれば補正は周辺部の歪のみとなる。この場合には測距データの合成は図８で示した
ように測定範囲とその位置関係より精度の高いほうのデータを使って合成すればよい。
。図１０Ｂは上述の撮像データの範囲を測距する測距センサ１２－１と１２－２の２つの
データの合成方法について記載したものである。実際は撮像デバイス１１－１の近接デバ
イスは４個の測距センサが配置されているので、４個のデータの合成になるが、説明を簡
単にするために、近接２つの測距センサに関して説明する。また、２つの測距センサ１２
－１、１２－２の測定範囲は撮像デバイス１１－１の撮像範囲以外の部分も存在している
が、この説明では撮像デバイス１１－１の撮像範囲内の測定についての説明になっている
。測距センサ１２－１、１２－２が幾何学的に正確な位置、角度、方向に配置していると
仮定すれば補正は周辺部の歪のみとなる。この場合には測距データの合成は図８で示した
ように測定範囲とその位置関係より精度の高いほうのデータを使って合成すればよい。
【0058】
しかしながら、実際の製品では測距センサは幾何学的な位置からずれた状態で配置され
る。即ち、各デバイスの「集光点」（入射信号が幾何学的に収束する点）が一点に揃って
いない場合や、歪みと測距センサそのものの取り付け位置や精度の問題からたとえ画角が
重なっていたとしてもデータ同士が綺麗に接続できない可能性がある。そのため、被写体
の距離に応じてダイナミックにデータの接続を調整する必要がある。このために使うのが
撮像データである。例えばある目標物を撮像した場合、その目標物を測距センサ１２－１
、１２－２で計測した場合の測距データ範囲は図１０Ｂに示すように集光点のずれや取り
付け精度により少しずれた状態になる。従って、このずれを上述の撮像データに合うよう
に測距データを修正し、領域間の接続の整形を行う（図１０Ｃ参照）。この修正は対象物
の距離と、デバイスの特性、配置から計算することも可能であるが、撮像データを参考に
更に整形することにより、境界領域のデータの正確性を向上させることができる。
る。即ち、各デバイスの「集光点」（入射信号が幾何学的に収束する点）が一点に揃って
いない場合や、歪みと測距センサそのものの取り付け位置や精度の問題からたとえ画角が
重なっていたとしてもデータ同士が綺麗に接続できない可能性がある。そのため、被写体
の距離に応じてダイナミックにデータの接続を調整する必要がある。このために使うのが
撮像データである。例えばある目標物を撮像した場合、その目標物を測距センサ１２－１
、１２－２で計測した場合の測距データ範囲は図１０Ｂに示すように集光点のずれや取り
付け精度により少しずれた状態になる。従って、このずれを上述の撮像データに合うよう
に測距データを修正し、領域間の接続の整形を行う（図１０Ｃ参照）。この修正は対象物
の距離と、デバイスの特性、配置から計算することも可能であるが、撮像データを参考に
更に整形することにより、境界領域のデータの正確性を向上させることができる。
【0059】
第１実施形態によれば、一つの基体２に複数種類のデバイスを配置する際に、方位定義
多面体５が内包する異なる対称性方位グループを用いてデバイスを方位空間において入れ
子状に配置するので、異種又は同種のデバイスのいずれとも基体２における中心方位が被
ることなく、かつ全立体角の計測が可能なように複数種類のデバイスを効率よく配置でき
る。
多面体５が内包する異なる対称性方位グループを用いてデバイスを方位空間において入れ
子状に配置するので、異種又は同種のデバイスのいずれとも基体２における中心方位が被
ることなく、かつ全立体角の計測が可能なように複数種類のデバイスを効率よく配置でき
る。
【0060】
（第２実施形態）
第２実施形態は、携帯情報端末４に複合入出射装置１ａを応用した実施形態である。図
１１Ａは、第２実施形態に係る複合入出射装置１ａの外観図である。図１１Ｂは、複合入
出射装置１ａの表示例を示す図である。
第２実施形態は、携帯情報端末４に複合入出射装置１ａを応用した実施形態である。図
１１Ａは、第２実施形態に係る複合入出射装置１ａの外観図である。図１１Ｂは、複合入
出射装置１ａの表示例を示す図である。
【0061】
複合入出射装置１ａは、基体２としての携帯情報端末４に撮影デバイスや測距センサで
計測された物体や人物等の距離や画像を確認するためのディスプレイ２０を備える。撮像
デバイス及び測距センサの構成は、図５Ｂで示したものと同じである。図１１Ａでは隠れ
ている部分は示していない。
計測された物体や人物等の距離や画像を確認するためのディスプレイ２０を備える。撮像
デバイス及び測距センサの構成は、図５Ｂで示したものと同じである。図１１Ａでは隠れ
ている部分は示していない。
【0062】
図１１Ｂに示すように、複合入出射装置１ａは、計測中であることを示す文字表示等を
行っても良い。また、計測＆撮影後は全立体角の撮影画像や、距離情報を表示してもよい
。この時は携帯情報端末４を左右上下等の方向に回転させることでディスプレイ２０には
全立体角の画像が表示される。この時は携帯情報端末のジャイロセンサ（図１２参照）と
連動させて携帯情報端末４の方位を確認し、それに対応する画像を表示させる。
行っても良い。また、計測＆撮影後は全立体角の撮影画像や、距離情報を表示してもよい
。この時は携帯情報端末４を左右上下等の方向に回転させることでディスプレイ２０には
全立体角の画像が表示される。この時は携帯情報端末のジャイロセンサ（図１２参照）と
連動させて携帯情報端末４の方位を確認し、それに対応する画像を表示させる。
【0063】
図１２は、複合入出射装置１ａの全体ブロックを示す。
【0064】
携帯情報端末４は、第１種デバイスとしての広角レンズ及び撮像素子（例えばＣＣＤ或
いはＣＭＯＳセンサ）を含むカメラ１１０、同じく広角レンズと撮像素子を含み、ディス
プレイ２０側を撮像範囲とするインカメラ１１１、カメラ１１０及びインカメラ１１１の
其々からの撮像データを基に画像処理を行う画像処理プロセッサ１１２、第２種デバイス
としてのＮ個のＴＯＦセンサ１、２、・・・、Ｎ（１２－１）、（１２－２）、・・・、
（１２－Ｎ）、ＲＯＭ１３、ＲＡＭ１４、外部メモリ１５、ＣＰＵ１６、システムバス１
７、ジャイロセンサ１８、加速度センサ１９、ディスプレイ２０、ＬＡＮ通信器２１、電
話網通信器２２、及びＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）
２３を備える。
いはＣＭＯＳセンサ）を含むカメラ１１０、同じく広角レンズと撮像素子を含み、ディス
プレイ２０側を撮像範囲とするインカメラ１１１、カメラ１１０及びインカメラ１１１の
其々からの撮像データを基に画像処理を行う画像処理プロセッサ１１２、第２種デバイス
としてのＮ個のＴＯＦセンサ１、２、・・・、Ｎ（１２－１）、（１２－２）、・・・、
（１２－Ｎ）、ＲＯＭ１３、ＲＡＭ１４、外部メモリ１５、ＣＰＵ１６、システムバス１
７、ジャイロセンサ１８、加速度センサ１９、ディスプレイ２０、ＬＡＮ通信器２１、電
話網通信器２２、及びＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）
２３を備える。
【0065】
画像処理プロセッサ１１２は、撮影画像からその角度補正や回転補正、或いは広角レン
ズのため、歪んでいる画像を本来の状態に見えるように補正する歪み補正部１１４、人物
の顔や物体を認識する被写体認識部１１６、被写体認識部１１６に基づいて画像データか
ら顔や物体部分を切り出すトリミング部１１５、上記複数のカメラの画像を合成する画像
合成部１１７を含む。
ズのため、歪んでいる画像を本来の状態に見えるように補正する歪み補正部１１４、人物
の顔や物体を認識する被写体認識部１１６、被写体認識部１１６に基づいて画像データか
ら顔や物体部分を切り出すトリミング部１１５、上記複数のカメラの画像を合成する画像
合成部１１７を含む。
【0066】
本実施形態では、少なくともカメラは２個以上搭載されている。例えば上述ではカメラ
２個をインカメラと通常カメラとして、少なくとも１８０度以上の画角の広角レンズを搭
載し、搭載位置はそれぞれ別の面に搭載することで、全立体角の画像を撮影可能となって
いる。カメラの搭載個数は２個以上であれば、幾つ搭載しても良い。
２個をインカメラと通常カメラとして、少なくとも１８０度以上の画角の広角レンズを搭
載し、搭載位置はそれぞれ別の面に搭載することで、全立体角の画像を撮影可能となって
いる。カメラの搭載個数は２個以上であれば、幾つ搭載しても良い。
【0067】
画像処理プロセッサ１１２は、カメラ１１０又はインカメラ１１１のいずれかから取得
した撮像データに対して最初に歪み補正部１１４で歪み補正をし、被写体認識部１１６で
人物や物体を認識した後にトリミング部１１５で人物や物体をトリミングしているが、こ
れに限ることは無く、超広角レンズにより発生した歪みを簡略的に補正した後に認識し、
トリミングした後により精度の高い歪み補正を行っても良いし、後述するが測距センサ群
１２から得られた人物や物体までの詳細な距離を対応させてディスプレイ２０に表示して
も良い。
した撮像データに対して最初に歪み補正部１１４で歪み補正をし、被写体認識部１１６で
人物や物体を認識した後にトリミング部１１５で人物や物体をトリミングしているが、こ
れに限ることは無く、超広角レンズにより発生した歪みを簡略的に補正した後に認識し、
トリミングした後により精度の高い歪み補正を行っても良いし、後述するが測距センサ群
１２から得られた人物や物体までの詳細な距離を対応させてディスプレイ２０に表示して
も良い。
【0068】
図１３は、画像処理プロセッサ１１２が実行する全立体角撮影及び測距アルゴリズムを
示す。
示す。
【0069】
画像処理プロセッサ１１２は、カメラ１１０からの撮像データが入力され、広角レンズ
の歪みを補正する第１歪み補正部１１４－１、及びインカメラ１１１からの撮像データが
入力され、広角レンズの歪みを補正する第２歪み補正部１１４－２と、を備える。第１歪
み補正部１１４－１は、第１収差補正部及び第１正像変換部を含む。同様に。第２歪み補
正部１１４－２は、第２収差補正部及び第２正像変換部を含む。上述ではカメラひとつに
対し、歪み処理部は一つずつ有るが、これに限ることは無く、高速処理で時間的な制約が
無ければひとつの処理機能がスイッチングしながら処理を行っても良い。
の歪みを補正する第１歪み補正部１１４－１、及びインカメラ１１１からの撮像データが
入力され、広角レンズの歪みを補正する第２歪み補正部１１４－２と、を備える。第１歪
み補正部１１４－１は、第１収差補正部及び第１正像変換部を含む。同様に。第２歪み補
正部１１４－２は、第２収差補正部及び第２正像変換部を含む。上述ではカメラひとつに
対し、歪み処理部は一つずつ有るが、これに限ることは無く、高速処理で時間的な制約が
無ければひとつの処理機能がスイッチングしながら処理を行っても良い。
【0070】
第１歪み補正部１１４－１及び第２歪み補正部１１４－２の其々は、歪み補正処理を行
った画像を画像合成部１１７に出力する。画像合成部１１７は、第１歪み補正部１１４－
１及び第２歪み補正部１１４－２の其々から取得した歪み補正後の画像を合成し、全立体
角の画像（以下「全立体角画像」という）を作成し、被写体認識部１１６に出力する。
った画像を画像合成部１１７に出力する。画像合成部１１７は、第１歪み補正部１１４－
１及び第２歪み補正部１１４－２の其々から取得した歪み補正後の画像を合成し、全立体
角の画像（以下「全立体角画像」という）を作成し、被写体認識部１１６に出力する。
【0071】
被写体認識部１１６は、全立体角画像に基づいて被写体認識処理を行い、その結果をト
リミング部１１５に出力する。
リミング部１１５に出力する。
【0072】
トリミング部１１５は、全立体角画像中において被写体認識処理で認識された被写体が
撮像領域に対してトリミングを行う。被写体領域を完全にトリミングして被写体領域だけ
を取り出してもよいし、被写体領域枠を内包する枠を付加する処理でも良い。トリミング
した画像に関しては更なる歪み補正を施しても良いし、そのトリミングした部分を拡大や
強調をし、後述するようにそこまでの距離を表示させても良い。
撮像領域に対してトリミングを行う。被写体領域を完全にトリミングして被写体領域だけ
を取り出してもよいし、被写体領域枠を内包する枠を付加する処理でも良い。トリミング
した画像に関しては更なる歪み補正を施しても良いし、そのトリミングした部分を拡大や
強調をし、後述するようにそこまでの距離を表示させても良い。
【0073】
一方、ＣＰＵ１６は、ＴＯＦセンサ１２－１、１２－２、・・・１２－ｎの各測距デー
タを取得し、全立体角測距データに合成する。ＣＰＵ１６は、測距センサの画角で測定さ
れた測距データを相互に補完しながら、全立体角測距データ８００を作成する（図８、図
９参照）。
タを取得し、全立体角測距データに合成する。ＣＰＵ１６は、測距センサの画角で測定さ
れた測距データを相互に補完しながら、全立体角測距データ８００を作成する（図８、図
９参照）。
【0074】
ＣＰＵ１６は、画像合成部１１７から全立体角画像を取得し（図１３のＬ－Ａ）、全立
体角測距データ８００と関連付ける。この手法は様々あるが、例えば、予め複合入出射装
置１ａの周囲の既知の位置に被写体を設置し、全立体角画像を作成する。また測距センサ
群１２を用いて複合入出射装置１ａから同一の被写体までの距離を測定し全立体角測距デ
ータ８００を作成する。そして同一の被写体が撮像された全立体角画像内の被写体領域と
、全立体角測距データ８００から読み出した同一の被写体までの距離情報と、を関連付け
ることで、全立体角画像内の撮像領域と、当該撮像領域内に写り込んだ被写体までの距離
情報とを関連付けたキャリブレーションデータを作成し、格納しておく。
体角測距データ８００と関連付ける。この手法は様々あるが、例えば、予め複合入出射装
置１ａの周囲の既知の位置に被写体を設置し、全立体角画像を作成する。また測距センサ
群１２を用いて複合入出射装置１ａから同一の被写体までの距離を測定し全立体角測距デ
ータ８００を作成する。そして同一の被写体が撮像された全立体角画像内の被写体領域と
、全立体角測距データ８００から読み出した同一の被写体までの距離情報と、を関連付け
ることで、全立体角画像内の撮像領域と、当該撮像領域内に写り込んだ被写体までの距離
情報とを関連付けたキャリブレーションデータを作成し、格納しておく。
【0075】
ユーザが複合入出射装置１ａを使用すると、ＣＰＵ１６は、全立体角画像を作成し、キ
ャリブレーションデータを参照し、全立体角画像の撮像領域に対応する距離情報を読み出
す。ＣＰＵ１６は、読み出した距離情報及びそれに対応する撮像領域の全立体角画像内に
おける位置（例えば全立体角画像内の座標）を距離情報付加部１１８に出力する。
ャリブレーションデータを参照し、全立体角画像の撮像領域に対応する距離情報を読み出
す。ＣＰＵ１６は、読み出した距離情報及びそれに対応する撮像領域の全立体角画像内に
おける位置（例えば全立体角画像内の座標）を距離情報付加部１１８に出力する。
【0076】
距離情報付加部１１８は、トリミング部１１５から取得した被写体領域の情報を基に、
ＣＰＵ１６から取得した距離情報を全立体角画像における被写体領域に付加する。
ＣＰＵ１６から取得した距離情報を全立体角画像における被写体領域に付加する。
【0077】
図１４は、全立体角画像に距離情報を付加して表示した例を示す。図１４では、ディス
プレイ２０の表示範囲は全立体角の一部であるが、全立体角を表示する時には、ジャイロ
センサ１８のデータを元にディスプレイ２０の位置を上下、左右に回転させることで表示
させても良いし、ディスプレイ２０を前後左右にスクロールさせて表示させても良い。ま
た、距離情報を特定の対象物に対し、図の様にそこまでの距離を表示させても良い。
プレイ２０の表示範囲は全立体角の一部であるが、全立体角を表示する時には、ジャイロ
センサ１８のデータを元にディスプレイ２０の位置を上下、左右に回転させることで表示
させても良いし、ディスプレイ２０を前後左右にスクロールさせて表示させても良い。ま
た、距離情報を特定の対象物に対し、図の様にそこまでの距離を表示させても良い。
【0078】
【0079】
複合入出射装置１ａのユーザが全立体角撮影及び全立体角測距をしたい場合、ユーザは
、複合入出射装置１ａの動作モードを全立体角撮影及び全立体角測距モードに切り替える
（Ｓ１００）。複合入出射装置１ａはディスプレイ２０にモードセレクト画面を表示させ
、ユーザからモード選択操作を受け付ける。複合入出射装置１ａは、全立体角撮影及び全
立体角測距モードに切り替わると、ディスプレイ２０に“ただ今全立体角撮影＆測距シス
テム稼働中”等の表示を行い、ユーザにできるだけ揺らさない等の注意を促す表示を行っ
ても良い。
、複合入出射装置１ａの動作モードを全立体角撮影及び全立体角測距モードに切り替える
（Ｓ１００）。複合入出射装置１ａはディスプレイ２０にモードセレクト画面を表示させ
、ユーザからモード選択操作を受け付ける。複合入出射装置１ａは、全立体角撮影及び全
立体角測距モードに切り替わると、ディスプレイ２０に“ただ今全立体角撮影＆測距シス
テム稼働中”等の表示を行い、ユーザにできるだけ揺らさない等の注意を促す表示を行っ
ても良い。
【0080】
カメラ１１０及びインカメラ１１１の其々が起動及び撮影を開始する。また、各測距セ
ンサ１２－１、１２－２、・・・１２－Ｎが起動し測距を開始する（Ｓ１０１）。
ンサ１２－１、１２－２、・・・１２－Ｎが起動し測距を開始する（Ｓ１０１）。
【0081】
カメラ１１０及びインカメラ１１１の其々が生成した撮像データが画像処理プロセッサ
１１２に出力される。画像処理プロセッサ１１２は、広角レンズに起因する歪み補正を行
い（Ｓ１０２）、全立体角画像を作成する（Ｓ１０３）。
１１２に出力される。画像処理プロセッサ１１２は、広角レンズに起因する歪み補正を行
い（Ｓ１０２）、全立体角画像を作成する（Ｓ１０３）。
【0082】
ＣＰＵ１６（第１実施形態では第２種デバイスプロセッサ２１２）は、測距センサ１２
－１、１２－２、・・・１２－Ｎで測定された測距データを合成して全立体角測距データ
８００を作成する（Ｓ１０４）。ステップＳ１０３とステップＳ１０４は同時に実行され
てもよいし、ステップＳ１０４が先に実行されてもよい。
－１、１２－２、・・・１２－Ｎで測定された測距データを合成して全立体角測距データ
８００を作成する（Ｓ１０４）。ステップＳ１０３とステップＳ１０４は同時に実行され
てもよいし、ステップＳ１０４が先に実行されてもよい。
【0083】
画像処理プロセッサ１１２は、全立体角画像から被写体領域を検出し（Ｓ１０５）、被
写体領域に対してトリミング処理をして切り出す。そしてＳ１０４で作成された全立体角
測距データ８００を用いて複合入出射装置１ａから被写体までの距離情報を付加する（Ｓ
１０６）。
写体領域に対してトリミング処理をして切り出す。そしてＳ１０４で作成された全立体角
測距データ８００を用いて複合入出射装置１ａから被写体までの距離情報を付加する（Ｓ
１０６）。
【0084】
画像処理プロセッサ１１２は、距離情報を付加した全立体角画像、及び全立体角測距デ
ータをＲＡＭ１４、外部メモリ１５の少なくとも一方に記録し（Ｓ１０７）、終了する。
ータをＲＡＭ１４、外部メモリ１５の少なくとも一方に記録し（Ｓ１０７）、終了する。
【0085】
【0086】
複合入出射装置１ａが全立体角画像及び全立体角測距データの再生モードに移行するた
めの操作を行う（Ｓ１１０）。複合入出射装置１ａは、ディスプレイ２０にモードセレク
ト画面を表示させ、ユーザからモード選択操作を受け付ける。更に、複合入出射装置１ａ
は、ユーザからＲＡＭ１４又は外部メモリ１５に記録されたデータのうち再生対象のファ
イルを選択する操作を受け付け、そのファイルを再生する（Ｓ１１１）。
めの操作を行う（Ｓ１１０）。複合入出射装置１ａは、ディスプレイ２０にモードセレク
ト画面を表示させ、ユーザからモード選択操作を受け付ける。更に、複合入出射装置１ａ
は、ユーザからＲＡＭ１４又は外部メモリ１５に記録されたデータのうち再生対象のファ
イルを選択する操作を受け付け、そのファイルを再生する（Ｓ１１１）。
【0087】
再生するファイルは、ディスプレイ２０より広範囲、即ち全立体角の画像情報と距離情
報が含まれている（図１４参照）。そこで、複合入出射装置１ａは、ジャイロセンサ１８
、加速度センサ１９とＧＰＳ２３による位置情報を基に、水平面内の方位情報と仰ぎ角情
報を演算し、全立体角画像の特定の方位の画像（全立体角画像の部分画像）及び距離情報
を表示させる。
報が含まれている（図１４参照）。そこで、複合入出射装置１ａは、ジャイロセンサ１８
、加速度センサ１９とＧＰＳ２３による位置情報を基に、水平面内の方位情報と仰ぎ角情
報を演算し、全立体角画像の特定の方位の画像（全立体角画像の部分画像）及び距離情報
を表示させる。
【0088】
その後、複合入出射装置１ａは、ユーザに対しディスプレイ２０のスクロール処理、或
いは複合入出射装置１ａを動かす事を要求する（Ｓ１１２）。
いは複合入出射装置１ａを動かす事を要求する（Ｓ１１２）。
【0089】
複合入出射装置１ａは、ユーザの動き（例えばスクロール操作や複合入出射装置１ａを
動かすこと）を検知すると（Ｓ１１３／Ｙｅｓ）、その指示に従いその方向の画像や距離
情報を表示させる（Ｓ１１４）。
動かすこと）を検知すると（Ｓ１１３／Ｙｅｓ）、その指示に従いその方向の画像や距離
情報を表示させる（Ｓ１１４）。
【0090】
ユーザの動きがない場合（Ｓ１１３／Ｎｏ）、又はステップＳ１１４の後、終了条件、
例えば、ユーザの指示や動きが一定時間無い場合や、再生終了操作を受け付けた場合（Ｓ
１１５／Ｙｅｓ）、再生処理を終了する。終了条件非充足の場合（Ｓ１１５／Ｎｏ）、ス
テップＳ１１２へ戻る。
例えば、ユーザの指示や動きが一定時間無い場合や、再生終了操作を受け付けた場合（Ｓ
１１５／Ｙｅｓ）、再生処理を終了する。終了条件非充足の場合（Ｓ１１５／Ｎｏ）、ス
テップＳ１１２へ戻る。
【0091】
図１７Ａに複合入出射装置１をＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）
５０に適用した例を示す。
５０に適用した例を示す。
【0092】
ＨＭＤを用いてＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実）表示を行う場
合に、ＨＭＤユーザの現実の周囲環境を撮像及び測距し、その撮像データ及び測距データ
をＡＲ表示に用いてもよい。これにより、現実空間に仮想オブジェクトを重畳表示する際
の制御がより精密になる。
合に、ＨＭＤユーザの現実の周囲環境を撮像及び測距し、その撮像データ及び測距データ
をＡＲ表示に用いてもよい。これにより、現実空間に仮想オブジェクトを重畳表示する際
の制御がより精密になる。
【0093】
図１７Ａに示すように、ＨＭＤ５０は、側頭部装着体５０－１及び頭頂部装着体５０－
２、及び透過性又は非透過性のディスプレイ５０－３を備える。ディスプレイ５０－３の
上辺中心に広角レンズを有する第１カメラ５１－１を、側頭部装着体５０－１の後頭部中
央に広角レンズを有する第２カメラ５１－２を備える。またディスプレイ５０－３の左右
頂点の其々に第１測距センサ５２－１、第２測距センサ５２－２を備える。更に頭頂部装
着体５０－２における頭頂部に第３測距センサ５２－３を備え、側頭部装着体５０－１の
後頭部中央に第４測距センサ５２－４を備える。即ち、図１７Ｂに示すように、この例に
おいてＨＭＤ５０では、方位定義多面体５として正四面体を用いる。カメラは画角１８０
度以上のものを用いて辺中心方位グループの内、対向する２つの方位（５１－１、５１－
２）に配置し、測距センサは頂点中心方位に配置される。
２、及び透過性又は非透過性のディスプレイ５０－３を備える。ディスプレイ５０－３の
上辺中心に広角レンズを有する第１カメラ５１－１を、側頭部装着体５０－１の後頭部中
央に広角レンズを有する第２カメラ５１－２を備える。またディスプレイ５０－３の左右
頂点の其々に第１測距センサ５２－１、第２測距センサ５２－２を備える。更に頭頂部装
着体５０－２における頭頂部に第３測距センサ５２－３を備え、側頭部装着体５０－１の
後頭部中央に第４測距センサ５２－４を備える。即ち、図１７Ｂに示すように、この例に
おいてＨＭＤ５０では、方位定義多面体５として正四面体を用いる。カメラは画角１８０
度以上のものを用いて辺中心方位グループの内、対向する２つの方位（５１－１、５１－
２）に配置し、測距センサは頂点中心方位に配置される。
【0094】
ＨＭＤ５０において全立体角画像及び全立体角測距データを作成する場合、全立体角画
像の接合部がＨＭＤ５０の真下、即ちＨＭＤ５０の装着者側に位置することが望ましい。
これは、ＨＭＤ５０の装着者にとって、自分自身の画像は不要であることが多いためであ
る。測距データについても同様で、自分自身との距離を知りたいという要望はほぼないと
考えられるので、測距データの接合部もＨＭＤ５０の装着者側に位置させることが望まし
い。そこで、センサ配置の変形例として、図１８Ａ、図１８Ｂに示すように、隣接するセ
ンサとの必要入射角範囲を確保しつつ、カメラの方位を辺中心方位からずらす。これによ
り、撮像データ及び測距データの接合部を、ＨＭＤ５０の真下に来るように各センサの方
向を調整する。図１８Ｂは方位空間での各デバイスの向く方位を表している。図１８Ｂで
５１－１、５１－２が辺中心方位に配置した場合で、５１－１、５１－２が方位を調整し
た変形例である。変形例において、Ｚ軸の正方向を垂直上側方向に選べば、ユーザの身体
がＺ軸の負方向になり、カメラの光軸が水平方向になるので、撮像データ、測距データ共
に、接合部がＨＭＤ５０の装着者側に位置することになる。なお、この変形例においても
、個々のデバイスの方位空間における最近接デバイスは異種デバイスとなっている。
像の接合部がＨＭＤ５０の真下、即ちＨＭＤ５０の装着者側に位置することが望ましい。
これは、ＨＭＤ５０の装着者にとって、自分自身の画像は不要であることが多いためであ
る。測距データについても同様で、自分自身との距離を知りたいという要望はほぼないと
考えられるので、測距データの接合部もＨＭＤ５０の装着者側に位置させることが望まし
い。そこで、センサ配置の変形例として、図１８Ａ、図１８Ｂに示すように、隣接するセ
ンサとの必要入射角範囲を確保しつつ、カメラの方位を辺中心方位からずらす。これによ
り、撮像データ及び測距データの接合部を、ＨＭＤ５０の真下に来るように各センサの方
向を調整する。図１８Ｂは方位空間での各デバイスの向く方位を表している。図１８Ｂで
５１－１、５１－２が辺中心方位に配置した場合で、５１－１、５１－２が方位を調整し
た変形例である。変形例において、Ｚ軸の正方向を垂直上側方向に選べば、ユーザの身体
がＺ軸の負方向になり、カメラの光軸が水平方向になるので、撮像データ、測距データ共
に、接合部がＨＭＤ５０の装着者側に位置することになる。なお、この変形例においても
、個々のデバイスの方位空間における最近接デバイスは異種デバイスとなっている。
【0095】
本実施形態によれば、スマートフォンのように小型の携帯情報端末にも複数種類のデバ
イスを、異種及び同種のデバイスの配置位置が重ならないように、かつ全立体角を計測範
囲に含ませて配置することができる。
イスを、異種及び同種のデバイスの配置位置が重ならないように、かつ全立体角を計測範
囲に含ませて配置することができる。
【0096】
上記実施形態は、本発明の実施形態の一例を示したにすぎず、本発明は上記に限定され
るものでない。例えば、別の実施態様としてテレビ会議システムとして使うことも可能で
ある。全立体角の距離情報と物体認識を利用することで、例えばテレビ会議システムにお
いて、出席者全員の顔認識画像と距離情報から会議に出席している人の位置を把握し、指
向性マイクとの組み合わせで、発言している人を特定し、その人を拡大して表示すること
。或いは会話内容と出席者の特定を行ったうえで会話を鮮明に記録することが可能になる
。
るものでない。例えば、別の実施態様としてテレビ会議システムとして使うことも可能で
ある。全立体角の距離情報と物体認識を利用することで、例えばテレビ会議システムにお
いて、出席者全員の顔認識画像と距離情報から会議に出席している人の位置を把握し、指
向性マイクとの組み合わせで、発言している人を特定し、その人を拡大して表示すること
。或いは会話内容と出席者の特定を行ったうえで会話を鮮明に記録することが可能になる
。
【0097】
また、その他の入射デバイス、出射デバイスの例としては電波の送信アンテナ及び受信
アンテナがある。携帯電話で使用する周波数が高くなり、指向性が強くなることにより、
効率よくアンテナを配置して全立体角を電波の入出射範囲として覆う必要がある。この場
合にも本発明が有効である。
アンテナがある。携帯電話で使用する周波数が高くなり、指向性が強くなることにより、
効率よくアンテナを配置して全立体角を電波の入出射範囲として覆う必要がある。この場
合にも本発明が有効である。
【0098】
また、更に入射デバイス、出射デバイスの他の例として、指向性の強いマイクや指向性
の強いスピーカがある。スマートスピーカのような音声入出力デバイスにおいて、周辺に
存在する使用者の中から、特定の使用者を対象にした音声のやり取りを実現する際にも本
発明が有効である。
の強いスピーカがある。スマートスピーカのような音声入出力デバイスにおいて、周辺に
存在する使用者の中から、特定の使用者を対象にした音声のやり取りを実現する際にも本
発明が有効である。
【0099】
また、複合入出射装置１、１ａのハードウェア構成も一例に過ぎず、１つのＣＰＵ１６
が第１種デバイスプロセッサ２１１、第２種デバイスプロセッサ２１２、画像処理プロセ
ッサ１１２の各機能を実行してもよい。
が第１種デバイスプロセッサ２１１、第２種デバイスプロセッサ２１２、画像処理プロセ
ッサ１１２の各機能を実行してもよい。
【符号の説明】
【0100】
１、１ａ ：複合入出射装置
２ ：基体
３ ：コントローラ
４ ：携帯情報端末
５ ：方位定義多面体
１１ ：第１種デバイス群
１２ ：第２種デバイス群
１３ ：ＲＯＭ
１４ ：ＲＡＭ
１５ ：外部メモリ
１６ ：ＣＰＵ
１７ ：システムバス
１８ ：ジャイロセンサ
１９ ：加速度センサ
２０ ：ディスプレイ
２１ ：ＬＡＮ通信器
２２ ：電話網通信器
２３ ：ＧＰＳ
５０ ：ＨＭＤ
５０－１ ：側頭部装着体
５０－２ ：頭頂部装着体
５０－３ ：ディスプレイ
５１－１ ：第１カメラ
５１－２ ：第２カメラ
５２－１ ：第１測距センサ
５２－２ ：第２測距センサ
５２－３ ：第３測距センサ
５２－４ ：第４測距センサ
１１０ ：カメラ
１１１ ：インカメラ
１１２ ：画像処理プロセッサ
１１４ ：歪み補正部
１１４－１ ：補正部
１１４－２ ：補正部
１１５ ：トリミング部
１１６ ：被写体認識部
１１７ ：画像合成部
１１８ ：距離情報付加部
２１１ ：第１種デバイスプロセッサ
２１２ ：第２種デバイスプロセッサ
８００ ：全立体角測距データ
２ ：基体
３ ：コントローラ
４ ：携帯情報端末
５ ：方位定義多面体
１１ ：第１種デバイス群
１２ ：第２種デバイス群
１３ ：ＲＯＭ
１４ ：ＲＡＭ
１５ ：外部メモリ
１６ ：ＣＰＵ
１７ ：システムバス
１８ ：ジャイロセンサ
１９ ：加速度センサ
２０ ：ディスプレイ
２１ ：ＬＡＮ通信器
２２ ：電話網通信器
２３ ：ＧＰＳ
５０ ：ＨＭＤ
５０－１ ：側頭部装着体
５０－２ ：頭頂部装着体
５０－３ ：ディスプレイ
５１－１ ：第１カメラ
５１－２ ：第２カメラ
５２－１ ：第１測距センサ
５２－２ ：第２測距センサ
５２－３ ：第３測距センサ
５２－４ ：第４測距センサ
１１０ ：カメラ
１１１ ：インカメラ
１１２ ：画像処理プロセッサ
１１４ ：歪み補正部
１１４－１ ：補正部
１１４－２ ：補正部
１１５ ：トリミング部
１１６ ：被写体認識部
１１７ ：画像合成部
１１８ ：距離情報付加部
２１１ ：第１種デバイスプロセッサ
２１２ ：第２種デバイスプロセッサ
８００ ：全立体角測距データ
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】