特開 2023-156394 装着型装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023156394

(43)【公開日】2023-10-24

(54)【発明の名称】装着型装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231017BHJP

   H04N 23/45 20230101ALI20231017BHJP

   H04N 23/695 20230101ALI20231017BHJP

   H04N 23/50 20230101ALI20231017BHJP

   G03B 15/00 20210101ALI20231017BHJP

   G03B 17/56 20210101ALI20231017BHJP

   G03B 17/20 20210101ALI20231017BHJP

【ＦＩ】

H04N23/60 300

H04N23/45

H04N23/698

H04N23/50

G03B15/00 W

G03B15/00 H

G03B17/56 A

G03B17/20

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023127075

(22)【出願日】2023-08-03

(62)【分割の表示】P 2022019213の分割

【原出願日】2018-05-30

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】清水 宏

(72)【発明者】

【氏名】川前 治

(57)【要約】      （修正有）

【課題】全方位の被写体の画像を高精度に撮影しつつ、全方位の被写体までの距離を測定し、画像と距離のデータを対応付けて保存可能なカメラ装置を提供する。
【解決手段】正面側に、撮影した画像等を表示するディスプレイ４２を有するカメラ装置１は、全方位の撮影を可能とする位置に設置した２個のカメラデバイス１０ａ、１０ｂと、全方位の距離測定を可能とする位置に設置した２個の測距デバイス２０ａ、２０ｂと、を備え、カメラデバイスで撮影した各画素位置の画像データと、測距デバイスで測定した各画素位置の距離データとを、それぞれの画素位置を関連付けてメモリに保存する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

周囲の被写体を撮影する４個のカメラデバイスを備え、
前記の４個のカメラデバイスのうちのいずれかのカメラデバイスで被写体を撮影する場合、該カメラデバイスで前記被写体を撮影して画像データを取得するとともに、該カメラデバイスおよび前記被写体を撮影可能なカメラデバイスを用いて前記被写体までの距離を測定して距離データを取得し、
前記画像データと前記距離データとを関連付けてメモリに保存する、
ことを特徴とする装着型装置。

【請求項2】

請求項１に記載の装着型装置であって、
前記の４個のカメラデバイスは、
当該４個のカメラデバイスを頂点とする四角形の対角線方向それぞれを撮影方向として配置され、
前記の４個のカメラデバイスは、
水平方向の撮影範囲が９０度以上である、
ことを特徴とする装着型装置。

【請求項3】

請求項１に記載の装着型装置であって、
前記の４個のカメラデバイスは、
当該４個のカメラデバイスを頂点とする四角形の対角線方向それぞれを撮影方向として配置され、
前記装着型装置を中心とした全周に対する画像撮影と距離測定が可能なカメラデバイスである、
ことを特徴とする装着型装置。

【請求項4】

請求項１に記載の装着型装置であって、
前記カメラデバイスで取得した画像データと距離データは、ともに圧縮処理されて同一のファイルにて前記メモリに保存される、
ことを特徴とする装着型装置。

【請求項5】

請求項１に記載の装着型装置であって、
前記メモリに保存した画像データと距離データを表示するディスプレイを備え、
前記画像データを前記ディスプレイに表示する際に、前記画像データに関連付けられた前記距離データを前記ディスプレイに表示する、
ことを特徴とする装着型装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体を広範囲に撮影しかつ被写体までの距離を測定するカメラ装置に関する。

【背景技術】

【0002】

近年、３６０度カメラ（全方位カメラ、全天球カメラともいう）が各種発表されている。３６０度カメラによれば、１回のシャッターで、周囲の全ての被写体を簡単に撮影可能であり、撮影後に所望の部分を切出して自由に楽しむことができるとされている。

【0003】

これに関し特許文献１には、撮像装置（カメラ）の任意の傾きに対応して、鉛直方向の正しい全方位（全天球）画像を生成することを目的とし、鉛直方向に対する傾きを検出する傾き検出手段と、平面座標値を球面座標値に変換する変換データと、傾きに応じて、変換データを補正する補正手段と、複数の撮像手段と、撮像手段により撮像された画像を構成する複数の画素の平面座標値を、補正手段により補正された変換データに基づいて球面座標値に変換する座標変換手段と、座標変換手段により球面座標値に変換された複数の画素を含む画像を組み合わせる組み合わせ手段と、を含む構成の撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－２１４９４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された撮像装置は、シャッターボタンを押下すると撮像装置の周囲３６０度の全方位の画像を撮影可能とするもので、撮像した全方位画像は所定の投影モデルに基づき画像変換がなされ、全天球を示す画像フォーマットとして装置内の記録媒体等に保存される。

【0006】

全方位カメラでは、通常ユーザが視認する範囲よりもはるかに広い３６０度範囲を撮影するもので、この様な超広角の画像を撮影しておくことにより、撮影時には見逃していた被写体などを、撮影後にいつでも確認・発見することができる。一方ユーザは、撮影した画像内の注目する被写体までの距離を知りたい場合がある。例えば、ユーザが後で撮影画像を閲覧するとき、距離情報を合わせて知ることで、撮影時の状況や感動をより強く思い返すことができる。

【0007】

ところで、カメラと同様の撮影画素単位で、撮影した被写体までの距離を光学的に測定するＴＯＦ（Time of Flight）方式の測距センサが知られている。ここで、特許文献１に記載されるような撮像装置に、ＴＯＦ方式の測距センサを組み合わせれば、原理的には被写体の撮影とともに距離を測定することができる。しかし、実用的には次の課題がある。
（１）一般の測距センサの画角と画素数は、カメラセンサの画角と画素数（広角撮影時）よりも小さく、全方位の被写体をカバーすることは困難である。
（２）カメラセンサと測距センサとを、互いに相手のセンサが視野に入らないように配置する必要がある。
（３）カメラセンサと測距センサの設置位置に応じて、被写体の画像データと距離データの位置座標が異なり、これを対応付ける必要がある。

【0008】

上記課題を鑑み、本発明の目的は、全方位の被写体の画像を高精度に撮影しつつ、全方位の被写体までの距離を測定し、画像と距離のデータを対応付けて保存可能なカメラ装置を提供することにある。

【課題を解決するための手段】

【0009】

前記課題を解決するため、請求の範囲に記載の技術を用いる。その１つを挙げれば、周囲の被写体を撮影するとともに、該被写体までの距離を測定するカメラ装置であって、当該カメラ装置から見て全方位の撮影を可能とする位置に設置した２個のカメラデバイスと、当該カメラ装置から見て全方位の距離測定を可能とする位置に設置した２個の測距デバイスと、を備え、前記２個のカメラデバイスで撮影した各画素位置の画像データと、前記２個の測距デバイスで測定した各画素位置の距離データとを、それぞれの画素位置を関連付けてメモリに保存する構成とした。

【発明の効果】

【0010】

本発明によれば、全方位の被写体の画像を高精度に撮影しつつ、全方位の被写体までの距離を測定し、画像と距離のデータを対応付けて保存することが可能となる。

【図面の簡単な説明】

【0011】

【図1A】実施例１のカメラ装置の外観を示す図。

【図1B】カメラ装置による被写体測定時の方位座標を説明する図。

【図1C】センサ面の画素マトリクスの配列を示す図。

【図2】カメラ装置の内部構成を示すブロック図。

【図3A】カメラデバイスと測距デバイスの具体構造を示す図。

【図3B】カメラデバイスと測距デバイスの具体構造を示す図。

【図4A】カメラデバイスの設置位置の変形例を示す図。

【図4B】カメラデバイスの設置位置の変形例を示す図。

【図5】全方位カメラデバイスの光学系を説明する図。

【図6A】測距デバイスによる距離測定方法を説明する図。

【図6B】信号波形と距離算出方法を説明する図。

【図7】保存する画像データと距離データの画素対応を示す図。

【図8A】保存するデータファイルのフォーマットを示す図。

【図8B】データファイルの検索方法を説明する図。

【図9】検索したデータの表示例を示す図。

【図10A】実施例２に係る眼鏡型カメラ装置の外観を示す図。

【図10B】眼鏡型カメラ装置２による距離測定精度を説明する図

【図10C】被写体方向による測定精度への影響を説明する図。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を用いて説明する。

【実施例0013】

実施例１では、２個のカメラデバイスと２個の測距デバイスとを用いて、３６０度全方位の画像撮影と被写体までの距離測定を行う方法を示す。

【0014】

図１Ａは、実施例１に係るカメラ装置１の外観を示す図であり、（ａ）は斜視図、（ｂ）は上面図である。ここでは、カメラ装置１が、スマートフォンやタブレット端末の形状をしている場合を示す。カメラ装置１の正面および背面の、通常インカメラ／アウトカメラを搭載している面に、広角撮影用のカメラデバイス１０ａ，１０ｂを設置する。ここでは１０ａがインカメラ側、１０ｂがアウトカメラ側に相当する。２個のカメラデバイス１０ａ，１０ｂには例えば魚眼レンズを用いることで、カメラ装置１を中心とした上下左右３６０度の全方位の被写体を撮影することができる。カメラ装置の正面側には、撮影した画像等を表示するディスプレイ４２を有する。ディスプレイ４２はタッチパネルを内蔵し、ユーザのタッチ操作を受け付ける。

【0015】

さらにカメラ装置１の左右の側面には、被写体までの距離を測定する測距デバイス２０ａ，２０ｂを設置する。この測距デバイス２０ａ，２０ｂは、所定の波長の電波（または光）を出射し、その電波が被写体で反射し戻ってきた電波を受信する。そして、出射タイミングから受信タイミングまでの時間差に基づいて、被写体までの距離を測定するデバイス（ＴＯＦセンサ）である。

【0016】

測距デバイス２０ａ，２０ｂはカメラデバイス１０ａ，１０ｂの光学センサと同様なセンサ構造となっており、例えばマトリクス状に配置した画素にて、被写体からの反射光を受信する。その際、前記所定の波長の電波や光を屈折するため例えば広角の光学レンズを用いて、カメラデバイス１０ａ，１０ｂと同様に受光する。すなわち、各々の測距デバイス２０ａ，２０ｂで１８０度方位をカバーすることで、両方で３６０度全方位にある被写体までの距離を、センサの画素単位で測定することができる。

【0017】

このように、２個のカメラデバイス１０ａ，１０ｂを、カメラ装置１の主面（例えばディスプレイ４２のある正面）を基準として互いに対向する面に設置し、２個の測距デバイス２０ａ，２０ｂを、カメラ装置１の主面と直交する側面を基準として互いに対向する面に設置している。このように配置することで、測距デバイス２０ａ，２０ｂがカメラデバイス１０ａ，１０ｂに写りこまず、カメラデバイス１０ａ，１０ｂは不感帯のない３６０度全方位の画像を撮影することができる。

【0018】

ただし、カメラデバイス１０ａ，１０ｂと測距デバイス２０ａ，２０ｂは、カメラ装置１上で直交した異なる位置に配置しているので、カメラデバイス１０ａ，１０ｂで撮影した画像データと、測距デバイス２０ａ，２０ｂで測定した距離データは、同一の被写体に対する各々のセンサ上での座標が異なる。そこで、次に述べる座標変換を採用することで、両者の互換を容易に行えるようにした。

【0019】

図１Ｂは、カメラ装置１による被写体測定時の方位座標を説明する図である。（ａ）は、測距デバイス２０ａ，２０ｂによる測定座標系を説明するもので、測距デバイス２０ａから被写体Ｐまでの距離ベクトルをｒとしたとき、その方位を２つの角度（θ，φ）を用いて角度座標系（極座標）で示す。この例では、測距デバイス２０ａの中心軸方向（Ｚ軸）に対して直交する左右方向（Ｘ軸）、上下方向（Ｙ軸）を基準とする。そして、角度θはＹ軸からの偏移角、角度φはＸ軸からの偏移角で定義する。角度座標系で示された被写体Ｐの方位座標は、測距デバイス２０ａ，２０ｂのセンサ面のマトリクス座標系に変換する。

【0020】

（ｂ）は、測距デバイスのセンサ面のマトリクス座標系を示す図である。角度座標系（θ，φ）で示される被写体Ｐの方位は、マトリクス座標系（ｘ，ｙ）における被写体Ｐの位置（ｘｐ，ｙｐ）との間で、ｘｐ＝ｆ・φ、ｙｐ＝ｆ・θの関係で表すことができる。ここで係数ｆは、図５で後述する魚眼レンズの焦点距離である。

【0021】

一方、カメラデバイス１０ａ，１０ｂで撮影した被写体Ｐの位置座標も同様で、各カメラデバイスの中心軸を基準とした角度座標系（θ’，φ’）にて記述できる。ただし、測距デバイスデバイス２０ａ，２０ｂにより取得したセンサ上での座標とは、左右方向の角度φが９０度ずれているため、角度φに９０度を加算することで（φ’＝φ＋９０）、測距デバイスのセンサ面座標とカメラデバイスのセンサ面座標の関連付けを行う。

【0022】

図１Ｃは、センサ面の画素マトリクスの配列を示す図である。（ａ）はカメラデバイス側、（ｂ）は測距デバイス側であり、ここでは両者の画素間隔を同じに配置している。ｘ軸座標（ｘｐ）については前記の９０度角度加算（φ＋９０）により、カメラデバイスのセンサ面座標と測距デバイスのセンサ面座標とを関連付けている。（ａ）のカメラデバイスのセンサ面では、被写体の各部分の受光信号を輝度／色差情報に変換し、画素単位で取得する。（ｂ）の測距デバイスのセンサ面では、被写体上の各部分からの電波（光）信号を距離情報に変換し、画素単位で取得する。これにより、被写体の同じ部分の輝度／色差情報と距離情報を、同じ位置座標（ｘｐ，ｙｐ）で保存することができる。

【0023】

図２は、カメラ装置１の内部構成を示すブロック図である。カメラ装置１の全体は、ＣＰＵ４０にて動作するプログラムにより制御する。ＣＰＵ４０からはバス４１が伸びており、ＣＰＵ４０により制御される以下のハードウェアが接続されている。

【0024】

前面カメラデバイス１０ａと背面カメラデバイス１０ｂは、図１Ａに示したもので、カメラ装置１の３６０度全方位の被写体を撮影し、図１Ｃ（ａ）に示すセンサマトリクス座標系を用いて画像データのディジタル情報を出力する。左側測距デバイス２０ａと右側測距デバイス２０ｂは、図１Ａに示したもので、カメラ装置１の３６０度全方位の被写体までの距離を画素単位で取得し、図１Ｃ（ｂ）に示すセンサマトリクス座標系を用いて距離データのディジタル情報を出力する。ディスプレイ４２は、カメラデバイス１０ａ，１０ｂで撮影した画像や、測距デバイス２０ａ，２０ｂで取得した距離情報を表示する。

【0025】

カメラ装置１には、この他に次の機能を備える。Ｂｌｕｅｔｏｏｔｈ（登録商標）４３は、近隣のスマートフォンやタブレット端末、パソコンなどと近距離無線通信を行う。ジャイロ４４は、上下左右方向及び回転方向のカメラ装置１の姿勢変化に伴う被写体とカメラ装置との方向関係の変化量を検出する。携帯通信４５は、スマートフォンやタブレット端末、パソコンなどに搭載した通信網を利用してインターネット５５と接続する。

【0026】

フラッシュメモリ４６は、ＣＰＵ４０にて動作するソフトウェアや定数を保存する他、撮影した画像データを圧縮する際に利用する、搭載した魚眼レンズに最適な圧縮パラメータなどのデータを保存するためのストレージとして機能する。ＳＤ－ＲＡＭ４７は、ＣＰＵ４０にて動作するソフトウェアが、情報の入出力処理のワークエリアで利用するために高速のＲ／Ｗ処理が可能なメモリである。外部メモリＩ／Ｆ４８は、カメラ装置１で撮影した画像データや測定した距離データ、ネットワーク５５からダウンロードしたデータなどを、着脱可能な外部メモリ４９に保存するためのインタフェースである。もちろん、カメラ装置１で撮影した画像データや測定した距離データは、図示しない内部メモリに保存することも可能である。

【0027】

ＧＰＳ（Global Positioning System）５０は、カメラ装置１の現在位置を測定する。ＮＦＣタグリーダ５１は、本カメラ装置１と、スマートフォンなどの情報機器との接続設定を行う際に、カメラ装置とスマートフォンの関連付けを行うために利用する。加速度センサ５２は、カメラ装置１の移動距離（＝加速度の二重積分値）及び移動速度（＝加速度の積分値）を算出するために加速度を測定する。地磁気センサ５３は、地図上でのカメラ装置１の方位を測定する。無線ＬＡＮ５４は、携帯通信４５と同様に、公共のＷｉ－Ｆｉステーションを経由してインターネット５５と接続する。

【0028】

なお、Ｂｌｕｅｔｏｏｔｈ４３、携帯通信４５、ＮＦＣタグリーダ５１、無線ＬＡＮ５４は、カメラ装置１の現在位置の測定にも利用することができる。これらがバス４１に接続され、ＣＰＵ４０の上で動作する制御ソフトウェアにより制御され、各種動作を行う構成となっている。

【0029】

図３Ａと図３Ｂは、カメラ装置１に設置するカメラデバイスと測距デバイスの具体構造を示す上面図である。ここには２つの例を示しており、カメラデバイスは同じ構造であるが、測距デバイスの構造が異なる。図３Ａと図３Ｂにおいて、カメラ装置１の正面側と背面側（本図では上下の面）には、２個のカメラデバイス１０ａ，１０ｂを設けている。各カメラデバイスは、魚眼レンズ１１で１８０度以上の画角で被写体からの光を取り込み、センサ１２で被写体の画像信号を生成する。２個のカメラデバイス１０ａ，１０ｂの画像を合成して、３６０度全方位の画像を取得する。カメラ装置１の左右側面には、２個の測距デバイス２０ａ，２０ｂを設けており、この測距デバイスも各々１８０度以上の画角で、被写体Ｐまでの距離を測定する。

【0030】

図３Ａにおける測距デバイス２０ａ，２０ｂは、発信器２１と受信器２２を、ハーフミラープリズム２３を用いて同軸になるように配置している。発信器２１から発信した所定の波長の信号は、魚眼レンズと同様に信号を屈折するレンズ２４により１８０度以上の角度に拡散される。信号の一部は被写体Ｐに当たって、反射した信号は前記レンズ２４により受信器２２の所定のセンサ画素に入力する。受信器２２では、画素毎に被写体Ｐまでの距離を算出する。

【0031】

図３Ｂおける測距デバイス２０ａ，２０ｂは、発信器２１から発信する信号を、レンズではなく拡散板２５により広角に投射する構成としている。拡散板２５は、例えば可視光の場合は半透明の白色パネルなどに例示される部材で、光をランダムな方向に拡散する部材である。ここで拡散板２５は、カメラ装置１の筐体表面２７より少し内側に設置することが望ましい。これにより、発信された信号は広角度θｄの範囲に拡散されるが、その範囲は受信レンズ２６からは外れているので、発信した信号が直接受信器２２に入射することを避けることができる。この場合、拡散角度θｄは１８０度以下の角度になるが、例えばカメラ装置１の四隅に拡散板２５を設置することで、３６０度全方位に信号を発信することができる。同時に、信号が直接受信部２２に入らないので、光学カメラで言うところの逆光条件のような、Ｓ／Ｎが低下する状態を構造的に避けることができる。

【0032】

次に、カメラ装置においてより広範囲に撮影し、解像度を確保するためのカメラデバイスの配置と構造について説明する。一般のカメラ装置において、一個のカメラデバイスを用いて撮影できる画角は、最大で１８０度強程度の画角となる。２００度を超えるような画角で撮影する魚眼レンズも存在するが、あまり広い画角を一斉に撮影しても、センサの画素数が少ないと、画像を切り出したときに十分な解像度を得られないこともある。よって、広画角でありながら所望の解像度を確保できるよう、画角とセンサ画素数をバランスよく選定してカメラデバイスを構成する必要がある。

【0033】

さらに、カメラ装置の外形やユーザの使用形態を考慮し、より効率的にカメラデバイスを設置することが望ましい。図１Ａに示した例では、２個のカメラデバイス１０ａ，１０ｂをカメラ装置の正面側と背面側に設置したが、以下のような変形配置も可能である。

【0034】

図４Ａと図４Ｂは、ユーザの使用形態を考慮したカメラデバイスの設置を示す図である。図４Ａはカメラデバイスの設置位置の第１の変形例を示す側面図で、広画角の１個のカメラデバイス１０ｃをカメラ装置１の上面に設けた場合である。ただし、カメラデバイス１０ｃの中心軸１０１ｃは、カメラ装置１の中心軸１０１に対して、カメラ装置の背面側（ディスプレイ４２と反対側）にαだけ傾けて設置する。これにより、単一のカメラデバイス１０ｃで広範囲の被写体を撮影することができ、実用的と言える。その理由を説明する。

【0035】

一般にユーザがカメラ装置１などの携帯端末を使用するとき、カメラ装置１の姿勢はユーザに正対した垂直方向１０２から、ディスプレイ４２を上に向けるように角度γだけ傾けた状態で保持する。広画角のレンズ（魚眼レンズ）により撮影を行う場合でも、有力な被写体は主にユーザから見て前方の上下方向の範囲に位置する可能性が高い。もし、カメラデバイス１０ｃの中心軸１０１ｃとカメラ装置１の中心軸１０１の方向を一致させると、カメラデバイス１０ｃの画角は少し上方向を向いた状態になり、有力な被写体の下部が有効撮影領域から外れる可能性がある。そこで、前方下方の撮影領域を増加させるために、カメラデバイス１０ｃの中心軸１０１ｃをαだけ前方方向に傾ける。このような姿勢でカメラデバイス１０ｃを設置することで、１８０度広画角の１個のカメラデバイスを用いた場合でも、広範囲の被写体を効率的に撮影することができる。

【0036】

図４Ｂはカメラデバイスの設置位置の第２の変形例を示す側面図で、２個のカメラデバイス１０ｄ，１０ｅを用いて、画角と解像度の両方を確保する場合である。カメラ装置１の両面に、広画角のカメラ１０ｄ，１０ｅを設置する。ただし、その画角はいずれも１８０度以下の画角でよい。そして、これらの２個のカメラデバイス１０ｄ，１０ｅの中心軸１０１ｄ，１０１ｅを、ユーザから見た水平方向（カメラ装置１の垂直軸方向）１０３に対して上方向に角度βだけ傾けて設置する。これにより、画角が１８０度以下のカメラデバイス１０ｄ，１０ｅであっても、２個のカメラデバイスの撮影領域を合成することで、相互のカメラの死角をカバーして広範囲の画像を得ることができる。またこの事例のようにカメラデバイスを設置する構成は、一般の３６０度に近い全方位カメラへも適用することができる。

【0037】

なお、図４Ａと図４Ｂの構成では、カメラデバイスと測距デバイスの位置関係が図１Ａの状態から角度α、βだけずれることになる。よって、図１Ｃに示したセンサ面のマトリクス座標においては、角度α、βだけ座標をずらす補正を行うものとする。

【0038】

図５は、全方位カメラデバイスの光学系を説明する図である。（ａ）は比較のための一般的なカメラの光学系を、（ｂ）と（ｃ）は魚眼レンズを用いた光学系を示す。

【0039】

（ａ）は一般的なカメラの光学系で、カメラを横から見た状態である。レンズの中心位置を主点Ｏで表す。ここから距離ｆの位置に平面状のカメラセンサＳ（またはフィルム）を配置する。光学レンズを用いた場合、ｆはレンズの焦点距離の値となる。この場合、被写体Ｐの全ての箇所からの光は、主点Ｏを通過してカメラセンサＳに入射する。これは所定の口径を有する光学レンズを用いた場合でも、ピンホールレンズ（薄い紙に限りなく径がゼロに近い穴を設けたレンズ）の場合でも、同様である。

【0040】

この光学系を用いて、被写体Ｐの下端をレンズ光軸に合わせた状態で撮影したとき、被写体Ｐの上端の点からの光は、画角θの角度でレンズの主点Ｏを通過し、カメラセンサ面Ｓ上の位置ｙｐの点に入射する。そのときの入射位置は、ｙｐ＝ｆ・ｔａｎθとなる。

【0041】

この光学系により撮影できる最大画角θｍａｘは、焦点距離ｆとカメラセンサの大きさに依存する。例えば、最大画角θｍａｘを９０度に近づけるためには、焦点距離ｆを限りなく小さくするか、カメラセンサＳを限りなく大きくせねばならない。この方式での実用的な最大画角θｍａｘは、大きくても５０度程度、上下合わせておよそ１００度程度までとされる。よってこの光学系では、画角１８０度のカメラデバイスに適用することは困難である。

【0042】

（ｂ）は、魚眼レンズを用いた光学系の場合を示す。（ａ）で説明したように、平面状のカメラセンサＳの構成では１８０度の広角撮影を行うことは困難であるので、カメラセンサＳを球面状に構成する魚眼レンズを適用している。魚眼レンズのような超広角撮影を行うレンズ構成には、等距離射影方式、立体射影方式等の方式があるが、ここでは最も一般的な等距離射影方式の場合を示す。

【0043】

この構成では、球面の半径ｆを焦点距離として、画角θは光軸を中心として±９０度、合計１８０度までの範囲の被写体Ｐからの光を、主点Ｏを通って球面状のカメラセンサＳに入射させる。これにより、例えば被写体Ｐの上端からの光は画角θでレンズの主点Ｏを通過し、レンズ光軸からｙｐの位置に入射する。そのときのカメラセンサ上の入射位置は、ｙｐ＝ｆ・θとなる。

【0044】

この図はカメラを横方向（ｘ軸方向）から見た図であり、垂直方向（ｙ軸方向）に位置する被写体Ｐが、画角θで入射しカメラセンサ上のｙｐの位置に結像される。同様に、カメラを上方向（ｙ軸方向）から見た場合における、水平方向（ｘ軸方向）に位置する被写体については、画角φで入射するとカメラセンサ上のｘｐの位置に結像される。よって、両者の入射角（φ，θ）と、カメラセンサ上の結像座標の関係は、（ｘｐ，ｙｐ）＝（ｆ・φ，ｆ・θ）で表すことができる。

【0045】

ただし、実際のカメラセンサＳは（ｂ）のような球面ではなく、（ａ）のような平面で構成する。そのために、（ａ）に示す平面構造のカメラセンサを用いて、（ｂ）の魚眼レンズの光学構成を実現するためのレンズ構成も知られている。これにより、球面のカメラセンサ上の座標系は、中心の光軸からの距離（ｘｐ，ｙｐ）を基準として平面の座標系に展開される。

【0046】

（ｃ）は、カメラセンサ平面上でのｘ軸、ｙ軸の二次元座標系を示し、その座標から被写体からの入射角を特定することができる。即ち、被写体から角度（φ，θ）で入射した光は、（ｃ）に示す平面形状のカメラセンサ上のｘ軸、ｙ軸の座標系において、上記式で計算される座標（ｘｐ，ｙｐ）に入射されることになる。

【0047】

（ｂ）（ｃ）に示す光学系は、本実施例における１８０度以上の広角度を撮影するカメラデバイスに用いるだけでなく、光と同等の波長を有し、光学レンズによる偏向が可能な信号を用いる場合にも、この光学系を利用することができる。即ち、本実施例における測距デバイスの光学系にも適用することができる。

【0048】

図６Ａと図６Ｂは、測距デバイスによる距離測定方法を説明する図である。測距デバイス２０は、発信器２１と受信器２２を有し、距離が異なる２つの被写体Ｐ１，Ｐ２の距離測定について説明する。

【0049】

図６Ａにおいて、発信器２１は赤外光からテラヘルツ帯に至るまでの、所定の周波数の信号を発信する。発信器２１から出力された信号は、近距離Ｌ１にある被写体Ｐ１に当たって、反射した信号は受信器２２で受信される。遠距離Ｌ２にある被写体Ｐ２も同様で、反射した信号は受信器２２で受信される。ここで、測距デバイスに使用する信号は、測定対象である被写体を含む周囲環境に自然に存在するレベルが小さく、測距デバイスから発信して、被写体からの反射信号を受信する際の受信信号レベルに影響を与えないような波長の信号を利用するものとする。

【0050】

受信器２２のセンサ面は、図１Ｃ（ｂ）で示したようにマトリクス状の画素で構成されており、各方向から入射した信号が所定の画素に入射されるように設定されている。そのため、例えば光学レンズにより所定の方向に偏向して、画角１８０度以上の魚眼レンズと同様に広い角度範囲からの信号を受信する。これより、方向が異なる２つの被写体Ｐ１，Ｐ２からの信号は、各々センサ面の異なる画素に入射される。従って、発信器２１から出射された信号は、被写体Ｐ１の場合は距離Ｌ１×２、被写体Ｐ２の場合は距離Ｌ２×２だけ伝搬して、受信器２２の各々の被写体の方位に対応した画素にて受信される。

【0051】

図６Ｂは、信号波形と距離算出方法を説明する図である。発信器２１から出力する信号波形と、２つの被写体Ｐ１，Ｐ２から反射して受信器２２が受信する信号波形を示す。これらの波形を比較することで、被写体までの距離を算出することができる。以下、受信した信号波形から距離を算出するための３通りの方法を説明する。

【0052】

（ａ）は、信号波形の時間差から算出する方法である。発信器２１の出力信号が２１０のような所定の時間幅を有するパルス波形で出力された場合、被写体に反射して戻ってくる波形は、出力波形に対して、被写体までを往復する時間だけ遅れて受信器２２で受信される。近距離の被写体Ｐ１の場合は２２１のような受信波形、遠距離の被写体Ｐ２の場合は２２２のような受信波形となり、それぞれΔＴ１、ΔＴ２の遅延時間をもって受信される。発信器２１から発信される信号は光速度Ｃ（≒３０万ｋｍ／ｓｅｃ）で伝搬するため、各々の被写体Ｐ１，Ｐ２までの距離Ｌ１，Ｌ２は、
Ｌ１＝Ｃ×ΔＴ１／２、Ｌ２＝Ｃ×ΔＴ２／２
で求められる。この場合、距離の測定精度は遅延時間ΔＴをどれだけ精度良く測定できるかに依存するため、高精度の距離測定のためには、高速のクロックを駆動させてカウントする必要がある。

【0053】

（ｂ）は、信号波形を積分してパワー換算値から算出する方法の例である。発信した信号のパルス波形２１０と、受信した信号のパルス波形２２１，２２２との論理積（斜線部の面積）を演算することで、受信信号の遅延量をパワー値Ｑとして取得することができる。このパワー値Ｑの大小が距離に対応し、近距離の被写体Ｐ１からは大きなパワー値Ｑ１を、遠距離の被写体Ｐ２からは小さなパワー値Ｑ２を得ることになる。距離の値Ｌ１，Ｌ２は、予め設定した発信パルス波形２１０のパワー値Ｑ０との差分と、距離と受信パワーの関係を示す比例係数ｋを用いて、
Ｌ１＝ｋ（Ｑ０－Ｑ１）、Ｌ２＝ｋ（Ｑ０－Ｑ２）
で算出することができる。本方式の場合、各々の被写体の反射率が同じであれば、距離と受信パワーの関係はリニアになり、精度良く距離を測定することができる。

【0054】

（ｃ）は、（ｂ）と同様にパワー換算値から算出する方法であるが、各被写体の反射率が異なる場合への対応を示す。受信信号のピークレベル（振幅値）は、被写体の反射率に依存するので、例えば被写体Ｐ１からの受信信号２２１’はピークレベルが高く、被写体Ｐ２からの受信信号２２２’はピークレベルが低くなる。よって、このまま積分してパワー値を求めると、反射率の差が測定誤差となってしまう。そこで、被写体までの距離測定では、受信信号の有無の期間を判別すれば足りるので、受信信号のピークレベルの情報は使用しない。すなわち、受信信号をＡ／Ｄ変換したデータのうち、下位ビットの情報（斜線部の面積）のみを使用することで、それぞれのパワー値Ｑ１’，Ｑ２’を取得する。そして、（ｂ）と同様にそれぞれの距離を算出する。これによれば、被写体の反射率の差異等により受信信号の最大レベルに変動があっても、遅延時間に対応した距離を精度良く測定することができる。

【0055】

図７は、保存する画像データと距離データの画素対応を示す図である。（ａ）は、カメラデバイスにより撮影した画像データを示す。縦横二次元のマトリクス形状で、水平画素数×垂直画素数の数だけ、各画素のデータを保存する。各画素は、輝度及び色差信号（Ｙ，Ｕ，Ｖ）各々に所定のビット幅（例えばＹ＝８ｂｉｔに対して、Ｕ，Ｖ＝４ｂｉｔ）のデータを有する。

【0056】

（ｂ）は、測距デバイスにより測定した被写体までの距離データを示す。この例では、（ａ）の画像データにおける隣接する４個の画素Ｇ１～Ｇ４に対して１つの画素Ｇ５を対応させている。つまり、（ａ）の４個の画像データに対して（ｂ）の１個の距離データを対応させており、距離データ数は画像データ数の１／４となっている。

【0057】

この場合、距離データ数（画素数）は、勿論、画像データ数（画素数）と同じにしてもよいが、両者のデータ数を異ならせても実用的には支障が生じない。その理由は、９０度直交した異なる光学系により画像データと距離データを同じ画素数で個別に取得する場合、カメラデバイスの軸精度と測距デバイスの分解能の限界により、距離データと画像データとを画素単位で一致させることは難しい。また、距離データは被写体（物体）単位に距離を知りたい場合には、被写体内での分解能が多少低くても許容される。よって、距離データと画像データの位置関係が確保できる範囲で、優先する画像データ数を多くし、距離データ数を少なくしている。

【0058】

図８Ａは、保存するデータファイルのフォーマットを示す図である。データファイル３００は、大きく５つの部分で構成される。カメラ装置による撮影時の状態を示す撮影情報３１０、撮影者もしくはカメラ装置の所有者の個人情報を示す撮影者情報３２０、画像データの縮小画像でサムネイルとして利用可能なサムネイルデータ３３０、そして画像データ本体３４０、距離データ本体３５０からなる。ここでサムネイルデータ３３０と画像データ本体３４０には、その画像サイズ（縦横画素数）やエンコード方式、デコードに必要な情報などが含まれている。

【0059】

撮影情報３１０は、撮影日時、ファイルの保存日時、カメラ名、レンズ名、シャッター速度、絞り値、フィルムモード、ＩＳＯ感度、撮影場所座標、そして撮影地の概略地名等が記述されている。ファイルの保存日時は、例えばカメラ装置内、携帯端末内、あるいはＰＣ内で画像データに必要な処理を施され（一般に言われる現像処理等）、その結果を保存した時刻である。フィルムモードは、カラーネガやカラースライドのように色再現特性の異なる動作モードや、白黒やセピアカラーなどの特殊加工モードなどの種別を示す。撮影場所座標は、ＧＰＳ５０により捕捉した撮影場所の緯度・経度の値で示される座標である。

【0060】

画像データ本体３４０には、各画素の輝度／色差情報が、例えばＪＰＥＧと呼称されるフォーマットのファイルとして保存される。距離データ本体３５０には、各画素の距離データが、前記輝度／色差情報のＪＰＥＧファイルと同じファイル名を有し、拡張子を変えファイルで保存される。これより、画像データと距離データの対応付けを容易にしている。あるいは、画像データ本体３４０の後半部分に距離データ本体３５０を追記し、新たなフォーマットの共通のファイルとして保存してもよい。

【0061】

なお、距離データ本体３５０は、画素毎に順にデータを並べてそのまま保存してもよいが、被写体の各部分までの距離は、空間上の並びで隣接する画素同士で相関がある。よって、画像データ本体３４０と同様に、離散コサイン変換とハフマン符号化を用いたＪＰＥＧ方式による圧縮を行って保存してもよい。

【0062】

図８Ｂは、データファイルの検索方法を説明する図である。ここには、データファイル３００の構成を詳細に示しており、項目として、ヘッダ、画像データ属性３４１、撮影情報（属性値、位置情報など）３１０、サムネイル属性３３１、距離データ属性３５１、サムネイルデータ３３０、画像データ本体３４０、距離データ本体３５０より構成される。

【0063】

画像データ本体３４０は、画像データ属性３４１に記述された水平方向画素数×垂直方向画素数（例えば１９２０×１０８０）の画素について、ＹＵＶ値の各々８ｂｉｔのデータを点順次に並べた形式で記述される。距離データ本体３５０の場合も同様に、距離データ属性３５１に記載された水平方向画素数×垂直方向画素数（例えば６４０×４８０）の画素について、距離値の８ｂｉｔのデータを点順次に並べた形式で記述される。

【0064】

画像データ属性３４１、距離データ属性３５１、サムネイル属性３３１には、各データや属性値の情報を検索するためのアドレスポインタが記述されている。画像データポインタを選択すると、画像データ本体３４０から所望の画像を抽出して表示する。距離データポインタを選択すると、距離データ本体３５０から所望の距離値を読み出して表示する。このとき、同じアドレスを指定すれば、同一の被写体に対する画像と距離を対応させて表示することができる。また、属性フォーマットポインタを選択すると、属性フォーマットバージョンの値（Ｖｅｒ．２．３）が表示される。その他、撮影位置情報や撮影日時情報についても同様に表示できる。

【0065】

図９は、検索したデータの表示例を示す図である。カメラ装置１のディスプレイ４２には、ユーザが指定した画像を表示している。そして、ユーザが画面内の被写体Ｐ１に指でタッチすると、その被写体Ｐ１までの撮影時の距離が符号４００のように表示される。本実施例では、被写体の位置情報は３次元座標で記憶されている。よって、ユーザが２つの被写体Ｐ１，Ｐ２を指定すると、２つの被写体Ｐ１，Ｐ２間の距離も表示することができる。これにより、ユーザが後で撮影画像を閲覧するとき、被写体の距離を合わせて知ることで、撮影時の状況や感動をより強く思い返すことができる。

【0066】

実施例１によれば、全方位の被写体の画像を高精度に撮影しつつ、全方位の被写体までの距離を測定し、画像と距離のデータを対応付けて保存することが可能となる。

【実施例0067】

実施例２では、４個のカメラデバイスを用いて、３６０度全方位の画像撮影と被写体までの距離測定を行う方法を示す。この方式は、眼鏡型筐体に４個のカメラデバイスを設置しており、ユーザが頭部に装着して使用する場合に好適である。

【0068】

図１０Ａは、実施例２に係る眼鏡型カメラ装置２の外観を示す斜視図である。前面レンズ５０１ａ，５０１ｂの両側と、テンプル５０２ａ，５０２ｂの後端に、合計４個のカメラデバイス３０ａ～３０ｄを設置する。各カメラデバイス３０ａ～３０ｄの撮影方向は、設置位置を頂点とする四角形の対角線方向としている。

【0069】

各カメラデバイスの撮影範囲は、上下（垂直）方向１８０度以上、左右（水平）方向９０度以上（１８０度以下でよい）あれば、３６０度全方位の撮影を行うことができる。このとき、周囲にある被写体を２個のカメラデバイスにより同時に撮影することができるので、２個のカメラの間隔を基線長として、被写体までの距離を算出することができる。いわゆる、ステレオカメラによる距離測定方式を採用する。この方式により３６０度全方位の被写体を、画素単位で距離情報を算出して、実施例１と同様に、撮影画像と共に保存することができる。

【0070】

なお、カメラデバイスの撮影範囲を全方向９０度以上程度の仕様とした場合でも、カメラ装置中心とした撮影範囲は、上下方向は９０度だが前後左右方向は３６０度全方位となり、カメラ装置を中心とした全周パノラマイメージに対する画像撮影と距離測定を行うことができる。

【0071】

図１０Ｂは、眼鏡型カメラ装置２による距離測定精度を説明する図であり、カメラ装置の上面図を示す。図面左方向が前面レンズ５０１側である。眼鏡型カメラ装置２の４隅には、各々カメラデバイス３０ａ～３０ｄが取り付けてあり、ここでは水平方向及び垂直方向に各々１８０度の撮影画角を有しているとする。

【0072】

このカメラ装置２で被写体Ｐを撮影する場合、カメラデバイス３０ｂと３０ｄを用いることになるが、これらのカメラデバイスの撮影画角を各々θｂ、θｄで示す。被写体Ｐの位置がテンプル５０２ｂからの距離Ｌｂより遠距離であれば、両方のカメラデバイス３０ｂ，３０ｄで同時に被写体Ｐを捉えることができるので、距離を測定することが可能になる。この図で、測定最短距離Ｌｂは眼鏡全幅Ｌ０の１／３程度とした場合、眼鏡全幅Ｌ０を例えば１４ｃｍとすれば、距離Ｌｂ＝約４．７ｃｍ以遠の被写体までの距離を測定することが可能になる。

【0073】

ここで、被写体Ｐまでの距離の測定精度について考察する。一般のステレオカメラ方式の測定精度は、同時に撮影する際の２個のカメラの間隔が広いほど精度が高い。このため、撮影対象である被写体Ｐが、眼鏡型カメラ装置２の正面、背面、左右正面に位置する時が、最も測定精度が高く、斜め４５度に位置するときは、測距精度が１／√２（＝７０％）に低下する。これは測距精度だけではなく、任意の連続した２個のカメラを利用してステレオ画像を得る場合の、ステレオ効果にも同様の影響を及ぼす。

【0074】

これは一般のカメラレンズを用いた場合であるが、本実施例によるカメラ装置では、図５で示した魚眼レンズを用いて撮影・測距を行っているので事情が異なる。被写体Ｐをカメラデバイス３０ｂが捉えるとき、カメラデバイス３０ｂの光軸に対して角度θｐの方向に写るが、図５で説明したように、この角度θｐと、センサ面上の画素の中心からの距離は、ｘ＝ｆ・θｐで表され、単純比例関係にある。このため被写体の測距精度は、カメラデバイスの間隔ではなく、カメラデバイスから見える方向を角度に変換し、その角度精度が測距精度となる。

【0075】

図１０Ｃは、被写体方向による測定精度への影響を説明する図である。被写体Ｐと、これを測定するカメラデバイス３０ｂ，３０ｄの位置を結ぶ三角形を描いている。例えば、被写体Ｐとカメラデバイス３０ｂ，３０ｄとの距離Ｄを１ｍ、かつカメラデバイス３０ｂ，３０ｄの間隔Ｌ１を１４ｃｍとしたとき、被写体Ｐがカメラデバイス３０ｂ，３０ｄの正面にある場合（Ｐ１）の頂点角度θ１は約８度、斜め４５度にある場合（Ｐ２）の頂点角度θ２は約４度となる。

【0076】

これより、各々の状態において２個のカメラデバイスにおける底辺角度は合計１７２度（１８０－８度）および１７６度（１８０－４度）となり、その偏差は２％程度であり大きな差異はない。これより、本実施例のように魚眼レンズを用いて光学系を構成することで、眼鏡型カメラ装置２に搭載したカメラデバイスのうち、２つを選択して距離測定をする場合は、被写体の位置が眼鏡型カメラ装置に対して正面にいても、斜め位置にいても、測距精度の差は２％程度となり、大きな誤差なく距離測定をすることが可能になる。

【0077】

実施例２によれば、実施例１と同様に、全方位の被写体の画像を高精度に撮影しつつ、全方位の被写体までの距離を測定し、画像と距離のデータを対応付けて保存することが可能となる。特に、カメラ装置をユーザが頭部に装着して使用する場合に好適である。