特許 7369588 撮像機器及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-18

(45)【発行日】2023-10-26

(54)【発明の名称】撮像機器及び撮像方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231019BHJP

   G06T 7/593 20170101ALI20231019BHJP

【ＦＩ】

H04N23/60 500

G06T7/593

【請求項の数】 5

(21)【出願番号】P 2019190476

(22)【出願日】2019-10-17

(65)【公開番号】P2021068929

(43)【公開日】2021-04-30

【審査請求日】2022-10-06

(73)【特許権者】

【識別番号】318012780

【氏名又は名称】ＦＣＮＴ株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】竹本 裕治

(72)【発明者】

【氏名】公平 徹

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００２－０７１３０９（ＪＰ，Ａ）

【文献】特開２０１２－０５００１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

被写体を撮像する撮像素子を有するカメラと、
前記被写体に対して前記撮像素子と並ぶように設けられ、前記被写体の深度を取得する深度カメラであって、前記深度カメラ自身が配置される位置を原点とし、前記撮像素子の撮像面と平行な横軸であって前記撮像素子と前記深度カメラとが並ぶ方向に沿う横軸と、前記撮像面と平行な縦軸であって前記横軸と直交する縦軸と、を座標軸とする深度カメラ座標系における位置毎の前記深度を取得する深度カメラと、
前記深度カメラ座標系における位置を、前記撮像素子が配置される位置を原点とし、該横軸に平行な横軸と、該縦軸に平行な縦軸とを座標軸とするカメラ座標系における位置へと移動させる移動量を含むシフトテーブルを記憶する記憶部と、
前記深度カメラによって取得された前記深度に対応する前記深度カメラ座標系における位置に、該位置に対応する移動量であって、前記記憶部に記憶される前記シフトテーブルに含まれる前記移動量を加えることにより、該位置を前記カメラ座標系における位置へと移動させる移動部と、
前記深度カメラにより取得された前記深度を、前記移動部により移動させられた前記カメラ座標系における位置での深度として出力する出力部と、を備え、
前記シフトテーブルに含まれる前記移動量は、
前記被写体の深度毎に設定される、前記横軸方向の移動量及び前記縦軸方向の移動量を含み、
前記カメラの画角及び前記深度カメラの画角、並びに前記カメラにより生成される画像の画素数及び前記深度カメラにより生成される画像の画素数を用いて算出される、
撮像機器。

【請求項2】

前記シフトテーブルに含まれる前記移動量は、前記被写体の複数の深度の範囲毎に設定される移動量を含む、
請求項１に記載の撮像機器。

【請求項3】

前記シフトテーブルに含まれる前記移動量は、前記撮像素子が実装される部分の中心と前記深度カメラが実装される部分の中心との間の距離毎に設定される、前記横軸方向への移動量及び前記縦軸方向への移動量を含む、
請求項１又は２に記載の撮像機器。

【請求項4】

前記カメラはズームレンズを有し、
前記シフトテーブルに含まれる前記移動量は、前記ズームレンズによるズーム倍率毎に設定される、前記横軸方向への移動量及び前記縦軸方向への移動量を含む、
請求項１から３のうちいずれか一項に記載の撮像機器。

【請求項5】

カメラに設けられる撮像素子が被写体を撮像する撮像ステップと、
前記被写体に対して前記撮像素子と並ぶように設けられる深度カメラが前記被写体の深度を取得する深度取得ステップであって、前記深度カメラ自身が配置される位置を原点とし、前記撮像素子の撮像面と平行な横軸であって前記撮像素子と前記深度カメラとが並ぶ方向に沿う横軸と、前記撮像面と平行な縦軸であって前記横軸と直交する縦軸と、を座標軸とする深度カメラ座標系における位置毎の前記深度を取得する深度取得ステップと、
前記深度カメラ座標系における位置を、前記撮像素子が配置される位置を原点とし、該横軸に平行な横軸と、該縦軸に平行な縦軸とを座標軸とするカメラ座標系における位置へと移動させる移動量を含むシフトテーブルを記憶する記憶ステップと、
前記深度カメラによって取得された前記深度に対応する前記深度カメラ座標系における位置に、該位置に対応する移動量であって、前記記憶ステップにおいて記憶される前記シフトテーブルに含まれる前記移動量を加えることにより、該位置を前記カメラ座標系にお
ける位置へと移動させる移動ステップと、
前記深度カメラにより取得された前記深度を、前記移動ステップにおいて移動させられた前記カメラ座標系における位置での深度として出力する出力ステップと、を含み、
前記シフトテーブルに含まれる前記移動量は、
前記被写体の深度毎に設定される、前記横軸方向の移動量及び前記縦軸方向の移動量を含み、
前記カメラの画角及び前記深度カメラの画角、並びに前記カメラにより生成される画像の画素数及び前記深度カメラにより生成される画像の画素数を用いて算出される、
撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像機器及び撮像方法に関する。

【背景技術】

【0002】

近年、被写体の三次元情報を計測可能な技術や当該技術を利用したアプリケーションが開示されている（例えば特許文献１－２及び非特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－０５００１３号公報

【文献】特開２００２－０７１３０９号公報

【非特許文献】

【0004】

【文献】「オッポジャパン 先進的なデザインとテクノロジー搭載のスマートフォン2製品を発表」、［令和１年５月３０日検索］、インターネット＜ＵＲＬ：https://japan.cnet.com/release/30282613/＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

被写体の三次元情報を計測するためには、被写体を撮像する撮像素子と、被写体の深度を測定可能な深度カメラとが必要であると考えられる。しかしながら、撮像素子と、深度カメラとが別体である場合、同一基板上の同一部分に撮像素子と深度カメラとを実装することは困難と考えられる。よって、撮像素子により撮像される画像に映る被写体の位置と、深度カメラによって撮像される画像に映る被写体の位置とに差が生じることが考えられる。よって、被写体の正確な深度が得られないことが考えられる。そこで、被写体の正確な深度を得る方法の一例として、深度カメラが実装される位置を基準とする３Ｄ空間座標系から撮像素子が実装される位置を基準とする３Ｄ空間座標系への変換マトリクスを事前に生成し、深度カメラにより測定される被写体の深度情報及びその深度に対応する当該被写体の位置情報に、当該変換マトリクスを乗じることにより深度及び深度に対応する位置情報を補正する方法が考えられる。しかしながら、このような方法の場合、乗じられる変換マトリクスは、３Ｄ空間全体に対し処理するマトリクスであるため、計算負荷が大きい。よって、演算処理速度の低いＣＰＵを搭載した携帯端末では、被写体の正確な深度をリアルタイムに求めることが困難となる可能性が考えられる。

【0006】

一つの側面では、本件は、撮像画像に映る被写体の深度を撮像素子とは別体の深度カメラで測定する場合に、被写体の正確な深度をリアルタイムに得ることが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの態様では、被写体を撮像する撮像素子を有するカメラと、前記被写体に対して前記撮像素子と並ぶように設けられ、前記被写体の深度を取得する深度カメラであって、前記深度カメラ自身が配置される位置を原点とし、前記撮像素子の撮像面と平行な横軸であって前記撮像素子と前記深度カメラとが並ぶ方向に沿う横軸と、前記撮像面と平行な縦軸であって前記横軸と直交する縦軸と、を座標軸とする深度カメラ座標系における位置毎の前記深度を取得する深度カメラと、前記深度カメラ座標系における位置を、前記撮像素子が配置される位置を原点とし、該横軸に平行な横軸と、該縦軸に平行な縦軸とを座標軸とするカメラ座標系における位置へと移動させる移動量を含むシフトテーブルを記憶する記
憶部と、前記深度カメラによって取得された前記深度に対応する前記深度カメラ座標系における位置に、該位置に対応する移動量であって、前記記憶部に記憶される前記シフトテーブルに含まれる前記移動量を加えることにより、該位置を前記カメラ座標系における位置へと移動させる移動部と、前記深度カメラにより取得された前記深度を、前記移動部により移動させられた前記カメラ座標系における位置での深度として出力する出力部と、を備え、前記シフトテーブルに含まれる前記移動量は、前記被写体の深度毎に設定される、前記横軸方向の移動量及び前記縦軸方向の移動量を含み、前記カメラの画角及び前記深度カメラの画角、並びに前記カメラにより生成される画像の画素数及び前記深度カメラにより生成される画像の画素数を用いて算出される、撮像機器である。

【0008】

また、前記シフトテーブルは深度と移動量の関係性において非線形をもっており、移動の方向は前記カメラと前記深度カメラのなす方向である。

【0009】

上記のような撮像機器によれば、深度カメラから撮影シーン毎の深度カメラ座標系における夫々の位置での深度を取得することができる。また、事前に用意した（カメラ配置から得られる）深度と撮像面に平行な方向の座標移動量を示すシフトテーブルにより、深度カメラ座標系における位置毎の撮像面方向の移動量（横軸方向、縦軸方向）を算出することができる。そして、算出された移動量を、深度カメラにより取得された深度カメラ座標系における被写体の位置に加えることにより、被写体の位置を移動させることができる。よって、撮像機器が表示画面を備える場合、各深度カメラ座標系における位置を表示画面内の所定の点を原点とする表示画面座標系における位置に対応させた後、表示画面座標系の各位置に対し、先に取得した被写体の深度を割当てる処理が実行でき、このような処理が実行されることにより表示画面座標系の各位置での正確な深度情報を伴う被写体の像が表示画面にリアルタイムに映すことができる。

【0010】

また、通常は別処理として行うセンサーのエラー処理が、前記シフトテーブルの深度値表中に０等のＮＣ値を入れ、これとセンサエラーを対応させることで、前記移動処理と同時にできるため、全体の処理の高速化ができるようになる。ここでのエラー処理はセンサディフェクトの発見とその値の補完処理である。

【発明の効果】

【0011】

上記の撮像機器は、撮像画像に映る被写体の深度を撮像素子とは別体の深度カメラで測定する場合に、被写体の正確な深度をリアルタイムに得ることが可能となる。また、センサエラー処理を含む処理が高速化される。

【図面の簡単な説明】

【0012】

【図1】図１は、実施形態に係るスマートフォンの概要を例示する。

【図2】図２は、撮影用カメラモジュールと、深度カメラモジュールとの位置関係を説明した図である。

【図3】図３は、撮影用カメラモジュールから被写体の所定の部分までの距離と、中心軸ズレ量との関係を表したグラフである。

【図4】図４は、図３に示される中心軸ズレ量の影響を図式化したものである。

【図5】図５は、スマートフォンの機能構成の概要を模式的に例示する。

【図6】図６は、画像フレームデータの概要を例示している。

【図7】図７は、非線形データテーブルの一例を示している。

【図8】図８は、深度－撮影座標変換テーブルの一例を示している。

【図9】図９は、画像フレームデータの生成フローの概要を例示した図である。

【図10】図１０は、上記の画像フレームデータの生成フローを適用したアプリケーションの概要を示している。

【図11】図１１は、画像フレームデータの生成フローの変形例を示した図である。

【図12】図１２は、実施形態の第二変形例を例示している。

【図13】図１３は、撮影用カメラモジュールから被写体の所定の部分までの距離と、中心軸ズレ量との関係をズームレンズの倍率毎に表したグラフである。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について説明する。以下に示す実施形態は、本発明の実施形態の一例であり、本発明の技術的範囲を以下の態様に限定するものではない。

【0014】

図１は、本実施形態に係るスマートフォン１０の概要を例示する。（Ａ）はスマートフォン１０の正面図を示している。（Ｂ）はスマートフォン１０の背面図を示している。スマートフォン１０は、正面側にタッチパネルディスプレイ１１を備える。タッチパネルディスプレイ１１に表示される画像の解像度は、例えばＦｕｌｌＨＤ（約８００万画素）であってもよい。また、スマートフォン１０は、筐体の内部にＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２と、記憶装置１３と、を備える。また、スマートフォン１０は、被写体を撮像可能な撮像素子を含む撮影用カメラモジュール２０と、被写体までの距離（以降、深度という）を測定可能な深度カメラモジュール３０を背面側に備える。撮影用カメラモジュール２０と深度カメラモジュール３０とは、筐体の長手方向に並んで配置される。また、深度カメラモジュール３０には、その内部の基板表面に、被写体の深度を測定可能なように、被写体へ向けて近赤外光を照射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１４が設けられる。ここで、スマートフォン１０は、本発明の「撮像機器」の一例である。また、撮影用カメラモジュール２０は、本発明の「カメラ」の一例である。

【0015】

図２は、撮影用カメラモジュール２０と、深度カメラモジュール３０との位置関係を説明した図である。撮影用カメラモジュール２０と深度カメラモジュール３０とは被写体に対して並ぶように配置される。撮影用カメラモジュール２０には、被写体を撮像する撮像素子が、撮影用カメラモジュール２０が有する基板表面に設けられている。また、当該撮像素子により生成される画像の画素数は、例えば８Ｍ（約８００万画素）である。

【0016】

一方、深度カメラモジュール３０は、測定した被写体の深度情報に対応する二次元マップ状の画像を出力する。そして、被写体の深度情報の二次元マップ画像の画素数は、例えばＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃ Ａｒｒａｙ，約３０万画素）である。

【0017】

図３は、撮影用カメラモジュール２０から被写体の所定の部分までの距離と、中心軸ズレ量との関係を表したグラフである。中心軸ズレ量とは、撮影用カメラモジュール２０の基板に実装される撮像素子の実装部分の中心と被写体の所定の部分とを結んだ線と、深度カメラモジュール３０のＬＥＤ１４が実装される部分の中心と被写体の当該所定の部分とを結んだ線との間の距離のことである。そして、図３のグラフの縦軸に示される中心軸ズレ量は、深度カメラモジュール３０から出力される画像の解像度に換算した量である。また、図３のグラフは、撮影用カメラモジュール２０の撮像素子の中心と深度カメラモジュール３０のＬＥＤ１４の中心との間の距離毎（例えば１ｃｍ、３ｃｍ、５ｃｍ）に示されている。また、図４は、図３に示される中心軸ズレ量の影響を図式化したものである。

【0018】

図３及び図４から、撮影用カメラモジュール２０によって生成される画像に、深度カメラモジュール３０により生成される被写体の深度情報の二次元マップ画像を重ねて表示した場合、その表示される合成画像は、被写体の深度を正確に表していないことになる（被写体の深度が図３に示される中心軸ズレ量の分だけ画像面に平行な方向にズレて合成画像に映る）。よって、図３に示される当該距離と中心軸ズレ量との関係に基づき、被写体の深度を正確に合成画像に映す処理の実行が考えられる。

【0019】

また、図３及び図４に示されるように、撮影用カメラモジュール２０から被写体の所定の部分までの距離と、中心軸ズレ量との関係は、当該距離が近づくにつれて中心軸ズレ量が大きくなる関係となる。また、中心軸ズレ量は、当該距離に対して非線形な関係となる。しかしながら、図３に示されるような当該距離と中心軸ズレ量との関係とは、測定されることなく、撮影用カメラモジュール２０の画角及び画素数、並びに深度カメラモジュール３０の画角及び画素数より理論的に算出可能である。よって、被写体の深度を正確に合成画像に映す処理は、撮影用カメラモジュール２０及び深度カメラモジュール３０の画角及び画素数が変更された場合であっても簡易に実行可能である。

【0020】

（機能構成）
図５は、スマートフォン１０の機能構成の概要を模式的に例示する。スマートフォン１０は、ＣＰＵ１２等のプロセッサ、ＲＡＭやＲＯＭ等の記憶装置１３、ハードディスクドライブ等の補助記憶装置、タッチパネルディスプレイ１１を有するコンピュータである。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納され、そこに格納されたプログラムを記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、後述するような、所定の目的に合致した各機能を実現することができる。

【0021】

スマートフォン１０は、画像処理部１０１を備える。画像処理部１０１は、撮影用カメラモジュール２０によって生成される二次元画像データに対して各種処理を実行する。各種処理とは、例えば画像のホワイトバランス調整、露光調整、フォーカス調整、トリミングなどの処理のことである。

【0022】

また、スマートフォン１０は、ファインダデータ生成部１０２を備える。ファインダデータ生成部１０２は、画像処理部１０１によって処理された二次元画像の各画素（ｘ´，ｙ´）の位置における色彩情報を画像フレームデータＰとして生成する。ここで、ｘ´は画像の幅方向、ｙ´は画像の高さ方向を表す値である。

【0023】

また、スマートフォン１０は、深度取得部１０３を備える。深度取得部１０３は、深度カメラモジュール３０から出力される深度の二次元マップ画像から、画像フレームデータＺ（ｘ，ｙ）を生成する。図６は、画像フレームデータの概要を例示している。図６（Ａ）は、画像フレームデータＺ（ｘ，ｙ）を示している。図６（Ｂ）は、画像フレームデータＺ（ｘ，ｙ）から所定の変換処理により生成される画像フレームデータＺ´（ｘ´，ｙ´）を示している（詳細は後述する）。ここで、ｘは画像の幅方向、ｙは画像の高さ方向を表す値である。図６（Ａ）に示されるように、深度カメラモジュール３０を使用することにより、座標に応じた深度情報を取得することができる。

【0024】

ここで、図３及び図４に示されるように、撮影用カメラモジュール２０と深度カメラモジュール３０とは異なる場所に配置されているため、夫々のカメラモジュールの中心から被写体を結ぶ線分同士は異なることになる。よって、撮影用カメラモジュール２０により生成される画像上の所定の位置の真の深度と深度取得部１０３により取得された深度とは異なることになる。そこで、スマートフォン１０は、ズレ補正処理部１０４を備える。ズレ補正処理部１０４は、入力に対して非線形データテーブルＡ（Ｚ）を参照し、深度取得部１０３によって生成される画像フレームデータZのｘ成分およびｙ成分を、参照した値
だけ所定量シフトさせる。つまり、深度カメラモジュール３０が配置される部分を基準とする座標系のｘ成分及びy成分は、撮影用カメラモジュール２０が配置される部分を基準
とする座標系のｘ成分及びｙ成分へとシフトさせられる。ここで、ズレ補正処理部１０４は、本発明の「移動部」の一例である。

【0025】

図７は、非線形データテーブルＡ（Ｚ）の一例を示している。ここで、図３に示される
ように、撮影用カメラモジュール２０から被写体の所定の部分までの距離と、中心軸ズレ量との関係は、当該距離に応じて中心軸ズレ量が変化する関係である。よって、図７に示されるように、Ａ（Ｚ）は、深度に応じて（ｘ，ｙ）座標の座標移動量が変化するように設定されている。また、Ａ（Ｚ）は、測定されることなく、撮影用カメラモジュール２０の画角及び画素数、並びに深度カメラモジュール３０の画角及び画素数より理論的に算出可能である。また、Ａ（Ｚ）は、図示しないが、撮影用カメラモジュール２０と深度カメラモジュール３０との間の距離毎に理論的に設定可能である。ここで、図７に示される座標移動量は、本発明の「移動量」の一例である。また、図７に示される非線形データテーブルＡ（Ｚ）は、本発明の「テーブル情報」の一例である。

【0026】

また、本実施形態によれば、撮影用カメラモジュール２０によって生成される画像の画素数（８Ｍ）と、深度カメラモジュール３０によって生成される画像の画素数（ＶＧＡ）とは異なる。そこで、スマートフォン１０は、撮影用カメラ座標変換処理部１０５を備え、撮影用カメラ座標変換処理部１０５は、深度カメラモジュール３０によって生成される解像度がＶＧＡである画像上の位置を表す座標（ｘ，ｙ）に深度－撮影座標変換テーブルＭ（Ｚ）を乗ずることにより、撮影用カメラモジュール２０によって生成される画素数が８Ｍである画像上の位置を表す座標（ｘ´，ｙ´）への変換を行う。

【0027】

図８は、深度－撮影座標変換テーブルＭ（Ｚ）の一例を示している。図８に示されるように、Ｍ（Ｚ）は、深度カメラモジュール３０によって生成される画像上の位置を表す座標（ｘ，ｙ）に対応する、撮影用カメラモジュール２０によって生成される画像上の位置を表す座標（ｘ´，ｙ´）が記載されている。ここで、Ｍ（Ｚ）の各値は、撮影用カメラモジュール２０の画角及び画素数、並びに深度カメラモジュール３０の画角及び画素数より決定される。

【0028】

また、本実施形態によれば、撮影用カメラモジュール２０によって生成される画像の画素数（８Ｍ）と、タッチパネルディスプレイ１１に表示される画像の画素数（ＦｕｌｌＨＤ）とは異なる。そこで、スマートフォン１０は、ディスプレイ座標変換処理部１０６を備え、ディスプレイ座標変換処理部１０６は、撮影用カメラモジュール２０によって生成される画素数が８Ｍである画像上の位置を表す座標（ｘ´，ｙ´）に対して、タッチパネルディスプレイ１１に表示される解像度がＦｕｌｌＨＤである画像上の位置を表す座標（ｘ´´，ｙ´´）への変換を行う。

【0029】

また、スマートフォン１０は、表示部１０７を備える。表示部１０７は、タッチパネルディスプレイ１１を含んで形成される。表示部１０７は、タッチパネルディスプレイ１１に画像を表示させるための処理を行う。ここで、表示部１０７は、本発明の「出力部」の一例である。また、スマートフォン１０は、記憶部１０８を備える。記憶部１０８は、前述の記憶装置１３を含んで形成される。記憶部１０８は、非線形データテーブルＡ（Ｚ）及び深度－撮影座標変換テーブルの情報を記憶装置１３に記憶させる。

【0030】

また、スマートフォン１０は、被写体の撮影のために照明部１０９と、照明駆動部１１０と、照明制御部１１１と、を備える。照明部１０９は、ＬＥＤ１４を含んで形成される。照明駆動部１１０は、ＬＥＤ１４から近赤外光を照射するための回路を含む。また、照明制御部１１１は、ＬＥＤ１４から近赤外光を照射するタイミングや照射時間などの制御を行う。

【0031】

（深度情報の生成フロー）
次にＣＰＵ１２が実行する被写体の深度情報の生成フローを説明する。図９は、被写体の深度情報に対応する画像フレームデータの生成フローの概要を例示した図である。ステップＳ１０１では、深度カメラモジュール３０が、例えばＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌ
ｉｇｈｔ）方式により被写体までの深度を測定し、また被写体の深度の二次元マップ画像を出力する。そして、深度取得部１０３が、深度カメラモジュール３０から出力される深度の二次元マップ画像から、図６（Ａ）に示されるような被写体の画像フレームデータＺ（ｘ，ｙ）を生成する（Ｓ１０１）。

【0032】

ステップＳ１０２では、ズレ補正処理部１０４が、ステップＳ１０１において生成された画像フレームデータＺ（ｘ，ｙ）に対して非線形データテーブルＡ（Ｚ）を参照してＺ´（ｘ－ｏｆｆｓｅｔ＿ｘ，ｙ－ｏｆｆｓｅｔ＿ｙ）を生成する。このようにｘ成分およびｙ成分が所定量シフトさせられることにより、深度カメラモジュール３０が配置される部分を基準とする座標系のｘ成分及びy成分は、撮影用カメラモジュール２０が配置され
る部分を基準とする座標系のｘ成分及びｙ成分へとシフトされられる（Ｓ１０２）。

【0033】

ステップＳ１０３では、撮影用カメラ座標変換処理部１０５が、ステップＳ１０２において生成されたＺ´（ｘ－ｏｆｆｓｅｔ＿ｘ，ｙ－ｏｆｆｓｅｔ＿ｙ）に深度－撮影座標変換テーブルＭ（Ｚ）を乗ずることにより、撮影用カメラモジュール２０によって生成される、画素数が８Ｍである画像上の位置（ｘ´，ｙ´）における画像フレームデータＺ´（ｘ´，ｙ´）への変換を行う。このように変換された画像フレームデータＺ´（ｘ´，ｙ´）は、例えば図６（Ｂ）のように示される（Ｓ１０３）。

【0034】

ステップＳ１０４では、ディスプレイ座標変換処理部１０６が、ステップＳ１０３において生成された画像フレームデータＺ´（ｘ´，ｙ´）から、タッチパネルディスプレイ１１に表示される、解像度がＦｕｌｌＨＤである画像の上の位置（ｘ´´，ｙ´´）における画像フレームデータＺ´（ｘ´´，ｙ´´）への変換を行う。

【0035】

（適用例）
図１０は、上記の深度情報に対応する画像フレームデータの生成フローを適用したアプリケーションの概要を示している。ステップＳ２０１では、ユーザからタッチパネルディスプレイ１１を介して被写体を撮影する旨の入力を受け付ける。その後、画像処理部１０１が、撮影用カメラモジュール２０から出力された被写体の二次元画像を受信し、撮像画像に対してホワイトバランス調整、露光調整、フォーカス調整、トリミングなどの処理を行う（Ｓ２０１）。

【0036】

ステップＳ２０２では、ファインダデータ生成部１０２が、ステップＳ２０１において処理された二次元画像の各画素（ｘ´，ｙ´）の位置における色彩情報としての画像フレームデータＰ（ｘ´，ｙ´）を生成する。ここで、色彩情報は、ＲＧＢモデルによって表される数値であってもよい（Ｓ２０２）。

【0037】

ステップＳ２０３では、ディスプレイ座標変換処理部１０６が、ステップＳ２０２において生成された画像フレームデータＰ（ｘ´，ｙ´）から、タッチパネルディスプレイ１１に表示される解像度がＦｕｌｌＨＤである画像上の位置（ｘ´´，ｙ´´）における、画像フレームデータＰ（ｘ´´，ｙ´´）への変換を行う。このようにして、タッチパネルディスプレイ１１に表示される被写体の二次元画像が生成される（Ｓ２０３）。

【0038】

また、表示部１０７は、ステップＳ２０３において生成された被写体の二次元画像をタッチパネルディスプレイ１１に表示する。そして、ユーザが当該表示される被写体の一部分を選択する入力を行った場合に、ステップＳ１０１からステップＳ１０４の処理が実行され、画像フレームデータＺ´（ｘ´´，ｙ´´）が生成される。そして、表示部１０７は、生成された画像フレームデータＺ´（ｘ´´，ｙ´´）を参照し、タッチパネルディスプレイ１１に表示される画像のそれぞれの位置（ｘ´´，ｙ´´）における深度情報をタッチパネルディスプレイ１１にテキスト表示する（Ｓ２０４）。

【0039】

また、表示部１０７は、ステップＳ２０３において生成される被写体の画像フレームデータＰ（ｘ´´，ｙ´´）に、ステップＳ１０４において生成される画像フレームデータＺ´（ｘ´´，ｙ´´）に関する情報を、それぞれの位置（ｘ´´，ｙ´´）において割り当てることにより、タッチパネルディスプレイ１１に奥行き感のある被写体が映る合成画像を表示してもよい。

【0040】

（作用効果）
撮影用カメラモジュール２０により生成される画像フレームデータＰと、深度カメラモジュール３０により生成される画像フレームデータＺと、を単に重ね合わせた合成画像を表示する場合、画像フレームデータＰの位置（ｘ´，ｙ´）の真の深度は、画像フレームデータＺにおける位置（ｘ´，ｙ´）の深度とずれているため、合成画像は本来の被写体を映した画像とは異なることになる。しかしながら、上記のようなスマートフォン１０によれば、ズレ補正処理部１０４が、深度カメラモジュール３０から取得した画像フレームデータＺ（ｘ，ｙ）に対して非線形データテーブルＡ（Ｚ）を参照することにより、深度カメラモジュール３０が配置される部分を基準とする座標系のｘ成分及びy成分は、撮影
用カメラモジュール２０が配置される部分を基準とする座標系のｘ成分及びｙ成分へと事前に所定量シフトさせられ、Ｚ´（ｘ－ｏｆｆｓｅｔ＿ｘ，ｙ－ｏｆｆｓｅｔ＿ｙ）が生成される。また、ステップＳ１０３及びステップＳ１０４の処理が実行されることにより、画像フレームデータＺの各位置（ｘ，ｙ）に対応する、画像フレームデータＺ´の各位置（ｘ´´，ｙ´´）が求まっている。そして、このように変換された各位置（ｘ´´，ｙ´´）に先の画像フレームデータＺ（ｘ，ｙ）を割り当てている。つまり、タッチパネルディスプレイ１１には、本来の被写体の奥行感を正確に反映した合成画像が表示可能となる。

【0041】

また、深度カメラモジュール３０によって得られる画像フレームデータＺに、深度カメラモジュール３０によって撮影される空間全体を撮影用カメラモジュール２０によって撮影される空間全体へと変換する行列を乗じることなく、被写体の深度Ｚ自体は補正されずに、深度Ｚに対応する位置（ｘ，ｙ）をシフトすることにより、撮影用カメラモジュール２０が配置される部分を基準とする座標系における画像フレームデータＺ´が生成されている。よって、画像フレームデータＺ´を求めるための計算量は抑制される。よって、演算処理速度が低いＣＰＵが搭載されている端末であっても、例えばユーザがタッチパネルディスプレイ１１に表示される被写体を選択した場合、選択された部分の正確な深度を映した合成画像、又は深度のテキスト情報をリアルタイムに表示させることができる。つまり、上記のスマートフォン１０によれば、ユーザに快適性を提供することができる。

【0042】

また、図３に示されるように、撮影用カメラモジュール２０から被写体の所定の部分までの距離と、中心軸ズレ量との関係は、非線形な関係である。換言すれば、被写体までの撮影距離などの撮影条件が変更される場合、又は奥行き方向の寸法が異なる被写体を撮影するなど撮影対象が変更される場合、当該中心軸ズレ量が非線形に変化すると考えられる。しかしながら、図３に示される関係は、測定することなく、撮影用カメラモジュール２０の画角及び画素数、並びに深度カメラモジュール３０の画角及び画素数より理論的に算出可能である。よって、非線形データテーブルＡ（Ｚ）も理論的に算出可能である。よって、被写体までの撮影距離が異なる場合や、奥行き方向の寸法が異なるなど被写体を撮影する撮影環境が変化する場合であっても、測定実験やノウハウによらず、簡易に非線形データテーブルＡ（Ｚ）を設定することができる。

【0043】

また、上記のようなスマートフォン１０によれば、撮影用カメラモジュール２０と深度カメラモジュール３０とを物理的に接近して実装させ、深度カメラモジュール３０により取得される深度及びその位置（ｘ，ｙ）が、そのまま撮影用カメラモジュール２０により
撮影される画像の位置（ｘ，ｙ）における真の深度となるような対応を取らずに済む。よって、撮影用カメラモジュール２０及び深度カメラモジュール３０の実装面での制限が大きくなることは抑制される。

【0044】

（変形例１）
図１１は、被写体の深度情報に対応する画像フレームデータの生成フローの変形例を示した図である。（Ａ）は、本実施形態に係る被写体の深度情報に対応する画像フレームデータの生成フロー（図９と同等）を示している。（Ｂ）及び（Ｃ）は、（Ａ）とは異なる被写体の深度情報に対応する画像フレームデータの生成フローの変形例を示している。

【0045】

図１１（Ｂ）に示されるフローでは、図１１（Ａ）とは異なり、まず撮影用カメラ座標変換処理部１０５が、画像フレームデータＺ（ｘ，ｙ）に対して、深度－撮影座標変換テーブルＭ（Ｚ）を乗ずることにより、撮影用カメラモジュール２０によって生成される画素数が８Ｍである画像フレームデータＺ（ｘ´，ｙ´）へ変換を行う。その後、ズレ補正処理部１０４が、生成された画像フレームデータＺ（ｘ´，ｙ´）に対して非線形データテーブルＡ（Ｚ）を参照することにより、深度カメラモジュール３０が配置される部分を基準とする座標系のｘ成分及びy成分は、撮影用カメラモジュール２０が配置される部分
を基準とする座標系のｘ成分及びｙ成分へと所定量シフトさせられ、新たな画像フレームデータＺ´（ｘ´，ｙ´）が生成される。その後、ディスプレイ座標変換処理部１０６が、生成された画像フレームデータＺ´（ｘ´，ｙ´）からタッチパネルディスプレイ１１によって生成される解像度がＦｕｌｌＨＤである画像フレームデータＺ´（ｘ´´，ｙ´´）への変換を行う。

【0046】

また、図１１（Ｃ）に示されるフローでは、まずディスプレイ座標変換処理部１０６が、深度カメラモジュール３０によって生成される解像度がＶＧＡである画像における画像フレームデータＺ（ｘ，ｙ）からタッチパネルディスプレイ１１によって生成される解像度がＦｕｌｌＨＤである画像フレームデータＺ（ｘ´´，ｙ´´）への変換を行う。ここで、当該変換には、予め変換テーブルが作成されていてもよい。その後、ズレ補正処理部１０４が、生成された画像フレームデータＺ（ｘ´´，ｙ´´）に対して非線形データテーブルＡ（Ｚ）を参照することにより、深度カメラモジュール３０が配置される部分を基準とする座標系のｘ成分及びy成分は、撮影用カメラモジュール２０が配置される部分を
基準とする座標系のｘ成分及びｙ成分へと所定量シフトさせられ、新たな画像フレームデータＺ´（ｘ´´，ｙ´´）が生成される。これらのような被写体の深度情報に対応する画像フレームデータの生成フローによっても、スマートフォン１０は本実施形態の効果と同様の効果を奏することができる。

【0047】

（変形例２）
図１２は、本実施形態の第二変形例を例示している。上記の実施形態では、撮影用カメラモジュール２０と深度カメラモジュール３０とは、スマートフォン１０の背面において長手方向に並んで配置されているが、撮影用カメラモジュール２０と深度カメラモジュール３０との位置関係は、このような関係に限定されない。例えば、図１２（Ａ）に示されるスマートフォン１０Ａは、撮影用カメラモジュール２０と深度カメラモジュール３０とが、スマートフォン１０の背面において短手方向に並んで配置される。

【0048】

また、例えば、図１２（Ｂ）に示されるスマートフォン１０Ｂは、撮影用カメラモジュール２０と深度カメラモジュール３０とが、スマートフォン１０Ｂの背面において斜め方向に並んで配置される。また、例えば、図１２（Ｃ）に示されるスマートフォン１０Ｃは、撮影用カメラモジュール２０と深度カメラモジュール３０とが、スマートフォン１０Ｃの正面上部において短手方向に並んで配置される。また、上記の実施形態では、本発明の「撮像機器」の一例としてスマートフォン１０を例示したが、本発明の「撮像機器」の一
例は、タブレット端末であってもよい。図１２（Ｄ）は、撮影用カメラモジュール２０と深度カメラモジュール３０とが背面に並んで配置されたタブレット端末１０Ｄの概要を例示している。図１２（Ａ）－（Ｄ）に示される変形例も本実施形態と同様の効果を奏することができる。

【0049】

（変形例３）
本変形例に係るスマートフォン１０Ｅは、スマートフォン１０の撮影用カメラモジュール２０に替え、ズームレンズを有する撮影用カメラモジュール２０Ａを備えている。ここで、図１３は、撮影用カメラモジュール２０Ａから被写体の所定の部分までの距離と、中心軸ズレ量との関係を表したグラフである。中心軸ズレ量の定義は、図３のグラフと同様である。図１３のグラフは、図３のグラフと異なり、ズームレンズによるズーム倍率毎（例えば１倍、２倍、３倍、５倍）に示されている。そして、ズーム倍率毎に当該距離と、中心軸ズレ量との関係は異なる。よって、非線形データテーブルＡ´（Ｚ）では、図示しないが、深度に応じた座標移動量がズーム倍率毎に理論的に設定される。

【0050】

このようなスマートフォン１０Ｅによれば、ユーザがズーム倍率を変更した場合であっても、深度カメラモジュール３０によって測定される深度に対応する画像フレームデータにＡ´（Ｚ）を参照することにより、被写体の正確な深度を反映した画像をリアルタイムに表示させることができる。よって、上記のスマートフォン１０Ｅによれば、ユーザに快適性を提供することができる。

【0051】

（その他変形例）
上記の実施形態において深度カメラモジュール３０は、撮影用カメラモジュール２０の撮像素子が実装される基板において、当該撮像素子の隣に実装されていてもよい。また、上記の実施形態では、ズレ補正処理部１０４は、非線形データテーブルＡを参照することによりx方向およびy方向の位置のシフトを実現しているが、テーブルに限定されず補正式により位置（ｘ，ｙ）のシフトが実現されてもよい。また、上記の実施形態では、本発明の「撮像機器」の一例としてスマートフォン１０を例示したが、撮像機器はスマートフォン１０を含む携帯端末に限定されない。例えば、撮像機器は、自動運転車両の一部に搭載される機器であり、自動運転車両が自動運転されている場合に車外の環境を撮影し、撮影された画像に映る障害物までの距離を測定する用途に使用されてもよい。また、出力された被写体の深度情報を利用して被写体がオートフォーカスされて撮像されてもよい。また、撮影用カメラモジュール２０により生成される画像の解像度、深度カメラモジュール３０により生成される画像の解像度、及びタッチパネルディスプレイ１１に表示される画像の解像度は、夫々同じでも異なっていてもよい。そして、解像度が同じである場合、解像度の違いによる座標変換処理は行われなくともよい。また、スマートフォン１０は、タッチパネルディスプレイ１１の代替部品として、タッチパネルディスプレイ１１よりも高解像度のディスプレイ及びマウスポインタを備えてもよい。このようなスマートフォン１０によれば、被写体の正確な深度情報が反映された高解像度の合成画像を表示させることができる。また、ユーザがマウスポインタを操作することにより被写体の部分をより細分化して選択することができる。すなわち、被写体の深度情報をより細分化して視認することができる。

【0052】

以上で開示した実施形態や変形例はそれぞれ組み合わせる事ができる。

【符号の説明】

【0053】

１０，１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ ：スマートフォン
１１ ：タッチパネルディスプレイ
１２ ：ＣＰＵ
１３ ：記憶装置
１４ ：ＬＥＤ
２０、２０Ａ ：撮影用カメラモジュール
３０ ：深度カメラモジュール
１０１ ：画像処理部
１０２ ：ファインダデータ生成部
１０３ ：深度取得部
１０４ ：ズレ補正処理部
１０５ ：撮影用カメラ座標変換処理部
１０６ ：ディスプレイ座標変換処理部
１０７ ：表示部
１０８ ：記憶部
１０９ ：照明部
１１０ ：照明駆動部
１１１ ：照明制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】