(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】電子機器およびその制御方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20241111BHJP
G02B 7/28 20210101ALI20241111BHJP
G02B 7/34 20210101ALI20241111BHJP
G03B 15/00 20210101ALI20241111BHJP
G03B 35/10 20210101ALI20241111BHJP
G03B 17/18 20210101ALI20241111BHJP
H04N 23/54 20230101ALI20241111BHJP
H04N 23/55 20230101ALI20241111BHJP
H04N 23/63 20230101ALI20241111BHJP
H04N 23/69 20230101ALI20241111BHJP
【ＦＩ】
H04N23/60
G02B7/28 N
G02B7/34
G03B15/00 T
G03B15/00 P
G03B35/10
G03B17/18
G03B15/00 H
H04N23/54
H04N23/55
H04N23/63
H04N23/69
【請求項の数】
5
(21)【出願番号】P 2020053141
(22)【出願日】2020-03-24
(65)【公開番号】P2020191624
(43)【公開日】2020-11-26
【審査請求日】2023-03-17
(31)【優先権主張番号】P 2019093914
(32)【優先日】2019-05-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】椿 秀敏
【審査官】吉田 千裕
(56)【参考文献】
【文献】特開２０１２－２５５７７７（ＪＰ，Ａ）
【文献】特開２０１６－０６１６５４（ＪＰ，Ａ）
【文献】特開２００９－０４７４９５（ＪＰ，Ａ）
【文献】特開２０１７－１７５５１７（ＪＰ，Ａ）
【文献】特開２０００－１８０１３７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｇ０２Ｂ ７／２８
Ｇ０２Ｂ ７／３４
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ ３５／１０
Ｇ０３Ｂ １７／１８
Ｈ０４Ｎ ２３／５４
Ｈ０４Ｎ ２３／５５
Ｈ０４Ｎ ２３／６３
Ｈ０４Ｎ ２３／６９
(57)【特許請求の範囲】
【請求項1】
視差画像を撮影する撮像手段と、前記撮像手段により撮影された視差画像から鑑賞画像を生成する第１生成手段と、
前記撮像手段により撮影された視差画像から距離画像を生成する第２生成手段と、
前記距離画像を用いて前記鑑賞画像に被写体に関する計測情報を取得する計測手段と、
前記第１生成手段による鑑賞画像の生成に用いられる鑑賞画像用の視差画像の取得後に、前記撮像手段を用いて前記第２生成手段による距離画像の生成に用いる距離画像用の視差画像を撮影するために、前記鑑賞画像または前記鑑賞画像用の視差画像に基づいて前記撮像手段の撮影条件の設定をアシストするアシスト手段と、
前記撮像手段により、先に撮影した鑑賞画像用または距離画像用の視差画像と、前記先に撮影した鑑賞画像用または距離画像用の視差画像の取得後に前記撮像手段から取得される視差画像とに基づいて、前記撮像手段の、前記先に撮影した鑑賞画像用または距離画像用の視差画像を取得した時の第１の位置姿勢に対する位置姿勢を推定する推定手段と、
を備え、
前記アシスト手段は、前記撮像手段が予め定められた所定範囲の焦点距離の場合に、所定範囲外の焦点距離になるようにアシストし、
前記アシスト手段は、前記推定手段により推定された位置姿勢に基づいて、前記撮像手段の位置姿勢を誘導し、
前記アシスト手段は、前記推定手段により推定された位置姿勢と前記撮像手段の焦点距離に基づいて、前記鑑賞画像に対応する画角の距離画像を取得できるようにアシストする
ことを特徴とする電子機器。
【請求項2】
前記アシスト手段は、前記撮像手段における絞り値、シャッタースピード、ＩＳＯゲイン、露出補正、焦点距離、パターン投光の有無の少なくとも何れかを自動的に調整することを特徴とする請求項１に記載の電子機器。
【請求項3】
前記撮像手段は、異なる２つ以上の分割瞳領域を有する光学系を通過した光学像から視差画像を撮影することを特徴とする請求項１又は２に記載の電子機器。
【請求項4】
視差画像を撮影する撮像手段を備えた電子機器の制御方法であって、前記撮像手段により撮影された視差画像から鑑賞画像を生成する第１生成工程と、
前記撮像手段により撮影された視差画像から距離画像を生成する第２生成工程と、
前記距離画像を用いて前記鑑賞画像に被写体に関する計測情報を取得する計測工程と、
前記第１生成工程による鑑賞画像の生成に用いられる鑑賞画像用の視差画像の取得後に、前記撮像手段を用いて前記第２生成工程による距離画像の生成に用いる距離画像用の視差画像を撮影するために、前記鑑賞画像または前記鑑賞画像用の視差画像に基づいて前記撮像手段の撮影条件の設定をアシストするアシスト工程と、
前記撮像手段により、先に撮影した鑑賞画像用または距離画像用の視差画像と、前記先に撮影した鑑賞画像用または距離画像用の視差画像の取得後に前記撮像手段から取得される視差画像とに基づいて、前記撮像手段の、前記先に撮影した鑑賞画像用または距離画像用の視差画像を取得した時の第１の位置姿勢に対する位置姿勢を推定する推定工程と、
を備え、
前記アシスト工程は、前記撮像手段が予め定められた所定範囲の焦点距離の場合に、所定範囲外の焦点距離になるようにアシストし、
前記アシスト工程は、前記推定工程により推定された位置姿勢に基づいて、前記撮像手段の位置姿勢を誘導し、
前記アシスト工程は、前記推定工程により推定された位置姿勢と前記撮像手段の焦点距離に基づいて、前記鑑賞画像に対応する画角の距離画像を取得できるようにアシストする
ことを特徴とする電子機器の制御方法。
【請求項5】
コンピュータを、請求項１乃至３のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像機能を有する電子機器およびその制御方法に関する。
【背景技術】
【0002】
撮像装置により撮影された画像上で長さや面積を計測する画像計測機能が普及しつつある。このような画像計測機能は、とくにカメラ機能を有するスマートフォンなどにおいて普及が加速している。画像計測機能は、例えば、撮影した画像上でユーザが指定した被写体上の２点間の３次元空間上の長さを測距する技術である。そのような画像計測機能の用途としては、例えば、リビングなどの部屋の一辺の長さを計測したり、家具の収納可能サイズを計ったりすることなどが考えられる。
【0003】
例えば特許文献２には、撮影した鑑賞画像に計測結果をオーバーレイして撮影後にプレビュー表示、結果確認できる技術が公開されている。しかし、特許文献３に示されるように、撮影後に計測失敗を通知されても全てを再撮影するしかない。
【0004】
一方、画像測距機能を安価に実現するための代表的な手段であるステレオカメラを更にコンパクトにする撮像装置の光学系の工夫として、瞳分割光学系が知られている。瞳分割光学系とは、撮像素子上の１つのマイクロレンズの下に複数の光電変換部を形成し、光学系の瞳を通過する被写体光束を複数の光束に分割して複数の光電変換部に届けることで、視差画像を一度に撮影可能にする光学技術である。特許文献１には、瞳分割光学系やステレオカメラの眼数を増やし、多視点画像から画像測距を実現するとともに、撮影していない視点であたかも撮影したようなカラー画像及び距離画像の自由視点画像を生成する構成が記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特表２０１４－５３５１９１号公報
【文献】特開２００８－０４２５８０（実施形態で参照される
【文献】特開２０１９－０４５２４９（実施形態で参照される）
【非特許文献】
【0006】
【文献】"コンピュータビジョン最先端ガイド３ 第２章ＩＣＰアルゴリズム"，増田健 Ｐ.Ｐ.３３-６２（実施形態で参照される）
【発明の概要】
【発明が解決しようとする課題】
【0007】
撮影の主役である鑑賞画像およびその撮影条件が必ずしも計測に適さない場合があるという課題に対処する。
撮影の主役である鑑賞画像は、撮影時の照明や自然光の具合、空気の揺らぎ、ノイズ感など偶発的要素も含めて評価される瞬間を切り取った1点もので、たとえ計測が失敗した場合であってもどうしてもその画像を使いたいことがある。また鑑賞画像は主観で評価されるため成功の許容幅が大きいことが多い。しかし他方で計測データは、例えば観賞像を選択もしくは生成する複数枚の視差画像を基に距離画像を生成して計測処理を行う画像ベースの手法の場合、手振れや焦点ボケ、ノイズの影響を受けて距離画像の生成もしくは計測を失敗しやすい。また、観賞像の質を向上するために撮影技法を凝らして動き・焦点ボケを加えたり・大きなプラスやマイナスの露出補正を加えて計測撮影の最適条件から外して撮影する場合がある。この場合には、何度再撮影を繰り返しても計測に失敗する、または満足のいく計測結果が得られない、逆に撮影条件を計測に最適に変更して再撮影し計測は成功しても、鑑賞画像の撮影条件が当初の撮影意図から乖離して満足な鑑賞画像が得られないという課題がある。
撮影の主役である鑑賞画像は、撮影時の照明や自然光の具合、空気の揺らぎ、ノイズ感など偶発的要素も含めて評価される瞬間を切り取った1点もので、たとえ計測が失敗した場合であってもどうしてもその画像を使いたいことがある。また鑑賞画像は主観で評価されるため成功の許容幅が大きいことが多い。しかし他方で計測データは、例えば観賞像を選択もしくは生成する複数枚の視差画像を基に距離画像を生成して計測処理を行う画像ベースの手法の場合、手振れや焦点ボケ、ノイズの影響を受けて距離画像の生成もしくは計測を失敗しやすい。また、観賞像の質を向上するために撮影技法を凝らして動き・焦点ボケを加えたり・大きなプラスやマイナスの露出補正を加えて計測撮影の最適条件から外して撮影する場合がある。この場合には、何度再撮影を繰り返しても計測に失敗する、または満足のいく計測結果が得られない、逆に撮影条件を計測に最適に変更して再撮影し計測は成功しても、鑑賞画像の撮影条件が当初の撮影意図から乖離して満足な鑑賞画像が得られないという課題がある。
【0008】
また、瞳分割光学系を用いた撮像系（瞳分割撮像系）による画像測距技術を撮像装置の画像計測機能として使う場合、特に室内計測に利用しようとした場合に次のような課題が生じる。すなわち、瞳分割光学系は広角レンズまたはズームレンズの広角域において焦点距離が短くなると、基線長が短くなったり、歪曲等収差や周辺光量落ちの影響で測距精度が悪くなったり、測距自体が困難になったりするなど、画像測距に悪影響が出る。そのため、レンズの広角域を用いた瞳分割撮像系の画像測距機能を使って画像計測を行うことが難しくなる。結果、広角のカラー画像撮影と画像測距のための距離画像撮影とは別撮影となってしまう。その結果、カラー画像と距離画像の合わせ込みや編集などの後作業が必要となり、余計なコストが必要になったり、人的ミスが入り込む余地が生まれたりする。
【0009】
特許文献１では、自由視点画像を生成することにより、上述した課題の解決を試みている。しかしながら、自由視点画像の生成では、撮影した視点から自由視点画像の視点が離れてしまうとアーティファクトの発生により急速にカラー画像の画質が落ちてしまう。したがって、任意の構図や画角に対して高画質の撮影画像と高い精度の距離画像の対が得られないという課題が依然としてある。
【0010】
本発明は、良好な画質の撮影画像と良好な精度の距離画像の対を容易に取得できるようにするための技術を提供する。
【課題を解決するための手段】
【0011】
本発明の一態様による電子機器は以下の構成を備える。すなわち、
視差画像を撮影する撮像手段と、
前記撮像手段により撮影された視差画像から鑑賞画像を生成する第１生成手段と、
前記撮像手段により撮影された視差画像から距離画像を生成する第２生成手段と、
前記距離画像を用いて前記鑑賞画像に被写体に関する計測情報を取得する計測手段と、
前記第１生成手段による鑑賞画像の生成に用いられる鑑賞画像用の視差画像の取得後に、前記撮像手段を用いて前記第２生成手段による距離画像の生成に用いる距離画像用の視差画像を撮影するために、前記鑑賞画像または前記鑑賞画像用の視差画像に基づいて前記撮像手段の撮影条件の設定をアシストするアシスト手段と、
前記撮像手段により、先に撮影した鑑賞画像用または距離画像用の視差画像と、前記先に撮影した鑑賞画像用または距離画像用の視差画像の取得後に前記撮像手段から取得される視差画像とに基づいて、前記撮像手段の、前記先に撮影した鑑賞画像用または距離画像用の視差画像を取得した時の第１の位置姿勢に対する位置姿勢を推定する推定手段と、
を備え、
前記アシスト手段は、前記撮像手段が予め定められた所定範囲の焦点距離の場合に、所定範囲外の焦点距離になるようにアシストし、
前記アシスト手段は、前記推定手段により推定された位置姿勢に基づいて、前記撮像手段の位置姿勢を誘導し、
前記アシスト手段は、前記推定手段により推定された位置姿勢と前記撮像手段の焦点距離に基づいて、前記鑑賞画像に対応する画角の距離画像を取得できるようにアシストする。
視差画像を撮影する撮像手段と、
前記撮像手段により撮影された視差画像から鑑賞画像を生成する第１生成手段と、
前記撮像手段により撮影された視差画像から距離画像を生成する第２生成手段と、
前記距離画像を用いて前記鑑賞画像に被写体に関する計測情報を取得する計測手段と、
前記第１生成手段による鑑賞画像の生成に用いられる鑑賞画像用の視差画像の取得後に、前記撮像手段を用いて前記第２生成手段による距離画像の生成に用いる距離画像用の視差画像を撮影するために、前記鑑賞画像または前記鑑賞画像用の視差画像に基づいて前記撮像手段の撮影条件の設定をアシストするアシスト手段と、
前記撮像手段により、先に撮影した鑑賞画像用または距離画像用の視差画像と、前記先に撮影した鑑賞画像用または距離画像用の視差画像の取得後に前記撮像手段から取得される視差画像とに基づいて、前記撮像手段の、前記先に撮影した鑑賞画像用または距離画像用の視差画像を取得した時の第１の位置姿勢に対する位置姿勢を推定する推定手段と、
を備え、
前記アシスト手段は、前記撮像手段が予め定められた所定範囲の焦点距離の場合に、所定範囲外の焦点距離になるようにアシストし、
前記アシスト手段は、前記推定手段により推定された位置姿勢に基づいて、前記撮像手段の位置姿勢を誘導し、
前記アシスト手段は、前記推定手段により推定された位置姿勢と前記撮像手段の焦点距離に基づいて、前記鑑賞画像に対応する画角の距離画像を取得できるようにアシストする。
【発明の効果】
【0012】
本発明によれば、良好な画質の撮影画像と良好な精度の距離画像の対を容易に取得することができる。
【図面の簡単な説明】
【0013】
【図1】実施形態による撮像装置の構成例を示すブロック図。
【図2A】（ａ）～（ｂ）は、瞳分割撮像系を説明する図。
【図2B】瞳分割撮像系を説明する図。
【図2C】（ａ）～（ｃ）は、瞳分割撮像系を説明する図。
【図3】第１実施形態による画像計測のための処理を示すフローチャート。
【図4】（ａ）は測距演算処理を示すフローチャート、（ｂ）は２点間の長さを計測する画像計測処理を示すフローチャート、（ｃ）は領域の面積を計測する画像計測処理を示すフローチャート。
【図5】デフォーカス量から距離値への変換方法を説明する図。
【図6A】（ａ）～（ｃ）は、距離画像撮影におけるカメラアシストを説明する図。
【図6B】（ａ）～（ｄ）は、距離画像撮影におけるカメラアシストを説明する図。
【図7】カメラアシストの提示方法を説明する図。
【図8A】距離画像に対する視点変換を説明する図。
【図8B】（ａ）～（ｂ）は、距離画像に対する視点変換を説明する図。
【図9A】（ａ）～（ｂ）は、視点変換におけるオクルージョンの発生例と対処法を説明する図。
【図9B】（ａ）～（ｄ）は、視点変換におけるオクルージョンの発生例と対処法を説明する図。
【図10】（ａ）～（ｃ）は、測定開始点および測定終了点を指定する手順を説明する図。
【図11】（ａ）～（ｄ）は、ポインティング位置に距離値がない場合の処理を説明する図。
【図12】（ａ）～（ｃ）は、面積算出範囲の指定の様子を説明する図。
【図13】第２実施形態における撮影及び画像計測手順のフローチャート。
【図14】距離画像撮影におけるカメラアシストの様子を説明する図。
【図15】第３実施形態による撮像装置の構成例を示すブロック図。
【図16】自動計測の一例を説明する図。
【図17】第３実施形態による撮影及び画像計測の処理を示すフローチャート。
【図18】第３実施形態による撮影アシストの一例を説明する図。
【図19】第４実施形態による撮像装置の構成例を示すブロック図。
【図20】ステレオ撮像系の一例を説明する図。
【図21】第４実施形態による撮影及び画像計測の処理を示すフローチャート。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0015】
＜第１実施形態＞
図１は第１実施形態における電子機器の一例としての撮像装置１００の構成例を示すブロック図である。撮像装置１００は、光学系１０１、撮像部１０２、制御部１１０、表示部１２０を有する。制御部１１０は、例えば１つ以上のプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、所定のプログラムを実行することにより、撮像装置１００の種々の機能を実現する。本実施形態では、制御部１１０は、距離画像算出部１０３、光学系制御部１０４、アシスト部１０５、画像計測部１０６の機能を有する。なお、制御部１１０は、これら機能の一部あるいはすべてを専用のハードウェアにより実現するようにしてもよい。表示部１２０は、制御部１１０の制御下で種々の表示を行う。なお、表示部１２０は、ディスプレイにタッチパネルが積層され、表示出力を行うとともにユーザ入力を受け付ける入力装置として機能するようにしてもよい。
図１は第１実施形態における電子機器の一例としての撮像装置１００の構成例を示すブロック図である。撮像装置１００は、光学系１０１、撮像部１０２、制御部１１０、表示部１２０を有する。制御部１１０は、例えば１つ以上のプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、所定のプログラムを実行することにより、撮像装置１００の種々の機能を実現する。本実施形態では、制御部１１０は、距離画像算出部１０３、光学系制御部１０４、アシスト部１０５、画像計測部１０６の機能を有する。なお、制御部１１０は、これら機能の一部あるいはすべてを専用のハードウェアにより実現するようにしてもよい。表示部１２０は、制御部１１０の制御下で種々の表示を行う。なお、表示部１２０は、ディスプレイにタッチパネルが積層され、表示出力を行うとともにユーザ入力を受け付ける入力装置として機能するようにしてもよい。
【0016】
光学系１０１は、被写体１０から放射された光を結像させるコンポーネントであり、複数枚のレンズおよびミラーを具備する。光学系１０１は、分割瞳領域を有する瞳分割光学系である。撮像部１０２は、分割瞳領域を有する光学系１０１を通過して結像された光学像を受光し電子像（視差画像)に変換するコンポーネントである。撮像部１０２の受光面上に形成された１つのマイクロレンズ下に複数の光電変換部を形成して光学系の瞳を通過する被写体光束を２つ以上に分割すると、視差画像を一度に撮影することが可能となる。このような撮像系を瞳分割撮像系と呼ぶ。
【0017】
光学系１０１と撮像部１０２により構成される瞳分割撮像系について図２Ａ、図２Ｂ、図２Ｃを用いて説明する。図２Ａ（ａ）には被写体１０、結像光学系２０１、結像光学系の光軸２０２、撮像素子２０３、演算処理部２０４が図示されている。撮像素子２０３は図２Ａ（ｂ）に示すように、ｘｙ平面上に配列された多数の画素２１０Ｒ、２１０Ｇ、２１０Ｂが並置されて構成されている。以下、図２Ｃ（ａ）に示すように瞳分割が２視点の場合を説明する。
【0018】
それぞれの画素２１０は、図２Ｂに示す断面図のようにマイクロレンズ２１１、カラーフィルタ２２２Ｒ、２２２Ｇ、２２２Ｂ、光電変換部２１０Ｒａ、２１０Ｒｂ、２１０Ｇａ、２１０Ｇｂ、２１０Ｂａ、２１０Ｂｂ、導波路２１３、を有する。撮像素子２０３の各画素には、検出する波長帯域に応じた分光特性がカラーフィルタ２２２Ｒ、２２２Ｇ、２２２Ｂによって与えられ、それぞれの画素は、主として赤光、緑光、青光を取得する。複数の画素は、例えば図２Ａ（ｂ）に示されるような公知の配色パターンによってｘｙ平面上に配置されている。基板２２４は、検出する波長帯域で吸収を有する材料、例えばＳｉであり、イオン打ち込みなどで、内部の少なくとも一部の領域に光電変換部が形成される。各画素は、図示しない配線を備えている。
【0019】
射出瞳２３０は異なる領域（分割瞳領域)である第１の瞳領域２３１ａと第２の瞳領域２３１ｂを有する。光電変換部２１０Ｘａ（Ｘ＝Ｒ，Ｇ，Ｂ）および光電変換部２１０Ｘｂのそれぞれには、射出瞳２３０の第１の瞳領域２３１ａを通過した光束２３２ａおよび第２の瞳領域２３１ｂを通過した光束２３２ｂが入射する。光電変換部２１０Ｘａ、２１０Ｘｂは、それぞれ第１の信号および第２の信号を得る。Ａ像を形成する第１の信号を取得する光電変換部をＡ画素と呼び、Ｂ像を形成する第２の信号を取得する光電変換部をＢ画素と呼ぶ。それぞれの光電変換部２１０で取得された信号は、演算処理部２０４に伝送される。演算処理部２０４は、それぞれの光電変換部２１０で取得された信号から視差画像、及び、撮影画像としてのカラー画像を生成、出力する。なお、視差画像を構成する複数の画像のうちの一つが撮影画像として用いられてもよいし、視差画像を構成する複数の画像の合成により撮影画像が生成されてもよい。
【0020】
図２Ｃ（ａ）は撮像素子２０３上のマイクロレンズ２１１毎の画素構造を光軸の入射方向から見た光電変換部２１０Ｒａと２１０Ｒｂ、２１０Ｇａと２１０Ｇｂ、２１０Ｂａと２１０Ｂｂ、の各Ａ画素とＢ画素の配置を示した図である。これは、水平または垂直方向に２視点の場合の一例である。図２Ｃ（ｂ）に示した画素構造は、１つの画素が４つの光電変換部を有する、水平および垂直方向に瞳分割した場合の例である。光電変換部の分割数を更に増して視点数を増加させてもよい。
【0021】
また、図２Ｃ（ｃ）は図２Ａ（ａ）の光軸２０２と撮像素子２０３の交点（中心像高）から、結像光学系２０１の射出瞳２３０を見た図である。光電変換部２１０Ｘａおよび光電変換部２１０Ｘｂには、それぞれ射出瞳２３０の分割瞳領域の一つである第１の瞳領域２３１ａを主に通過した第１の光束２３２ａと、分割瞳領域の一つである第２の瞳領域２３１ｂを主に通過した第２の光束２３２ｂが入射する。図２Ｃ（ｃ）において２４１は第１の瞳領域２３１ａの重心位置（第１の重心位置）を示し、２５１は第２の瞳領域２３１ｂの重心位置（第２の重心位置）を示している。本実施形態においては、第１の重心位置２４１は、射出瞳の中心から図２Ｃ（ｃ）中のｘ軸方向に延びる第１の軸２００に沿って偏心（移動）している。一方、第２の重心位置２５１は、第１の軸２００に沿って、第１の重心位置２４１とは逆の方向に偏心（移動）している。第１の重心位置２４１と第２の重心位置２５１とを結ぶ方向を瞳分割方向と呼ぶ。また、重心位置２４１と重心位置２５１との重心間距離が基線長２６２となる。基線長２６２は画素の入射角に対する感度分布を射出瞳２３０面上に投影した瞳感度分布の重心間隔に相当する。
【0022】
Ａ像とＢ像は、デフォーカスによって瞳分割方向と同じ方向（本実施形態ではｘ軸方向）に位置が変化する。この画像間の相対的な位置変化量、すなわちＡ像とＢ像の視差量は、デフォーカス量に応じた量となる。よって、この視差量を後述の手法により取得し、既知の変換手法によって視差量をデフォーカス量又は距離に変換することができる。
【0023】
演算処理部２０４は、伝送されたアナログ信号をデジタル信号に変換して画像信号を得る。この際、演算処理部２０４は、アナログ信号（電子像）に対して相関二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）によるゲインアップを用いた露出制御、黒レベル補正、Ａ／Ｄ変換等の基礎的な処理を行う。演算処理部２０４による処理はアナログ信号に対する前処理が主であるため、一般的に演算処理部２０４内の主要部はＡＦＥ（アナログフロントエンド）とも呼ばれる。
【0024】
一方、デジタル出力センサと対で使われるものはＤＦＥ（デジタルフロントエンド）と呼ばれることがある。演算処理部２０４は、別途、ベイヤー配列補間等によるカラー画像生成、距離画像算出部１０３への入力画像に対しての輝度画像変換を行っても良い。後者の輝度画像変換は、距離画像算出向けの簡易レベルであっても良い。また、距離画像算出の精度やロバスト性を向上させるために、演算処理部２０４は、ローパス、ハイパス等のフィルタリング処理、トーンマッピング等の諧調調整処理をおこなっても良い。演算処理部２０４は、アシスト部１０５や画像計測部１０６における表示用の画像、最終出力の画像などを生成する際に、複数枚の視差画像のいずれかを選択するようにしてもよいし、複数枚の視差画像を混合してカラー画像を生成するようにしてもよい。
【0025】
図１に戻り、距離画像算出部１０３は、撮像部１０２から出力される視差画像を入力として距離画像を算出するコンポーネントである。光学系１０１のズーム状態から規定される焦点距離や絞り値などのカメラパラメータ、撮像素子２０３の画素ピッチなどの撮像素子情報が含まれる撮影情報を基に距離画像を生成する。光学系制御部１０４は、光学系１０１のズームを制御するコンポーネントである。
【0026】
アシスト部１０５は、ユーザが第１の位置姿勢とは異なる第２の位置姿勢へ撮像装置１００を移動させるためのアシストを提示するコンポーネントである。アシスト部１０５は、例えば、ズームの広角側でカラー画像を撮影した際に、広角過ぎて距離画像を生成できない場合に、光軸方向と画角が略一致する距離画像を撮影することが可能な位置姿勢に撮像装置１００を誘導アシストする。画像計測部１０６は、画角が略一致するカラー画像と距離画像の対を用いて、撮像装置１００のユーザに画像計測機能を提供するコンポーネントである。
【0027】
以上のような構成を備えた撮像装置１００による画像計測の動作について説明する。図３は、第１実施形態による撮影及び画像計測の手順を示すフローチャートである。Ｓ３０１において、制御部１１０は、ユーザによる撮像装置１００のシャッター（不図示）の押下に応じて、光学系１０１と撮像部１０２を用いてカラー画像を撮影する。ユーザは、シャッター操作により、画像計測をしたい構図のカラー画像（換言すると、対となる距離画像が取得されるカラー画像）を撮影することができる。Ｓ３０２において、制御部１１０は、Ｓ３０１で撮影されたカラー画像が、距離画像の算出が可能なカラー画像か否かを判定する。制御部１１０は、カラー画像の撮影時において、画像測距が不能なズーム状態、または、ぎりぎり画像測距ができても距離情報の信頼度が低いズーム状態であった場合には、距離画像の算出ができないと判定する。
【0028】
Ｓ３０２で距離画像の算出が可能であると判定された場合（Ｓ３０２でＹＥＳ）、処理はＳ３０８へ進む。すなわち、Ｓ３０１で撮影されたカラー画像から適切に距離画像を生成することが可能なズーム状態であった場合には、別途に距離画像を取得するための視差画像の撮影を行う必要がないのでＳ３０３～Ｓ３０７をスキップする。一方、Ｓ３０２で距離画像の算出ができないと判定された場合（Ｓ３０２でＮＯ）、処理はＳ３０３へ進む。Ｓ３０３～Ｓ３０７において、制御部１１０は、距離画像の撮影を別途行う。
【0029】
Ｓ３０３において、アシスト部１０５は、撮像装置１００の現在の位置姿勢を、Ｓ３０１で撮影した画像と、Ｓ３０１における視差画像の取得後（撮影後）に取得した画像（本実施形態ではライブビューのために取得した画像）に基づいて推定する。Ｓ３０４において、アシスト部１０５は、推定された現在の位置姿勢に基づいて、距離画像の撮影に適した撮影位置へ撮像装置１００を移動するようにユーザをアシストする情報を生成し、提示する。本実施形態では、アシスト部１０５は、表示部１２０にアシストを表示する。また、Ｓ３０５において、アシスト部１０５は、撮像装置１００の移動中において、Ｓ３０１での撮影時の画角を維持するために、光学系制御部１０４を介して光学系１０１のズーム状態（焦点距離）を制御する。Ｓ３０６において、アシスト部１０５は、距離画像を算出可能な撮影位置に撮像装置１００が移動したか否かを判断する。撮像装置１００が距離画像を算出可能な撮影位置にないと判断された場合（Ｓ３０６でＮＯ）、処理はＳ３０３に戻り、上述の処理が繰り返される。他方、Ｓ３０３で撮像装置１００が距離画像を算出可能な撮影位置にあると判断された場合（Ｓ３０６でＹＥＳ）、処理はＳ３０７へ進む。
【0030】
Ｓ３０７において、撮像部１０２は、距離画像を取得するための画像を撮影する（距離画像撮影）。この撮影は、アシスト部１０５が距離画像を取得可能な状態であることを認識したことに応じて（Ｓ３０６でＹＥＳになったことに応じて）自動的に実行されてもよいし、アシスト部１０５によるアシスト表示に従ったユーザ操作（例えば、シャッター操作）に応じて実行されてもよい。そして、Ｓ３０８において、距離画像算出部１０３は、Ｓ３０１またはＳ３０７の撮影で得られた視差画像から距離画像を生成（測距演算処理）する。距離画像の生成については図４（ａ）のフローチャートにより後述する。Ｓ３０９において、画像計測部１０６は、Ｓ３０１で撮影されたカラー画像とＳ３０８で生成された距離画像とを用いて画像計測を行う。画像計測については図４（ｂ）、図４（ｃ）のフローチャートにより後述する。
【0031】
次に、測距演算処理を説明する。ここではＡ像とＢ像の２枚の画像からなる視差画像が得られたとして説明する。測距演算処理の基本フローチャートの一例を図４（ａ）に示す。
【0032】
Ｓ４０１において、距離画像算出部１０３は、第１の信号の像であるＡ像と第２の信号の像であるＢ像の間の相対的な位置ズレ量である像ズレ量を算出する。像ズレ量の算出には公知の手法を用いることができる。例えば、次の（数１）を用いて、Ａ像とＢ像の像信号データＡ（ｉ）、Ｂ（ｉ）から相関値Ｓ（ｒ）を算出する。
【数1】
【0033】
（数１）において、Ｓ（ｒ）は像シフト量ｒにおける２つの像の間の相関度を示す相関値、ｉは画素番号、ｒは２つの像の相対的な像シフト量である。ｐ及びｑは、相関値Ｓ（ｒ）の算出に用いる対象画素範囲を示している。相関値Ｓ（ｒ）の極小値を与える像シフト量を求めることで像ズレ量を算出することができる。なお、像ズレ量の算出方法は、上述の方法に限定されるものではなく、他の公知の手法が用いられてもよい。
【0034】
Ｓ４０２において、距離画像算出部１０３は、像ズレ量を用いて被写体距離を算出する。距離画像算出部１０３は、まず、Ｓ４０１で求めた像ズレ量から距離情報であるデフォーカス量を算出する。被写体１０の像は、結像光学系２０１を介して撮像素子２０３に結像される。図２Ａ（ａ）では射出瞳２３０を通過した光束が結像面２０７で焦点を結び、焦点がデフォーカスした状態を示している。尚、デフォーカスとは結像面２０７と、撮像面（受光面）とが一致せず、光軸２０２方向にズレた状態のことをいう。デフォーカス量は、撮像素子２０３の撮像面と結像面２０７との間の距離を示す。距離画像算出部１０３は、デフォーカス量を被写体距離に変換することで距離画像を得る。
【0035】
図５に示す簡略化した撮像装置１００の光学配置を用いて、デフォーカス量から距離値への変換方法の一例を説明する。図５は、被写体１０が撮像素子２０３にデフォーカスした状態の光束２３２を示しており、図２Ａ（ａ）と同様の要素には同じ参照番号を付してある。図５では、図２Ａ（ａ）に示した光軸２０２、結像面２０７などに加えて、開口絞り２０８、前側主点２０５、後側主点２０６が示されている。また、ｒは像ズレ量、Ｗは基線長、ｐは撮像素子２０３と射出瞳２３０の間の距離、Ｚは結像光学系２０１の前側主点２０５と被写体１０の間の距離、Ｌは撮像素子２０３（撮像面）から射出瞳２３０までの距離、ΔＬはデフォーカス量である。
【0036】
本実施形態の撮像装置１００では、このデフォーカス量ΔＬに基づいて被写体１０までの距離が検出される。画素２１０の各光電変換部で取得した、第１の信号に依拠するＡ像と、第２の信号に依拠するＢ像との相対的位置ズレを示す像ズレ量ｒと、デフォーカス量ΔＬとは、以下の（数２）の関係を有している。
【数2】
【0037】
（数２）は、換算係数Ｋを用いて、以下の（数３）のように簡略化して書くことができる。換算係数Ｋとは、像ズレ量ｒをデフォーカス量ΔＬに変換する係数である。換算係数は、例えば、比例定数あるいは基線長Ｗのことを言う。以降、基線長Ｗの補正は換算係数の補正と等価である。なお、デフォーカス量の算出方法は、本実施形態の方法に限定されるものではなく、他の公知の手法を用いてもよい。
【数3】
【0038】
さらにデフォーカス量から被写体距離への変換は、結像光学系２０１と撮像素子２０３の結像関係（数４）を用いて行うことができる。あるいは、変換係数を用いて、像ズレ量から直接被写体距離に変換するようにしても良い。なお、（数４）においてｆは焦点距離である。
【数4】
【0039】
入力された視差画像間、例えばＡ像とＢ像について、例えば全ての画素についてデフォーカス量を求めることで、入力画像に対応したデフォーカスマップを算出することができる。そして、算出されたデフォーカスマップを上記（数４）の関係により変換することで対応する距離画像を算出することができる。
【0040】
しかしながら、光学系ズーム域のより広角・短焦点側になってくると歪曲収差の影響により周辺画角が強く圧縮されて画像上のズレ量ｒとデフォーカス量ΔＬの関係が像高に依存して大きく変化する。また、ズーム状態が広角・短焦点側になると、ｃoｓ４乗則やケラレによる周辺光量落ちの影響を受けやすくなる。すると視差のあるＡ像とＢ像の間で、同一被写体の射像であっても相関の度合いや信頼度が低くなってしまう。また基線長も著しく短くなるため測距精度も低下してしまう。そのためズーム光学系の広角側（短焦点側）のズーム域で撮影が行われた場合、得られた距離画像を画像計測に利用することが難しくなる。
【0041】
そこでユーザに精度の悪い画像計測結果を与えないように測距が不能となるズーム域を設定する。この場合、広角側で撮影した画像を用いた画像計測ができなくなってしまう。図３のフローチャートにより説明したように、ユーザが、画像計測をしたい構図のカラー画像を撮影すると、距離画像算出部１０３は、撮像部１０２より得られた視差画像を用いて、前述の手順で距離画像の算出を試みる。しかしながら、ズーム状態が測距不能域にある場合（Ｓ３０２でＹＥＳ）は、視差画像から距離画像を生成することはできない。
【0042】
したがって、処理はＳ３０３以降に遷移して、ユーザに別途距離画像を撮影させる。このとき、ユーザは、アシスト部１０５の助けを借りて、撮像装置１００の撮影位置とズーム状態を変更し、Ｓ３０１で撮影されたカラー画像に画角が略一致する距離画像を撮影する。この場合、ズーム状態を長焦点距離側に変更することでカメラの画角を維持しながら後方に下がることとなる。このようなズーム変更と撮影位置の変更の組み合わせを一般的にはドリーアウトと呼ぶ。以下、図６Ａ、図６Ｂを参照してドリーアウトによる距離画像撮影におけるカメラアシストを説明する。
【0043】
図６Ａ（ａ）はズームをそのままに後退した時の画角の状態を示す図である。被写体１０は面を撮像装置側に向けた平面被写体であり、説明の簡単化のために面法線は撮像装置１００の光軸方向に略一致しているとする。Ｃ１は移動前の視点位置（撮影位置）、Ｃ２は移動後の視点位置（撮影位置）を表す。６０１は撮影画角を表す線分である。図６Ａ（ａ）のように、焦点距離を変化させずに撮像装置１００を撮影位置Ｃ１から撮影位置Ｃ２に移動してそれぞれ撮影を実行したとする。この場合、撮像装置１００の撮影画角は変わらないため、撮影した２視点間の撮影画角に収まるシーンは大きく変化してしまう。６０２はＣ１で撮影した画像、６０３はＣ２で撮影した画像である。同じ被写体１０を撮影しても、画像６０２、画像６０３の画像内では被写体１０の大きさや映るシーンの範囲が大きく変化してしまう。以下、このようなシーンの範囲を画角とも記載する。画角は、光学系の焦点距離の調整に応じて変化する撮影画角とは区別される。
【0044】
そこで、被写体１０からの距離を変化させつつズームを調整することにより、撮影画角内に映る被写体サイズを一定に保つドリーズームと呼ばれるカメラワークを用いる。図６Ａ（ｂ）のように、被写体１０から離れながら、ズームを望遠側に調節してシーンの写る範囲（画角）を一定に保つカメラワークのことをドリーアウトと呼ぶ。図６Ａ（ｂ）はドリーアウトを用いて撮影位置を変更した場合の撮影画角の変化を示す図である。ドリーアウトでは、撮影位置Ｃ１から撮影位置Ｃ２へ向かって撮像装置１００が移動する場合に、画像に映る像の範囲（画角）が維持されるようにズームを徐々に望遠側に変更する。ズーム状態が短焦点側の測距不能ズーム域から脱し、測距可能な撮影位置Ｃ２に到達した時点で距離画像撮影が行われる。６０４で示される像に映る被写体表面の距離を基準に同一画角が撮影可能な焦点距離にズーム調整がおこなわれているとする。６０５は撮影位置Ｃ２で撮影した画像である。ズームを同一の画角になるよう調節すると、画像６０５のように画像６０２と同じ被写体サイズの像が得られる。
【0045】
アシスト部１０５はこのようなドリーアウトのカメラワークをアシストする。図６Ｂ（ａ）に示すように、アシスト部１０５は、Ｓ３０１でカラー画像を撮影した撮影位置Ｃ１及び撮影姿勢を基にアシストを行う。６０６はカラー画像撮影時点でのシーンのワールド座標系におけるカメラ座標である。カメラの光軸がｚ軸、画像の水平・垂直方向がそれぞれｘ軸、ｙ軸に対応する。６０７はカメラ座標６０６の光軸を表す補助線である。被写体１０に対し撮影位置Ｃ１で、望む画角範囲、ズーム状態では距離画像算出が不可な状態であった場合、カラー画像撮影のカメラ座標６０６の光軸６０７に対し離れる方向に移動するドリーアウトのカメラワークをアシストする。
【0046】
図６Ｂ（ｂ）は、所望の撮影位置Ｃ２に撮像装置１００を移動し終えた状態である。画角を維持したままで十分な望遠域にズーム状態を設定できるような距離まで、カラー画像撮影時のカメラ座標６０６の光軸６０７上を、被写体１０から離れる方向（撮影位置Ｃ２の方向）に移動していく。距離画像撮影時のカメラ座標系６０８で表される撮像装置１００の位置姿勢は、各軸がカラー画像撮影時のカメラ座標６０６と平行になるように光軸６０７の方向に略一致で平行移動させることが望ましい。
【0047】
図６Ｂ（ｃ）は、撮像装置１００の位置姿勢を図６Ｂ（ｂ）の状態まで持っていく過程の、カメラ位置姿勢の状態の一例を示す。撮影位置Ｃ３は、撮影位置Ｃ２よりも被写体１０に近く、依然として距離画像算出が不可な状態である。また、撮影位置Ｃ３のカメラ座標６０９は、カラー画像撮影の光軸６０７からずれており、さらに、撮像装置１００の姿勢も傾いている。アシスト部１０５は、撮像装置１００の姿勢修正、カラー画像撮影時の光軸の延長線上への位置移動指示に加え、距離算出可能位置への移動指示を行うことで、ユーザをアシストする。
【0048】
図６Ｂ（ｄ）は撮像装置の位置姿勢を図６Ｂ（ｂ）の状態まで持っていく過程のカメラ位置姿勢の状態の別の一例を表す。撮影画角を維持してドリーアウトを続け、撮影画角を維持したまま距離画像算出が可能なズーム域で撮影可能な状態まで到達し、視点位置Ｃ４まで移動した状態である。撮像位置Ｃ４のカメラ座標６１０は光軸６０７からずれており、撮像装置１００の姿勢も傾いている。また、図６Ｂ（ｄ）の場合、撮影位置Ｃ４は測距の出来る撮影位置Ｃ２よりもかなり被写体１０から遠いため測距精度が落ちる可能性がある。したがって、この場合、アシスト部１０５は、撮像装置１００の姿勢修正、カラー画像撮影の光軸６０７の延長線上への位置移動指示に加え、より近づいての撮影をユーザに勧めるアシストを行う。
【0049】
図６Ｂ（ｃ）の状態ではまだ距離画像の算出が不可である。そのため、アシスト部１０５は、ライブビューで取得される複数枚の視差画像からなる画像列情報や不図示の姿勢センサ等に基づき撮像装置１００の現在の位置姿勢を推定し、アシストを実行する。一方、図６Ｂ（ｄ）の状態では、距離画像算出部１０３による距離画像の算出が可能になる。アシスト部１０５は、画像ベースによる位置姿勢の推定に加えて、距離画像に基づく距離情報を用いて画像ベース時の位置姿勢推定のスケール確定を行い、アシストの精度やロバスト性を向上する。姿勢センサからの情報は、画像や距離画像に基づく位置姿勢推定の初期値に用いると有用である。
【0050】
アシスト部１０５は、表示部１２０への画像表示を用いてアシストを行う。図７は、アシスト部１０５によるユーザへのアシストの例を説明する図である。図７（ａ）は、アシスト部１０５による表示部１２０の表示制御例を説明する図である。表示部１２０は、ユーザにアシスト指示を通知するインターフェースとして用いられる。図７（ｂ）は、アシスト部１０５によるアシスト方法の一例を説明する図である。例えば、アシスト部１０５は、表示部１２０において、撮像装置１００の回転と並進の方向を示すガイダンス（例えば図形）を表示することにより、ユーザをアシストする。なお、表示部１２０には、撮像部１０２が出力するカラー画像のライブビューが表示されており、アシスト部１０５は、ガイダンス（アシスト）をライブビューに重畳表示する。
【0051】
図７（ｂ）において、指示７０２は撮像装置１００の並進方向を知らせており、指示７０３は撮像装置１００の回転方向を知らせている。表示が出続けている間そのカメラワークを続けるよう誘導することで操作量を知らせることができる。また、メッセージ表示７０４は、指示７０２および指示７０３の意味をユーザに知らせている。図７（ｂ）では鉛直のｙ軸周りの回転の指示、ｘ軸方向およびｚ軸方向への並進移動の指示を例示したがこれに限られるものではない。例えば、任意の８方向または１６方向への並進、任意軸周りの回転指示をアシストとして通知するようにしてもよい。
【0052】
図７（ｃ）は、アシスト部１０５によるアシスト方法の別の一例を説明する図である。指示７０２、指示７０３、メッセージ表示７０４に加え、Ｓ３０１で撮影したカラー画像を半透明化させて現在のライブビュー画像に重畳表示している。この重畳表示７０５によって、ユーザは構図が元に撮影したカラー画像に略一致する光軸に垂直な方向及び画角を一致させる姿勢に向かっていることを確認しながら撮像装置１００を動かすことができる。また図７（ｄ）は、アシスト方法の別の一例として音声アシストを行う様子を示している。このように、アシスト部１０５は、不図示のスピーカーを用いて、被写体に対して撮像装置１００を向ける方向や移動方向を音声でユーザに指示するようにしてもよい。
【0053】
カメラワークのアシストでは、図６Ｂ（ａ）～（ｄ）で説明したように、Ｓ３０１でカラー画像を撮影したカメラ座標６０６の位置姿勢に対する現在のカメラ座標６０９またはカメラ座標６１０を把握する必要がある。前述のように現在のカメラ位置姿勢を推定するには、例えば画像間の相対位置姿勢推定が用いられる。アシスト部１０５は、撮影位置Ｃ１で撮影したカラー画像に対するライブビュー撮影画像の相対位置姿勢を推定することで現在のカメラ位置姿勢を推定し、アシストに用いる。
【0054】
図６Ａ（ｃ）を用いてドリーズームのカメラワークにおける距離画像撮影のタイミングを説明する。まず、Ｓ３０１でカラー画像を撮影した撮影位置Ｃ１において、距離画像算出が不可なほど広角で撮影していたとする。この場合、光軸６０７上を画角範囲を維持したままドリーアウトのカメラワークにより徐々にズーム状態を望遠に遷移させても、しばらくは距離画像算出不可なズーム域６１１が続く。このズーム域６１１を越えるとズーム値による制約が解けて距離画像算出が可能となる。この時点で距離画像は算出可能となるため撮影を行ってもよい。
【0055】
しかし、距離画像算出が可能とはなるが、歪曲やケラレ、ｃoｓ４乗則、シェーディングなどの影響で距離画像中の測距値の信頼度が全体的に低い状態のズーム域６１２が続く。さらにドリーアウトすることで、距離画像内のより多くの領域で信頼度の高い距離値を得ることができるため、ドリーアウトを継続することが好ましい。ズーム域６１２を越えてドリーアウトのカメラワークによりさらにズーム状態を望遠に遷移させると、信頼度高く距離画像を撮影できるズーム域６１３に到達する。したがって、撮像位置がズーム域６１３に達した後、距離画像を撮影することが好ましい。適切な撮影のタイミングを判別するため、測距できた画素の信頼度の平均値などに閾値を設定して判定を行ってもよい。なお、ドリーアウトのカメラワークをさらに続けてズーム状態を望遠に遷移させてもよい。しかし、基線長を幾分稼げるようになる一方、後述の測定誤差に影響を及ぼす、被写体距離の物理パラメータが悪化してしまうことから、必要以上にドリーアウトのカメラワークを続けるのは好ましくない。
【0056】
次に、２つの画像（本実施形態では、Ｓ３０１で撮影された画像とその後に取得されるライブビュー画像）に基づく相対位置姿勢の算出について説明する。まず、画像間の相対位置姿勢を算出するために、それぞれの画像中で特徴点を抽出する。特徴点の抽出は、異なる画像から同じ特徴点を見つけ出すためのＳＩＦＴ（Scale-Invariant Feature Transform）法、ＳＵＲＦ（Speeded-Up Robust Features）法、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）法、ＯＲＢ（oriented BRIEF）法などが用いられ得る。各画像で得られた特徴点同士を特徴点の記述子または識別子間で内積を取ることにより画像間での対応点を求めていく。
【0057】
特徴点の抽出に古典的なＨａｒｒｉｓ特徴を用いたり、画像間の対応点探索にテンプレートマッチングの一種であるブロックマッチングを用いたりしてもよい。相対位置姿勢を求める画像間で対応点が得られたら、基本行列を求めて位置姿勢情報に変換する。ここで、ある空間点Ｐのフレームｉにおける画像への射像はｐｉである。Ｋｉはｉフレームのカメラ内部パラメータであるとする。ｐ、qを画像座標、ｘ、ｙを正規化座標とすると、正規化座標は以下の（数５）、（数６）のように定義される。
【数5】
【数6】
【0058】
ここでｆｉはズーム状態により刻々と変化するｉフレーム撮影時の光学系１０１の焦点距離である。Ｃｘ、Ｃｙは光軸と画像の交点である画像中心である。正規化された２フレーム間の対応点を用いて撮像装置の相対位置姿勢を求めることができる。
【0059】
ここで例えば空間点Ｐのフレーム１における射像をｐ１、フレーム２における射像をｐ２とすると、（数７）のようになる。
ここでｘ１及びｘ２は以下の（数８）に示す斉次関係を満たす。
また、エピポーラ制約は以下の（数９）のように記述できる。
【数7】
【数8】
【数9】
【0060】
もし、基本行列が以下の（数１０）のように定義されるなら、（数１１）の関係を得る。
【数10】
【数11】
【0061】
ここで、（数１２）と（数１３）により表されるＥの性質から、（数１４）（数１５）により基本行列Ｅを求めることができる。（数１４）（数１５）の添字は画像のフレーム番号ではなく同一画像内での特徴点、対応点の識別番号である。"'"の有無により、基準となるフレームと相対位置姿勢を求める参照フレームとを区別している。
【数12】
【数13】
【数14】
【数15】
【0062】
（数１０）の定義、および２つのカメラ間のモーションを［Ｉ｜０］、［Ｒ｜ｔ→］とすると、Ｅ行列分解より（数１６）、（数１７）が得られ、Ｒとｔを（数１８）、（数１９）のように復元できる。
【数16】
【数17】
【数18】
【数19】
【0063】
（数１８）と（数１９）により４つの解の組み合わせがあり得るが１つの組み合わせのみ意味がある。正しい解の組み合わせを求めるため、対応点を用いてデプス正制約テストを行う。Ｐ＝［Ｉ｜０］、Ｐ'＝［Ｒ｜ｔ→］として、対応点を用いた以下の（数２０）に基づく逆投影を行い、三角視（数２１）により空間点Ｘを得る。ここでＰｉはＰの行ベクトルである。得られた対応点に対応する空間点Ｘのｚ座標に最も正符号が多い解の組み合わせが幾何学的に正しいＲ、ｔ→の解として得られる。
【数20】
【数21】
【0064】
以上で述べた手法により、特定の画像間の相対位置姿勢を求めることができる。すなわち、基準となるカラー画像と現在のライブビューによる画像の間の相対位置姿勢を求めることができる。もしくは隣接フレーム間の相対位置姿勢の積分によって目当てのフレーム間の相対位置姿勢を求めることができる。これによりＳ３０１でカラー画像を撮影したカメラ座標の位置姿勢に対するライブビュー状態の現在のカメラ座標の位置姿勢を求めることができる。但し、ｔ→はスケールのない２自由度である。
【0065】
以上で述べたように撮像装置の相対位置姿勢の算出値が得られる。アシスト部１０５は、ライブビュー画像を入力として、カラー画像撮影時のカメラ座標を基準にした撮像装置１００の姿勢の変化と光軸６０７に対して垂直な方向の位置ずれを逐次補正し、理想的なドリーアウトカメラワークを実現するようにアシストを行う。つまり、アシスト部１０５は、カラー画像撮影時のカメラ座標とライブビュー画像を提供する現在のカメラ座標の間の位置姿勢の関係が、以下の（数２２）に近づくように撮像装置１００の位置と姿勢についてアシストを行う。
【0066】
【数22】
【0067】
また、アシスト部１０５は、撮像装置１００のドリーアウトのカメラワークに伴うズームの操作を、基準となるカラー画像とライブビュー状態の現在の画像間で得られた対応点の関係に基づいて行う。すなわち、アシスト部１０５は、姿勢のずれＲＴ及び位置のずれから光軸方向の変位を除いたずれ量－ＲＴｔ→のｘ成分及びｙ成分、画像の焦点距離ｆ'に基づき、ライブビュー側の画像点ｐ'→を３次元的に幾何変換する。そして、アシスト部１０５は、画像点ｐ'→とカラー画像撮影時の画像点ｐ→の対応点とが像面座標で一致するようにズームをフィードバックで自動調整していく。
【0068】
つまり、Ｓ３０１でカラー画像を撮影した後、ドリーアウトのカメラワークに基づいてユーザが被写体から離れる方向に後退すると、対応点の関係から画角に対する像のサイズが変化しないようにズームが自動調整される。本実施形態のアシスト部１０５は、画角に対する像のサイズが変化しないよう、上記に基づいて、光学系制御部１０４に制御コマンドを送信してズームを調整する。
【0069】
また、ドリーアウトのカメラワークに基づきユーザが移動することにより距離画像を生成可能なズーム域まで撮影位置が移動する途中でユーザの意図しないカメラワークやズーム操作により維持していた撮影画角から外れて被写体をロストしてしまうことがある。その場合、Ｓ３０１で撮影したカラー画像から抽出した特徴点とライブビューで入力されてくる画像の特徴点を照合することで復帰が可能となる。
【0070】
さらに、図６Ｂ（ｄ）に示される撮像装置１００の位置の状況では、カラー画像撮影時の画角を維持したままで距離画像算出が可能なズーム域に撮影位置が移動している。そのため、撮影位置の移動アシストのための撮像装置１００の位置姿勢推定に、ライブビューの画像について算出した距離画像を利用することができる。
【0071】
例えば、直前まで前述の画像から抽出した特徴点ベースで位置姿勢推定を行っていた場合、位置に関する推定ｔはスケール不定であったがこのスケールを確定できる。具体的には任意の画像間、例えば、Ｓ３０１で撮影したカラー画像と現在のライブビュー画像の間で特徴抽出を実行し、相対位置姿勢を算出した場合を考える。この場合、対応した特徴点の逆投影から得られる被写体に対応する空間点Ｐの距離、及び相対位置ｔの間でスケールが不定となる。したがって、画像の特徴点ベースのアシストでは、例えばアシスト中のカメラが絶対量でどれほど光軸から垂直な方向に位置ずれを起こしているのかが不定となる。しかしながら、得られた距離画像を特徴点から抽出した空間点Ｐと対応付けることで、空間点に対するスケールを確定することができ、次に相対位置ｔのスケールを確定することができる。これにより、アシスト部１０５は、光軸から垂直な方向に現在の撮像装置がどれだけずれているかを絶対量でユーザに告知してアシストすることが可能となる。
【0072】
また、ライブビューから得られる現在のカラー画像と対応する形で逐次に距離画像が得られるため、この距離画像を用いて位置姿勢推定を行うこともできる。例えば、Ｓ３０１で撮影したカラー画像と現在のライブビューの画像の間で特徴抽出を実行し、相対位置姿勢の算出、三角視による特徴点に対応する空間点Ｐを算出する。次に、前述のように、現在のライブビューの画像に対応する算出された距離画像を用いて、（数２１）で求まる空間点Ｐの空間位置Ｘと相対位置ｔを実スケールに変換する。この空間点Ｐの３次元座標Ｘと、対応する基準のカラー画像もしくは現在のライブビュー画像からの特徴点との組を種として、距離画像を利用したよりロバストで高精度な実スケールの撮像装置の位置姿勢推定が可能となる。
【0073】
具体的には、上述の種を取得した次のタイミング以降において、ライブビューから出力されるカラー画像と距離画像の対に基づいて、まず、カラー画像から特徴点を抽出する。そして特徴点を距離画像に基づいて空間点に逆投影してＰ'を得る。過去に算出した種の空間点との３次元位置合わせを、画像間の特徴点の対応付けを補助情報として用いて実施することでよりロバスト、より高精度に位置姿勢推定が可能となる。これにより、Ｓ３０１で撮影したカラー画像のカメラ座標６０６と現在のライブビュー状態の画像のカメラ座標６１０の間の相対位置姿勢の推定を高精度に行うことができる。
【0074】
以下、アシスト部１０５による、距離画像の情報を用いた相対位置姿勢の推定の方法を説明する。以下に説明される方法では、カラー画像間の抽出特徴点間の対応付けとそれに対応して逆射影で得られた空間点を用いて相対位置姿勢を算出していく。これは、空間点の対応点ペア（数２３）（数２４）に対して（数２５）を満たす回転行列Ｒと相対位置に関する移動ベクトルｔとを求める処理である。なお、ｐとｐ'とは各画像の特徴点に対する３次元空間点の座標を持つ。画像の特徴点間で対応付け済みとする。なおＮは対応点ペアのペア数である。
【0075】
【数23】
【数24】
【数25】
【0076】
まず、以下の（数２６）および（数２７）に示すように、特徴点の対応付けに基づいて空間点の対応点ペアが順に並べて設定される。
【数26】
【数27】
【0077】
ここで、ｃ１とｃ２とは、対応する列ベクトルが対応点の座標になる行列である。この行列から回転行列Ｒと移動ベクトルｔとを直接求めることは難しい。しかしながら、ｐとｐ'との分布がほぼ等しいことから、対応点の重心を合わせてから回転すれば、対応点を重ね合わせることができる。アシスト部１０５は、このことを利用して、回転行列Ｒと移動ベクトルｔとを求める。つまり、アシスト部１０５は、以下の（数２８）および（数２９）を用いて、まず特徴点の重心である重心ｔ１およびｔ２を求める。
【数28】
【数29】
【0078】
次に、アシスト部１０５は、以下の（数３０）および（数３１）を用いて、特徴点の分布である分布ｄ１およびｄ２を求める。ここで、上述したように、分布ｄ１と分布ｄ２との間には、（数３２）の関係がある。
【数30】
【数31】
【数32】
【0079】
次に、アシスト部１０５は、以下の（数３３）および（数３４）を用いて、分布ｄ１および分布ｄ２の特異値分解を実行する。特異値は、降順に並べられているものとする。ここで記号＊は複素共役転置を表す。
【数33】
【数34】
【0080】
次に、アシスト部１０５は、分布ｄ１および分布ｄ２が二次元以上であるか否かを判別する。特異値は、分布の広がり具合に対応している。従って、最大の特異値とそれ以外の特異値との比率や、特異値の大きさを用いて判定がなされる。例えば、２番目に大きい特異値が、所定値以上かつ最大の特異値との比率が所定範囲内である場合に、分布が二次元以上と判定される。分布ｄ１およびｄ２が二次元以上でないと判定されると、回転行列Ｒを求めることができないので、アシスト部１０５は、エラー処理を実行し、座標変換パラメータ取得処理を終了する。一方、分布ｄ１およびｄ２が二次元以上であると判定されると、アシスト部１０５は、関連付けＫを求める。上述の（数３２）～（数３４）から、回転行列Ｒは、以下の（数３５）のように表すことができる。ここで、関連付けＫを（数３６）のように定義すると、回転行列Ｒは（数３７）で表される。
【0081】
【数35】
【数36】
【数37】
【0082】
ここで、固有ベクトルＵは、分布ｄ１および分布ｄ２の固有ベクトルに相当し、関連付けＫにより関連付けられる。関連付けＫの要素には、固有ベクトルが対応する場合は１か－１が、そうでない場合は０が与えられる。ところで、分布ｄ１および分布ｄ２が等しいことから、特異値、つまり、Ｓも等しい。実際には、分布ｄ１と分布ｄ２とには誤差が含まれているので、誤差を丸める。以上を考慮すると、関連付けＫは、以下の（数３８）を計算することにより得られる。
【数38】
【0083】
関連付けＫの算出が完了すると、回転行列Ｒが計算される。具体的には、アシスト部１０５は、（数３７）と（数３８）とに基づいて回転行列Ｒを計算する。回転行列Ｒの計算後、アシスト部１０５は、分布ｄ１および分布ｄ２が二次元であるか否かを判定する。例えば、最小の特異値が、所定値以下または最大の特異値との比率が所定範囲外である場合、分布ｄ１および分布ｄ２は二次元であると判定される。
【0084】
分布ｄ１および分布ｄ２が二次元ではないと判定されると、アシスト部１０５は、移動ベクトルｔを計算する。ここで、分布ｄ１および分布ｄ２が二次元ではないことは、分布ｄ１および分布ｄ２が３次元であることを示す。ここで、ｐとｐ'は、以下の（数３９）の関係を満たす。（数３９）を変形すると、（数４０）のようになる。（数４０）と（数２５）との対応から、移動ベクトルｔは、以下の（数４１）のようになる。
【0085】
【数39】
【数40】
【数41】
【0086】
一方、分布ｄ１および分布ｄ２が二次元であると判定されると、アシスト部１０５は、回転行列Ｒを検証し、回転行列Ｒが正常であるか否かを判別する。分布が二次元の場合、特異値の１つが０になるので、（数３６）から判るように、関連付けが不定になる。つまり、Ｋの３行３列目の要素が１か－１のどちらかであるが、（数３８）では正しい符号を割り当てる保証がない。そこで、回転行列Ｒの検証が必要になる。検証には、回転行列Ｒの外積関係の確認や（数３２）による検算などが用いられ得る。なお、ここでいう外積関係の確認とは、回転行列Ｒの列ベクトル（および、行ベクトル）が座標系による制約を満たすことの確認である。右手座標系では、１列目のベクトルと２列目のベクトルの外積は、３列目のベクトルに等しくなる。回転行列Ｒが正常であると判定されると、アシスト部１０５は、移動ベクトルｔを計算し、カメラ座標間の相対位置姿勢を終了する。
【0087】
また、一般的に公知のＩＣＰ手法（非特許文献１）を用いて、すでに求めた空間点Ｐと、現在のライブビュー画像に対応する距離画像から求めた空間点Ｐ'との間からカメラ座標間の相対位置姿勢の推定を行うことができる。つまり、アシスト部１０５は、異なる時刻における空間点Ｐ及びＰ'を静止領域とみなして３次元剛体変形することでカメラ座標間の相対位置姿勢について推定する。カメラ位置姿勢の探索は以下の（数４２）、（数４３）により実施される。
【0088】
【数42】
【数43】
【0089】
ここで、ｐ、ｐ'は３次元復元形状、Ｒ，Ｔは被写体の位置姿勢変化量である。また、ｑはカメラの位置姿勢を考慮した座標系の状態からさらに被写体の位置姿勢変化量の逆変換で３次元点ｐ'を座標変換した空間点である。時刻の異なるフレーム間でのカメラ座標間の相対位置姿勢を取得できる。なお、ＲＡＮＳＡＣ（Random Sample Consensus）が内部的に含まれている。そのため、空間点ＰとＰ'の間または対応する画像の特徴点間で数が異なっていても、また、事前の対応付けを行っていなくても、３次元空間点の幾何学的な位置関係からカメラ座標間の相対位置姿勢を取得できる。
【0090】
なおＳ３０７で撮影された視差画像（距離画像）に対する撮像装置の位置姿勢は、Ｓ３０１でカラー画像を撮影した撮像装置の位置姿勢とは異なるため、生成した距離画像の視点変換が必要である。なお、画像計測が概略で良い場合には、Ｓ３０８にて次のように距離画像を算出してもよい。すなわち、アシスト部１０５のアシストを得て光軸方向と画角が略一致する撮影視点において距離画像を撮影できていて、光軸方向への移動が微小の場合には、視点移動した距離分を距離画像全域から減算することで距離画像を算出するようにしてもよい。例えばプレビュー用に後述の３次元モデル生成を行うような場合にはこのような簡略変換でもよい。
【0091】
ドリーアウトのカメラアシストによる撮影位置の移動量、ズーム量の変更が大きい場合には幾何学的な正確性を向上するため、距離画像に対し、幾何学的な視点変換を実施する。図８Ａ、図８Ｂは距離画像に対する視点変換を説明する図である。図８Ａは視点変換の幾何学的な関係を説明する図である。視点位置Ｃ２、焦点距離ｆ２で撮影した距離画像８０５（Ｉｄ２）を、視点位置Ｃ１、焦点距離ｆ１で撮影したカラー画像８０６（Ｉ１）の視点の距離画像８０７（Ｉｄ１）に変換する処理である。シーン中には近距離の被写体８０１及び遠距離の被写体８０２があるとする。なお、カラー画像８０４（Ｉ２）は、視点位置Ｃ２、焦点距離ｆ２で撮影したカラー画像である。
【0092】
ドリーズームのドリーアウトカメラワークにおいては、位置８０３までの距離を、像サイズを一定にする基準距離としている。ここでそれぞれのカメラ行列をＰ２＝［Ｉ｜０］、Ｐ１＝［Ｒ｜ｔ→］と定義する。つまり、距離画像を撮影したカメラ座標をグローバル座標と一致するように設定する。Ｒ、ｔ→は距離画像を撮影したカメラに対するカラー画像を撮影したカメラの相対位置姿勢である。まず、図８Ｂ（ａ）のように、Ｐ２で撮影した距離画像の各画素の距離値（ｘ２，ｙ２，ｄ２）をＰ２に基づく逆射影により、空間点Ｘ→
２に変換する。被写体８０８及び被写体８０９は距離画像の各画素の距離値を逆射影により空間点とした例えば３Ｄ点群Ｘ→
２として保持される。なお、被写体８０８及び被写体８０９をボリュームデータ等の空間の３Ｄデータ保持形式で保持してもよい
【数44】
【0093】
次に、カラー画像のカメラ行列Ｐ１により画像平面上に空間点Ｘ→
２を射影してカラー画像に対応する視点に変換された距離画像を得る。図８Ｂ（ｂ）は空間点のカラー画像座標への射影を説明する図である。例えば３次元点群形式で表現された空間点Ｘ→
２である被写体８０８、被写体８０９をグローバル座標または距離画像のカメラ座標からカラー画像のカメラ座標に変換し、射影を適用する。距離画像８０７はカラー画像の視点位置Ｃ１、焦点距離ｆ１のカメラ座標への射影により生成された距離画像である。距離値の代わりにカラー値をマップすると対となるカラー画像８０６と同様のカラー画像が得られる。これを式で示すと（数４５）（数４６）で表される変換となる。
【0094】
【数45】
【数46】
【0095】
ここで、（ｃｘ，ｃｙ）は画像中心、Ｉｄ１（ｘ１，ｙ１，ｄ）は各画像座標（ｘ，ｙ）上に距離値ｄを持つ距離画像８０７である。ｄ＝Ｘ→
１［３］はカメラ行列Ｐ１のローカル座標に変換した空間点Ｘ→
１の光軸に沿った座標値を抜き出したスカラー値がカラー画像のカメラ座標を基準とした距離値に対応することを示す。また、（数４６）より、３次元剛体変換ＴのみをＸ→
２に適用すると、距離画像を撮影したカメラ座標、またはグローバル座標からカラー画像を撮影したカメラ座標系のローカル座標系に座標変換ができる。
【0096】
視点位置Ｃ２の距離画像から逆射影された空間点Ｘ→
２の３次元空間上、もしくはさらに視点位置Ｃ１、焦点距離ｆ１のカメラに対し射影された距離画像上で補間もしくはリサンプリングを行ってもよい。その際は逆射影された空間点Ｘ→
２上での周囲の点群、視点位置Ｃ２の距離画像と対で撮影したカラー画像の色情報、または視点変換した先のカラー画像の色情報等を補助情報に用いて補間やリサンプリングを実施してもよい。３次元空間上で補間やリサンプリングを行う際にはポリゴン化やボリュームデータ化して補間してもよい。
【0097】
次に、始点変換された距離画像にオクルージョンが発生する場合の処理について説明する。所望の画角の広角のカラー画像を撮影し、ドリーアウトにより撮影距離を取って望遠側で距離画像を撮影するような場合、図８Ａのような単純な構図であれば距離画像の視点変換においては距離値に対してオクルージョンは生じない場合も多い。一方、シーン中の複数の距離位置に不連続に被写体が存在したりすると、例えば図９Ａに示されるように、距離画像９０６（Ｉｄ２）から距離画像９０８（Ｉｄ１）への視点変換の際に、距離画像Ｉｄ１上にオクルージョンが発生する。
【0098】
図９Ａ、図９Ｂを参照して視点変換におけるオクルージョンの発生例と対処法を説明する。例えば、図９Ａ（ａ）に示すようにシーン中のドリーズームにおける基準距離とは異なる距離位置に複数の被写体が存在する場合、オクルージョンが生じやすい。シーン中には、中距離の被写体９０１及び遠距離の被写体９０２に加えて、近距離の被写体９０３があるとする。ドリーズームのドリーアウトカメラワークにおいては位置９０４の距離を、像サイズを一定にする基準距離とする。視点変換の説明時と同様に視点位置Ｃ２、焦点距離ｆ２で撮影した距離画像９０６（Ｉｄ２）を、視点位置Ｃ１、焦点距離ｆ１で撮影したカラー画像９０７（Ｉ１）の視点の距離画像９０８（Ｉｄ１）に変換する。すると、視点Ｃ２、Ｃ１の画像から視点Ｃ１の画像にマップする際に距離画像９０８（Ｉｄ１）上にオクルージョン部９０９が生じてしまう。
【0099】
オクルージョン部９０９は、距離画像９０６（Ｉｄ２）を色と距離情報を基に補間したり、距離画像９０６（Ｉｄ２）を撮影した周辺の視点で距離画像を追加撮影して補間したりしてもよい。
【0100】
まず、距離情報と対応するカラー画像の色とに基づいて距離画像を補完する方法を、図９Ａ（ｂ）を用いて説明する。カラー画像には視点位置Ｃ１で撮影したカラー画像９０７（Ｉ１）、もしくはカラー画像９０５（Ｉ２）の視点変化により生成したカラー画像Ｉ'１のいずれを用いてもよい。なお、カラー画像９０５（Ｉ２）は、視点位置Ｃ２、焦点距離ｆ２で撮影したカラー画像である。
【0101】
色と距離値による補間においては、視点変換における画素の射影マッピングにおいて距離画像上への未マッピング画素をクラスタリングしてある閾値以上の大きさの未マッピングクラスタ領域をオクルージョン領域とみなす。オクルージョン部ではない小クラスタとなる孤立マッピング領域は、前述の空間点Ｘ→
２の３次元空間上での補間及びリサンプリング、距離画像上での補間及びリサンプリングを事前に行っておくと大幅に減らしておくことができる。モルフォロジー処理による補間も有効である。
【0102】
クラスタリング処理によりオクルージョン部と判定された領域は、境界を接する領域のうち色が類似で最も距離値が奥側の距離値で補間を行う。これにより、図９Ａ（ｂ）に示すように、オクルージョン部９０９を含む視点変換後の距離画像９０８（Ｉｄ１）から、オクルージョン部９０９を補間したオクルージョン部のない距離画像９１０（Ｉ'ｄ１）を得ることができる。
【0103】
次に、図９Ｂ（ａ）を用いて、距離画像９０６（Ｉｄ２）を撮影した周辺の視点で、さらに距離画像を追加撮影し、距離画像を統合してオクルージョン部９０９を別視点の情報から補間する方法を説明する。図９Ｂ（ａ）においては、まず距離画像を視点位置Ｃ２で撮影した上でドリーアウトの前後視点においてＣ３、Ｃ４、Ｃ５、...、ＣＫの視点位置で距離画像を追加撮影する。そして、それぞれのカメラ行列Ｐ３、Ｐ４、Ｐ５、...、ＰＫを用いて例えばグローバル座標もしくはいずれかの距離画像を撮影したカメラ座標において空間点上で統合する。
【数47】
【0104】
本実施形態では一例として、Ｐ２＝［Ｉ｜０］の視点位置Ｃ２のカメラ座標上を基準座標とする。そして、各追加視点位置Ｃ３、Ｃ４、Ｃ５、...ＣＫで撮影した距離画像を逆射影した空間点Ｘ→
３、Ｘ→
４、Ｘ→
５、...、Ｘ→
Kを以下の（数４８）により基準座標へと視点変換する。
【数48】
【0105】
Ｘ→
２ｉとはＣｉ視点位置で撮影した距離画像から逆射影で生成した空間点を、視点位置Ｃ２のカメラ座標に変換したものである。そして、撮影した多視点から生成し視点変換した空間点Ｘ→
２、Ｘ→
２３、Ｘ→
２４、Ｘ→
２５、...、Ｘ→
２Ｋを、（数４９）に示すように、基準座標上で統合する。
【数49】
【0106】
ここで得られた統合空間点Ｘ'→
２を（数５０）、（数５１）に示すように、上述した（数４５）、（数４６）を適用して視点変換する。
【数50】
【数51】
【0107】
以降は視点位置Ｃ２の距離画像を単独で視点変換した場合と同様の手順である。これにより、多視点の距離情報でオクルージョン部を補間した、カラー画像と対となる視点変換した図９Ａ（ａ）で説明した距離画像９１０を得ることができる。
【0108】
ただし、ドリーズームのカメラワークだけでは大きく視点位置を移動してもオクルージョンはなかなか補間されない。そこで図９Ｂ（ｂ）に示すように、アシスト部１０５は、表示部１２０に、光軸に対して垂直な方向に撮像装置１００を平行移動させるカメラワークをユーザに促すアシスト情報を表示する。もしくは平行移動しながら同一画角を維持するように微小な回転も合わせて加えてもよい。撮像装置１００には図９Ｂ（ｃ）に示すような平行移動のカメラワークが加わるので、その間に距離画像を多視点において撮影することができる。
【0109】
そこで図９Ｂ（ａ）のドリーズームの場合と同様に、距離画像９０６（Ｉｄ２）を撮影した周辺の視点で、さらに距離画像を追加撮影し距離画像統合してオクルージョン部９０９を別視点の情報から補間する。図９Ｂ（ｄ）を用いて、撮像装置１００を光軸に垂直な方向に移動しながら距離画像を追加撮影し、距離画像統合してオクルージョン部９０９を補間する方法を説明する。
【0110】
図９Ｂ（ｂ）に示されたアシスト指示に従い、距離画像を視点位置Ｃ２で撮影した上で、シーンに対して画角を維持しながら撮像装置を図９Ｂ（ｄ）に示すように平行移動のカメラワークで移動しながら多視点位置Ｃ３、Ｃ４、Ｃ５、...、ＣＫで距離画像を追加撮影する。そして、それぞれのカメラ行列Ｐ３、Ｐ４、Ｐ５、...、ＰＫを用いて、ドリーアウトのカメラワークにおける距離画像の多視点統合の場合と同様に空間点上で距離情報を統合する。同様に例えばグローバル座標もしくはいずれかの距離画像を撮影したカメラ座標において統合を実施する。細かな手順については、ドリーアウトのカメラワークにおける距離画像の多視点統合の場合と同様である。
【0111】
以上で説明したような方法を用いて距離画像の補間を行うことで、視点変換により生じる距離画像上の距離情報に生じるオクルージョン部を埋めることができる。但し、距離情報の補間は多大な計算パワーや処理時間を必要とする。このため、オクルージョン部にはオクルージョン画素であるフラグもしくは値を設定し、距離画像の補間を省略して画像計測に用いてもよい。オクルージョン部の補間を省略した場合の画像計測に必要な対応は後述する。
【0112】
次に、Ｓ３０９における画像計測について詳細に説明する。Ｓ３０９では、得られたカラー画像と距離画像の対を用いて、画像計測が行われる。画像計測部１０６は、ディスプレイ上でユーザが指定した被写体上の２点間の３次元空間上の長さを測距してカラー画像上に表示する。またユーザが指定した被写体上の面の面積を計算して面積を数字で表示する、などの処理をおこなう。本実施形態においては、まず２点間の３次元空間上の長さ測距、次に所望の算出範囲に関する面積計測について説明する。
【0113】
図４（ｂ）は、３次元空間の被写体上における任意の２点間の長さの測定処理を説明するフローチャートである。Ｓ４２１において、画像計測部１０６は、ユーザによる長さ測定処理の対象となる２点（測定開始点および終了点）の指定を受け付ける。例えば、表示部１２０は、ディスプレイ上にタッチパネルが配置された構成（タッチパネル画面ともいう）を有し、ユーザは、測定開始点及び測定終了点をタッチパネル画面で指定することができる。
【0114】
図１０（ａ）は、表示部１２０のタッチパネル画面上に写った被写体１０上で、ユーザが測定開始点および終了点を指定する手順を説明する図である。被写体１０上の測定開始点１１０２と測定終了点１１０３をユーザがタッチすることにより指定する方法を示している。また、図１０（ｂ）は、表示部１２０の画面上に表示されるポインタ１１０４を、ユーザが撮像装置１００の十字ボタン１１０５を操作して動かすことで、被写体１０上における測定開始点と測定終了点を指定する方法を示している。
【0115】
Ｓ４２２において、画像計測部１０６は、Ｓ３０１で取得したカラー画像とＳ３０８で取得した距離画像から被写体の３次元モデルを生成する。選択した２点間の距離を距離画像上で直接に計算してもよいが、エラーが乗りやすい。そこで、一旦モデル化して測距のエラーやノイズに起因する急激な距離値の空間変化による計測エラーを抑制する。なお、Ｓ４２２では、１組のカラー画像と距離画像のペアに基づいて３次元モデルを生成する。つまり、３次元モデル生成処理は、一つのカメラ位置から見た３次元モデルを生成する処理と考えることができる。３次元モデル生成処理では、カラー画像及び距離画像を基にドロネー三角形分割を実行し、ポリゴン化を実行する。生成されたポリゴン情報は、表示部１２０においてカラー画像に重畳して表示したり、ポリゴン情報にカラー画像を張り付けたりしてもよい。なお、選択された２点間を含む領域のみを３次元化することにより、３次元モデル生成処理の演算量を低減するようにしてもよい。
【0116】
Ｓ４２３において、画像計測部１０６は、ユーザが指定した被写体上の２点間の３次元空間上の長さとその相対誤差を計算する。ここで、相対誤差について説明する。相対誤差は以下の（数５２）を用いて求められる。
【数52】
【0117】
なお、Ｚは被写体までの距離、ΔＺは奥行きの精度、ΔＺ／Ｚは相対誤差、Ｗは基線長、ｆは焦点距離、ｐiｘはイメージセンサのピクセルサイズを表す。すると、（ｐｉｘ／Ｗ）が精度となり、これに倍率（Ｚ／ｆ）を乗算することで、相対誤差ΔＺ／Ｚが求められる。ここで、Ｗ及びｆは距離画像を測距したズーム状態における基線長及び焦点距離である。２点間の長さは３次元モデル上の測定開始点１１０２及び測定終了点１１０３の３次元座標間の差により求めることができる。
【0118】
Ｓ４２４において、画像計測部１０６は、表示部１２０に３次元モデル上の測定開始点１１０２及び測定終了点１１０３の座標より求めた長さと相対誤差を表示する。図１０（ｃ）に示すように、測定した長さ１１０６とそのときの相対誤差１１０７の値が画面に表示される。なお、相対誤差の値の大きさと距離画像撮影時のズーム状態の関係によっては、もう少し近くで撮像することで精度を上げることができる、などのアドバイスをユーザに提示しても良い。
【0119】
なお、Ｓ４２１において指定された測定開始点及び測定終了点に関して、距離画像の視点変換により生じたオクルージョンなどで距離情報が存在しない場合がある。例えば、画像計測までの応答時間の短縮のため補間を省略して距離画像を単純に視点変換しただけの場合が挙げられる。そのような場合に、画像計測部１０６は、指定位置を距離情報の存在する位置にずらすか、ユーザに再度設定させるようにしてもよい。
【0120】
例えば図１１（ａ）に示すようなカラー画像９０７（Ｉ１）と距離画像９０８（Ｉｄ１）の対を入力として画像計測をおこなう場合を考える。なお、カラー画像９０７（Ｉ１）と距離画像９０８（Ｉｄ１）は、図９Ａ（ａ）で示した画像である。図１１（ｂ）に示されるように、表示部１２０において、ユーザが測定開始点１１０２と測定終了点１１０３を選択したとする。この場合、測定終了点１１０３は、距離画像９０８（Ｉｄ１）上ではオクルージョン部９０９に含まれる。そこで、画像計測部１０６は、図１１（ｃ）に示すように、自動でポインティング位置を距離情報の存在する位置にずらし、測定終了点１１０３をオクルージョン部９０９の領域外の距離情報が存在する領域にずらす。このように、画像計測部１０６は視点変換により得られた距離画像に存在するオクルージョン領域に測定開始点１１０２および／または測定終了点１１０３が指定された場合に、それらをオクルージョン領域外に移動する。図示の例では距離情報が存在する位置まで測定終了点１１０３が自動的に移動されている。
【0121】
もしくは、図１１（ｄ）に示すように、画像計測部１０６が、測定終了点１１０３を再度指定するメッセージ１１０８を表示して、ユーザに測定終了点を再度設定させる。すなわち、画像計測部１０６は、視点変換により得られた距離画像に存在するオクルージョン領域に測定開始点または測定終了点が指定された場合に、測定開始点または測定終了点の指定のやり直しをユーザに促す。図１１（ｄ）では、測定終了点１１０３を再度指定するためのポインタ１１０４が再度表示されている。ユーザは、タッチパネル画面上または十字ボタン１１０５の操作によるポインタ１１０４の移動より、測定終了点１１０３を再度指定する。
【0122】
以上、画像計測部１０６による２点間の距離の計測について説明した。次に、画像計測部１０６による面積の計測について説明する。面積の計測も、距離の計測と同様に３次元座標を基に実現できる。以下、図４（ｃ）に示すフローチャートを参照して３次元空間の被写体上における任意の領域の面積計測処理について説明する。
【0123】
Ｓ４４１において、画像計測部１０６は、カラー画像及び距離画像から被写体の３次元モデルを生成する。この処理は、Ｓ４２２における３次元モデルの生成処理と同様である。但し、Ｓ４４１では、平面、円筒、立方体、球などの形状プリミティブをフィッティングもしくは抽出して３次元モデルを形成する。プリミティブが３次元モデル上で規定されていると、面積算出範囲の指定（領域指定）を手軽に精度よく行うことができる。
【0124】
Ｓ４４２において、画像計測部１０６は、面積算出範囲のユーザによる指定を受け付ける。図１２を用いて面積算出範囲の指定の様子を説明する。ユーザは、表示部１２０上で、面積算出範囲を指示することができる。図１２（ａ）は、表示部１２０上における面積算出範囲の指定の様子を示す図である。例えば、ユーザは、タッチパネル画面上において被写体１０の領域境界を指でなぞることにより所望の面積算出範囲を指定することができる。または、図１２（ａ）に示すように、被写体１０の任意の平面上にポインタ１２０１を移動し、そこで画面をタップするなどの予め定義した既定の操作を行うことにより所望の面積算出範囲を指定するようにしてもよい。この場合は平面が図１２（ｂ）に示すように所望の面積算出範囲として選択される。上述したように、Ｓ４４１においてプリミティブのフィッティングまたは抽出を行いながらモデル生成を行うことで、このような機能が容易に実現できる。図１２（ｂ）中に示されるように、距離画像中の稜線で囲まれた各々の平面領域が平面プリミティブとして予めフィッティングまたは抽出されている。
【0125】
なお、２点間の距離算出の場合と同様に、面積算出範囲の測定をマニュアルで行うのみである場合には、順番を入れ替えて、面積算出範囲の指定するＳ４４２の後に、３次元モデルを生成するＳ４４１の処理を行うようにしてもよい。
【0126】
Ｓ４４３において、画像計測部１０６は、Ｓ４４２で指定した面積算出範囲の面積（表面積）とその測定誤差を計算する。まず面積は、例えば算出範囲の表面に含まれるポリゴンの面積の総和によって算出することができる。各ポリゴンには３次元座標で定義された３つの頂点座標情報が含まれ、この３点からポリゴン毎の面積算出が容易に可能である。例えば一般的なＧＰＵにはポリゴン情報をメモリに展開した後、各ポリゴンの面積を一括で計算し、その総和を少ないクロック、命令実行数で算出するジオメトリ演算機能が概ね実装されている。したがって、このジオメトリ演算機能を用いて面積を算出することができる。
【0127】
測定誤差は、距離に対しては上述の（数５２）で定義される。面積に関しては、光軸に対し平行な法線を持つ平面の場合、距離に対する誤差の二乗として定義される。例えば測定誤差が概算で良い場合、各ポリゴンに対しては各ポリゴンの重心位置の距離に対する誤差の二乗値で面積に関する測定誤差を定義できる。例えば各ポリゴンの測定誤差を各ポリゴンの面積を重みに加重平均することで面積算出範囲の測定誤差を概算で算出可能である。面積に関する測定誤差もＧＰＵ等のジオメトリ演算機能を利用すると高速に演算が可能である。
【0128】
Ｓ４４４では、画像計測部１０６は、算出した面積値と測定誤差値を表示部１２０に表示する。図１２（ｃ）に表示の一例を示す。１２０２は、指定された面積算出範囲の面積値である。１２０３はその面積算出範囲に対する測定誤差の概算値である。なお、２点間の距離の測定と同様に、指定した領域がオクルージョン部を含む場合に、画像計測部１０６は、ユーザに領域の再指定を促すようにしてもよい。
【0129】
以上説明したように、広角のカラー画像を所望の画角で撮影した際に距離画像が生成不可もしくはその信頼度が低い場合、光軸方向と画角が略一致の距離画像を撮影可能な撮影位置姿勢に撮像装置を誘導するアシストが行われる。ユーザはこのアシストを利用して距離画像を適切に撮影することができる。これにより、空間の広がりを演出した広角のカラー画像に対して、信頼度の高い測距を実現できる距離画像を得ることができる。そして、これらのカラー画像と距離画像の対を用いた画像計測を実施することができる。なお、カラー画像は輝度画像に置き換えてもよい。
【0130】
＜第２実施形態＞
次に、第２実施形態について説明する。第１実施形態では、カラー画像を撮影した後に、距離画像を取得可能な位置へ撮像装置を移動（ドリーアウト）させるためのアシストを行う構成を示した。第２実施形態では、距離画像を取得可能な位置で撮影を行った後、より適切な撮影位置へ撮像装置を移動させるためのアシストを行う構成を説明する。なお、第２実施形態の撮像装置１００の構成は、上述した第１実施形態と同様である。図１３は、第２実施形態による撮影及び画像計測手順を示すフローチャートである。上述した第１実施形態の処理とは逆に、まず測距可能な視点位置から距離画像撮影を行う。
次に、第２実施形態について説明する。第１実施形態では、カラー画像を撮影した後に、距離画像を取得可能な位置へ撮像装置を移動（ドリーアウト）させるためのアシストを行う構成を示した。第２実施形態では、距離画像を取得可能な位置で撮影を行った後、より適切な撮影位置へ撮像装置を移動させるためのアシストを行う構成を説明する。なお、第２実施形態の撮像装置１００の構成は、上述した第１実施形態と同様である。図１３は、第２実施形態による撮影及び画像計測手順を示すフローチャートである。上述した第１実施形態の処理とは逆に、まず測距可能な視点位置から距離画像撮影を行う。
【0131】
Ｓ１３０１において、制御部１１０は、距離画像を取得する。ユーザは、任意の構図で距離画像を撮影することができる。Ｓ１３０１で、アシスト部１０５は、撮影した画像について、ズーム状態などに起因した立体感および／または構図に不満があるかどうかを示すユーザの指示を受け付ける。不満があることを示す指示を受け付けた場合（Ｓ１３０２でＮＯ）、処理はＳ１３０３へ進む。Ｓ１３０３において、アシスト部１０５は、Ｓ１３０１で撮影した撮影画像とライブビュー画像を用いて、撮像装置１００の現在の位置姿勢を推定する。Ｓ１３０４において、アシスト部１０５は、ユーザが所望する立体感、構図が得られるような位置姿勢へ撮像装置１００を誘導するためのアシストを表示する。例えば、所定のズーム状態（焦点距離が所定値以下となる状態）となる位置姿勢への誘導を実施する。また、Ｓ１３０５において、アシスト部１０５は、撮像装置１００の移動中において、Ｓ１３０１での撮影時の画角を維持するために、光学系制御部１０４を介して光学系１０１のズーム状態（焦点距離）を制御する。
【0132】
ユーザは、ライブビューをみながら所望する立体感／構図を得られる位置姿勢に撮像装置１００が移動したと判断すると、撮影操作を行う（シャッターボタンを押す）。すると、処理はＳ１３０６（ＹＥＳ）からＳ１３０７へ進み、制御部１１０はカラー画像の撮影を実行する。撮影操作が行われるまで（Ｓ１３０６でＮＯの間）、Ｓ１３０３～Ｓ１３０６が繰り返される。こうして、アシスト部１０５は、ユーザが所望する立体感、構図を得るように撮像装置１００を移動させることに応じてズーム状態を変更し、カラー画像を再撮影させるようにアシストする。なお、Ｓ１３０１で距離画像を撮影したズーム状態のカラー画像でユーザが所望する立体感／構図が得られた場合は、ユーザは不満がないことを示す指示を行う。この場合（Ｓ１３０２でＹＥＳ）、処理はＳ１３０３～Ｓ１３０７をスキップして、Ｓ１３０８へ進む。
【0133】
Ｓ１３０３の処理について詳細に説明する。Ｓ１３０３では、画像計測の対象となるカラー画像を、Ｓ１３０１で撮影された距離画像とは別に撮影する。例えば、ユーザが立体感に不足を感じる場合、通常、構図のダイナミズムを得るためにズーム状態を短焦点距離側に切り換える。この場合、ユーザは、撮像装置１００のズーム状態を広角側に変更し、撮影の画角を維持するように被写体に近づいていく。このようなズーム変更と撮影位置の変更の組み合わせを一般的にはドリーインと呼ぶ。第１実施形態におけるドリーアウトと第２実施形態におけるドリーインのカメラワークを総称して一般的にはドリーズームと呼ぶ。以下、図１４を用いてドリーインしてカラー画像撮影を行う場合の、アシスト部１０５によるカメラアシスト動作を説明する。
【0134】
図１４（ａ）は、ドリーインを用いて撮影位置を変更していく際のスタート時点での被写体と撮像装置の位置関係を示す図である。Ｓ１３０１で距離画像を算出するために撮影した撮影位置Ｃ１及び撮影姿勢を基にアシストを開始する。撮影位置Ｃ１は所望の画角、所望のズーム状態で被写体１０について信頼度高く距離画像を算出できる視点位置である。１４０１は距離画像撮影時点でのシーンのワールド座標系におけるカメラ座標である。カメラの光軸がｚ軸、画像の水平・垂直方向がそれぞれｘ軸、ｙ軸に対応する。１４０２はカメラ座標１４０１の光軸であり、補助線で表されている。
【0135】
その後、撮影位置Ｃ１での画角に対し、ズームを徐々に広角側に変更し画像に映る像の画角範囲を維持しながら被写体に近づいていく。本処理では、ズーム状態が短焦点側の測距の信頼度が低下するズーム域、測距不能ズーム域に突入しても関係はない。そして図１４（ｂ）に示すようなユーザが所望の立体感を得られるズーム状態で撮影可能な撮影位置Ｃ２に到達した時点で、ユーザはカラー画像撮影を行う。
【0136】
カラー画像撮影におけるアシスト方針は、基本的に第１実施形態でのドリーアウトカメラワークにおける距離画像撮影時の撮像装置１００に対するアシスト方針と同様である。まず、カラー画像撮影時のカメラ座標系１４０３で表される撮像装置１００の位置姿勢は、各軸が距離画像撮影時のカメラ座標１４０１と平行になるように、光軸１４０２の方向に略一致で平行移動させることが望ましい。
【0137】
図１４（ｃ）は、撮像装置１００の位置姿勢を図１４（ｂ）の状態（撮影位置Ｃ２）まで移動する過程における、撮像装置１００の位置姿勢の状態の一例を示す。ドリーインを続けているので、撮影位置Ｃ２におけるズーム状態（撮影画角）は、距離画像撮影時のシーンの範囲（画角）が維持されるように調整されている。しかしながら、撮影位置Ｃ３は撮影位置Ｃ２よりも被写体から離れており、また距離画像撮影の光軸方向（光軸１４０２）からもずれている。さらに、撮影位置Ｃ３における撮像装置１００の姿勢（カメラ座標１４０４）も距離画像撮影の光軸方向に対して傾いている。したがって、アシスト部１０５による、姿勢修正、距離画像撮影の光軸の延長線上への位置移動のアシストが必要となる。
【0138】
Ｓ１３０３において、アシスト部１０５は、撮像装置１００のライブビューで取得される複数枚の視差画像からなる画像列情報と距離画像、不図示の姿勢センサ等に基づき撮像装置１００の位置姿勢推定を行う。第１実施形態と同様に、撮像装置１００が距離画像を求めることのできるズーム域にある場合は、アシスト部１０５は撮像装置１００の位置姿勢推定に距離画像も利用する。また、距離画像が算出不可となるズーム域に撮像装置１００がある場合は、アシスト部１０５は画像情報のみを用いて撮像装置１００の位置姿勢推定を行う。姿勢センサ情報は画像や距離画像に基づく位置姿勢推定の初期値に用いると有用である。
【0139】
所望のカラー画像を撮影した後はカラー画像を撮影した撮像装置１００の位置姿勢状態に距離画像を視点変換する。距離画像の視点変換方法については第１実施形態で説明したとおりである。また、Ｓ１３０８の画像計測処理は、第１実施形態（図３のＳ３０９）と同様である。
【0140】
以上のように、第２実施形態によれば、例えば撮影された距離画像に対して立体感や構図に不満を感じたユーザがより広角側のズーム状態で撮影画像を得たいような場合に、適切なアシストを提供することができる。すなわち、距離画像とほぼ同一の画角を維持しながら広角側のズーム状態でカラー画像を撮影することによりカラー画像と距離画像の対を得たいような場合に、適切なアシストが提供される。この場合、距離画像に対して光軸方向と画角が略一致する位置姿勢に撮像装置１００を誘導するアシスト部のアシストを利用する。これにより、信頼度が高く測距できた距離画像と、空間の広がりを演出した広角のカラー画像の対を得ることができ、これらカラー画像と距離画像の対を用いた画像計測を実施できる。なお、カラー画像は輝度画像に置き換えても同様である。
【0141】
＜第３実施形態＞
特開２００８－０４２５８０（特許文献２）には、撮影した鑑賞画像（第１、第２実施形態のカラー画像）に、距離画像に基づく計測結果を重畳表示する技術が記載されている。しかしながら、特開２０１９－０４５２４９（特許文献３）に記載されているように、撮影後に距離画像による計測の失敗が通知された場合は、鑑賞画像と距離画像の全てを再撮影するしか術がない（特許文献３）。
特開２００８－０４２５８０（特許文献２）には、撮影した鑑賞画像（第１、第２実施形態のカラー画像）に、距離画像に基づく計測結果を重畳表示する技術が記載されている。しかしながら、特開２０１９－０４５２４９（特許文献３）に記載されているように、撮影後に距離画像による計測の失敗が通知された場合は、鑑賞画像と距離画像の全てを再撮影するしか術がない（特許文献３）。
【0142】
撮影の主役である鑑賞画像は、撮影時の照明や自然光の具合、空気の揺らぎ、ノイズ感など偶発的要素も含めて評価される瞬間を切り取った１点ものであり、たとえ計測が失敗するような場合であっても、その画像を鑑賞画像として使いたいことがある。また鑑賞画像は主観で評価されるため成功の許容幅が大きいことが多い。他方、計測データにおいては、複数枚の視差画像を基に距離画像を生成して計測処理を行う画像ベースの計測方法の場合、手振れや焦点ボケ、ノイズの影響を受けて距離画像の生成もしくは計測を失敗しやすい。また、観賞画像の質を向上するために撮影技法を凝らして動きや焦点ボケを加えたり、大きなプラスやマイナスの露出補正を加えたりして撮影する場合がある。このような撮影は、計測撮影の最適条件から外れており、再撮影を何度繰り返しても計測に失敗するか、または満足のいく計測結果が得られないことになる。逆に撮影条件を計測に最適に変更して再撮影した場合には、計測に成功しても、鑑賞画像の撮影条件が当初の撮影意図から乖離してしまい、満足な鑑賞画像が得られない。
【0143】
以下の第３実施形態および第４実施形態では、撮影意図に沿った撮影条件で撮影した鑑賞画像を用いつつ、計測に最適な撮影条件で取得した距離画像（計測情報）を得ることのできる撮像装置について説明する。
【0144】
図１５は、第３実施形態による撮像装置１００の構成例を示すブロック図である。図１５において、第１実施形態（図１）と同様の構成には同じ参照番号が付してある。撮像系１３０は、光学系１０１と撮像部１０２を含む。制御部１１０ａは、撮像系制御部１２１、メモリ１２２、鑑賞画像生成部１２３、距離画像算出部１０３ａ、アシスト部１０５ａ、画像計測部１０６ａを備える。第１実施形態で説明したように、撮像部１０２は、分割瞳領域を有する光学系１０１を通過した光学像から視差画像（視差を有する複数の画像）を得る機能を有する。撮像部１０２により撮影された視差画像はメモリ１２２に格納される。
【0145】
鑑賞画像生成部１２３は、メモリ１２２から視差画像を取得し、必要な前処理を行った後、鑑賞画像を生成する。この前処理では、例えば、撮像部１０２がカラーセンサを有する場合にはベイヤー配列補間が実施される。また、前処理では、鑑賞画像としての質を向上するため、ローパス、ハイパス等のフィルタリング処理、鮮鋭化処理、ＨＤＲ処理などのダイナミックレンジ拡大を含む諧調補正処理、ＷＢ補正処理を含む色調補正など、種々の処理が実施される。そして、鑑賞画像生成部１２３は、前処理が施された視差画像からいずれかを選択することにより、或いは、それら視差画像を合成することにより鑑賞画像を得る。なお、上記した前処理の一部あるいは全てが第１実施形態（図２Ａ）で説明した演算処理部２０４により実行されてもよい。
【0146】
距離画像算出部１０３ａは、メモリ１２２に格納された視差画像を用いて距離画像を生成する。まず、距離画像算出部１０３ａは、距離算出を適切に実行できるように視差画像への前処理を実施し、前処理が施された視差画像間の対応付けを行い、撮影情報を基に距離画像を生成する。撮影情報は、例えば、光学系１０１のズーム状態から規定される焦点距離、絞り値などのカメラパラメータ、撮像部１０２が備える撮像素子の画素ピッチなどの撮像素子情報、が含まれる。また、距離画像算出部１０３ａによる前処理では、撮像部１０２がカラーセンサを備える場合には、ベイヤー配列補間して視差画像を一旦カラー化した後に輝度画像化してもよいし、直接輝度画像変換を行うようにしてもよい。ベイヤー配列補間は、鑑賞画像生成部１２３の前処理と同様の処理が用いられ得る。また、前処理において直接に輝度画像変換を行う場合、距離画像算出向けの簡易レベルが用いられても良い。また、距離画像算出部１０３ａの前処理では、距離画像算出の精度やロバスト性を向上させるために、鑑賞画像生成とは異なるフィルタリング処理、トーンマッピング等の諧調の調整処理が行われてもよい。また、後述の画像計測部１０６ａにおいてオブジェクト抽出やプリミティブ抽出などの認識処理が実施される場合は、認識結果が最良となるように、鑑賞画像生成とは異なる処理や処理パラメータで対応する画像を一緒に生成してもよい。なお、鑑賞画像生成部１２３と同様に、上記した距離画像算出部１０３ａの前処理の一部あるいは全てが第１実施形態（図２Ａ）で説明した演算処理部２０４により実行されてもよい。
【0147】
画像計測部１０６ａは、画角が略一致する鑑賞画像と距離画像の対を用いて撮像装置のユーザに画像計測機能を提供するコンポーネントである。距離画像算出部１０３ａで生成した認識用画像を入力としてもよい。画像計測部１０６ａは、距離画像上の各点（例えば各画素）における距離値の信頼度の統計量などを基に実施可能な計測の質を判定する。さらに、画像計測部１０６ａは、予め設定された信頼度の統計量に対する閾値を基に計測の可能／不可能の判定を実施する。
【0148】
画像計測部１０６ａにおいて、自動計測を実施する際には、一般・特定物体認識などのオブジェクト抽出、床面や壁面などの空間の平面やオブジェクトの球、円筒部などを抽出するプリミティブ抽出等がまず実施される。オブジェクト抽出やプリミティブ抽出の処理を鑑賞画像、距離画像、認識用画像に適用して計測箇所を特定し、画像計測をおこなう。三脚上に撮像装置１００を設置して据え撮りを行うことにより自動計測を行う場合には、予め設定した位置について計測を行うようにしてもよい。
【0149】
図１６に段ボールを被写体とした自動計測の結果例を示す。画像計測部１０６ａが、入力された鑑賞画像、距離画像、認識用画像に対してオブジェクト抽出やプリミティブ抽出などを実施し、被写体が直方体形状の段ボールであると認識したとする。この場合、画像計測部１０６ａは、例えば計測テンプレートとして直方体の３辺の長さを計測することが予め設定された自動計測パターンを選択し、観賞画像または認識用画像に対応する距離画像上の距離値を用いて距離計算を行う。図１６に示すように計測した箇所に計測線１６０１～１６０３を重畳表示し、その近傍に実空間での辺の長さ値を表示する。また、画像計測部１０６ａは、このような画像計測において、距離、長さ、面積だけでなく、計測結果の信頼度や誤差の値などの補足情報も取得する。図１６では、誤差の値が表示された様子が示されている。
【0150】
図１５に戻り、表示部１２０は撮像装置のＧＵＩであり、画像計測部１０６ａの計測結果を表示したり、計測の失敗を通知したりするインターフェース（Ｉ／Ｆ）である。表示部１２０はタッチパネル備え、画像計測部１０６ａと連携して対話的な計測をおこなう際には、画像上の計測ポイントや計測したい平面の位置を、タッチパネルを通してユーザに指定させることができる。そして、表示部１２０は、実空間における長さや面積の情報を鑑賞画像に重畳させて表示する。対話による画像計測については、第１実施形態（図１０、図１２）で説明したとおりである。
【0151】
また、距離画像算出部１０３ａが算出した距離画像上の各点の距離値の信頼度の統計量が予め設定した閾値よりも低い場合などには、表示部１２０を介してその旨をユーザに通知するようにしてもよい。また、自動計測結果の距離の誤差が予め設定した閾値よりも大きい場合に、その旨をユーザに通知するようにしてもよい。また、オブジェクト抽出やプリミティブ抽出に失敗した場合にも、その旨の通知を行うようにしてよい。また、これらの通知は、ユーザの設定により個別に省略可能としてもよい。
【0152】
アシスト部１０５ａは、計測の失敗を判定し、計測失敗後の再撮影をアシストする。アシスト部１０５ａは、距離画像の信頼度もしくはその統計量、自動計測結果の誤差量と、予め設定された閾値との比較、および、オブジェクト抽出やプリミティブ抽出の成否などに基づいて計測の失敗を判定する。計測が失敗したと判定された場合、アシスト部１０５ａは、計測のための画像（距離画像）を再撮影するためのアシストを実施する。再撮影のアシストは、表示部１２０を用いてユーザに通知することにより、および／または、不図示のユーザインターフェースを用いて実施される。また、再撮影のアシストにおいて、撮像装置の撮影条件が自動的に変更され、設定されるようにしてもよい。ここで、撮影条件とは、例えば、焦点距離や絞り値、シャッタースピード、ＩＳＯゲインや露出補正のプラスマイナスなどの設定値である。
【0153】
撮像系制御部１２１は、光学系１０１のズームやフォオーカス距離、絞り、撮像部１０２のシャッタースピードやＩＳＯゲインなどを制御するコンポーネントである。撮像系制御部１２１は、アシスト部１０５ａにおける撮影失敗の分析に基づいて制御方針を決定し、撮像系１３０による撮影条件を制御する。なお、撮影条件は、アシスト部１０５ａの自動設定により、もしくは表示部１２０を通してのユーザの手動設定により制御され得る。なお、撮像系制御部１２１が、不図示のパターン投光部などを制御して被写体にパターンを投光する機能を有してもよい。
【0154】
図１７に第３実施形態による撮像装置１００の撮影及び画像計測処理のフローチャートを示す。図１７のフローチャートは、鑑賞画像と距離画像が共通の視差画像を用いて生成される動作モード（同時撮影モード）での動作を示している。まず、ユーザは、被写体１０を望みの構図で撮影するべく撮像装置１００の不図示のシャッターを押す。シャッターが押されたことに応じて、撮像部１０２は撮影を実行し、同一タイミングで撮影された視差画像（複数枚の画像からなる）をメモリ１２２に格納する（Ｓ１７０１）。鑑賞画像生成部１２３はメモリ１２２に格納された視差画像を用いて鑑賞画像を生成し、距離画像算出部１０３ａはメモリ１２２に格納された視差画像を用いて画像計測に必要な距離画像を生成する。さらに、自動計測をおこなう場合には、画像計測部１０６ａが距離画像を用いて計測を行う。
【0155】
撮像部１０２により視差画像が撮影され、メモリ１２２に視差画像が格納されてから、距離画像算出部１０３ａが距離画像を算出するまでの処理は、第１実施形態（図４（ａ）および（数１）～（数４））で説明したとおりである。
【0156】
なお、距離画像算出部１０３ａでは、距離画像上において各画素における距離値に対する信頼度を算出する。信頼度は視差画像間の対応点同士の相関度や相関の探索範囲における唯一性、相関エリアのテクスチャが平坦部かエッジ部かなどに応じて変化する。この信頼度が低くなると、距離値の正解からの誤差も大きくなる傾向がある。テクスチャのない部分や光量が得られなくて諧調がない部分は距離値が得られないため信頼度には数値０やＮａＮ（Not a Number）の値が割り当てられる。例えば、計測用撮影（距離画像用の視差画像の撮影）の良否判定では、距離画像の各画素に割り振られた信頼度の統計値に対する閾値処理などが行われる。例えば、以下の（数５３）に示すように、重みつけ線形和により撮影毎の信頼度Ｅが算出される。
【0157】
【数53】
【0158】
ｅｉは各画素の信頼値、ｗｉは各画素に設定された重みである。重みは、画角における画素の位置、対となる視差画像の輝度諧調、色などの要因により決定される。計測に用いられる距離画像の信頼度Ｅに基づき、計測用撮影の良否の自動判定が行われる。なお、距離画像の信頼度の算出法は上記の方法に限らない。例えば信頼度は対応する視点の別の視差画像または観賞画像から信頼値や重みを求めるようにしてもよい。
【0159】
Ｓ１７０２において、画像計測部１０６ａは計測結果を表示部１２０に表示するとともに、上述した自動判定の結果を通知する。例えば、計測の元となる距離画像生成の成否を上述した信頼度の統計量で通知したり、自動計測の成否を通知したりする。または信頼度の統計量などで距離画像生成や自動計測の成否を数値化し、予め設定した閾値との比較により距離画像、自動計測の成功／失敗を判定する。判定の結果は、表示部１２０を通してユーザに通知されてもよいし、撮像装置１００内の次ステップの制御に用いられてもよい。
【0160】
Ｓ１７０３において、制御部１１０ａは、Ｓ１７０１で得られた鑑賞画像と計測結果の状態をユーザが確認した結果（鑑賞画像と計測結果の良否の判定）を受け付ける。なお、画像計測部１０６ａによる計測結果については、上述した自動判定の結果が用いられてもよい。鑑賞画像および計測結果が共にＯＫならば（Ｓ１７０２でＹＥＳ）同時撮影モードの計測撮影を完了する。この場合、表示部１２０に鑑賞画像を表示し、計測結果を鑑賞画像に重畳表示する処理が行われてもよい。また、表示部１２０に鑑賞画像を表示し、対話的な計測をさらに実施するようにしてもよい。
【0161】
一方、ユーザが鑑賞画像および計測結果のいずれかに不満であることを指示した場合、もしくは自動判定により計測結果が不良と判定された場合（Ｓ１７０３でＮＯ）、処理はＳ１７０４に移行する。Ｓ１７０４では、ユーザが表示部１２０のＧＵＩの表示画面に表示された鑑賞画像を確認し満足したかどうか、すなわち鑑賞画像の良否が判定される。鑑賞画像が不良であると判定された場合は（Ｓ１７０４でＮＯ）、計測結果と鑑賞画像の両方が不良であるか鑑賞画像が不良であるため、鑑賞画像と計測用の距離画像の元となる視差画像を再撮影するべく処理はＳ１７０１に戻る。こうして、同時撮影モードでの撮影が再度実行される。
【0162】
一方、鑑賞画像が「良」と判断された場合（Ｓ１７０４でＹＥＳ）、処理はＳ１７０５に進む。Ｓ１７０５において、制御部１１０ａは、この鑑賞画像を保存したまま、計測用の距離画像の元となる視差画像の再撮影を実施する追加撮影モードを実行する。なお、Ｓ１７０３とＳ１７０４において、鑑賞画像の良否を、例えば、ヒストグラムなどの諸属性の値と予め設定した閾値に基づいて判定するようにしてもよい。もしくは鑑賞画像は常に良であるとして、計測結果の良否のみに基づいて追加撮影モードを実行するか否かを判断するようにしてもよい。追加撮影モードでは、先の撮影で得られた鑑賞画像を維持しつつ、距離画像生成用の視差画像を再撮影し、先の撮影画像で失敗となった距離画像の算出／画像計測が再実施される。この際に、アシスト部１０５ａは、追加撮影モードで行われる再撮影時において、鑑賞画像と視点および視線方向が略一致した距離画像が得られるようにユーザをアシストするための表示等を行う。
【0163】
図１８（ａ）は、再撮影時の液晶画面の一例である。アシスト部１０５ａは、Ｓ１７０１において先に撮影した鑑賞画像を例えば半透明化させてシースルーで表示させて現在のライブビュー画像に重畳表示している。ユーザは、現在のビューを見ながら、撮影位置、視線方向が先の鑑賞画像を撮影したのと略一致の場所、撮影方向での再撮影をアシストする。重畳表示によって、ユーザは構図が先に撮影した鑑賞画像に略一致する視点および視線方向及に向かっていることを確認しながら撮像装置を動かすことができる。または、表示画面を二分割して、先に撮影した鑑賞画像の半分と現在のライブビュー画像の半分を左右に表示してアシストしてもよい。
【0164】
なお、アシスト部１０５ａは、図１８（ｂ）に示すように、先に撮影した鑑賞画像に重畳して、さらに先の撮影の距離画像における信頼度の低い部分、測距不能な部分をハイライト表示するようにしてもよい。あるいは逆に、距離画像の作成に成功した部分をハイライト表示するようにしてもよい。もしくは再撮影時にリアルタイムで距離画像の算出を行い、現時点での撮影条件で距離画像（または距離値）が算出可能か否か（取得可否）をリアルタイムで表示するようにしてもよい。また、アシスト部１０５ａは、距離算出結果から信頼度が閾値より低い領域の割合を統計的に算出して現在の撮影条件における低信頼領域率の増加／減少をユーザに通知してもよい。ユーザは表示部１２０の表示を参照することにより、表示された画像におけるハイライト部分を減らすような（または増やすような）撮影条件、距離画像内の低信頼が高信頼に変わるような撮影条件へ変更して再撮影を行うことができる。
【0165】
ユーザは、計測用の距離画像を算出することが可能な撮影条件で、視点と視線方向が鑑賞画像と略一致した画像が撮影可能であると判断したら、シャッターを押して、再計測用の視差画像の再撮影を実施する。こうして視差画像が取得され、距離画像の算出、再計測が実施される。
【0166】
以上、先に撮影した鑑賞画像と視点および視線方向が略一致した視点位置および視線方向にユーザがカメラを移動し、ユーザが試行錯誤で、撮影条件を距離画像が算出可能な値に設定する例を説明した。しかしながらこれに限られるものではなく、例えば、鑑賞画像撮影時の撮影条件を撮像装置１００内で判定し、より距離画像の撮影に成功する撮影条件（パラメータ）を撮像装置１００が算出するようにしてもよい。また、撮像系制御部１２１は、算出された撮影条件を撮像装置１００（撮像系１３０）に設定し、撮影条件の自動調節を行うようにしてもよい。
【0167】
例えば、撮像系制御部１２１は、距離画像算出の基となる視差画像、または対応する鑑賞画像またはその元となるＲＡＷデータにおいて、諧調ヒストグラムを取ってヒストグラムの偏在をチェックする。ここで、例えばヒストグラムが低諧調側に寄っている場合には、撮像系制御部１２１は、撮像装置１００に搭載されているＡＥ機能の元となるＡＥ線図に基づいてＡＥ機能と同様に絞り値やシャッタースピード、ＩＳＯゲインなどを自動調節する。
【0168】
また例えば、撮像装置に搭載されているジャイロセンサや加速度センサを用いて計測される手ぶれの大きさに対して、シャッタースピードが遅めで露光時間が長めであるならば、撮像系制御部１２１は、シャッタースピードを上げてＩＳＯゲインを上げる。また、撮像装置のＡＦの各測距点の深度方向スキャンを実施して得られる撮影シーンの被写体までの被写体距離が、フォーカス位置や絞りによって決定される被写界深度内に含まれていない場合、撮像系制御部１２１は、フォーカスの合焦距離や絞り値を調整する。こうして撮像系制御部１２１は、被写界深度内に被写体距離が含まれるように撮影条件の値を調整する。
【0169】
また例えば、距離画像算出の基となる視差画像等に対する諧調ヒストグラムの偏在をチェックしＡＥ調整により撮影条件を変更しても部分領域については偏りがある場合がある。そこで、自動計測において計測対象の画像領域（計測領域）が事前に決まっている場合に、撮像系制御部１２１は、計測領域の被写体部の黒潰れや白飛びによるテクスチャ喪失の可能性を調査し、これらを抑制するように撮影条件を調整するようにしてもよい。例えば、撮像系制御部１２１は、露出補正をプラス／マイナス調整する。
【0170】
また、距離画像算出において被写体のテクスチャが不足して距離画像算出がうまくいかない場合や、繰り返しパターンにより距離値の信頼度が低くなる場合がある。これらのような場合に、撮像系制御部１２１は、パターン投光部（不図示）によりパターンを投光するように撮影条件を変更してもよい。パターン投光部（不図示）は撮像部１０２の分光感度と対をなし、近赤外や遠赤外に波長域を持つものなど多様な選択肢がある。すなわち、パターン投光部には、撮像部１０２の分光感度がカバーする波長領域の発光源を有する任意の投光部を利用することができる。
【0171】
以上のように、採用したい鑑賞画像を撮影した際に距離画像の算出や画像計測に失敗しても、距離画像をより容易に算出できるように撮影条件が変更、調整され、距離画像の算出が可能な視差画像を再撮影により容易に得ることができる。また、撮影条件の設定は撮像装置が自動的に変更してもよいし、表示部１２０にアシスト情報として撮影条件を表示して設定をユーザに委ねてもよい。また、撮影条件は、音声Ｉ／Ｆによりユーザに通知されてもよい。
【0172】
距離画像算出部１０３ａは、以上のような再撮影により得られた視差画像を用いて距離画像を算出する。画像計測部１０６ａは、自動計測が設定されているならば、再撮影で得られた距離画像を用いて自動計測を実施し、鑑賞画像に自動計測結果を重畳表示した画像を表示部１２０に表示する。他方、対話による画像計測が設定されている場合、画像計測部１０６ａは、距離画像の信頼度の統計値などの指標と予め設定された閾値に基づいて対話的な距離計測が可能な旨をユーザに通知し、対話的な距離計測状態に移行する。なお、Ｓ１７０５において、画像計測が可能な状態になったか否かを判定し、画像計測が可能な状態でない場合には、上述した再撮影をさらに繰り返すようにしてもよい。
【0173】
また、計測画像の再撮影と計測を行うＳ１７０５は、Ｓ１７０１からＳ１７０４を経て、自動で高速に実施されてもよい。距離画像の信頼度の統計値等に基づく計測の失敗判定で失敗と判定された場合に、速やかに計測撮影の失敗の原因を分析し、撮影条件を自動で変更し、連写撮影が実施されるようにしてもよい。これにより、手持ち撮影や動体の撮影であっても計測画像の再撮影が可能となる。
【0174】
また、Ｓ１７０５における計測画像の再撮影は１回に限られるものではなく、再撮影画複数回行われてもよい。例えば、ブラケット撮影のように撮影条件を変化させて複数組の視差画像を撮影し、最も信頼度の高い距離画像が得られた画像を計測に利用するようにしてもよい。または、距離画像の信頼度の低い部分について、他の距離画像で高い信頼度が得られている場合に、距離画像の信頼度の低い部分を当該他の距離画像の同一箇所で置き換えるようにしてもよい。また、例えば、前述のＧＵＩによるアシストにより、距離画像の信頼度の低い部分に着目して撮影条件を変えて、当該部分に関して信頼度の高い別の距離画像を取得できた場合、距離画像の当該部分を別の距離画像の当該部分で置き換えてもよい。さらに、再撮影により得られた１つまたは複数の距離画像の部分を用いて、鑑賞画像撮影時に得られた距離画像（鑑賞画像の生成元の視差画像から得られた距離画像）を部分的に置き換えて計測情報の生成に用いる距離画像を算出してもよい。または、複数枚の距離画像を統計的に処理して距離値や信頼度を改善して一枚の距離画像を生成し、これを計測に用いるようにしてもよい。
【0175】
以上説明したように、鑑賞画像に対応した距離画像を基に実空間での被写体の長さや面積を鑑賞画像上で計測可能する計測撮影機能において、計測が失敗した場合に計測画像のみを再撮影することができる。そして、その際には、距離画像の算出または計測情報の生成を阻害する要因を回避するように、撮影条件（撮影位置、姿勢、焦点距離、絞り値、シャッタースピード、ＩＳＯゲイン、露出補正の少なくとも一つ）の変更方針がユーザにアドバイスされる。したがって、ユーザは、鑑賞画像を撮影意図に合った状態で撮影し、計測用撮影を計測に合った撮影条件に変更して再撮影することを容易に行える。
【0176】
＜第４実施形態＞
次に第４実施形態について説明する。図１９は第４実施形態による撮像装置１００の構成例を示すブロック図である。第３実施形態における撮像系１３０は瞳分割撮像系であった。第４実施形態では、光学系および撮像素子を備える２つ以上の撮像系の組（図１９では撮像系１３０ａと撮像系１３０ｂ）から構成されるステレオ撮像系または多眼撮像系の場合を説明する。また、図２０にステレオ撮像系を有する電子機器の一例を示す。図２０（ａ）は複数の撮像系１３０ａ、１３０ｂをまとめて１モジュールとした多眼撮像系である。各眼は単焦点系でもズーム系でも良い。また単焦点系の場合も、焦点距離が異なる光学系、画素数やピッチの異なる撮像素子の組み合わせであっても良い。図２０（ｂ）は、単一の撮像系１３０ａを有する単眼の撮像装置１００に、撮像系１３０ｂを有するモジュールをアタッチメントで組み合わせた例である。
次に第４実施形態について説明する。図１９は第４実施形態による撮像装置１００の構成例を示すブロック図である。第３実施形態における撮像系１３０は瞳分割撮像系であった。第４実施形態では、光学系および撮像素子を備える２つ以上の撮像系の組（図１９では撮像系１３０ａと撮像系１３０ｂ）から構成されるステレオ撮像系または多眼撮像系の場合を説明する。また、図２０にステレオ撮像系を有する電子機器の一例を示す。図２０（ａ）は複数の撮像系１３０ａ、１３０ｂをまとめて１モジュールとした多眼撮像系である。各眼は単焦点系でもズーム系でも良い。また単焦点系の場合も、焦点距離が異なる光学系、画素数やピッチの異なる撮像素子の組み合わせであっても良い。図２０（ｂ）は、単一の撮像系１３０ａを有する単眼の撮像装置１００に、撮像系１３０ｂを有するモジュールをアタッチメントで組み合わせた例である。
【0177】
なお、撮像系１３０ａ、１３０ｂは、第１～第３実施形態における撮像系１３０と同様に演算処理部２０４を含んでもよい。撮像系１３０ａ、１３０ｂにより撮影された視差画像はメモリ１２２に格納される。複数の撮像系を備えること以外は、第４実施形態の撮像装置１００の構成は、第３実施形態における撮像装置の構成と同様である。
【0178】
図２１は、第４実施形態による撮像装置１００の撮影及び画像計測の処理を示すフローチャートである。第４実施形態の撮像装置１００は、同時撮影モードと順次撮影モードの間の切り替えが可能である。同時撮影モードは、鑑賞画像生成部１２３と距離画像算出部１０３ａが共通の視差画像を用いるモードである。また、順次撮影モードは、鑑賞画像生成部１２３が用いる視差画像の撮影を行った後に距離画像算出部１０３ａが用いる視差画像を撮影するモードである。同時撮影モードが設定されている場合には処理はＳ２１０２に進み、順次撮影モードが選択されている場合には処理はＳ２１０３に進む。Ｓ２１０２では、あるタイミングで、撮像系１３０ａと撮像系１３０ｂがワンショットで撮影して視差画像を得る。この視差画像は、鑑賞画像の生成および距離画像（計測画像）の生成のための視差画像である。鑑賞画像生成部１２３と距離画像算出部１０３ａは、共通の視差画像を用いて、それぞれ鑑賞画像と距離画像を生成、算出し、画像計測を実施する。なお、Ｓ２１０２において、第３実施形態で説明した処理（図１７の処理）を実行するようにしてもよい。
【0179】
一方、順次撮影モードでは、観賞画像を生成するための視差画像と距離画像を算出するための視差画像を異なる撮影条件で撮影したい場合に選択される。まずＳ２１０３において、制御部１１０ａは、ユーザ操作に応じて鑑賞画像用の視差画像を撮影し、鑑賞画像生成部１２３はその視差画像を用いて鑑賞画像を生成する。撮影の際には、ユーザは、画像計測に最適な撮影条件のことは考慮せず、観賞画像のクオリティを向上する意図に従って撮影条件を設定すればよい。例えばシャッタースピードを遅くして動きボケを加えて動感を出したり、絞りを開放してボケ味を加えたりしてもよい。また露出補正をかけて例えば金属面などの質感を強調する撮影を行ってもよい。また、植物などの撮影では照明を逆光としてプラス露出補正によりテクスチャを飛ばしてもよい。このように、鑑賞画像の撮影のステップを計測画像の撮影のステップから分離することで、鑑賞画像の撮影における撮影条件への制約を生じなくさせることができる。必ずしも距離画像を生成するのに最適な撮影条件が、主観的に品質の高い鑑賞画像とはならない。例えばボケを使って主被写体を強調したり、諧調補正を用い材質の質感を強調したりするような場合には、最高の鑑賞画像を撮影する撮影条件と計測画像の最適撮影条件の間に乖離が生じることが多い。したがって、ユーザの撮影意図に沿った鑑賞画像を得たい場合には、順次撮影モードが有効である。
【0180】
鑑賞画像用の視差画像の撮影を終えると、Ｓ２１０４において、制御部１１０ａは、計測用の距離画像を算出するための視差画像の撮影を行う。距離画像用の視差画像を撮影する際には、Ｓ２１０３にて撮影した鑑賞画像に対して視点と視線方向が略一致した状態で撮影が行われる。Ｓ２１０４の処理は第３実施形態のＳ１７０５の処理と同様であり、アシスト部１０５ａによる撮影アシストを用いることができる。
【0181】
なお、第３実施形態の説明では、表示部１２０を構成するＧＵＩインターフェースの表示部に先に撮影した鑑賞画像を表示してユーザが自身で位置や撮影方向を調整する例を説明した。すなわち、第３実施形態では、先に撮影した観賞画像と現在のライブビュー画像を表示部１２０に表示して撮影をアシストする例を示した。しかしながら、このようなアシストのみでは幾何学的な空間関係をイメージできないユーザには撮像装置１００をどのように動かせばよいのかが分からない可能性がある。さらに晴天の屋外など表示部１２０のＧＵＩ表示が見難い場合には、撮像装置１００をどの程度並進させればよいのか、または回転させればよいのか分からない可能性がある。このため、計測のための視差画像の撮影に時間がかかるだけでなく、構図の再現精度の乖離（鑑賞画像と計測用の画像の乖離）が大きくなる可能性がある。
【0182】
第４実施形態では、このような事態の発生を抑制し、ユーザの利便性を向上させるために、相対位置姿勢推定を用いる撮影アシストを行う。アシスト部１０５ａは、先に撮影した観賞画像と、撮像装置１００がスルー画像としてライブビュー取得している画像との間での相対位置姿勢推定を用いた撮影アシストを行う。このアシストにより、計測画像の撮影では、Ｓ２１０３にて先に撮影した鑑賞画像に対し視点と視線方向が略一致した視点位置と視線方向にユーザ（撮像系１３０）を誘導することができる。
【0183】
鑑賞画像の撮影時の撮像系１３０の位置姿勢と計測画像に対応する画像を撮影している撮像装置１００の相対位置姿勢の算出方法は、例えば、第１実施形態（（数５）～（数２２））で説明したとおりである。計測画像に対応する画像はライブビューで表示部１２０にスルー表示しているシャッター押下前の画像またはそれを用いて計算した距離画像である。
【0184】
図１８（ｃ）に撮像装置１００の相対位置姿勢算出を用いた撮影アシスト例を示す。アシスト部１０５ａは、相対位置姿勢量と（数２２）で表される一致状態の差を補正するようにユーザにアドバイスを実施する。なお、アシスト部１０５ａによるアシストは、図１８（ｃ）に示されるように撮像装置１００の回転量や並進量を表示部１２０に表示することによりなされてもよいし、図１８（ｄ）に示されるように音声インターフェースを用いてなされてもよい。
【0185】
また、相対位置姿勢推定を用いた撮影アシストには、ライブビューのスルー画像表示用にキャプチャされる画像を用いてリアルタイムで距離画像算出を行って得られる距離画像が用いられてもよい。距離画像の情報を用いた相対位置姿勢の推定方法は、例えば、第１実施形態（（数２３）～（数４３））で説明したとおりである。アシスト部１０５ａは、鑑賞画像とライブビュー状態の現在の画像のカメラ座標間の位置姿勢の関係が、略一致の位置姿勢関係に近づくように撮像装置の位置と姿勢について撮影アシストを行う。
【0186】
なお、Ｓ２１０３で視差画像を撮影した際の撮像系の位置姿勢と、Ｓ２１０４で視差画像を撮影した際の撮像系の位置姿勢が僅かにずれている場合には、距離画像に対して視点変換処理を実行してもよい。視点変換処理により、距離画像を幾何学的に視点変換して鑑賞画像と略一致する位置姿勢による距離画像が取得される。距離画像に対する視点変換の処理は、例えば第１実施形態において（数４４）～（数４６）を用いて説明したとおりである。
【0187】
また、上記では、Ｓ１７０５で複数回の撮影を行って得られた複数の距離画像を用いて１枚の距離画像を得てもよいことを説明したが、それら複数の距離画像を取得する際に撮影位置を撮影条件として変更して撮影してもよい。例えば金属表面における鏡面反射が生じて距離計測ができない場合などは視点位置を変更して鏡面反射を回避して計測用の距離画像を取得するようにしてもよい。また、オクルージョンが発生する場合にも、それを回避するように視点位置を変更して距離画像を取得するようにしてもよい。距離画像を撮影した周辺の視点で距離画像を追加撮影し、得られた複数の距離画像を統合してオクルージョン部を別視点の情報から補間する方法については、第１実施形態にて、（数４７）～（数５１）を用いて説明したとりである。なお、鏡面反射を回避する場合も、オクルージョンの回避と同様の方法を適用できる。
【0188】
なお、第４実施形態においては、金属表面における鏡面反射により距離計測ができない場合、物体の存在によりオクルージョンの発生により距離計測ができない場合を例示したがこれに限られるものではない。例えば窓ガラス越しの撮影計測において計測時には映り込みを回避したいような場合にも応用可能である。観賞画像としては映り込みを入れたい場合でも、長さや面積の計測においては対象の被写体領域に一部でも被ってしまうとすべての計測が実施不能となる場合、あるいは、映り込み部の値が除かれた間違った計測結果となってしまう場合、が多いためである。
【0189】
なお、第４実施形態においては、鑑賞画像を先に撮影して視点変換する例を説明したが、計測用の撮影を先に行い、鑑賞画像を後に撮影してもよい。
【0190】
以上説明したように、第４実施形態によれば、撮像装置の鑑賞画像に対応した距離画像を基に実空間での被写体の長さや面積を鑑賞画像上で計測可能する計測撮影機能において、撮影前に鑑賞画像と計測用画像の同時撮影と順次撮影を切り替え可能にする。これにより、最高の鑑賞画像を撮影する撮影条件と距離画像に最適な撮影条件が異なる場合にも撮影意図に沿った鑑賞画像に対する計測結果を得ることができる。
【0191】
なお、上記各実施形態では、撮像装置１００としてデジタルカメラを例示したが、本発明はこれに限られるものではない。例えば、実施形態で示した光学系と撮像部の機能を有する電子機器（スーマートフォン、タブレットなど）であれば、本発明を適用することができる。
【0192】
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0193】
本発明のプログラムは、所定の演算機能を持つコンピュータ、撮像部、表示部、を備えた撮像装置のコンピュータにインストールすることによって、広角のカラー画像に対し光軸方向と画角が略一致の距離画像を撮影することができる。そして空間の広がりを演出した広角の前記カラー画像及び距離画像を用いた画像計測が実施できる。本発明のプログラムは、記録媒体の他、インターネットを通じて頒布することも可能である。
【0194】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0195】
１００：撮像装置、１０１：光学系、１０２：撮像部、１０３：距離画像算出部、１０４：光学系制御部、１０５：アシスト部、１０６：画像計測部
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】