特許 5993937 画像処理装置、撮像装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5993937

(24)【登録日】2016年8月26日

(45)【発行日】2016年9月14日

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 13/00 20060101AFI20160901BHJP

   H04N 13/02 20060101ALI20160901BHJP

   H04N 5/225 20060101ALI20160901BHJP

   H04N 5/232 20060101ALI20160901BHJP

【ＦＩ】

   H04N13/00 180

   H04N13/00 220

   H04N13/02 170

   H04N13/02 320

   H04N5/225 Z

   H04N5/232 Z

【請求項の数】11

【全頁数】25

(21)【出願番号】特願2014-507580(P2014-507580)

(86)(22)【出願日】2013年2月28日

(86)【国際出願番号】JP2013055374

(87)【国際公開番号】WO2013146067

(87)【国際公開日】20131003

【審査請求日】2015年5月14日

(31)【優先権主張番号】特願2012-82079(P2012-82079)

(32)【優先日】2012年3月30日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】岩崎 洋一

【審査官】 鈴木 明

(56)【参考文献】

【文献】 国際公開第２０１１／１１８０８９（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０２４３５２（ＷＯ，Ａ１）

【文献】 特開２００４−３４９７３６（ＪＰ，Ａ）

【文献】 特開２０１１−２９７００（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１６２０６３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／０４

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得する画像取得手段と、
前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力する指示入力手段と、
前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するトリミング手段と、
前記複数の部分画像の部分画像間における視差を示す視差情報を生成する視差情報生成手段と、
前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整する視差調整手段と、
前記視差調整手段による調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うシャープネス変更処理手段と、
前記立体部分画像の平均視差と前記立体画像の平均視差とが一致する点を前記立体部分画像内における視差の無いクロスポイントに設定するクロスポイント設定手段と、
を備えた画像処理装置。

【請求項2】

瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得する画像取得手段と、
前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力する指示入力手段と、
前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するトリミング手段と、
前記複数の部分画像の部分画像間における視差を示す視差情報を生成する視差情報生成手段と、
前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整する視差調整手段と、
前記視差調整手段による調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うシャープネス変更処理手段と、
を備え、
前記視差調整手段は、前記部分画像間の視差を拡大する処理を行う場合、前記視差情報に基づいて、前記立体部分画像内における視差の無いクロスポイントよりも近距離の領域、及び前記クロスポイントよりも遠距離の領域を検出し、前記近距離の領域の視差拡大率を前記遠距離の領域の視差拡大率よりも大きくする画像処理装置。

【請求項3】

瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得する画像取得手段と、
前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力する指示入力手段と、
前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するトリミング手段と、
前記複数の部分画像の部分画像間における視差を示す視差情報を生成する視差情報生成手段と、
前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整する視差調整手段と、
前記視差調整手段による調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うシャープネス変更処理手段と、
前記立体部分画像のサイズを拡大する画像拡大手段と、
を備え、
前記視差調整手段は、前記部分画像間の視差を拡大する処理を行う場合、前記画像拡大手段による前記立体部分画像のサイズの拡大に伴う視差量の増分を差し引いて、前記立体部分画像の視差の拡大率を決定する画像処理装置。

【請求項4】

前記シャープネス変更処理手段は、前記視差情報に基づいて、前記立体部分画像を第１の領域と前記第１の領域よりも視差量が大きい第２の領域とに区分けし、前記第１の領域内の画像のシャープネスを強くし、かつ、前記第１の領域よりも視差量が大きい前記第２の領域内の画像のシャープネスを弱くする請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項5】

前記シャープネス変更処理手段は、前記瞳分割方式の撮像に起因した前記複数の視点画像のボケの状態を示すボケ関数を用いて、前記立体部分画像のシャープネスを変更する請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項6】

前記シャープネス変更処理手段は、前記立体部分画像の全体のシャープネスを変更する請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項7】

請求項１〜３のいずれか１項に記載の画像処理装置と、
前記瞳分割方式の撮像を行う撮像手段と、
を備えた撮像装置。

【請求項8】

瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、
前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、
前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、
前記複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、
前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整するステップと、
前記視差の調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、
前記立体部分画像の平均視差と前記立体画像の平均視差とが一致する点を前記立体部分画像内における視差の無いクロスポイントに設定するステップと、
を備えた画像処理方法。

【請求項9】

瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、
前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、
前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、
前記複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、
前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整するステップと、
前記視差の調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、
前記部分画像間の視差を拡大する処理を行う場合、前記視差情報に基づいて、前記立体部分画像内における視差の無いクロスポイントよりも近距離の領域、及び前記クロスポイントよりも遠距離の領域を検出し、前記近距離の領域の視差拡大率を前記遠距離の領域の視差拡大率よりも大きくするステップと、
を備えた画像処理方法。

【請求項10】

瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、
前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、
前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、
前記複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、
前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整するステップと、
前記視差の調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、
前記立体部分画像のサイズを拡大するステップと、
前記部分画像間の視差を拡大する処理を行う場合、前記立体部分画像のサイズの拡大に伴う視差量の増分を差し引いて、前記立体部分画像の視差の拡大率を決定するステップと、
を備えた画像処理方法。

【請求項11】

請求項８〜１０のいずれか１項に記載の画像処理方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、瞳分割方式の撮像により生成された立体画像をトリミングした場合に、立体画像のトリミング領域から切り出した立体部分画像の立体感を損ねないようにすることができる画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラムに関する。

【背景技術】

【0002】

視差のある複数の視点画像を観察者の左右の目にそれぞれ同時に見せることにより、観察者に複数の視点画像を立体視させる表示装置が知られている。

【0003】

特許文献１には、複数の視点画像をトリミングして表示する際に、ユーザによって入力された視差調整量をデジタルズーム倍率に基づいて修正することで、適切な立体感を保ったままデジタルズームを行うことのできる構成が開示されている。

【0004】

特許文献２には、被写体の距離情報又は被写体の視差量に基づいて、左右画像の視差が所定の範囲になるように絞りのＦ値を制御することで、目に負担のかからない自然な左、右画像を取得する構成が開示されている。

【0005】

特許文献３には、視点画像の特徴点における視差量に基づいて、前景や背景に生じる視差量をその視差量に応じて重み付け調整する（強弱をつける）ことで、特に立体表示プリント上で好ましい立体感のある視差画像を表示可能にする構成が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−２９７００号公報

【特許文献2】特開２０１１−１９９５０２号公報

【特許文献3】特開２０１１−２１１７１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、ユーザから指示入力された任意の範囲で立体画像をトリミングする際に、トリミング範囲が狭いと立体感が著しく損なわれてしまう問題があり、特に、瞳分割方式の撮像により生成された立体画像のトリミングでは、全体的にボケた画像になり更に立体感が損なわれてしまう場合がある。

【0008】

本発明はこのような事情に鑑みてなされたもので、瞳分割方式の撮像により生成された立体画像をトリミングした場合に、立体画像のトリミング領域から切り出した部分画像の立体感を損ねないようにすることができる画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明は、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得する画像取得手段と、立体画像の複数の視点画像から切り出すトリミング領域を示す指示を入力する指示入力手段と、立体画像の複数の視点画像のそれぞれからトリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するトリミング手段と、複数の部分画像の部分画像間における視差を示す視差情報を生成する視差情報生成手段と、視差情報に基づいて、複数の部分画像の部分画像間の視差を調整する視差調整手段と、視差調整手段による調整結果に基づいて、視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うシャープネス変更処理手段と、を備えた画像処理装置を提供する。

【0010】

本発明によれば、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像をトリミングする際に、複数の視点画像間におけるトリミング領域（視点の異なる複数の部分画像）の視差情報が生成される。そして、その視差情報に基づいて、複数の部分画像の部分画像間の視差が調整され、かつ、視差の調整結果に基づいて複数の部分画像のシャープネスが変更される。したがって、瞳分割方式の撮像に起因してボケた領域を切り出す場合でも、適切にシャープネスが変更された、立体感を損なわない立体部分画像が得られる。

【0011】

一態様では、立体部分画像内に視差の無いクロスポイントを設定するクロスポイント設定手段を備える。これにより、クロスポイントよりも近距離の被写体像の領域を切り出す場合や、クロスポイントよりも遠距離の被写体像の領域を切り出す場合でも、適切な視差の立体部分画像を得ることができる。

【0012】

一態様では、クロスポイント設定手段は、立体部分画像の平均視差と立体画像の平均視差とが一致する点をクロスポイントに設定する。これにより、適切なクロスポイントが自動的に設定された立体部分画像が得られる。尚、平均視差が「一致」するとは、「ほぼ一致の状態」を含む。

【0013】

一態様では、シャープネス変更処理手段は、視差調整後の視差情報に基づいて、立体部分画像を第１の領域と第１の領域よりも視差量が大きい第２の領域とに区分けし、第１の領域のシャープネスを強くし、かつ、第１の領域よりも視差量が大きい第２の領域のシャープネスを弱くする。これにより、立体部分画像を立体表示した際に、視差量が小さい領域の被写体像はシャープネスが強くなり、視差量が大きい領域の被写体像はシャープネスが弱くなる。したがって、視差量が小さい領域の立体感を保ち、かつ、視差量が大きい領域は二重像を目立たないようにできる。

【0014】

一態様では、シャープネス変更処理手段は、瞳分割方式の撮像に起因した複数の視点画像のボケの状態を示すボケ関数を用いて、立体部分画像のシャープネスを変更する。これにより、ボケの分布に応じて、適切に立体部分画像のシャープネスを変更することができる。

【0015】

一態様では、シャープネス変更処理手段は、立体部分画像の全体のシャープネスを変更する。

【0016】

一態様では、視差調整手段は、部分画像間の視差を拡大する処理を行う場合、視差情報に基づいて、立体部分画像内における視差の無いクロスポイントよりも近距離の領域、及びクロスポイントよりも遠距離の領域を検出し、近距離の領域の視差拡大率を遠距離の領域の視差拡大率よりも大きくする。これにより、近距離の領域の被写体像の視差量が遠距離の領域の被写体像の視差量よりも増すことで、観察者がより立体感を体感し易くなる。

【0017】

一態様では、立体部分画像のサイズを拡大する画像拡大手段を備え、視差調整手段は、部分画像間の視差を拡大する処理を行う場合、画像拡大手段による立体部分画像のサイズの拡大に伴う視差量の増分を差し引いて、立体部分画像の視差の拡大率を決定する。

【0018】

また、本発明は、上記の画像処理装置と、瞳分割方式の撮像を行う撮像手段と、を備えた撮像装置を提供する。

【0019】

また、本発明は、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、立体画像の複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、立体画像の複数の視点画像のそれぞれからトリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、視差情報に基づいて、複数の部分画像の部分画像間の視差を調整するステップと、視差の調整結果に基づいて、視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、を備えた画像処理方法を提供する。

【0020】

また、本発明は、コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、プロセッサが、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、前記複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整するステップと、前記視差の調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップとを実行する、記録媒体を提供する。

【0021】

また、本発明は、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、立体画像の複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、立体画像の複数の視点画像のそれぞれからトリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、視差情報に基づいて、複数の部分画像の部分画像間の視差を調整するステップと、視差の調整結果に基づいて、視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、をコンピュータに実行させるプログラムを提供する。

【発明の効果】

【0022】

本発明によれば、瞳分割方式の撮像により生成された立体画像をトリミングした場合に、立体画像のトリミング領域から切り出した立体部分画像の立体感を損ねないようにすることができる。

【図面の簡単な説明】

【0023】

【図1】本発明に係る画像処理装置が適用された３Ｄデジタルカメラの実施の形態を示す正面斜視図

【図2】上記３Ｄデジタルカメラの背面図

【図3A】上記３Ｄデジタルカメラの撮像素子の構成例を示す図

【図3B】上記３Ｄデジタルカメラの撮像素子の構成例を示す図（主画素）

【図3C】上記３Ｄデジタルカメラの撮像素子の構成例を示す図（副画素）

【図4A】上記撮像素子の要部拡大図

【図4B】上記撮像素子の要部拡大図

【図5】上記３Ｄデジタルカメラの内部構成の実施形態を示すブロック図

【図6】近景に花画像、中景に人物画像、遠景に山画像を含む立体画像の一例を示す説明図

【図7A】原立体画像を構成する左目用画像の一例を示す説明図

【図7B】原立体画像を構成する右目用画像の一例を示す説明図

【図8】原立体画像のうちの中距離の画像を含むトリミング領域から切り出す場合を示す説明図

【図9A】切り出された左目用部分画像の一例を示す説明図

【図9B】切り出された右目用部分画像の一例を示す説明図

【図10】原立体画像のうちの近距離の画像を含むトリミング領域から切り出す場合を示す説明図

【図11】原立体画像のうちの遠距離の画像を含むトリミング領域から切り出す場合を示す説明図

【図12】原立体画像のうちの中距離及び近距離の画像を含むトリミング領域から切り出す場合を示す説明図

【図13】本発明に係る画像処理方法の一例の処理の流れを示すフローチャート

【図14】原立体画像における距離と視差との関係を示す説明図

【図15】中景のトリミング領域から部分画像を切り出した場合のクロスポイント設定及び視差拡大の説明図

【図16】近景のトリミング領域から部分画像を切り出した場合のクロスポイント設定及び視差拡大の説明図

【図17】遠景のトリミング領域から部分画像を切り出した場合のクロスポイント設定及び視差拡大の説明図

【図18】本発明に係る画像処理装置の他の実施形態であるスマートフォンの外観図

【図19】上記スマートフォンの構成を示すブロック図

【発明を実施するための形態】

【0024】

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

【0025】

以下、添付図面に従って本発明に係る画像処理装置、画像処理方法、立体撮像装置、及び携帯電子機器の実施の形態について説明する。

【0026】

＜立体撮像装置の全体構成＞
図１は本発明に係る画像処理装置が適用された３Ｄデジタルカメラ（立体撮像装置）の実施の形態を示す正面斜視図である。図２は上記３Ｄデジタルカメラの背面図である。この３Ｄデジタルカメラ１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換してメモリカード等の記録メディアに記録するデジタルカメラである。

【0027】

図１に示すように、３Ｄデジタルカメラ１０は、その正面に撮影レンズ１２、フラッシュ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、３Ｄ表示用の３Ｄ液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

【0028】

撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。フラッシュ１は、主要被写体に向けてフラッシュ光を照射するものである。

【0029】

シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。３Ｄデジタルカメラ１０は、撮影モードで駆動しているときは、このシャッタボタン２が「半押し」されることにより、ＡＥ／ＡＦ（自動露出調整／自動合焦）が作動し、「全押し」されることにより、撮影を実行する。また、３Ｄデジタルカメラ１０は、撮影モードで駆動しているときは、このシャッタボタン２が「全押し」されることにより、撮影を実行する。

【0030】

電源／モードスイッチ３は、３Ｄデジタルカメラ１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、３Ｄデジタルカメラ１０のモードを設定するモードスイッチとしての機能とを併せ持っている。電源／モードスイッチ３は、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。３Ｄデジタルカメラ１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

【0031】

モードダイヤル４は、３Ｄデジタルカメラ１０の撮影モードを設定する撮影モード設定手段として機能する。このモードダイヤルの設定位置により、３Ｄデジタルカメラ１０の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体画像（３Ｄ画像）の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。

【0032】

３Ｄ液晶モニタ３０は、立体画像（左目用画像及び右目用画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体画像が３Ｄ液晶モニタ３０に入力された場合には、３Ｄ液晶モニタ３０のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像やユーザインターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。尚、３Ｄ液晶モニタ３０の形態はこれに限らず、左目用画像及び右目用画像を立体画像として認識可能に表示させるものであればよい。３Ｄ液晶モニタ３０の形態は、例えば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをユーザがかけることで左目用画像と右目用画像とを個別に見ることができるものでもよい。

【0033】

ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。３Ｄデジタルカメラ１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

【0034】

十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

【0035】

ＭＥＮＵ／ＯＫボタン７は、３Ｄ液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

【0036】

再生ボタン８は、撮影記録した立体画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を３Ｄ液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

【0037】

ＢＡＣＫボタン９は、入力操作のキャンセルや１つ前の操作状態に戻すことを指示するボタンとして機能する。

【0038】

＜撮影光学系、撮像素子の構成例＞
図５に示すように、フォーカスレンズ１２Ａ、ズームレンズ１２Ｂは、多数のレンズから構成される撮像光学系（撮影レンズ１２）を構成する。絞り１４は、例えば、５枚の絞り羽根からなり、例えば、絞り値（Ｆ値）をＦ２〜Ｆ８まで連続的又は段階的に絞り制御される。メカシャッタ１５は、シャッタ駆動部３５によって駆動され、撮像素子１６に入射する光の遮光及び非遮光を切り替える。撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介して撮像素子１６の受光面に結像される。

【0039】

図３Ａから図３Ｃは撮像素子１６の構成例を示す図である。

【0040】

撮像素子１６は、視差を有する画像（複数の視点画像）検出用のＣＣＤ（Charge Coupled Device）イメージセンサとして構成されており、それぞれマトリクス状に配列された奇数ラインの画素（主画素、Ａ面画素ともいう）と、偶数ラインの画素（副画素、Ｂ面画素ともいう）とを有する。これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

【0041】

図３Ａから図３Ｃに示すように撮像素子１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

【0042】

図４Ａ及び図４Ｂは位相差イメージセンサとして機能する撮像素子１６の要部拡大図である。

【0043】

図４Ａに示すように撮像素子１６の主画素のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設される。一方、図４Ｂに示すように副画素のフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ、及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有し、図４Ａに示すように遮光部材１６Ａは、主画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、主画素には、撮影レンズ１２の射出瞳を通過する光束の光軸の左側のみが受光される。また、図４Ｂに示すように遮光部材１６Ｂは、副画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、副画素には、撮影レンズ１２の射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ主画素、副画素に入射する。

【0044】

また、撮影レンズ１２の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている部分は、撮像素子１６上の同じ位置に結像するが、前ピン又は後ピンの部分は、それぞれ撮像素子１６上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目用画像、右目用画像）として取得することができる。尚、この実施の形態の撮像素子１６は、ＣＣＤイメージセンサであるが、これに限定されるものではない。撮像素子１６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサでもよい。

【0045】

＜立体撮像装置の内部構成＞
図５は上記３Ｄデジタルカメラ１０の内部構成の一実施形態を示すブロック図である。この３Ｄデジタルカメラ１０は、撮像した画像を外部記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

【0046】

３Ｄデジタルカメラ１０には、シャッタボタン２、モードダイヤル４、再生ボタン８、ＭＥＮＵ／ＯＫボタン７、十字ボタン６、ズームボタン５、ＢＡＣＫボタン９を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて３Ｄデジタルカメラ１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、３Ｄ液晶モニタ３０の表示制御などを行う。操作部３８は、立体画像を構成する複数の視点画像から切り出すトリミング領域を示す指示の入力を受け付ける。

【0047】

電源／モードスイッチ３により３Ｄデジタルカメラ１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、３Ｄデジタルカメラ１０の駆動が開始される。

【0048】

フォーカスレンズ１２Ａ、ズームレンズ１２Ｂ、絞り１４等を通過した光束は撮像素子１６に結像され、撮像素子１６には信号電荷が蓄積される。撮像素子１６に蓄積された信号電荷は、タイミングジェネレータ３７から加えられる読み出し信号に基づく撮像素子制御部３６による制御にしたがって、信号電荷に応じた電圧信号として読み出される。撮像素子１６から読み出された電圧信号は、撮像素子信号処理部１８に加えられる。

【0049】

撮像素子信号処理部１８は、撮像素子１６から出力された電圧信号に対して、各種の信号処理を行い、画像入力コントローラ２２に出力する。尚、本例では、撮像素子１６にＡ／Ｄ変換器が内蔵されている。

【0050】

撮像素子信号処理部１８は、デジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（同時化処理）、ＹＣ処理、エッジ強調処理等の所定の信号処理を行う。

【0051】

ここで、撮像素子１６の奇数ラインの主画素から読み出される主画像データは、左目用画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右目用画像データとして処理される。

【0052】

撮像素子信号処理部１８で処理された左目用画像データ及び右目用画像データ（３Ｄ画像データ）は、画像入力コントローラ２２を介して、メモリ４８に入力される。

【0053】

メモリ４８から読み出された３Ｄ画像データは、表示制御部２８においてエンコーディングされ、カメラ背面に設けられているモニタ３０（３Ｄ液晶表示デバイス）に出力される。これにより、３Ｄの被写体像が連続的にモニタ３０の表示画面上に表示される。

【0054】

操作部３８のシャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作及びＡＥ動作を開始させる。そして、フォーカスレンズ駆動部３２を介してフォーカスレンズ１２Ａを光軸方向に移動させ、フォーカスレンズ１２Ａが合焦位置にくるように制御する。

【0055】

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左目用画像及び右目用画像の少なくとも一方の画像のうちの所定のフォーカス領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるようにフォーカスレンズ１２Ａを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左目用画像及び右目用画像のうちの所定のフォーカス領域内の主画素、副画素に対応する画像の位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるようにフォーカスレンズ１２Ａを制御することによりＡＦ制御が行われる。

【0056】

ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてズームレンズ駆動部３３を介してズームレンズ１２Ｂを光軸方向に進退動作させ、焦点距離を変更させる。

【0057】

また、シャッタボタン２の半押し時に撮像素子信号処理部１８から出力される画像データは、ＡＥ処理部４４に取り込まれる。

【0058】

ＡＥ処理部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ処理部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて、絞り駆動部３４に対して設定する絞り１４のＦ値、及びタイミングジェネレータ３７に対して設定する撮像素子１６の電子シャッタ（シャッタ速度）を、所定のプログラム線図にしたがって決定する。

【0059】

ＡＷＢ処理部４５は、画像を解析し、画像に対してホワイトバランス処理を行う。

【0060】

尚、図５において、被写体検出部４６は、撮影画角内の特定の被写体（例えば顔画像）を検出し、その被写体を含むエリアをＡＦエリア、ＡＥエリアとして設定するための公知の被写体検出回路である（例えば、特開平９−１０１５７９号公報）。

【0061】

また、メモリ４８は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルに加えて、本発明に係る左目用画像及び右目用画像の立体感を補正（視差補正）するための画像処理プログラム、フィルタ係数算出用の計算式又はルックアップテーブル、視差や視差強調の度合いに応じた計算式のパラメータ、又はルックアップテーブルを決定するための情報が記憶されているＲＯＭ（Read-Only Memory）（ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory））を含む。尚、本発明に係る画像処理プログラム等の詳細については後述する。

【0062】

シャッタボタン２の半押しによりＡＥ動作及びＡＦ動作が終了し、シャッタボタン２の第２段階の押下（全押し）があると、その押下に応答して撮像素子１６から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ４８に入力し、一時的に記憶される。

【0063】

メモリ４８に一時的に記憶された２枚分の画像データは、撮像素子信号処理部１８により適宜読み出され、ここで、デモザイク処理（同時化処理；原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、本発明に係る視差補正及びエッジ強調の画像処理、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。

【0064】

メモリ４８に記憶された２枚分のＹＣデータは、それぞれ圧縮／伸長処理部２６に出力され、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成される。そのＭＰファイルは、メディア制御部５２により読み出され、外部記録メディア５４に記録される。

【0065】

フラッシュ１のフラッシュライト５６は、フラッシュ制御部５８の制御により、発光する。

【0066】

画像処理部６２は、各種の画像処理を行う回路等によって構成されている。

【0067】

本例の画像処理部６２は、立体画像を構成する複数の視点画像のそれぞれからトリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するトリミング手段を構成している。また、本例の画像処理部６２は、立体部分画像のサイズを拡大する画像拡大手段を構成している。

【0068】

視差マップ生成部６４は、複数の部分画像の部分画像間における視差（視差分布）を示す視差マップ（視差情報）を生成する視差情報生成手段を構成している。

【0069】

クロスポイント設定部６６は、立体部分画像内に視差の無いクロスポイントを設定するクロスポイント設定手段を構成する。本例のクロスポイント設定部６６は、立体部分画像の平均視差と立体画像の平均視差とが一致する点をクロスポイントに設定する機能を有する。

【0070】

視差拡大部６８は、視差情報に基づいて、複数の部分画像の部分画像間の視差を調整する視差調整手段を構成する。

【0071】

シャープネス変更処理部７０は、視差拡大部６８による視差調整結果に基づいて、視差調整後の複数の部分画像のシャープネスを変更する画像処理を行うシャープネス変更処理手段を構成する。本例のシャープネス変更処理部７０は、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする。

【0072】

尚、３Ｄデジタルカメラ１０は、立体画像（３Ｄ画像）のみでなく、平面画像（２Ｄ画像）の取得も可能である。

【0073】

＜立体画像のトリミング例＞
次に、立体画像のトリミング例を説明する。

【0074】

図６の原立体画像８０は、瞳分割方式により撮像された画像であり、実際には、図７Ａ及び図７Ｂに示す左目用画像８０Ｌと右目用画像８０Ｒとからなる。本例の原立体画像８０は、遠距離（遠景）の山画像８１、中距離（中景）の人物画像８２、近距離（近景）の花画像８３を含む。

【0075】

例えば、モニタ３０に左目用画像８０Ｌ及び右目用画像８０Ｒの少なくとも一方を表示させて、操作部３８によって、原立体画像８０（左目用画像８０Ｌ及び右目用画像８０Ｒ）から切り出すトリミング領域を示す指示の入力を受け付ける。本例では、ユーザの指示入力を受け付ける。他の装置から通信により指示の入力を受け付けてもよい。

【0076】

図８は、原立体画像８０から中距離の人物画像８２を含むトリミング領域９２から立体部分画像を切り出す場合を示す。実際には、図７Ａ及び図７Ｂの左目用画像８０Ｌ及び右目用画像８０Ｒから、それぞれ、図９Ａ及び図９Ｂに示す左目用部分画像９２Ｌ及び右目用部分画像９２Ｒが、切り出される。図１０は、原立体画像８０から近距離の花画像８３を含むトリミング領域９３から立体部分画像を切り出す場合を示す。図１１は、原立体画像８０から遠距離の山画像８１を含むトリミング領域９１から立体部分画像を切り出す場合を示す。図１２は、原立体画像８０のうちで中距離の人物画像８２及び近距離の花画像８３を含むトリミング領域９４から切り出す場合を示す。いずれの場合も、図７Ａ及び図７Ｂの左目用画像８０Ｌ及び右目用画像８０Ｒから、それぞれ、左目用部分画像及び右目用部分画像が、切り出される。

【0077】

＜画像処理方法の一例＞
図１３は、本発明に係る画像処理方法の一例の処理の流れを示すフローチャートである。本処理は、図５のＣＰＵ４０によって、プログラムに従い実行される。

【0078】

図１３では、立体画像取得（ステップＳ１）、トリミング範囲指定（ステップＳ２）、トリミング領域拡大（ステップＳ３）、視差マップ生成（ステップＳ４）、クロスポイント設定（ステップＳ５）、視差拡大（ステップＳ６）、シャープネス変更処理（ステップＳ７）の順番で実行される。これ以外の順番で行う場合も本発明に含まれる。

【0079】

まず、メディア制御部５２によって、瞳分割方式の撮像により生成された視点の異なる複数の視点画像（図７Ａ及び図７Ｂの左目用画像８０Ｌ及び右目用画像８０Ｒ）からなる原立体画像（図６の８０）が取得される（ステップＳ１）。

【0080】

次に、操作部３８（指示入力手段）によって、原立体画像８０から切り出すトリミング領域を示すトリミング範囲指定の指示の入力を受け付ける（ステップＳ２）。例えば、図８に示すように、中景の人物画像を含むトリミング領域９２から部分画像９２Ｌ，９２Ｒを切り出す場合、点線で示したトリミング領域９２の範囲を指定する指示入力を受け付ける。

【0081】

次に、画像処理部６２（画像拡大手段）によって、原立体画像８０の左目用画像８０Ｌ及び右目用画像８０Ｒのそれぞれからトリミング領域９２内の部分画像９２Ｌ，９２Ｒを切り出し、その切り出したトリミング領域９２内の部分画像９２Ｌ，９２Ｒを拡大する（ステップＳ３）。即ち、左目用部分画像９２Ｌ及び右目用部分画像９２Ｒが、それぞれ、画像処理により拡大される。

【0082】

次に、視差マップ生成部６４（視差情報生成手段）によって、拡大されたトリミング領域の部分画像９２Ｌ、９２Ｒにおける視差マップを生成する（ステップＳ４）。本例の視差マップは、左目用部分画像と右目用部分画像との対応点間の視差を示す。

【0083】

次に、クロスポイント設定部６６によって、部分画像（トリミング領域の画像）内に視差の無いクロスポイントを設定し（ステップＳ５）、視差拡大部６８によって、部分画像における視差マップに基づいて、部分画像の視差を拡大（調整）する（ステップＳ６）。視差拡大する量の設定は、表示系で表示できる幅を基準にして行えばよい。

【0084】

例えば、図８に示すように、原立体画像８０から中距離の人物画像８２を中心にトリミングした場合には、人物画像８２にクロスポイントが設定されており、そのままでは視差量が小さいので、部分画像９２Ｌ、９２Ｒの全体で視差量を拡大する。また、例えば、図１０に示すように、原立体画像８０から近距離の花画像８３を中心にトリミングした場合には、花画像８３にクロスポイントを設定し、かつ、そのままでは視差量が小さいので、部分画像９３の全体で視差を拡大する。また、例えば、図１１に示すように、原立体画像８０から遠距離の山画像８１を中心にトリミングした場合には、山画像８１にクロスポイントを設定し、かつ、そのままでは視差量が小さいので、部分画像９１の全体で視差を拡大する。

【0085】

次に、シャープネス変更処理部７０によって、視差が拡大された立体部分画像のシャープネスを変更する（ステップＳ６）。本例のシャープネス変更処理部７０は、ステップＳ６の視差拡大（視差調整）後の視差マップ（視差情報）に基づいて、視差拡大（視差調整）後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行う。

【0086】

尚、クロスポイント設定（ステップＳ５）、視差拡大（ステップＳ６）の順で行う場合を例に説明したが、視差拡大（ステップＳ６）、クロスポイント設定（ステップＳ５）の順で行ってもよい。クロスポイント設定、視差拡大の順で行った方が、視差の最大ずらし量が小さくなり、メモリの節約になる。

【0087】

＜クロスポイント設定及び視差拡大＞
クロスポイント設定部６６によるクロスポイント設定（ステップＳ５）及び視差拡大部６８による視差拡大（ステップＳ６）の例を、図１４〜図１７を用いて説明する。

【0088】

図１４は、原立体画像８０における距離（３Ｄデジタルカメラ１０から被写体までの距離）と視差との関係を示す。符号１０１は遠景としての山画像８１の距離及び視差の範囲を示し、符号１０２は中景としての人物画像８２の距離及び視差の範囲を示し、符号１０３は近景としての花画像８３の距離及び視差の範囲を示す。

【0089】

図８に示すように中景の人物画像８２を含むトリミング領域９２から立体部分画像を切り出した場合、図１５に示すようにクロスポイント設定及び視差拡大が行われる。本例では、視差拡大部６８によって、視差と距離との対応関係を、符号１０２で示す直線から、符号１２２で示す直線に変化させる。これにより、視差範囲がｄ２０からｄ２２（＞ｄ２０）に拡大する。

【0090】

図１０に示すように近景の花画像８３を含むトリミング領域９３から部分画像を切り出した場合、図１６に示すようにクロスポイント設定及び視差拡大が行われる。本例では、まず、クロスポイント設定部６６によって、視差と距離との対応関係を、符号１０３で示す直線から、符号１１３で示す直線（点線）に変化させる。ここで、クロスポイント設定部６６は、立体部分画像の平均視差と原立体画像の平均視差とが一致するようにクロスポイントを設定する。次に、視差拡大部６８によって、視差と距離との対応関係を、符号１１３で示す直線から、符号１２３で示す直線に変化させる。これにより、視差範囲がｄ３０からｄ３２（＞ｄ３０）に拡大する。

【0091】

図１１に示すように遠景の山画像８１を含むトリミング領域９１から部分画像を切り出した場合、図１７に示すようにクロスポイント設定及び視差拡大が行われる。本例では、まず、クロスポイント設定部６６によって、視差と距離との対応関係を、符号１０１で示す直線から、符号１１１で示す直線（点線）に変化させる。ここで、クロスポイント設定部６６は、立体部分画像の平均視差と原立体画像の平均視差とが一致するようにクロスポイントを設定する。次に、視差拡大部６８によって、視差と距離との対応関係を、符号１１１で示す直線から、符号１２１で示す直線に変化させる。これにより、視差範囲がｄ１０からｄ１２（＞ｄ１０）に拡大する。

【0092】

視差拡大部６８による視差拡大処理としては、例えば、視点が異なる部分画像間の視差マップ（視差情報）に基づいて、立体部分画像内に近距離領域及び遠距離領域を区分し、近距離領域の視差拡大率を遠距離領域の視差拡大率よりも大きくする画像処理を行ってもよい。

【0093】

また、画像処理部６２（画像拡大手段）により立体部分画像のサイズを拡大する場合には、視差拡大部６８は、画像処理部６２による立体部分画像のサイズの拡大に伴う視差の増分を差し引いて、立体部分画像の視差を拡大する。

【0094】

また、本例のクロスポイント設定部６６は、立体部分画像の平均視差と立体画像の平均視差とが一致する点をクロスポイントに設定する。

【0095】

＜シャープネス変更処理＞
シャープネス変更処理部７０のシャープネス変更処理には、各種の態様がある。

【0096】

第１に、立体部分画像における左目用部分画像と右目用部分画像との間の視差（視差分布）を示す視差マップ（視差情報）であって視差調整後（例えば視差拡大後）の視差マップに基づいて、立体部分画像のうち調整後の視差量が小さい部分のシャープネスを強くし、調整後の視差量が大きい部分のシャープネスを弱くする態様がある。

【0097】

例えば、シャープネス変更処理部７０は、視差マップに基づいて、立体部分画像を視差量（視差の大きさ）が閾値以下の視差小領域（第１の領域）と、視差量が閾値よりも大きい視差大領域（第２の領域）とに区分けし、視差小領域（第１の領域）のシャープネスを強くする画像処理を行い、かつ、視差大領域（第２の領域）をぼかす画像処理を行う。例えば、クロスポイント及びその近傍領域はシャープにし、クロスポイントから離れた視差量が大きい領域はぼかす。

【0098】

第２に、瞳分割方式の撮像に起因した複数の視点画像のボケの状態を示すボケ関数を用いて、視差調整後の視差マップに基づいて立体部分画像のシャープネスを変更する態様がある。例えば、視差調整前の視差マップに対応したボケ関数を視差調整後の視差マップに対応付けて、視差調整後の視差マップに基づいて、シェープネス変更処理として復元処理を行う。

【0099】

ボケ関数として、例えば、レンズのボケ関数、点光源のボケ関数などを利用して、復元処理を行う。

【0100】

第３に、視差調整後の視差マップに基づいて、立体部分画像の全体を同一のシャープネス変更処理でシャープネスを変更する態様がある。例えば、調整後の立体部分画像の視差量の代表値（例えば最大視差）が小さいほど立体部分画像の全体のシャープネスを強くし、調整後の立体部分画像の視差量の代表値（例えば最大視差）が大きいほど立体部分画像の全体のシャープネスを弱くする。

【0101】

シャープネス変更処理は、周知の技術を用いることができる。ウィーナーフィルタ、一般逆フィルタ、射影フィルタ等を適用してもよい。

【0102】

＜スマートフォンの構成＞
図１８は、本発明に係る携帯型電子機器の他の実施形態であるスマートフォン５００の外観を示すものである。図１８に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

【0103】

図１９は、図１８に示すスマートフォン５００の構成を示すブロック図である。図１９に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

【0104】

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

【0105】

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆる操作パネルであって、表示パネル５２１と、操作パネル５２２とを備える。

【0106】

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

【0107】

図１８に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

【0108】

なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

【0109】

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１８に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

【0110】

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１８に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

【0111】

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

【0112】

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

【0113】

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（携帯情報通信端末）、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

【0114】

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

【0115】

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

【0116】

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

【0117】

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0118】

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

【0119】

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。

【0120】

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

【0121】

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

【0122】

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

【0123】

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御する操作パネル制御機能を備える。

【0124】

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

【0125】

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することができる。図１８に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

【0126】

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

【0127】

主制御部５０１は、前述した、図５の画像処理部６２、視差マップ生成部６４、クロスポイント設定部６６、視差拡大部６８、シャープネス変更処理部７０、ＣＰＵ４０などの機能を備える。

【0128】

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することもできる。

【0129】

本発明は、上記に例示したようなデバイスに上記の処理を行わせるためのコンピュータ読取可能なプログラムコード、該プログラムコードが格納される非一次的（non-transitory）かつコンピュータ読取可能な記録媒体（例えば、光ディスク（例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc））、磁気ディスク（例えば、ハードディスク、光磁気ディスク））、及び該方法のための実行可能なコードを格納するコンピュータ・プログラム・プロダクトとして提供することができる。

【0130】

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

【符号の説明】

【0131】

１０…３Ｄデジタルカメラ（画像処理装置）、１６…撮像素子、３０…ＬＣＤ、４０…ＣＰＵ、６２…画像処理部、６４…視差マップ生成部、６６…クロスポイント設定部、６８…視差拡大部、７０…シャープネス変更処理部、５００…スマートフォン

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】