特許 6425534 画像処理装置及びその制御方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6425534

(24)【登録日】2018年11月2日

(45)【発行日】2018年11月21日

(54)【発明の名称】画像処理装置及びその制御方法、並びにプログラム

(51)【国際特許分類】

   H04N 13/128 20180101AFI20181112BHJP

   H04N 13/207 20180101ALI20181112BHJP

   H04N 13/264 20180101ALI20181112BHJP

   H04N 13/271 20180101ALI20181112BHJP

   H04N 5/232 20060101ALI20181112BHJP

【ＦＩ】

   H04N13/128

   H04N13/207

   H04N13/264

   H04N13/271

   H04N5/232 290

   H04N5/232 300

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2014-262420(P2014-262420)

(22)【出願日】2014年12月25日

(65)【公開番号】特開2016-123003(P2016-123003A)

(43)【公開日】2016年7月7日

【審査請求日】2017年12月15日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】古徳 宏美

(72)【発明者】

【氏名】佐藤 晃彦

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００８−２４４８３１（ＪＰ，Ａ）

【文献】 特開２０１３−０２６７０５（ＪＰ，Ａ）

【文献】 特開２０１２−１５６７４８（ＪＰ，Ａ）

【文献】 特表２００９−５０５５５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／１２８

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ １３／２０７

Ｈ０４Ｎ １３／２６４

Ｈ０４Ｎ １３／２７１

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ５／７６５

(57)【特許請求の範囲】

【請求項1】

撮影された時間が異なり且つ被写体画像を夫々含む第１の画像及び第２の画像を取得し、前記取得された第２の画像の立体印刷処理に用いる立体印刷データを生成する画像処理装置であって、
前記第１の画像及び前記第２の画像の各々に含まれる被写体画像に対応する距離情報を取得する距離情報取得手段と、
前記第１の画像及び前記第２の画像に基づいて前記第２の画像に含まれる被写体画像の移動ベクトルを算出する算出手段と、
前記第２の画像、前記第２の画像に含まれる被写体画像に対応する距離情報、及び前記移動ベクトルに基づいて前記立体印刷データを生成する生成手段とを備えることを特徴とする画像処理装置。

【請求項2】

前記被写体画像の重心位置を特定する特定手段をさらに備え、
前記算出手段は、前記第１の画像及び前記第２の画像の各々に含まれる被写体画像の重心位置の差に基づいて前記移動ベクトルを算出することを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記算出手段は、前記第１の画像及び前記第２の画像の各々を複数のブロックに夫々分割し、前記第１の画像及び前記第２の画像において、各前記ブロックに対応する被写体画像の一部の位置の差に基づいて前記第２の画像に含まれる被写体画像の移動ベクトルを算出することを特徴とする請求項１記載の画像処理装置。

【請求項4】

前記移動ベクトルに応じて前記被写体画像の厚さを決定する決定手段をさらに備え、
前記生成手段は、前記第２の画像、前記第２の画像に含まれる被写体画像に対応する距離情報、及び前記決定された被写体画像の厚さに基づいて前記立体印刷データを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記決定手段は、前記移動ベクトルのスカラ量が大きくなるにつれて、前記被写体画像の厚さを大きくすることを特徴とする請求項４記載の画像処理装置。

【請求項6】

前記移動ベクトルは、Ｘ，Ｙ，Ｚ方向に関するベクトルを有し、
前記決定手段は、前記Ｘ方向に関するベクトル及び前記Ｙ方向に関するベクトルに基づいて前記被写体画像の厚さを決定することを特徴とする請求項４又は５記載の画像処理装置。

【請求項7】

撮影された時間が異なり且つ被写体画像を夫々含む第１の画像及び第２の画像を取得し、前記取得された第２の画像の立体印刷処理に用いる立体印刷データを生成する画像処理装置の制御方法であって、
前記第１の画像及び前記第２の画像の各々に含まれる被写体画像に対応する距離情報を取得する距離情報取得ステップと、
前記第１の画像及び前記第２の画像に基づいて前記第２の画像に含まれる被写体画像の移動ベクトルを算出する算出ステップと、
前記第２の画像、前記第２の画像に含まれる被写体画像に対応する距離情報、及び前記移動ベクトルに基づいて前記立体印刷データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。

【請求項8】

撮影された時間が異なり且つ被写体画像を夫々含む第１の画像及び第２の画像を取得し、前記取得された第２の画像の立体印刷処理に用いる立体印刷データを生成する画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
前記画像処理装置の制御方法は、
前記第１の画像及び前記第２の画像の各々に含まれる被写体画像に対応する距離情報を取得する距離情報取得ステップと、
前記第１の画像及び前記第２の画像に基づいて前記第２の画像に含まれる被写体画像の移動ベクトルを算出する算出ステップと、
前記第２の画像、前記第２の画像に含まれる被写体画像に対応する距離情報、及び前記移動ベクトルに基づいて前記立体印刷データを生成する生成ステップとを有することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、立体印刷処理に用いられる印刷データを生成する画像処理装置及びその制御方法、並びにプログラムに関する。

【背景技術】

【0002】

デジタルカメラ等の画像処理装置は撮影した画像を印刷するための印刷データを生成し、プリンタ等の印刷装置は生成された印刷データに基づいて印刷処理を行う。また、画像処理装置は、撮影した画像の立体印刷処理を行う際、当該立体印刷処理を行うための印刷データ（以下、「立体印刷データ」という。）を生成する。立体印刷データを生成する技術として、例えば、撮影された画像と、当該画像における被写体の測距情報とに基づいて立体印刷データを生成する技術が知られている（例えば、特許文献１参照）。立体印刷処理を行う専用の印刷装置は、生成された立体印刷データに基づいて立体印刷処理を行い、立体印刷データに基づいた立体的な印刷結果物を出力する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２４４８３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、立体印刷データの生成において、被写体の測距情報に基づいて被写体の凹凸を示す情報は容易に取得可能であるが、動く被写体（以下、「動体」という。）の動きの軌跡を示す情報を測距情報から直接的に取得することは困難である。そのため、従来の画像処理装置は印刷結果物から動体の動きの躍動感が伝わる立体印刷データを生成することができないという問題がある。

【0005】

本発明の目的は、印刷結果物から動体の動きの躍動感が伝わる立体印刷データを生成することができる画像処理装置及びその制御方法、並びにプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の画像処理装置は、撮影された時間が異なり且つ被写体画像を夫々含む第１の画像及び第２の画像を取得し、前記取得された第２の画像の立体印刷処理に用いる立体印刷データを生成する画像処理装置であって、前記第１の画像及び前記第２の画像の各々に含まれる被写体画像に対応する距離情報を取得する距離情報取得手段と、前記第１の画像及び前記第２の画像に基づいて前記第２の画像に含まれる被写体画像の移動ベクトルを算出する算出手段と、前記第２の画像、前記第２の画像に含まれる被写体画像に対応する距離情報、及び前記移動ベクトルに基づいて前記立体印刷データを生成する生成手段とを備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、印刷結果物から被写体の動きの躍動感が伝わる立体印刷データを生成することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る画像処理装置としてのデジタルカメラの構成を概略的に示すブロック図である。

【図2】図１における動き情報算出部で算出される動き情報を説明するための図である。

【図3】図１におけるデジタルカメラで実行される動き情報算出処理を説明するためのフローチャートである。

【図4】図３の動き情報算出処理で用いられる動き情報を説明するための図であり、図４（ａ）はｎ枚目の画像情報を示し、図４（ｂ）は複数のブロックに分割された画像情報を示し、図４（ｃ）は撮影部から被写体までの距離を示し、図４（ｄ）は被写体領域を示し、図４（ｅ）はｎ−１枚目の画像情報の重心位置情報ｇ１を示し、図４（ｆ）はｎ枚目の画像情報の重心位置情報ｇ２を示し、図４（ｇ）は被写体の動き情報を示す。

【図5】図１におけるデジタルカメラで実行される立体情報算出処理を説明するためのフローチャートである。

【図6】図５の立体情報算出処理で用いられる立体情報を説明するための図である。

【図7】図１のデジタルカメラの変形例の構成を概略的に示すブロック図である。

【図8】図３の動き情報算出処理の変形例を説明するためのフローチャートである。

【図9】図８の変形例で用いられる動き情報を説明するための図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態を図面を参照しながら詳述する。

【0010】

本実施の形態では、画像処理装置としてのデジタルカメラに本発明を適用した場合について説明するが、本発明の適用先はデジタルカメラに限られず、立体印刷処理を行うための立体印刷データを生成可能な画像処理装置であれば本発明を適用することができる。

【0011】

図１は、本発明の実施の形態に係る画像処理装置としてのデジタルカメラ１００の構成を概略的に示すブロック図である。

【0012】

図１において、デジタルカメラ１００は、撮影部１０１、画像処理部１０６、メモリ制御部１０７、システム制御部１０８、メモリ１０９、不揮発性メモリ１１０、表示部１１１、操作部１１２、外部Ｉ／Ｆ１１３、記録媒体Ｉ／Ｆ１１４、測距部１１６、距離情報算出部１１７、動き情報算出部１１８、立体情報生成部１１９、印刷データ生成部１２０を備える。これらはバス１０５を介して互いに接続されている。また、記録媒体１１５は記録媒体Ｉ／Ｆ１１４と互いに接続されている。撮影部１０１は、撮影レンズ１０２、撮像センサ１０３、及びＡ／Ｄ変換部１０４を備える。

【0013】

撮影部１０１は被写体の画像情報を取得する。具体的に、撮影部１０１では、撮影レンズ１０２が被写体の光学像を取り込み、撮像センサ１０３が取得した画像情報をアナログ画像信号に変換し、Ａ／Ｄ変換部１０４が変換されたアナログ画像信号をデジタル画像信号に変換する。撮影部１０１はＡ／Ｄ変換部１０４によって変換されたデジタル画像信号をメモリ１０９や記録媒体１１５に送信し、メモリ１０９及び記録媒体１１５は受信したデジタル画像信号を画像データとして格納する。本実施の形態では、デジタルカメラ１００が撮影モードに設定されると、撮影を開始する前にプレビュー処理を行って異なる時間に撮影部１０１から複数の画像情報を取得する。

【0014】

画像処理部１０６は、メモリ１０９から画像データを取得し、取得した画像データにリサイズ処理や色変換処理を行う。また、画像処理部１０６は撮影部１０１で取得した画像情報を用いて演算処理を行い、システム制御部１０８に演算結果を送信する。メモリ制御部１０７はメモリ１０９に格納された各種データを管理する。システム制御部１０８は不揮発性メモリ１１０に格納された各種プログラムを実行してデジタルカメラ１００全体を統括的に制御する。例えば、システム制御部１０８は画像処理部１０６から受信した演算結果に基づいて撮影部１０１に露光制御、測距制御、及び光学制御を実行するための制御信号を送信する。メモリ１０９は撮影部１０１から送信されたデジタル画像信号を画像データとして格納する。不揮発性メモリ１１０には、例えば、ＥＥＰＲＯＭが用いられ、各種プログラムや各種設定情報が格納される。表示部１１１は、例えば、プレビュー処理で取得した画像情報を表示する。操作部１１２はユーザの操作によって設定された各種設定情報をシステム制御部１０８に送信する。外部Ｉ／Ｆ１１３は、例えば、図示しないＵＳＢコネクタを介して接続された各種機器とデータ通信を行う。記録媒体Ｉ／Ｆ１１４は記録媒体１１５とデータ通信を行う。記録媒体１１５は半導体メモリや磁気ディスク等で構成される。メモリ１０９及び記録媒体１１５は後述する図３に示す動き情報算出処理及び図５に示す立体情報算出処理で用いられる各種データを格納する。

【0015】

測距部１１６は撮影部１０１で異なる時間に取得された複数の画像情報に対して夫々測距処理を行い、測距処理によって取得した測距情報を距離情報算出部１１７に送信する。測距処理では、例えば、アクティブ方式やパッシブ方式が用いられる。アクティブ方式では、例えば、測距部１１６は、当該測距部１１６が被写体に対して赤外線等の光を照射し、照射した光が反射して測距部１１６に戻るまでの時間等に基づいて測距情報を算出する。一方、パッシブ方式では、赤外線等の光を用いずに撮影部１０１で取得した画像情報に基づいて測距情報を算出する。距離情報算出部１１７は各画像情報及び当該画像情報に対応する測距情報に基づいて撮影部１０１から被写体までの距離情報を夫々算出する。距離情報は、例えば、撮影部１０１で取得した画像情報を所定の大きさの複数のブロックに分割し、分割された各ブロックで算出される。動き情報算出部１１８は、距離情報算出部１１７で算出された各画像情報に対応する距離情報の差分に基づいて動く被写体である動体の動き情報を算出する。動き情報はＸ，Ｙ，Ｚ方向の３次元の移動量からなり、図２に示す水平ベクトルｐ、垂直ベクトルｑ、奥行きベクトルｒで示される。立体情報生成部１１９は距離情報及び動き情報に基づいて印刷結果物における被写体画像の厚さを示す立体情報を算出する。立体印刷データ生成部１２１は画像情報及び立体情報に基づいて立体印刷データを生成する。立体印刷データでは、例えば、ＳＴＬ（StandardTriangle Language）やＶＲＭＬ（Virtual Reality Modeling Language）の形式が用いられる。

【0016】

次に、本実施の形態における動き情報算出処理及び立体情報算出処理について図３及び図５を用いて説明する。

【0017】

立体印刷データの生成において、被写体までの距離情報に基づいて被写体の凹凸を示す情報は容易に取得可能であるが、動体の動きの軌跡を示す情報を距離情報から直接的に取得することは困難である。そのため、従来の画像処理装置は印刷結果物から動体の動きの躍動感が伝わる立体印刷データを生成することができない。

【0018】

これに対応して、本実施の形態では、取得した画像情報、被写体までの距離情報、及び動体の動き情報に基づいて立体印刷データを生成する。

【0019】

図３は、図１におけるデジタルカメラ１００で実行される動き情報算出処理を説明するためのフローチャートである。

【0020】

図３の処理は、システム制御部１０８が不揮発性メモリ１１０に格納された各種プログラムを実行することによって行われる。また、図３の処理は、画像情報及び動き情報がメモリ１０９や記録媒体１１５に格納されていると、当該画像情報及び動き情報を取得していつでも実行可能であるが、本実施の形態では、一例として、デジタルカメラ１００による撮影前のプレビュー処理から撮影が行われるまでの間に実行される場合を示す。

【0021】

図３において、まず、システム制御部１０８はプレビュー処理によって異なる時間に撮影部１０１で複数の画像情報を取得する（ステップＳ３０１）。次いで、システム制御部１０８は距離情報算出部１１７を制御してステップＳ３０１で取得した各画像情報を用いて撮影部１０１から被写体までの距離情報を算出する（ステップＳ３０２）。具体的に、例えば、距離情報算出部１１７は、図４（ａ）に示す画像情報を取得した際、図４（ｂ）に示すように、取得した画像情報をＸ軸方向に関して８等分し、Ｙ軸方向に関して６等分して複数のブロックに分割する。その後、距離情報算出部１１７は、分割された各ブロックに対応する測距情報を測距部１１６から取得し、取得した測距情報に基づいて各ブロックにおける撮影部１０１から被写体までの距離情報を夫々算出する。距離情報は図２のＺ軸方向に関する距離である。本実施の形態では、図４（ｃ）に示すように、距離Ｃは撮影部１０１から最も遠い距離を示し、距離Ｂは撮影部１０１に最も近い距離を示し、距離Ａは距離Ｃと距離Ｂの間の距離を示す。なお、例えば、図４（ｂ）における各ブロックに付される「Ａ」、「Ｂ」、「Ｃ」はそれぞれ各ブロックの距離情報Ａ、Ｂ、Ｃを示す。

【0022】

次いで、システム制御部１０８は、画像情報及び距離情報を取得し（距離情報取得手段）、取得した画像情報及び距離情報から動体の動き情報を算出する（ステップＳ３０３）（算出手段）。具体的に、動き情報算出部１１８は、まず、ステップＳ３０１で取得した各画像情報から被写体の少なくとも一部が存在するブロックからなる被写体領域を夫々特定する。被写体領域の特定において、例えば、動き情報算出部１１８は各ブロックのうちステップＳ３０２で算出された距離情報が所定の範囲内に収まるブロックを同一の被写体領域を構成すると判断する。さらに、動き情報算出部１１８は距離情報が所定の範囲内に収まる各ブロックによって構成される領域を被写体領域と特定する。本実施の形態では、図４（ｄ）において、ステップＳ３０１で取得した画像情報のうちステップＳ３０２で算出された距離情報が所定の範囲内に収まるブロックからなる図４（ｄ）の斜線で示す領域、すなわち、距離情報が「Ａ」又は「Ｂ」のブロックからなる領域を被写体領域４０１として特定する。

【0023】

その後、動き情報算出部１１８は、特定された被写体領域４０１の重心位置情報ｇ（ｇ_ｘ，ｇ_ｙ，ｇ_ｚ）を特定する（特定手段）。重心位置情報ｇの特定において、異なる時間に取得された各画像情報、例えば、ｎ−１枚目の画像情報（図４（ｅ））に含まれる被写体領域４０１の重心位置情報ｇ_１（ｇ_１ｘ，ｇ_１ｙ，ｇ_１ｚ）及びｎ枚目の画像情報（図４（ｆ））に含まれる被写体領域４０１の重心位置情報ｇ_２（ｇ_２ｘ，ｇ_２ｙ，ｇ_２ｚ）が夫々特定される。動き情報は、時間的に連続する画像情報における特定された重心位置情報ｇの差、例えば、特定された重心位置情報ｇ_１（ｇ_１ｘ，ｇ_１ｙ，ｇ_１ｚ）及び重心位置情報ｇ_２（ｇ_２ｘ，ｇ_２ｙ，ｇ_２ｚ）の差で算出される。動き情報の水平ベクトルｐはｇ_２ｘ及びｇ_１ｘの差分であり、垂直ベクトルｑはｇ_２ｙ及びｇ_１ｙの差分であり、奥行きベクトルｒはｇ_２ｚ及びｇ_１ｚの差分である。本実施の形態では、重心位置情報ｇ_１及びｇ_２の差がある場合、被写体領域４０１が動体を示す領域（以下、「動体領域」という。）であると判断し、重心位置情報ｇ_１及びｇ_２の差がない場合、被写体領域４０１が動体を示す領域でないと判断する。なお、本実施の形態では、時間的に連続する３枚以上の画像情報に含まれる被写体領域の重心位置情報ｇを加算平均して動き情報を算出してもよい。

【0024】

次いで、システム制御部１０８は、ｎ枚目の画像情報、当該画像情報に対応する距離情報及び動き情報の関連性を示す情報を含む管理データの生成指示が行われたか否かを判別する（ステップＳ３０４）。

【0025】

ステップＳ３０４の判別の結果、管理データの生成指示が行われたとき、システム制御部１０８は管理データを生成する（ステップＳ３０５）。次いで、システム制御部１０８は、上記画像情報、距離情報、動き情報、及び管理データをメモリ１０９又は記録媒体１１５に格納し（ステップＳ３０６）、本処理を終了する。

【0026】

ステップＳ３０４の判別の結果、管理データの生成指示が行われないとき、システム制御部１０８はステップＳ３０１の処理に戻る。

【0027】

上述した図３の処理によれば、ｎ−１枚目の画像及びｎ枚目の画像の各々に含まれる被写体領域４０１の重心位置情報ｇ_１（ｇ_１ｘ，ｇ_１ｙ，ｇ_１ｚ）、ｇ_２（ｇ_２ｘ，ｇ_２ｙ，ｇ_２ｚ）の差に基づいて動き情報が算出される。これにより、動き情報の算出処理に用いる情報を必要最小限にすることができ、もって、動き情報の算出処理の負荷を軽減することができる。

【0028】

なお、上述した図３の処理では、ｎ枚目の画像情報はプレビュー処理において最後に取得された画像情報に対応するが、図３の処理を用いて動き情報が算出される画像情報はｎ枚目の画像情報に限られない。例えば、当該画像情報はプレビュー処理において任意のタイミングで取得された画像情報であってもよい。

【0029】

図５は、図１におけるデジタルカメラ１００で実行される立体情報算出処理を説明するためのフローチャートである。

【0030】

図５の処理は、システム制御部１０８が不揮発性メモリ１１０に格納された各種プログラムを実行することによって行われる。なお、図５の処理は図３の処理が終了してから立体印刷処理が開始されるまでに行われる。

【0031】

図５において、まず、システム制御部１０８は、図３のステップＳ３０６で格納された画像情報、距離情報、動き情報、及び管理データを取得する（ステップＳ５０１）。次いで、システム制御部１０８は、立体情報生成部１１９によってステップＳ５０１で取得した距離情報、動き情報、及び管理データに基づいて動体の動きが加味された立体情報Ｂを算出する（ステップＳ５０２）。具体的に、システム制御部１０８は、まず、取得した距離情報に基づいて被写体の凹凸を示す情報である立体情報Ａを算出する。立体情報ＡはＸ軸，Ｙ軸，Ｚ軸のそれぞれに関する３次元の位置情報（すなわち、位置ベクトルのＸ成分、Ｙ成分、Ｚ成分）からなる。また、システム制御部１０８は、取得した動き情報の水平ベクトルｐ、垂直ベクトルｑ、奥行きベクトルｒを用いて立体情報Ａに動体の動きの躍動感が伝わるような情報を付与する。具体的には、動き情報の水平ベクトルｐや垂直ベクトルｑのスカラ量が大きくなるほど立体情報ＡのＺ成分を増加させる（Ｚ軸に関する位置情報をオフセットさせる）ように決定して（決定手段）立体情報Ｂを生成する。すなわち、本実施の形態では、動体の２次元の動き（動体のＸ軸に関する動きやＹ軸に関する動き）を被写体画像の厚みに換算する。例えば、図６において、動体領域である被写体領域４０１の各ブロックの距離情報は動体の２次元の動きに応じて厚みが付与された「ｈ１」となり、被写体領域４０１以外の各ブロックの距離情報は厚みが付与されない「ｈ０」となる。なお、本実施の形態では、動き情報の水平ベクトルｐと垂直ベクトルｑのスカラ量のみに応じて立体情報ＡのＺ成分が増加されたが、動き情報の水平ベクトルｐと垂直ベクトルｑのスカラ量だけでなく奥行きベクトルｒのスカラ量にも応じて立体情報ＡのＺ成分を増加させてもよい。

【0032】

次いで、システム制御部１０８は、印刷データ生成部１２０を制御してステップＳ５０１で取得した画像情報及びステップＳ５０２で算出された立体情報Ｂに基づいて立体印刷データを生成する（ステップＳ５０３）（生成手段）。次いで、システム制御部１０８は、生成した立体印刷データをメモリ１０９又は記録媒体１１５に格納して（ステップＳ５０４）、本処理を終了する。

【0033】

上述した図３及び図５の処理によれば、画像情報、距離情報、及び動き情報に基づいて立体印刷データが生成される。これにより、被写体までの距離情報に基づいて生成された立体情報Ａを動体の動きを示す動き情報に基づいて加工することができるので、加工された立体情報Ｂに基づいて動体の動きが加味された立体印刷データを生成することができる。すなわち、印刷結果物から被写体の動きの躍動感が伝わる立体印刷データを生成することができる。

【0034】

また、上述した図３及び図５の処理によれば、動き情報の各ベクトルのスカラ量が大きいほど、立体情報ＡのＺ成分が増加されて被写体画像の厚みが増す。これにより、動体の動きが速いほど印刷結果物において観者に被写体画像が迫るため、視覚的に動体の動きの速さを容易に認識可能な立体印刷データを生成することができる。

【0035】

上述した図５の処理では、動き情報の水平ベクトルｐ、垂直ベクトルｑ、奥行きベクトルｒのうち被写体の動作を強調したい少なくともいずれか一つのベクトルに基づく立体情報ＡのＺ成分の増加代を他のベクトルに基づく立体情報Ａの増加代より大きく規定してもよい。これにより、例えば、立体情報の各ベクトルのうち水平ベクトルｐに基づく立体情報ＡのＺ成分の増加代を他のベクトルに基づく立体情報Ａの増加代より大きくすると、動体のＸ方向の動きを強調した立体印刷データを生成することができる。

【0036】

以上、本発明について実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。

【0037】

例えば、上述した本実施の形態では、複数の画像情報における被写体領域の重心位置情報の差に基づいて被写体の動き情報が算出されたが、各画像情報の分割された各ブロックにおける被写体の一部の距離情報の差に基づいて被写体の動き情報を算出してもよい。

【0038】

図７は、図１のデジタルカメラ１００の変形例の構成を概略的に示すブロック図である。

【0039】

本変形例は、その構成、作用が上述した実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下、上述した実施の形態と異なる構成、作用についてのみ詳細に説明する。

【0040】

図７において、デジタルカメラ７００は、デジタルカメラ１００に設けられた各構成要素の他に、面内移動量算出部７０１を備える。面内移動量算出部７０１もバス１０５を介して他の構成要素に接続されている。

【0041】

面内移動量算出部７０１は、撮影部１０１で異なる時間に取得した複数の画像情報から面内移動ベクトルを算出する。具体的に、取得した各画像情報を複数のブロックに分割し、ブロックマッチング法を用いて、分割された各ブロックにおける被写体の所定の部分の面内移動ベクトルを算出する。

【0042】

図８は、図３の動き情報算出処理の変形例を説明するためのフローチャートである。

【0043】

図８の処理は、システム制御部１０８が不揮発性メモリ１１０に格納された各種プログラムを実行することによって行われる。また、図８の処理においても、一例として、デジタルカメラ１００による撮影前のプレビュー処理から撮影が行われるまでの間に実行される場合が示される。

【0044】

図８において、まず、図３のステップＳ３０１及びＳ３０２と同様の処理を行う。次いで、システム制御部１０８は、面内移動量算出部７０１を制御して画像情報における各ブロックの面内移動ベクトルを夫々算出する（ステップＳ８０１）。具体的に、面内移動量算出部７０１は、ｎ−１枚目の画像情報の各ブロック、例えば、図９（ａ）に示すブロックＤにおける被写体の一部分Ｅの位置情報Ｆ_１（Ｆ_１ｘ，Ｆ_１ｙ）を検出する。位置情報Ｆ_１（Ｆ_１ｘ，Ｆ_１ｙ）は図９のＸ軸、Ｙ軸で示す２次元の位置情報からなる。その後、面内移動量算出部７０１は、ｎ枚目の画像情報のブロックＤにおける被写体の一部分Ｅの位置情報Ｆ_２（Ｆ_２ｘ，Ｆ_２ｙ）を検出し、位置情報Ｆ_１及びＦ_２の差からブロックＤの面内移動ベクトルを算出する。他のブロックでも同様の処理を行って各ブロックの面内移動ベクトルが算出される。

【0045】

次いで、システム制御部１０８は、ステップＳ８０１で算出した面内移動ベクトル及びステップＳ３０２で取得した距離情報に基づいて被写体の動き情報を算出する（ステップＳ８０２）。ステップＳ８０２において、ステップＳ８０１で算出した面内移動ベクトルのＸ，Ｙ成分と距離情報におけるＸ，Ｙ軸方向の位置情報のＸ，Ｙ成分とを合成することで、動き情報のＸ，Ｙ成分（水平ベクトルｐ及び垂直ベクトルｑ）を算出する。また、距離情報におけるＺ軸方向の位置情報が動き情報のＺ成分（奥行きベクトルｒ）となる。
次いで、システム制御部１０８は、図３のステップＳ３０４〜Ｓ３０６と同様の処理を行って、本処理を終了する。なお、被写体の一部分Ｅが存在しないブロックでは面内移動ベクトルが算出されず、結果として動き情報も算出されない。

【0046】

また、上述した図８の処理でも、ｎ枚目の画像情報はプレビュー処理において最後に取得された画像情報に対応するが、図８の処理を用いて動き情報が算出される画像情報はｎ枚目の画像情報に限られない。例えば、当該画像情報はプレビュー処理において任意のタイミングで取得された画像情報であってもよい。

【0047】

上述した図８の処理によれば、プレビュー処理において取得されたｎ−１枚目の画像情報及びｎ枚目の画像情報の各々が複数のブロックに夫々分割される。さらに、ｎ−１枚目の画像情報及びｎ枚目の画像情報において、分割された各ブロックにおける被写体の一部分Ｅの位置情報Ｆ_１及びＦ_２の差に基づいてｎ枚目の画像情報に含まれる分割された各ブロックの面内移動ベクトルが算出される。これにより、各ブロックで面内移動ベクトルが夫々算出されるので、各面内移動ベクトルに応じて立体印刷データを部分的に加工することにより、各ブロックに対応する被写体の一部の動きを印刷結果物に個別に反映することができ、もって、被写体の各部の動きにメリハリをつけることができる。その結果、印刷結果物から被写体の動きの躍動感がより伝わる立体印刷データを生成することができる。

【0048】

具体的には、被写体の一部分Ｅが存在する各ブロックにおいて、当該ブロックの動き情報に基づいて被写体の一部分Ｅの立体情報を生成する。すなわち、各ブロックの動き情報の水平ベクトルｐや垂直ベクトルｑのスカラ量が大きくなるほど被写体の一部分Ｅの立体情報のＺ成分を増加させ、ブロック毎に被写体の一部分Ｅの２次元の動きを被写体画像の部分的な厚みに換算する。例えば、図９（ｂ）において、被写体の一部分Ｅが存在するブロックの距離情報は当該ブロックにおける被写体の一部分Ｅの２次元の動きに応じて厚みが付与された「ｈ１」となる。また、被写体の一部分Ｅが存在する他のブロックの距離情報は当該他のブロックにおける被写体の一部分Ｅの２次元の動きに応じて厚みが付与された「ｈ２」となる。

【0049】

上述した図８の処理では、被写体の動き情報を算出する際、距離情報を用いて動き情報のＺ成分を取得したが、面内移動ベクトルのみを用いて被写体の動き情報を算出してもよい。すなわち、動き情報のＺ成分を取得しなくてもよい。これにより、例えば、撮影条件に起因して、被写体の距離情報が取得できない場合や、距離情報の算出精度が低い場合であっても、被写体の動き情報を算出することができ、もって、印刷結果物から被写体の動きの躍動感がより伝わる立体印刷データを生成することができる。

【0050】

本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0051】

１００ デジタルカメラ
１０８ システム制御部
１１８ 動き情報算出部
１１９ 立体情報生成部
１２０ 印刷データ生成部
７０１ 面内移動量算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】