特許 7527810 画像編集装置およびその制御方法、画像生成装置、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】画像編集装置およびその制御方法、画像生成装置、プログラム

(51)【国際特許分類】

   G06T 7/62 20170101AFI20240729BHJP

   H04N 23/60 20230101ALI20240729BHJP

【ＦＩ】

G06T7/62

H04N23/60 300

H04N23/60 500

【請求項の数】 22

(21)【出願番号】P 2020030699

(22)【出願日】2020-02-26

(65)【公開番号】P2021135677

(43)【公開日】2021-09-13

【審査請求日】2023-02-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】野林 和哉

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１０－０４３９７５（ＪＰ，Ａ）

【文献】特開２０１１－１５１６２７（ＪＰ，Ａ）

【文献】特開２０１０－０５０５９７（ＪＰ，Ａ）

【文献】特開２０１７－１２１０６７（ＪＰ，Ａ）

【文献】特開２００５－１２２３２０（ＪＰ，Ａ）

【文献】特開２０１４－１４３６３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／０１７９６８８（ＵＳ，Ａ１）

【文献】Xin Li;Wei Liu;Wei Fan;Jun Sun;Naoi Satoshi，Perspective correction using camera intrinsic parameters，2016 IEEE 13th International Conference on Signal Processing (ICSP)，IEEE，2016年11月06日，854-858，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7877951

【文献】Ｌｉｎｅ Ｓｅｇｍｅｎｔ Ｄｅｔｅｃｔｏｒを用いた簡易的な射影ひずみ補正手法の提案，映像情報メディア学会 ２０１６年年次大会講演予稿集 ２４B-3，一般社団法人映像情報メディア学会，2016年08月17日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／６２

(57)【特許請求の範囲】

【請求項1】

画像情報の種別を識別して前記画像情報の編集を行う画像編集装置であって、
前記画像情報および前記画像情報と関連する情報を取得する取得手段と、
前記画像情報と関連する情報を用いて前記画像情報の種別を識別する識別手段と、
前記画像情報に対して被写体の実寸比に基づく画像サイズを算出する算出手段と、
前記画像情報に対応する画像を配置する位置および画像の切り出し領域を決定して前記画像サイズでの画像配置を行う画像配置手段と、
前記画像サイズの変更を指示する指示手段と、を備え、
前記識別手段は、前記画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第１の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別し、
前記算出手段は、実寸比の特定が可能な画像情報を前記識別手段が識別した場合に前記画像サイズを算出し、
前記画像配置手段は、前記識別手段が前記画像情報を実寸比の特定が可能な画像の情報であると識別した場合、前記指示手段の指示に基づく前記画像サイズの変更を禁止する設定を行う
ことを特徴とする画像編集装置。

【請求項2】

画像情報の種別を識別して前記画像情報の編集を行う画像編集装置であって、
前記画像情報および前記画像情報と関連する情報を取得する取得手段と、
前記画像情報と関連する情報を用いて前記画像情報の種別を識別する識別手段と、
前記画像情報に対して被写体の実寸比に基づく画像サイズを算出する算出手段と、
前記画像情報に対応する画像を配置する位置および画像の切り出し領域を決定して前記画像サイズでの画像配置を行う画像配置手段と、
前記取得手段によって取得された複数の前記画像情報のうち、前記識別手段によって実寸比の特定が可能な画像の情報であると識別された画像情報が同一の被写体の画像情報である場合に当該画像情報を選択する選択手段と、を備え、
前記識別手段は、前記画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第１の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別し、
前記算出手段は、実寸比の特定が可能な画像情報を前記識別手段が識別した場合に前記画像サイズを算出する
ことを特徴とする画像編集装置。

【請求項3】

画像情報の種別を識別して前記画像情報の編集を行う画像編集装置であって、
前記画像情報および前記画像情報と関連する情報を取得する取得手段と、
前記画像情報の画素の大きさを物体側に射影した場合の大きさを算出するための情報として、複数の画角における画像内の被写体の奥行き方向の深さを表す深度情報または複数の画角の撮像倍率の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別する識別手段と、
前記識別手段によって被写体の実寸比の特定が可能な画像の情報であると識別された前記画像情報に対して前記被写体の実寸比に基づく画像サイズを算出する算出手段と、
前記識別手段によって被写体の実寸比の特定が可能な画像の情報であると識別された前記画像情報に対応する画像を配置する位置および画像の切り出し領域を決定して前記画像サイズでの画像配置を行う画像配置手段と、を備える
ことを特徴とする画像編集装置。

【請求項4】

前記識別手段は、前記第１の情報として前記画像情報の画素サイズまたは画素ピッチ、および撮影倍率の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
ことを特徴とする請求項１または請求項２に記載の画像編集装置。

【請求項5】

前記識別手段は、前記第１の情報として物体側に射影した前記画像情報の画素サイズまたは画素ピッチの情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
ことを特徴とする請求項１、２、４のいずれか１項に記載の画像編集装置。

【請求項6】

前記識別手段は、前記第１の情報として前記画像情報を取得する際に用いた撮像装置の画角、物体側に射影した前記画像情報に係る画像の幅、および前記画像情報の画素数の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
ことを特徴とする請求項１、２、４、５のいずれか１項に記載の画像編集装置。

【請求項7】

前記識別手段は、前記第１の情報として前記画像情報の画素サイズまたは画素ピッチ、被写体距離および焦点距離の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
ことを特徴とする請求項１、２、４乃至６のいずれか１項に記載の画像編集装置。

【請求項8】

前記識別手段は、前記第１の情報として物体側の単位長さあたりの画素数が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
ことを特徴とする請求項１、２、４乃至７のいずれか１項に記載の画像編集装置。

【請求項9】

前記識別手段は、前記第１の情報としてＰＰＩ（Ｐｉｘｅｌｓ Ｐｅｒ Ｉｎｃｈ）情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
ことを特徴とする請求項１、２、４乃至８のいずれか１項に記載の画像編集装置。

【請求項10】

前記識別手段によって実寸比の特定が可能な画像情報が識別され、かつ前記指示手段により前記画像サイズの変更が指示された場合に実寸比に対応しない表示または印刷になることを報知する報知手段を備える
ことを特徴とする請求項１に記載の画像編集装置。

【請求項11】

前記取得手段によって取得された複数の前記画像情報から、前記識別手段によって実寸比の特定が可能な画像の情報であると識別された画像情報を選択する選択手段をさらに備える
ことを特徴とする請求項１、３、１０のいずれか１項に記載の画像編集装置。

【請求項12】

前記選択手段により選択された画像情報に対応する画像と、前記選択手段により選択されていない画像情報に対応する画像とを、識別可能に提示する提示手段を備える
ことを特徴とする請求項２または請求項１１に記載の画像編集装置。

【請求項13】

前記選択手段は、前記実寸比の特定が可能な画像情報が同一の被写体の画像情報である場合に当該画像情報を選択する
ことを特徴とする請求項１１に記載の画像編集装置。

【請求項14】

前記選択手段は、前記実寸比の特定が可能な画像情報が前記被写体を予め定められた視点で撮像した画像の情報である場合に当該画像情報を選択する
ことを特徴とする請求項２または請求項１１に記載の画像編集装置。

【請求項15】

前記選択手段は、前記実寸比の特定が可能な画像情報が前記被写体を異なる時刻に撮像した画像の情報である場合に当該画像情報を選択する
ことを特徴とする請求項２または請求項１１に記載の画像編集装置。

【請求項16】

請求項１乃至１５のいずれか１項に記載の画像編集装置と、
前記画像編集装置が生成した画像の表示または印刷を行う出力手段と、を備える
ことを特徴とする画像生成装置。

【請求項17】

請求項２または請求項１１に記載の画像編集装置を備える画像生成装置であって、
前記選択手段により選択された前記画像情報および前記算出手段により算出された実寸比に対応する印刷用紙上での画像サイズに基づく印刷用の画像データを印刷手段に送信する送信手段と、を備える
ことを特徴とする画像生成装置。

【請求項18】

請求項２または請求項１１に記載の画像編集装置を備える画像生成装置であって、
前記選択手段により選択された前記画像情報および前記算出手段により算出された実寸比に対応する表示装置の表示画面上での画像サイズに基づく表示用の画像データを前記表示装置に出力する出力手段と、を備える
ことを特徴とする画像生成装置。

【請求項19】

画像情報の種別を識別して前記画像情報の編集を行う画像編集装置にて実行される制御方法であって、
前記画像情報および前記画像情報と関連する情報を取得する取得工程と、
前記画像情報と関連する情報を用いて前記画像情報の種別を識別する識別工程と、
前記画像情報に対して被写体の実寸比に基づく画像サイズを算出する算出工程と、
前記画像情報に対応する画像を配置する位置および画像の切り出し領域を決定して前記画像サイズでの画像配置を行う画像配置工程と、
前記画像サイズの変更を指示する指示工程と、を有し、
前記識別工程では、前記画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第１の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別する処理が行われ、
前記算出工程では、実寸比の特定が可能な画像情報を前記識別工程にて識別した場合に前記画像サイズを算出する処理が行われ、
前記画像配置工程では、前記識別工程にて前記画像情報を実寸比の特定が可能な画像の情報であると識別した場合、前記指示工程での指示に基づく前記画像サイズの変更を禁止する設定が行われる
ことを特徴とする制御方法。

【請求項20】

画像情報の種別を識別して前記画像情報の編集を行う画像編集装置にて実行される制御方法であって、
前記画像情報および前記画像情報と関連する情報を取得する取得工程と、
前記画像情報と関連する情報を用いて前記画像情報の種別を識別する識別工程と、
前記画像情報に対して被写体の実寸比に基づく画像サイズを算出する算出工程と、
前記画像情報に対応する画像を配置する位置および画像の切り出し領域を決定して前記画像サイズでの画像配置を行う画像配置工程と、
前記取得工程によって取得された複数の前記画像情報のうち、前記識別工程によって実寸比の特定が可能な画像の情報であると識別された画像情報が同一の被写体の画像情報である場合に当該画像情報を選択する選択工程と、を有し、
前記識別工程では、前記画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第１の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別する処理が行われ、
前記算出工程では、実寸比の特定が可能な画像情報を前記識別工程にて識別した場合に前記画像サイズを算出する処理が行われる
ことを特徴とする制御方法。

【請求項21】

画像情報の種別を識別して前記画像情報の編集を行う画像編集装置にて実行される制御方法であって、
前記画像情報および前記画像情報と関連する情報を取得する取得工程と、
前記画像情報の画素の大きさを物体側に射影した場合の大きさを算出するための情報として、複数の画角における画像内の被写体の奥行き方向の深さを表す深度情報または複数の画角の撮像倍率の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別する識別工程と、
前記識別工程によって被写体の実寸比の特定が可能な画像の情報であると識別された前記画像情報に対して前記被写体の実寸比に基づく画像サイズを算出する算出工程と、
前記識別工程によって被写体の実寸比の特定が可能な画像の情報であると識別された前記画像情報に対応する画像を配置する位置および画像の切り出し領域を決定して前記画像サイズでの画像配置を行う画像配置工程と、を有する
ことを特徴とする制御方法。

【請求項22】

請求項１９乃至２１のいずれか１項に記載の各工程をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像編集装置や画像生成装置にて被写体の実寸に応じた印刷または表示が可能な画像を識別する技術に関する。

【背景技術】

【0002】

取得された撮影画像から距離情報を算出する方法において、例えば、異なる視点で撮影画像を取得し、撮影画像間の相関値や類似度から視差量を求めることで距離情報を取得できる。特許文献１には、ステレオ撮像装置を用いて対象物を撮影し、指定された２点間の長さを計測可能な撮像装置が開示されている。また特許文献２には、撮像装置が備える結像光学系において、異なる瞳領域を通過した光束による像を取得することで、撮影画像と被写体距離情報とを同時に取得可能な撮像装置が開示されている。

【0003】

被写体の撮影画像と同時に距離情報を取得することで、被写体の実寸に応じた表示や印刷を行うことができる。例えば、被写体である子供を異なる年齢で撮影し、撮影時の年齢が異なる被写体の画像を、所定の実寸比にしたがって印刷台紙上に配置する処理が行われる。これにより、ユーザは子供の成長過程をより実感できる印刷物の作製が可能である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－２３２３３０号公報

【文献】特開２０１９－９５１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、撮影画像は必ずしも被写体の実寸に応じた印刷や表示が可能な画像情報をもつとは限らない。ユーザが撮影画像やサムネイル画像を見た場合、実寸に応じた印刷や表示が可能な画像であるかどうかを識別することは難しい。また、電子アルバムにおいて１頁内に複数の画像が配置される場合には、画像を見ただけでは実寸に応じた印刷や表示が可能であるか否かをユーザが識別することは一般に困難である。仮に、実寸に応じた印刷が可能な画像であるにも関わらず、ユーザの指示どおりに画像サイズを所定のサイズから変更すると、実寸に応じた印刷ができなくなってしまう。
本発明は、被写体の実寸に応じた画像生成が可能か否かを識別して画像情報の編集を行う画像編集装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の実施形態の装置は、画像情報の種別を識別して前記画像情報の編集を行う画像編集装置であって、前記画像情報および前記画像情報と関連する情報を取得する取得手段と、前記画像情報と関連する情報を用いて前記画像情報の種別を識別する識別手段と、前記画像情報に対して被写体の実寸比に基づく画像サイズを算出する算出手段と、前記画像情報に対応する画像を配置する位置および画像の切り出し領域を決定して前記画像サイズでの画像配置を行う画像配置手段と、前記画像サイズの変更を指示する指示手段と、を備える。前記識別手段は、前記画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第１の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別し、前記算出手段は、実寸比の特定が可能な画像情報を前記識別手段が識別した場合に前記画像サイズを算出し、前記画像配置手段は、前記識別手段が前記画像情報を実寸比の特定が可能な画像の情報であると識別した場合、前記指示手段の指示に基づく前記画像サイズの変更を禁止する設定を行う。

【発明の効果】

【0007】

本発明によれば、被写体の実寸に応じた画像生成が可能か否かを識別して画像情報の編集を行う画像編集装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る電子アルバム印刷装置の構成を示すブロック図である。

【図2】第１実施形態に係る電子アルバム編集装置の処理を説明する図である。

【図3】画素サイズを物体側に射影するための情報について説明する図である。

【図4】第１実施形態の変形例に係る電子アルバム印刷装置を説明する図である。

【図5】第２実施形態に係る画像印刷装置の構成を示すブロック図である。

【発明を実施するための形態】

【0009】

本発明の実施形態に係る画像識別装置、画像編集装置、画像生成装置について、図面を参照しつつ詳細に説明する。各実施形態において画像識別装置は画像情報の種別を識別する装置であって、画像編集装置、画像生成装置に適用される。画像編集装置はユーザが撮像画像の編集作業に用いる装置であり、画像生成装置は印刷用画像または表示用画像を生成する装置である。

【0010】

［第１実施形態］
本実施形態では、選択された画像が実寸比を算出可能な画像である場合、実寸比に応じた画像サイズの算出およびユーザの操作指示に基づく任意の画像サイズへの変更を禁止する処理を行う例を示す。

【0011】

図１は、画像識別装置を備える電子アルバム印刷装置の構成を模式的に示すシステム構成図である。電子アルバム印刷装置１００は、記憶部１１０、電子アルバム編集装置１２０、印刷部１４０、表示部１５０を備える。記憶部１１０には、印刷に用いる画像情報が格納されている。電子アルバム編集装置１２０は記憶部１１０から画像情報を取得し、画像情報を用いて印刷用画像データを生成する。

【0012】

印刷部１４０は、電子アルバム編集装置１２０が生成した印刷用画像データを取得し、所定の印刷用紙への印刷処理を行う。表示部１５０は、電子アルバム編集装置１２０が生成した印刷用画像データに対応する画像の表示処理や、電子アルバム印刷装置１００を使用するユーザへの報知用の表示処理を行う。

【0013】

電子アルバム編集装置１２０は、画像識別装置１３０、実寸比算出部１２３、画像配置部１２４、設定値記憶部１２５を備える。設定値記憶部１２５には、電子アルバム編集装置１２０で用いられる各種設定情報が予め記憶されている。

【0014】

画像識別装置１３０は画像情報の種別を識別するために画像取得部１３１と画像識別部１３２を備える。画像識別装置１３０は、記憶部１１０から読み出された画像情報について実寸比の算出（特定）が可能な画像（以下、算出可能画像という）であるか否かを識別する。例えば画像取得部１３１は、記憶部１１０から画像情報、および画像情報と対応するメタデータを取得する。画像識別部１３２は、画像取得部１３１が取得したメタデータを用いて、対象画像が実寸比の算出可能画像であるかどうかの識別処理を実行する。ここで、画像情報及び画像情報と対応するメタデータは関連付けられて別個に記憶部１１０に記憶されていてもよいし、１ファイルの、例えばＥｘｉｆ形式の画像ファイルとして記憶されていてもよい。

【0015】

実寸比算出部１２３は、対象画像が画像識別部１３２によって実寸比の算出可能画像であると識別された場合、画像取得部１３１が取得したメタデータを用いて、実寸比に対応する画像サイズを算出する。実寸比については、設定値記憶部１２５に記憶されている実寸比の設定値を取得して用いることができる。あるいは、実寸比としてユーザ指示部（不図示の操作部材やタッチパネル等）によりユーザが指示する入力値を用いても構わない。

【0016】

画像配置部１２４は、印刷部１４０から印刷用紙のサイズに関する情報を取得し、画像取得部１３１が取得した画像を印刷用紙上に配置する処理を行うことで印刷用画像データを生成する。対象画像が画像識別部１３２により識別された実寸比の算出可能画像である場合、画像配置部１２４は実寸比算出部１２３により算出された画像サイズを用い、原則として当該画像サイズ以外への変更を禁止する。また、画像識別部１３２によって対象画像が実寸比の算出可能画像でないと識別された場合に画像配置部１２４は、設定値記憶部１２５から取得した画像サイズの設定値、またはユーザ指示部によるユーザの入力値を用いて画像サイズを設定する。画像情報を配置する位置と切り出し領域は、画像配置部１２４が設定値記憶部１２５から取得した情報を用いて決定するか、またはユーザ指示部によりユーザが入力する位置および切り出し領域の情報を用いて決定する。

【0017】

本実施形態の画像配置部１２４は、画像識別部１３２により識別された実寸比の算出可能画像に対して、実寸比算出部１２３が算出した画像サイズから、別の画像サイズへの変更を禁止する。実寸比の算出可能画像に対する画像サイズの変更を禁止することで、実寸比の算出可能画像を実寸比に則して印刷することができる。実寸比の算出可能画像の印刷処理では、ユーザの意図しない、実寸比とは異なる印刷結果となることを防ぐ措置が講じられる。すなわち、ユーザが実寸比の算出可能画像に対する画像サイズの変更を電子アルバム編集装置１２０に指示した場合、実寸比とは異なる比率の印刷結果になることを、表示部１５０によってユーザに報知する処理が実行される。ユーザへの報知の結果として、ユーザが実寸比と異なる比率の画像サイズに変更することを許可する指示を行った場合には、対象画像が実寸比の算出可能画像であっても、画像配置部１２４は画像サイズの変更を行う。

【0018】

次に図２を参照して、電子アルバム編集装置１２０が行う処理について説明する。図２（Ａ）のフローチャートにおいて、ユーザの指示にしたがって印刷用画像データの生成処理が開始されると、Ｓ２１０の処理に移行する。

【0019】

Ｓ２１０にて画像取得部１３１は、記憶部１１０から画像情報および画像情報と対応するメタデータを取得する。例えば、画像情報およびメタデータは、別々のデータファイルに格納されて記憶部１１０が保持している。あるいは、画像情報に対するメタデータの対応付けの間違いや、メタデータの管理にかかる手間を考慮して、画像情報とメタデータの両方が、１つのデータファイル中に格納されて記憶部１１０が保持している。例えば、画像情報を含むデータファイルのヘッダ領域にメタデータを格納することができる。

【0020】

Ｓ２２０にて画像識別部１３２は、Ｓ２１０で画像取得部１３１により取得されたメタデータを用いて画像情報の種別を識別する。Ｓ２２０では、画像情報の画素のサイズを物体側に射影したサイズが算出可能な情報をメタデータが含む場合、画像識別部１３２は、取得された画像が実寸比の算出可能画像であると識別する。すなわち、像側の画素サイズを物体側に射影したサイズ（以下、射影サイズともいう）を算出可能な情報がメタデータに含まれている場合には、実寸比の算出が可能である。射影サイズを算出可能な情報については、図３を用いて後述する。

【0021】

Ｓ２３０にて実寸比算出部１２３は、対象画像が実寸比の算出可能画像である場合、画像取得部１３１によりＳ２１０で取得されたメタデータを用いて、所定の実寸比に応じた印刷用紙上の画像サイズを算出する。実寸比算出処理の詳細については図２（Ｂ）を用いて後述する。Ｓ２４０にて画像配置部１２４は、印刷用紙上に配置する画像情報の画像サイズ、位置、切り出し領域を決定することで印刷用画像データを生成する。

【0022】

図３を参照して、物体側の画素サイズ（射影サイズ）の算出方法について説明する。図３（Ａ）は、画素サイズを物体側に射影するための情報について説明する模式図である。撮像装置３１０は結像光学系（撮像光学系）３３０および撮像素子３２０を備える。図３（Ａ）には物体側の画素サイズ３４３に対応する、像側の画素サイズ３４４を示している。像側の画素サイズ３４４は、一般的には撮像素子３２０の画素ピッチである。物体側の画素サイズ３４３は、像側の画素サイズ３４４に撮影倍率を乗算した値となる。

【0023】

撮影倍率は、結像光学系３３０の物体側の主点から被写体までの距離３４１と、結像光学系３３０の像側の主点から撮像素子３２０までの距離３４２との比で与えられる。なお、距離３４１については結像光学系３３０の最も物側にあるレンズの頂点からの距離で近似を行ってもよい。また、距離３４２については結像光学系３３０の焦点距離で近似を行ってもよい。すなわち、撮像素子３２０の画素サイズと撮影倍率が分かれば、物体側の画素サイズ３４３を算出することができる。撮影倍率を算出するためには、被写体までの距離と結像光学系の主点から撮像素子までの距離（または結像光学系３３０の焦点距離）が分かっていることが前提である。被写体の距離情報は、例えば瞳分割型撮像素子を用いた撮像面位相差検出方法によって、視点の異なる複数の画像データから算出することができる。

【0024】

図３（Ａ）を参照して、撮像素子３２０の画素サイズを物体側に射影する方法について説明したが、別の方法として、撮像素子３２０の有効領域の幅（水平幅と垂直幅）に撮像倍率を乗じることで物体側に射影する方法がある。物体側に射影した撮像素子３２０の有効領域のサイズを、画像情報の画素数（水平画素数×垂直画素数）で除算することで、物体側に射影した画素サイズを算出することができる。

【0025】

結像光学系３３０から被写体までの距離（被写体距離）は、画像情報に含まれる被写体領域情報に関するいずれか１点までの距離で構わない。被写体と撮像装置３１０とが正対していない場合を考慮すると、複数の画角において被写体の距離情報を取得し、距離情報をメタデータに格納することが望ましい。なお、距離情報は撮像画像内の被写体の奥行き方向の深さを表す深度情報である。深度情報としては、例えば視点の異なる複数の視点画像から算出される像ずれ量マップや、像ずれ量に所定の変換係数を乗算して算出されるデフォーカス量マップがある。デフォーカス量を被写体の距離情報に換算した距離マップや距離画像の情報は、撮像画像に関連する距離分布を表す。

【0026】

図３（Ｂ）は、被写体Ｏと撮像装置３１０とが正対していない場合の説明図である。画角中心の１点のみでの被写体までの距離を用いて物体側の画素サイズを算出する場合を想定する。この場合、平面３５１は被写体Ｏに沿った平面３５２に対して傾いた平面である。この平面３５１に沿った被写体Ｏの大きさが算出されるので、被写体Ｏの下側と上側とで、物体側の画素サイズに誤差が発生する可能性がある。つまり、被写体Ｏの大きさは被写体Ｏにかかわる平面３５２に沿って計測することが望ましい。したがって、画角中心に加えて、複数の画角（例えば、複数の直線３５３に沿った画角）について被写体Ｏまでの距離を取得し、画角に応じた物体側の画素サイズを算出する処理が行われる。複数の画角での被写体の距離情報をメタデータとしてファイルに格納する方法と、複数の画角の撮影倍率を前述の算出方法で算出し、算出された撮影倍率の情報をメタデータとしてファイルに格納する方法がある。つまり、画像情報の画素の大きさを物体側に射影した場合の大きさがわかる、すなわち実寸比の特定が可能な画像であるかを判定するための情報（第１の情報）として例えば以下のものが挙げられる。これらの情報の少なくとも１つが画像に関連した情報に含まれるか否かを判定することで実寸比の特定が可能な画像であるか否かを判定する。
・物体側の画素サイズ３４３
・像側の画素サイズ３４４および撮影倍率
・像側の画素サイズ３４４、被写体の距離情報（あるいは深度情報）および焦点距離
・撮像素子３２０の有効領域の幅（水平幅と垂直幅）、撮像倍率および画素数
・撮像素子３２０の有効領域の幅（水平幅と垂直幅）、被写体の距離情報（あるいは深度情報）、焦点距離および画素数
また、実寸比の特定が可能な画像であるか否かを判定するための情報（第１の情報）として、単位長さあたりの画素数を算出し、Ｅｘｉｆ形式の解像度情報として記録してもよい。なお、単位長さは１ｍｍを用いてもよいが、印刷を考慮した場合には１インチを用いＰＰＩ（Ｐｉｘｅｌｓ Ｐｅｒ Ｉｎｃｈ）情報として記録してもよい。

【0027】

結像光学系３３０から被写体Ｏまでの距離は、レンズの結像公式に基づく下記式（１）を用いて算出することができる。
ｂ＝１／｛１／ｆ－１／ａ｝ 式（１）
式（１）中、ｂは結像光学系３３０の物体側の主点から被写体Ｏまでの距離を表す。ｆは結像光学系３３０の焦点距離を表し、ａは結像光学系３３０の像側の主点から像点までの距離を表す。結像光学系３３０の像側の主点から像点までの距離は、距離３４２とデフォーカス量（撮像素子３２０から像点までの距離）を用いて算出することができる。したがって、結像光学系３３０から被写体までの距離に代えて、デフォーカス量をメタデータとしてファイルに格納してもよい。デフォーカス量は、撮像装置３１０が備える焦点検出部（不図示）により公知の方法で検出することができる。

【0028】

次に図２（Ｂ）を参照して、図２（Ａ）のＳ２３０に示す実寸比算出処理について説明する。Ｓ２３１で実寸比算出部１２３は、印刷部１４０の印刷時の情報（以下、印刷情報という）を取得する。例えば、単位長さあたりのドット数（ｄｐｉ）で表される解像度の情報が印刷情報として取得される。

【0029】

Ｓ２３２は、対象画像が実寸比の算出可能画像であるか否かの判定処理である。判定処理では、図２（Ａ）のＳ２２０における画像識別結果を用いることができる。対象画像が実寸比の算出可能画像であると判定された場合、Ｓ２３３の処理へ進む。また対象画像が実寸比の算出可能画像でないと判定された場合には、Ｓ２３４の処理へ進む。

【0030】

Ｓ２３３で実寸比算出部１２３は、図２（Ａ）のＳ２１０で取得された画像情報について、印刷用紙上の画素サイズを算出する。物体側に射影した画素サイズに所定の実寸比を乗算することで、印刷用紙上の画素サイズを算出することができる。物体側に射影した画素サイズは、図３を用いて説明した方法により算出することができる。所定の実寸比として、例えば１倍や０．５倍といった値を予め設定して用いることができる。あるいは、電子アルバム印刷装置１００が備えるユーザ指示部によりユーザが入力する値を用いて実寸比を設定してもよい。

【0031】

Ｓ２３４で実寸比算出部１２３は、印刷用紙上の画像サイズを算出する。実寸比算出部１２３は画像情報の水平画素数と垂直画素数のそれぞれに対し、Ｓ２３３で算出された印刷用紙上の画素サイズを乗算する。実寸比算出部１２３はさらにＳ２３１で取得された印刷情報を用いて、印刷用紙上での、水平方向の画像サイズと垂直方向の画像サイズを算出する。

【0032】

Ｓ２３４の処理後に、図２（Ａ）のＳ２４０の処理に移行して、画像配置部１２４は印刷用紙上に配置する画像情報の画像サイズ、位置、切り出し領域を決定して印刷用画像データを生成する。具体的には、まず、印刷部１４０から印刷用紙のサイズ情報を取得する処理が実行される。次に画像配置部１２４は画像情報の画像サイズを設定する。対象画像が実寸比の算出可能画像である場合、Ｓ２３０にて算出された画像サイズが使用される。また実寸比の算出可能画像でない場合には、設定値記憶部１２５から画像サイズに関する設定値が取得されて使用されるか、またはユーザ指示部によりユーザが入力した値が使用される。

【0033】

画像配置部１２４は、対象画像が実寸比の算出可能画像である場合、原則として任意の画像サイズへの変更を禁止する。次に画像配置部１２４は、画像情報の切り出し領域の設定を行う。切り出し領域に関し、設定値記憶部１２５から切り出し領域に関する領域情報を取得して用いることができる。または、ユーザ指示部によりユーザが入力した切り出し領域を表す値を用いることができる。画像配置部１２４は画像情報の配置に係る位置を設定する際、設定値記憶部１２５から配置に係る位置の設定値を取得して用いるか、または、ユーザ指示部によりユーザが入力した設定値を用いる。次に、表示部１５０は印刷用の画像情報に対応する画像を画面に表示する。画像配置部１２４は印刷用の画像情報に対応する表示用画像データを表示部１５０に出力し、表示部１５０が表示用画像データを取得して表示処理を行う。ユーザ指示部によって印刷用の画像情報の指示操作が行われると、印刷用の画像情報が確定する。

【0034】

本実施形態では、実寸に応じた印刷や表示が可能な画像であるか否かを識別することができる。実寸に応じた画像情報の印刷や表示が可能な画像であるにも関わらず、ユーザが誤って実寸比とは異なる比率の画像サイズに編集してしまうことを防止できる。

【0035】

本発明に係る画像識別装置の機能を説明するために電子アルバム印刷装置１００の例を説明した。これに限らず、電子アルバム編集装置１２０により作成された電子アルバムデータをサーバーに送信して、サーバーが電子アルバムの印刷処理を行う実施形態がある。このことは以下の変形例や実施形態でも同じである。

【0036】

［第１実施形態の変形例］
次に第１実施形態の変形例に関して詳細に説明する。変形例では、複数の画像が選択された場合、その中から実寸比の算出可能画像のみを選択して時系列的に配置する処理が行われる。

【0037】

図４（Ａ）は、変形例の電子アルバム印刷装置４００を模式的に示すシステム構成図である。図１との相違点は電子アルバム編集装置４２０が備える画像選択部４２６、画像配置部４２４である。よって主に相違点を説明し、図１の構成と同様の事項については既に使用した符号を流用することにより、それらの詳細な説明を省略する。このような説明の省略方法は後述の実施形態でも同じである。

【0038】

画像選択部４２６は、画像識別装置１３０により識別された実寸比の算出可能画像の選択処理を行う。実寸比の算出可能画像の中から、ユーザ指示部によりユーザが選択の操作指示を行った画像が選択される。以降、画像選択部４２６により選択された画像を選択画像と呼ぶ。

【0039】

実寸比算出部１２３は、選択画像と対応するメタデータを用いて、実寸比に応じた画像サイズを算出する。画像配置部４２４は、実寸比算出部１２３が算出した画像サイズを用いて選択画像を配置し、印刷用画像データを生成する。選択画像と対応するメタデータから各選択画像の撮影日時または時刻に関する情報を取得し、時系列にしたがって画像情報を配置する処理が実行される。

【0040】

図４（Ｂ）を参照して、時系列的な画像配置方法について説明する。図４（Ｂ）は印刷用紙４３０に、選択画像を４つ配置した例を示す。選択画像４３１～４３４は同一人物を撮影した画像を表している。撮影日が古い順に左から選択画像４３１、選択画像４３２、選択画像４３３、選択画像４３４が配置されている。画像配置部４２４は、印刷用紙４３０の左から右に、撮影時刻の時系列（撮影日順）にしたがって選択画像４３１～４３４を配置する処理を行う。

【0041】

電子アルバム編集装置４２０では、画像識別装置１３０および画像選択部４２６が複数の画像から実寸比の算出可能画像を選択する。対象画像が実寸比の算出可能画像であるか否かをユーザが識別することは難しい。そこで変形例においては、画像識別装置１３０および画像選択部４２６が複数の画像から実寸比の算出可能画像を自動的に選択する。よって、ユーザの画像選択にかかる負担を軽減できる。

【0042】

変形例によれば、画像配置部４２４が図４（Ｂ）に示す印刷用紙４３０にて同一人物の画像を所定の実寸比にしたがって時系列的に配置することができる。これにより、ユーザは作製された印刷物を見て被写体の成長過程をより実感することができる。

【0043】

画像選択部４２６においては、実寸比の算出可能画像の中から、ユーザが所望の画像を選択可能である。例えば、図４（Ｂ）のように同一人物の成長過程を複数の画像により構成して表現する場合、ユーザは人物を一人選択することができる。さらには、ユーザが選択した人物と同一人物であって、かつ所定の時間間隔をおいて撮影された画像を選択する構成でもよい。このようにすることで、ユーザの画像選択にかかる負担をより軽減できる。画像選択部４２６において、ユーザが所望の画像を選択する際には、実寸比の算出可能画像と実寸比の算出が可能でない画像とが区別されてユーザに提示される。例えば、ユーザが画像の類別を認識しやすいように、表示部１５０は画面上に画像の一覧のサムネイル画像を表示する。実寸比の算出可能画像に係るサムネイル画像は強調表示され、実寸比の算出が可能でない画像に係るサムネイル画像は強調表示が行われないか、または抑止される（例えば明度や彩度等の低下）。実寸比の算出可能画像の属性情報や画像上にアイコン等で実寸比の算出が可能な画像であることが報知されてもよい。画像識別装置１３０の識別結果に基づき、ユーザが画像を識別しやすいように表示部１５０が画像を表示することで、ユーザの画像選択にかかる負担を軽減できる。つまり複数の画像情報から、実寸比の算出可能画像であると識別された画像情報と、実寸比の算出が可能でない画像情報とを識別可能な状態でユーザに提示することが画像選択処理において、より効果的である。

【0044】

また、電子アルバム印刷装置４００は画像情報が所定の規則を満たすか否かを判断することで、ユーザが選択した人物と同一人物であるか否かを自動で判定することができる。所定の規則とは、例えば、公知の機械学習を用いた判定用の規則である。撮影された画像の視点が所定の視点（正面からの撮影などのように、撮影時の光軸が地面と略平行になる視点）であるという条件を満たすか否かの判定処理が実行される。撮影された画像の視点を揃えることで、同一人物の成長過程をユーザがより実感可能な印刷物を作製することができる。印刷物の作製は印刷部１４０、または印刷用画像データを取得したサーバーが備える印刷装置を用いて行われる。

【0045】

［第２実施形態］
次に図５を参照して、本発明の第２実施形態について説明する。本実施形態では複数の画像が選択された場合、その中から実寸比の算出可能画像のみを選択して印刷する処理を示す。

【0046】

図５は、画像印刷装置５００の構成を模式的に示すシステム構成図である。画像印刷装置５００は、記憶部１１０、印刷用画像編集装置５２０、印刷部１４０、表示部１５０を備える。印刷用画像編集装置５２０は、画像識別装置１３０、画像選択部５２１、実寸比算出部１２３を備える。

【0047】

画像選択部５２１は、画像取得部１３１が取得した複数の画像から、画像識別装置１３０が実寸比の算出可能画像であると識別した画像のみを選択する。つまり、画像選択部５２１によって選択された画像が選択画像である。

【0048】

実寸比算出部１２３は、画像選択部５２１による選択画像のみに関し、図２（Ｂ）に示すＳ２３１、Ｓ２３３、Ｓ２３４の処理により印刷用紙上での実寸比に応じた画像サイズを算出する。印刷用画像編集装置５２０は選択画像に対応する印刷用画像データを印刷部１４０へ出力する。印刷部１４０は選択画像に対応する印刷用画像データを受信し、印刷用紙への印刷を行う。

【0049】

表示部１５０の画面上のプレビュー表示画像やサムネイル画像を見ただけでは、被写体の実寸に応じた印刷が可能な画像であるか否かを識別することは難しい。そこで、印刷用画像編集装置５２０は、実寸に応じた印刷が可能な画像のみを自動で選択して印刷処理を実行する。その結果、ユーザの画像選択にかかる負担を軽減できる。印刷用画像編集装置５２０により生成される印刷用画像データについては、印刷部１４０への印刷指示、または印刷用画像データを取得するサーバーから印刷装置への印刷指示にしたがって印刷物が作製される。

【0050】

本実施形態において実寸比算出部１２３は、表示部１５０の表示画面上で所定の実寸比となる画像サイズを算出してもよい。その場合には、図２（Ｂ）のＳ２３１において、印刷情報ではなく、表示部１５０の解像度情報が取得される。Ｓ２３３では表示部１５０の解像度情報を用いて表示画面上での画素サイズを算出する処理が実行される。印刷用画像編集装置５２０は決定した画素サイズの表示用画像データを生成する。表示用画像データは表示部１５０に出力されて表示処理が行われる。

【0051】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0052】

１００ 電子アルバム印刷装置
１１０ 記憶部
１２０ 電子アルバム編集装置
１３０ 画像識別装置
１４０ 印刷部
１５０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】