特許 7443107 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20240227BHJP

   H04N 1/387 20060101ALI20240227BHJP

【ＦＩ】

G06T11/60 100C

H04N1/387 110

【請求項の数】 18

(21)【出願番号】P 2020045618

(22)【出願日】2020-03-16

(65)【公開番号】P2021149193

(43)【公開日】2021-09-27

【審査請求日】2023-03-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】國枝 寛康

(72)【発明者】

【氏名】武市 惇平

(72)【発明者】

【氏名】山田 貴之

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１２－２２１００５（ＪＰ，Ａ）

【文献】特開２０２１－１４４６１８（ＪＰ，Ａ）

【文献】国際公開第２０２０／１９５１８８（ＷＯ，Ａ１）

【文献】特開２０１８－８４９８０（ＪＰ，Ａ）

【文献】特開２００５－１８４７８９（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６６２９１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
お手本となるお手本アルバムのアルバムデータと、前記お手本アルバムに配置されているお手本画像の解析情報と、アルバム作成に用いる候補画像群と、前記候補画像群の各候補画像の解析情報と、を取得する取得手段と、
前記お手本画像に類似する類似画像を、前記解析情報に基づいて前記候補画像群の中から選択する選択手段と、
前記アルバムデータに含まれるテンプレートに従って、前記類似画像を、当該類似画像に対応するお手本画像が配置されているスロットに配置することでレイアウトを作成する作成手段と、
前記作成されたレイアウトを評価する評価手段と、
前記評価手段による評価結果に基づいて、前記類似画像が前記スロットに配置された場合に行われる加工処理の内容を変更する変更手段と、
として機能させるためのプログラム。

【請求項2】

前記評価手段は、前記作成されたレイアウトの出来栄えが、アルバムに適した出来栄えかを評価し、
前記変更手段は、前記評価結果が、前記アルバムに適した出来栄えではないことを示す場合、前記加工処理の内容を変更することを特徴とする請求項１に記載のプログラム。

【請求項3】

前記評価手段は、前記作成されたレイアウトにおいて、前記類似画像の主要被写体の領域が欠損する場合、前記作成されたレイアウトの出来栄えが、アルバムに適した出来栄えではないと評価することを特徴とする請求項２に記載のプログラム。

【請求項4】

前記加工処理の内容は、トリミングを含み、
前記変更手段は、前記トリミングによって主要被写体の領域が欠損しないように、前記作成されたレイアウトにおいて配置される前記類似画像をシフトさせることを特徴とする請求項３に記載のプログラム。

【請求項5】

前記評価手段は、前記作成されたレイアウトにおいて、前記類似画像の解像度が所定値に満たない場合、前記作成されたレイアウトの出来栄えが、アルバムに適した出来栄えではないと評価することを特徴とする請求項２乃至４のいずれか一項に記載のプログラム。

【請求項6】

前記所定値は、前記類似画像が配置されるスロットに配置されている前記お手本画像に少なくとも基づいて決定されることを特徴とする請求項５に記載のプログラム。

【請求項7】

前記加工処理の内容は、前記類似画像の変倍処理を含み、
前記変更手段は、前記所定値以上の解像度となるように前記類似画像を変倍して前記スロットに配置することを特徴とする請求項５または６に記載のプログラム。

【請求項8】

前記評価手段は、前記作成されたレイアウトにおいて、前記類似画像の主要被写体の領域が他の第二スロットに遮蔽される場合、前記作成されたレイアウトの出来栄えが、アルバムに適した出来栄えではないと評価することを特徴とする請求項２乃至７のいずれか一項に記載のプログラム。

【請求項9】

前記加工処理の内容は、第一スロットの上に第二スロットを重ねて配置するレイヤー加工を含み、
前記変更手段は、前記第二スロットによって主要被写体の領域が遮蔽されないように、前記候補画像の中から、第一スロットに配置する他の類似画像を選択することを特徴とする請求項８に記載のプログラム。

【請求項10】

前記評価手段は、前記作成されたレイアウトにおいて、前記類似画像の主要被写体の領域が、綴じ部と重なる場合、前記作成されたレイアウトの出来栄えが、アルバムに適した出来栄えではないと評価することを特徴とする請求項２乃至９のいずれか一項に記載のプログラム。

【請求項11】

前記変更手段は、前記主要被写体の領域が前記アルバムの綴じ部と重ならないように、前記候補画像の中から、前記スロットに配置する他の類似画像を選択することを特徴とする請求項１０に記載のプログラム。

【請求項12】

前記評価手段は、前記作成されたレイアウトにおいて、前記類似画像の主要被写体の領域が、当該類似画像が配置されるスロットに施されるフレーム装飾と重なる場合、前記作成されたレイアウトの出来栄えが、アルバムに適した出来栄えではないと評価することを特徴とする請求項２乃至１１のいずれか一項に記載のプログラム。

【請求項13】

前記加工処理の内容は、スロットにフレーム装飾を施すことを含み、
前記変更手段は、異なる種類のフレーム装飾を施したレイアウトを作成することを特徴とする請求項１２に記載のプログラム。

【請求項14】

前記変更手段は、異なる種類のフレーム装飾を施したレイアウトをそれぞれ作成し、作成したレイアウトと前記お手本画像が配置されているお手本のテンプレートとの類似度が最も高いレイアウトを、変更後のレイアウトとして決定することを特徴とする請求項１３に記載のプログラム。

【請求項15】

前記作成手段は、前記変更手段によって前記加工処理の内容が変更された場合、変更後の内容に従ってレイアウトを再作成することを特徴とする請求項１乃至１４のいずれか一項に記載のプログラム。

【請求項16】

前記コンピュータを、
前記再作成されたレイアウト、または、前記作成手段で作成されたレイアウトでアルバムの各見開きが構成されるアルバムデータを出力する出力手段としてさらに機能させることを特徴とする請求項１５に記載のプログラム。

【請求項17】

お手本となるお手本アルバムのアルバムデータと、前記お手本アルバムに配置されているお手本画像の解析情報と、アルバム作成に用いる候補画像群と、前記候補画像群の各候補画像の解析情報と、を取得する取得手段と、
前記お手本画像に類似する類似画像を、前記解析情報に基づいて前記候補画像群の中から選択する選択手段と、
前記アルバムデータに含まれるテンプレートに従って、前記類似画像を、当該類似画像に対応するお手本画像が配置されているスロットに配置することでレイアウトを作成する作成手段と、
前記作成されたレイアウトを評価する評価手段と、
前記評価手段による評価結果に基づいて、前記類似画像が前記スロットに配置された場合に行われる加工処理の内容を変更する変更手段と、
を有することを特徴とする画像処理装置。

【請求項18】

お手本となるお手本アルバムのアルバムデータと、前記お手本アルバムに配置されているお手本画像の解析情報と、アルバム作成に用いる候補画像群と、前記候補画像群の各候補画像の解析情報と、を取得する取得工程と、
前記お手本画像に類似する類似画像を、前記解析情報に基づいて前記候補画像群の中から選択する選択工程と、
前記アルバムデータに含まれるテンプレートに従って、前記類似画像を、当該類似画像に対応するお手本画像が配置されているスロットに配置することでレイアウトを作成する作成工程と、
前記作成されたレイアウトを評価する評価工程と、
前記評価工程による評価結果に基づいて、前記類似画像が前記スロットに配置された場合に行われる加工処理の内容を変更する変更工程と、
を有することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

デジタルカメラの普及に加え、近年ではスマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザの写真撮影枚数が急激に増加している。撮影枚数の増加に伴い、撮影される被写体も様々なバリエーションが増えている。

【0003】

特許文献１では、第２画像群の画像を用いて新たなアルバムを作成する際に、以前のアルバム作成のために入力した第１画像群の情報を用いて、第２画像群の中の所望の画像の出力形態を決定する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２１５５９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、決定される出力形態が、画像に加工を施す形態を含む場合、配置された画像に対する加工結果が所望の出来栄えにならないことがある。

【課題を解決するための手段】

【0006】

本発明の一態様に係るプログラムは、コンピュータを、お手本となるお手本アルバムのアルバムデータと、前記お手本アルバムに配置されているお手本画像の解析情報と、アルバム作成に用いる候補画像群と、前記候補画像群の各候補画像の解析情報と、を取得する取得手段と、前記お手本画像に類似する類似画像を、前記解析情報に基づいて前記候補画像群の中から選択する選択手段と、前記アルバムデータに含まれるテンプレートに従って、前記類似画像を、当該類似画像に対応するお手本画像が配置されているスロットに配置することでレイアウトを作成する作成手段と、前記作成されたレイアウトを評価する評価手段と、前記評価手段による評価結果に基づいて、前記類似画像が前記スロットに配置された場合に行われる加工処理の内容を変更する変更手段と、として機能させるためのプログラムである。

【発明の効果】

【0007】

本発明によれば、配置された画像に対する加工結果を所望の出来栄えにすることができる。

【図面の簡単な説明】

【0008】

【図1】画像処理装置のハードウェア構成を示すブロック図である。

【図2】画像処理装置のソフトウェア構成を示すブロック図である。

【図3】アルバムデータの構造を示す図である。

【図4】アルバムレイアウトを示す図である。

【図5】アルバム作成アプリケーションのＧＵＩを示す図である。

【図6】自動レイアウト処理のフローチャートである。

【図7】レイアウト作成方法を説明する図である。

【図8】レイアウト作成方法の詳細を説明する図である。

【図9】類似画像が候補画像をトリミングして得られた場合の例を説明する図である。

【図10】レイアウト作成方法の詳細を説明するフローチャートである。

【図11】レイアウト作成方法の詳細を説明する図である。

【図12】装飾パターンの例を示す図である。

【図13】レイアウト作成方法の詳細を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付画像を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されていると特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0010】

［第１実施形態］
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを生成する。そして、このアルバムデータを印刷することで印刷物として複数のアルバムを作成する。本実施形態では、お手本となるアルバムデータに基づいて、お手本アルバムデータに配置された画像群とは異なる画像群を用いて、お手本アルバムデータと類似するアルバムデータを作成する。より詳しく説明すると、お手本アルバムデータと同じページ数を持ち、お手本アルバムデータの各ページに配置された各お手本画像に類似する画像を、該お手本画像と同じ位置に配置したアルバムデータを作成する。これにより、多数の撮影画像の中から画像を選択したり、レイアウトを決定したり、テンプレートを決定したりするような、手間がかかる作業を簡略化することができる。

【0011】

このようにお手本アルバムデータと類似するアルバムデータを作成する具体例として、婚礼アルバムが挙げられる。婚礼アルバムのような定型が決まっているアルバムでは、指輪の交換、ケーキカット、およびスピーチなど、定型化されたセレモニーを撮影した画像を、進行順序に沿って配置して作成されている。このようなアルバムの作成では、予めお手本となるアルバムを用意し、お手本アルバムのお手本画像に類似する画像を選択して配置することで、美しいレイアウトのアルバムを効率的に作成することができる。

【0012】

ここで、お手本アルバムに従って、お手本画像に類似する画像をお手本アルバムのテンプレートに配置した場合に、画像に対する加工が施されることがある。このような場合、その画像が、お手本画像との構図のずれ又は解像度の相違等に起因して、お手本と同じ出来栄えを再現できないことがある。以下の実施形態では、お手本アルバムのテンプレートに画像を配置した場合に画像に対する加工が施されても、加工結果が所望の出来栄えとなるように処理を行う例を説明する。

【0013】

＜画像処理装置のハードウェア構成について＞
図１は、本実施形態における画像処理装置のハードウェア構成を示す図である。尚、以下では、画像処理装置が情報処理装置（ＰＣ）である例を説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。

【0014】

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらは、データバス１０９により接続されており、相互にデータを送信または受信することができる。

【0015】

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。

【0016】

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイル、及び、画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムは、アルバム作成アプリと呼ばれることもある。アルバム作成アプリについては、図２等を用いて後述する。

【0017】

ディスプレイ１０５は、本実施形態のユーザインターフェイス（以下ＵＩ）および画像のレイアウト結果を表示して、ユーザに提示するための表示装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの作成条件を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。尚、ディスプレイ１０５は、画像処理装置１００の外部の装置であってもよい。

【0018】

データ通信装置１０８は、プリンタまたはサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトされた結果であるアルバムデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタまたはサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。

【0019】

＜画像処理装置のソフトウェア構成について＞
図２は、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成を示す図である。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、自動レイアウト処理部２０１により提供される自動レイアウト機能を説明する。

【0020】

図２に示すように、このアプリは、アルバム作成条件設定部２０２と、自動レイアウト処理部２０１と、アルバム表示部２１０と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容および属性に基づいて分類または選択した上でレイアウトして、アルバムデータを作成する機能である。作成されたアルバムデータに基づく内容が、ディスプレイ１０５に表示される。

【0021】

アルバム作成条件設定部２０２は、後述するＧＵＩを表示し、ＧＵＩを通じてユーザによって指定されたアルバム作成条件を、自動レイアウト処理部２０１に設定する。本実施形態では、アルバム作成条件として、お手本となるアルバムデータ、新たに作成するアルバムに使用する画像群、およびアルバム商材を設定する。お手本となるアルバムデータの設定は、例えばファイルおよびディレクトリの指定など、アルバムデータが保存されているファイルシステムの構造に基づいてもよいし、アプリにプリセットとして予め登録された選択肢の中から選んでもよい。画像群の設定は、例えば撮影日時など個別の画像データの付随情報、および、属性情報を用いて設定してもよいし、デバイスおよびディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。アルバム商材とは、アルバムに使用する紙の種類および製本時の綴じ部などのことである。

【0022】

ここで、本実施形態で作成するアルバムについて説明する。本実施形態では、アルバムは、表紙および複数の見開きで構成される。「見開き」とは、例えば表示においてはひとつの表示用ウィンドウに相当し、印刷物においては、本を開いた際の互いに隣接する１対のページ（つまり２ページ分）に相当する。なお、見開き内の２ページは、それぞれ異なる用紙に印刷されたものが隣接するよう綴じられることで見開きを形成する場合と、１枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。以下では、このような見開きの概念を用いて説明するが、ページでもよい。本実施形態では、アルバム作成条件設定部２０２により設定されたお手本アルバムデータおよび画像群に基づき、お手本アルバムデータと類似するアルバムデータが作成される。

【0023】

ここでいうアルバムデータとは、アルバムに配置される画像の画像データと、該画像が配置される見開き番号、位置、およびサイズ等の情報とを含むデータである。

【0024】

図３は、本実施形態で用いるアルバムデータの例である。図３（ａ）は、アルバム全体に関する情報を表す商材テーブル（商材情報）の例を示す。商材テーブルには、アルバムのページ数、サイズ、印刷する紙の種類、および製本方法が記録されている。

【0025】

図３（ｂ）は、紙面に配置される画像とその位置とを表すスロットテーブルの例を示す。スロットテーブルでは、各行に、アルバムに配置する画像と、見開き番号、位置、サイズ及び角度が記録されている。以降、図３（ｂ）の表で１行分の情報をスロットと呼び、お手本アルバムデータにおいて同じ見開き番号に属するスロット群をまとめてテンプレートと呼ぶ。なお、アルバムデータに含まれる情報はこれに限らない。画像が重なった際の表示順を表すレイヤー情報、トリミング量、エフェクトの種類、文字情報、および図形情報などをスロットの情報に含めてもよい。エフェクトの種類としては、例えばグラデーション、モノクロ、およびセピアなどがある。また、フレーム装飾の情報をスロットの情報に含めてよい。

【0026】

図４は、図３のアルバムデータをレイアウトした例である。表紙４０１、見開き４０３、見開き４０４、見開き４０５は、それぞれ図３（ｂ）の見開き番号０、１、２、１０をレイアウトした図である。尚、表紙４０１は左側が裏表紙、右側が表紙に相当する。図４の塗りつぶされた領域はスロットを表し、図３（ｂ）のｉｍａｇｅｐａｔｈに記録された画像データが配置される。例えばスロット４０２には、ｉｍａｇｅ１．ｊｐｇが配置される。後述する自動レイアウト処理では、お手本アルバムデータに配置された画像の構図、オブジェクト、または色味等の画像特徴に類似する画像を、お手本アルバムデータと同様の位置に配置したアルバムデータが作成される。

【0027】

図２に戻り、アプリの説明を続ける。お手本アルバムデータ取得部２０３は、ＨＤＤ１０４に保存されているアルバムデータの中から、アルバム作成条件設定部２０２により設定されたお手本アルバムデータを取得する。

【0028】

お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得したアルバムデータに保持される画像群に含まれる各画像を解析する。お手本アルバムデータに保持される画像群に含まれる画像のことを、お手本画像と称する。本実施形態では、お手本画像解析部２０４は、お手本画像の特徴量を導出し、画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、および検出した顔の個人認識を実行する。さらに、お手本画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、お手本画像解析部２０４が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。

【0029】

候補画像取得部２０５は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０２により入力画像として設定された画像群を取得する。ここでいう画像群とは、アルバム作成の際のレイアウト候補となる候補画像の画像群（候補画像群）を指す。ＨＤＤ１０４に保存されている画像としては、静止画像または動画から切り出された切り出し画像が挙げられる。静止画像および切り出し画像は、デジタルカメラまたはスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、候補画像取得部２０５は、データ通信装置１０８を介して画像を取得する。また、静止画像および切り出し画像は、外部のネットワークまたはサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークまたはサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、候補画像取得部２０５が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。

【0030】

候補画像解析部２０６は、候補画像取得部２０５が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、および検出した顔の個人認識を実行する。さらに、候補画像解析部２０６は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。さらに、候補画像取得部２０５は、アルバムに適した画像かを示す画像得点を解析する。画像得点として、例えばコントラストが高い、または、エッジがシャープである、といった審美性が高い画像に高得点が付与される。また、人が瞬きしていない、または、人または建造物などの主題となる被写体が大きく写っている、といったコンテンツがよい画像に高得点が付与される。

【0031】

類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像の解析情報と、候補画像解析部２０６が解析した候補画像の解析情報とを基に、候補画像の中からアルバムに使用する画像（以下、類似画像という）を選択する。類似画像選択部２０７は、お手本画像１枚毎に、候補画像の中から類似画像を選択する。類似画像は、お手本画像との類似度が所定値より高い画像のことである。類似度としては、例えばお手本画像解析部２０４が解析した画像特徴量と、候補画像解析部２０６が解析した画像特徴量との距離が挙げられる。この距離が小さいほど、類似度が高いと言える。尚、類似度の決定には、類似画像の選択時に候補画像解析部２０６が解析した個人認識の結果を用いたり、画像得点の優劣を選択基準に入れたりしてもよい。

【0032】

レイアウト作成部２０８は、お手本アルバムデータ取得部２０３が取得したお手本アルバムデータと、類似画像選択部２０７が選択した類似画像とを用いて、お手本テンプレートに類似画像を割り当てる。お手本テンプレートに類似画像を割り当てたデータをレイアウトと呼ぶ。また、レイアウト作成部２０８は、作成したレイアウトを評価し、評価結果に応じて処理を変更する。その際、レイアウト作成部２０８は、必要に応じて、候補画像取得部２０５から候補画像を取得し、お手本画像解析部２０４および候補画像解析部２０６から、それぞれ解析情報を取得する。また、レイアウト作成部２０８は、必要に応じてお手本アルバムデータ取得部２０３が取得したアルバムデータに含まれる商材情報を取得する。そして、取得した情報を用いて処理を変更する。詳細は後述する。

【0033】

アルバムデータ出力部２０９は、レイアウト作成部２０８が作成した全見開きのレイアウトをまとめてアルバムデータとして出力する。

【0034】

アルバム表示部２１０は、アルバムデータ出力部２０９が出力したアルバムデータに基づいて、アルバムの画像を作成し、ディスプレイ１０５に表示する。アルバムの画像とは、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。

【0035】

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。なお、アプリケーションは、別の形態でも良く、例えば画像処理装置１００で動作するブラウザ内で画面等を表示するＷｅｂアプリでも良い。

【0036】

＜ＧＵＩ画面について＞
図５は、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面を示す図である。図５は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面５０１を示している。ユーザは、ＧＵＩ画面５０１を介して、アルバムの作成条件を設定することができる。

【0037】

ＧＵＩ画面５０１は、お手本となるアルバムデータの設定部（設定アイテム）として、お手本アルバムパスボックス５０２及びお手本アルバムデータ選択ボタン５０３を有する。お手本アルバムパスボックス５０２は、ＨＤＤ１０４中に保存されたお手本アルバムデータの保存場所（パス）を示すためのボックスである。お手本アルバムデータ選択ボタン５０３は、お手本アルバムデータを選択するためのボタンである。ユーザがお手本アルバムデータ選択ボタン５０３をマウス１０７でクリックすると、複数フォルダおよびファイルから構成されるツリーが表示される。そして、お手本とするアルバムデータを保持するファイルをユーザが選択すると、該選択したファイルのファイルパスがお手本アルバムパスボックス５０２に表示される。

【0038】

入力画像パスボックス５０４及び入力画像フォルダ選択ボタン５０５は、アルバムに含ませる写真画像の設定部である。入力画像パスボックス５０４は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示すためのボックスである。入力画像フォルダ選択ボタン５０５は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザが入力画像フォルダ選択ボタン５０５をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスが入力画像パスボックス５０４に表示される。

【0039】

商材設定ボックス５０６及び商材選択ボタン５０７は、作成するアルバムの商材設定部である。商材設定ボックス５０６は、作成するアルバムの商材情報を示すためのボックスであり、お手本アルバムデータ選択ボタン５０３によりお手本アルバムデータが選択された場合、該お手本アルバムデータの商材情報が表示される。また、商材設定ボックス５０６は商材を切り替えるためのボタンである。ユーザが商材設定ボックス５０６をマウス１０７でクリックすると、商材の一覧が表示される。そして、ユーザが商材を選択すると、該選択した商材情報が商材設定ボックス５０６に表示される。

【0040】

ＯＫボタン５０８は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン５０８をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０２を介して、自動レイアウト処理部２０１にアルバム作成条件が伝えられる。具体的に説明すると、お手本アルバムパスボックス５０２に入力されているパスの情報は、お手本アルバムデータ取得部２０３に伝えられる。入力画像パスボックス５０４に入力されているパスの情報は、候補画像取得部２０５に伝えられる。商材設定ボックス５０６に入力されている商材情報は、アルバムデータ出力部２０９に伝えられる。

【0041】

リセットボタン５０９は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。

【0042】

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図６を用いて説明する。図６（ａ）は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図６に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２またはＲＡＭ１０３に読み出して実行することにより実現される。

【0043】

ステップＳ６０１において、アルバム作成条件設定部２０２は、アルバム作成条件を設定する。尚以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。本実施形態では、Ｓ６０１においてアルバム作成条件として、お手本とするアルバムデータ及びアルバムに使用する画像群を設定する。アルバム作成条件として、さらに商材情報を設定してもよい。

【0044】

Ｓ６０２において、お手本アルバムデータ取得部２０３は、Ｓ６０１で設定されたお手本アルバムデータを読み込み、ＲＡＭ１０３に展開する。また、お手本アルバムデータ取得部２０３は、お手本アルバムデータに記録された画像ファイルパスに従ってＨＤＤ１０４から画像データを読み込み、ＲＡＭ１０３に展開する。

【0045】

Ｓ６０３において、お手本画像解析部２０４は、Ｓ６０２でＲＡＭ１０３に展開されたお手本画像を解析する。ここで、本ステップの画像解析を、図６（ｂ）を用いて説明する。

【0046】

Ｓ６０３０１において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。

【0047】

Ｓ６０３０２において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。お手本画像解析部２０４は、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬または猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、または置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを分類するケースを説明したが、ディープニューラルネットワーク等の学習済モデルを用いて画像認識を行ってもよい。

【0048】

Ｓ６０３０３において、お手本画像解析部２０４は、Ｓ６０３０２で検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。

【0049】

Ｓ６０３０４において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対する画像特徴量を導出する。画像特徴量としては、例えば、色情報が挙げられる。色情報を画像特徴量として使用する方法として、ヒストグラムを用いることができる。画像データは、一般的に１画素毎にＲＧＢの３値が記録されている。お手本画像解析部２０４は、画像全体のＲ値、Ｂ値、Ｇ値それぞれに対してヒストグラムを作成する。ヒストグラムは、ある値の範囲毎の出現頻度をカウントすることで作成できる。例えば画素値が０～２５５で記録されており、１６段階（０～１５、１６～３１、・・・、２４０～２５５）でカウントする場合、３値×１６段階＝４８次元の特徴量を得られる。尚、画像特徴量はこれに限らない。例えば、ディープニューラルネットワークによる特徴量を用いてもよい。具体的には、オブジェクト認識を行うネットワークに対して画像を入力すると、認識結果であるオブジェクトの種類及びその確率を表す数値の他に、演算過程の中間値が得られる。この中間値には、オブジェクトを認識するための画像の特徴が圧縮されているため、画像を表す特徴量として用いることができる。また他には、Ｓ６０３０２及びＳ６０３０３で検出したオブジェクトまたは個人認識の結果を特徴量として用いてもよい。例えば、画像に写っている人の数を特徴量としてもよいし、個人認識結果を基に写っている人の画像群全体における出現頻度を特徴量としてもよい。

【0050】

尚、本実施形態ではお手本画像解析部２０４は、画像データを解析するがこれに限らない。例えばお手本画像解析部２０４が解析した結果を解析情報としてＨＤＤ１０４に保存しておく。お手本画像解析部２０４は、ＨＤＤ１０４に画像の解析情報が保存されているかを確認し、保存されている場合は解析情報を読み込んでもよい。

【0051】

なお、Ｓ６０３の解析処理は毎回行う必要はない。つまり、１つのお手本アルバムデータについてＳ６０３の処理を一度行い、その処理結果を保存しておく。そして、次回からは、その処理結果を読み出すことで、Ｓ６０３の解析処理で得られる解析情報を取得することができる。

【0052】

図６（ａ）に戻る。Ｓ６０４において、候補画像取得部２０５は、Ｓ６０１で設定された画像群をＨＤＤ１０４から読み込み、ＲＡＭ１０３に展開する。

【0053】

Ｓ６０５において、候補画像解析部２０６は、Ｓ６０４でＲＡＭ１０３に展開された候補画像を解析する。ここで、本ステップの画像解析について、図６（ｃ）を用いて説明する。尚、Ｓ６０５０１～Ｓ６０５０４についてはＳ６０３０１～Ｓ６０３０４と同様の解析処理のため詳細は省略する。

【0054】

Ｓ６０５０１において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対応する撮影日時の情報を取得する。Ｓ６０５０２において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。Ｓ６０５０３において、候補画像解析部２０６は、Ｓ６０５０２で検出した顔に対して個人認識を行う。Ｓ６０５０４において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対する画像特徴量を導出する。

【0055】

Ｓ６０５０５において、候補画像解析部２０６は、候補画像取得部２０５で取得した画像群に対して、アルバムに適した画像かを示す画像得点を付与する。画像得点は、例えばピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで、輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。

【0056】

本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質を表す得点としてピント量を採用したが、これに限らない。例えば、画質を表す得点として、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。

【0057】

また、画質以外に、画像に写っているコンテンツによって得点を付けてもよい。例えば、Ｓ６０５０２で導出した顔のサイズおよびＳ６０５０３の個人認識結果を用いることができる。まず、個人認識による結果、最も出現回数が多い人物を主被写体と設定する。画像中に主被写体が写っていない場合は０点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ６０５０３でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行ってもよい。

【0058】

図６（ａ）に戻る。Ｓ６０６において、レイアウト作成部２０８は、レイアウト作成を行う処理対象の見開き番号を選択する。本実施形態では、見開き番号「０」から順番に見開き番号を選択する。

【0059】

Ｓ６０７において、類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像の解析情報と候補画像解析部２０６が解析した候補画像の解析情報とを基に、Ｓ６０６で選択した見開き番号に配置される候補画像（即ち、類似画像）を選択する。本実施形態ではまず、類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像の解析情報のうち、Ｓ６０６で選択した見開き番号に配置されているお手本画像に関する画像特徴量を取得する。尚、処理対象の見開き番号に対応するお手本テンプレートに複数のスロットが含まれる場合、お手本画像もスロットに応じた数の画像が含まれており、お手本画像分の画像特徴量をそれぞれ取得することになる。

【0060】

そして、類似画像選択部２０７は、取得した各お手本画像の画像特徴量に対する各候補画像の画像特徴量の類似度を計算する。類似度は、例えば２つの特徴量のユークリッド距離を用いることで計算できる。類似画像選択部２０７は、最も類似度が高い候補画像を類似画像として選択する。さらに、同じ候補画像が重複して選択されないように、一度選択された候補画像は以降の類似度計算からは除外する。尚、本実施形態では画像特徴量を用いて類似画像を選択したがこれに限らない。例えば、候補画像解析部２０６が解析した画像得点を用いてもよい。具体的には、各お手本画像特徴量に対して、類似する候補画像特徴量を上位から５つ選択する。そのうちの最も画像得点が高い画像を類似画像として選択してもよい。さらに他の例では、お手本画像解析部２０４及び候補画像解析部２０６が解析した個人認識結果を用いてもよい。例えばお手本画像に主被写体が写っている場合、主被写体が写っていない候補画像は、画像特徴の類似度が高くても類似画像として選択しないようにする。

【0061】

また、類似画像選択部２０７は、候補画像群の画像をトリミングして得た画像を用いて類似画像を選択してもよい。例えば、お手本画像が二人の人物が並んでいる画像であり、候補画像の中に、同じ構図で二人の人物が並んでいるものの、背景に木が写り込んでいるため、類似画像として選択されない候補画像がある場合を想定する。このような場合、人物を含む領域でトリミングをして得られた画像は、お手本画像と類似することになる。よって、このようにトリミングをして得られた画像を類似画像として扱ってもよい。

【0062】

Ｓ６０８において、レイアウト作成部２０８は、Ｓ６０７で選択した類似画像を、お手本テンプレートに割り当てる。本実施形態におけるレイアウト作成方法について図７を用いて説明する。

【0063】

図７は、Ｓ６０７で選択された、処理対象の見開きのお手本テンプレートと、レイアウト作成部２０８が作成するレイアウトとの例である。レイアウト作成部２０８は、まず、処理対象の見開きのお手本テンプレート７０１を取得する。お手本テンプレート７０１は、お手本アルバムデータ取得部２０３が取得したお手本テンプレートのうち、Ｓ６０６で選択された、処理対象の見開き番号に対応するお手本テンプレートである。お手本テンプレート７０１には、お手本画像とその配置情報とが記録されている。お手本画像７０２及び７０３は、お手本テンプレート７０１のスロットに配置されている画像であり、テンプレート中の配置位置を表している。候補画像群７０４は、候補画像取得部２０５が取得した画像群を表している。類似画像７０５及び７０６は、Ｓ６０７で選択された類似画像を表している。類似画像７０５はお手本画像７０２と類似の画像であり、類似画像７０６はお手本画像７０３と類似の画像である。レイアウト作成部２０８は、類似画像７０５及び７０６を、対応するお手本画像と同じ位置に配置することでレイアウトを作成する。レイアウト７０７は、このようにレイアウト作成部２０８によって作成されたレイアウトである。これにより、お手本テンプレートと類似したレイアウトが作成される。

【0064】

尚、本実施形態では、Ｓ６０８のレイアウト作成処理は、作成したレイアウトを評価し、評価結果に応じてその後の処理を変更する、といった一連の処理を含むものである。Ｓ６０８のレイアウト作成処理のより詳細な処理については後述する。

【0065】

Ｓ６０９において、レイアウト作成部２０８は、お手本アルバムデータ取得部２０３が取得したアルバムデータにおいて、全ての見開きに対してＳ６０６～Ｓ６０７の処理が完了したかを判定する。本ステップの判定結果が真の場合、Ｓ６１０に進む。該判定結果が偽の場合、Ｓ６０６に戻る。

【0066】

Ｓ６１０において、アルバムデータ出力部２０９は、レイアウト作成部２０８が作成した全見開きのレイアウトと、アルバム作成条件設定部２０２で設定された商材情報とをまとめてアルバムデータとして出力する。アルバムデータは例えば図３のような形式をしており、ＨＤＤ１０４に保存される。以上が、本実施形態における自動レイアウト処理についての全体的な処理の内容である。

【0067】

＜レイアウト処理の詳細＞
図８は、レイアウト作成部２０８の詳細を説明するブロック図である。レイアウト作成部２０８は、見開きレイアウト作成部８０２、レイアウト評価部８０４、処理変更部８０５、および見開きレイアウト更新部８１２を含む。処理変更部８０５は、画像シフト設定部８０６、シフト画像配置部８０７、画像倍率設定部８０８、変倍画像配置部８０９、画像再選択部８１０、および再選択画像配置部８１１を含む。

【0068】

本実施形態のレイアウト作成部２０８は、作成したレイアウトが、所望の条件を満たしているかを評価する。例えば、お手本画像に類似する画像をお手本アルバムのテンプレートに配置した場合に、画像に対する加工が施されることがある。このとき、類似画像とお手本画像との構図のずれまたは解像度の相違等に起因して、所望の出来栄えとならない場合がある。本実施形態のレイアウト作成部２０８は、作成したレイアウトが所望の出来栄えとなっているかを評価し、必要に応じて、処理を変更する。以下、レイアウト作成部２０８の詳細を説明する。

【0069】

レイアウト作成部２０８は、前述したように、お手本アルバムデータ取得部２０３からアルバムデータを取得し、類似画像選択部２０７から類似画像を取得する。また、レイアウト作成部２０８は、お手本画像解析部２０４からお手本画像の解析情報を取得し、候補画像解析部２０６から、候補画像の解析情報を取得する。

【0070】

お手本アルバムデータ取得部２０３から取得するアルバムデータは、前述したように、図３に示すようなデータである。図３（ａ）は、前述したように、商材情報に相当する。商材情報は、作成するアルバムのページ数、商材の閉じ部の設定、メディア種類、および商材サイズを含む。本実施形態では、商材の閉じ部の設定として、無線綴じとフラットの２種類が設定可能であるとする。商材サイズとして、Ａ４縦もしくは横、Ａ５縦もしくは横、Ａ６縦もしくは横、またはスクエアが設定可能であるとする。メディアの種類として、光沢、半光沢、およびアート紙が設定可能であるとする。また、お手本アルバムデータ取得部２０３から取得するアルバムデータには、前述したように、お手本アルバムの各見開きのテンプレートが含まれる。本例では、テンプレートには、スロット数、各スロットの位置、回転角度、レイヤー、およびフレーム装飾を示す情報が格納されている。

【0071】

見開きレイアウト作成部８０２は、図２のレイアウト作成部２０８および図６のＳ６０８で説明したように、お手本テンプレートのスロットに、選択された類似画像を配置して、レイアウトを作成する。尚、見開きレイアウト作成部８０２は、お手本テンプレートに基づいて類似画像を加工する処理を行うことがある。例えば、お手本テンプレートのスロットのお手本画像と類似画像とのアスペクト比が異なる場合、または、お手本テンプレートのスロットが特殊な形状の場合などにおいて、見開きレイアウト作成部８０２は、類似画像を配置する際にトリミング加工を施す。また、お手本テンプレートのスロットに、グラデーションなどのマスクが施されている場合には、見開きレイアウト作成部８０２は、お手本テンプレートのマスク結果とが一致するように、配置する類似画像にマスク加工処理を実施する。

【0072】

レイアウト評価部８０４は、見開きレイアウト作成部８０２によって作成された、処理対象の見開きのレイアウトを評価する。レイアウトの評価は、類似画像をお手本テンプレートに配置した場合に、アルバムとしての出来栄えに問題がないかを評価することを含む。例えば、作成されたレイアウトの出来栄えが、お手本テンプレートの出来栄えと異なるかを評価し、異なる場合には、作成されたアルバムの出来栄えに問題があると評価することができる。評価結果は、出来栄えに問題があるかないかを示す評価値として出力されてもよい。評価値は、以下で説明する評価項目ごとに用意されていてよい。レイアウトの出来栄えの評価項目としては、以下のものが挙げられる。

【0073】

評価項目の１つは、画像の解像度である。スロットに配置した類似画像の解像度が、所定値以上であるかを評価する。所定値に満たない場合、出来栄えに問題ありと評価する。所定値は、お手本テンプレートにおける対象スロットの解像度から設定することができる。また、お手本テンプレートの対象スロット以外も含めた全スロットの平均解像度から設定してもよい。あるいは、お手本テンプレートのみならず、他のテンプレート（お手本アルバムの他の見開きのテンプレート）も含めた全スロットの平均解像度から所定値を設定してもよい。

【0074】

評価項目の他の例は、トリミングによる主要被写体の欠損の有無である。即ち、レイアウト評価部８０４は、お手本テンプレートの対象スロットに配置した類似画像の主要被写体の領域がトリミングにより、欠損していないかを評価する。レイアウト評価部８０４は、主要被写体の領域を、候補画像解析部２０６から取得した類似画像の解析情報によって特定することができる。尚、見開きレイアウト作成部８０２が、類似画像を配置してトリミングを実施する際に、主要被写体領域がトリミングにより切れたか否かをフラグとして管理しておいてもよい。そして、レイアウト評価部８０４は、そのフラグを参照することで、主要被写体の欠損の有無を判定してもよい。

【0075】

評価項目の他の例は、スロット重なりに起因する主要被写体の遮蔽（欠損）の有無である。お手本テンプレートの中には、第１スロットが第２スロットの上に重なって配置されるテンプレートがある。つまり、第２スロットのレイヤーの上位に第１スロットのレイヤーが配置されることがある。この場合、第１スロットの画像が当該重なり領域で表示または印刷されることになるので、第２スロットにおける第１スロットの重なり領域は、遮蔽領域（欠損領域）となる。レイアウト評価部８０４は、お手本テンプレートのスロットが重なり合う場合には、主要被写体領域が、スロットのレイヤー順に起因して遮蔽されているかを判定する。尚、前述したように、レイアウト評価部８０４は、主要被写体の領域を、候補画像解析部２０６から取得した類似画像の解析情報によって特定することができる。また、見開きレイアウト作成部８０２が類似画像を配置した際に、主要被写体領域が、他の重なるスロットにより遮蔽されるか否かをフラグとして管理しておいてもよい。そして、レイアウト評価部８０４は、そのフラグを参照することで、主要被写体の遮蔽の有無を判定してもよい。

【0076】

評価項目は、上記の例に限られない。例えば、レイアウト評価部８０４は、主要被写体領域にマスクが重なっているかを評価してもよい。また、レイアウト評価部８０４は、商材に応じた項目を評価項目としてもよい。例えば、無線綴じの場合はアルバムの綴じ部に主要被写体領域が重なる場合は、出来栄えに問題ありと評価し、フラットの場合は、出来栄えに問題なしと評価してもよい。

【0077】

処理変更部８０５は、レイアウト評価部８０４により、レイアウトの出来栄えに問題があると評価された場合、その評価がされた判定要因に基づいて、対象スロットに関して行われる対応する処理（対応処理という）を変更する。本実施形態の対応処理の例として、スロット内における画像の配置位置をシフトする処理、スロット内における画像の倍率を変更する処理、および選択した類似画像を他の類似画像に変更する処理が挙げられる。ここでは説明のために、以下のように、判定要因に対して対応処理が予め設定されているものとする。トリミングにより主要被写体領域に欠損が生じた場合には、対象スロットに配置された画像をシフトさせる処理が行われる。対象スロットに配置した類似画像の解像度が不足した場合は、その類似画像の倍率を変更する処理が行われる。スロットの重なり等により、主要被写体領域が遮蔽される場合には、選択された類似画像を他の類似画像に変更する処理が行われる。以下、処理変更部８０５で行われるそれぞれの処理を説明する。尚、処理変更部８０５は、レイアウト評価部８０４により、レイアウトの出来栄えに問題ありと評価されたスロットを処理対象として処理を行う。

【0078】

画像シフト設定部８０６は、お手本テンプレートと、類似画像の解析情報とに基づいて、対象スロットにおけるその類似画像のシフト量（移動量）およびシフト方向（移動方向）を設定する。まず、画像シフト設定部８０６は、対象スロットに配置される類似画像に含まれる主要被写体領域を、その類似画像の解析情報に基づいて特定する。尚、ここでは説明の簡略化のため、主要画像領域は画像内に１か所だけ含まれているものとする。画像シフト設定部８０６は、類似画像を対象スロットに配置した場合、トリミングによって主要被写体に欠損が生じている領域を特定する。ここでは、説明簡略化のため、特定された領域は矩形領域とする。画像シフト設定部８０６は、シフト方向を、特定された領域と真逆方向に設定する。また、画像シフト設定部８０６は、シフト量を、トリミングによって欠損する領域の矩形での縦及び横の長さに設定する。このようにして画像シフト設定部８０６は、類似画像のシフト量およびシフト方向を設定する。尚、画像シフト設定部８０６は、欠損が回避できるシフト方向を全探索し、その際のシフト量が最小となる方向を最終的なシフト方向に設定してもよい。

【0079】

シフト画像配置部８０７は、画像シフト設定部８０６によって設定されたシフト方向及びシフト量に基づいて、対象スロットに配置される類似画像にシフト処理を実施する。

【0080】

次に、画像倍率設定部８０８の説明をする。画像倍率設定部８０８は、お手本テンプレートと、類似画像の解析情報とに基づいて、対象スロットにおけるその類似画像の拡縮率（変倍率）を設定する。例えば、画像倍率設定部８０８は、処理スロットに類似画像を配置した際に、解像度が所定値未満になった場合に、類似画像を配置する際の変倍率を変更する。例えば第一拡大率で類似画像を処理スロットに配置すると、解像度が所定値未満になる場合を想定する。この場合、画像倍率設定部８０８は、解像度が所定値以上となるように、その類似画像を、第一拡大率よりも小さい第二拡大率で配置するように、拡縮率を設定する。

【0081】

このように、画像倍率設定部８０８は、まず、対象スロットに類似画像を配置した際の類似画像の解像度を取得する。また、画像倍率設定部８０８は、対象スロットで許容される解像度（所定の解像度）を取得する。そして、画像倍率設定部８０８は、配置する類似画像の解像度が、所定の解像度以上となるように、配置する類似画像の拡縮率を変更する。

【0082】

尚、類似画像が、上述したように、候補画像をトリミングして得られた画像である場合もある。トリミングの結果、解像度が低下する場合があり、画像倍率設定部８０８は、このような場合にも、同様の処理を行う。以下、具体例を説明する。

【0083】

図９は、類似画像が候補画像をトリミングして得られた場合の例を説明する図である。お手本テンプレート９０３のスロット９０４に配置されているお手本画像に類似する類似画像が候補画像群で見つからない場合に、候補画像群の画像をトリミングした画像を、候補画像として用いる。尚、トリミングされた画像には、トリミングされた画像であることを示す情報が付加されてよい。

【0084】

本例では、候補画像９０１をトリミングして得られた画像９０２が、スロット９０４に配置されているお手本画像と類似するものとする。この場合、画像９０２がスロット９０４に配置されることになる。このとき、画像倍率設定部８０８は、スロット９０４に配置された画像９０２の解像度が所定値未満であると判定したと想定する。すると、処理変更部８０５は、トリミング前の候補画像９０１に対応する画像９０５を、スロット９０４に配置する。つまり、トリミングの結果、解像度が所定値未満になった場合には、類似度よりも解像度を優先し、トリミング前の候補画像を用いて画像を配置する。尚、ここでは、お手本テンプレート９０３のスロット９０４に配置されているお手本画像に類似する類似画像が候補画像群で見つからない場合に、候補画像群の画像をトリミングする例を説明したが、これに限られない。候補画像群には、候補画像をトリミングして得られた画像を最初から含ませていてもよい。

【0085】

尚、画像倍率設定部８０８が拡縮率を設定する際に用いる所望の解像度（所定値）は、処理対象のお手本テンプレートの見開き内で配置されている各画像の解像度から最小値を設定することができる。他にも、解像度の限界値（上限値）を設定しておき、それを超える場合は、シフト処理または使用する画像を変更してもよい。解像度の限界値は、印刷するプリンタに応じて変更してもよい。また、作成するアルバムのメディア種類によって変更してもよい。例えば、光沢紙では解像度の限界値を上げて、所定値以下にならない制限を加え、半光沢紙では光沢紙よりも解像度の限界値を下げてもよい。具体例を説明する。対象スロットの所望の解像度（所定値）が１４４ｄｐｉであり、プリンタに応じた解像度の限界値が７２ｄｐｉである場合を想定する。このとき、作成するアルバムのメディア種類が光沢紙の場合、解像度の限界値を７２ｄｐｉから３５０ｄｐｉに上げる。これにより、解像度が所定値（１４４ｄｐｉ）以下にならない制限を加えている。即ち、拡縮後の画像が、対象スロットの所望の解像度（１４４ｄｐｉ）を満たす解像度であっても、例えば光沢紙の場合には高精細な画像解像度が要求される。このため、プリンタに応じた限界値（７２ｄｐｉ）を超えていて、かつ所望の解像度（所定値）の１４４ｄｐｉを超えていても、３５０ｄｐｉの画像でなければ配置できないように、限界値を設けるように構成してもよい。

【0086】

また、Ａ４サイズの商材では解像度の限界値を上げて、限界値以下にならないように制限を加え、Ａ６サイズの商材では解像度の限界値をＡ４サイズよりも下げてもよい。Ａ４の方が高精細な解像度が要求されるからである。また、お手本のレイアウトから所定解像度の上下限値、最小画像幅、または最小画像高さなどを設定してもよい。

【0087】

画像倍率設定部８０８は、この他にも、類似画像を縮小する際には、主要被写体領域に基づいて処理を中止してもよい。例えば、主要被写体領域の解像度が所定の解像度に達しないような場合には、所定の解像度までの縮小処理にするように、拡縮率を設定してもよい。

【0088】

変倍画像配置部８０９は、画像倍率設定部８０８により設定された変倍率に基づいて、対象スロットの画像の変倍処理を実施する。尚、変倍画像配置部８０９は、画像倍率設定部８０８により設定された変倍率に従った処理を行うので、変倍後の画像は、対象スロットのサイズと異なるサイズで配置されてもよい。仮に、変倍後の画像を配置した場合に、対象スロットのサイズよりも変倍後の画像のサイズが小さいサイズになる場合、画像と対象スロットとの間は、アルバムの背景色で埋まることになる。

【0089】

次に、画像再選択部８１０の説明をする。画像再選択部８１０は、対象スロットに用いる類似画像として指定されている画像とは異なる画像を、候補画像の中から探索する。画像の探索は、類似画像選択部２０７における選択処理と同様に、解析情報に基づいて行われる。対象スロットに用いる類似画像として選択されている当初の類似画像を第一類似画像とする。画像再選択部８１０は、この第一類似画像との類似度が高い画像を、候補画像の中から探索する。探索には、例えば解析情報に含まれる、各画像の特徴量間の類似度、および、主要被写体領域を用いることができる。例えば、画像再選択部８１０は、まず、主要被写体領域が、対象スロットに配置したときのスロット重なり領域外となる画像群を、候補画像の中から抽出する。そして、抽出した画像群の中から、第一類似画像との類似度が最大となる画像を第二類似画像として選択する。

【0090】

尚、候補画像を全て探索せず、範囲を限定して候補画像を探索することができる。例えば、候補画像の撮影日時の情報を用いて範囲を限定してもよい。具体的には、画像再選択部８１０は、第一類似画像と撮影期間が同じ画像群を、候補画像の画像群から探索する。撮影期間が同じ画像群とは、例えば第一類似画像と同じタイミングで連写撮影された画像群とすることができる。この期間では、条件を満たす画像がない場合には、探索する撮影期間を類似画像と同一シーン内に広げることができる。ここでいう「シーン」とは、解析情報に応じてグルーピングした画像のまとまり（サブ画像群）を意味する。例えば、撮影時間の異なる２枚の画像に関し、撮影時間の差が所定の閾値以下の画像を同じシーンと判定したり、写っている人物または背景が同じ画像を同じシーンと判定したりする。シーン判定の結果は、候補画像解析部２０６における解析情報に含まれていてもよく、その結果を画像再選択部８１０が利用してもよいし、画像再選択部８１０が、シーン判定を行ってもよい。同一シーン内で条件を満たす画像がない場合、探索する撮影期間を第一類似画像と同一見開き内で使用されている他の類似画像に応じて設定される期間に広げることができる。このように、探索する範囲を撮影時の特性に応じて変更することで、画像探索に要する時間を短縮することができる。

【0091】

このようにして、条件を満たす第二類似画像が見つかった場合、画像再選択部８１０は、対象スロット以外のスロットに使用されている他の類似画像との類似度を比較する。尚、処理対象となっているテンプレートの他のスロットに使用されている類似画像との類似度の比較だけではなく、全見開きの各スロットに使用されている類似画像との類似度を比較することができる。第二類似画像が、他のスロットに使用されている類似画像と類似していない場合、画像再選択部８１０は、その第二類似画像を、再選択する画像として決定する。類似している場合、画像再選択部８１０は、その第二類似画像の選択を解除し、再度、別の画像を探索する。このような選択を行うことで、条件を満たす画像に変更した結果、他のスロットと似通った画像が採用され、レイアウトの出来栄えが下がることを回避することができる。

【0092】

尚、第二類似画像と他の類似画像との類似度に、下限値を設定してもよい。そして、類似度が下限値を下回った場合は画像変更処理を終了してもよい。その場合、上述した画像のシフト処理または変倍処理に切り替えてもよい。例えば、前述したように、所定の範囲で第一類似画像のトリミングを行い、そのトリミング後の画像に対して、画像のシフト処理または変倍処理を行ってよい。このように処理することで、お手本画像に類似する画像が見つからない場合、第一類似画像を引き続き使用することで、レイアウトがお手本と異なる態様となって出来栄えが下がることを抑制することができる。尚、この下限値は、対象スロット以外のスロットで使用されている類似画像とそのお手本画像と類似度の平均、最大値、または最小値に基づいて設定してもよい。また、処理対象となっているテンプレートの他のスロットに使用されている類似画像とそのお手本画像との類似度に基づいて設定してもよい。また、下限値は、探索区間に応じて変更してもよい。例えば、第一類似画像と同じタイミングで連写撮影された画像群の場合、下限値を第一値より低く設定する。そして、第一類似画像と同一見開き内で使用されている他の類似画像に応じて設定される期間に探索区間を広げる場合、下限値を第一値よりも高く設定する。このように下限値を変更してもよい。

【0093】

再選択画像配置部８１１は、画像再選択部に８１１より選択された第二類似画像を、対象スロットに配置された第一類似画像と入れ替える。

【0094】

見開きレイアウト更新部８１２は、シフト画像配置部８０７、変倍画像配置部８０９、または再選択画像配置部８１１で実施された対応処理の変更結果を、見開きレイアウト作成部８０２で作成されたレイアウトに反映して、レイアウト結果を更新する。以上が、レイアウト作成部２０８の詳細な構成の説明である。

【0095】

図１０は、図６のＳ６０８に示すレイアウト作成処理の詳細を示すフローチャートである。尚、図６で示したように、図９の処理は、処理対象の見開きごとに行われる処理である。Ｓ１００１において見開きレイアウト作成部８０２は、処理対象の見開きのアルバムテンプレートを取得する。Ｓ１００２において見開きレイアウト作成部８０２は、アルバムテンプレートのお手本画像、類似画像、および候補画像を取得する。Ｓ１００３において見開きレイアウト作成部８０２は、お手本画像の解析情報、類似画像の解析情報、および候補画像の解析情報をそれぞれ取得する。尚、候補画像および候補画像の解析結果は、後述するレイアウト評価の結果、出来栄えに影響が生じる場合のみに、取得するように処理をしてもよい。Ｓ１００４において見開きレイアウト作成部８０２は、処理対象の見開きのレイアウトを、Ｓ６０８の処理において説明したように作成する。

【0096】

Ｓ１００５において、レイアウト評価部８０４は、Ｓ１００４で作成されたレイアウトを評価する。即ち、レイアウト評価部８０４は、Ｓ１００４で作成されたレイアウトが、所望の出来栄えとなっているかを評価する。尚、処理対象の見開きに複数のスロットが含まれている場合には、それぞれのスロットを対象スロットとして処理が行われる。

【0097】

Ｓ１００６においてレイアウト評価部８０４は、トリミングにより主要被写体領域に欠損が生じるか否かを判定する。主要被写体領域に欠損が生じる場合、出来栄えに問題が生じ得るため、Ｓ１００７に進む。主要被写体領域に欠損が生じていない場合、Ｓ１００９に進む。

【0098】

Ｓ１００７において画像シフト設定部８０６は、類似画像のシフト方向及びシフト量を設定する。その後、Ｓ１００８においてシフト画像配置部８０７は、Ｓ１００７で設定されたシフト方向及びシフト量に基づいて、対象スロットの画像配置をシフトさせる。その後、Ｓ１００５に戻る。

【0099】

Ｓ１００９においてレイアウト評価部８０４は、対象スロットに配置した画像の解像度が所定値以上か否かにより処理を切り替える。所定値未満の場合は、解像度が不足しており、出来栄えに問題が生じ得るため、Ｓ１０１０に進む。所定値以上の場合は、解像度が不足していないので、Ｓ１０１２に進む。

【0100】

Ｓ１０１０において画像倍率設定部８０８は、対象スロットに配置されている類似画像の変倍率を設定する。画像倍率設定部８０８は、前述したように、お手本テンプレートと同じスロットに類似画像を配置した場合、所定解像度を満たすように、類似画像の変倍率を変更する。その後、Ｓ１０１１において変倍画像配置部８０９は、Ｓ１０１０で設定された変倍率に基づいて、対象スロットに配置する類似画像の変倍処理をする。その後、Ｓ１００５に戻る。

【0101】

Ｓ１０１２においてレイアウト評価部８０４は、レイアウト配置時にスロット間での重なりがある場合に、重なりによりレイヤーが下になる画像に含まれる主要被写体領域が、遮蔽されるか否かにより処理を切り替える。主要被写体領域が遮蔽される場合、出来栄えに問題が生じ得るので、Ｓ１０１３に進む。主要被写体領域が遮蔽されない場合、出来栄えに問題が生じないので、Ｓ１０１５に進む。尚、Ｓ１０１２では、スロット間での重なりだけでなく、商材情報に基づいて綴じ部と主要被写体とが重なるかを判定する処理も行ってもよい。

【0102】

Ｓ１０１３において画像再選択部８１０は、対象スロットに使用されている類似画像の代わりとなる画像を、他の候補画像の中から選択し直す。Ｓ１０１４において再選択画像配置部８１１は、Ｓ１０１４で再選択された画像を新たな類似画像として用いて、対象スロットに配置する。その後、Ｓ１００５に進む。

【0103】

このように、各種の変更処理が行われた後に、再度Ｓ１００５に進み、変更後のレイアウトで出来栄えに問題が生じ得ないかを再度評価する。尚、前述したように、処理変更時に下限値などの各種の制限を設け、その制限内の収まらないような場合には、別の変更処理を行うことができる。

【0104】

Ｓ１０１５において見開きレイアウト更新部８１２は、各配置処理で実施した処理に基づいて、処理対象の見開きレイアウト結果を更新する。尚、レイアウト評価結果が、処理変更を必要としない場合には、Ｓ１０１５の更新処理はスキップしてもよい。

【0105】

以上説明したように、本実施形態によれば、お手本アルバムに従って、お手本画像に類似する画像をお手本アルバムのテンプレートに配置した場合に、画像に対する加工が施されることがあっても、所望の出来栄えのレイアウトを作成することができる。

【0106】

［第２実施形態］
第１実施形態では、スロットに類似画像を配置した場合に、画像の変倍率を変更したり、画像をシフトさせたり、配置する画像自体を変更したりすることで、レイアウト時の処理変更を行う例を説明した。本実施形態では、お手本テンプレートのスロットに装飾加工が施されている場合において、所望の出来栄えのレイアウトが作成されない場合に、装飾加工を変更する処理を行う例を説明する。

【0107】

図１１は、本実施形態におけるレイアウト作成部２０８の詳細を示すブロック図である。本実施形態のレイアウト作成部２０８は、見開きレイアウト作成部８０２、レイアウト評価部１１０１、処理変更部１１２０、および見開きレイアウト更新部１１０６を有する。処理変更部１１２０は、加工設定情報取得部１１０２、変更範囲設定部１１０３、見開きレイアウト再作成部１１０４、およびお手本レイアウト類似度算出部１１０５を有する。尚、見開きレイアウト作成部８０２は、第１実施形態と同様の処理であるので、説明を省略する。

【0108】

レイアウト評価部１１０１は、主要被写体領域が、対象スロットのフレーム装飾により遮蔽されるかを評価する。フレーム装飾は、スロット枠を装飾するものである。装飾は、あらかじめ用意された複数のバリエーションの中から選択して設定されている。装飾のバリエーションには、スロットの枠線の線種、太さ、及び色、スロットの影、並びに、額縁のような枠または楕円などが含まれる。お手本テンプレートには、このような各スロットの装飾パターンが含まれ得る。尚、主要被写体領域の遮蔽以外にも、他の項目を評価してもよい。

【0109】

加工設定情報取得部１１０２は、お手本テンプレートにおいて対象スロットにおいて実施されているフレーム装飾の情報を取得する。ここでは説明の簡略化のために、対象スロットのフレーム装飾として、枠パターンが使用されているものとする。

【0110】

変更範囲設定部１１０３は、加工設定情報取得部１１０２により取得されたフレーム装飾の設定内容に基づいて、後述する見開きレイアウト再作成部１１０４で作成するレイアウトの変更範囲を設定する。本実施形態では、装飾パターンを変更したレイアウトを実際に再作成する処理を行い、その再作成の結果とお手本テンプレートとの類似度を用いて、実際に変更を適用する装飾パターンが決定される。変更範囲設定部１１０３で設定される変更範囲は、変更される装飾パターンの種類（数）を設定するものである。尚、本実施形態では、説明のために、以下の５パターンを変更範囲と設定する。即ち、対象スロットで使用されているフレーム装飾の枠線の線幅を変更した２パターンと、指定スロットで使用されておらず、かつ同一見開き内のスロットで使用されている装飾パターンであって、３つのサイズ違いのパターンとの計５パターンである。

【0111】

図１２は、装飾パターンの例を示す図である。お手本テンプレート１２１０には、スロット１２２０、１２３０、１２４０が含まれる。スロット１２２０が対象スロットであるとする。スロット１２３０には、スロット１２２０とは異なるフレーム装飾が施されている。スロット１２４０には、フレーム装飾が施されていない。パターン１２２１は、スロット１２２０で使用されているパターンである。パターン１２２２およびパターン１２２３は、パターン１２２１と線幅が異なるパターンである。パターン１２３１～１２３３は、同一見開き内のスロット１２３０で使用されている装飾パターンであって、線幅のサイズ違いの３つのパターンとなっている。変更範囲設定部１１０３は、このように５つのパターンを変更範囲の装飾パターンの種類として設定する。

【0112】

尚、ここでは、お手本テンプレートにおいて対象スロットと同一の見開き内のスロットで使用されているフレーム装飾を変更範囲に設定したが、他の方法で設定してもよい。例えば、お手本テンプレートの異なる見開き内のスロットで使用されているフレーム装飾の種類分を変更範囲に設定してもよい。また、作成したアルバムの履歴から使用頻度が高いフレーム装飾の種類を変更範囲に設定してもよい。また、対象スロットに適用されているフレーム装飾のパターンから、予め変更するフレーム装飾の変更範囲を設定しておき、その予め設定されている変更範囲を用いてもよい。あるいは、対象スロットで使用されているフレーム装飾と、アプリで保有するフレーム装飾の特徴量とを抽出し、その類似度を算出して、所定の閾値以上の類似度があるフレーム装飾を、変更範囲に設定してもよい。

【0113】

見開きレイアウト再作成部１１０４は、設定された変更範囲のフレーム装飾を用いてレイアウトを作成する。即ち、見開きレイアウト再作成部１１０４は、変更範囲設定部１１０３により設定されたフレーム装飾の数分のレイアウトを作成する。尚、見開きレイアウト再作成部１１０４は、レイアウトを作成する際に、フレーム装飾によって主要被写体領域が遮蔽されるか否かを判定し、フレーム装飾によって主要被写体領域が遮蔽されるレイアウトを除外する。ここでは説明のために、フレーム装飾が主要被写体領域を遮蔽する例で説明したが、その他の項目で評価してもよい。例えば、フレーム装飾が、製本の綴じ部に重ならないなどの観点で評価が行われてもよい。

【0114】

尚、対象スロットのフレーム装飾を変更する際に、対象スロットのフレームで使用されていたフレーム装飾と同じ装飾が実施されているフレームが、同一見開き内またはアルバム内で使用されている場合は、指定フレーム以外も同じように変更する。あるいは、フレーム装飾の変更は、同一シーン内の候補画像が配置されるスロットのみに対して行われてもよい。その結果、各見開き内におけるレイアウトの統一感を保つことができる。

【0115】

お手本レイアウト類似度算出部１１０５は、見開きレイアウト再作成部１１０４により作成されたレイアウトと、処理対象の見開きのお手本テンプレートとの類似度を算出する。類似度の判定には、レイアウト結果のプレビュー画像を用いることができる。例えば、お手本レイアウト類似度算出部１１０５は、見開きレイアウト再作成部１１０４により作成されたレイアウト結果からプレビュー画像を作成する。同様に、お手本レイアウト類似度算出部１１０５は、お手本テンプレートから、お手本テンプレートのプレビュー画像を作成する。そして、お手本レイアウト類似度算出部１１０５は、作成したプレビュー画像間で類似度を算出する。類似度の算出には、作成したプレビュー画像の特徴量をベクトルとして抽出し、その特徴量ベクトル間の内積を利用することができる。そして、算出された類似度が高い方が類似していると判定すればよい。お手本レイアウト類似度算出部１１０５は、このような類似度の算出を、見開きレイアウト再作成部１１０４で作成されたレイアウト結果全てに対して行う。

【0116】

尚、お手本レイアウト類似度算出部１１０５は、見開きレイアウト再作成部１１０４により作成されたレイアウト結果のプレビュー画像と、お手本テンプレートのプレビュー画像との類似度の判定を行う例を説明したが、これに限られない。例えば、指定スロットのフレーム装飾を変更する前後のレイアウト結果からプレビュー画像を作成して類似度を算出してもよい。

【0117】

見開きレイアウト更新部１１０６は、お手本レイアウト類似度算出部１１０５により算出された類似度が最も高いレイアウト結果を、最終的なレイアウトに決定する。見開きレイアウト更新部１１０６は、決定したレイアウト結果で、見開きレイアウト作成部８０２により作成された、処理対象の見開きのレイアウトを更新する。

【0118】

図１３は、図６のＳ６０８に示すレイアウト作成処理の詳細を示すフローチャートである。尚、図６で示したように、図１３の処理は、処理対象の見開きごとに行われる処理である。Ｓ１００１からＳ１００５は、第１実施形態で説明した処理と同様であるので、説明を省略する。

【0119】

Ｓ１３０１においてレイアウト評価部１１０１は、レイアウト評価を実施した結果、出来栄え問題があるか否かに応じて処理を変更する。出来栄えに問題がない場合は処理を終了する。出来栄えに問題がある場合、Ｓ１３０２に進む。

【0120】

Ｓ１３０２において加工設定情報取得部１１０２は、出来栄えに問題がある対象スロットの加工情報を取得する。Ｓ１３０３において変更範囲設定部１１０３は、再作成するレイアウトの変更範囲を設定する。レイアウトの変更範囲は、フレーム装飾を変えたレイアウトの種類の数を示しており、変更するレイアウトの種類の数は、フレーム装飾の数に基づいて設定される。

【0121】

Ｓ１３０４において見開きレイアウト再作成部１１０４は、変更範囲設定部１１０３で設定された任意のフレーム装飾種類を設定する。

【0122】

Ｓ１３０５において見開きレイアウト再作成部１１０４は、加工設定変更で設定されたフレーム装飾に基づいてレイアウトを再作成する。Ｓ１３０６においてお手本レイアウト類似度算出部１１０５は、処理対象の見開きのお手本テンプレートと再作成されたレイアウトとの類似度を算出する。

【0123】

Ｓ１３０７においてレイアウト再作成部１１０４は、変更範囲設定部１１０３により設定された変更範囲分のレイアウト再作成が終了したか否かにより処理を切り替える。全パターンが終了した場合はＳ１３０９に進む。全パターンが終了していない場合はＳ１３０８に進む。

【0124】

Ｓ１３０８においてレイアウト再作成部１１０４は、変更範囲設定部１１０３により設定された種類のうち、レイアウト再作成が未実施の種類でフレーム装飾を施すように加工設定を更新する。そして、Ｓ１３０５に進み、更新された加工設定に基づいて、再度見開きレイアウトを作成する。

【0125】

Ｓ１３０９において見開きレイアウト更新部１１０６は、見開きレイアウト作成部８０２により作成されたレイアウトを、再作成したレイアウトで更新する。更新するレイアウトには、見開きレイアウト再作成部１１０４により作成されたレイアウト結果からお手本テンプレートとの類似度が最も高いレイアウト結果が採用される。

【0126】

［その他の実施形態］
実施形態２では、お手本テンプレートに従って加工を実施した場合のレイアウトを評価し、評価結果に基づいて対応する処理を変更する処理変更を実施する例を説明したが、これに限られない。例えば、お手本テンプレートに従って実施される加工を行わないように処理を変更してもよい。

【0127】

また、上述した各実施形態では、テンプレートを使用してレイアウトを作成する例を説明したが、テンプレートを使用しないでレイアウトを作成してもよい。その場合、お手本アルバムから、画像を配置する位置、レイヤー加工、画像角度、およびフレーム装飾などの情報を取得すればよい。

【0128】

また、第１実施形態と第２実施形態とを組み合わせてもよい。即ち、第２実施形態で説明したフレーム装飾に関する評価項目を、第１実施形態における評価項目の判定結果に追加してもよい。

【0129】

また、本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0130】

２０１ 自動レイアウト処理部
２０８ レイアウト作成部
８０４ レイアウト評価部
８０５ 処理変更部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】