特許 7446877 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20240304BHJP

   H04N 1/387 20060101ALI20240304BHJP

【ＦＩ】

G06T11/60 100C

H04N1/387 110

【請求項の数】 14

(21)【出願番号】P 2020045638

(22)【出願日】2020-03-16

(65)【公開番号】P2021149196

(43)【公開日】2021-09-27

【審査請求日】2023-03-03

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】山田 貴之

(72)【発明者】

【氏名】武市 惇平

(72)【発明者】

【氏名】國枝 寛康

【審査官】中田 剛史

(56)【参考文献】

【文献】国際公開第２０１９／２３０２７５（ＷＯ，Ａ１）

【文献】特開２０１８－０５５５３３（ＪＰ，Ａ）

【文献】特開２０１７－０５８９９６（ＪＰ，Ａ）

【文献】特開２０１７－１１７４０６（ＪＰ，Ａ）

【文献】特開２０１７－０３７４１５（ＪＰ，Ａ）

【文献】特開２０１９－０３６０３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
お手本アルバムを構成する複数のお手本テンプレートと、アルバム作成に用いる候補画像群と、前記お手本テンプレートの代替のテンプレートとして使用され得る候補テンプレートと、を取得する取得手段と、
前記候補画像群の各候補画像の中から、他の候補画像に比べて各お手本テンプレートに含まれる各お手本画像に類似する画像である類似画像をそれぞれ選択する選択手段と、
処理対象のお手本テンプレートのお手本画像と、当該お手本画像に類似する画像として前記選択手段で選択された前記類似画像と、の類似度が所定の閾値よりも小さい場合、前記処理対象のお手本テンプレートおよび前記候補テンプレートの中から、前記処理対象での処理に使用するテンプレートを決定する決定手段と、
前記決定したテンプレートに配置されている画像に類似する画像を、前記決定したテンプレートに配置することでレイアウトを作成する作成手段と、
として機能させるためのプログラム。

【請求項2】

前記選択手段は、前記候補画像群の各候補画像の中から、他の候補画像に比べて前記候補テンプレートに含まれる各既定画像に類似する画像である第二類似画像をさらにそれぞれ選択し、
前記決定手段は、前記処理対象のお手本テンプレートの各お手本画像に類似する画像として前記選択手段でそれぞれ選択された各第一類似画像と当該お手本画像との類似度、および、前記第二類似画像と当該お手本画像との類似度に基づいて、前記処理対象での処理に使用するテンプレートを決定することを特徴とする請求項１に記載のプログラム。

【請求項3】

前記処理対象のお手本テンプレートは、複数のお手本画像を配置するテンプレートであり、
前記決定手段は、
各第一類似画像と前記複数のお手本画像とのそれぞれの類似度のうち、最も高い類似度を第一類似画像のそれぞれに割り当て、
各第二類似画像と前記複数のお手本画像とのそれぞれの類似度のうち、最も高い類似度を第二類似画像のそれぞれに割り当て、
前記割り当てた類似度の最低値が最も大きい類似画像に対応しているテンプレートを、前記処理対象での処理に使用するテンプレートとして決定することを特徴とする請求項２に記載のプログラム。

【請求項4】

前記決定手段は、前記処理対象のお手本テンプレートの各お手本画像に類似する画像として前記選択手段で選択された各第一類似画像と、前記候補テンプレートに含まれる各既定画像との類似度に基づいて、使用する候補テンプレートを選択し、
前記選択した候補テンプレートで得られる類似度と、前記処理対象のお手本テンプレートで得られる類似度とに基づいて、前記処理対象での処理に使用するテンプレートを決定することを特徴とする請求項１に記載のプログラム。

【請求項5】

前記決定手段は、得られる前記類似度が最も高いテンプレートを前記処理対象での処理に使用するテンプレートとして決定することを特徴とする請求項４に記載のプログラム。

【請求項6】

前記選択した候補テンプレートで得られる類似度は、当該候補テンプレート内の各既定画像と前記選択手段で選択された各第一類似画像とのそれぞれの類似度の平均であり、
前記お手本テンプレートで得られる類似度は、当該お手本テンプレート内の各お手本画像と前記選択手段で選択された各第一類似画像とのそれぞれの類似度の平均である、ことを特徴とする請求項５に記載のプログラム。

【請求項7】

前記所定の閾値は、前記選択手段で選択された各類似画像と、対応する各お手本画像との類似度に基づいて決定されることを特徴とする請求項１乃至６のいずれか一項に記載のプログラム。

【請求項8】

前記所定の閾値は、予め設定されている値であることを特徴とする請求項１乃至６のいずれか一項に記載のプログラム。

【請求項9】

前記候補テンプレートは、前記お手本テンプレートと異なるテンプレートであることを特徴とする請求項１乃至８のいずれか一項に記載のプログラム。

【請求項10】

前記候補テンプレートは、前記お手本アルバムのお手本テンプレートのうち、処理対象のお手本テンプレートより後に処理されるお手本テンプレートを除いたお手本テンプレートを含むことを特徴とする請求項１乃至９のいずれか一項に記載のプログラム。

【請求項11】

前記候補テンプレートは、前記お手本アルバムのお手本テンプレートを修正したテンプレートを含むことを特徴とする請求項１乃至１０のいずれか一項に記載のプログラム。

【請求項12】

前記コンピュータを、
前記お手本テンプレートの画像数と同じ画像数のテンプレートを決定する第１モードと、前記お手本テンプレートの画像数と異なる画像数のテンプレートを決定することを許容する第２モードとを設定する設定手段としてさらに機能させることを特徴とする請求項１乃至１１のいずれか一項に記載のプログラム。

【請求項13】

お手本アルバムを構成する複数のお手本テンプレートと、アルバム作成に用いる候補画像群と、前記お手本テンプレートの代替のテンプレートとして使用され得る候補テンプレートと、を取得する取得手段と、
前記候補画像群の各候補画像の中から、他の候補画像に比べて各お手本テンプレートに含まれる各お手本画像に類似する画像である類似画像をそれぞれ選択する選択手段と、
処理対象のお手本テンプレートのお手本画像と、当該お手本画像に類似する画像として前記選択手段で選択された前記類似画像と、の類似度が所定の閾値よりも小さい場合、前記処理対象のお手本テンプレートおよび前記候補テンプレートの中から、前記処理対象での処理に使用するテンプレートを決定する決定手段と、
前記決定したテンプレートに配置されている画像に類似する画像を、前記決定したテンプレートに配置することでレイアウトを作成する作成手段と、
を有することを特徴とする画像処理装置。

【請求項14】

お手本アルバムを構成する複数のお手本テンプレートと、アルバム作成に用いる候補画像群と、前記お手本テンプレートの代替のテンプレートとして使用され得る候補テンプレートと、を取得する取得工程と、
前記候補画像群の各候補画像の中から、他の候補画像に比べて各お手本テンプレートに含まれる各お手本画像に類似する画像である類似画像をそれぞれ選択する選択工程と、
処理対象のお手本テンプレートのお手本画像と、当該お手本画像に類似する画像として前記選択工程で選択された前記類似画像と、の類似度が所定の閾値よりも小さい場合、前記処理対象のお手本テンプレートおよび前記候補テンプレートの中から、前記処理対象での処理に使用するテンプレートを決定する決定工程と、
前記決定したテンプレートに配置されている画像に類似する画像を、前記決定したテンプレートに配置することでレイアウトを作成する作成工程と、
を有することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１では、入力した画像群の情報を用いてアルバムを生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２１５５９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、ユーザが所望とする印刷物を容易に生成する技術が求められていた。

【課題を解決するための手段】

【0005】

本発明の一態様に係るプログラムは、コンピュータを、お手本アルバムを構成する複数のお手本テンプレートと、アルバム作成に用いる候補画像群と、前記お手本テンプレートの代替のテンプレートとして使用され得る候補テンプレートと、を取得する取得手段と、前記候補画像群の各候補画像の中から、他の候補画像に比べて各お手本テンプレートに含まれる各お手本画像に類似する画像である類似画像をそれぞれ選択する選択手段と、処理対象のお手本テンプレートのお手本画像と、当該お手本画像に類似する画像として前記選択手段で選択された前記類似画像と、の類似度が所定の閾値よりも小さい場合、前記処理対象のお手本テンプレートおよび前記候補テンプレートの中から、前記処理対象での処理に使用するテンプレートを決定する決定手段と、前記決定したテンプレートに配置されている画像に類似する画像を、前記決定したテンプレートに配置することでレイアウトを作成する作成手段と、として機能させるためのプログラムである。

【発明の効果】

【0006】

本発明によれば、ユーザが所望とする印刷物を容易に生成することが可能となる。

【図面の簡単な説明】

【0007】

【図1】画像処理装置のハードウェア構成を示すブロック図である。

【図2】画像処理装置のソフトウェア構成を示すブロック図である。

【図3】アルバムデータの構造を示す図である。

【図4】アルバムレイアウトを示す図である。

【図5】アルバム作成アプリケーションのＧＵＩを示す図である。

【図6】自動レイアウト処理のフローチャートである。

【図7】テンプレート選択処理の方法を説明する図である。

【図8】レイアウト作成方法を説明する図である。

【図9】画像処理装置のソフトウェア構成を示すブロック図である。

【図10】自動レイアウト処理のフローチャートである。

【図11】テンプレート選択処理の方法を説明する図である。

【発明を実施するための形態】

【0008】

以下、添付画像を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されていると特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0009】

［第１実施形態］
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを生成する。そして、このアルバムデータを印刷することで印刷物として複数のアルバムを作成する。本実施形態では、お手本となるアルバムデータ（お手本アルバムデータと呼ぶ）に基づいて、お手本アルバムデータのレイアウトに使用された画像群とは異なる画像群を用いて、お手本アルバムデータと類似する類似アルバムデータを作成する。より詳しく説明すると、お手本アルバムデータと同じページ数を持ち、お手本アルバムデータの各ページに配置された各お手本画像に類似する類似画像を、該お手本画像と同じ位置に配置した類似アルバムデータを作成する。これにより、多数の撮影画像の中から画像を選択したり、レイアウトを決定したり、テンプレートを決定したりするような、手間がかかるユーザの作業を簡略化することができる。本実施形態では、お手本アルバムデータ基づいて作成されるアルバムをお手本アルバムと呼び、類似アルバムデータに基づいて作成されるアルバムを類似アルバムと呼ぶ。

【0010】

このようにお手本アルバムデータと類似する類似アルバムデータを作成する具体例として、婚礼アルバムが挙げられる。婚礼アルバムのような定型が決まっているアルバムでは、指輪の交換、ケーキカット、およびスピーチなど、定型化されたセレモニーを撮影した画像を、進行順序に沿って配置して作成されている。このようなアルバムの作成では、予めお手本となるアルバムを用意し、お手本アルバムのお手本画像に類似する画像を選択して配置することで、美しいレイアウトのアルバムを効率的に作成することができる。

【0011】

ここで、お手本画像に類似する類似画像が、類似アルバム作成に用いる画像群の中に存在しない場合がある。このような場合、そのお手本画像の位置に配置する類似画像を候補画像群から選択することができないので、類似アルバムを自動的に作成することが困難となるおそれがある。以下の実施形態では、お手本画像に類似する類似画像が候補画像群にない場合であっても、お手本アルバムに類似する類似アルバムを自動的に作成する処理を行う例を説明する。

【0012】

＜画像処理装置のハードウェア構成について＞
図１は、本実施形態における画像処理装置のハードウェア構成を示す図である。尚、以下では、画像処理装置が情報処理装置（ＰＣ）である例を説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。

【0013】

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらは、データバス１０９により接続されており、相互にデータを送信または受信することができる。

【0014】

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。

【0015】

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイル、及び、画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムは、アルバム作成アプリと呼ばれることもある。アルバム作成アプリについては、図２等を用いて後述する。

【0016】

ディスプレイ１０５は、本実施形態のユーザインターフェイス（以下ＵＩ）および画像のレイアウト結果を表示して、ユーザに提示するための表示装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの作成条件を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。尚、ディスプレイ１０５は、画像処理装置１００の外部の装置であってもよい。

【0017】

データ通信装置１０８は、プリンタまたはサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトされた結果であるアルバムデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタまたはサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。なお、本実施形態では、お手本アルバムデータに基づいて作成された類似アルバムデータが、自動されたレイアウト結果であるアルバムデータとして使用される。

【0018】

＜画像処理装置のソフトウェア構成について＞
図２は、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成を示す図である。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、自動レイアウト処理部２０１により提供される自動レイアウト機能を説明する。

【0019】

図２に示すように、このアプリは、アルバム作成条件設定部２０２と、自動レイアウト処理部２０１と、アルバム表示部２１２と、を有する。「自動レイアウト機能」とは、自動レイアウト機能に使われる画像群に含まれる複数の画像を、画像の内容および属性に基づいて分類し、画像群からレイアウトに使用する画像を選択した上でレイアウトして、アルバムデータを作成する機能である。作成されたアルバムデータは、ディスプレイ１０５に表示される。なお、画像データの分類は必須ではない。

【0020】

アルバム作成条件設定部２０２は、後述するＧＵＩを表示し、ＧＵＩを通じてユーザによって指定されたアルバム作成条件を、自動レイアウト処理部２０１に設定する。本実施形態では、アルバム作成条件として、お手本アルバムデータ、アルバムに使用する画像群、およびアルバム商材を設定する。お手本アルバムデータは、例えばファイルおよびディレクトリの指定など、お手本アルバムデータが保存されているファイルシステムの構造に基づいて設定されてもよい。また、アプリにプリセットとして予め登録された選択肢の中から、ユーザが、お手本アルバムデータを選んでもよい。類似アルバムデータの作成に使用される画像群は、例えば撮影日時など個別の画像データの付随情報、および、属性情報を用いて設定されても良い。または、ユーザが、デバイスおよびディレクトリを指定することで画像データが保存されているファイルシステムの構造に基づいてアルバム作成条件が設定されてもよい。アルバム商材として、アルバムに使用する紙の種類および製本時の綴じ部に関する情報が設定される。

【0021】

ここで、本実施形態で作成するアルバムについて説明する。本実施形態では、アルバムは、表紙および複数の見開きで構成される。「見開き」とは、例えば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。また、１枚の用紙に画像を印刷し真ん中で折ることでアルバムを形成することもある。その場合は、「見開き」とは、同一シートに印刷された、互いに隣接する１対のページに相当する。ここでは、このような見開きの概念を用いて説明するが、ページでもよい。即ち、後述するレイアウトを作成する処理は、１つの見開きを処理の単位とする例を説明するが、１つのページを処理の単位としてもよい。本実施形態では、アルバム作成条件設定部２０２により設定されたお手本アルバムデータおよび候補画像群に基づき、お手本アルバムデータと類似する類似アルバムデータが作成される。

【0022】

ここでいうアルバムデータとは、アルバムに配置された画像の画像データと、該画像が配置される見開き番号、位置、およびサイズ等の情報とを含むデータである。

【0023】

図３は、本実施形態で用いるアルバムデータの例である。図３（ａ）は、アルバム全体に関する情報を表す商材テーブル（商材情報）の例を示す。商材テーブルには、アルバムのページ数、サイズ、印刷する紙の種類、および製本方法が記録されている。

【0024】

図３（ｂ）は、紙面に配置される画像とその位置とを表すスロットテーブルの例を示す。スロットテーブルでは、各行に、アルバムに配置する画像と、見開き番号、位置、サイズ及び角度が記録されている。以降、図３（ｂ）の表で１行分の情報をスロット情報と呼ぶ。なお、アルバムデータに含まれる情報はこれに限らない。画像が重なった際の表示順を表すレイヤー情報、トリミング量、エフェクトの種類、文字情報、および図形情報などをスロットの情報に含めてもよい。エフェクトの種類としては、例えばグラデーション、モノクロ、およびセピアなどがある。また、フレーム装飾の情報をスロットの情報に含めてよい。

【0025】

図４は、図３のアルバムデータをレイアウトした例である。表紙４０１、見開き４０３、見開き４０４、見開き４０５は、それぞれ図３（ｂ）の見開き番号０、１、２、１０をレイアウトした図である。尚、表紙４０１は左側が裏表紙、右側が表紙に相当する。図４の塗りつぶされた領域はスロットを表し、図３（ｂ）のｉｍａｇｅｐａｔｈに記録された画像データが配置される。例えばスロット４０２には、ｉｍａｇｅ１．ｊｐｇが配置される。後述する自動レイアウト処理では、お手本アルバムデータに配置された画像の構図、オブジェクト、または色味等の画像特徴に類似する画像を、お手本アルバムデータと同様の位置に配置した類似アルバムデータを作成する。

【0026】

図２に戻り、アプリの説明を続ける。お手本アルバムデータ取得部２０３は、ＨＤＤ１０４に保存されているアルバムデータの中から、アルバム作成条件設定部２０２により設定されたお手本アルバムデータを取得する。

【0027】

お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得したお手本アルバムデータに保持されるお手本画像を解析する。本実施形態では、お手本画像解析部２０４は、お手本画像の特徴量を導出し、お手本画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、および検出した顔の個人認識を実行する。さらに、お手本画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、お手本画像解析部２０４が画像データを解析した結果得られる情報をお手本画像の「解析情報」と呼ぶ。

【0028】

候補画像取得部２０５は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０２により入力画像として設定された画像群を取得する。ここでいう画像群とは、類似アルバム作成の際のレイアウト候補となる候補画像の画像群（候補画像群）を指す。なお、本実施形態では、候補画像群から類似アルバムデータに使用される類似画像が選択される。ＨＤＤ１０４に保存されている画像としては、静止画像または動画から切り出された切り出し画像が挙げられる。静止画像および切り出し画像は、デジタルカメラまたはスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、候補画像取得部２０５は、データ通信装置１０８を介して候補画像を取得する。また、静止画像および切り出し画像は、外部のネットワークまたはサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークまたはサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、候補画像取得部２０５が取得する候補画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。

【0029】

候補画像解析部２０６は、候補画像取得部２０５が取得した候補画像の画像データを解析する。本実施形態では、候補画像の特徴量を導出し、候補画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、および検出した顔の個人認識を実行する。さらに、候補画像解析部２０６は、ＨＤＤ１０４から取得した候補画像の画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。さらに、候補画像取得部２０５は、候補画像に対して、アルバムに適した画像か否かを示す指標となる得点を付与する。画像得点として、例えばコントラストが高い、または、エッジがシャープである、といった審美性が高い候補画像に高得点が付与される。また、人が瞬きしていない、または、人または建造物などの主題となる被写体が大きく写っている、といったコンテンツがよい候補画像に高得点が付与される。

【0030】

候補テンプレート取得部２０７は、ＨＤＤ１０４に保存されているテンプレートの中から、アルバム作成条件設定部２０２により設定された候補テンプレートと、候補テンプレートに配置されている画像（既定画像という）の解析情報とを取得する。アルバム作成条件設定部２０２による設定については、後述する図５の説明部分において詳述する。候補テンプレートは、アルバム作成条件設定部２０２で設定したお手本アルバムデータ中のテンプレートでもよいし、あるいは、他のお手本アルバムデータでもよいし、本アプリで作成した他のアルバムデータでもよい。また、汎用的なテンプレートをアプリ内に保持していてもよく、その汎用的なテンプレートを候補テンプレートとして用いてもよい。さらに、候補テンプレートは、お手本アルバムデータ中のテンプレートを基に動的に生成したものであってもよい。例えば、お手本テンプレートの中からあるスロットを削除し、隣接するスロットを拡大することで空いた余白を埋める。このようにお手本テンプレートを修正したものを候補テンプレートとして用いてもよい。

【0031】

類似画像選択部２０８は、お手本画像解析部２０４が解析したお手本画像の解析情報と、候補画像解析部２０６が解析した候補画像の解析情報とを基に、候補画像群から類似アルバムに使用する類似画像を選択する。類似画像選択部２０８は、お手本画像１枚毎に、候補画像群から類似画像を選択する。類似画像は、候補画像群の中でお手本画像との類似度が高い画像のことである。類似度としては、例えばお手本画像解析部２０４が解析した画像特徴量と、候補画像解析部２０６が解析した画像特徴量との距離が挙げられる。この距離が小さいほど、類似度が高いと言える。尚、類似度の決定には、類似画像の選択時に候補画像解析部２０６が解析した個人認識の結果を用いたり、画像得点の優劣を選択基準に入れたりしてもよい。また、類似画像選択部２０８は、候補テンプレート取得部２０７が取得した候補テンプレートに対しても、同様に、候補画像の中から既定画像に類似する類似画像を選択する。即ち、類似画像選択部２０８は、候補テンプレートに配置されている既定画像の解析情報と、候補画像の解析情報とに基づいて、候補テンプレート用の類似画像を選択する。お手本画像に類似する類似画像を第一類似画像と称し、既定画像に類似する類似画像を第二類似画像と称することがある。なお、お手本アルバムで使用されているテンプレートに類似した候補テンプレートを選ぶことで、候補テンプレートの既定画像は、お手本画像に類似している可能性が高まる。

【0032】

テンプレート決定部２０９は、類似画像選択部２０８が選択した類似画像と、お手本アルバムデータ取得部２０３及び候補テンプレート取得部２０７が取得したテンプレートとを基に、作成アルバムに採用するテンプレートを決定する。

【0033】

レイアウト作成部２１０は、テンプレート決定部２０９が決定したテンプレートと、類似画像選択部２０８が選択した類似画像とを用いて、テンプレート決定部２０９が決定したテンプレートに類似画像を割り当てる。テンプレート決定部２０９が決定したテンプレートに類似画像を割り当てたデータをレイアウトデータと呼ぶ。尚、テンプレート決定部２０９が決定したテンプレートは、お手本テンプレートの場合もあれば、候補テンプレートの場合もある。

【0034】

アルバムデータ出力部２１１は、レイアウト作成部２１０が作成した全見開きのレイアウトをまとめてアルバムデータとして出力する。本実施形態では、類似アルバムデータが出力される。

【0035】

アルバム表示部２１２は、アルバムデータ出力部２１１が出力したアルバムデータに基づいて、アルバムの画像を作成しディスプレイ１０５に表示する。アルバムの画像とは、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。

【0036】

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。なお、アプリケーションは、別の形態でも良く、例えば画像処理装置１００で動作するブラウザ内で画面等を表示するＷｅｂアプリでも良い。

【0037】

＜ＧＵＩ画面について＞
図５は、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面を示す図である。図５は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面５０１を示している。ユーザは、ＧＵＩ画面５０１を介して、アルバムの作成条件を設定することができる。

【0038】

ＧＵＩ画面５０１は、お手本アルバムデータの設定部として、パスボックス５０２及び選択ボタン５０３を有する。パスボックス５０２は、ＨＤＤ１０４中に保存されたお手本アルバムデータの保存場所（パス）を示すためのボックスである。選択ボタン５０３は、お手本アルバムデータを選択するためのボタンである。ユーザが選択ボタン５０３をマウス１０７でクリックすると、複数フォルダおよびファイルから構成されるツリーが表示される。そして、お手本アルバムデータを保持するファイルをユーザが選択すると、該選択したファイルのファイルパスがパスボックス５０２に表示される。

【0039】

パスボックス５０４及び選択ボタン５０５は、アルバムに含ませる写真画像の設定部である。つまり、本実施形態では、候補画像群を選択する際にパスボックス５０４又は選択ボタン５０５が使用される。パスボックス５０４には、類似アルバム作成の対象となる候補画像群のＨＤＤ１０４中の保存場所（パス）が表示される。選択ボタン５０５は、類似アルバム作成に使用される候補画像群を含むフォルダを選択するためのボタンである。ユーザが選択ボタン５０５をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、類似アルバム作成の対象とする候補画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス５０４に表示される。

【0040】

商材設定ボックス５０６及び商材選択ボタン５０７は、作成する類似アルバムの商材設定部である。商材設定ボックス５０６は、作成するアルバムの商材情報を示すためのボックスである。お手本アルバムデータが選択された場合、該お手本アルバムデータの商材情報が表示される。また、商材選択ボタン５０７は商材を切り替えるためのボタンである。ユーザが商材選択ボタン５０７をマウス１０７でクリックすると、商材の一覧が表示される。そして、ユーザが商材を選択すると、該選択した商材情報が商材設定ボックス５０６に表示される。

【0041】

チェックボックス５０８は、候補テンプレートとしてお手本アルバムデータの他の見開きのテンプレートを使用するか否かのフラグの設定部である。ユーザがチェックボックス５０８をマウス１０７でクリックすると、チェックのＯＮ／ＯＦＦを切り替える。チェックボックス５０８が有効化された場合、候補テンプレートとして、図５のＧＵＩを使って選択されたお手本アルバムデータに含まれるお手本テンプレートが使用される。

【0042】

選択ボタン５０９は、候補テンプレートとして取得するテンプレートのファイルパスを選択するためのボタンである。ユーザが選択ボタン５０９をマウス１０７でクリックすると、複数フォルダ及びファイルから構成されるツリーが表示される。そして、候補テンプレートとするファイルをユーザが選択すると、該選択したファイルが候補テンプレートとして設定される。

【0043】

ＯＫボタン５１０は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン５１０をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０２を介して、自動レイアウト処理部２０１にアルバム作成条件が伝えられる。具体的に説明すると、パスボックス５０２に入力されているパスの情報は、お手本アルバムデータ取得部２０３に伝えられる。パスボックス５０４に入力されているパスの情報は、候補画像取得部２０５に伝えられる。商材設定ボックス５０６に入力されている商材情報は、アルバムデータ出力部２１１に伝えられる。チェックボックス５０８及び選択ボタン５０９に設定されている候補テンプレート情報は、候補テンプレート取得部２０７に伝えられる。

【0044】

リセットボタン５１１は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。

【0045】

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図６を用いて説明する。図６（ａ）は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図６に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２またはＲＡＭ１０３に読み出して実行することにより実現される。

【0046】

ステップＳ６０１において、アルバム作成条件設定部２０２は、アルバム作成条件を設定する。尚以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。本実施形態では、Ｓ６０１においてアルバム作成条件として、お手本とするアルバムデータ及びアルバムに使用する候補画像群を設定する。

【0047】

Ｓ６０２において、お手本アルバムデータ取得部２０３は、Ｓ６０１で設定されたお手本アルバムデータを読み込み、ＲＡＭ１０３に展開する。また、お手本アルバムデータ取得部２０３は、お手本アルバムデータに記録された画像ファイルパスに従ってＨＤＤ１０４からお手本画像データを読み込み、ＲＡＭ１０３に展開する。

【0048】

Ｓ６０３において、お手本画像解析部２０４は、Ｓ６０２でＲＡＭ１０３に展開されたお手本画像データを解析する。ここで、本ステップの画像解析を、図６（ｂ）を用いて説明する。

【0049】

Ｓ６０３０１において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した各お手本画像データに対応する撮影日時の情報を取得する。本実施形態では、各お手本画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。

【0050】

Ｓ６０３０２において、お手本画像解析部２０４は、各お手本画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。お手本画像解析部２０４は、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズが特定される。更に、人物の顔と同様に、犬または猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、または置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを分類するケースを説明したが、ディープニューラルネットワークによる画像認識を採用してもよい。

【0051】

Ｓ６０３０３において、お手本画像解析部２０４は、Ｓ６０３０２で検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。

【0052】

Ｓ６０３０４において、お手本画像解析部２０４は、各お手本画像データに対する画像特徴量を導出する。画像特徴量としては、例えば、色情報が挙げられる。色情報を画像特徴量として使用する方法として、ヒストグラムを用いることができる。画像データは、一般的に１画素毎にＲＧＢの３値が記録されている。お手本画像解析部２０４は、画像全体のＲ値、Ｂ値、Ｇ値それぞれに対してヒストグラムを作成する。ヒストグラムは、ある値の範囲毎の出現頻度をカウントすることで作成できる。例えば画素値が０～２５５で記録されており、１６段階（０～１５、１６～３１、・・・、２４０～２５５）でカウントする場合、３値×１６段階＝４８次元の特徴量を得られる。尚、画像特徴量はこれに限らない。例えば、ディープニューラルネットワークを使って特徴量を導出してもよい。具体的には、オブジェクト認識を行うディープニューラルネットワークに対してお手本画像データを入力すると、認識結果であるオブジェクトの種類及びその確率を表す数値の他に、演算過程の中間値が得られる。この中間値はオブジェクトを認識するための画像の特徴が圧縮されているため、お手本画像データを表す特徴量として用いることができる。また他には、Ｓ６０３０２及びＳ６０３０３で検出したオブジェクトまたは個人認識の結果を特徴量として用いてもよい。例えば、画像に写っている人の数を特徴量としてもよいし、個人認識結果を基に写っている人の画像群全体における出現頻度を特徴量としてもよい。

【0053】

尚、本実施形態ではお手本画像解析部２０４は、お手本画像データを解析するがこれに限らない。例えばお手本画像解析部２０４が解析した結果を解析情報としてＨＤＤ１０４に保存しておく。お手本画像解析部２０４は、ＨＤＤ１０４にお手本画像データの解析情報が保存されているかを確認し、保存されている場合は解析情報を読み込んでもよい。

【0054】

図６（ａ）に戻る。Ｓ６０４において、候補画像取得部２０５は、Ｓ６０１で設定された候補画像群をＨＤＤ１０４から読み込み、ＲＡＭ１０３に展開する。

【0055】

Ｓ６０５において、候補画像解析部２０６は、Ｓ６０４でＲＡＭ１０３に展開された候補画像に含まれる候補画像データを解析する。ここで、本ステップの画像解析について、図６（ｃ）を用いて説明する。尚、Ｓ６０５０１～Ｓ６０５０４についてはＳ６０３０１～Ｓ６０３０４と基本的には同様の解析処理のため詳細は省略する。なお、両者の違いは、対象となる画像データが、お手本画像データであるか候補画像データであるかである。

【0056】

Ｓ６０５０１において、候補画像解析部２０６は、候補画像取得部２０５が取得した候補画像群の各候補画像データに対応する撮影日時の情報を取得する。Ｓ６０５０２において、候補画像解析部２０６は、候補画像取得部２０５が取得した候補画像群の各候補画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。Ｓ６０５０３において、候補画像解析部２０６は、Ｓ６０５０２で検出した顔に対して個人認識を行う。Ｓ６０５０４において、候補画像解析部２０６は、候補画像群の各候補画像データに対する画像特徴量を導出する。

【0057】

Ｓ６０５０５において、候補画像解析部２０６は、候補画像群の各候補画像データに対して、画像得点を付与する。画像得点は、例えばピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで、輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質を表す得点としてピント量を採用したが、これに限らない。例えば、画質を表す得点として、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。

【0058】

また、画質以外に、画像に写っているコンテンツによって得点が付与されてもよい。例えば、Ｓ６０５０２で導出した顔のサイズおよびＳ６０５０３の個人認識結果を用いることができる。まず、候補画像解析部２０６は、各候補画像データにおける個人認識による結果、最も出現回数が多い人物を主被写体と設定する。候補画像データ中に主被写体が写っていない場合は、その候補画像データにおける主被写体毎の得点として０点が付与される。一方、候補画像データに主被写体が写っている場合、画像サイズに対して主被写体に設定した個人の顔が占める割合が、その候補画像データにおける主被写体の得点として付与される。尚、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ６０５０３でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行ってもよい。以上のように、候補画像解析部２０６は、解析対象の候補画像データにおけるピント量および主被写体が写っているか否かなどに基づいて、候補画像群の各候補画像データに得点を付与する。

【0059】

図６（ａ）に戻る。Ｓ６０６において、候補テンプレート取得部２０７は、アルバム作成条件設定部２０２により設定された候補テンプレートを取得する。本例では、お手本アルバムデータ中のテンプレートと、選択ボタン５０９で設定されたテンプレートとを、それぞれ候補テンプレートとして取得する。お手本アルバムデータ中のテンプレートを候補テンプレートとして使用する場合、そのテンプレートを候補お手本テンプレートと呼ぶ。尚、候補テンプレート取得部２０７は、テンプレートに配置された既定画像の解析情報も合わせてＨＤＤ１０４から取得するが、これに限らない。解析情報がＨＤＤ１０４に保存されていない場合、お手本画像解析部２０４が候補テンプレートに配置された既定画像を解析してもよい。また、本実施形態ではアルバム作成条件設定部２０２で事前に取得する候補テンプレートを設定したが、自動レイアウト処理中に設定してもよい。例えば、見開きを自動レイアウトする毎に、該見開きで使用する候補テンプレートをユーザが設定してもよい。

【0060】

Ｓ６０７において、レイアウト作成部２１０は、レイアウト作成を行う処理対象の見開き番号を選択する。本実施形態では、見開き番号「０」から順番に見開き番号を選択する。

【0061】

Ｓ６０８において、類似画像選択部２０８は、お手本画像解析部２０４が解析したお手本画像の解析情報と候補画像解析部２０６が解析した候補画像の解析情報とを基に、Ｓ６０７で選択した見開き番号に類似画像として配置される候補画像を選択する。本実施形態ではまず、類似画像選択部２０８は、お手本画像解析部２０４が解析したお手本画像の解析情報のうち、Ｓ６０７で選択した見開き番号に配置されているお手本画像に関するお手本画像特徴量を取得する。尚、処理対象の見開き番号に対応するお手本テンプレート内に複数のスロットが含まれる場合、お手本画像もスロットに応じた数の画像が含まれており、お手本画像分の画像特徴量をそれぞれ取得することになる。

【0062】

そして、類似画像選択部２０８は、取得した各お手本画像の画像特徴量に対する各候補画像の画像特徴量の類似度を計算する。類似度は、例えば２つの特徴量のユークリッド距離を用いることで計算できる。類似画像選択部２０８は、最も類似度が高い候補画像データが類似画像データとして選択される。さらに、同じ候補画像データが重複して選択されないように、一度選択された候補画像データは以降の類似度計算からは除外される。尚、本実施形態では画像特徴量を用いて類似画像を選択したがこれに限らない。例えば、候補画像解析部２０６が解析した画像得点を用いてもよい。具体的には、お手本画像データの特徴量に対して、類似する特徴量を持つ候補画像データを上位から５つ選択する。そのうちの最も得点が高い候補画像データが類似画像として選択されてもよい。さらに他の例では、お手本画像解析部２０４及び候補画像解析部２０６が解析した個人認識結果を用いてもよい。例えばお手本画像データに主被写体が写っている場合、主被写体が写っていない候補画像データは、画像特徴の類似度が高くても類似画像データとして選択されないようにする。以上の処理により、お手本アルバムデータのレイアウト結果であるｎ（ｎは自然数）番目のページに配置されたお手本画像と、類似アルバムデータのレイアウト結果であるｎ番目のページに配置された類似画像の類似度が取得される。

【0063】

また、類似画像選択部２０８は、Ｓ６０６において取得した候補テンプレートに配置された既定画像に対しても同様に類似画像を選択する。ただし、お手本アルバムデータ内のテンプレートを候補テンプレートとして用いる場合には、Ｓ６０７で選択した見開き番号以降のテンプレートは使用しない。例えば、処理対象の見開き番号が「１」である場合、このＳ６０８でお手本アルバムデータの他の見開きページのお手本テンプレートを候補テンプレートとして使う場合には、見開き番号「２」以降のお手本テンプレートを候補テンプレートとして使用しない。本来のお手本アルバムデータの出来栄えに類似したアルバムを作成するためである。仮に、処理対象の見開き番号が「１」である場合に、見開き番号「２」のお手本テンプレートを候補テンプレートとして使用し、その見開き番号「２」のお手本テンプレートが、見開き番号「１」の候補テンプレートとして採用された場合を想定する。この場合、その見開き番号「２」のお手本テンプレートに類似する最適な類似画像が、見開き番号「１」で使用済みになってしまう。すると、その後、処理対象の見開き番号が「２」になった場合、既に見開き番号「１」で類似画像として使用済みの候補画像は、上述したように、同じ画像が重複して選択されないように、除外されることになる。このため、本来であれば見開き番号「２」のお手本テンプレートに最も適した類似画像を、見開き番号「２」で使用することが出来なくなってしまう。つまり、本来のアルバムデータの見開き番号「２」の出来栄えに好適な類似画像が、見開き番号「２」で使用されなくなる。このため、未処理の見開きの処理で使われ得る類似画像が、他の見開きの処理で先に使われないように、お手本アルバムデータを候補テンプレートとして用いる場合に、Ｓ６０７で選択した見開き番号以降のテンプレートは使用しないように処理を行う。なお、上記を踏まえると最初の見開き用にお手本アルバムデータから、候補テンプレートとしてお手本テンプレートが選択されることはない。そのため、例えば、他のアルバムデータのお手本テンプレートが候補テンプレートとして使用されても良い。または、選択ボタン５０９により選択されたテンプレートが、候補テンプレートとして使用されても良い。

【0064】

尚、上述した、お手本アルバムデータを候補テンプレートとして用いる場合にＳ６０７で選択した見開き番号以降のテンプレートは使用しない、というケースを除けば、多くの候補画像を用いて候補テンプレートの類似画像を求めることができる。前述したように、Ｓ６０８は、処理対象の見開きごとに行われる処理である。このため、同じ処理対象の見開きでの処理においては、他の候補テンプレートで類似画像として選択された候補画像も、その処理対象の見開き番号内においては、類似度計算から除外せずに、同じ候補画像を類似画像として選択することができる。つまり、第１候補テンプレートと第２候補テンプレートとがあった場合、第１候補テンプレート内の既定画像に類似するとして選択された類似画像と、第２候補テンプレート内の既定画像に類似するとして選択された類似画像とが同じ画像であってもよい。同じ見開き番号の処理においては、最終的には１つのテンプレートが選択されることになる。このため、選択されなかった他の候補テンプレートに同じ類似画像が選択されていても問題ないからである。もちろん、使用するテンプレートとして、第１候補テンプレートが選択された場合、その既定画像に類似する類似画像は、次の見開きを処理する際には、上述したように、類似度計算から除外されることになる。

【0065】

Ｓ６０９において、テンプレート決定部２０９は、類似画像選択部２０８が選択した類似画像と、お手本アルバムデータ取得部２０３及び候補テンプレート取得部２０７が取得したテンプレートを基に、類似アルバムに採用するテンプレートを決定する。本実施形態では、まず、テンプレート決定部２０９は、お手本テンプレートに対して類似画像が適切に選択されているかを判定する。ここでいうお手本テンプレートとは、お手本アルバムデータ取得部２０３が取得したお手本テンプレート群のうち、Ｓ６０７で選択された見開き番号に対応するお手本テンプレートである。適切に選択されているかの判定は、例えば次のように行われる。類似画像選択部２０８は、算出されているお手本画像と類似画像との類似度が、選択された全ての類似画像で（即ち、全てのスロットで）閾値以上であった場合、お手本テンプレートに対して類似画像が適切に選択されていると判定する。つまり、お手本テンプレートには、類似画像が適切に選択されているので、作成アルバムに採用するテンプレートとして、お手本テンプレートを決定する。そして、Ｓ６１０に進む。ここで、閾値は、例えば事前に主観評価による設定した値をアプリに組み込んでおくことができる。あるいはアプリのＧＵＩを通じてユーザが調整してもよい。

【0066】

さらに他の例では、平均的な類似度との乖離によって閾値を決めてもよい。例えば、類似画像選択部２０８が選択した全ての類似画像の類似度をもとに、第二四分位数及び第三四分位数を算出する。その後、以下の式１に従って閾値を決定してもよい。
閾値＝第二四分位数＋（第三四分位数―第二四分位数）×１．５ （式１）
これにより、類似度の分布に応じて類似度が低い画像を判定することができる。

【0067】

類似度が閾値より小さい類似画像が１つでも存在する場合、テンプレート決定部２０９は、お手本テンプレートと候補テンプレート群の中から、最もお手本テンプレートに近いテンプレートを選択する。お手本テンプレートに近いとは、例えば、あるテンプレートに対して選択された類似画像と、お手本画像との類似度が高いことをいう。尚、この場合において、適切な候補テンプレートがない場合には、再度、お手本テンプレートが選ばれることもあり得る。

【0068】

図７は、テンプレート決定処理の概要を説明する図である。お手本テンプレート７０１は、処理対象となるお手本テンプレートの例である。レイアウトデータ７０２は、お手本テンプレートに類似画像（第一類似画像）を割り当てることで生成されたレイアウトデータを表している。レイアウトデータ７０３は、候補テンプレートに類似画像（第二類似画像）を割り当てることで生成されたレイアウトデータを表している。図７のグレー領域は、画像を示している。尚、本例では、説明のために候補テンプレートが１つの例を示しているが、候補テンプレートは複数でもよい。レイアウトデータ７０２及び７０３は、それぞれ類似画像が割り当てられた状態である。類似画像内の数字は、その類似画像とお手本テンプレート７０１中の各お手本画像との類似度を示している。候補テンプレートに類似画像（第二類似画像）を割り当てたレイアウトデータ７０３では、配置される類似画像が２つである。一方、お手本テンプレート７０１には、配置されるお手本画像が３つある。レイアウトデータ７０３では、各類似画像と、お手本テンプレート７０１中の３つのお手本画像との類似度をそれぞれ求め、最も高い数値が図中に示されている。同様に、お手本テンプレートに類似画像（第一類似画像）を割り当てたレイアウトデータ７０２でも、各画像とお手本テンプレート７０１中のお手本画像との類似度が求められている。

【0069】

本実施形態では、テンプレート決定部２０９は、このようにして求めた各レイアウトデータにおける各画像の類似度の最低値が最も大きいレイアウトデータを採用する。図７の例では、レイアウトデータ７０２における各画像の類似度の最低値は、「０．３」である。一方、レイアウトデータ７０３における各画像の類似度の最低値は、「０．７」である。従って、最低値が最も大きいレイアウトデータは、レイアウトデータ７０３である。このため、本例において、テンプレート決定部２０９は、レイアウトデータ７０３を採用する。つまり、お手本テンプレート７０１に従って類似画像を配置したレイアウトデータ７０２では、お手本画像との類似度が低い画像が含まれてしまうため、ユーザの意図したレイアウト結果とはならないおそれがある。つまり、本実施形態では、お手本テンプレート７０１に類似画像を配置したレイアウトデータ７０２に加えて、候補テンプレートに類似画像を配置したレイアウトデータ７０３についても、お手本画像との類似度を求める。そして類似度によって適切なテンプレートが決定される。お手本画像に類似していない画像を含むレイアウトデータ（例えば７０２）よりも、お手本画像に類似しているものだけを集めたレイアウトデータ（例えば７０３）の方が、アルバムの出来栄えとして好適だからである。尚、図７の例では、お手本テンプレート７０１のスロット数が「３」であるのに対して、採用されるテンプレートのスロット数は、「２」である。このように、スロット数が異なるとしても、お手本画像との類似度が高い画像のみを配置したレイアウトデータの方が、アルバムの出来栄えとして、好適となる。

【0070】

テンプレート決定部２０９は、このようにして採用されたレイアウトデータに使用されていたテンプレートを、当該見開きに用いるテンプレートとして決定する。これにより、お手本テンプレートと近い特徴をもった画像を配置可能なテンプレートを決定できる。尚、本実施形態ではテンプレートを決定する際に類似度の最低値が最大となるテンプレートを選択したがこれに限らない。例えばテンプレートに配置された画像の類似度の平均値または最大値を用いてもよい。また、最大値を用いる場合には、テンプレート内で許容する類似度の最低値を設定しておくことができる。

【0071】

Ｓ６１０において、レイアウト作成部２１０は、Ｓ６０９で決定したテンプレートにＳ６０８で選択した類似画像を割り当ててレイアウトデータを作成する。本実施形態におけるレイアウト作成方法について図８を用いて説明する。

【0072】

図８は、Ｓ６０９で決定された、処理対象の見開きのテンプレートと、レイアウト作成部２１０が作成するレイアウトデータとの例である。レイアウト作成部２１０は、まず、処理対象の見開きのテンプレート８０１を取得する。前述したように、テンプレート８０１は、お手本テンプレートとなる場合もあれば、候補テンプレートとなる場合がある。テンプレート８０１には、画像とその配置情報とが記録されている。画像８０２及び８０３は、テンプレート８０１のスロットに配置されている画像であり、テンプレート中の配置位置を表している。候補画像群８０４は、候補画像取得部２０５が取得した画像群を表している。類似画像８０５及び８０６は、Ｓ６０８で選択された類似画像を表している。類似画像８０５は、画像８０２と類似の画像である。類似画像８０６は、画像８０３と類似の画像である。レイアウト作成部２１０は、類似画像８０５及び８０６を、対応する画像と同じ位置に配置することでレイアウトデータを作成する。レイアウトデータ８０７は、レイアウト作成部２１０が作成したレイアウトデータである。これにより、お手本アルバムデータと類似する類似データが配置されたレイアウトデータを作成できる。なお、本実施形態では、Ｓ６０９においてレイアウトデータが生成されているため、Ｓ６１０は省略されても良い。

【0073】

Ｓ６１１において、レイアウト作成部２１０は、お手本アルバムデータ取得部２０３が取得したお手本アルバムデータにおいて、全ての見開きに対してＳ６０７～Ｓ６１０の処理が完了したかを判定する。本ステップの判定結果が真の場合、Ｓ６１２に進む。該判定結果が偽の場合、Ｓ６０７に戻る。

【0074】

Ｓ６１２において、アルバムデータ出力部２１１は、レイアウト作成部２１０が作成した全見開きのレイアウトデータと、アルバム作成条件設定部２０２で設定された商材情報とをまとめて類似アルバムデータとして出力する。類似アルバムデータは例えば図３のような形式をしており、ＨＤＤ１０４に保存される。

【0075】

以上説明したように、本実施形態によれば、お手本テンプレートに対して類似度が所定値以上の画像が候補画像群に存在しない場合に、代替となるテンプレートを選択して類似アルバムを作成することができる。また、代替となるテンプレートは、お手本画像と類似する画像が配置されるテンプレートが選択されるので、ユーザが所望とするアルバムを作成できる可能性が高まる。

【0076】

［第２実施形態］
第１実施形態では、候補テンプレートに含まれる既定画像に類似する第二類似画像を候補テンプレートにレイアウトし、お手本テンプレートに含まれるお手本画像に類似する第一類似画像をお手本テンプレートにレイアウトする例を説明した。そして、これらの複数のテンプレートにレイアウトした結果を用いて、採用するテンプレートを選択する例を説明した。本実施形態では、お手本テンプレートに配置されたお手本画像と類似する類似画像（第一類似画像）に基づいて、まず、候補テンプレート群の中から候補テンプレートを選択する。そして、選択された候補テンプレートとお手本テンプレートとを用いて、好適なテンプレートを決定する例を説明する。

【0077】

図９は、本実施形態におけるアルバム生成についてのブロック図である。なお、他の実施形態と同じ番号に関しては、同じ装置での同じ処理を表しているため、ここでは説明を割愛する。本実施形態では、類似画像選択部９０１およびテンプレート決定部９０３が第１実施形態と異なる。また、テンプレート選択部９０２が追加されている。

【0078】

類似画像選択部９０１は、お手本画像解析部２０４が解析したお手本画像の解析情報と候補画像解析部２０６が解析した候補画像の解析情報とを基に、アルバムに使用する画像を選択する。類似画像選択部９０１は、お手本画像１枚毎に、候補画像の中から対象のお手本画像に類似した類似画像を選択する。尚、本実施形態の類似画像選択部９０１は、第１実施形態で説明したように、候補テンプレートに含まれる各既定画像に類似する類似画像（第二類似画像）の選択は行わない。

【0079】

テンプレート選択部９０２は、類似画像選択部９０１が選択した類似画像を基に、候補テンプレート取得部２０７が取得した候補テンプレート群の中から、その類似画像（即ち、お手本画像に類似する類似画像）に適した候補テンプレートを選択する。

【0080】

テンプレート決定部９０３は、テンプレート選択部９０２が選択した候補テンプレートと、お手本テンプレートとのうちのどちらを採用するかを決定する。尚、第１実施形態で説明したように、お手本テンプレートの各お手本画像と、類似画像選択部９０１が選択したお手本画像に対応する各類似画像との類似度が所定の閾値以上であった場合、以下で説明する比較処理をせずに、お手本テンプレートを採用してよい。

【0081】

図１０は、本実施形態で自動レイアウトを実行する処理のフローチャートである。第１実施形態の図６で説明と同様の処理については、同じ符号を付し、説明を省略することとする。図１０では、Ｓ６０７で処理対象の見開きを選択する処理に続いて、Ｓ１００１の処理が行われる。

【0082】

Ｓ１００１において類似画像選択部９０１は、お手本画像解析部２０４が解析したお手本画像の解析情報と候補画像解析部２０６が解析した解析情報とを基に、Ｓ６０７で選択した見開き番号に配置される候補画像（即ち、類似画像）を選択する。本実施形態では、まず、類似画像選択部９０１は、お手本画像解析部２０４が解析したお手本画像の解析情報のうち、Ｓ６０７で選択した見開き番号に配置されているお手本画像に関する画像特徴量を取得する。その後、取得した各お手本画像の画像特徴量に対して、各候補画像の画像特徴量の類似度を計算し、最も類似度が高い候補画像を類似画像として選択する。ただし、最も高い類似度が閾値を超えていなかった場合、類似画像として選択しない。これにより、あまり類似していない画像を選択しないことができる。閾値は例えば式１を用いて計算してもよいし、予め設定された値を用いてもよい。

【0083】

Ｓ１００２において、テンプレート選択部９０２は、Ｓ１００１で選択された類似画像を基に、候補テンプレート取得部２０７が取得した候補テンプレート群の中から候補テンプレートを選択する。本実施形態では、Ｓ１００１で選択された類似画像と類似する既定画像を有するテンプレートを、候補テンプレートとして選択する。

【0084】

図１１は、Ｓ１００２で行われる選択方法の例を示す図である。まず、Ｓ１００１で選択された各類似画像（各お手本画像と類似する各類似画像）と、各候補テンプレートに配置された各既定画像との類似度を計算する。類似画像１１０１は、Ｓ１００１で選択された類似画像を表している。候補テンプレート１１０２、候補テンプレート１１０３及び候補テンプレート１１０８は、それぞれ画像スロットを有している。画像スロットには、候補テンプレートの既定画像が配置されている。各候補テンプレートの各画像スロット中の数字は、類似画像１１０１に対する既定画像の類似度をそれぞれ表している。例えば、候補テンプレート１１０２の画像スロット１１０４の既定画像と、類似画像Ａとの類似度は「０．９」であり、画像スロット１１０４の既定画像と、類似画像Ｂとの類似度は「０．５」であることが表されている。

【0085】

テンプレート選択部９０２は、類似画像１１０１を、各候補テンプレートの画像スロットにそれぞれ割り当てる。割り当てる方法としては、類似画像１１０１と、各候補テンプレートの既定画像との類似度に基づいて、類似画像１１０１を割り当てる。具体的には、候補テンプレート中の画像スロットのうち、類似画像１１０１と最も高い類似度をもつ画像スロットから順に、類似画像を割り当てる。例えば候補テンプレート１１０２では、画像スロット１１０４に類似画像Ａを割り当てた後、画像スロット１１０５に類似画像Ｂを割り当てる。候補テンプレート１１０３では、画像スロット１１０７に類似画像Ｂを割り当てた後、画像スロット１１０６に類似画像Ａを割り当てる。なお、候補テンプレート１１０８では、画像スロット１１０９に類似画像Ａを割り当て、類似画像Ｂは割り当てられない。

【0086】

その後、割り当てた類似画像と画像スロットの既定画像との類似度の平均値を計算して得られた値を、その候補テンプレートの類似度（即ち、お手本画像に類似する類似画像に対する類似度）と決定する。例えば、候補テンプレート１１０２では、類似度は、（０．９＋０．２）÷２＝０．５５となる。候補テンプレート１１０３では、類似度は、（０．８＋０．１）÷２＝０．４５となる。候補テンプレート１１０８では、類似度は、０．９となる。テンプレート選択部９０２は、全ての候補テンプレートのうち、最も類似度が高い候補テンプレートを、採用する候補テンプレートとして選択する。つまり、図１１の例では、候補テンプレート１１０８が選択される。これにより、Ｓ１００１で選択された類似画像（即ち、お手本画像に類似する類似画像）に適した候補テンプレートが選択される。尚、本実施形態では画像特徴による類似度のみを用いたがこれに限らない。例えばアスペクト比の一致度合いで、類似画像を割り当て可能な画像スロットを制限してもよい。図１１では、候補画像として類似画像の数と同数のスロットを備える候補テンプレート１１０２および１１０３と、類似画像の数よりも少ない数のスロットを備える候補テンプレート１１０８を使って候補テンプレートの選択処理を行った。このように数の異なる候補テンプレートを用意することで、例えば、類似画像Ｂに類似する画像が、候補画像群に含まれない場合にも、非類似の画像データが配置される可能性を低減することができる。なお、上述した類似度の平均値の計算で、平均値が同数となった場合は、スロット数が多い候補テンプレートが優先される。また、候補テンプレートのスロット数に基づいて、類似度に重みを付けてもよい。例えば、Ｓ１００１で選ばれた類似画像の数に対して、候補テンプレートのスロット数が一つ減少するのに従って、類似度を０．９倍に補正することができる。図１１では、候補テンプレート１１０２と候補テンプレート１１０３のスロット数は類似画像数と同数のため、それぞれの類似度は０．７５と０．８５のままとなる。一方、候補テンプレート１１０８では、類似画像の数に対してスロット数が１つ少ないため、類似度は、０．９×０．９＝０．８１となる。テンプレート選択部９０２は、補正後の類似度が最も高い候補テンプレート１１０３を選択する。これにより、画像の類似度を重視してテンプレートを選択するか、画像数を重視してテンプレートを選択するかを制御することができる。

【0087】

Ｓ１００３においてテンプレート決定部９０３は、Ｓ１００２で選択された候補テンプレートと、お手本テンプレートとのうちの、いずれでレイアウトを行うかを決定する。本実施形態では、Ｓ１００２と同様の処理を行う。即ち、お手本テンプレートの各スロットに類似画像を割り当て、その類似画像とお手本画像との類似度の平均を、お手本テンプレートの類似度として決定する。そして、選択された候補テンプレートの類似度と、お手本テンプレートとの類似度とを比較し、類似度が高いテンプレートを決定する。その後の処理は、第１実施形態で説明した例と同様である。尚、第１実施形態で説明したように、お手本テンプレートの各お手本画像と、類似画像選択部９０１が選択したお手本画像に対応する各類似画像との類似度が所定の閾値以上であった場合、上記の比較処理をせずに、お手本テンプレートを採用してよい。

【0088】

以上説明したように、本実施形態によれば、お手本テンプレートと類似する類似画像に類似する画像（画像スロット）を有する候補テンプレートを、まず選択する。そして、その候補テンプレートとお手本テンプレートとを比較し、より好適なテンプレートを採用する。このような処理によれば、お手本テンプレートのお手本画像と類似しない画像が候補画像に含まれていても、その画像に適したテンプレートを用いてアルバムを作成することができる。

【0089】

［その他の実施形態］
上述した実施形態では、お手本画像に類似する類似画像が、候補画像群に含まれていない場合、他のテンプレートを用いることで、お手本アルバムに出来栄えに似たアルバムを作成する例を説明した。ここで、候補テンプレートを用いる場合に、お手本テンプレートと同じ画像数（スロット数）の候補テンプレートを優先的に選択する第１モードと、異なる画像数の候補テンプレートの選択を許容する第２モードとを設定可能に構成してもよい。そして、第１モードが設定された場合には、第２実施形態の処理を行うように構成し、第２モードが設定された場合には、第１実施形態の処理を行うように構成してもよい。第１モードが設定された場合には、Ｓ１００１の処理で説明した、閾値を超えていなかった場合、類似画像を選択しない、という閾値判定処理を行わないように構成すればよい。このようなモードを用いると、ユーザは、画像数をお手本アルバムと極力合わせたい場合には、第１モードを選択し、画像数の変更も含めた大胆なレイアウトの変更を許容する場合には、第２モードを選択するなど、ユーザニーズに対応したアルバムを作成できる。

【0090】

上述した実施形態では、アルバムを生成する際に利用する例を用いて説明したがその限りではない。アルバム以外の出力結果（例えば、カタログ、本など）を得る際に上述した実施形態が使用されても良い。

【0091】

また、本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0092】

２０１ 自動レイアウト処理部
２０９ テンプレート決定部
２１０ レイアウト作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】