知財求人 - 知財ポータルサイト「IP Force」
特許7599983画像処理装置、画像処理装置の制御方法、プログラム、及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-06
(45)【発行日】2024-12-16
(54)【発明の名称】画像処理装置、画像処理装置の制御方法、プログラム、及び記憶媒体
(51)【国際特許分類】
G06T 11/60 20060101AFI20241209BHJP
H04N 1/387 20060101ALI20241209BHJP
G06F 3/0483 20130101ALI20241209BHJP
【ＦＩ】
G06T11/60 100C
H04N1/387 110
G06F3/0483
【請求項の数】
9
(21)【出願番号】P 2021020369
(22)【出願日】2021-02-12
(65)【公開番号】P2022123209
(43)【公開日】2022-08-24
【審査請求日】2024-01-17
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】武市 惇平
(72)【発明者】
【氏名】國枝 寛康
(72)【発明者】
【氏名】山田 貴之
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２０２０－１４０５８２（ＪＰ，Ａ）
【文献】特開２０２０－１４０５７７（ＪＰ，Ａ）
【文献】特開２０２０－１４０５８４（ＪＰ，Ａ）
【文献】特開２０２０－１４０５６７（ＪＰ，Ａ）
【文献】米国特許第９２１９８３０（ＵＳ，Ｂ１）
【文献】米国特許出願公開第２０１１／１６７３５３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０２３４０７６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １１／６０
Ｈ０４Ｎ １／３８７
Ｇ０６Ｆ ３／０４８３
(57)【特許請求の範囲】
【請求項1】
第１のアルバムと第２のアルバムとを含む複数のアルバムに関する情報であるアルバム情報を取得する取得手段と、前記第１のアルバムに対して、前記複数のアルバムで共通の内容である第１の種別のページを追加する指示を受け付けたことに従って、前記第１のアルバムと前記第２のアルバムの双方の同じページ位置に前記第１の種別のページを追加し、
前記第１のアルバムに対して、前記複数のアルバムのそれぞれで異なる内容であることが許容される第２の種別のページを追加する指示を受け付けたことに従って、前記第１のアルバムの第１のページ位置に前記第２の種別のページを追加し、かつ、前記第２のアルバムのうち前記第１のページ位置とは異なる第２のページ位置に、前記第２の種別のページを追加するように制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記第１の種別のページは、前記第１のアルバムと前記第２のアルバムとで同じ画像が同じ配置でレイアウトされるページであることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記第２の種別のページは、前記第１のアルバムと前記第２のアルバムとで配置される画像またはレイアウトが異なるページであることを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記第２の種別のページは、アルバム毎に設定された主被写体に基づいて選択された画像が配置されるページであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項5】
前記第１の種別のページと前記第２の種別のページはいずれも見開きページであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項6】
前記アルバム情報は、アルバムデータを自動で作成するアルバム作成アプリケーションによって作成された情報であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項7】
第１のアルバムと第２のアルバムとを含む複数のアルバムに関する情報であるアルバム情報を取得する取得ステップと、前記第１のアルバムに対して、前記複数のアルバムで共通の内容である第１の種別のページを追加する指示を受け付けたことに従って、前記第１のアルバムと前記第２のアルバムの双方の同じページ位置に前記第１の種別のページを追加し、
前記第１のアルバムに対して、前記複数のアルバムのそれぞれにおいて異なる内容である第２の種別のページを追加する指示を受け付けたことに従って、前記第１のアルバムの第１のページ位置に前記第２の種別のページを追加し、かつ、前記第２のアルバムのうち前記第１のページ位置とは異なる第２のページ位置に、前記第２の種別のページを追加するように制御する制御ステップと、
を有することを特徴とする画像処理装置の制御方法。
【請求項8】
少なくとも１つのコンピュータを、請求項１乃至６のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【請求項9】
少なくとも１つのコンピュータを、請求項１乃至６のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アルバム作成をする技術に関する。
【背景技術】
【0002】
デジタルカメラの普及に加え、スマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザの写真撮影枚数が急激に増加している。特許文献１では、複数のユーザが共同でアルバムを作成する方法が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－６６３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、一人のアルバムに見開きを追加した場合に、他の人のアルバムと見開き数が一致しなくなるため不公平となる。
【0005】
本発明は、複数のアルバムの見開き数を合わせることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る画像処理装置は、第１のアルバムと第２のアルバムとを含む複数のアルバムに関する情報であるアルバム情報を取得する取得手段と、前記第１のアルバムに対して、前記複数のアルバムで共通の内容である第１の種別のページを追加する指示を受け付けたことに従って、前記第１のアルバムと前記第２のアルバムの双方の同じページ位置に前記第１の種別のページを追加し、前記第１のアルバムに対して、前記複数のアルバムのそれぞれで異なる内容であることが許容される第２の種別のページを追加する指示を受け付けたことに従って、前記第１のアルバムの第１のページ位置に前記第２の種別のページを追加し、かつ、前記第２のアルバムのうち前記第１のページ位置とは異なる第２のページ位置に、前記第２の種別のページを追加するように制御する制御手段と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、複数のアルバムの見開き数を合わせることができる。
【図面の簡単な説明】
【0008】
【図1】本発明に係るアプリケーションを実行可能なハードウェアブロック図である。
【図2】アルバム作成アプリケーションのソフトウェアブロック図である。
【図3】画像レイアウトを説明する図である。
【図4】アプリケーションが表示する表示画面の図である。
【図5】自動レイアウトの処理フロー図である。
【図6】画像群分割を説明する図である。
【図7】シーン分類を説明する図である。
【図8】画像選択を説明する図である。
【図9】テンプレート選択のブロック図である。
【図10】テンプレート選択の処理フロー図である。
【図11】画像レイアウトを説明する図である。
【図12】見開き結合のブロック図である。
【図13】見開き結合の処理フロー図である。
【図14】アルバム編集アプリケーションのソフトウェアブロック図である。
【図15A】アルバムの編集画面の例を説明する図である。
【図15B】アルバムの編集画面の例を説明する図である。
【図16】見開き追加の例を示す図である。
【図17】アルバム編集部の詳細を示すブロック図である。
【図18】見開き追加ＵＩを示す図である。
【図19】見開き追加を実行する処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を用いて詳細に説明する。
【0010】
（実施形態１）
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを生成する。このアルバムデータを印刷することで印刷物として複数のアルバムを作成することができる。本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。各アルバムは、例えば、特に強調してレイアウトする被写体（主被写体という）ごとに異なる構成の個別の見開きをそれぞれ有する。各アルバムを構成する見開きの総数（総見開き数と呼ぶ）は、アプリを操作するユーザの指定に従い全アルバムで同一である。但し、アルバム毎の共通見開きと個別見開きとのそれぞれの数は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べられる。
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを生成する。このアルバムデータを印刷することで印刷物として複数のアルバムを作成することができる。本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。各アルバムは、例えば、特に強調してレイアウトする被写体（主被写体という）ごとに異なる構成の個別の見開きをそれぞれ有する。各アルバムを構成する見開きの総数（総見開き数と呼ぶ）は、アプリを操作するユーザの指定に従い全アルバムで同一である。但し、アルバム毎の共通見開きと個別見開きとのそれぞれの数は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べられる。
【0011】
個別の見開きを用いることで、作成される複数のアルバムは、各主被写体に部分的に特化したアルバムとなる。つまり、本実施形態で作成される複数のアルバムは、同一の画像が同一のレイアウトで全ての見開きに配置されているような、完全に同一のアルバムにならないことを想定している。尚、結果として、作成される複数のアルバムのうちの一部のアルバム同士が完全に同一のアルバムとなってもよい。
【0012】
また、本実施形態では、共通見開きと個別見開きとを含むように作成されたアルバムのアルバムデータを、ユーザが編集することができる。以下の説明では、大別して、アルバムデータを自動で生成する処理と、生成されたアルバムデータをユーザが編集する処理とに分かれている。ユーザが編集する処理においても、自動で処理が行われる。まず、アルバムデータを自動で生成する処理の構成を説明する。その後、生成されたアルバムデータをユーザが編集する処理を説明する。
【0013】
＜＜アルバムデータの生成処理＞＞
＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。
＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。
【0014】
図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらの部品は、データバス１０９により接続されており、相互にデータを送信または受信することができる。
【0015】
ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。
【0016】
ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイルまたは画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、アルバム作成アプリと呼ばれることもあり、図２等を用いて後述する。
【0017】
ディスプレイ１０５は、本実施形態のユーザインターフェイス（以下ＵＩ）または画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの見開き数を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。
【0018】
データ通信装置１０８は、プリンタまたはサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトされた結果であるアルバムデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタまたはサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。
【0019】
＜画像処理装置のソフトウェア構成について＞
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、自動レイアウト処理部２０２により提供される自動レイアウト機能を説明する。
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、自動レイアウト処理部２０２により提供される自動レイアウト機能を説明する。
【0020】
図２に示すように、このアプリは、アルバム作成条件設定部２０１と、自動レイアウト処理部２０２と、アルバム表示部２１４と、アルバム情報保持部２１５と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容および属性などに基づいて分類および選択した上でレイアウトして、アルバムデータを生成する機能である。生成されたアルバムデータは、ディスプレイ１０５に表示される。
【0021】
アルバム作成条件設定部２０１は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部２０２に設定する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、１冊のアルバムあたりの総見開き数、アルバムの商材、アルバムの冊数、及びアルバム毎の主被写体を設定する。画像群の設定は、例えば撮影日時など個別の画像データの付随情報または属性情報を用いて設定してもよいし、デバイスまたはディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。この画像群は、各主被写体となり得る各ユーザからの画像データを保存している保存先としてもよいし、特定のユーザが集めた画像データを保存している保存先であってもよい。尚、「見開き」とは、例えば表示においては一つの表示用ウィンドウに相当し、印刷物においては、本を開いた際にユーザが一度に鑑賞可能な互いに隣接する１対のページ（つまり２ページ分）に相当する。なお、見開き内の２ページは、それぞれ異なる用紙に印刷されたものが隣接するよう綴じられることで見開きを形成する場合と、１枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。ここでは、このような見開きの概念を用いて説明するが、ページでもよい。また、主被写体とは、アルバム中で特に強調してレイアウトする被写体である。例えば特定の個人、犬、猫、花、料理といった物体のカテゴリ、または、オブジェクトもしくは画像全体の色味等が挙げられる。ここでは、説明のため人物を主被写体とする。
【0022】
ここで、本実施形態で作成するアルバムについて、図３を用いて説明する。本実施形態では、アルバム作成条件設定部２０１により設定されたアルバムの冊数及びアルバム毎の主被写体に基づき、複数の異なるバリエーションのアルバムが作成される。図３の例では、複数の異なるバリエーションのアルバムとして、アルバム１、アルバム２、及びアルバム３が作成されている。
【0023】
各アルバムは、複数の異なるバリエーションのアルバム間で同じ画像が同じ配置でレイアウトされている「共通見開き」と、他のアルバムとは異なる画像または配置でレイアウトされている「個別見開き」とで構成される。図３の例では、アルバム１～アルバム３は夫々、共通見開き３０２を含む。一方、アルバム１は個別見開き３０３を含み、アルバム２は個別見開き３０４を含み、アルバム３は個別見開き３０５を含む。
【0024】
画像３０１は見開きに配置された画像であり、画像３０１中の文字は画像中に写っている主被写体を表している。図３に示すように、共通見開き３０２には、複数の主被写体が写っている画像が含まれる。一方、個別見開き３０３には、主被写体Ａのみが写っている画像が含まれるといった具合に、個別見開き３０３～３０５には夫々、特定の主被写体のみが写っている画像が含まれる。このように、本実施形態で複数のアルバムを作成する場合、該複数のアルバムが夫々、異なる基準で作成された見開きを含む。即ち、異なる基準で作成されることで、その作成された結果の見開きも、異なる見開きになっている。
【0025】
自動レイアウト処理部２０２は、画像取得部２０３、画像解析部２０４、主被写体設定部２０５、シーン分割部２０６、シーン分類部２０７、画像得点部２０８、見開き作成パラメータ生成部２０９、及び見開き作成部２１０を有する。また、見開き結合部２１１、レイアウト情報出力部２１２、及びアルバム情報出力部２１３を有する。
【0026】
画像取得部２０３は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０１により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際のレイアウト候補となる画像群を指す。例えば、撮影日時として、ＸＸ年１月１日～ＸＸ年１２月３１日が指定された場合は、ＸＸ年１月１日～ＸＸ年１２月３１日に撮影された画像全てが、レイアウト候補の画像群に該当する。ＨＤＤ１０４に保存されている画像としては、静止画像、又は、動画から切り出された切り出し画像などが挙げられる。静止画像または切り出し画像は、デジタルカメラ又はスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、画像取得部２０３は、データ通信装置１０８を介して画像を取得する。また、静止画像または切り出し画像は、外部のネットワークまたはサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークまたはサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、ＣＰＵ１０１はＯＳのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、画像取得部２０３が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。
【0027】
画像解析部２０４は、画像取得部２０３が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、顔検出、検出した顔の表情認識、及び検出した顔の個人認識を実行する。さらに、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、画像解析部２０４が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。
【0028】
主被写体設定部２０５は、アルバム毎に強調する主被写体を設定する。本実施形態では、主被写体設定部２０５は、アルバム作成条件設定部２０１から送られた、アルバム毎に強調する主被写体の情報を取得する。
【0029】
画像得点部２０８は、アルバム作成条件設定部２０１により設定されたアルバム作成条件および画像解析部２０４で導出した解析情報に基づき、各画像に対して得点付けを行う。本実施形態では、レイアウトに適した画像が高得点になるように各画像に対して得点付けを行う。レイアウトに適した画像が高得点になるように得点付けを行う際は、画像の解析情報、画像の分類結果、画像情報、またはアルバム作成条件などを用いる。但し、他の情報を付加的に或いは代替的に用いてもよい。レイアウトに適した画像とは、例えばコントラストが高い、もしくは、エッジがシャープである、といった審美性が高い画像、または、人、動物、もしくは建造物などの主題となる被写体（いわゆる主被写体）が大きく写っている画像が挙げられる。さらに、画像得点部２０８は、主被写体設定部２０５が設定した主被写体毎の得点付けも行う。例えば、非常に審美性が高い画像であっても、設定した主被写体が写っていない画像については、得点を低くする一方、逆光のような撮影状態の悪い画像であっても、設定した主被写体が大きく写っている画像については、得点を高くする。
【0030】
シーン分割部２０６は、画像解析部２０４で導出した解析情報を用いて、画像取得部２０３で取得した画像群をシーン毎に分ける。ここでいう「シーン」とは、解析情報に応じてグルーピングした画像のまとまり（サブ画像群）を意味する。例えば、撮影時間の異なる２枚の画像に関し、シーン分割部２０６は、撮影時間の差が所定の閾値以下の画像を同じシーンと判定したり、写っている人物または背景が同じ画像を同じシーンと判定したりする。
【0031】
シーン分類部２０７は、シーン分割部２０６により得られたシーン毎に該当するカテゴリを判定する。シーンのカテゴリとして、例えば、屋内もしくは屋外といったシチュエーション、または、旅行もしくは結婚式といった画像を撮影した時のイベント等が挙げられる。
【0032】
見開き作成パラメータ生成部２０９は、主被写体設定部２０５で設定された主被写体と画像解析部２０４で導出した解析情報とに基づき、見開きを作成するためのパラメータを複数生成する。複数のパラメータには、例えば、共通見開き用のパラメータと、個別見開き用のパラメータとが含まれる。ここでいうパラメータとは、見開きの作成基準を決定づける設定値である。このようなパラメータとして、例えば、見開きに使用する画像を選択する際に用いられる、画像得点部２０８で得られた得点の優先度を決める重みまたは閾値が挙げられる。これは、主被写体設定部２０５で設定した主被写体が写っている画像の中から、特定の主被写体のみが写っている画像を優先するのか、或いは、２つ以上の主被写体が写っている画像を優先するのかを選択する設定値である。複数のパラメータを用いることで、アルバム毎の見開きによって、作成基準が変化する。また、見開き作成パラメータには、その画像が見開きに配置された場合の、見開き内での関係性等を考慮した得点を求めるパラメータが含まれる。
【0033】
ここで、見開きに使用する画像を選択する際の画像単体での得点を求めるためのパラメータを、便宜上、第一パラメータといい、見開き内に配置される場合の関係性等を考慮した得点を求めるためのパラメータを便宜上、第二パラメータという。この場合、後述する見開き作成部２１０では、まず、第一パラメータに応じて見開きに使用する候補画像が選択される。そして、見開き作成部２１０では、第二パラメータに応じて、候補画像の中から見開きに適した画像およびテンプレートなどが決定されることになる。ここでは便宜上、第一パラメータおよび第二パラメータに分けたが、これらを総合的に加味したパラメータを、見開き作成パラメータと総称する。
【0034】
見開き作成部２１０は、見開き作成パラメータ生成部２０９が生成したパラメータに従って、見開きで使用する画像を選択および配置することで、見開きデータを作成する。例えば見開き作成部２１０は、第一パラメータに従った候補画像を選択する。第一パラメータは、前述したように、設定された主被写体ごとに重みを変えるパラメータである他、所定の優先度に応じた重みを付与するパラメータでもある。優先度の例としては、トリミングの有無に応じた優先度を考慮してもよい。たとえば、共通見開きでの主被写体は複数人であることが多いため、主被写体が省かれないためにトリミングを行わないサイズの画像を優先してもよい。個別見開きでは主被写体は１人の為、主被写体がアップになるようにトリミングを行うことがあると考えられるためトリミングを行う画像の優先度を下げなくてもよい。
【0035】
尚、このような優先度は、予め決定されていてもよいし、ユーザが適宜設定してもよい。優先度に応じた重みまたは閾値を用意しておくことで、ユーザは、各種の情報の優先度を変えることで、パラメータを変えることができる。また、このような優先度は、上述した情報の他、各種の情報を考慮した優先度としてよい。各種の情報としては、画像のシーンの情報、主被写体以外の物体数の情報、主被写体以外の人数、解像度、または背景などが挙げられる。
【0036】
そして、見開き作成部２１０は、このようにして求めた候補画像の得点に、第二パラメータを適用した得点を求め、見開き内に配置される画像の得点の合計が高くなるような見開きを作成する。見開き内に配置される画像の合計を、見開きの得点という。第二パラメータは、見開き内での関係性を考慮したパラメータであり、例えば、同一見開き内で一定の時間間隔の画像が使用されること優先したり、スロットサイズに応じた重みを付与したりすることができる。
【0037】
前述したように、見開き作成パラメータ（第一パラメータおよび第二パラメータ）は、共通見開き用と個別見開き用とでそれぞれ異なるパラメータとなる。これにより、異なる見開き基準で画像選択が行われるので、共通見開きと個別見開きとで、異なる見開きが作成されるようになる。
【0038】
見開き結合部２１１は、見開き作成部２１０が作成した見開きデータを結合する。具体的には、見開き作成部２１０により作成された各見開きの順番を決定することで、アルバム全体のレイアウトを作成する。
【0039】
レイアウト情報出力部２１２は、見開き結合部２１１が作成したアルバム全体のレイアウトに従って、アルバムデータを出力する。アルバムデータは、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。
【0040】
アルバム情報出力部２１３は、アルバム生成に用いたアルバム情報を出力する。アルバム情報には、例えば、アルバム構成情報およびアルバム生成情報が含まれる。アルバム構成情報は、使用画像情報、画像の配置情報、テンプレート情報、スロットの形状およびサイズ情報、背景色情報、トリミング情報、テキストまたはスタンプの編集情報、共通・個別ページ情報などのように、といったアルバムを構成する構成情報である。アルバム生成情報は、アルバム作成条件、画像の解析情報、得点情報、またはシーン情報のようなアルバムデータの生成の際に用いた生成情報である。尚、このアルバム生成情報でアルバムを生成すると同じアルバムを生成することができる。アルバム情報に、アルバムデータそのものが含まれていてもよい。この情報はアルバム単位で出力される。
【0041】
アルバム表示部２１４は、レイアウト情報出力部２１２が出力したビットマップデータをディスプレイ１０５に表示する表示制御を行う。
【0042】
アルバム情報保持部２１５は、アルバム情報出力部２１３が出力したアルバム情報を受け取り保持する。アルバム情報保持部はアルバム編集などでアルバムが更新された場合には更新に合わせたアルバム情報を受け取り保持する。ここでのアルバム情報とは、前述したアルバム構成情報とアルバム生成情報の他、アルバム変更情報が含まれる。アルバム変更情報の例としては、アルバム編集のユーザ操作履歴でもよいし、アルバムの編集により変更された差分情報でもよい。これらの情報は、アルバム単位で保持される。
【0043】
本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。なお、アプリケーションは、別の形態でも良く、例えば画像処理装置１００で動作するブラウザ内で画面等を表示するＷｅｂアプリでも良い。
【0044】
＜ＧＵＩ画面について＞
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面について、図４を用いて説明する。図４は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面４０１を示す図である。ユーザは、ＧＵＩ画面４０１を介して、アルバムの作成条件を設定することができる。
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面について、図４を用いて説明する。図４は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面４０１を示す図である。ユーザは、ＧＵＩ画面４０１を介して、アルバムの作成条件を設定することができる。
【0045】
ＧＵＩ画面４０１は、アルバムに含ませる写真画像の設定部として、パスボックス４０２及びフォルダ選択ボタン４０３を有する。パスボックス４０２は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示すためのボックスである。フォルダ選択ボタン４０３は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザがフォルダ選択ボタン４０３をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス４０２に表示される。
【0046】
見開き数ボックス４０４は、１冊のアルバムにおける総見開き数を指定するためのボックスである。ユーザは、キーボード１０６を使って見開き数ボックス４０４に直接数字を入力したり、マウス１０７を使ってリストから見開き数ボックス４０４に数字を入力したりすることができる。アルバム数ボックス４１０は、作成するアルバム冊数を指定するためのボックスである。
【0047】
主被写体指定部４０５は、アルバム数ボックス４１０に入力した数のアルバムそれぞれに対して、強調する主被写体を指定するための要素である。例えば、ユーザはマウス１０７を用いて、主被写体が写っている画像を主被写体指定部４０５にドラッグ＆ドロップすることで、主被写体を指定することができる。例えば、図３で上述したＡさん、Ｂさん等が指定される。
【0048】
見開き写真枚数設定部４０６は、作成するアルバムの各見開きに配置する画像の枚数を設定するためのスライダーバーである。スライダーが「多」側に移動されると、各見開きに配置する画像の枚数が増える。一方、スライダーが「少」側に移動されると、各見開きに配置する画像の枚数が減る。
【0049】
商材指定部４０７は、作成するアルバムの商材を設定するための要素である。設定する商材に関する具体的な項目としては、アルバムのサイズまたはアルバムの用紙種類を採用することができる。表紙種類または綴じ部の種類を設定してもよい。
【0050】
ＯＫボタン４０８は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン４０８をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０１を介して、自動レイアウト処理部２０２にアルバム作成条件が伝えられる。具体的に説明すると、パスボックス４０２に入力されているパスの情報は、画像取得部２０３に伝えられる。また、見開き数ボックス４０４に入力されている総見開き数の値は、見開き作成部２１０に伝えられる。アルバム数ボックス４１０に入力されているアルバム数の値および主被写体指定部４０５で指定されている主被写体の情報は、見開き作成パラメータ生成部２０９に伝えられる。
【0051】
リセットボタン４０９は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。
【0052】
＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図５（ａ）を用いて説明する。図５（ａ）は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図５（ａ）～（ｃ）に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２またはＲＡＭ１０３に読み出して実行することにより実現される。
以下、本実施形態における自動レイアウト処理について、図５（ａ）を用いて説明する。図５（ａ）は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図５（ａ）～（ｃ）に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２またはＲＡＭ１０３に読み出して実行することにより実現される。
【0053】
ステップＳ５０１において、アルバム作成条件設定部２０１は、アルバム作成条件を設定する。尚以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、見開き数、アルバム数、アルバム毎の主被写体、各見開きに配置する画像枚数の多寡、およびアルバムを作成する商材を設定する（図４参照）。
【0054】
Ｓ５０２において、画像取得部２０３は、Ｓ５０１で設定されたアルバムに使用する画像群に関する条件を満たす画像を、ＨＤＤ１０４から読み込む。そして、画像取得部２０３は、読み込んだ画像をＲＡＭ１０３に展開する。
【0055】
Ｓ５０３において、画像解析部２０４は、Ｓ５０２でＲＡＭ１０３に展開された画像を解析する。ここで、本ステップの画像解析について、図５（ｂ）を用いて説明する。
【0056】
Ｓ５０３０１において、画像解析部２０４は、画像取得部２０３が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。
【0057】
Ｓ５０３０２において、画像解析部２０４は、画像取得部２０３が取得した画像データに対する画質の特徴量を導出する。画質の特徴量としては、例えば、ピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。
【0058】
Ｓ５０３０３において、画像解析部２０４は、画像取得部２０３が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。Ｓ５０３０３では、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬または猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、および料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、または置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを検出（分類）するケースを説明したが、ニューラルネットワーク等の学習済モデルを用いてオブジェクト検出（分類）を行ってもよい。
【0059】
Ｓ５０３０４において、画像解析部２０４は、画像解析部２０４が検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。画像解析部２０４は、複数の代表顔画像のそれぞれに対して、処理対象の画像内の顔画像との類似性を取得する。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。
【0060】
図５（ａ）の説明に戻る。Ｓ５０４において、画像解析部２０４は、Ｓ５０１で設定された条件を満たす画像群の全画像に対して、Ｓ５０２からＳ５０３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５０５に進む。一方、該判定結果が偽の場合、Ｓ５０２に戻る。
【0061】
Ｓ５０５において、シーン分割部２０６は、画像取得部２０３が取得した画像群に対して、シーン分割を実行する。シーン分割とは、取得した画像群を、画像情報を用いて複数のサブ画像群に分けることを指す。具体的には、Ｓ５０３０１で取得済みの撮影日時の情報を画像情報として用いて、画像間の撮影日時の時間差に基づいて画像群を複数に分割する。実際の分割の例は以下の通りである。
【0062】
画像群のうち、最も撮影時間が古い（または新しい）画像に最初に着目し、その次に古い（または新しい）画像との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。このような処理を、着目画像を撮影時間が新しい（或いは古い）ものに順次置き換えながら、全ての画像に対して行う。尚、本実施形態における「分割」とは、２つの画像間を境に撮影時間の新しい方と古い方とで画像群を分割するという意味である。本実施形態では、着目画像の撮影時間とその次に古い（または新しい）画像の撮影時間との間の差分が１６時間以上の場合は、画像群を分割して、これらの画像が異なるサブ画像群に属するようにする。尚、分割の際に用いる時間差の閾値は、これに限定されるものではない。図６は、上述したシーン分割方法を用いて、画像群を分割した結果を示している。
【0063】
また、本実施形態では、撮影日時の情報を用いてシーン分割を行ったが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のシーンに属するように、画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ（クラスまたは部活等）に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を１つのシーン（サブ画像群）としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを１つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名、または、ソーシャルネットワーキングサービス等で付けたタグ情報を画像に付随するメタ情報として取得する。例えば、「運動会」または「修学旅行」などの検索ワードによって、検索ワードを含むメタ情報を持つ画像群を１つのシーンとする。検索ワードの指定に関しては、アルバム作成条件設定部２０１を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。
【0064】
Ｓ５０６において、シーン分類部２０７は、Ｓ５０５で得たサブ画像群の夫々に対して、シーン分類を行う。尚、以下では、各サブ画像群（各シーン）を「旅行」、「日常」、および「セレモニー」の３つカテゴリの何れかに分類する場合を例に挙げて説明するが、分類する項目はこれらに限定されるものではない。
【0065】
まず、旅行、日常、およびセレモニーのうち何れに分類されるかを予め判定されたサブ画像群を複数取得し、該取得した複数のサブ画像群の夫々についての、撮影の特徴量を取得する。ここで取得する撮影の特徴量とは、例えば、撮影期間、撮影枚数、および撮影人数である。撮影期間は、サブ画像群に含まれる画像のうち最も古い画像の撮影時間と最も新しい画像の撮影時間との間の時間差である。撮影枚数は、サブ画像群に含まれる画像の数（つまり写真の枚数）である。撮影人数は、顔が写っている画像における顔の数であり、１つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、及び、１画像あたりの人数の平均値と標準偏差を求める。尚、本実施形態では、１画像あたりの顔の数を、１画像あたりの人数とする。
【0066】
図７は、複数のサブ画像群に対して求めた、撮影期間（時間）の平均と標準偏差、撮影枚数の平均と標準偏差、及び、１画像あたりの人数の平均と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。つまり、アプリケーションの設計段階で、予め集めた画像を用いた学習によってパラメータを生成し、該生成したパラメータをプログラムに組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス４０２を介して指定した画像群に対するＳ５０５での分割の結果得られたサブ画像群毎に、撮影期間と、撮影枚数と、１画像あたりの人数とのそれぞれの平均値を算出する。そして、シーン毎に、前述したアプリに予め組み込まれたパラメータ（具体的には、各サブ画像群の撮影期間、撮影枚数、及び撮影人数の特徴量についてのそれぞれの平均値と標準偏差）を用いて、以下の式に従って得点を算出する。
シーン毎且つ特徴量毎の得点＝５０－｜１０×（シーン毎且つ特徴量毎の平均値－サブ画像群毎の特徴量）／シーン毎且つ特徴量毎の標準偏差｜・・・式（１）
シーン毎の平均得点＝（シーン毎の撮影期間の得点＋シーン毎の撮影枚数の得点＋シーン毎の撮影人数の得点）／特徴量の項目数・・・式（２）
シーン毎且つ特徴量毎の得点＝５０－｜１０×（シーン毎且つ特徴量毎の平均値－サブ画像群毎の特徴量）／シーン毎且つ特徴量毎の標準偏差｜・・・式（１）
シーン毎の平均得点＝（シーン毎の撮影期間の得点＋シーン毎の撮影枚数の得点＋シーン毎の撮影人数の得点）／特徴量の項目数・・・式（２）
【0067】
式（１）により、着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンについて、撮影期間と、撮影枚数と、撮影人数とのそれぞれの得点が求められる。これらの得点を式（２）により平均化して、旅行シーンに対する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上説明した手法により、旅行シーンの平均得点と、日常シーンの平均得点と、セレモニーシーンの平均得点とが、サブ画像群毎に算出される。尚、式（２）における特徴量の項目数は３である。
【0068】
サブ画像群毎に算出したシーン毎の得点のうち最高点のシーンをそのサブ画像群のシーンとして分類する。２以上のシーンが同点の場合は、既定の優先度に従ってシーン分類を行う。例えば、本実施形態では、日常＞セレモニー＞旅行の順に優先することが予め決められており、日常の優先度を最も高くする。尚、優先度の順番はこれに限定されるものではなく、また、ユーザが優先度の順番を変更できるようにしてもよい。
【0069】
図６のサブ画像群（１）～（８）は、画像群に対するシーン分割により得たサブ画像群を示す。これらサブ画像群のうちサブ画像群（５）について、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。これに対する旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は－２９．９２であったとする。その場合、サブ画像群（５）のシーンは旅行に分類される。分類したサブ画像群は、シーン識別ができるようにシーンＩＤを関連付けて管理する。尚、本実施形態では撮影期間、撮影枚数、及び撮影人数を、撮影の特徴量として採用するケースを説明したが、撮影の特徴量はこれらに限らない。例えば、屋内か屋外かを識別するために、機械学習を用いた画像セグメンテーションにより、空が写っているか否か、といったフラグを特徴量として採用してもよい。或いは、セレモニーをさらに細かく分類してもよい。例えば、結婚式と披露宴との何れかに分類する場合、個人認識結果を用いて全画像中で最も多く写っている上位二人を新郎新婦とする。そして、新郎新婦のみが写っている画像が多いシーンを結婚式と分類し、新郎新婦以外の人も共に写っている画像が多いシーンを披露宴と分類してもよい。さらには、特徴量を機械学習によって導出してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて入力を画像とし、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。
【0070】
Ｓ５０７において、主被写体設定部２０５は、アルバム毎の主被写体を設定する。本実施形態では、主被写体設定部２０５は、アルバム作成条件設定部２０１から送信された、アルバム毎の主被写体の情報を取得する。本実施形態では、全般的に、３種類のアルバムを作成する例を説明しているが、ここでは説明を簡潔にするため、２種類のアルバムに対して、アルバム１に主被写体Ａ、アルバム２に主被写体Ｂを設定した例を説明する。
【0071】
Ｓ５０８において、画像得点部２０８は、各画像に対する得点付けを行う。この処理を画像得点化処理と呼ぶ。本ステップで導出する「得点」とは、アルバムへの使用適性を評価するためのパラメータであり、画像データ毎に後述する観点で評価した得点が付けられ、後述の画像選択時に参照される。本実施形態では、画質の良し悪しに加えて、Ｓ５０７で設定した主被写体毎の得点を付ける。まず、Ｓ５０３０２で導出した画質の特徴量に応じた得点を付ける。ここでは、ピント量が○（好適）なら１点、△（許容できる）なら０．５点、×（許容できない）なら０点とする。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質の特徴量としてピント量を採用したが、画質の特徴量はこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。
【0072】
画質の特徴量に応じた得点を付けた後、画像得点部２０８は、設定した主被写体毎の得点を付ける。つまり本例では、１つの画像に対して３種類の得点、具体的には、画質が良いか、主被写体Ａが写っているか、主被写体Ｂが写っているか、という３つの観点で評価した得点が付けられる。主被写体毎の得点付けには、Ｓ５０３０３で導出した顔のサイズおよびＳ５０３０４の個人認識結果を用いることができる。画像中に主被写体が写っていない場合は０点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ５０３０３でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行う。以上の処理の結果、例えば、１つ目の画像に対して、画質の点数、主被写体Ａの点数、主被写体Ｂの点数が算出される。例えば主被写体Ａが写っていて主被写体Ｂが写っていない画像には、画質が１点、主被写体Ａの点数が１点、主被写体Ｂの点数が０点のように各観点で点数が算出される。
【0073】
Ｓ５０９において、画像得点部２０８は、画像取得部２０３が取得した画像群の全画像に対してＳ５０８の得点付けが完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１０に進む一方、該判定結果が偽の場合、Ｓ５０８に戻る。
【0074】
Ｓ５１０において、見開き作成パラメータ生成部２０９は、アルバム作成条件設定部２０１からアルバム作成条件を受け取ると共に、主被写体設定部２０５からアルバム毎の主被写体の情報を受け取って、見開き作成パラメータを生成する。見開き作成パラメータとは、前述したように、見開きを構成する画像の選択およびレイアウトを行う際に使用する設定値のことである。例えば、Ｓ５０８で画像に付けた得点に基づいて見開きに使用する画像を選択する際、画質に応じた得点と各主被写体の得点とのうちどの得点を優先するかを制御する重み、または、画像選択の基準となる閾値などを生成する。見開き作成パラメータ生成部２０９は、見開き作成パラメータとして、全てのアルバムに共通する「共通パラメータ」と、アルバム毎に異なる「個別パラメータ」とを生成する。即ち、見開き作成パラメータ生成部２０９は、（アルバム数＋１）個の見開き作成パラメータを生成する。これにより、見開きを構成する画像および配置が同一の見開きが、複数のアルバムにおいて出現する「共通見開き」と、見開きを構成する画像および配置が特定のアルバムにおいてのみ出現する「個別見開き」とを作成できる。そして、このような見開き作成パラメータ（第一パラメータ）を用いて、Ｓ５０９で画像に付けられた各得点（本例では、３種類の得点）から画像を代表する得点が、見開き作成部２１０において求められることになる。即ち、１つの画像に対して、見開き作成パラメータの数分の得点がそれぞれ求められる。そして、そのようにして求められた得点を用いて、見開きに配置される画像が選択されることになる。例えば、見開きを作成する際において、ある画像Ｘに対して、共通パラメータを用いて得られる得点と、個別パラメータを用いて得られる得点とが異なることになる。以下、見開き生成パラメータと、見開き生成パラメータを用いた、見開きを作成する際の画像の得点の導出例とを説明する。
【0075】
本実施形態では、共通パラメータには、画像に付けられた各得点が均等に評価される重みを設定する。共通パラメータｗiを用いた際の、ある画像Ｉを代表する得点IｓｃｏｒｅSを以下の式（３）で表す。
【0076】
【数1】
【0077】
ここで、Iｓｃｏｒｅiは画像Ｉに付けられたｉ番目の得点、ｗiは各得点に対する重みを表す。本実施形態では、ｗi＝１／３に設定することで、画質の得点、主被写体Ａの得点、主被写体Ｂの得点を均等に評価する。これにより、画質がよく、且つ、より得点の高い人が多く写っている画像が優先される。ここでは、画質の得点には、前述したトリミングの有無などの優先度に応じた得点が反映されているものとする。
【0078】
一方、個別パラメータには、アルバム毎の主被写体が写っている画像を優先する重みを設定する。個別パラメータｗoを用いた際の、ある画像Ｉを代表する得点IｓｃｏｒｅIを以下の式（４）で表す。
【0079】
【数2】
【0080】
ここで、Iｓｃｏｒｅqは画像Ｉに付けられた画質の得点、Iｓｃｏｒｅoは画像Ｉに付けられた主被写体Ｏの得点、ｗqは画質の得点に対する重み、ｗoは主被写体Ｏに対する重みを表す。本実施形態では、ｗq＝ｗo＝１に設定することで、主被写体が写っている画像のみを評価し、画質と主被写体の大きさにより優先される画像が決まる。尚、本実施形態では見開き作成パラメータとして得点に対する重みを用いたが、見開きパラメータはこれに限らない。また、IｓｃｏｒｅSとIｓｃｏｒｅIとは共に主被写体が写っている場合に得点が高くなるように求めたが、これに限らない。風景のような主被写体が全く写っていない画像については、別途画質の得点または画像情報などに基づいて、得点を算出してもよい。例えば、得点が高い画像との撮影時間の差が小さい画像については、画質の得点を代表得点としてもよい。これにより、主被写体が写っている画像と関連性がある可能性が高い画像にも高得点を付けることができる。また、これらの関連性などを、重みとして特定して、得点を求めてもよい。
【0081】
Ｓ５１１において、見開き作成部２１０は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きデータを作成する。見開き作成部２１０は、見開きの得点が高くなるように、見開きデータを作成する。見開きの得点とは、前述したように、見開き内の各画像の得点の合計の得点である。即ち、第一パラメータに従って得られた各画像の得点に、第二パラメータを掛け合わせることで得られた得点の合計である。尚、前述したように、見開きの得点は、例えば、画像が配置されるスロットの大きさに応じた重みを画像の得点に掛け合わせた結果の合計となる。本例では、まず候補画像を決めた後に、スロットおよび配置を含むレイアウトが行われる。この結果、見開きとしての得点が高い見開きが作成される。ここで、本ステップの見開き作成処理について、図２（ｂ）及び図５（ｃ）を用いて説明する。図２（ｂ）は、見開き作成部２１０の詳細なブロック図である。図５（ｃ）は、Ｓ５１１における見開き作成の詳細なフローチャートである。
【0082】
Ｓ５１１０１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成したパラメータのうち１つを読み込む。本実施形態では、アルバム１の個別パラメータ、アルバム２の個別パラメータ、共通パラメータの順に読み込む。
【0083】
Ｓ５１１０２において、見開き候補画像取得部２１００２は、Ｓ５０８で付けられた得点と、Ｓ５１１０１で設定された見開き作成パラメータとに基づき、画像取得部２０３が取得した全画像群の中から、見開きに使用する候補画像を取得する。本実施形態では、Ｓ５０８で求めた得点と、Ｓ５１１０１で設定された見開き作成パラメータとに基づき、前述のように、式（３）または式（４）に従い、各画像に対する得点付けを再び行う（画像の再得点化）。そして、再得点化の結果得られる得点が所定の閾値以上となる画像を候補画像として取得する。つまり、本例の１回目のＳ５１１０２では、アルバム１の個別パラメータを適用した場合の各画像の再得点化が行われる。そして、アルバム１の個別パラメータを適用した場合の得点が所定の閾値以上となる画像が候補画像として取得される。候補画像がない場合は、最も得点が高い画像を候補画像とする。尚、ここでは全画像群から候補画像を取得したが、これに限らない。後述する画像選択処理で既に選ばれた画像は除外してもよい。
【0084】
Ｓ５１１０３において、見開き数設定部２１００３は、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータか判定する。本ステップの判定結果が真の場合、Ｓ５１１０４に進む一方、該判定結果が偽の場合、Ｓ５１１０５に進む。
【0085】
Ｓ５１１０３でＹＥＳの場合（つまり、直近のＳ５１１０１で個別パラメータが設定された場合）、Ｓ５１１０４に進む。Ｓ５１１０４において、見開き数設定部２１００３は、Ｓ５０５で行ったシーン分割結果と、Ｓ５１１０２で取得した候補画像とに基づき、見開き数（即ち、Ｓ５１１０１で設定された個別パラメータに対応する個別見開き数）を設定する。本実施形態では、以下の式（５）及び式（６）に従って、見開き数を設定する。
シーン毎の見開き数＝ｃｅｉｌ（シーン中の候補画像数÷１見開きあたりの最大画像数）・・・式（５）
個別見開き数＝Σシーン毎の見開き数・・・式（６）
シーン毎の見開き数＝ｃｅｉｌ（シーン中の候補画像数÷１見開きあたりの最大画像数）・・・式（５）
個別見開き数＝Σシーン毎の見開き数・・・式（６）
【0086】
式（５）及び式（６）により、個別パラメータにより作成される見開き数が求まる。１見開きあたりの最大画像枚数は、見開き写真枚数設定部４０６を介するユーザ入力に基づいて設定される。例えば、図６のようにシーンが分割されている場合には、それぞれのシーン中の候補画像数に応じてそれぞれの見開き数が決定される。各シーンには、画像取得部２０３が取得した画像が必ず含まれるが、候補画像（個別パラメータに基づく再得点化の結果取得された候補画像）が、必ずしも含まれるとは限らない。候補画像が含まれないシーンは、当然ながら、この処理（個別パラメータに応じた処理）では、見開き数は０になる。一方で、個別パラメータに対応する主被写体の写っている画像が多く含まれるシーンには、相応の見開き数が割り当てられることになる。尚、個別見開き数が、Ｓ５０１で設定される総見開き数以上になる場合、以下の式（７）に従う。
個別見開き数＝総見開き数－１・・・式（７）
個別見開き数＝総見開き数－１・・・式（７）
【0087】
式（７）により、個別パラメータと共通パラメータという、異なるパラメータで作成された見開きを１アルバム中に混在させることができる。これにより、シーン毎に、主被写体が高画質で写っている画像数に応じて個別見開き数を設定できる。尚、個別見開き数に対する上限値、下限値を設定してもよい。
【0088】
一方、Ｓ５１１０３でＮＯの場合（つまり、直近のＳ５１１０１で共通パラメータが設定された場合）、Ｓ５１１０５において、見開き数設定部２１００３は、以下の式（８）に従って、見開き数を設定する。
共通見開き数＝総見開き数－ＭＩＮ（各アルバムの合計個別見開き数）・・・式（８）
共通見開き数＝総見開き数－ＭＩＮ（各アルバムの合計個別見開き数）・・・式（８）
【0089】
式（８）により、個別見開き数と総見開き数との両方に合わせた共通見開き数を設定できる。尚、式（８）によれば、個別見開き数が一番少ないアルバムの個別見開き数に合わせて共通見開き数が求められる。このため、他のアルバムでは、そのアルバムの個別見開き数に式（８）の共通見開き数を加えると、設定されている総見開き数を超えてしまう。この場合の処理については、後述する見開きを結合する処理において調整が行われることになる。
【0090】
尚、ここでは、候補画像数に応じて見開き数を設定するケースを説明したが、見開き数の設定手法はこれに限らない。例えば、見開き作成パラメータ生成部２０９がパラメータ内に見開き数を設定し、見開き数設定部２１００３はパラメータに設定された見開き数を読み込んでもよい。また例えば、見開き作成パラメータ生成部２０９は、アルバム作成アプリケーションのプログラムに予め組み込んでおいた見開き数を設定してもよいし、ユーザ指定の個別見開きと共通見開きとの比率に基づいて、見開き数を算出してもよい。以上、個別見開き数と共通見開き数との説明を併せて行った。以下では、引き続き、Ｓ５１１０１で設定されたパラメータごとの処理の説明を続ける。
【0091】
Ｓ５１１０６において、見開き割当部２１００４は、Ｓ５１１０２で取得した候補画像（即ち、処理対象の見開き生成パラメータに応じた候補画像）を、Ｓ５１１０４またはＳ５１１０５で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、候補画像をＳ５０３０１で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理をＳ５１１０４またはＳ５１１０５で設定した見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。つまり、図６で説明したような分割を行うが、その際の分割対象の画像群が、Ｓ５１１０２で取得した、処理対象の見開き生成パラメータに応じた候補画像群である点で、図６で説明した例と異なる。なお、Ｓ５１１０６の処理は、シーン単位で行っても良い。例えば、見開き割当部２１００４は、候補画像の中で旅行というシーンが割り当てられた画像を候補時間順に並べて分割する。続いて、見開き割当部２１００４は、日常というシーンが割り当てられた画像を候補時間順に並べて分割する。以上のように、見開き割当部２１００４は、シーンを切り替えながら分割処理を行っても良い。
【0092】
Ｓ５１１０７において、見開き画像選択部２１００５は、Ｓ５１１０６で処理対象の見開きに割り当てられた候補画像群の中から、レイアウトに使用する画像を選択する。この時点では、処理対象の見開きに割り当てられた候補画像群の数は、１見開きあたりの最大画像数よりも多い場合もある。もちろん、同じ場合もあれば少ない場合もある。つまり、レイアウトに使用する画像は、決定されていない状態であるので、Ｓ５１１０７では、レイアウトに使用する画像を選択する処理が行われる。以下、図８を用いて、ある見開きに割り当てられた候補画像群から画像を４枚選択するケースを例に挙げて説明する。
【0093】
図８（ａ）は、見開きに割り当てられた候補画像群に含まれる最初の画像から最後の画像までの撮影日時の時間差、言い換えれば、候補画像群の撮影期間を示す。図８（ｂ）を使って、４枚選択する際の１枚目を選択する方法を説明する。図８（ｂ）に示す候補画像群の撮影期間に撮影された全ての画像のうち、Ｓ５１１０２で再得点化した得点が最も高い画像を、１枚目の画像として選択する。そして、２枚目以降の選択では、候補画像群の撮影期間を細分化して画像を選択することにより、候補画像群の撮影期間の一部に選択画像が集中しないようにする。まず、図８（ｃ）に示すように候補画像群の撮影期間を２分割して、２つの撮影区間（期間）とする。つまり、撮影期間を２等分して２つの撮影区間にする（グループ分けする）。次に、図８（ｄ）に示すように、１枚目の画像が選ばれていない撮影区間（実線の区間）に属する画像の中から得点が最も高い画像を、２枚目の画像として選択する。次に、図８（ｅ）に示すように、図８（ｄ）の各撮影区間をそれぞれ２等分する。図８（ｆ）において、図８（ｅ）の実線で示す撮影区間、即ち、１枚目と２枚目が選ばれていない２つの撮影区間に撮影された画像（２つの撮影区間に対応する画像）のうち得点が最も高い画像を、３枚目の画像として選択する。
【0094】
次に、画像を選択する範囲の撮影区間に画像が存在せず、画像選択できないケースを４枚目の画像選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。従って、分割して得られた撮影区間に画像が存在しない場合がある。例えば、図８（ｇ）に示すように、まだ画像が選ばれていない撮影区間（斜線で示す撮影区間）から４枚目を選択したいが、この撮影区間には画像が存在しないとする。このような場合は、図８（ｈ）に示すように、画像を選択済みの各撮影区間をそれぞれ２分割する。次に、図８（ｉ）に示すように、図中に実線で示す１～３枚目が選ばれていない撮影区間に撮影された画像の中から得点が最も高い画像を、４枚目の画像として選択する。尚、選択する枚数が４枚から増減した場合についても、前述と同様に画像を選択する。
【0095】
図５（ｃ）の説明に戻る。Ｓ５１１０８において、テンプレート設定部２１００６は、ＨＤＤ１０４に保存されているテンプレートの中から、レイアウトに利用する複数のテンプレートを選択的に設定する。本ステップでは、Ｓ５０１で設定されたアルバム作成条件を満たすデザインのテンプレートが設定される。
【0096】
Ｓ５１１０９において、見開きレイアウト部２１００７は、処理対象の見開きに対する画像レイアウトを決定する。具体的には、見開きレイアウト部２１００７は、Ｓ５１１０８で設定された複数のテンプレートの中から、Ｓ５１１０７で選択された画像をレイアウトするのに適したテンプレートを決定する。ここで、本ステップにおけるテンプレート決定の方法について、図９を用いて説明する。図９は、テンプレート決定に関する機能ブロック図である。
【0097】
選択画像情報取得部９０１は、見開き画像選択部２１００５で選択された画像の枚数と、該画像に関する画像情報とを取得する。取得する画像情報は、画像の幅と高さ、撮影日時情報、及び画像得点部２０８により算出された得点である。テンプレート選択部９０２は、選択画像枚数と一致するスロット数を持つテンプレートを、テンプレート設定部２１００６で設定されたテンプレートの中から選択する。選択画像ソート部９０３は、選択画像を撮影時間順にソートする。テンプレート選択部９０４は、テンプレート選択部９０２で選択されたテンプレートの内、メイン画像を配置するメインスロットが撮影時間順に並べたメイン画像の順と一致するテンプレートを選択する。ここで「メイン画像」とは、見開き画像選択部２１００５で選択された複数の画像のうち、Ｓ５１１０２の再得点化の結果得られる得点が最も得点が高い画像である。一方で、該複数の画像のうちメイン画像でない画像を「サブ画像」とする。このテンプレート選択の際、順番に加え、メイン画像のアスペクト比とメイン画像を配置するスロットのアスペクト比も一致していることが選択条件となる。本実施形態では、テンプレートの左上に撮影時間のより古い画像、右下に撮影時間のより新しい画像をレイアウトするものとする。テンプレート選択部９０５は、テンプレート選択部９０４で選択されたテンプレートの内、サブ画像を配置するスロットが撮影時間順に並べたサブ画像の順と一致し、画像とスロットのアスペクト比が一致しているテンプレートを選択する。図１０は、テンプレート決定処理のフローチャートである。
【0098】
Ｓ１００１において、選択画像情報取得部９０１は、選択画像情報を取得する。本ステップで取得する選択画像情報には、選択画像数が含まれる。ここでは説明のため、選択画像数は３であるものとする。
【0099】
Ｓ１００２において、テンプレート選択部９０２は、選択画像数とスロット数とが一致するテンプレートを選択する。ここでは、Ｓ１００１で取得した選択画像数３であったと仮定し、スロット数が３のテンプレートが選択されたものとする。以下、本ステップにて、図１１に示す（１－１）～（４－４）のテンプレートが選択されたケースを例に挙げて説明する。
【0100】
Ｓ１００３において、選択画像ソート部９０３は、選択画像を撮影時間順に並べる。ここでは、選択画像を撮影時間順に並べた結果、図１１の（Ａ）に示す関係が得られたとする。また、画像１１０５がメイン画像であり、画像１１０６及び画像１１０７がサブ画像とする。
【0101】
Ｓ１００４において、テンプレート選択部９０４は、撮影順に並べたときのメイン画像の配置位置とメイン画像用のスロット（メインスロットとする）の配置位置とが一致するテンプレートを選択する。さらに、メイン画像とメインスロットとのアスペクト比が一致するテンプレートを選択する。ここでは、画像１１０５は、撮影時間が一番新しく且つメインスロット用の画像であり、アスペクト比が縦画像であるため、図１１の（３－１）～（３－４）のテンプレートが候補となる。
【0102】
Ｓ１００５において、テンプレート選択部９０５は、サブ画像とサブ画像用のスロット（サブスロットとする）とのアスペクト比が一致するテンプレートを選択する。図１１の例では、サブスロット用の古い方の画像１１０６、即ち、左上に配置したい画像が縦画像で、サブスロット用の新しい方の画像１１０７が横画像である。従って、（３－２）のテンプレートが、選択された３枚の画像に最も適したテンプレートとして決まる。このようにＳ５１１０９では、各見開きに対してレイアウトに用いるテンプレートと、テンプレートの何れのスロットに何れの画像をレイアウトするかを識別できる情報が決定する。なお、ここで決定される情報を見開きデータと呼ぶ。
【0103】
図５（ｃ）の説明に戻る。Ｓ５１１１０において、見開きレイアウト部２１００７は、処理対象の見開き全てに対して、Ｓ５１１０７～Ｓ５１１０９の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１１１１に進む。一方、該判定結果が偽の場合、Ｓ５１１０７に戻る。
【0104】
Ｓ５１１１１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成された全パラメータに対してＳ５１１０１～Ｓ５１１１０の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１２に進む。一方、該判定結果が偽の場合、Ｓ５１１０１に戻る。
【0105】
図５（ａ）の説明に戻る。Ｓ５１２において、見開き結合部２１１は、見開き作成部２１０により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開きに配置された画像の撮影時間に基づき、画像が撮影時間順になるように見開きを並べる。
【0106】
以下、Ｓ５１２の見開き結合について、図１２及び図１３を用いて詳細に説明する。図１２は、本実施形態における見開き結合部２１１の詳細な構成を示すブロック図である。図１３は、見開き結合部２１１が実行する処理のフローチャートである。
【0107】
Ｓ１３０１において、見開き取得部１２０１は、見開き作成部２１０により作成された見開きのうち、１つのアルバムに関する見開きデータを取得する。本実施形態では、例えば本ステップで取得するアルバム１に関する見開きデータとは、共通パラメータで作成された見開きデータと、アルバム１の個別パラメータで作成された見開きデータとを含む。
【0108】
Ｓ１３０２において、ソート基準値算出部１２０２は、見開き取得部１２０１が取得した各見開きデータに対して、ソートの基準となる値を算出する。本実施形態では、ソートの基準値を見開きデータに配置された画像の平均撮影時間とする。尚、ソートの基準値は撮影時間に限らない。例えば、見開きに配置された画像の平均撮影位置（緯度経度）としてもよいし、画像枚数でもよいし、色ヒストグラムのように画像解析情報を用いてもよい。
【0109】
Ｓ１３０３において、ソート部１２０３は、見開き取得部１２０１が取得した見開きデータを、ソート基準値算出部１２０２が算出したソート基準値に基づいてソートする。本実施形態では、平均撮影時間が早い見開きから昇順に並べる。
【0110】
Ｓ１３０４において、見開き数調整部１２０４は、処理対象のアルバムの見開きデータの数がＳ５０１で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、Ｓ１３０６に進む。一方、本ステップの判定結果が偽の場合、つまり、Ｓ５１１０４で処理対象のアルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超過した場合、Ｓ１３０５に進む。
【0111】
Ｓ１３０５において、見開き数調整部１２０４は、見開き取得部１２０１が取得した見開きデータのうち、不要な見開きデータを削除することで、アルバムの見開き数がＳ５０１で設定された総見開き数に近づくように調整する。本実施形態では、共通見開きデータを削除することで見開き数を調整する。具体的には、アルバム内にある共通見開きデータのうち、ソート基準値算出部１２０２が算出した見開きデータの撮影時間が、個別見開きデータの撮影時間に最も近い共通見開きデータを削除する。削除した後、Ｓ１３０４に移行する。尚、本実施形態では共通見開きデータを削除したがこれに限らない。個別見開きデータを削除することで見開き数の合計を調整してもよい。
【0112】
Ｓ１３０６において、見開き取得部１２０１は、全てのアルバムに対してＳ１３０１～Ｓ１３０５の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、Ｓ１３０１に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。本実施形態では、共通見開きと個別見開きの数および位置をアルバム毎に自動で設定できる。複数のアルバムで同一な共通見開きとアルバムごとに異なる個別見開きを持つ主被写体の異なる複数アルバムを自動レイアウトすることができる。
【0113】
＜＜アルバムデータの編集処理＞＞
＜編集処理の概要＞
これまでは、見開きの属性として、共通見開きと個別見開きとを有するアルバムデータを自動で生成する処理を説明した。以下では、生成されたアルバムデータを、ユーザが編集することが可能なアルバム編集アプリケーションの機能及び処理を説明する。本実施形態では、編集ユーザは、アルバム作成アプリケーションを操作するユーザと同一のユーザであることを想定して説明するが、同一ユーザでなくてもよい。以下では、まず、アルバムデータの編集処理の全般的な概要を説明し、その後に、本実施形態の詳細な処理を説明する。
＜編集処理の概要＞
これまでは、見開きの属性として、共通見開きと個別見開きとを有するアルバムデータを自動で生成する処理を説明した。以下では、生成されたアルバムデータを、ユーザが編集することが可能なアルバム編集アプリケーションの機能及び処理を説明する。本実施形態では、編集ユーザは、アルバム作成アプリケーションを操作するユーザと同一のユーザであることを想定して説明するが、同一ユーザでなくてもよい。以下では、まず、アルバムデータの編集処理の全般的な概要を説明し、その後に、本実施形態の詳細な処理を説明する。
【0114】
図１４は、本実施形態におけるアルバム編集アプリケーション１４００のソフトウェアブロック図である。本実施形態では、アルバム編集アプリケーション１４００は、ＨＤＤ１０４に保存されたアルバム作成アプリケーションの機能の一部であるものとして説明するが、アルバム作成アプリケーションとは別のアプリケーションとして設けられてもよい。また、アルバム編集アプリケーションが起動される画像処理装置は、アルバムデータを生成した画像処理装置１００と同一の装置でもよいし、別の画像処理装置でもよい。
【0115】
図１４に示すように、アルバム編集アプリケーション１４００は、編集モード指示部１４０１と、アルバム情報受取部１４０２と、アルバム編集部１４０３と、アルバム表示部１４０４と、アルバム情報保持部２１５とを含む。尚、アルバム情報保持部２１５は、アルバム編集アプリケーション１４００に含まれていなくてもよい。
【0116】
編集モード指示部１４０１は、例えばマウス１０７によるＵＩ操作で編集モードパネル１５０８（図１５Ａ参照）をユーザがクリックしたことを検出した際に、アルバム編集アプリケーション１４００を編集モードに移行させる。編集モードとは、見開き追加、トリミング、画像入れ替え、テンプレート変更、サイズ変更、配置変更、テキスト・スタンプの挿入、または、見開き削除といったアルバムの内容を変更する操作を行うことができるモードである。ここでは、編集モードパネルのクリックの検出時に編集モードに移行する例を説明したが、アルバムデータの生成後は、常に編集モードに移行してもよい。あるいは、任意のアルバムを選択したときに編集モードに移行するとしてもよい。
【0117】
アルバム情報受取部１４０２は、編集モード指示部１４０１により編集モードに移行した際に、アルバム情報保持部２１５からアルバム情報を受け取る。アルバム情報は、前述したように、アルバム構成情報、アルバム生成情報、及びアルバム変更情報を含む情報である。アルバム情報受取部１４０２は、アルバム単位でアルバム情報を受け取る。
【0118】
アルバム編集部１４０３は、アルバム情報受取部１４０２がアルバム情報保持部２１５から受け取ったアルバム情報を用いて、ユーザによるマウス１０７またはキーボードを用いたＵＩ操作に応じてアルバムを編集する。前述したように、アルバム情報には、アルバム構成情報およびアルバム生成情報が含まれており、アルバム情報を用いることで、アルバム作成アプリケーションで作成されたアルバムデータと同様のアルバムデータを得ることができる。アルバム編集部１４０３でアルバムが更新されると、アルバム編集部１４０３は、アルバム情報保持部２１５にアルバム情報を出力してアルバム情報を更新する。また、アルバム編集部１４０３は、アルバム編集の際に、ユーザに表示する推奨（レコメンドともいう）を作成することができる。レコメンドの例としては、ユーザが編集している見開きにおける入れ替えの推奨画像、または、テンプレートもしくは配置を含む推奨見開きなどが挙げられる。アルバム編集部１４０３は、編集モード指示部１４０１により編集モードに移行した際に、各種のレコメンドを作成し、作成したレコメンドをアルバム表示部１４０４に出力することができる。
【0119】
アルバム表示部１４０４は、アルバム編集部１４０３が出力したビットマップデータをディスプレイ１０５に表示する。また、アルバム表示部１４０４は、アルバム編集部１４０３によって編集中の編集画面をディスプレイ１０５に表示する。また、アルバム表示部１４０４は、アルバム編集部１４０３が作成したレコメンドを表示する。
【0120】
なお、アルバム編集アプリケーション１４００の編集の結果、得られたアルバムデータは、ユーザ指示に基づき、インターネットを介してサーバにアップロードされてもよい。アップロードされたアルバムデータに基づき、印刷及び製本処理が実行され、冊子としてのアルバム（フォトブック）が作られ、指定されたユーザの元へ届けられる。
【0121】
図１５Ａおよび図１５Ｂは、本実施形態におけるアルバムの編集画面のＵＩ表示例を示す図である。図１５Ａは、アルバム生成後のディスプレイ１０５に表示される画面例である。本実施形態のアルバムデータは、前述したように、アルバム対象者（主被写体）が、Ａさんのアルバム１、Ｂさんのアルバム２、およびＣさんのアルバム３の、３つのアルバムのデータであるものとする。画像１５０１は、見開きに配置された画像の例であり、画像１５０１中の文字は画像中に写っている主被写体を表している。共通見開き１５０２は、複数の主被写体が写っている画像を中心にレイアウトされている例である。一方、個別見開き１５０３、１５０４、１５０５はそれぞれ、主被写体Ａ、主被写体Ｂ、主被写体Ｃが写っている画像を中心にレイアウトされている。前述したように、本実施形態では、異なる基準で作成された見開きで構成されている複数のアルバムが作成されている。編集モードパネル１５０８は、マウス１０７でクリックしたときに編集モードに移行するパネルである。文字１５０６および１５０７は、ディスプレイ１０５上に共通見開きと個別見開きであることをそれぞれ示す文字である。尚、ここでは、文字で示しているが、見開きの背景色を共通見開きと個別見開きとで変えるとしてもよい。
【0122】
図１５Ｂ（１）は、編集モードパネル１５０８をマウス１０７でクリックした後に、アルバム編集アプリケーション１４００によって、ディスプレイ１０５に表示される画面である。即ち、図１５Ｂ（１）は、編集画面の例を示している。図１５Ｂ（１）では、アルバム単位での編集画面を示している。即ち、各アルバムの各見開きがそれぞれ表示されている。尚、アルバムまたは見開きが画面内に入らない場合には、スクロール表示などにより全体を確認できるように構成してもよいし、表示する見開きサイズを変更して全見開きを画面に表示してもよい。本実施形態では、編集対象の見開きが、共通見開きか個別見開きかによって異なる処理が行われる。詳細は後述する。尚、「編集対象の見開き」とは、図１５Ｂ（１）の編集画面の例では、各アルバムの各見開きが「編集対象の見開き」になる。即ち、図１５Ｂ（１）の例では、計１２個の見開きが「編集対象の見開き」になる。
【0123】
画像挿入パネル１５０９は、マウス１０７でクリックしたときに画像挿入を行う状態となる。例として、挿入する画像を決めるためにアルバム作成時の画像取得部の全画像を表示し、その画像を選択できるようにしてもよい。全画像ではなく、アルバムに使用されていない画像としてもよい。テキスト挿入パネル１５１０は、マウス１０７でクリックしたときにテキスト挿入を行う状態となる。例えば、テキスト挿入パネル１５１０へのマウス１０７のクリックに応じて、マウスカーソルをテキスト挿入カーソルに変更し、アルバム内をマウス１０７でクリックした場合にテキストを入力できるようにしてもよい。その際にテキストサイズ、フォント、またはテキストの色を設定できるようにしてもよい。スタンプ挿入パネル１５１１は、マウス１０７でクリックしたときにスタンプ挿入を行う状態となる。例えば、スタンプ挿入パネルへのマウス１０７のクリックに応じて、スタンプを表示し、その中からユーザが任意のスタンプを選択し、アルバム内にスタンプを追加できるようにしてもよい。見開き追加パネル１５１２は、マウス１０７でクリックしたときに見開き追加ＵＩを表示するパネルである。プラスマーク１５１３は、マウス１０７でクリックすることで見開き追加挿入位置をプラスマークの位置に固定して見開き追加を行うアイコンである。
【0124】
図１５Ｂ（２）は、任意のアルバムの任意の見開きに焦点を当てた場合の編集モードである。図１５Ｂ（２）では、図１５Ｂ（１）のアルバム１の見開き１に焦点を当てている例を示している。図１５Ｂ（２）は、見開き単位での編集を行う編集画面である。図１５Ｂ（２）の編集画面においては、「編集対象の見開き」は、焦点が当てられている見開きになる。即ち、図１５Ｂ（２）の例では、「編集対象の見開き」は、アルバム１の見開き１となる。図１５Ｂ（２）に示すような見開き単位の編集モードにするには、例えば図１５Ｂ（２）のいずれかの見開きをマウス１０７でクリックしたときに、その見開きに焦点を当てた見開き単位の編集モードに移行するようにしてもよい。尚、図１５Ｂ（２）において小さく表示されているアルバム２の見開き１をクリックすると、そのクリックされたアルバム２の見開き１に焦点を当てた編集画面が表示される。
【0125】
尚、ここまでの例では、各種のパネルをマウス１０７で左クリックすることを想定して説明しているが、例えばマウス１０７の右クリックでメニューを表示し、そのメニューをマウス１０７で左クリックすることで所望の編集状態としてもよい。
【0126】
また、編集モード指示部１４０１は、編集結果を反映するタイミングを設定する。編集結果の反映とは、編集による変更情報に基づいて、あるアルバムに行った編集を他のアルバムにも行う処理である。編集結果反映のタイミングとしては、何らかの編集操作が行われたときでもよいし、ユーザがアルバムを保存したときでもよいし、編集対象見開きを変更したタイミングでもよいし、編集対象のアルバムを変更したタイミングでもよい。また、ユーザ設定によってタイミングを指定してもよいし、タイミングをソフトウェア側で予め決定しておき、そのタイミングを用いてもよい。このような各種のタイミング条件を満たした場合、アルバム編集部１４０３は、編集結果の反映処理を行う。本実施形態では編集結果反映のタイミングとして、何らかの編集操作が行われたときとする。以上がアルバム編集処理の全般的な説明である。
【0127】
＜見開き追加処理＞
本実施形態では、アルバム編集アプリケーション１４００を用いてユーザが編集を行い、その結果、あるアルバム（例えば、図１５Ａのアルバム１）に、見開きが１枚追加された場合を想定する。この場合、他のアルバムとの間で、見開き数（ページ数）が一致せず、アルバムユーザ間で不公平が生じてしまう。そこで、本実施形態では、あるアルバムの見開き数が変更された場合、その変更に合わせて、他のアルバムの見開き数を変更する例を説明する。見開きが追加された場合を例に挙げて説明する。尚、追加される見開きは、ユーザが追加条件を設定して、アルバム編集アプリケーション１４００によって自動的に作成された見開きであってもよいし、自動的に追加された見開きを、ユーザがさらに編集して作成された見開きでもよい。あるいは、追加したい画像をユーザが選択し、配置位置等もユーザが編集することで追加された見開き、即ち、ユーザによる手動での追加の見開きであってもよい。本実施形態では、所定の見開き追加条件をユーザが設定すると、その設定に応じて、アルバム編集アプリケーション１４００が、所定のアルバムに見開きを追加する。ここまでは、設定された見開き追加条件に従った処理であるが、本実施系形態では、その見開き追加の結果に応じて、アルバム編集アプリケーション１４００が、他のアルバムにも見開きを追加する処理を行う。
本実施形態では、アルバム編集アプリケーション１４００を用いてユーザが編集を行い、その結果、あるアルバム（例えば、図１５Ａのアルバム１）に、見開きが１枚追加された場合を想定する。この場合、他のアルバムとの間で、見開き数（ページ数）が一致せず、アルバムユーザ間で不公平が生じてしまう。そこで、本実施形態では、あるアルバムの見開き数が変更された場合、その変更に合わせて、他のアルバムの見開き数を変更する例を説明する。見開きが追加された場合を例に挙げて説明する。尚、追加される見開きは、ユーザが追加条件を設定して、アルバム編集アプリケーション１４００によって自動的に作成された見開きであってもよいし、自動的に追加された見開きを、ユーザがさらに編集して作成された見開きでもよい。あるいは、追加したい画像をユーザが選択し、配置位置等もユーザが編集することで追加された見開き、即ち、ユーザによる手動での追加の見開きであってもよい。本実施形態では、所定の見開き追加条件をユーザが設定すると、その設定に応じて、アルバム編集アプリケーション１４００が、所定のアルバムに見開きを追加する。ここまでは、設定された見開き追加条件に従った処理であるが、本実施系形態では、その見開き追加の結果に応じて、アルバム編集アプリケーション１４００が、他のアルバムにも見開きを追加する処理を行う。
【0128】
図１６は、見開き追加の例を示す図である。図１６は、図１５Ａに示すアルバム構成において、アルバム１の見開き追加を行い、この見開き追加という編集操作に応じた編集反映見開きがアルバム２および３にも追加された結果が、ディスプレイ１０５に表示されている例を示している。
【0129】
図１６（ａ）は、共通見開きの追加を行った例を示している。具体的には、アルバム１において共通見開きを追加している。追加された共通見開きは、見開き２の見開き位置に追加されており、以降の見開き番号が繰り下がっている。また、アルバム２および３にも、同じ共通見開きが、それぞれのアルバムの見開き２として、アルバム１と同様に追加されている。これにより、各アルバムの見開き数は、同一となり、不公平感が解消されることになる。尚、本例では、追加見開き１６０１が共通見開きであるため、アルバム２および３にも、同じレイアウトの見開きが、編集反映見開き１６０２、１６０３として追加されている。尚、追加見開き１６０１と編集反映見開き１６０２、１６０３とは、全く差分のない一致する見開きか、または、類似する見開きとなる。
【0130】
図１６（ｂ）は、個別見開きの追加を行った例を示している。具体的には、アルバム１において個別見開きを追加している。追加された個別見開き１６５１は、見開き２の見開き位置に追加されている。この見開き追加という編集操作に応じて、アルバム２の見開き３に個別見開き１６５２が追加され、アルバム３の見開き２に個別見開き１６５３が、編集反映見開きとして追加されている。個別見開き１６５１，１６５２，１６５３は、それぞれ異なる内容の見開きとなっている。
【0131】
図１７は、アルバム編集部１４０３の詳細を示すブロック図である。アルバム編集部１４０３には、各種の機能が含まれ得るが、本実施形態では、見開きを追加する機能に関連するブロックを中心に説明する。アルバム編集部１４０３は、見開き追加条件設定部１７０１、見開き追加位置決定部１７０２、見開き基準決定部１７０３、画像取得部１７０４、使用済み画像判定部１７０５、画像解析部１７０６、シーン分割部１７０７、およびシーン分類部１７０８を有する。また、主被写体設定部１７０９、画像得点部１７１０、見開き作成パラメータ生成部１７１１、見開き作成部１７１２、見開き追加部１７１３、およびアルバム情報出力部１７１４を有する。
【0132】
見開き追加条件設定部１７０１は、見開き追加処理を開始する際の条件を設定する。この見開き追加処理とは、アルバム編集アプリケーション１４００によって自動で追加される見開き追加処理のことである。尚、本実施形態では、この見開き追加処理の中で、追加見開きの編集結果を他のアルバムにも反映する処理、即ち、他のアルバムにも見開きを追加する処理が含まれる。見開き追加条件の設定は、ユーザによるマウス１０７またはキーボードを用いたＵＩ操作で見開き追加条件が指定され、その実行を指示された場合に設定される。見開き追加条件には、アルバムに使用する画像群、追加する見開き数、および見開き追加対象アルバムが含まれる。
【0133】
尚、追加する見開き数は、ユーザが指定してもよいし、常に一定見開き数だけ追加するとしてもよい。また、アルバムに使用する画像群のうち、実際に使用していない画像数から追加見開き数を決定してもよい。またアルバムに使用していない画像の画像得点を用いてもよい。具体的には画像得点閾値を設け、画像得点が画像得点閾値以上の画像枚数を算出し、アルバムへの追加見開き数を決定してもよい。画像得点閾値以上の画像枚数を固定値で除算した結果の商を追加見開き枚数としてもよい。
【0134】
また、他の例として、見開き得点の閾値を決定して用いてもよい。見開き得点とは、見開きに含まれている画像に所定の重みを掛けた得点を合計したものである。ここでいう重みとは、例えば見開き内の時間情報、画像が含まれている見開き内のスロットのサイズ、および配置情報を用いたものとなる。また、各画像が配置されているスロットのサイズによる重みを掛けたものを用いてよい。大きいスロットに配置されている画像ほど、その見開き内で重要な画像であるので、そのような画像の要素を強めるためである。このように、見開き内の画像に所定の重みを掛けた合計が、見開きの得点となる。例えば、画像得点が閾値以上の画像を用いて見開きを作成し、見開き得点が見開き得点閾値以上となる見開きを作成できる枚数だけ、見開きを追加するとしてもよい。他の例では、アルバム価格が増加しない最大の見開き数だけ追加するとしてもよい。
【0135】
見開き追加対象アルバムはユーザが指定してもよいし、現在編集しているアルバムに対して見開き追加を行うとしてもよい。尚、見開き追加条件で設定される追加対象アルバムは、いわば一次追加対象アルバムである。この一次追加対象アルバムに見開きが追加されると、他のアルバム（二次追加対象アルバムともいえる）にも、一次追加対象アルバムに追加された見開き数と同数の見開きが追加されることになる。
【0136】
図１８は、見開き追加を行うためにアルバム作成アプリケーションが提供する表示画面１８０１であり、ディスプレイ１０５に表示される。ユーザは、表示画面１８０１を介して、見開き追加の作成条件を指定することができる。表示画面１８０１は、例えば図１５Ｂ（１）の見開き追加パネル１５１２をクリックしたときに表示される見開き追加ＵＩである。
【0137】
パスボックス１８０２は、追加見開き作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示す。アルバム作成時の保存場所と同じでもよいし、異なっていてもよい。
【0138】
フォルダ選択ボタン１８０３は、追加見開きの対象とする画像群を含むフォルダを表示されるツリー構成から選択するためのボタンである。ユーザがフォルダ選択ボタン１８０３をマウス１０７で左クリックして、追加見開きの対象とする画像群を含むフォルダを表示されるツリー構成から選択すると、選択した画像群を含むフォルダパスがパスボックス１８０２に表示される。
【0139】
追加見開き数ボックス１８０４は、アルバムに追加する見開き数を指定するボックスである。ユーザは、キーボード１０６を使って見開き数ボックス１８０４に直接数字を入力したり、マウス１０７を使ってリストから見開き数ボックス１８０４に数字を入力したりすることができる。本実施形態では１つのアルバムに対し１つの見開きを追加する処理を行う。尚、本見開き追加ＵＩでは、追加する見開き数をユーザが指定する例を説明したが、前述したように、追加見開き数は自動で決定されてもよい。また、見開き数ボックス１８０４に数字を入力しない場合、追加見開き数が自動で決定されてもよい。
【0140】
追加見開き位置１８０５は、アルバムに追加する際の見開き番号を指定するボックスである。ユーザは、キーボード１０６を使って見開き数ボックス１８０４に直接数字を入力したり、マウス１０７を使ってリストから見開き数ボックス１８０４に数字を入力したりすることができる。尚、図１５Ｂ（１）でプラスマーク１５１３をクリックした状態で見開き追加パネル１５１２がクリックされた場合、そのプラスマーク１５１３の位置を、見開き追加位置としてもよい。
【0141】
追加見開き属性チェックボックス１８０６は、追加見開きを作成する際の属性を指定するボックスである。ユーザは、キーボード１０６またはマウス１０７を使ってチェックボックスを指定することができる。選択された属性の見開きを自動生成する。また、チェックされていない場合には、属性を自動で決めるとしてもよいし、自動決定チェックボックスを追加してもよい。
【0142】
見開き画像枚数１８０７は、作成する追加見開きに配置する画像枚数をスライダーバーで設定することができる。スライダーバーを「多」側に設定すると、各見開きに配置する画像枚数を増やす設定となる。また、スライダーバーを「少」側に設定すると、各見開きに配置する画像枚数を減らす設定となる。
【0143】
アルバム選択ボタン１８０８は、追加見開きを挿入する対象のアルバムを選択するボタンである。ユーザがアルバム選択ボタン１８０８をマウス１０７で左クリックすると、現在生成されているアルバムが表示され、その中から選択すると、選択したアルバムが追加見開きを挿入する対象のアルバムとなる。尚、前述したように現在編集しているアルバムを、追加見開きを挿入する対象のアルバムとして自動的に決定してもよいし、現在編集しているアルバムがデフォルトで選択されているように追加ＵＩを構成してもよい。尚、本実施形態では、アルバム選択ボタン１８０８で選択されたアルバム以外のアルバムにも、見開きの追加が行われることになる。
【0144】
ＯＫボタン１８０９は、選択された条件を追加見開き作成条件として決定するボタンである。ユーザがＯＫボタン１８０９をマウス１０７でクリックすると、追加見開き作成条件が確定し、追加見開き条件設定部１７０１を介して、アルバム編集部１４０３の各部に追加見開き条件が伝えられる。リセットボタン１８１０は、表示画面上の各設定情報をリセットするためのボタンである。
【0145】
見開き追加位置決定部１７０２は、追加見開きがアルバム内のどの位置に挿入されるかを決定する。見開き追加位置決定部１７０２は、見開き追加条件設定部１７０１で追加見開き位置が指定されている場合、その位置を見開き追加位置とすることができる。あるいは、見開き追加位置決定部１７０２は、自動で見開き追加位置を決定してもよい。見開き追加位置の自動決定例としては、ユーザが現在編集している見開きの次の見開きに追加する例が挙げられる。他の例として、常に見開きの最後尾に追加してもよい。アルバム内において共通見開き群と個別見開き群との位置が二分される場合には、見開き追加条件で指定された見開き基準に従って、共通見開き群または個別見開き群の最終見開きとして挿入してもよい。また、追加見開きのレイアウトを作成したのちに、レイアウトの時間軸に合致した位置に決定してもよいし、最もアルバム全体の得点が高くなる位置に決定してもよい。アルバム全体の得点とは、例えば見開き結合部２１１での結合ルール（例えば時間軸など）に則した見開きの並び方などによって求まるものとしてよい。
【0146】
また、見開きを作成後に、見開き追加位置を自動で決定する例としては、作成した見開きの時間軸情報と、見開き基準の情報とを利用してアルバム内の基準と時間軸が合致した位置に、見開き追加位置を決定してもよい。共通見開き群と個別見開き群との位置が二分されているアルバムの場合には、見開き基準を優先していずれの群であるかを判定したのちに、時間軸の合致した位置に追加見開き位置を決定すればよい。共通見開き群と個別見開き群との位置が二分されていないアルバムの場合には、時間軸の合致した位置に追加見開き位置を決定すればよい。尚、おすすめの見開き追加位置を決定してユーザに表示してもよい。
【0147】
見開き基準決定部１７０３は、追加される見開きの見開き作成基準を決定する。具体的には、共通見開き、個別見開き、またはその他の見開きのうちのいずれの基準を用いるかを決定する。その他の見開きとは、共通でも個別でもない、アルバム自動作成時に用いられていない見開き作成基準のことである。例えば、主被写体を決定せずに画像の得点のみを用いる基準でもよいし、共通見開き基準と個別見開き基準とに重みを付けて足し合わせた基準としてもよい。
【0148】
見開き基準決定部１７０３は、見開き追加条件設定部１７０１において追加見開き基準が設定されている場合、その設定に従って見開き基準を決定する。追加見開き基準が設定されていない場合、または、その他の場合などにおいては、見開き基準決定部１７０３は、自動で見開き基準を決定してもよい。見開き基準の自動決定例としては、追加する見開きの位置に応じた決定をしてよい。例えば、追加する見開きの両隣の見開きに用いられている見開き基準を用いてもよい。両隣の見開きで用いている見開き基準が異なる場合には、アルバムに使用していない画像の中で、共通見開きに適した画像数と個別見開きに適した画像数とを比較し、画像数が多い基準を用いてもよい。尚、共通見開きに適した画像または個別見開きに適した画像とは、各見開き基準で比較して得点の高い基準の画像のことである。得点を比較する際には、閾値を設けて、共通見開きでの得点と個別見開きでの得点との差分が閾値以上のときに得点が高い基準に適した画像としてもよい。編集時に新しく追加されて画像得点を算出していない場合には、ここで画像得点を計算してもよい。
【0149】
見開き基準の自動決定の他の例として、アルバム内での共通見開き数と個別見開き数とのバランスから、追加する見開きの見開き基準を決定してもよい。アルバム内での共通見開き数と個別見開き数とのバランスを用いた基準決定例としては、共通見開きの数と個別見開きの数との比率が５：５に近づくような基準に決定することが挙げられる。また、ユーザが見開きに用いたい画像を選択して見開き追加を指示した場合、その選択画像に適した見開き基準を決定してもよい。また、複数の作成基準でそれぞれの見開きを自動作成し、見開き得点が最も高い基準を、見開き基準として採用してもよい。ここまでの例の一つを用いてもよいし、複数例を組み合わせて決定してもよい。複数の作成基準で自動生成した見開きをディスプレイ１０５に表示し、ユーザから選択された見開きの基準を、見開き基準として決定してもよい。
【0150】
画像取得部１７０４は、見開き追加条件設定部１７０１により設定された画像群を取得する。画像取得部１７０４は、アルバム作成アプリケーションの画像取得部２０３と同様の処理部である。尚、ユーザから画像群の指定がない場合、または、ユーザの指定がアルバム作成時と同じでありアルバム作成時に画像取得部２０３で取得したデータを保持している場合には、画像取得を行わず取得済み画像をそのまま用いてもよい。見開き追加条件設定部１７０１で設定された画像群の保存場所が、アルバム作成の画像取得部２０３での取得したフォルダと異なる場合、または、ＨＤＤ１０４が更新されて画像数が変化した場合には、設定された画像群をＨＤＤ１０４から取得する。
【0151】
使用済み画像判定部１７０５は、アルバム情報受取部１４０２で受取ったアルバム情報に含まれる画像使用情報から、画像取得部１７０４で取得した画像がアルバム内で使用されている画像であるかを判定する。尚、使用済み画像か否かの判定は、見開き基準決定部１７０３での決定に応じて異ならせてよい。例えば、見開き基準決定部１７０３で見開き基準が個別基準に決定された場合には、使用済み画像判定部１７０５は、編集対象アルバムでの画像使用情報を用いて使用済み画像かを判定してよい。一方、見開き基準決定部１７０３で見開き基準が共通基準に決定された場合には、全アルバムでの画像使用情報を用いて使用済み画像かを判定してよい。使用済み画像と判定された画像をアルバム内に配置した場合は、いずれかのアルバム内で画像の重複が発生してしまう。このため、使用済み画像は、追加見開き作成には使用されない。尚、追加見開き作成に用いないための方式例として、取得した画像データを破棄してもよい。また、使用済み画像フラグまたは使用済みラベルを用いて使用済み画像として、後述する処理を行わないとしてもよいし、あるいは、見開き作成の画像として選択しないとしてもよい。本実施形態では、使用済み画像として使用済み画像フラグを付与し、追加見開き作成の対象の画像として選択しないように処理を行う。
【0152】
画像解析部１７０６は、画像取得部１７０４が取得した画像データの解析処理をする。画像解析部１７０６は、画像解析部２０４と同様の処理部である。画像取得部１７０４で取得した画像でアルバム作成時と同じ画像には、アルバム作成時の解析結果を用いてもよい。
【0153】
シーン分割部１７０７は、画像取得部１７０４で取得した画像群を画像解析部１７０６の解析情報を基にシーンに分ける。シーン分割部１７０７は、シーン分割部２０６と同様の処理部である。画像取得部２０３で取得した画像でアルバム作成時と同じ画像がある場合には、アルバム作成時の分割結果を用いてもよい。
【0154】
シーン分類部１７０８は、シーン分割部１７０７により得られたシーン中の画像群のカテゴリを判定する。シーン分類部１７０８は、シーン分類部２０７と同様の処理部である。アルバム作成時と同じ画像には、アルバム作成時の分類結果を用いてもよい。
【0155】
主被写体設定部１７０９は、アルバム毎に強調する主被写体を設定する。主被写体設定部１７０９は、主被写体設定部２０５と同様の処理部である。主被写体設定部１７０９は、見開き基準決定部１７０３で決定された見開き基準に対応する主被写体を設定する。尚、主被写体が存在しないことを設定してもよい。
【0156】
画像得点部１７１０は、画像解析部１７０６で得られた解析情報により、各画像に対して主被写体設定部１７０９が設定した主被写体毎に得点付けをする。画像得点部１７１０は、画像得点部２０８と同様の処理部である。アルバム作成時と同じ画像且つ同じ被写体の場合には、改めて得点付けをすることなくアルバム作成時の得点を用いてもよい。
【0157】
見開き作成パラメータ生成部１７１１は、主被写体設定部１７０９で設定された主被写体と画像解析部１７０６で得られた解析情報とにより、見開きページを作成するためのパラメータを生成する。見開き作成パラメータ生成部１７１１は、見開き作成パラメータ生成部２０９と同様の処理部である。見開き作成パラメータ生成部１７１１は、見開き基準決定部１７０３で決定された見開き基準に対応する見開きを作成するためのパラメータを設定する。この見開き作成パラメータの例としては、画像得点部１７１０で得られた得点に与える重みが挙げられる。重みの算出に用いる情報の例としては、見開き作成パラメータ生成部２０９で説明した各種の情報が挙げられる。また、見開き作成パラメータとして、使用画像情報、画像が含まれている見開き内の時間情報、画像が含まれている見開き内のスロットのサイズ、および配置情報を用いて、重みを決定してよい。例えば、見開き作成パラメータ生成部２０９で説明したように、スロットに画像を配置する際に、トリミングをして配置した画像か、そうでない画像かを、その画像が使用されている見開きが共通見開きか個別見開きかに応じて重みを変えてもよい。また、ユーザが追加的に挿入したユーザ使用画像の得点に重みをかけて、ユーザ使用画像の得点を大きくする調整をしてもよい。また、既にアルバムで使用されている使用画像は、重複採用を避けるために重みを小さくして、選択されないようにしてよい。
【0158】
また、見開き作成パラメータは、見開きの得点を導くパラメータ（第二パラメータ）を含むものである。図１５Ｂ（２）の例では、アルバム１の見開き１内の各画像の得点に、各画像が配置されているスロットのサイズによる重みを掛けた結果の得点を、合計したものとなる。大きいスロットに配置されている画像ほど、その見開き内で重要な画像であるので、そのような画像の要素を強めるためである。尚、ここでは、スロットサイズによる重み付けをした各画像の得点を合計する例を説明したが、重み付けをしなくてもよいし、各画像の平均を見開きの得点としてもよい。
【0159】
見開き作成部１７１２は、画像得点部１７１０の結果と、使用済み画像判定部１７０５の使用画像情報と、見開き作成パラメータ生成部１７１１で生成した見開き作成パラメータと、を用いて、見開きを作成する。見開き作成部１７１２は、最終的な画像得点が高い画像を見開きで使用する画像として選択し、配置を行って見開きを作成する。見開き作成部１７１２は、見開き作成部２１０と同様の処理部である。見開き作成部１７１２は、見開き追加条件設定部１７０１で設定された見開き数を作成する。また、本実施形態では、見開き作成部１７１２は、見開き追加条件で設定された見開き追加対象アルバムでの追加の見開きを作成したことに応じて、他のアルバムにも追加の見開きを作成する処理を行う。
【0160】
見開き追加部１７１３は、見開き作成部１７１２により作成された追加見開きを、見開き追加位置決定部１７０２の結果に従いアルバムに追加し、アルバムの見開きの見開き番号を決定しアルバム全体のレイアウトを作成する。
【0161】
アルバム情報出力部１７１４は、アルバムが更新された際に編集結果に基づいてアルバム情報保持部２１５にアルバム情報を出力する。
【0162】
尚、本実施形態では、主に、自動で見開きを追加する例でアルバム編集処理を説明したが、ユーザ操作に応じてアルバム編集処理が行われてもよい。例えば、前述したように、トリミング、画像入れ替え、テンプレート変更、サイズ変更、配置変更、テキスト・スタンプの挿入、または見開き削除の場合でも、アルバム編集部１４０３が、ユーザの入力に基づいてアルバム編集を行うことが可能である。
【0163】
図１９は、本実施形態に係るアルバム編集アプリケーション１４００において見開き追加を実行する処理を示すフローチャートである。図１９に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたプログラムをＲＯＭ１０２またはＲＡＭ１０３に読み出して実行することにより実現される。
【0164】
Ｓ１９０１において見開き追加条件設定部１７０１は、見開き追加条件を設定する。本実施形態では、見開き追加条件として、アルバムに使用する画像群、追加する見開き数、および、見開き追加を行うアルバムを設定する。尚、ここではユーザが見開き追加を行う見開き追加対象アルバムを設定するが、本実施形態の処理では、ここでアルバム追加の設定が行われていないアルバムにも、見開き追加が行われることになる。
【0165】
Ｓ１９０２において見開き追加位置決定部１７０２は、見開き追加位置を決定する。Ｓ１９０３において見開き基準決定部１７０３は、追加する見開きに対してどの基準を用いるかを決定する。具体的には、前述したように、共通見開き、個別見開き、または、その他の見開きのうちのいずれの見開き基準を用いるかを決定する。
【0166】
Ｓ１９０４において画像取得部１７０４は、見開き追加条件設定部１７０１で設定された画像群に含まれる画像を、ＨＤＤ１０４から読み込み、ＲＡＭ１０３に展開する。すでに画像をＲＡＭ１０３に展開済みの場合には、処理を行わない。
【0167】
Ｓ１９０５において使用済み画像判定部１７０５は、アルバム情報受取部１４０２で取得したアルバム情報（使用画像情報）と、見開き基準決定部１７０３での決定した見開き基準とに基づいて、取得した画像が使用済み画像であるかを判定する。追加見開きが共通基準の場合には、全てのアルバムの使用画像情報を用いる。追加見開きが個別基準またはその他の場合には、現在編集中のアルバムの使用画像情報を用いる。以下、まず、追加見開きが共通基準である場合を例にしてフローチャートの説明を行う。追加見開きが個別基準などの場合の処理は、後述する。
【0168】
Ｓ１９０６において画像解析部１７０６は、ＲＡＭ１０３に展開された画像データを解析する。画像解析処理は、図５（ｂ）で説明した処理と同様の処理フローである。
【0169】
Ｓ１９０７において画像解析部１７０６は、見開き追加条件設定部１７０１で指定されたＨＤＤ１０４の画像群の全画像に対してＳ１９０５およびＳ１９０６の処理が終了したか否かを判定する。終了していない場合、Ｓ１９０５に戻る。終了している場合はＳ１９０８に移行する。
【0170】
Ｓ１９０８においてシーン分割部１７０７は、画像取得部１７０４が取得した画像群に対して、シーン分割を実行する。Ｓ１９０８は、Ｓ５０５と同様の処理である。Ｓ１９０９においてシーン分類部１７０８は、シーン分割部１７０７が分割したサブ画像群に対して、シーン分類をする。Ｓ１９０８は、Ｓ５０６と同様の処理である。
【0171】
Ｓ１９１０において主被写体設定部１７０９は、アルバム毎の主被写体を設定する。主被写体設定部１７０９は、アルバム情報受取部１４０２で受け取ったアルバム情報と、Ｓ１９０１で設定された見開き追加を行う追加対象アルバムと、Ｓ１９０２で決定した見開き基準とから、追加対象アルバムの主被写体を設定する。本例では、アルバム１に追加見開き処理を行うものとする。また、本例では、共通見開き基準を用いている。このため、アルバム１に、主被写体ＡＢＣが設定されることになる。
【0172】
Ｓ１９１１において画像得点部１７１０は、各画像を得点化する。Ｓ１９１１は、Ｓ５０８と同様の処理である。Ｓ１９１２において画像得点部１７１０は、全画像に対してＳ１９１１の画像得点化が終了したか否かを判定する。終了していない場合、Ｓ１９１１に戻る。終了している場合、Ｓ１９１３に移行する。
【0173】
Ｓ１９１３において見開き作成パラメータ生成部１７１１は、Ｓ１９０１で設定された見開き追加条件と、Ｓ１９１０で設定された追加見開きの主被写体とに基づいて、見開き作成パラメータを生成する。Ｓ１９１３は、Ｓ５１０と同様の処理である。
【0174】
Ｓ１９１４において見開き作成部１７１２は、Ｓ１９１３で生成された見開き作成パラメータを用いて、追加対象アルバムの追加の見開きを作成する。見開きの作成処理は、Ｓ５１１と同様の処理である。
【0175】
Ｓ１９１５においてアルバム編集部１４０３は、見開き基準決定部１７０３で決定した基準が共通見開き基準であるか否かを判定する。共通見開き基準であった場合にはＳ１９１８に移行する。共通見開き基準でない場合にはＳ１９１７に移行する。本例の説明では、共通見開き基準であるので、Ｓ１９１８に進む例を説明する。
【0176】
Ｓ１９１８において見開き追加部１７１３は、見開き作成部１７１２により作成された見開きを、決定された追加見開きの位置に挿入してアルバム結合を行い、アルバム全体のレイアウトを作成する。尚、Ｓ１９１８においては、Ｓ１９０３で決定した見開き基準が共通基準の場合には、Ｓ１９１４で作成された追加用の共通見開きを、他のアルバムにも反映させる。図１６（ａ）の例では、追加対象アルバムがアルバム１であり、追加見開き１６０１がＳ１９１４で作成された見開きとなる。そして、この追加見開き１６０１が、アルバム１の見開き２の見開き位置に挿入（追加）される。この共通見開きである追加見開き１６０１がアルバム１に追加されたことに応じて、他のアルバムであるアルバム２および３にも、編集反映見開き１６０２、１６０３が、見開き２の見開き位置に追加される。
【0177】
Ｓ１９１９においてアルバム編集部１４０３は、見開き追加部１７１３で追加結合したアルバムの見開き数が、見開き追加条件設定部１７０１で設定した追加見開き数まで達したか否かを判定する。達していなかった場合、見開き追加対象アルバムをＳ１９０１で設定されたアルバムに設定した後に、Ｓ１９０２に戻る。追加見開き数に達していた場合、Ｓ１９１９に移行する。Ｓ１９１９では、アルバム情報出力部１７１４がアルバム情報を出力する。
【0178】
次に、Ｓ１９０３で追加見開きの見開き基準が個別基準の場合の処理の例を説明する。尚、Ｓ１９０１で設定された見開き追加対象アルバムは、アルバム１であるものとする。この場合、Ｓ１９１０の主被写体設定処理では、アルバム１の主被写体である被写体Ａが、主被写体として設定される。そして、Ｓ１９１４の見開き作成処理では、主被写体が被写体Ａの場合に見開き得点が高くなる見開きが、追加見開きとして作成される。
【0179】
そして、その後のＳ１９１５では、追加見開きは共通見開きではないと判定されるので、Ｓ１９１６に進む。Ｓ１９１６においてアルバム編集部１４０３は、見開き作成部１７１２が全アルバム分の追加見開きを作成したか否かを判定する。つまり、各アルバムの追加用の個別見開きを作成したか否かを判定する。全アルバム分の追加見開きを作成した場合にはＳ１９１８に移行する。作成していなかった場合には、まだ追加見開きを作成していないアルバムを見開き追加対象アルバムと設定する。そして、Ｓ１９１７において見開き追加位置決定部１７０２は、追加対象アルバムの見開き追加位置を決定する。見開き追加位置は、Ｓ１９０２で決定された位置と同じであってもよいし、異なっていてもよい。１９１７の処理は、追加見開きが個別見開きなどの場合の処理であるので、必ずしも、Ｓ１９０２で決定された位置と同じ位置に追加されなくてもよい。尚、本例では、このＳ１９１７の時点で、編集反映見開きの見開き位置を決定しているが、Ｓ１９１８の見開き結合を行う際に、各見開きの時間情報などを参照して編集反映見開きの見開き位置を決定してもよい。
【0180】
その後、Ｓ１９０５に戻り、処理が繰り返される。Ｓ１９０５に戻った際の使用済み画像判定処理では、追加対象アルバムが、前回の処理とは変更になっているので、使用済み画像も異なることになる。本例では、見開き基準が個別見開きであるので、追加対象アルバム内で使用されている画像が使用済み画像となるからである。そして、その後のＳ１９１０では、主被写体として、各アルバムの主被写体が設定される。例えば、現在処理中の追加対象アルバムが、アルバム２である場合、主被写体Ｂが設定される。このようにして、前述したような各処理を行うことで、アルバム２の追加見開き用の個別見開きが作成される。
【0181】
以上説明したように、本実施形態によれば、複数のアルバムのうちの任意のアルバムに見開きを追加する場合、他のアルバムにも見開きを追加する。これにより、編集処理において見開きを追加した際に、アルバムごとの見開き数を一致させることができる。尚、見開き数を一致させるとは、結果的に、アルバムごとのページ数を一致させることと等価である。つまり、上述した処理は、「見開き」を「ページ」に置き換えた処理としてもよい。本実施形態によれば、アルバムごとに見開き数が一致することになるので、ユーザごとの不公平感を生じさせずに済む。
【0182】
＜＜その他の実施形態＞＞
上述した実施形態では、所定のアルバムの見開き数を変更した場合、その変更に応じて他のアルバムの見開き数も変更する例を説明した。そして、見開き数の変更として、見開きを追加することで、見開き数を増やす例を説明した。しかしながら、見開き数の変更として、所定の見開きを削除して見開き数を減らしてもよい。即ち、所定のアルバムの見開きを削除した場合、その削除した見開きと同数の数の見開きを、他のアルバムから削除してもよい。例えば、所定のアルバムの共通見開きを削除した場合には、他のアルバムに存在する同じ共通見開きを削除すればよい。所定のアルバムの個別見開きを削除した場合には、その削除した見開きと、他のアルバムに存在する個別見開きとの時間情報が近い見開きを削除してもよい。あるいは、他のアルバムに存在する個別見開きの中から見開きの得点が低い見開きを削除してもよい。あるいは、所定のアルバムの削除した個別見開きと類似している個別見開きを他のアルバムから削除してもよい。
上述した実施形態では、所定のアルバムの見開き数を変更した場合、その変更に応じて他のアルバムの見開き数も変更する例を説明した。そして、見開き数の変更として、見開きを追加することで、見開き数を増やす例を説明した。しかしながら、見開き数の変更として、所定の見開きを削除して見開き数を減らしてもよい。即ち、所定のアルバムの見開きを削除した場合、その削除した見開きと同数の数の見開きを、他のアルバムから削除してもよい。例えば、所定のアルバムの共通見開きを削除した場合には、他のアルバムに存在する同じ共通見開きを削除すればよい。所定のアルバムの個別見開きを削除した場合には、その削除した見開きと、他のアルバムに存在する個別見開きとの時間情報が近い見開きを削除してもよい。あるいは、他のアルバムに存在する個別見開きの中から見開きの得点が低い見開きを削除してもよい。あるいは、所定のアルバムの削除した個別見開きと類似している個別見開きを他のアルバムから削除してもよい。
【0183】
また、上記の実施形態では、説明を簡便にする趣旨で、主に追加する見開き数が「１」である場合を例に挙げて説明したが、２以上の見開きを追加または削除してもよい。また、追加および削除を同時に設定可能としてよい。
【0184】
また、上記の実施形態では、複数のアルバムの中の所定のアルバムに追加する見開きは、図１８の見開き追加ＵＩを介して設定された見開き追加作成条件に基づいて自動的にアルバム編集部１４０３で作成される例を説明したが、これに限られない。ユーザが、手動で所定のアルバムの編集を行い、見開きを追加してもよい。この場合、ユーザ操作によって追加された見開きの属性が共通見開きの場合、他の見開きにも同様の見開きを追加すればよい。ユーザ操作によって追加された見開きの属性が個別見開きの場合、図１９のＳ１９１７から、他のアルバムについての処理を行えばよい。
【0185】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0186】
１４０２ アルバム情報受取部
１４０３ アルバム編集部
１７１２ 見開き作成部
１７１３ 見開き追加部
１４０３ アルバム編集部
１７１２ 見開き作成部
１７１３ 見開き追加部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19】