特許 7527818 プログラム、画像処理方法、及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】プログラム、画像処理方法、及び画像処理装置

(51)【国際特許分類】

   G06T 11/60 20060101AFI20240729BHJP

   G06F 16/54 20190101ALI20240729BHJP

   H04N 1/387 20060101ALI20240729BHJP

【ＦＩ】

G06T11/60 100C

G06F16/54

H04N1/387 110

【請求項の数】 13

(21)【出願番号】P 2020045633

(22)【出願日】2020-03-16

(65)【公開番号】P2021149195

(43)【公開日】2021-09-27

【審査請求日】2023-03-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】武市 惇平

(72)【発明者】

【氏名】國枝 寛康

(72)【発明者】

【氏名】山田 貴之

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１９／２３０２７５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０

Ｈ０４Ｎ １／３８７

Ｇ０６Ｆ １６／５０ －１６／５８７

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、
前記選択手段により選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、
前記作成手段によって作成されたレイアウトにおいて、ページが時系列順に並んでいない場合に、時系列順となるように所定の単位で並べ替えを行う並べ替え手段と、
前記並び替え手段が前記並び替えを行う領域を規定する第１規定手段と、
して機能させ、
前記並び替え手段は、前記第１規定手段によって規定された領域のみにおいて、前記並び替えを行うことを特徴とするプログラム。

【請求項2】

前記コンピュータをさらに、
前記お手本アルバムに関するデータを取得する第１取得手段と、
前記複数のお手本画像それぞれを解析する第１解析手段と、
前記候補画像群のデータを取得する第２取得手段と、
前記候補画像群の各画像を解析する第２解析手段と、
として機能させることを特徴とする請求項１に記載のプログラム。

【請求項3】

前記コンピュータをさらに、前記作成手段によって作成されたレイアウトを構成するページ単位の撮影時間を導出する導出手段として機能させることを特徴とする請求項１または２に記載のプログラム。

【請求項4】

前記コンピュータをさらに、前記作成手段によって作成されたレイアウトにおいて、ページが時系列順に並んでいるか判定する判定手段として機能させることを特徴とする請求項１乃至３の何れか１項に記載のプログラム。

【請求項5】

前記コンピュータをさらに、前記候補画像群をシーン毎に分類する分類手段として機能させ、
前記並び替え手段は、前記分類手段によって分類されたシーンが時系列順となるように前記並び替えを行う
ことを特徴とする請求項１乃至４の何れか１項に記載のプログラム。

【請求項6】

前記コンピュータをさらに、前記並び替え手段が前記並び替えを行う前記所定の単位を規定する第２規定手段として機能させることを特徴とする請求項１乃至４の何れか１項に記載のプログラム。

【請求項7】

前記第２規定手段によって、ページ単位または見開き単位が規定されることを特徴とする請求項６に記載のプログラム。

【請求項8】

お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択ステップと、
前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成ステップと、
前記作成ステップで作成されたレイアウトにおいて、ページが時系列順に並んでいない場合に、時系列順となるように所定の単位で並べ替えを行う並べ替えステップと、
前記並び替えステップにて前記並び替えを行う領域を規定する規定ステップと、
を有し、
前記並び替えステップでは、前記規定ステップによって規定された領域のみにおいて、前記並び替えを行うことを特徴とする画像処理方法。

【請求項9】

お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、
前記選択手段により選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、
前記作成手段によって作成されたレイアウトにおいて、ページが時系列順に並んでいない場合に、時系列順となるように所定の単位で並べ替えを行う並べ替え手段と、
前記並び替え手段が前記並び替えを行う領域を規定する第１規定手段と、
を有し、
前記並び替え手段は、前記第１規定手段によって規定された領域のみにおいて、前記並び替えを行うことを特徴とする画像処理装置。

【請求項10】

コンピュータを、
お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、
前記選択手段により選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、
前記作成手段によって作成されたレイアウトにおいて、ページが時系列順に並んでいない場合に、時系列順となるように所定の単位で並べ替えを行う並べ替え手段と、
前記並び替え手段が前記並び替えを行う前記所定の単位を規定する第２規定手段と、
として機能させることを特徴とするプログラム。

【請求項11】

前記第２規定手段によって、ページ単位または見開き単位が規定されることを特徴とする請求項１０に記載のプログラム。

【請求項12】

お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択ステップと、
前記選択ステップにより選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成ステップと、
前記作成ステップによって作成されたレイアウトにおいて、ページが時系列順に並んでいない場合に、時系列順となるように所定の単位で並べ替えを行う並べ替えステップと、
前記並び替えステップにて前記並び替えを行う前記所定の単位を規定する第２規定ステップと、
を有することを特徴とする画像処理方法。

【請求項13】

お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、
前記選択手段により選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、
前記作成手段によって作成されたレイアウトにおいて、ページが時系列順に並んでいない場合に、時系列順となるように所定の単位で並べ替えを行う並べ替え手段と、
前記並び替え手段が前記並び替えを行う前記所定の単位を規定する第２規定手段と、
有することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、画像処理方法、及び画像処理装置に関し、より具体的には、アルバム作成をするプログラム、画像処理方法、及び画像処理装置に関する。

【背景技術】

【0002】

デジタルカメラの普及に加え、近年ではスマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザの写真撮影枚数が急激に増加している。撮影枚数の増加に伴い、撮影される被写体も様々なバリエーションが増えた。

【0003】

その多数の撮影画像の中から所望の画像を選択し、選択した画像を用いてアルバムを作成することが行われている。しかし、多数の撮影画像の中から画像を選択したり、レイアウトを決定したり、テンプレートを決定したりするような、画像の出力形態を決定することは手間がかかる作業である。

【0004】

特許文献１は、以前のアルバム作成のために入力した画像群の情報を用いて、複数の新たな撮影画像の中から所望の画像の出力形態を決定する方法を開示する。特許文献１に記載の技術は、婚礼アルバムのような定型が決まっているアルバムを作成するための技術であり、指輪の交換やケーキカット、スピーチなど定型化されたセレモニーを撮影した画像を、進行順序に沿って配置することで、アルバムを作成している。このようなアルバムの自動作成では、予めお手本となるアルバム（お手本アルバムと呼ぶ）を用意し、お手本アルバムに使われている画像と候補画像との間で類似した画像を選択して自動配置することで、美しいレイアウトのアルバムを効率的に自動作成できる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－２１５５９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、お手本アルバムに使われている画像と、作成するアルバムに使う候補画像とで時系列が異なる場合がある。このような場合に、お手本アルバムと同じレイアウト順でアルバムを作成すると、実際の時系列と異なる順番で写真が配置されてしまうという課題がある。

【0007】

そこで本発明の一実施形態は、お手本アルバムに使われている画像と、作成するアルバムに使う候補画像とで時系列が異なる場合に、実際の時系列に即したアルバムレイアウトを作成することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一実施形態は、コンピュータを、お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、前記選択手段により選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、前記作成手段によって作成されたレイアウトにおいて、ページが時系列順に並んでいない場合に、時系列順となるように所定の単位で並べ替えを行う並べ替え手段と、前記並び替え手段が前記並び替えを行う領域を規定する第１規定手段と、して機能させ、前記並び替え手段は、前記第１規定手段によって規定された領域のみにおいて、前記並び替えを行うことを特徴とするプログラムである。

【発明の効果】

【0009】

本発明の一実施形態によれば、お手本アルバムに使われている画像と、作成するアルバムに使う候補画像とで時系列が異なる場合に、実際の時系列に即したアルバムレイアウトを作成することができる。

【図面の簡単な説明】

【0010】

【図1】画像処理装置のハードウェア構成を示すブロック図である。

【図2】画像処理装置のソフトウェア構成を示すブロック図である。

【図3】アルバムデータの構造を示す図である。

【図4】アルバムレイアウトを示す図である。

【図5】アルバム作成アプリケーションのＧＵＩを示す図である。

【図6】自動レイアウト処理のフローチャートである。

【図7】レイアウト作成方法を説明する図である。

【図8】レイアウトの並び替えを説明する図である。

【図9】画像処理装置のソフトウェア構成を示すブロック図である。

【図10】自動レイアウト処理のフローチャートである。

【図11】レイアウトの並び替えを説明する図である。

【図12】画像処理装置のソフトウェア構成を示すブロック図である。

【図13】自動レイアウト処理のフローチャートである。

【図14】画像処理装置のソフトウェア構成を示すブロック図である。

【図15】並び替えの単位を説明する図である。

【図16】自動レイアウト処理のフローチャートである。

【発明を実施するための形態】

【0011】

［第１の実施形態］
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを作成する。そして、このアルバムデータに基づいて印刷することで、印刷物としての１または複数のアルバムを作成する。本実施形態では、お手本となるアルバムデータに基づいて、お手本アルバムデータに配置された画像群とは異なる画像群を用いて、お手本アルバムデータと類似するアルバムデータを作成する。より詳しく説明すると、お手本アルバムデータと同じページ数を持ち、お手本アルバムデータの各ページに配置された各お手本画像に類似する画像を、該お手本画像と同じ位置に配置したアルバムデータを作成する。

【0012】

＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。

【0013】

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらの部品は、データバス１０９により接続されており、相互にデータを送信または受信することができる。

【0014】

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。

【0015】

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイルや画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、アルバム作成アプリと呼ばれることもあり、図５等を用いて後述する。

【0016】

ディスプレイ１０５は、本実施形態のグラフィカルユーザインターフェイス（以下ＧＵＩ）や画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの見開き数やページ数を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。

【0017】

データ通信装置１０８は、プリンタやサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトされた結果であるアルバムデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタやサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。

【0018】

＜画像処理装置のソフトウェア構成について＞
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、本実施形態において特に重要な機能である、自動レイアウト処理部２０１により提供される自動レイアウト機能を説明する。

【0019】

図２に示すように、このアプリは、アルバム作成条件設定部２０２と、自動レイアウト処理部２０１と、アルバム表示部２１２と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容や属性に基づいて分類ないし選択した上でレイアウトして、アルバムデータを作成する機能である。作成されたアルバムデータに基づく内容が、ディスプレイ１０５に表示される。

【0020】

アルバム作成条件設定部２０２は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部２０１に設定する。本実施形態では、アルバム作成条件として、お手本となるアルバムデータ、作成するアルバムに使用する画像群、アルバム商材を設定する。お手本となるアルバムデータの設定は、例えばファイルやディレクトリの指定など、アルバムデータが保存されているファイルシステムの構造に基づいてもよいし、アプリにプリセットとして予め登録された選択肢の中から選んでもよい。画像群の設定は、例えば撮影日時など個別の画像データの付随情報や属性情報を用いて設定してもよいし、デバイスやディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。また、アルバム商材とは、アルバムに使用する紙の種類や製本時の綴じ部の処理を指す。

【0021】

ここで、本実施形態で作成するアルバムについて説明する。本実施形態では、アルバムは表紙および複数の見開きで構成される。「見開き」とは、例えば表示においては１つの表示用ウィンドウに相当し、印刷物においては、本を開いた際の互いに隣接する１対のページ（つまり２ページ分）に相当する。なお、見開き内の２ページは、それぞれ異なる用紙に印刷されたものが隣接するように綴じられることで見開きを形成する場合と、１枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。以下では、このような見開きの概念を用いて説明するが、ページでもよい。本実施形態では、アルバム作成条件設定部２０２により設定されたお手本アルバムデータおよび画像群に基づき、お手本アルバムと類似するアルバムを作成するためのアルバムデータが作成される。

【0022】

ここでいうアルバムデータは、少なくとも、アルバムに配置される画像のデータと、該画像が配置される見開き番号や位置、サイズ等の情報を含む。図３は、本実施形態で用いるアルバムデータの例である。図３（ａ）は、アルバム全体に関する情報としての商材に関する情報を保持するテーブル（商材テーブルと呼ぶ）の例を示す。商材テーブルには、アルバムのページ数やサイズ、印刷する紙の種類や製本方法の各値が保持されている。図３（ｂ）は、紙面に配置される画像とその位置等に関する情報を保持するテーブル（スロットテーブルと呼ぶ）の例を示す。スロットテーブルには、各行にアルバムに配置する画像と、見開き番号、位置、サイズ、及び角度の各値が保持されている。以降、図３（ｂ）の表における１行分の情報をスロット情報と呼び、お手本アルバムデータにおいて同じ見開き番号に属するスロット群をまとめてテンプレートと呼ぶ。尚、アルバムデータに含まれる情報は、このようなスロット情報に限らない。画像が重なった際の表示順を表すレイヤー情報、トリミング量、エフェクトの種類、文字情報、図形情報等をスロット情報に含めてもよい。

【0023】

図４は、図３のアルバムデータに基づくレイアウト結果を示す。表紙４０１、見開き４０３、見開き４０４、見開き４０５は、それぞれ図３（ｂ）の見開き番号０、１、２、１０のスロット情報に基づいてレイアウトした図である。尚、表紙４０１は左側が裏表紙、右側が表紙に相当する。図４の塗りつぶされた領域はスロットを表し、図３（ｂ）のｉｍａｇｅｐａｔｈフィールドに保持された値の画像データを配置する。例えばスロット４０２には、ｉｍａｇｅ１．ｊｐｇが配置される。後述する自動レイアウト処理では、お手本アルバムデータに配置された画像の構図やオブジェクト、色味等の画像特徴に類似する画像を、お手本アルバムデータと同様の位置に配置したアルバムデータが作成される。

【0024】

お手本アルバムデータ取得部２０３は、ＨＤＤ１０４に保存されているアルバムデータの中から、アルバム作成条件設定部２０２により設定されたお手本アルバムのデータを取得する。

【0025】

お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得したアルバムデータに含まれる画像群を解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、お手本画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、お手本画像解析部２０４が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。

【0026】

候補画像取得部２０５は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０２により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際レイアウト候補となる画像群を指す。例えば、撮影日時として、ＸＸ年１月１日が指定された場合は、ＸＸ年１月１日に撮影された画像全てが、レイアウト候補の画像群に該当する。ＨＤＤ１０４に保存されている画像としては、静止画像や、動画から切り出された切り出し画像が挙げられる。静止画像や切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が有してよいし、画像処理装置１００の外部装置が有してもよい。尚、撮像デバイスが外部装置である場合は、候補画像取得部２０５は、データ通信装置１０８を介して画像を取得する。また、静止画像や切り出し画像は、外部のネットワークやサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークやサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、ＣＰＵ１０１はＯＳのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、候補画像取得部２０５が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。

【0027】

候補画像解析部２０６は、候補画像取得部２０５が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、候補画像解析部２０６は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。さらに、候補画像取得部２０５は、アルバムに適した画像かを示す画像得点を算出する。画像得点が高い画像として、例えばコントラストが高い、エッジがシャープである、といった審美性が高い画像や、瞬きしていない、人や建造物などの主題となる被写体が大きく写っている、といったコンテンツがよい画像が挙げられる。

【0028】

類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像の解析情報と、候補画像解析部２０６が解析した候補画像の解析情報とに基づいて、アルバムに使用する画像を選択する。類似画像選択部２０７は、お手本画像１枚毎に、候補画像の中から１または複数の類似画像を選択する。類似画像とは、２つの画像の類似度が所定値より高い画像を示している。類似度としては、例えばお手本画像解析部２０４での解析により取得される画像特徴量と、候補画像解析部２０６での解析により取得される画像特徴量との距離が挙げられ、距離が小さいほど類似度が高いと言える。尚、類似画像の選択時に候補画像解析部２０６が解析した個人認識の結果を用いたり、画像得点の優劣を選択基準に入れたりしてもよい。

【0029】

レイアウト作成部２０８は、お手本アルバムデータ取得部２０３が取得したお手本アルバムデータと、類似画像選択部２０７が選択した画像とに基づいて、お手本テンプレートに選択画像を割り当てる。尚、本明細書では、お手本テンプレートに選択画像を割り当てたデータをレイアウトと呼ぶことがある。

【0030】

アルバム時系列判定部２０９は、レイアウト作成部２０８が作成した全見開きのレイアウトのページが時系列順にレイアウトされているかを判定する。この判定において、時系列順に並んでいるかの判定に用いられる時間とは、ページ単位で導出される時間のことであり、ページ内のスロット毎の撮影時間の平均値もしくは中央値、最新の撮影時間、または最も古い撮影時間を用いてよい。他にも、スロットサイズを加味してページ単位で求まる時間を用いてもよい。具体的には、ページ内で最も大きいスロットの撮影時間をページ単位の時間として用いてもよいし、ページ単位の時間を求める際の演算においてスロットのサイズ比に応じた重み付けを行ってもよい。また、これらの値を複数用いてページ単位の時間を算出してもよい。尚、本実施形態では、ページ単位の時間としてページ内の最も大きいスロットの撮影時間を用いるものとする。アルバム時系列判定部２０９は、このページ単位の時間をそれぞれのページで算出した結果を参照し、時系列順にすべてのページが並んでいるか、それとも時系列順に並んでいないページが存在するかを判定する。尚、ここではページ単位での例を記載しているが見開き単位でもよい。

【0031】

アルバムレイアウト並び替え部２１０は、アルバム時系列判定部２０９で時系列順に並んでいないと判定されたページが時系列順となるように並び替えを行う。この時系列順に並び替える際に用いられる時間は、アルバム判定部２０９で算出した時間をそのまま用いる。アルバムレイアウト並び替え部２１０による並び替えにより、お手本を参考としたレイアウト作成部２０８の出力時点では時系列順に並んでいなかったレイアウトを、実際の撮影時間の時間軸に沿ったレイアウトに変更できる。

【0032】

アルバムデータ出力部２１１は、レイアウト作成部２０８によって作成された全見開きのレイアウト、または、アルバムレイアウト並び替え部２１０によって並び替えが行われた後の全見開きのレイアウトをまとめてアルバムデータとして出力する。

【0033】

アルバム表示部２１２は、アルバムデータ出力部２１１が出力したアルバムデータに基づいて、アルバムの画像を作成しディスプレイ１０５に表示する。アルバムの画像とは、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。

【0034】

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。尚、アプリケーションは、別の形態でも良く、例えば画像処理装置１００で動作するブラウザ内で画面等を表示するＷｅｂアプリでも良い。

【0035】

＜ＧＵＩ画面について＞
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面について、図５を用いて説明する。図５は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面５０１を示す図である。ユーザは、ＧＵＩ画面５０１を介して、アルバムの作成条件を設定することができる。

【0036】

ＧＵＩ画面５０１は、お手本となるアルバムデータの設定部（設定アイテム）として、お手本アルバムパスボックス５０２及びお手本アルバムデータ選択ボタン５０３を有する。お手本アルバムパスボックス５０２は、ＨＤＤ１０４中に保存されたお手本アルバムデータの保存場所（パス）を示すためのボックスである。お手本アルバムデータ選択ボタン５０３は、お手本アルバムデータを選択するためのボタンである。ユーザがお手本アルバムデータ選択ボタン５０３をマウス１０７でクリックすると、複数フォルダおよびファイルから構成されるツリーが表示される。そして、お手本とするアルバムデータを保持するファイルをユーザが選択すると、該選択したファイルのファイルパスがお手本アルバムパスボックス５０２に表示される。

【0037】

入力画像パスボックス５０４及び入力画像フォルダ選択ボタン５０５は、アルバムに含ませる写真画像の設定部である。入力画像パスボックス５０４は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示すためのボックスである。入力画像フォルダ選択ボタン５０５は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザが入力画像フォルダ選択ボタン５０５をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスが入力画像パスボックス５０４に表示される。

【0038】

商材設定ボックス５０６及び商材選択ボタン５０７は、作成するアルバムの商材設定部である。商材設定ボックス５０６は、作成するアルバムの商材情報を示すためのボックスであり、お手本アルバムデータ選択ボタン５０３によりお手本アルバムデータが選択された場合、該お手本アルバムデータの商材情報が表示される。商材選択ボタン５０７は、商材を切り替えるためのボタンである。ユーザが商材選択ボタン５０７をマウス１０７でクリックすると、商材の一覧が表示される。そして、ユーザが商材を選択すると、該選択した商材情報が商材設定ボックス５０６に表示される。

【0039】

ＯＫボタン５０８は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン５０８をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０２を介して、自動レイアウト処理部２０１にアルバム作成条件が伝えられる。具体的に説明すると、お手本アルバムパスボックス５０２に入力されているパスの情報は、お手本アルバムデータ取得部２０３に伝えられる。また、入力画像パスボックス５０４に入力されているパスの情報は、候補画像取得部２０５に伝えられる。また、商材設定ボックス５０６に入力されている商材情報は、アルバムデータ出力部２１１に伝えられる。

【0040】

リセットボタン５０９は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。

【0041】

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図６を用いて説明する。図６（ａ）は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図６に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。

【0042】

ステップＳ６０１において、アルバム作成条件設定部２０２は、アルバム作成条件を設定する。本実施形態では、アルバム作成条件として、お手本とするアルバムデータ及びアルバムに使用する画像群を設定する。尚、以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。

【0043】

Ｓ６０２において、お手本アルバムデータ取得部２０３は、Ｓ６０１で設定されたお手本アルバムデータを読み込み、ＲＡＭ１０３に展開する。また、お手本アルバムデータ取得部２０３は、お手本アルバムデータに記録された画像ファイルパスに従ってＨＤＤ１０４から画像データを読み込み、ＲＡＭ１０３に展開する。尚、本ステップでＲＡＭ１０３に展開される画像データを「お手本画像」と呼ぶことがある。つまり、お手本画像とは、お手本アルバムデータに配置されている画像データである。

【0044】

Ｓ６０３において、お手本画像解析部２０４は、Ｓ６０２でＲＡＭ１０３に展開されたお手本画像を解析する。ここで、本ステップの画像解析について、図６（ｂ）を用いて説明する。

【0045】

Ｓ６０３０１において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。

【0046】

Ｓ６０３０２において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。お手本画像解析部２０４は、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬や猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを分類するケースを説明したが、ディープニューラルネットワーク等の学習済モデルを用いて画像認識を行ってもよい。

【0047】

Ｓ６０３０３において、お手本画像解析部２０４は、Ｓ６０３０２で検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。

【0048】

Ｓ６０３０４において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対する特徴量を導出する。画像特徴量としては、例えば、色情報が挙げられる。色情報を画像特徴量として使用する方法として、ヒストグラムを用いることができる。画像データは一般的に１画素毎にＲＧＢの３値が記録されている。この時、画像全体のＲ値、Ｂ値、Ｇ値それぞれに対してヒストグラムを作成する。ヒストグラムは、ある値の範囲毎の出現頻度をカウントすることで作成できる。例えば画素値が０～２５５で記録されており、１６段階（０～１５、１６～３１、・・・、２４０～２５５）でカウントする場合、３値×１６段階＝４８次元の特徴量を得られる。尚、画像特徴量はこれに限らない。例えば、ディープニューラルネットワークによる特徴量を用いてもよい。具体的には、オブジェクト認識を行うネットワークに対して画像を入力すると、認識結果であるオブジェクトの種類及びその確率を表す数値の他に、演算過程の中間値が得られる。この中間値はオブジェクトを認識するための画像の特徴が圧縮されているため、画像を表す特徴量として用いることができる。また他には、Ｓ６０３０２及びＳ６０３０３で検出したオブジェクトや個人認識の結果を特徴量として用いてもよい。例えば、画像に写っている人の数を特徴量としてもよいし、個人認識結果に基づき写っている人の画像群全体における出現頻度を特徴量としてもよい。

【0049】

尚、ここでは、お手本画像解析部２０４が画像データを解析する形態を説明したが、本実施形態はこれに限らない。例えば、お手本画像解析部２０４が解析した結果をＨＤＤ１０４に保存しておく実施形が考えられる。お手本画像解析部２０４はＨＤＤ１０４に画像の解析結果が保存されているかを確認し、保存されている場合に該解析結果を読み込んでもよい。

【0050】

図６（ａ）の説明に戻る。Ｓ６０４において、候補画像取得部２０５は、Ｓ６０１で設定された画像群をＨＤＤ１０４から読み込み、ＲＡＭ１０３に展開する。

【0051】

なお、Ｓ６０３の解析処理は毎回行う必要はない。つまり、１つのお手本アルバムデータについてＳ６０３の処理を一度行い、その処理結果を保存しておく。そして、次回からは、その処理結果を読み出すことで、Ｓ６０３の解析処理で得られる解析情報を取得することができる。

【0052】

Ｓ６０５において、候補画像解析部２０６は、Ｓ６０４でＲＡＭ１０３に展開された候補画像を解析する。ここで、本ステップの画像解析について、図６（ｃ）を用いて説明する。尚、Ｓ６０５０１～Ｓ６０５０４についてはＳ６０３０１～Ｓ６０３０４と同様の解析処理のため詳細は省略する。

【0053】

Ｓ６０５０１において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対応する撮影日時の情報を取得する。

【0054】

Ｓ６０５０２において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。

【0055】

Ｓ６０５０３において、候補画像解析部２０６は、Ｓ６０５０２で検出した顔に対して個人認識を行う。

【0056】

Ｓ６０５０４において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対する画像の特徴量を導出する。

【0057】

Ｓ６０５０５において、候補画像解析部２０６は、候補画像取得部２０５で取得した画像群に対して、アルバムに適した画像かを示す画像得点を付与する。画像得点は、例えばピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。これにより、ピントが合っている画像の得点を高くすることができる。尚、ここでは、画質を表す得点としてピント量を採用したが、本実施形態で採用可能な得点はこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。

【0058】

また、画質以外に、画像に写っているコンテンツによって得点を付けてもよい。例えば、Ｓ６０５０２で導出した顔のサイズおよびＳ６０５０３の個人認識結果を用いることができる。まず、個人認識による結果、最も出現回数が多い人物を主被写体と設定する。画像中に主被写体が写っていない場合は０点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、ここでは、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ６０５０２でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行ってもよい。

【0059】

図６（ａ）の説明に戻る。Ｓ６０６において、レイアウト作成部２０８は、レイアウト作成を行う見開き番号を選択的に決定する。尚、ここでは、１見開き目から順番に選択するものとする。

【0060】

Ｓ６０７において、類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像解析結果と、候補画像解析部２０６が解析した候補画像解析結果とに基づき、Ｓ６０６で決定された見開き番号の見開きに配置される候補画像を選択する。本実施形態ではまず、類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像解析結果のうち、Ｓ６０６で決定された見開き番号の見開きに配置されているお手本画像に関する画像特徴量を取得する。その後、取得した各お手本画像の画像特徴量に対して、各候補画像の画像特徴量の類似度を計算する。類似度は、例えば２つの特徴量のユークリッド距離を用いることで計算できる。最も類似度が高い候補画像を類似画像として選択する。さらに、同じ候補画像が重複して選択されないように、一度選択された候補画像は以降の類似度計算の対象から除外する。尚、ここでは画像特徴量を用いて類似画像を選択したが、類似画像の選択に使用可能な変数はこれに限らない。例えば、候補画像解析部２０６による解析結果として取得される画像得点を用いてもよい。具体的には、各お手本画像の画像特徴量に対して、候補画像のうち類似度が上位の５つを選択し、さらに該選択した５つの候補画像の中で最も画像得点が高いものを類似画像として選択してもよい。さらに他の例では、お手本画像解析部２０４及び候補画像解析部２０６が解析することで取得される個人認識結果を用いてもよい。例えば、お手本画像に主被写体が写っている場合、主被写体が写っていない候補画像は、類似度が高くても類似画像として選択しないようにする。

【0061】

Ｓ６０８において、レイアウト作成部２０８は、Ｓ６０７で選択した類似画像を、お手本テンプレートに割り当てる。ここで、本実施形態におけるレイアウト作成方法について、図７を用いて説明する。図７は、Ｓ６０６で選択された見開きのお手本テンプレートと、レイアウト作成部２０８が作成するレイアウトの例を示す。まず、レイアウト作成部２０８は、お手本テンプレート７０１を取得する。お手本テンプレート７０１は、お手本アルバムデータ取得部２０３が取得したお手本テンプレートのうち、Ｓ６０６で決定された見開き番号に対応するお手本テンプレートである。お手本テンプレート７０１は、お手本画像とその配置情報が記録されている。お手本画像７０２、７０３は、画像とその配置を表している。候補画像群７０４は候補画像取得部２０５が取得した画像群を表している。類似画像７０５、７０６は、Ｓ６０７で選択された類似画像を表しており、類似画像７０５はお手本画像７０２と類似の画像であり、類似画像７０６はお手本画像７０３と類似の画像である。レイアウト作成部２０８は、類似画像７０５、７０６を、対応するお手本画像と同じ位置に配置することでレイアウトを作成する。レイアウト７０７は、レイアウト作成部２０８が作成したレイアウトである。以上説明した処理により、お手本テンプレートと類似したレイアウトを作成できる。

【0062】

Ｓ６０９において、レイアウト作成部２０８は、お手本アルバムデータ取得部２０３が取得したアルバムデータにおいて、全ての見開きに対してＳ６０６～Ｓ６０８の処理が完了したかを判定する。本ステップの判定結果が真の場合、Ｓ６１０に進む一方、該判定結果が偽の場合、Ｓ６０６に戻る。

【0063】

Ｓ６１０において、アルバム時系列判定部２０９は、レイアウト作成部２０８が作成した全見開きのレイアウトにおいてページが時系列順に並んでいるか判定する。本ステップの判定結果が真の場合、Ｓ６１２に進む一方、該判定結果が偽の場合、Ｓ６１１に進む。

【0064】

Ｓ６１１において、アルバムレイアウト並び替え部２１０は、Ｓ６１０で時系列順に並んでいないと判定されたページを時系列順に並び替える。アルバムレイアウト並び替え部２１０は、Ｓ６１０の判定で用いられたページ単位の時間を本ステップでも同様に用いて、ページが時系列順となるように並び替えを行う。

【0065】

Ｓ６１２において、アルバムデータ出力部２０９は、レイアウト作成部２０８またはアルバムレイアウト並び替え部２１０が作成した全見開きのレイアウトと、アルバム作成条件設定部２０２で設定された商材情報とをまとめてアルバムデータとして出力する。アルバムデータは例えば図３に示すような形式をしており、ＨＤＤ１０４に保存される。

【0066】

以上が、本実施形態における自動レイアウト処理についての内容である。

【0067】

図８は、本実施形態における並び替えを説明するための図であり、見開きを実際の時系列に即した順序に並び替えたアルバムを作成する例を示す。お手本アルバム８０１が５見開きで構成されているアルバムとすると、レイアウト作成部２０８によって、このお手本アルバムに類似する自動レイアウトされた５見開きのアルバム８０２が作成される。そして、アルバム時系列判定部２０９は、アルバム８０２を構成する見開き毎に撮影時間を算出することで、これら見開きの時系列を求める。そして、アルバムレイアウト並び替え部２１０は、アルバム時系列判定部２０９が導出した時系列に従って、時系列順に並んでない見開きが時系列順になるように見開きを並び替える。図８の例では１、３、５見開き目が時系列順に並んでいないため、これらの３見開きが時系列順になるように並び替えを行うことで、出力される自動レイアウトアルバム８０３が作成される。以上説明した並び替えにより、実際の撮影時間の時系列に即した順序に見開きが並び替えられたアルバムを作成することができる。

【0068】

＜本実施形態の効果について＞
本実施形態によれば、お手本アルバムに使われている画像と、作成するアルバムの候補画像との間で時系列が異なったとしても、実際の時系列に即したアルバムレイアウトを作成できる。

【0069】

［第２の実施形態］
第１の実施形態では、アルバムの全ての領域において見開きを並び替えるレイアウト処理を行った。これに対し、本実施形態では、アルバムの一部の領域において見開きを並び替えるレイアウト処理を行う。尚、以下では、既述の実施形態との差分について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。

【0070】

＜画像処理装置のソフトウェア構成、自動レイアウト処理について＞
図９は、本実施形態における画像処理装置のソフトウェア構成を示すブロック図である。図１０は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、ここでは、前述の実施形態と同じ要素に関しては、前述の実施形態と同じ符号を付与して説明を割愛する。

【0071】

並び替え領域規定部９０１は、レイアウト作成部２０８が作成した全見開きのレイアウトのうち、時系列順となるように並び替えを行う領域（並び替え領域、レイアウト並び替え領域等とする）を規定する。規定する方法としては、ユーザが並び替え領域を直接規定してもよいし、最初の見開きと最後の見開きとを除く領域を並び替え領域とするような固定した規定方法を用いてもよい。また、お手本アルバムのレイアウトで時系列順に並んでいない領域に対しては、時系列順に並ぶことが重要とされていない領域とみなして並び替え領域の範囲外としてもよい。他にも、アルバムレイアウトの並び替えを行う単位内で、スロット間での撮影時間が一定以上離れているような場合に、そのアルバムレイアウトの見開きまたはページでは時系列順に並べることが重要でないとみなして並び替え領域の範囲外としてもよい。尚、本実施形態では、最初の見開きと最後の見開きとを除く領域を並び替え領域として規定するものとする。

【0072】

並び替え領域規定部９０１によって規定された領域のみで、アルバム時系列判定部２０９とアルバムレイアウト並び替え部２１０との各処理が実行される。これにより、アルバム内で時系列の意味を持たせる箇所とそうでない個所とを明示的に分離でき、ユーザの意図により即したアルバムを作成できる。尚、並び替え領域を規定する際の単位は、スロット単位、ページ単位、または見開き単位でよい。例えば、結婚式シーン内で撮影日時に関係なく最後のページに集合写真を採用したい場合や、最初のページには新郎新婦の写真を採用したい場合などには、並び替え領域規定の単位は、ページ単位となる。これらの場合に、時系列と関係ないそのページにレイアウトしたいスロットや該ページは、並び替えの対象から除外される。

【0073】

Ｓ１００１において、並び替え領域規定部９０１は、レイアウト作成部２０８が作成した全見開きレイアウトに対する並び替え領域を規定する。

【0074】

図１１は、本実施形態における並び替えを説明するための図であり、規定された並び替え領域のみにおいて、実際の時系列に即した順序に見開きを並び替えたアルバムを作成する例を示す。お手本アルバム１１０１が５見開きで構成されているアルバムとすると、レイアウト作成部２０８によって、このお手本アルバムに類似する自動レイアウトされた５見開きのアルバム１１０２が作成される。そして、アルバム時系列判定部２０９は、アルバム１１０２を構成する見開き毎に撮影時間を算出することで、見開きの時系列を求める。そして、アルバムレイアウト並び替え部２１０は、アルバム時系列判定部２０９が導出した時系列に従って、時系列順に並んでない見開きが時系列順になるように見開きを並び替える。但し本実施形態では、並び替え領域（図１１の例では、最初の１見開き目と最後の５見開き目とを除く領域）内の見開き（図１１の例では、２～４番目に配置されている見開き）がレイアウト並び替えの対象である。図１１の例では３、４番目に配置されている見開き目が時系列順に並んでいないため、これらの見開きが時系列順になるように並び替えを行うことで、出力される自動レイアウトアルバム１１０３が作成される。以上説明した並び替えにより、規定された並び替え領域のみにおいて、実際の撮影時間の時系列に即した順序に見開きを並び替えたアルバムを作成することができる。

【0075】

＜本実施形態の効果について＞
本実施形態によれば、アルバム内で時系列の意味を持たせる箇所と、そうでない個所とを明示的に分離でき、ユーザの意図に沿ったアルバムを作成することができる。

【0076】

［第３の実施形態］
本実施形態では、撮影時間に基づいて画像群を分割することでシーン分類を行い、シーンを時系列順にするレイアウト処理を行う。

【0077】

＜画像処理装置のソフトウェア構成、自動レイアウト処理について＞
図１２は、本実施形態における画像処理装置のソフトウェア構成を示すブロック図である。図１３は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、ここでは、前述の実施形態と同じ要素に関しては、前述の実施形態と同じ符号を付与して、説明を割愛する。

【0078】

シーン分割部１２０１は、候補画像解析部２０６で導出した解析情報を用いて、候補画像取得部２０５で取得した画像群をシーン毎のサブ画像群に分ける。

【0079】

シーン分類部１２０２は、シーン分割部１２０１により得られたシーン毎に該当するカテゴリを判定する。シーンのカテゴリとして、例えば、屋内、屋外といったシチュエーションや、旅行や結婚式といった写真を撮影した時のイベント等が挙げられる。

【0080】

具体的には、候補画像解析部２０６及びお手本画像解析部２０４で取得済みの撮影日時の情報を用いて、画像間の撮影日時の時間差に基づいて画像群を複数のサブ画像群に分割する。実際の分割の例は以下の通りである。画像群のうち、最も撮影時間が古い（または新しい）画像に最初に着目し、その次に古い（または新しい）画像との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。このような処理を、着目画像を撮影時間が新しい（或いは古い）ものに順次置き換えながら、全ての画像に対して行う。尚、本実施形態における「分割」とは、２つの画像間を境に撮影時間の新しい方と古い方とで画像群を分割するという意味である。本実施形態では、着目画像の撮影時間とその次に古い（または新しい）画像の撮影時間との間の差分が１６時間以上の場合は、画像群を分割して、これらの画像が異なるサブ画像群に属するようにする。尚、分割の際に用いる時間差の閾値は、これに限定されるものではない。

【0081】

また、本実施形態では、撮影日時の情報を用いてシーン分割を行ったが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のシーンに属するように、画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ（クラスや部活等）に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を１つのシーン（サブ画像群）としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを１つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名や、ソーシャルネットワーキングサービス等で付けたタグ情報を画像に付随するメタ情報として取得する。例えば、「運動会」や「修学旅行」などの検索ワードによって、検索ワードを含むメタ情報を持つ画像群を１つのシーンとする。検索ワードの指定に関しては、アルバム作成条件設定部２０２を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。

【0082】

例えば、結婚式と披露宴との何れかに分類する場合、個人認識結果を用いて全画像中で最も多く写っている上位二人を新郎新婦とする。そして、新郎新婦のみが写っている写真が多いシーンを結婚式、新郎新婦以外の人も共に写っている写真が多いシーンを披露宴のように分類してもよい。さらには、特徴量を機械学習によって導出してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて入力を画像、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。

【0083】

尚、ここでは、お手本画像解析部２０４が画像データを解析する形態を説明したが、本実施形態はこれに限らない。例えば、お手本画像解析部２０４が解析した結果をＨＤＤ１０４に保存しておく実施形が考えられる。お手本画像解析部２０４はＨＤＤ１０４に画像の解析結果が保存されているかを確認し、保存されている場合に該解析結果を読み込んでもよい。

【0084】

アルバム時系列判定部１２０３は、シーン分割部１２０１及びシーン分類部１２０２によるシーン分類結果に基づく時系列判定を行う。具体的には、アルバム時系列判定部１２０３は、時系列における各シーンの順番を求める。この順番を求める処理では、まず、前述の実施形態で説明したアルバム時系列判定部２０９によるページ単位の時間の導出方法と同様の方法を用いて、シーン単位で時間を導出する。このシーン単位の時間を用いることで、時系列における各シーンの順番を求めることができる。１見開きまたは１ページに複数シーンが混在している場合には、該複数シーンの平均値または中央値をその見開きまたはページの時間としてもよいし、前後の見開きまたはページの時間をその見開きまたはページの時間としてもよい。このようにシーンに基づく時系列判定を行うことで、複数シーンがアルバムレイアウト内で混在することがなくなる。従って、アルバムのストーリーが崩れることがなくなり、ユーザに違和感を与えない時系列に沿ったアルバムレイアウトとすることができる。

【0085】

Ｓ１３０１において、シーン分割部１２０１及びシーン分類部１２０２は、お手本アルバムデータ取得部２０３で取得した画像群に対して、シーン分割及びシーン分類を実行する。

【0086】

Ｓ１３０２において、シーン分割部１２０１及びシーン分類部１２０２は、候補画像
取得部２０５で取得した画像群に対して、シーン分割及びシーン分類を実行する。

【0087】

＜本実施形態の効果について＞
本実施形態によれば、お手本アルバムに使われている画像と、作成するアルバムの候補画像との間で時系列が異なる場合であっても、レイアウト内でシーンが混在しないアルバムレイアウトを作成できる。

【0088】

［第４の実施形態］
本実施形態では、規定された並び替え単位に従ってアルバムレイアウトの並び替えを行う。

【0089】

＜画像処理装置のソフトウェア構成、自動レイアウト処理について＞
図１４は、本実施形態における画像処理装置のソフトウェア構成を示すブロック図である。図１６は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、ここでは、前述の実施形態と同じ要素に関しては、前述の実施形態と同じ符号を付与して、説明を割愛する。

【0090】

アルバムレイアウト並び替え単位規定部１４０１は、レイアウト作成部２０８が作成した全見開きのレイアウトに対して行う、時系列順とするための並び替えの単位を規定する。並び替えの単位を規定する方法としては、ユーザがアルバムレイアウトを考慮して並び替え単位を直接規定してもよいし、アルバムのレイアウトから並び替え単位を自動決定してもよい。アルバムのレイアウトから並び替え単位を自動決定するとは、例えば、見開きの中央をまたぐスロットが配置されているようなレイアウト、つまり見開きでレイアウトが作成されている場合については、見開き単位での並び替えを行うことを指す。また例えば、見開きの中央をまたぐスロットが存在せず、ページ単位でレイアウトが完成している領域についてはページ単位での並び替えを行うことを指す。このようにすることで、並び替え後のレイアウトが中央で切れてしまうことがなくなり、ユーザはレイアウトの切れ目を意識することなく実際の候補画像の時系列に即したアルバムを作成することができる。

【0091】

図１５は、本実施形における並び替え単位を説明する図である。見開き１、見開き３、見開き５のようにスロットがページ中央をまたいでいる見開きに対しては、並び替えの単位を見開き単位とする。一方、見開き２、見開き４のようにページ単位でスロットが分かれている見開きに対しては、並び替え単位をページ単位とする。このように定めた並び替えの単位に従って、アルバム時系列判定部２０９で時間を算出し、該算出した時間を用いてレイアウトの並び替え判定を行う。

【0092】

Ｓ１６０１において、アルバムレイアウト並び替え単位規定部１４０１は、レイアウト作成部２０８が作成した全見開きレイアウトに対して行う並び替えの単位を規定する。

【0093】

＜本実施形態の効果について＞
前述したように本実施形態では、規定された並び替え単位に従ってアルバムレイアウトの並び替えを行う。これにより、並び替え後において、切れ目があるような不自然なレイアウトを防止できる。

【0094】

［その他の実施形態］
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、前述の実施形態の要素を適宜組み合わせてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】