特許 7408304 装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-22

(45)【発行日】2024-01-05

(54)【発明の名称】装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20231225BHJP

   H04N 1/387 20060101ALI20231225BHJP

【ＦＩ】

G06T11/60 100C

H04N1/387 110

【請求項の数】 12

(21)【出願番号】P 2019112700

(22)【出願日】2019-06-18

(65)【公開番号】P2020204944

(43)【公開日】2020-12-24

【審査請求日】2022-05-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】山田 貴之

【審査官】粕谷 満成

(56)【参考文献】

【文献】特開２００８－１３７２５３（ＪＰ，Ａ）

【文献】特開２０１４－２２６８１６（ＪＰ，Ａ）

【文献】特開２０１２－１０１５１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

印刷装置で印刷するためのアルバムの見開きの画像データを作成する装置であって、
前記見開きごとに、１又は複数の写真画像のレイアウトを作成するレイアウト作成手段と、
前記アルバム全体を、前記レイアウト作成手段により作成されたレイアウトに基づき前記印刷装置で印刷する場合に、前記印刷装置において使用されない不使用ノズル数を特定する特定手段と、
を備え、
前記特定手段により特定された不使用ノズル数が所定の閾値以下ではない場合、前記レイアウト作成手段により作成されたレイアウトが変更される、
ことを特徴とする装置。

【請求項2】

前記見開きごとに、前記見開きの画像データのレイアウト方法として、端部に余白を持つように前記写真画像が配置される第１レイアウト方法と、前記見開きの全体の矩形の幅に対応するノズルが全て使用されるように前記写真画像が配置される第２レイアウト方法との何れを使用するかを決定する決定手段を更に備え、
前記決定手段は、少なくとも１つの前記見開きについて、前記第２レイアウト方法を使用することを決定することを特徴とする請求項１に記載の装置。

【請求項3】

前記アルバムは、記録装置が搬送方向に沿って記録媒体を搬送し該記録媒体に記録することで作成され、
前記幅は、前記搬送方向と垂直な方向の幅であることを特徴とする請求項２に記載の装置。

【請求項4】

前記第２レイアウト方法では、
前記見開きの全体に背景画像として１つの画像データが配置されているか、
前記見開きを構成する２ページのうち何れかの全面に１つの画像データが配置されているか、又は
矩形の画像と矩形の余白とが交互に配置されている
ことを特徴とする請求項２又は３に記載の装置。

【請求項5】

複数の画像データからレイアウトされる画像データを、使用されている色に関する情報に基づいて選択する選択手段を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の装置。

【請求項6】

前記選択手段は、既に選択済みの画像と、該既に選択済みの画像を除いた画像群の画像それぞれとの間の色距離に基づいて、選択することを特徴とする請求項５に記載の装置。

【請求項7】

前記選択手段は、前記既に選択済みの画像を除いた画像群の中から、前記色距離が最大の画像を選択することを特徴とする請求項６に記載の装置。

【請求項8】

印刷装置で印刷するためのアルバムに含まれる全ての見開きの画像データを作成する装置であって、
前記見開きごとに、１又は複数の写真画像が配置され、当該見開きの端部に余白を持つ第１レイアウトを作成する第１作成手段と、
前記見開きごとに、当該見開きにおいて、前記１又は複数の写真画像が、前記印刷装置で記録媒体が搬送される搬送方向と交差する方向の全体に亘って配置される第２レイアウトを作成する第２作成手段と、
前記見開きごとに、前記第２レイアウトに基づき前記印刷装置で印刷した場合の不使用ノズル数を特定する特定手段と、
前記不使用ノズル数を用いて、前記第２作成手段により前記見開きごとに作成された前記第２レイアウトの中から１つを決定する決定手段と、
を備え、
前記全ての見開きの画像データには、前記決定手段で決定された前記第２レイアウトの見開きの画像データが含まれる、
ことを特徴とする装置。

【請求項9】

前記決定手段により決定される第２レイアウトは、前記不使用ノズル数が、前記第２作成手段により作成される複数の前記第２レイアウトの中で最も少ないことを特徴とする請求項８に記載の装置。

【請求項10】

ページに対する画像データのレイアウト方法を決定する第１決定手段と、
前記第１決定手段により決定されたレイアウト方法に基づいて、印刷装置の印刷処理において使用されない前記印刷装置のノズルに関する情報を特定する特定手段と、
前記特定された前記ノズルに関する情報に基づいて、前記レイアウト方法を変更するか否かを決定する第２決定手段と、
複数の画像データからレイアウトされる画像データを、使用されている色に関する情報に基づいて選択する選択手段と、
を備えることを特徴とする装置。

【請求項11】

印刷装置で印刷するためのアルバムの見開きの画像データを作成する方法であって、
前記見開きごとに、１又は複数の写真画像のレイアウトを作成するレイアウト作成ステップと、
前記アルバム全体を、前記レイアウト作成ステップにより作成されたレイアウトに基づき前記印刷装置で印刷する場合に、前記印刷装置において使用されない不使用ノズル数を特定する特定ステップと、
を有し、
前記特定ステップにより特定された不使用ノズル数が所定の閾値以下ではない場合、前記レイアウト作成ステップで作成されたレイアウトが変更される、
ことを特徴とする方法。

【請求項12】

コンピュータに請求項１１に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、装置、方法、及びプログラムに関し、より具体的には、アルバム作成をする装置、方法、及びプログラムに関する。

【背景技術】

【0002】

デジタルカメラの普及に加え、近年ではスマートデバイスの普及及びスマートデバイスのカメラ性能の向上により、ユーザの写真撮影枚数が急激に増加している。撮影枚数の増加に伴い、撮影される被写体のバリエーションも増加している。

【0003】

デジタルカメラで撮影した複数の写真に対する自動レイアウトを行うことでアルバムを作成する方法として、特許文献１が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－１０８１６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

インクジェットプリンタでは、記録ヘッドに長時間使用していないノズルがある場合、インク固着を避けるため予備吐等の対策を取る必要がある。しかしながら、特許文献１では、ノズルの使用と不使用を考慮したレイアウト処理について開示されておらず、ユーザの利便性が低下するおそれがあった。

【課題を解決するための手段】

【0006】

本発明の一実施形態は、印刷装置で印刷するためのアルバムの見開きの画像データを作成する装置であって、前記見開きごとに、１又は複数の写真画像のレイアウトを作成するレイアウト作成手段と、前記アルバム全体を、前記レイアウト作成手段により作成されたレイアウトに基づき前記印刷装置で印刷する場合に、前記印刷装置において使用されない不使用ノズル数を特定する特定手段と、前記特定手段により特定された不使用ノズル数が所定の閾値以下ではない場合、前記レイアウト作成手段により作成されたレイアウトが変更される、ことを特徴とする装置である。

【発明の効果】

【0007】

本出願によれば、ユーザの利便性を向上することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態における画像処理装置のハードウェア構成を示すブロック図である。

【図2】第１の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。

【図3】第１の実施形態におけるアルバム作成アプリケーションのＧＵＩを示す図である。

【図4】第１の実施形態における自動レイアウト処理のフローチャートである。

【図5】第１の実施形態における画像解析情報を説明する図である。

【図6】第１の実施形態における画像群分割を説明する図である。

【図7】第１の実施形態におけるシーン分類を説明する図である。

【図8】第１の実施形態における画像得点化を説明する図である。

【図9】第１の実施形態における画像選択を説明する図である。

【図10】第１の実施形態における基本レイアウトの作成を説明する図である。

【図11】第１の実施形態における基本レイアウトの作成を説明する図である。

【図12】第１の実施形態における不使用ノズルを説明する図である。

【図13】第１の実施形態における補完レイアウトを説明する図である。

【図14】第２の実施形態における自動レイアウト処理のフローチャートである。

【発明を実施するための形態】

【0009】

［第１の実施形態］
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させる。このアプリケーションは、複数の写真画像が自動でレイアウトされたアルバムを出力するためのレイアウト情報を作成する。そして、このレイアウト情報を用いて記録することで、印刷物としてのアルバムが作成される。

【0010】

＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。

【0011】

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらの部品は、データバス１０９により接続されており、相互にデータを送信または受信することができる。

【0012】

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置は１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。

【0013】

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイルや画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、アルバム作成アプリと呼ばれることもあり、図３等を用いて後述する。

【0014】

ディスプレイ１０５は、本実施形態のユーザインターフェイス（以下ＵＩ）や画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの見開き数を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。

【0015】

データ通信装置１０８は、記録装置やサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトの結果取得された画像レイアウトに関する情報は、データ通信装置１０８を介して、画像処理装置１００に接続された記録装置やサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。

【0016】

＜画像処理装置のソフトウェア構成について＞
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされること等により起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、本実施形態において特に重要な機能である、自動レイアウト処理部２１０により提供される自動レイアウト機能を説明する。

【0017】

図２に示すように、このアプリは、アルバム作成条件設定部２０１と、自動レイアウト処理部２１０と、アルバム表示部２０２と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容や属性に基づいて分類ないし選択した上でレイアウトして、レイアウト情報を作成する機能である。作成されたレイアウト情報に基づくアルバム画像は、ディスプレイ１０５に表示される。

【0018】

アルバム作成条件設定部２０１は、マウス１０７によるＵＩ操作に応じたアルバム作成条件を、自動レイアウト処理部２１０に設定する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、アルバムの見開き数、アルバム作成のモード、アルバムを作成する商材を設定する。画像郡の設定は、例えば撮影日時など個別の画像データの付随情報や属性情報を用いて設定してもよいし、デバイスやディレクトリの設定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。尚、「見開き」とは、例えば表示においては１つの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。

【0019】

画像取得部２１１は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０１により設定されたアルバム作成条件を満たす画像群（画像データ群）を取得する。ここでいう画像群とは、１つのアルバム作成の際に見開きに配置する候補となる候補画像群を指す。例えば、アルバム作成条件設定部２０１において、ＸＸ年１月１日～ＸＸ年１２月３１日が指定された場合は、ＸＸ年１月１日～ＸＸ年１２月３１日に撮影された画像全てが、レイアウト候補の画像群に該当する。ＨＤＤ１０４に保存されている画像としては、静止画像や、動画から切り出された切り出し画像が挙げられる。静止画像や切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、画像取得部２１１は、データ通信装置１０８を介して画像を取得する。また、静止画像や切り出し画像は、外部のネットワークやサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークやサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。ＣＰＵ１０１はＯＳのプログラムを実行することで、各画像に対して、画像に付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、画像取得部２１１が取得する画像は、上述した画像に限定されるものではなく、他の種類の画像であってもよい。

【0020】

画像解析部２１２は、画像取得部２１１が取得した画像データに対する解析処理を実行する。本実施形態では、画像の特徴量を取得し、画像内のオブジェクト判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、画像解析部２１２は、ＨＤＤ１０４から取得した画像に付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、画像解析部２１２が画像データを解析した結果得られる情報を「画像解析情報」と呼ぶ。

【0021】

画像分類部２１３は、画像解析部２１２で導出した画像解析情報を用いることで、画像取得部２１１で取得した画像群をシーン毎に分類するシーン分割を実行する。このシーン分割は、撮影日時の情報、取得画像の枚数の情報、検出した顔の情報を使って実行する。シーンの画像とは、例えば、ある撮影対象について一時期の撮影機会に撮影された画像の集まり（サブ画像群）ということができ、このような撮影機会として、例えば、旅行、日常、結婚式、等が挙げられる。

【0022】

画像得点部２１４は、アルバム作成条件設定部２０１にて設定されたアルバム作成条件および画像解析部２１２にて導出された画像解析情報に基づき、各画像に対して得点付けを行う。本実施形態では、レイアウトに適した画像が高得点になるように各画像に対して得点付けを行う。画像に得点付けする際は、画像解析情報を含む画像情報、画像の分類結果、アルバム作成条件を用いる。但し、他の情報を付加的に或いは代替的に用いてもよい。レイアウトに適した画像とは、例えばコントラストが高い、エッジがシャープである、といった審美性が高い画像が挙げられる。

【0023】

見開き割当部２１５は、画像群を分割して各見開きに割り当てる。ここでいう見開きとは、例えば、アルバムにおける見開き、つまり２ページに該当する。尚、ここでは、見開きに画像群を割り当てる形態を説明するが、ページに画像群を割り当てる形態でもよい。見開き割当部２１５は、入力された見開き数と画像分類結果とに基づいて画像群を分割し、各見開きに画像群の一部を割り当てる。例えば、入力された見開き数が５の場合、取得した画像群を５つの小画像群に分割し、各見開きに１つの小画像群を割当てる。

【0024】

画像選択部２１６は、見開き割当部２１５で各見開きに割り当てられた小画像群において、画像得点部２１４で付けた得点に基づいて、アルバムに使用する画像を選択する。

【0025】

レイアウト作成部２１７は、見開きのレイアウトを作成する。具体的には、レイアウト作成部２１７は、画像選択部２１６で選択された画像と、不使用ノズル判定部２１９で判定された不使用ノズルとに基づき、各画像の配置位置を決定する。

【0026】

レイアウト情報出力部２１８は、レイアウト作成部２１７が作成したレイアウトに従って、レイアウト情報を出力する。レイアウト情報は、例えば、各画像が指定の位置に配置された見開きを描画するビットマップ形式画像データである。レイアウト情報出力部２１８から出力された画像データは、例えば図３に示すようなＧＵＩを介するユーザ指示が入力された場合に、ディスプレイ１０５に表示される。

【0027】

不使用ノズル判定部２１９は、レイアウト情報出力部２１８から出力されたレイアウト情報に基づき、アルバム作成時に記録装置のどのノズルが使われないかを判定する。

【0028】

アルバム表示部２０２は、レイアウト情報出力部２１８から出力されたビットマップ形式画像データに基づいて、アルバムの画像をディスプレイ１０５に表示する。

【0029】

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。尚、アプリケーションは、別の形態でも良く、例えば画像処理装置１００で動作するブラウザ内で画面等を表示するＷｅｂアプリでも良い。

【0030】

＜ＧＵＩについて＞
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩについて、図３を用いて説明する。図３は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ３０１を示す図である。ユーザは、ＧＵＩ３０１を介して、アルバム作成条件を設定することができる。

【0031】

ＧＵＩ３０１は、アルバムに含ませる写真画像の設定部として、パスボックス３０２及びフォルダ選択ボタン３０３を有する。パスボックス３０２は、アルバム作成の対象となる画像群のＨＤＤ１０４における保存場所（パス）を示すためのボックスである。フォルダ選択ボタン３０３は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザがフォルダ選択ボタン３０３をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス３０２に表示される。

【0032】

見開き数ボックス３０４は、アルバム１冊あたりの見開き数を指定するためのボックスである。ユーザは、キーボード１０６を使って見開き数ボックス３０４に数字を直接入力したり、マウス１０７を使ってリストから見開き数ボックス３０４に数字を入力したりすることができる。

【0033】

モード指定部３０７には、アルバムを作成する際に考慮するオブジェクトが分かるイラスト画像がアイコンとして複数表示されている。ユーザは該表示されている複数アイコンの中から任意のアイコンを選択ことで、該考慮するオブジェクトを指定することができる。尚、本実施形態では、考慮する可能性のあるオブジェクトとして、「人」、「動物」、「料理」という３つのオブジェクトを採用するケースを説明する。但し、これ以外のオブジェクトを採用し、３つ以上のオブジェクトの中から、考慮するオブジェクトを選択してもよい。また、同時に複数のオブジェクトを指定することも可能だが、ここでは説明の簡略化のためにオブジェクトが１つ選択されたとする。ユーザは、アイコンをマウス１０７でクリックすることにより、考慮するオブジェクトを指定する。

【0034】

見開き写真枚数設定部３０９は、作成するアルバムの各見開きに配置する画像の枚数を設定するためのスライダーバーである。スライダーが「多」側に移動されると、各見開きに配置する画像の枚数が増える。一方、スライダーが「少」側に移動されると、各見開きに配置する画像の枚数が減る。

【0035】

商材指定部３１０は、作成するアルバムの商材を設定するための要素である。設定する商材に関する具体的な項目としては、アルバムのサイズ、アルバムの用紙種類を採用することができる。表紙種類や綴じ部の種類を設定してもよい。

【0036】

ＯＫボタン３１１は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン３１１をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０１を介して、自動レイアウト処理部２１０にアルバム作成条件が伝えられる。具体的に説明すると、パスボックス３０２に入力されているパスの情報は、画像取得部２１１に伝えられる。また、見開き数ボックス３０４に入力されている見開き数の値は、見開き割当部２１５に伝えられる。

【0037】

リセットボタン３１２は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩについての内容である。

【0038】

＜自動レイアウトについて＞
以下、本実施形態における自動レイアウトについて、図４（ａ）を用いて説明する。図４（ａ）は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。図４（ａ）～（ｄ）に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。尚、本実施形態では、アルバムを作成する際に、アルバムを作成するための画像群を画像の撮影時間に応じて分割し、分割した各サブ画像群（以下、「区間」ともいう）からページに配置する画像を選択する。

【0039】

ステップＳ４０１では、アルバム作成条件設定部２０１は、アルバム作成条件を設定する。尚、以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、見開き数、アルバム作成のモード、アルバムを作成する商材を設定する。

【0040】

Ｓ４０２では、画像取得部２１１は、アルバム作成条件設定部２０１で設定された条件を満たす画像を、ＨＤＤ１０４から読み込み、ＲＡＭ１０３に展開する。

【0041】

Ｓ４０３では、画像解析部２１２は、ＲＡＭ１０３に展開された画像データを解析する。本ステップの解析について、図４（ｂ）を用いて説明する。

【0042】

Ｓ４０３１では、画像解析部２１２は、画像取得部２１１が取得した画像データに付随する情報を参照し、画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報から撮影日時の情報を取得する。

【0043】

Ｓ４０３２では、画像解析部２１２は、画像取得部２１１が取得した画像データに対する画質の特徴量を導出する。画質の特徴量としては、例えば、ピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間の輝度差を、始点と終点との間の距離で割ることで、輝度勾配（即ちエッジの傾き）を算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っていると判定することができる。本実施形態では、エッジの平均傾きの大きさを測るための複数の傾き閾値を設定し、算出したエッジの平均傾きが何れの傾き閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。

【0044】

Ｓ４０３３では、画像解析部２１２は、画像取得部２１１が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、顔を検出する。顔の検出方法として、任意の公知方法を採用することができる。このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。Ｓ４０３３では、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置と顔のサイズとを特定することができる。更に、人物の顔と同様に、犬や猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、置物等であってもよい。

【0045】

Ｓ４０３１～Ｓ４０３３で取得した各画像データの解析結果としての画像解析情報は、図５に示すように、画像を識別するＩＤ毎に区別してＨＤＤ１０４に記憶する。画像内に含まれる主要オブジェクトに関する値は、ＡｄａＢｏｏｓｔ実行時の信頼度が高いものから保持される。一方、検出されなかったオブジェクトに関する値は、保持されない。ＡｄａＢｏｏｓｔはパターンを判別する弱判別器を連続で接続し、１つの強判別器を形成する。そのため、信頼度はＡｄａｂｏｏｓｔで予め学習したパターンと一致する弱判別器が多いほど高くなる。尚、ここでは、ＡｄａＢｏｏｓｔを例に挙げてオブジェクト判定を説明したが、ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋを始めとするＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋを用いた判別器であってもよい。

【0046】

図４（ａ）の説明に戻る。Ｓ４１１では、画像解析部２１２は、Ｓ４０１で設定された条件を満たす画像群の全画像に対して、Ｓ４０２からＳ４０３の処理が完了したかを判定する。本ステップの判定結果が真の場合、Ｓ４１２に進む一方、該判定結果が偽の場合、Ｓ４０２に戻る。

【0047】

Ｓ４１２では、画像分類部２１３は、アルバム作成条件設定部２０１によって設定された条件を満たす画像群に対して、シーン分割及びシーン分類を実行する。「シーン分割」とは、取得した画像群をシーンに応じて複数のサブ画像群に分割することを指す。具体的には、Ｓ４０３１で取得済みの撮影日時の情報を用いて、画像と画像との時間差に基づき画像群を複数のサブ画像群に分割する。実際の分割の例は、以下の通りである。

【0048】

画像群のうち、例えば最も撮影日時が古い（または新しい）画像に最初に着目し、その次に古い（または新しい）画像との時間差を算出し、該算出した時間差が所定の閾値以上か否か判定する。このような処理を、着目画像を撮影時間が新しい（或いは古い）ものに順次置き換えながら、全ての画像に対して行う。尚、Ｓ４１２における「分割」とは、２つの画像間を境に撮影日時の新しい方と古い方とに画像群を分割するという意味である。ある画像の撮影日と別の画像の撮影日とが同じでなく、かつ連続していない場合、すなわち、画像間に撮影していない日が存在する場合は、分割する。

【0049】

次に、撮影日が連続する場合について説明する。本実施形態では、着目画像の撮影日時とその次に古い（または新しい）画像の撮影日時との間の差が１６時間以上の場合は分割する。画像間の撮影時間の差が１６時間未満の場合、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満であれば分割する。一方、連続する各日の最初の撮影から最後の撮影までの時間差が４時間以上の場合、連続する各日の撮影枚数が５０枚未満であれば分割し、５０枚以上であれば分割しないものとする。尚、分割の際に用いる時間差の閾値や画像枚数の閾値は、これに限定されるものではない。図６（ａ）は、上述したシーン分割方法を用いて、画像群を分割した結果例を示している。つまり、８個のサブ画像群に分割されたことが示されている。

【0050】

シーン分割の後、画像分類部２１３は、シーン分類を行う。本実施形態では、各サブ画像群（各シーン）を旅行、日常、セレモニーの３つに分類する場合を例に挙げて説明するが、分類の項目はこれらに限定されるものではない。

【0051】

まず、旅行、日常、セレモニーのうち何れに分類されるか予め判定したサブ画像群を複数取得し、該取得した複数のサブ画像群の夫々ついての、撮影の特徴量を取得する。本実施形態で取得する特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、サブ画像群に含まれる画像のうち最も古い画像の撮影時間と最も新しい画像の撮影時間との間の時間差である。撮影枚数は、サブ画像群に含まれる画像の数（写真の枚数）である。撮影人数は、顔が写っている画像における顔の数であり、１つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。尚、本実施形態では、１画像あたりの顔の数が、１画像あたりの人数とする。

【0052】

図７は、複数のサブ画像群に対して求めた、撮影期間（時間）の平均と標準偏差、撮影枚数の平均と標準偏差、１画像あたりの人数の平均と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。つまり、アプリケーションの設計段階で、予め集めた画像を用いた学習によってパラメータを生成し、該生成したパラメータをプログラムに組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２を介して指定した画像群に対するシーン分割の結果得られたサブ画像群毎に、撮影期間と、撮影枚数と、１画像あたりの人数とのそれぞれの平均値を算出する。そして、シーン毎に、前述したアプリに予め組み込まれたパラメータ（具体的には、各サブ画像群の撮影期間、撮影枚数、撮影人数の特徴量についてのそれぞれの平均値と標準偏差）を用いて、以下の式に従って得点を算出する。

【0053】

【数1】

【0054】

【数2】

【0055】

式（１）により、着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンについて、撮影期間と、撮影枚数と、撮影人数とのそれぞれの得点が求められる。これらの得点を式（２）により平均化して、旅行シーンに対する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上説明した手法により、旅行シーンの平均得点と、日常シーンの平均得点と、セレモニーシーンの平均得点とが、サブ画像群毎に算出される。尚、本実施形態では、式（２）における特徴量の項目数は３である。

【0056】

サブ画像群毎に算出したシーン毎の得点のうち最高点のシーンをそのサブ画像群のシーンとして特定する。２以上のシーンが同点の場合は、既定の優先度に従ってシーン分類を行う。例えば、本実施形態では、日常＞セレモニー＞旅行の順に優先することが予め決められており、日常の優先度を最も高くする。尚、優先度の順番はこれに限定されるものではなく、また、ユーザが優先度の順番を変更できるようにしてもよい。

【0057】

図６（ａ）のサブ画像群（１）～（８）は夫々、画像群に対するシーン分割により得たサブ画像群を示す。これらサブ画像群のうちサブ画像群（５）について、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。これに対する旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は－２９．９２であったとする。その場合、サブ画像群（５）のシーンは旅行に分類される。分類したサブ画像群は、シーン識別ができるようにシーンＩＤを関連付けて管理する。

【0058】

Ｓ４１６では、画像得点部２１４は、各画像に対する得点付けを行う。この処理を画像得点化と呼ぶ。本ステップで導出する「得点」とは、アルバムへの使用適性を評価するためのパラメータであり、画像データ毎に後述する観点で評価した得点が付けられ、後述の画像選択時に参照される。以下、図８（ａ）及び図８（ｂ）を用いて、画像得点化の方法について説明する。

【0059】

図８（ａ）に画像データの得点化の基準を示す。より具体的には、図８（ａ）は、旅行、日常、セレモニーという３つのシーンについて、シーン毎に得点が高くなる画像の特徴をまとめたテーブルである。図８（ａ）に示すように、シーンの種類に応じて、得点が高くなる特徴が異なる。例えば、サブ画像群のシーン分類が旅行である場合、人物と風景が入った引いた画像は得点が高くなる。また、例えば、サブ画像群のシーン分類が日常である場合、顔のアップや横顔の画像は得点が高くなる。また、例えば、サブ画像群のシーン分類がセレモニーである場合、２人の距離が近い画像は得点が高くなる。

【0060】

このように、シーンの種類に応じて、得点が高くなる特徴、言い換えれば、評価基準が異なる。本実施形態では、シーンの種類に応じた得点が高くなる特徴は、アプリケーションにおいて予め設定されており、プログラムに含まれるものとする。尚、得点が高くなる特徴は、上述したものに限定されない。本実施形態では、図８（ａ）に示す各シーンの特徴に基づいて、各サブ画像群に含まれる各画像データに得点を付ける。Ｓ４０３３で取得した各画像における顔の数、各画像における顔の位置、各画像における顔のサイズを用いて、平均値と標準偏差とを各シーンの種類に対して求めて、該求めた値をアルバム作成アプリケーションのプログラムに従い記憶しておく。ユーザが指定した画像群の各画像が何れのシーンに属するか（分類されるか）は、Ｓ４１２のシーン分類の結果から特定する。そして、注目画像のシーンに対応する予め求めた平均値と標準偏差、及び、注目画像における顔の数と顔の位置と顔サイズとの各特徴量に基づいて、以下の式（３）及び式（４）を用いて、得点と平均得点とを算出する。下式における得点、平均値、標準偏差は、シーン毎且つ特徴量毎に求められる。

【0061】

【数3】

【0062】

【数4】

【0063】

更に、上記の式を用いて算出された得点に対して、アルバム作成条件設定部２０１で指定されたモードに従って、加点を行う。例えば、アルバム作成のモードが人物と設定された場合に、ある画像について、図５の表に保持されているオブジェクト分類のＴＯＰ１からＴＯＰ３の値に、カテゴリが人の信頼度が含まれていれば、当該ある画像の得点に加点する。このとき、オブジェクト分類結果の信頼度が高いほど加算する得点を多くしてよい。他にも、加算する得点は、オブジェクト分類結果の順位（つまりＴＯＰ１～ＴＯＰ３のどれか）に応じて変更してもよい。ここでは説明のために、アルバム作成のモードで人物が選択された場合を説明したが、動物や料理など他のモードであってもよい。また、選択する個数は１つだけでなく、２つ以上を選択してもよい。その場合は、選択されたオブジェクトが含まれている分だけ得点に加点する。また、図５に示すピントの特徴量が○の画像に対しては、上記の式を用いて算出された得点に加点してもよい。これにより、ピントが合っている画像の得点を高くすることができる。図８（ｂ）は、各画像に得点付けした結果の一例として、画像ＩＤ毎の得点が保持されたテーブルを示す。

【0064】

尚、本実施形態では、得点化にＳ４０３の画像解析結果及びＳ４１２の画像分類結果を用いたが、用いるものはこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットの情報を用いてもよい。

【0065】

Ｓ４１７では、画像得点部２１４は、ユーザ指定の画像群の全画像に対してＳ４１６の画像得点化が完了したか判定する。本ステップの判定結果が真の場合、Ｓ４１８に進む一方、該判定結果が偽の場合、Ｓ４１６に戻る。

【0066】

Ｓ４１８では、見開き割当部２１５は、ユーザ指定の画像群の全画像をアルバム内の各見開きに割り当てる。図４（ｃ）は、本ステップにおける割り当て処理の詳細なフローチャートである。

【0067】

Ｓ４１８１では、見開き割当部２１５は、画像分類部２１３のシーン分割により得られたシーン数（サブ画像群の数）がアルバム作成条件設定部２０１で設定された見開き数と同じか判定する。本ステップの判定結果が真の場合、Ｓ４１８５に進む一方、該判定結果が偽の場合、Ｓ４１８２に進む。例えば、図６（ａ）に示すようにシーン数が８であり、見開き数が８であれば、Ｓ４１８５に移行する。

【0068】

Ｓ４１８２では、見開き割当部２１５は、シーン数がアルバム作成条件設定部２０１で設定された見開き数より少ないか判定する。本ステップの判定結果が真の場合、Ｓ４１８３に進む一方、該判定結果が偽の場合、Ｓ４１８４に進む。例えば、図６（ａ）に示すようにシーン数が８であり、見開き数が１０であれば、シーン数が見開き数より少なくないため、Ｓ４１８３に移行する。

【0069】

Ｓ４１８３では、見開き割当部２１５は、サブシーン分割を行う。「サブシーン分割」とは、シーン数が見開き数より小さい場合に、分割されたシーンを更に細かく分割することを指す。図６（ａ）に示すようなシーン数が８の場合に指定見開き数が１０のケースを例に挙げて説明する。図６（ｂ）は、図６（ａ）の状態でサブシーン分割を行った結果を示す。図中の破線矢印６０１、６０２の箇所でサブ画像群を更に分割することで、シーン数を１０にしている。このようなサブシーン分割は、画像枚数および撮影日時を基準として用いて行われる。図６（ａ）に示す状態からのサブシーン分割では、画像数が多いサブ画像群を特定する。ここでは、シーン数を８から１０に２つ増やしたいため、画像数が多い２つのサブ画像群を特定する。つまり、再分割すべきシーンを、最も多くの画像を含むシーンから順に増やしたいシーン数分（ここでは２）指定する。画像数が同数のシーンが複数存在する場合、画像間の撮影日時の差の最大値が大きい方のシーンを選択する。それでも分割対象のシーンを決定できない場合には、例えば時間的に早いシーンを優先的に分割対象とするなど、規則を予め決めておけばよい。図６（ａ）では、画像数が多いサブ画像群は、多い方からサブ画像群（５）、次にサブ画像群（１）とサブ画像群（２）である。サブ画像群（１）の画像数とサブ画像群（２）の画像数とは等しい。本実施形態では、サブ画像群に含まれる画像数が同じである場合は、サブ画像群に含まれる最初の画像と最後の画像との時間差が大きい方のサブ画像群を分割する。サブ画像群（１）とサブ画像群（２）は、含まれる画像の数は同じだが、サブ画像群（２）の方が最初の画像と最後の画像との時間差が大きいため、サブ画像群（２）が分割対象となる。このように、図６（ａ）の例では、サブ画像群（５）とサブ画像群（２）とをそれぞれ更に分割する。

【0070】

まず、サブ画像群（２）の分割について説明する。図示するように、サブ画像群（２）には、画像枚数の山が２つあり、この２つは撮影日が違うものとする。この場合、破線矢印６０１で示すように、撮影日が変わる箇所で分割する。次に、サブ画像群（５）の分割について説明する。サブ画像群（５）には画像枚数の山が３つあり、この３つは撮影日が違うものとする。この場合も、撮影日が変わる箇所で分割する。このとき、撮影日が変わる箇所が２箇所あるが、分割後の各画像群の枚数差が小さくなるように分割する。図６（ａ）のサブ画像群（５）については、２日目と３日目との境目で分割した方が、１日目と２日目との境目で分割するよりも分割後の各画像群の枚数差が小さくなるので、２日目と３日目の境目で分割する。即ち、破線矢印６０２で示す箇所で分割する。以上説明したサブシーン分割によりシーン数を８から１０にする。尚、ここでは、撮影日の違う箇所で分割したが、画像数が多いサブ画像群が単一日で撮影されたものである場合は、単一日の中で時間差が最大の箇所で分割する。

【0071】

Ｓ４１８４では、見開き割当部２１５は、シーン統合を行う。「シーン統合」とは、シーン数が見開き数より大きい場合に、分割されたシーン（サブ画像群）を統合することを指す。具体的には、シーン数と見開き数とが等しくなるように、シーン数を減らす。図６（ａ）に示すようなシーン数が８の場合に指定見開き数が６のケースを例に挙げて説明する。図６（ｃ）は、図６（ａ）の状態でシーン統合を行った結果を示す。図６（ｃ）中に破線６０３、６０４で示す箇所を統合したことで、言い換えれば、この破線で示す箇所で分割しないことで、シーン数（サブ画像群の数）を６にする。シーン統合では、画像数が少ないサブ画像群を、統合対象として特定する。ここでは、シーン数を８から６と２つ減らす目的で、画像数が少ないサブ画像群を２つ特定する必要がある。図６（ａ）では、画像数が少ないサブ画像群は、少ない方からサブ画像群（８）、次にサブ画像群（３）とサブ画像群（７）である。サブ画像群（３）の画像数とサブ画像群（７）の画像数とは等しい。従って、まず、最も画像数が少ないサブ画像群（８）を統合対象とする。もう１つの統合対象として考えられるサブ画像群（３）とサブ画像群（７）とは、含まれる画像の数は同じだが、サブ画像群（７）に隣接するサブ画像群（８）が統合対象であるため、サブ画像群（８）に隣接しないサブ画像群（３）を統合対象とする。

【0072】

統合対象のサブ画像群を決定した後、この統合対象のサブ画像群を、撮影日時が前のサブ画像群に統合するか、撮影日時が後のサブ画像群に統合するかを決定する。まず、図６（ａ）のサブ画像群（３）の統合について説明する。サブ画像群（３）とこの前のサブ画像群（２）との間の時間差と、サブ画像群（３）とこの後のサブ画像群（４）との間の時間差とを比較すると、後者が前者より小さい。従って、サブ画像群（３）は、サブ画像群（４）に統合すると決定する。そして、破線６０３の箇所にあった異なるサブ画像間の境界がなくなり、サブ画像群の統合がなされる。次に、サブ画像群（８）の統合について説明する。サブ画像群（８）は、これより後のサブ画像群が存在しないため、サブ画像群（８）の前のサブ画像群（７）と統合すると決定する。そして、破線６０４の箇所にあった異なるサブ画像間の境界がなくなり、サブ画像群の統合がなされる。尚、本実施形態では、撮影時間の差が小さいサブ画像群同士を統合することにしたが、サブ画像群の統合手法はこれに限定されるものではない。例えば、統合対象のサブ画像群を画像数が少ないサブ画像群に統合するようにしてもよい。

【0073】

Ｓ４１８５では、見開き割当部２１５は、見開き割当を行う。Ｓ４１８１～Ｓ４１８４の処理によって、サブ画像群の数は、指定見開き数と同じになっている。本実施形態では、撮影日時が最も古いサブ画像群を先頭の見開きに割り当て、撮影日時順にサブ画像群をアルバムの各見開きのページに割当てる。これにより、撮影日時順にサブ画像群が並んだアルバムを作成することができる。但し、後述する通り、１つの見開きページ内では、画像は撮影日時順に並んでいてもよいし、並んでいなくてもよい。

【0074】

Ｓ４１９では、画像選択部２１６は、各サブ画像群から所定枚数の画像を選択する。以下、図９を用いて、ある見開きに割り当てられたサブ画像群から画像を４枚選択するケースを例に挙げて説明する。

【0075】

図９において、（Ａ）は、見開きに割り当てられたサブ画像群に含まれる最初の画像から最後の画像のまでの撮影日時の時間差、言い換えれば、サブ画像群の撮影期間を示す。図９の（Ｂ）を使って、４枚選択する際の１枚目を選択する方法を説明する。図９の（Ｂ）に示すサブ画像群の撮影期間に撮影された全ての画像のうち、Ｓ４１６で付けた得点が最も高い画像を、１枚目の画像として選択する。そして、２枚目以降の選択では、サブ画像群の撮影期間を細分化して画像を選択することにより、サブ画像群の撮影期間の一部に選択画像が集中しないようにする。まず、図９の（Ｃ）に示すようにサブ画像群の撮影期間を２等分して、２つの撮影区間（期間）とする（グループ分けする）。次に、図９の（Ｄ）に示すように、１枚目の画像が選ばれていない撮影区間（実線の区間）に属する画像の中から得点が最も高い画像を、２枚目の画像として選択する。次に、図９の（Ｅ）に示すように、（Ｄ）の各撮影区間をそれぞれ２等分する。図９の（Ｆ）において実線で示す撮影区間、即ち、１枚目と２枚目が選ばれていない２つの撮影区間に撮影された画像（２つの撮影区間に対応する画像）のうち得点が最も高い画像を、３枚目の画像として選択する。次に、画像を選択する撮影区間に画像が存在せず、画像選択できないケースを４枚目の画像選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。従って、分割して得られた撮影区間に画像が存在しない場合がある。例えば、図９の（Ｇ）に示すように、まだ画像が選ばれていない撮影区間（斜線の撮影区間）から４枚目の画像を選択したいが、この撮影区間には画像が存在しないとする。このような場合は、図９の（Ｈ）に示すように、画像選択済みの各撮影区間をそれぞれ２分割する。次に、図９の（Ｉ）に示すように、１～３枚目が選ばれていない実線の撮影区間に撮影された画像の中から得点が最も高い画像を、４枚目の画像として選択する。尚、選択する画像の枚数が４枚から増減したケースについても、前述と同様に画像を選択すればよい。

【0076】

図４（ａ）の説明に戻る。Ｓ４２０では、レイアウト作成部２１７は、処理対象の見開きのどこにどの画像を配置するかを決定する（画像レイアウトの決定とする）。本実施形態では、見開きの端部に余白を持つレイアウト（基本レイアウトとする）を作成した後、記録時に記録ヘッドの全ノズルを使用するためのレイアウト（補完レイアウトとする）を作成する。図４（ｄ）は、Ｓ４２０の詳細なフローチャートである。

【0077】

Ｓ４２０１では、レイアウト作成部２１７は、各見開きの基本レイアウトを作成する。ここでは、Ｓ４０３で取得した撮影日時とＳ４１６で取得した得点とに基づいて基本レイアウトを作成する方法について、Ｓ４１９で５枚の画像が選ばれた例を挙げながら、図１０及び図１１を用いて説明する。図１０は、選ばれた５枚の画像それぞれに対する撮影日時と得点を示す。まず、見開きに使う画像として選ばれた５枚の画像を、見開き内の２ページの何れかのページに割り当てる。本実施形態では、画像を撮影時間順に並べて、中央で分割する。尚、本例のように選択画像の数が奇数の場合は、中央に近い場所であって、前後の画像の撮影時間差が大きい場所で分割する。次に、各ページにおいて最高得点とそれ以外の得点の合計との比率に従って、ページ内を分割する。ここでは、この得点比率と、分割後のページにおける分割領域の面積比率とが同じになるように、垂直または水平な線分で分割する。尚、分割後の大きい方の矩形と、最高得点の画像とは、長辺の方向が揃っていることが望ましい。また、分割対象の領域は、ページ端部の一定の余白を除いた領域とする。この余白幅の情報は、アルバム作成アプリケーションに予め組み込んでおく。

【0078】

図１１（ａ）は、基本レイアウト作成の際の、１回目のページ分割後の状態を表す。見開きを構成する各ページ内を分割した後、大きい方の矩形内に最高得点の画像を配置する。矩形のうち、端部の一定の余白を除いた領域を画像領域とし、対象画像を拡大、縮小、トリミング処理することで領域に納まるように加工した上で配置する（図１１（ｂ）参照）。以後、配置されていない画像とページ内の領域とを用いて、同様の処理を行う（図１１（ｃ）参照）。この際、配置されていない画像が１枚のみの場合は、残っているページ内の領域に配置する。尚、ここでは、基本レイアウトとして、撮影日時と画像の得点とに基づいて、画像の配置を決めたが、基本レイアウトの作成方法は、これに限定されない。画像の色やオブジェクト検出の結果に基づいて画像を配置してもよいし、位置情報や撮影条件など、撮影日時以外の画像データに付随する情報に基づいて画像を配置してもよい。

【0079】

Ｓ４２０２では、レイアウト作成部２１７は、全ての見開きに対してＳ４２０１の基本レイアウト作成が完了したか判定する。本ステップの判定結果が真の場合、Ｓ４２０３に進む。一方、本ステップの判定結果が偽の場合、Ｓ４２０１に戻る。

【0080】

Ｓ４２０３では、レイアウト作成部２１７は、各見開きの補完レイアウトを作成する。本実施形態では、記録ヘッドの不使用ノズルを少なくするレイアウト方法として、見開き全体に画像を配置する方法を採用する。詳しく説明すると、Ｓ４１９で対象の見開きに割り当てられた画像の何れかを背景画像として見開き全体に配置し、他の画像を前景画像として背景画像の上に重ねて配置する。この際、前景画像は、Ｓ４２０１の基本レイアウト作成と同じ方法で配置する。

【0081】

補完レイアウトは、見開きに割り当てられた各画像を背景画像として、画像枚数と同じ数作成する。尚ここでは、画像の配置方法として、見開き全体に１枚の背景画像を配置したが、画像の配置方法はこれに限られない。背景画像を複数にしてもよいし、見開きのうち片ページのみページ全面に画像を配置してもよいし（図１３（ａ））、紙の搬送方向と同方向に余白領域が続かないように交互に配置してもよい（図１３（ｂ））。また、前景画像は基本レイアウトと同じ方法で配置したが、見開きのうち片ページに集めてもよいし（図１３（ｃ））、ばらばらに並べてもよい（図１３（ｄ））。

【0082】

Ｓ４２０４では、不使用ノズル判定部２１９は、不使用ノズル数を算出する。以下、本ステップの不使用ノズルの算出方法について、図１２（ａ）を用いて説明する。図１２（ａ）は、記録ヘッド１２０２を用いて記録媒体１２０１に記録する場合の、各見開きの記録結果１２０３、不使用ノズル１２０４を表す。図１２（ｂ）は、記録媒体１２０１を図１２（ａ）に示す搬送方向に搬送しながら、記録媒体１２０１に記録したときの、ノズル位置とある色のインク吐出量と間の関係を示すグラフである。これは、搬送方向と垂直な方向に応じたインク吐出量を、搬送方向に積算したものに相当する。

【0083】

実際に記録装置で記録する際、画像データを構成する色（例えば、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ））を記録ヘッドに合った色（例えば、ＣＭＹＫシアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ））に色分解する。従って、この４チャンネル（ＣＭＹＫ）の画素値を用いて不使用ノズル数を算出することが考えられる。但し本実施形態では、ＣＭＹＫの各画素値の代わりに、画像データで一般的に用いられるＲＧＢの各画素値に基づき、不吐出ノズル数を算出する。言い換えると、各ノズルにおけるインク吐出量の代わりに、レイアウト結果のビットマップデータの列方向（記録媒体の搬送方向）に沿って、Ｒ値、Ｇ値、Ｂ値をそれぞれ積算した値を用いて、不吐出ノズル数を算出する。ＲＧＢの積算値の何れかが０の場合、相当位置のノズルを不使用ノズルとみなす。そして、最終的には、不使用ノズルの数を求める。尚、ここでは、ＲＧＢの各画素値を用いて不吐出ノズル数を算出したが、算出方法はこれに限定されない。他の色空間でもよいし、実際の記録工程と同様の色分解やインク吐出量計算を行ってもよいし、面付け等の記録工程時の紙面上への配置を考慮してもよい。例えば、記録媒体の搬送方向に対して垂直な方向に２見開き分並べて記録する場合、記録ヘッドの左側で記録する見開きと、その右側で記録する見開きとのそれぞれに対して、不使用ノズル数を算出する。また、必ずしも記録ヘッドの全てのノズルについてインク不吐出か否かを判定する必要はない。記録媒体の記録面外に位置するノズル（記録領域外のノズル）や、所定の閾値以上連続しないようなノズル、つまり、出力後にノズル不吐出の結果を不良として視認できないノズルは、不使用ノズル数のカウント対象としなくてもよい。例えば、２４００ｄｐｉ（１０．６μｍピッチ）の間隔でノズルが配置されており、記録媒体上でのドット径が５０μｍである記録装置で記録する場合を考える。このとき、連続した３ノズルの不吐は、隣接するノズルによる吐出により埋めることができるため、この連続した３ノズルを、不使用ノズルとして考える必要はない。尚、この閾値は、記録装置の解像度や記録条件、記録媒体の特性等に応じて変化させてもよい。

【0084】

Ｓ４２０５では、レイアウト作成部２１７は、Ｓ４２０３で作成した補完レイアウトのうち、１つを選ぶ。本実施形態では、対象見開き対応する補完レイアウトとして、Ｓ４２０４で算出した不使用ノズル数の値が最も小さい補完レイアウトを選択する。

【0085】

Ｓ４２０６では、レイアウト作成部２１７は、全ての見開きに対してＳ４２０３からＳ４２０５の処理が完了したかを判定する。本ステップの判定結果が真の場合、Ｓ４２０７に進む一方、該判定結果が偽の場合、Ｓ４２０３に戻る。

【0086】

Ｓ４２０７では、レイアウト作成部２１７は、補完レイアウトを使う見開きを決定する。本実施形態では、Ｓ４２０４で算出した不使用ノズル数が最も少ない見開きを、補完レイアウトを使う見開きとし、それ以外の見開きは基本レイアウトを使う見開きとする。尚、ここでは、不使用ノズル数が最も少ない見開きを１つ選択したが、選択方法はこれに限定されない。複数の見開きを選ぶことで不使用ノズル数を少なくしてもよいし、特定の範囲の不使用ノズル数が少なくなるような見開きを選んでもよい。

【0087】

Ｓ４２０８では、不使用ノズル判定部２１９は、アルバム全体で不使用ノズル数が所定の閾値以下になっているか判定する。本ステップの判定結果が真の場合、Ｓ４２１に進む。一方、本ステップの判定結果が偽の場合、Ｓ４２０７で決定した補完レイアウトを使う見開きの決定を維持した状態で、Ｓ４２０３に戻る。なお、図４（ｄ）のフローチャートでは、S４２０３に戻るが、その限りではない。例えば、S４２０７に戻り、レイアウト作成部２１７は、前回のＳ４２０７の処理において２番目に不使用ノズル数が少ないと判定された見開きをＳ４２０７において補完見開きと決定しても良い。尚、ここでは、アルバム全体での不使用ノズル数が閾値以下になった時点でＳ４２１に移行したが、Ｓ４２０の終了条件はこれに限定されない。アルバム全体での不使用ノズル数が所定の閾値以下になった後も補完レイアウトを増やしてもよいし、アルバムの一部分作成時の不使用ノズル数が所定の閾値以下になるまで補完レイアウトを増やしてもよい。本ステップで用いる所定の閾値は、アルバム作成アプリケーションに予め組み込んでおいてもよいし、アルバム作成条件設定部２０１で設定した値から導出してもよいし、画像データに基づいて導出してもよい。例えば、商材としてマット紙のような不良が目立ちにくい紙種を選んだ場合は閾値を上げる、画像データの低周波成分が多く不良が目立ちやすい場合は閾値を下げる、といったように調整してもよい。

【0088】

Ｓ４２１では、レイアウト情報出力部２１８は、レイアウト情報を作成する。例えば、レイアウト情報出力部２１８は、Ｓ４２０で決まった通りに各画像をレイアウトした見開き画像を表すビットマップ形式画像データを作成する。

【0089】

なお、Ｓ４２１で作成されたレイアウト情報（ビットマップ形式画像データ）が印刷装置に送信されることで、印刷処理が実行される。

【0090】

本実施形態によれば、例えば、フルマルチプリンタ等の記録装置で記録してアルバムを作成する際、長時間にわたってノズルが使用されない可能性を軽減できる。その結果、予備吐等のメンテナンス処理を軽減できるため、ユーザ（またはオペレータ）の利便性を向上できる。また、画像の解析結果に基づいて記録ヘッドにおける不使用ノズルを減らすように画像を配置することで、コストを低減できる。

【0091】

［第２の実施形態］
本実施形態では、使われるノズルを増やすことを画像選択時に考慮する。

【0092】

＜自動レイアウトについて＞
以下、本実施形態における自動レイアウトについて、図１４（ａ）を用いて説明する。図１４（ａ）は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては（図４参照）、前述の実施形態の処理と同じであるため、ここでは説明を割愛する。

【0093】

Ｓ１４０１では、画像選択部２１６は、各サブ画像群から所定枚数の画像を選択する。ここで本ステップの選択方法の１例として、各見開き内で多くの色が使用される画像を選択する方法について、図１４（ｂ）を用いて説明する。

【0094】

Ｓ１４０１１では、画像選択部２１６は、各画像に対して減色処理を行う。減色処理では、例えば公知のｋ－ｍｅａｎｓ法を用いて、画像内の色が所定数の種類となるように減色する。本実施形態では、画像内の色が５種類となるように減色するが、減色後の種類数は５に限らない。

【0095】

Ｓ１４０１２では、画像選択部２１６は、サブ画像群から最初の１枚目の画像を選択する。本実施形態では、Ｓ４１６で付けた得点が最高の画像を１枚目の画像として選択する。

【0096】

Ｓ１４０１３では、所定枚数の画像を選択済みか判定する。本ステップの判定結果が真の場合、一連の処理は終了する一方、該判定結果が偽の場合、Ｓ１４０１４に進む。

【0097】

Ｓ１４０１４では、既に選択済みの画像と、既に選択済みの画像を除いたサブ画像群の画像それぞれとの間の色距離を算出する。ここでは、本ステップに色距離算出の例として、色相を用いた色距離算出を説明する。まず、１つ前に選ばれた画像に対して、Ｓ１４０１１で得られた減色画像に基づいて、最大面積である色を導出し、該導出した色を代表色とする。次に、既に選択済みの画像を除いたサブ画像群の各画像についても同様に、減色画像に基づいて代表色を決定する。ここで、代表色はＨＳＶ（色相、再度、明度）の各値に変換して表すものとする。最後に、１つ前に選ばれた画像の代表色と、既に選択済みの画像を除いたサブ画像群の各画像の代表色との間の差を計算する。ここでは、色相に着目して、色相の差を用いる。尚、色距離として色相の差を用いたが、色距離として他のパラメータの値を用いてもよい。例えば、他の色空間における距離でもよい。

【0098】

Ｓ１４０１５では、画像選択部２１６は、選択済みの画像とは異なる色を有する画像を選択する。本実施形態では、Ｓ１４０１４で計算した色距離のうち、選択済みの画像との色距離の平均値が最大となる画像を選択する。選択後、Ｓ１４０１３に戻る。

【0099】

本実施形態によれば、画像の色に基づいてアルバムに使用する画像を選択することで、記録ヘッドにおける不使用ノズルを低減する結果、コストを低減できる。

【0100】

［他の実施形態］
本出願の思想は、上述した実施形態に限定されるものではない。例えば、上述の実施形態では、アルバム作成アプリケーションを例に挙げて説明したが、お勧め画像を自動選択するような画像選択処理を備えるアプリケーションや画像処理装置であってもよい。つまり、アルバム作成に限定されないレイアウトアプリケーションにおいて上述した実施形態が実行されても良い。

【0101】

また、図１に示すように、ローカル環境を想定した画像処理装置を例に挙げて説明したが、画像処理装置はこれに限定されるものではない。例えば、サーバ上の画像処理装置であってもよい。この場合は、サーバ内に保存されている画像を利用するか或いは画像をアップロードするようにすればよい。

【0102】

また、上述した実施形態（特にＳ４２０８）では、不使用ノズル数が所定の閾値以下となるように補完見開きを決定したがその限りではない。例えば、レイアウト作成部２１７は、Ｓ４２０７までの処理において使用されないノズルを特定する。そしてレイアウト作成部２１７は、特定された不使用ノズルの使用頻度を判定し、使用頻度が閾値以下となる不使用ノズルが含まれる場合、Ｓ４２０８においてＮｏと判定しても良い。つまり、Ｓ４２０４において特定された不使用ノズルの数が多かったとしても、その全ての不使用ノズルの使用頻度が高い場合、レイアウト生成手段は、Ｓ４２０８においてＹｅｓと判定しても良い。また、例えば、レイアウト作成部２１７は、Ｓ４２０７までの処理において使用されないノズルを特定する。そしてレイアウト作成部２１７は、特定された不使用ノズルの不使用時間を判定し、不使用時間が閾値以上の不使用ノズルが含まれる場合、Ｓ４２０８においてＮｏと判定しても良い。

【0103】

上述した実施形態では、画像が写真であるものとし、写真の撮影日時に基づいてグループ分けをするようにしたが、画像を作成した日時に基づいてグループ分けをするようにしてもよい。

【0104】

上述した実施形態では、利用者がモードを指定するものとし、指定されたモードに基づいてレイアウトするようにしたが、アルバムを作成する画像群に対し画像解析を行い、画像群に含まれるオブジェクトの種類の分布等から自動的にモードを設定してもよい。

【0105】

上述した実施形態は、以下の処理を実行することによっても実現される。すなわち、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、前述した第１～第２の実施形態について、各実施形態の構成を適宜組み合わせて用いてもよい。

【符号の説明】

【0106】

１００ 画像処理装置
２１２ 画像解析部
２１５ 見開き割当部
２１６ 画像選択部
２１７ レイアウト作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】