特許 7414409 学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】学習方法

(51)【国際特許分類】

   G06T 11/60 20060101AFI20240109BHJP

   G06T 7/00 20170101ALI20240109BHJP

【ＦＩ】

G06T11/60 100C

G06T7/00 350B

【請求項の数】 21

(21)【出願番号】P 2019107509

(22)【出願日】2019-06-07

(65)【公開番号】P2020201678

(43)【公開日】2020-12-17

【審査請求日】2022-06-03

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】國枝 寛康

(72)【発明者】

【氏名】堀 信二郎

(72)【発明者】

【氏名】山田 貴之

【審査官】中田 剛史

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００６６１７８（ＵＳ，Ａ１）

【文献】特開２０１３－２２９００６（ＪＰ，Ａ）

【文献】国際公開第２０１４／０３４２６６（ＷＯ，Ａ１）

【文献】特開２０１８－０５５５９５（ＪＰ，Ａ）

【文献】米国特許第８９９０６７２（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置のコンピュータに、
第１レイアウトデータに基づき、推定特徴量を出力するステップと、
前記出力された推定特徴量に基づき、アルバム作成パラメータを生成するステップと、
前記生成された前記アルバム作成パラメータと、ユーザにより生成された第２レイアウトデータに用いられた画像と、に基づき、第３レイアウトデータを生成するステップと、
前記生成された前記第３レイアウトデータに基づく特徴量と、前記第２レイアウトデータに基づく特徴量と、に基づき、前記アルバム作成パラメータを更新するステップと、
前記更新された前記アルバム作成パラメータの検証を行うステップと、
を実行させることを特徴とするプログラム。

【請求項2】

前記第１レイアウトデータに基づく第１特徴量が入力データとして学習部に入力されることにより、前記学習部から前記推定特徴量が出力されることを特徴とする請求項１に記載のプログラム。

【請求項3】

前記生成された前記第１レイアウトデータに基づく特徴量と、前記第２レイアウトデータに基づく特徴量との比較結果に基づき、前記学習部のパラメータが更新されることを特徴とする請求項２に記載のプログラム。

【請求項4】

前記第２レイアウトデータに用いられた画像が、前記出力された推定特徴量に基づき前記生成された前記アルバム作成パラメータに基づいてテンプレートに配置されることにより、前記第３レイアウトデータが生成されることを特徴とする請求項１乃至３のいずれかに記載のプログラム。

【請求項5】

前記第１レイアウトデータと前記第２レイアウトデータとは、前記情報処理装置においてアルバム作成アプリケーションにより生成された後にサーバにアップロードされた複数のレイアウトデータの中から取得されたレイアウトデータであることを特徴とする請求項１乃至４のいずれかに記載のプログラム。

【請求項6】

前記サーバにレイアウトデータがアップロードされた数が所定数より少ない場合において前記アルバム作成パラメータから更新されるパラメータの項目の数よりも、前記サーバにレイアウトデータがアップロードされた数が所定数より多い場合において前記アルバム作成パラメータから更新されるパラメータの項目の数のほうが多いことを特徴とする請求項５に記載のプログラム。

【請求項7】

前記更新された前記アルバム作成パラメータが所定の条件を満たした場合、前記更新された前記アルバム作成パラメータは、アルバム作成アプリケーションのアップデートによって前記情報処理装置にダウンロードされることを特徴とする請求項１乃至６のいずれかに記載のプログラム。

【請求項8】

前記ダウンロードされた前記アルバム作成パラメータは、前記アルバム作成アプリケーションにより新たなレイアウトデータを生成する際に用いられることを特徴とする請求項７に記載のプログラム。

【請求項9】

前記第１レイアウトデータ及び前記第２レイアウトデータのいずれとも異なるレイアウトデータを用いて、前記検証が行われることを特徴とする請求項１乃至８のいずれかに記載のプログラム。

【請求項10】

前記更新された前記アルバム作成パラメータの検証の結果が第１の結果である場合、第４レイアウトデータの生成が前記更新された前記アルバム作成パラメータに基づいて行われるようにする制御を実行し、
前記更新された前記アルバム作成パラメータの検証の結果が第２の結果である場合、前記制御を実行しない、
ことを特徴とする請求項１乃至９のいずれかに記載のプログラム。

【請求項11】

情報処理装置のコンピュータの制御方法であって、
第１レイアウトデータに基づき、推定特徴量を出力するステップと、
前記出力された推定特徴量に基づき、アルバム作成パラメータを生成するステップと、
前記生成された前記アルバム作成パラメータと、ユーザにより生成された第２レイアウトデータに用いられた画像と、に基づき、第３レイアウトデータを生成するステップと、
前記生成された前記第３レイアウトデータに基づく特徴量と、前記第２レイアウトデータに基づく特徴量と、に基づき、前記アルバム作成パラメータを更新するステップと、
前記更新された前記アルバム作成パラメータの検証を行うステップと、
を有することを特徴とする制御方法。

【請求項12】

前記第１レイアウトデータに基づく第１特徴量が入力データとして学習部に入力されることにより、前記学習部から前記推定特徴量が出力されることを特徴とする請求項１１に記載の制御方法。

【請求項13】

前記生成された前記第１レイアウトデータに基づく特徴量と、前記第２レイアウトデータに基づく特徴量との比較結果に基づき、前記学習部のパラメータが更新されることを特徴とする請求項１２に記載の制御方法。

【請求項14】

前記第２レイアウトデータに用いられた画像が、前記出力された推定特徴量に基づき前記生成された前記アルバム作成パラメータに基づいてテンプレートに配置されることにより、前記第３レイアウトデータが生成されることを特徴とする請求項１１乃至１３のいずれかに記載の制御方法。

【請求項15】

前記第１レイアウトデータと前記第２レイアウトデータとは、前記情報処理装置においてアルバム作成アプリケーションにより生成された後にサーバにアップロードされた複数のレイアウトデータの中から取得されたレイアウトデータであることを特徴とする請求項１１乃至１４のいずれかに記載の制御方法。

【請求項16】

前記サーバにレイアウトデータがアップロードされた数が所定数より少ない場合において前記アルバム作成パラメータから更新されるパラメータの項目の数よりも、前記サーバにレイアウトデータがアップロードされた数が所定数より多い場合において前記アルバム作成パラメータから更新されるパラメータの項目の数のほうが多いことを特徴とする請求項１５に記載の制御方法。

【請求項17】

前記更新された前記アルバム作成パラメータが所定の条件を満たした場合、前記更新された前記アルバム作成パラメータは、アルバム作成アプリケーションのアップデートによって前記情報処理装置にダウンロードされることを特徴とする請求項１１乃至１６のいずれかに記載の制御方法。

【請求項18】

前記ダウンロードされた前記アルバム作成パラメータは、前記アルバム作成アプリケーションにより新たなレイアウトデータを生成する際に用いられることを特徴とする請求項１７に記載の制御方法。

【請求項19】

前記第１レイアウトデータ及び前記第２レイアウトデータのいずれとも異なるレイアウトデータを用いて、前記検証が行われることを特徴とする請求項１１乃至１８のいずれかに記載の制御方法。

【請求項20】

前記更新された前記アルバム作成パラメータの検証の結果が第１の結果である場合、第４レイアウトデータの生成が前記更新された前記アルバム作成パラメータに基づいて行われるようにする制御を実行し、
前記更新された前記アルバム作成パラメータの検証の結果が第２の結果である場合、前記制御を実行しない、
ことを特徴とする請求項１１乃至１９のいずれかに記載の制御方法。

【請求項21】

第１レイアウトデータに基づき、推定特徴量を出力する出力手段と、
前記出力された推定特徴量に基づき、アルバム作成パラメータを生成する生成手段と、
前記生成された前記アルバム作成パラメータと、ユーザにより生成された第２レイアウトデータに用いられた画像と、に基づき、第３レイアウトデータを生成する生成手段と、
前記生成された前記第３レイアウトデータに基づく特徴量と、前記第２レイアウトデータに基づく特徴量と、に基づき、前記アルバム作成パラメータを更新する更新手段と、
前記更新された前記アルバム作成パラメータを検証する検証手段と、
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フォトアルバムを作成する技術に関する。

【背景技術】

【0002】

特許文献１は、フォトアルバムを作成するソフトウエアであって、複数の写真の中からアルバムに使う写真を選択し、該選択した写真を自動でレイアウトしてくれるソフトウエアを開示する。このような、自動的に写真を選んでアルバムにレイアウトする機能は自動レイアウト機能と呼ばれている。自動レイアウト機能では、複数の写真を解析し、それらの写真を解析してスコアを付け、スコアの高い写真をアルバムのレイアウトに優先的に採用する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０３８３４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自動レイアウトにより作成されたフォトアルバムの満足度は、画質だけでなくユーザの個人的な好みも関連する。そこで本発明は、ユーザの好みをより反映したレイアウトを提示可能にすることを目的とする。

【課題を解決するための手段】

【0005】

本発明の一実施形態は、情報処理装置のコンピュータに、第１レイアウトデータに基づき、推定特徴量を出力するステップと、前記出力された推定特徴量に基づき、アルバム作成パラメータを生成するステップと、前記生成された前記アルバム作成パラメータと、ユーザにより生成された第２レイアウトデータに用いられた画像と、に基づき、第３レイアウトデータを生成するステップと、前記生成された前記第３レイアウトデータに基づく特徴量と、前記第２レイアウトデータに基づく特徴量と、に基づき、前記アルバム作成パラメータを更新するステップと、前記更新された前記アルバム作成パラメータの検証を行うステップと、を実行させることを特徴とするプログラムである。

【発明の効果】

【0006】

本発明により、ユーザの好みを反映したレイアウトを提示することが可能になる。

【図面の簡単な説明】

【0007】

【図1】アルバム作成サービスのシステム構成。

【図2】アルバム作成に関するシーケンス図。

【図3】決済用ＵＩ画面。

【図4】自動レイアウト制御の学習に関するシーケンス図。

【図5】ユーザ端末におけるアルバムデータ作成とアルバム発注との処理のフローチャート。

【図6】設定用ＵＩ画面。

【図7】画像選択用ＵＩ画面。

【図8】レイアウト編集用ＵＩ画面。

【図9】自動レイアウト処理のフローチャート。

【図10】クラウドサーバ上で実行する学習処理のフローチャート。

【図11】ＧｒｏｕｐＩＤの割当て処理のフローチャート。

【図12】学習の説明図。

【図13】ターゲットアルバム特徴量推定部の詳細な機能ブロック図。

【図14】学習処理のフローチャート。

【図15】学習用データと検証用データの設定方法の説明図。

【図16】アルバム作成パラメータのデータ構造。

【図17】アルバム作成パラメータの検証例。

【発明を実施するための形態】

【0008】

［第１の実施形態］
＜システムの構成について＞
以下、本実施形態におけるアルバム作成システムの構成について、図１を用いて説明する。図１（ａ）は、本実施形態におけるアルバム作成システムの全体構成を示す図である。図１（ａ）に示すように、このシステムは、ユーザ端末１００と、ユーザ端末１００に接続されたクラウドサーバ１１０とを有し、ユーザ端末１００とクラウドサーバ１１０との間でデータを送信または受信することが可能である。ユーザ端末１００として、タブレット、スマートフォン、情報処理装置（以下ＰＣ）等を想定している。

【0009】

図１（ｂ）は、画像処理装置として機能するユーザ端末１００のハードウェア構成を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３に記憶された制御プログラムをＲＡＭ１０４に展開し、必要な時に読み出して画像処理制御等の各種制御を行うことで、ユーザ端末１００の動作を統括的に制御する。

【0010】

ＧＰＵ１０２は、画像描写を行う際に必要となる計算処理を行うことで、ディスプレイ１０６の表示を制御する。最近では、高負荷な並列演算を必要とする人工知能処理のアクセラレータとして、ＧＰＵが使用されることもある。

【0011】

ＲＯＭ１０３には、ユーザ端末１００の起動プログラム等の各種プログラムが記憶されている。本実施形態では、ＲＯＭ１０３としてフラッシュストレージ等を想定している。ＲＡＭ１０４は、ＣＰＵ１０１の主記憶装置であり、ワークエリアやＲＯＭ１０３に記憶された各種プログラムを展開するための一時記憶領域として用いられる。

【0012】

ハードディスクドライブ（以下ＨＤＤ）１０５は、大容量記憶装置である。ＨＤＤ１０５には、アルバム作成用アプリケーション等のアプリケーションプログラムや画像データ等が保存される。

【0013】

ディスプレイ１０６には、アプリケーションの処理結果（例えば、アルバムの見開き等）が表示される。

【0014】

ニューラル処理ユニット（以下ＮＰＵ）１０７は、人間の脳神経系を模したニューラルネットワークを組み込んだ人工知能専用チップである。ＮＰＵ１０７をユーザ端末１００に組み込むことで、従来、クラウドベースで行われる機械学習（例えばディープラーニング）を用いた画像認識や自然言語処理などを、端末単体で行うことが可能となる。

【0015】

入力Ｉ／Ｆ１０８には、キーボード、マウスといった入力装置が接続されている（図示せず）。入力Ｉ／Ｆ１０８は、このような入力装置からのユーザ指示を受け付け、入力データを、ＣＰＵ１０１により実現されるアプリケーションの各モジュールに送信する。

【0016】

通信Ｉ／Ｆ１０９は、ＵＳＢ Ｉ／ＦとネットワークＩ／Ｆとを有し、ユーザ端末１００は、通信Ｉ／Ｆ１０９を介して外部のクラウドサーバ１１０と接続される。

【0017】

図１（ｃ）は、クラウドサーバ１１０のハードウェア構成を示すブロック図である。画像処理装置として機能するクラウドサーバ１１０の基本的な構成は、ユーザ端末１００と同じである。但し一般的に、クラウドサーバのＣＰＵ、ＧＰＵ、通信Ｉ／Ｆは、ユーザ端末のＣＰＵ、ＧＰＵ、通信Ｉ／Ｆより高性能であり、クラウドサーバのＨＤＤ、ＲＯＭ、ＲＡＭは、ユーザ端末のＨＤＤ、ＲＯＭ、ＲＡＭより大容量である。尚、ここでは、クラウドサーバ１１０がディスプレイ及びＮＰＵを有さない構成としているが、クラウドサーバ１１０はディスプレイ及びＮＰＵを有してもよい。

【0018】

＜アルバム作成について＞
以下、本実施形態におけるアルバム作成について、図２を用いて説明する。図２は、本実施形態におけるアルバム作成の全体の流れを示すシーケンス図であり、ユーザ端末１００と、クラウドサーバ１１０と、印刷ラボ２００と、によって提供されるアルバム作成サービスの例を示している。

【0019】

ユーザは、ユーザ端末１００上でアルバム作成用アプリケーション（以下、単純にアプリと記載する）を立ち上げて、アプリのＵＩを介して、撮りためた写真を用いて所定のフォーマットでアルバムを作成するよう指示する。尚、図１（ａ）及び図２では、アルバム作成システムが１台のユーザ端末を有する形態を示しているが、アルバム作成システムに接続されるユーザ端末の数は、複数であってもよい。この場合、クラウドサーバは、複数ユーザのユーザ端末と接続されることとなる。

【0020】

クラウドサーバ１１０は、ネットワークを介して、ユーザ端末１００及び印刷ラボ２００のＰＣと接続される。アプリのインストーラは、クラウドサーバ１１０に格納されており、ユーザは必要に応じて該インストーラをダウンロードする。アプリを介して作成されたアルバムデータがクラウドサーバ１１０にアップロードされると、クラウドサーバ１１０はこのアルバムデータを一旦保存する。また、ユーザは、アプリ上の決済用ＵＩ画面（図３参照）を介して、料金の支払い処理等のいわゆる課金処理を行う。クラウドサーバ１１０は、印刷ラボ２００のＰＣに対し、課金処理等のアルバム作成依頼の手続きが完了したアルバムデータを転送する。

【0021】

印刷ラボ２００は、ユーザ端末１００と同様の構成のＰＣ（図１（ｂ）参照）と、印刷装置とを備える。印刷ラボ２００のＰＣは、課金処理等を含むアルバム作成依頼の手続きが完了したアルバムデータを、クラウドサーバ１１０から受信する。印刷ラボ２００では、このアルバムデータに基づくアルバム作成、具体的には、印刷、製本が行われる。作成されたアルバムは、ユーザに配送される。印刷ラボ２００のＰＣは、ユーザ端末１００に対しアルバムの配送を通知する。

【0022】

実際のアルバム作成の手順は、以下の通りである。アルバムを作成したいと思ったときにユーザ端末１００にアプリがインストールされていない場合、ユーザは、ユーザ端末１００を操作して、アルバム作成サービスを提供する企業のＷＥＢサイト等からアプリをダウンロードしようとする。このとき、符号２０１で示すように、ユーザ端末１００は、クラウドサーバ１１０に対してアプリのダウンロード要求を送信する。

【0023】

ユーザ端末１００が送信するダウンロード要求を受信したクラウドサーバ１１０は、符号２０２で示すように、ユーザ端末１００に対し、アプリのインストーラを送信する。クラウドサーバ１１０が送信するインストーラを受信したユーザ端末１００では、符号２０３で示すように、アプリのインストールが行われる。アプリのインストールによって、ユーザは、ユーザ端末１００を用いてアルバムを作成することが可能になる。

【0024】

符号２０４で示すように、ユーザは、ユーザ端末１００にインストールされたアプリを起動して、アプリ上でアルバムを作成する。アプリは、写真画像を選択し、該選択した写真画像を見開きに配置することで、自動的にアルバムを作成する機能（自動レイアウト機能）を有する。ユーザは、自動レイアウト機能を利用して作成されたアルバムを、アプリ上で、自動的にまたは手動で編集してもよい。また、アプリは、これを介して作成されたアルバムデータを、クラウドサーバ１１０にアップロードする機能も有する。

【0025】

符号２０５で示すように、ユーザ端末１００は、アプリを用いて作成したアルバムデータを、クラウドサーバ１１０にアップロードする。また、図２では示していないが、ユーザ端末１００は、アルバムデータのクラウドサーバ１１０へのアップロードと共に、課金処理等のアルバム発注に関する処理も実行する。

【0026】

なお、クラウドサーバ１１０にアップロードされるアルバムデータは、ユーザ端末１００において生成されたアルバムデータ（テンプレートに画像が配置された見開きページデータ）そのものでなくてもよい。例えば、アルバムデータにおいて用いられているテンプレートデータは含んでいなくてもよい。つまり、アルバムデータは、テンプレートデータは含まず、テンプレートを識別する識別情報と、配置された画像データと、配置位置に関する情報と、含むデータでもよい。この場合、クラウドサーバ１１０又は印刷ラボ２００において、テンプレートデータを識別する識別情報と画像データと配置位置に関する情報とを基に再度レイアウトが実行され、アルバムデータが生成される。

【0027】

アルバム発注処理の完了通知を受信した場合、クラウドサーバ１１０は、アルバムが発注されたと判定し、符号２０６で示すように、ユーザ端末１００から受信したアルバムデータを、印刷ラボ２００のＰＣに対し転送する。

【0028】

符号２０７で示すように、印刷ラボ２００では、ＰＣに転送されたアルバムデータに基づくアルバムの作成（具体的には、印刷機を使った印刷、製本機を使った製本）が実行される。

【0029】

印刷ラボ２００で作成されたアルバム商材（製本完成品）は、印刷ラボ２００からユーザに発送される。また、符号２０８で示すように、印刷ラボ２００のＰＣは、ユーザ端末１００に対し、アルバム商材の発送通知を送信する。尚、この発送通知は、クラウドサーバ１１０にも送信され、発送通知を受信したクラウドサーバ１１０では、発送通知の内容に基づくアルバムの注文管理が行われる。

【0030】

尚、図２では、ユーザ端末１００にアプリがインストールされておらず、アプリのインストーラをダウンロードするケースを示したが、本実施形態はこのケースに限定されない。例えば、ユーザ端末１００に既にアプリがインストールされており（但し最新版ではない）、アプリの最新版をダウンロードするようなケースにも、本実施形態を適用可能である。

【0031】

＜自動レイアウト制御の学習について＞
以下、本実施形態における自動レイアウト制御の学習について、図４を用いて説明する。尚、図４では、自動レイアウト制御の学習をクラウドサーバ１１０で実行するケースを示すが、印刷ラボ２００のＰＣで実行してもよい。また、ユーザ端末１００上で実行してもよい。

【0032】

ユーザからのアルバム発注指示を受信した場合、符号４０１で示すように、クラウドサーバ１１０は、自動レイアウト制御のための学習を開始する。自動レイアウト制御のための学習とは、クラウドサーバ１１０が、ユーザが発注したアルバムの内容を示すアルバムデータ等を用いて、ユーザの嗜好や傾向を解析することを指す。より具体的には、自動レイアウト処理時に必要なパラメータ（アルバム作成パラメータとする）の各値を導出することを指す。尚、自動レイアウト制御のための学習やアルバム作成パラメータについては、後述する。

【0033】

符号４０２で示すように、自動レイアウト制御の学習結果に応じて、クラウドサーバ１１０は、前述の学習で導出した値でアルバム作成パラメータを更新する。

【0034】

符号４０３で示すように、図２で説明したアプリの更新時に、アルバム作成パラメータの更新結果が反映される。これにより、ユーザが次にユーザ端末１００上でアプリを起動した際に、更新されたアルバム作成パラメータの各値がロードされることになる。従って、ユーザ端末１００において、更新されたアルバム作成パラメータに基づく自動レイアウト処理を実行することが可能になる。

【0035】

＜ユーザ端末におけるアルバム作成処理について＞
以下、本実施形態におけるユーザ端末１００で実行されるアルバム作成処理（図２の２０４）について、図５を用いて説明する。

【0036】

ステップＳ５０１において、アプリのアップデートを実行する。ユーザ端末１００でアプリが起動された場合、ユーザ端末１００は、既定のクラウドサーバ１１０にアクセスする。この際、ユーザ端末１００がまだインストールしていないアプリの最新版があった場合、ユーザ端末１００は、クラウドサーバ１１０に対し最新版のダウンロード要求を送信し、この要求の応答として、最新版を受信する。その後、ユーザ端末１００では、受信した最新版のインストールによるアプリの更新が実行される。アプリの更新の際、ユーザ端末１００は、アルバム作成に必要なパラメータの最新版も取得する。尚、以降では、「ステップＳ～」を単純に「Ｓ～」と記載する。

【0037】

Ｓ５０１でアプリが起動して、アプリとアルバム作成パラメータとが更新された場合、Ｓ５０２に進む。Ｓ５０２において、図６に例示するような設定用ＵＩ画面を表示する。ユーザは、設定用ＵＩ画面を介して、アルバムのサイズ、紙種、ページ数、製本方法などの、注文するアルバムの仕様を選択的に決定する。ユーザがアルバムの仕様を決定し、「次へ」ボタン６０１を押下すると、Ｓ５０３の画像選択に進む。

【0038】

Ｓ５０３において、アプリのＵＩとして、アルバムに使用する写真画像を選択するための画面（画像選択用ＵＩ画面とする）を表示する。ユーザは、画像選択用ＵＩ画面を介して、アルバムに使用する画像を選択する。ユーザによって画像が選択された場合、Ｓ５０４に進む。

【0039】

ここで、画像選択用ＵＩ画面について、図７を用いて説明する。図７は、画像選択用ＵＩ画面の例を示す。画像選択ウィンドウ７００は、フォルダ表示領域７０１と、選択領域７０２とを有する。

【0040】

フォルダ表示領域７０１は、ＨＤＤ１０５内のフォルダ構造を表示するための領域である。フォルダ表示領域７０１には、画像フォルダが階層的に表示される。画像選択用ＵＩ画面が表示されるとまず、ユーザは、所望のフォルダを選択する。図７の例は、ユーザ所望のフォルダとして“０２－０１”という名称のフォルダが選択されている状態を示し、このフォルダには、２０１９年２月１日に撮影した写真の画像が保存されている。

【0041】

選択領域７０２は、ユーザがアルバムに使用する写真を選択するための領域であり、指定フォルダに保存されている写真それぞれのサムネイル画像が表示される。図７の例では、ユーザによって選択された写真のサムネイル画像に、選択済みアイコン７０３が付随されている。

【0042】

ポインタ７０４は、マウスなどの入力装置で制御される。ユーザはポインタ７０４を移動させることで、アプリにおける機能の選択や実行を制御できる。

【0043】

画像全選択ボタン７０５は、指定フォルダ内の全ての画像を選択するためのボタンである。ユーザが画像全選択ボタン７０５を押下した場合、指定フォルダ内の全画像が選択された状態になる（即ち、選択済みアイコン７０３が付随される）。尚、その状態で、ユーザが画像全選択ボタン７０５を再び押下した場合、全画像の選択が解除される。

【0044】

自動レイアウトボタン７０６は、自動レイアウト処理を実行するためのボタンである。ユーザが自動レイアウトボタン７０６を押下した場合、ユーザが選択した画像または指定フォルダ内に含まれる複数の画像がレイアウトのために解析され、該解析された画像のうち少なくとも一部を自動的に配置する自動レイアウト処理が実行される。

【0045】

手動レイアウトボタン７０７は、ユーザが手動でレイアウトを行うためのボタンである。ユーザによっては、自動レイアウト処理を実行するのではなく、自分でレイアウトしたい者もいる。手動レイアウトボタン７０７が押下された場合、自動レイアウト処理は実行されない。この場合、ポインタなどを用いて、ユーザが選択した画像を、ＧＵＩを介して自身で配置するモードとなる。このように、ユーザは、自動レイアウトボタン７０６と手動レイアウトボタン７０７との何れかを押下して、レイアウトの作成方法を選択できる。

【0046】

画像選択ウィンドウ７００には、ユーザによって選択された写真の枚数と、選択可能な枚数とを通知するためのメッセージ７０８も表示される。

【0047】

図５の説明に戻る。Ｓ５０４において、自動レイアウト処理を実行するか否か判定する。具体的には、自動レイアウトボタン７０６と手動レイアウトボタン７０７との何れが押下されたか判定する。自動レイアウトボタン７０６が押下されたと判定した場合、Ｓ５０５に進む一方、手動レイアウトボタン７０７が押下されたと判定した場合、Ｓ５０６に進む。

【0048】

Ｓ５０５において、自動レイアウト処理を実行する。「自動レイアウト処理」とは、ユーザの嗜好や傾向に基づいて、自動的に又はユーザによって手動で選択された画像を、見開きに自動的に配置する処理である。自動レイアウト処理については、後述する。

【0049】

Ｓ５０６において、アプリのＵＩとして、アルバムのレイアウトを編集するための画面（レイアウト編集用ＵＩ画面とする）を表示する。ユーザは、レイアウト編集用ＵＩ画面を介して、レイアウトを編集することができる。ユーザ端末１００は、レイアウト編集用ＵＩ画面を介するユーザ入力を受け付ける。

【0050】

ここで、レイアウト編集用ＵＩ画面について、図８を用いて説明する。図８は、レイアウト編集用ＵＩ画面の例を示す。編集ウィンドウ８００は、現在選択されている見開きの編集用画面が表示される表示領域８０１と、編集対象の見開きを選択するための選択領域８０６と、を有する。

【0051】

表示領域８０１には、編集中の見開きのプレビュー８０２が表示される。プレビュー８０２は、使用予定の画像８０３が配置された場合に作成されるレイアウト結果を示す。

【0052】

ボタン８０４、８０５は、表示領域８０１に表示する見開きを変えるためのボタンである。ユーザはボタン８０４を押下することで、表示領域８０１に表示される見開きを、次の見開き（詳しくは、次にページ番号が大きい見開き）に変更できる。これに対し、ユーザはボタン８０５を押下することで、表示領域８０１に表示される見開きを、前の見開き（詳しくは、次にページ番号が小さい見開き）に変更できる。

【0053】

選択領域８０６には、アルバムを構成する複数の見開きそれぞれのサムネイル画像として、表示領域８０１に表示されている（つまり選択中の）見開きと、それ以外の見開きとのサムネイル画像が表示される。図８の例では、符号８０７で示すように、７－８ページの見開きが選択されている。

【0054】

ユーザがエフェクトボタン８２０を押下した場合、編集中のレイアウト上でユーザにより選択されたスロットに配置されている画像に対するエフェクト処理が施される。エフェクトボタン８２０押下時のエフェクト処理として、既定の処理が実施されてもよいし、別のＧＵＩが開いて、該ＧＵＩを介してユーザがエフェクトの種類を設定できてもよい。

【0055】

ユーザが補正ボタン８２１を押下した場合、編集中のレイアウト上でユーザにより選択されたスロットに配置されている画像に対する補正が施される。ここでは、補正ボタン８２１押下時に、規定の処理として、自動写真補正が実施されるものとする。但し、別のＧＵＩが開いて、該ＧＵＩを介してユーザが補正の種類を設定できるような形態であってもよい。

【0056】

ユーザがトリミングボタン８２２を押下した場合、編集中のレイアウト上でユーザにより選択されたスロットに配置されている画像に対するトリミング処理が実施される。トリミング処理では、画像の解析情報に基づいて主要オブジェクト領域を特定して、その領域サイズがスロットに収まる範囲で最大となるようにトリミングを行う。

【0057】

画像選択ボタン８１１は、再度画像選択に戻るためのボタンである。ユーザが画像選択ボタン８１１を押下した場合、編集ウィンドウ８００と共にまたは編集ウィンドウ８００に代えて、画像選択ウィンドウ７００が表示される。発注ボタン８１２は、アルバムの編集作業を終了して、その次の発注作業へ進むためのボタンである。発注ボタン８１２が押下された場合、アルバムデータ及び編集履歴データが、ユーザ端末１００からクラウドサーバ１１０に送信される。編集履歴データはクラウドサーバ１１０での学習に使用されるとよい。例えば、自動レイアウト処理後の編集履歴が少ない場合、自動レイアウト処理時に用いたアルバム作成パラメータにユーザの好みが適確に反映されているとみなすことができる。

【0058】

ポインタ８０８は、マウスなどの入力装置で制御される。ユーザは、ポインタ８０８を用いて、各種の編集作業を実行できる。例えば、移動したい画像８０３がある場合、ユーザは、ポインタ８０８をドラッグしドロップすることで、移動対象の１または複数の画像を選択して、左右上下のどこか望む所に移動させることができる。また例えば、補正したい画像がある場合、ユーザはポインタ８０８を用いて対象画像を選択した上で、補正ボタン８２１を押下すればよい。補正ボタン８２１の押下により、対象画像に対する補正処理が実行される。尚、補正ボタン８２１の押下により開く別のウィンドウを介して、ユーザが、画像の先鋭化、明るさ補正、彩度補正などを選択、制御できるような形態であってもよい。

【0059】

新しく画像を追加したい場合には、画像選択ボタン８１１を押下して、画像選択ウィンドウ７００を再表示し、画像を選択して手動レイアウトボタン７０７を押下することで、現在選択中のプレビュー８０２において画像を追加することが可能である。尚、前述した編集項目以外の編集項目として、使用するテンプレートの変更、背景色の選択、背景パターンの設定、余白量の調整、等が考えられる。

【0060】

このように、Ｓ５０６で表示されるレイアウト編集用ＵＩ画面を介して、ユーザの嗜好に応じたレイアウト編集が実行される。この時の操作ログを取得し、アルバム作成パラメータの学習（後で詳しく説明する）に使用することで、ユーザの嗜好や傾向に合ったアルバムの自動作成が可能になる。

【0061】

Ｓ５０７において、レイアウト編集が完了したか、具体的には、発注ボタン８１２が押下されたか判定する。本実施形態では、１つの編集項目に関する内容が決定されるたびにＳ５０７にて編集完了かの判定がなされる。Ｓ５０７の判定結果が真の場合、Ｓ５０８に進む。一方、Ｓ５０７の判定結果が偽の場合（つまり、新たな編集指示がなされた場合）、Ｓ５０６に戻り、レイアウト編集が継続される。

【0062】

Ｓ５０８において、作成したアルバムデータをクラウドサーバ１１０に送信する。本ステップでアルバムデータをクラウドサーバ１１０に送信する際、アプリにおけるユーザの操作履歴データも送信される。

【0063】

Ｓ５０９において、アルバムの発注処理を実行する。アルバムの発注処理には、アルバムの料金の支払い完了通知のクラウドサーバ１１０への送信や、ユーザによって入力されるアルバム送付先データの受け付け、クラウドサーバ１１０への送信が含まれる。ユーザ端末１００におけるアルバム発注に関する全処理が完了した場合、クラウドサーバ１１０は、Ｓ５０８でユーザ端末１００から送信されたアルバムデータを、印刷ラボ２００のＰＣに転送する。

【0064】

＜自動レイアウト処理について＞
以下、自動レイアウト処理（図５のＳ５０５）について、図９を用いて説明する。図９は、ユーザ端末１００で実行される自動レイアウト処理の詳細を説明するためのフローチャートである。尚、ここでは、ユーザが指定したフォルダ内に含まれる画像群から、アルバムに使用する画像を自動的に選択し、該選択した画像を見開きに自動的に配置することで、レイアウトを作成するケースを例に挙げて説明する。

【0065】

Ｓ９０１において、画像選択用ＵＩ画面を介して指定されたフォルダ内の画像を取得し、該取得した画像に対するリサイズ処理を実行することで、解析用画像を作成する。

【0066】

Ｓ９０２において、取得したアルバム作成パラメータが設定され、該設定されたアルバム作成パラメータに基づいて、Ｓ９０１で作成した解析用画像に対する画像解析を実行する。例えば、本ステップの解析により、各画像に対する撮影日時の情報が取得される結果、隣接する画像間での撮影時間差を算出することが可能になる。尚、本ステップで解析する項目は予め決められているが、アルバム作成パラメータの設定に応じて、解析項目または解析条件が変更されてもよい。

【0067】

Ｓ９０３において、指定フォルダ内の全ての画像が解析されたか判定する。本ステップの判定結果が真の場合、Ｓ９０４に進む。一方、本ステップの判定結果が偽の場合、まだ解析していない画像に対する画像解析を実行するために、Ｓ９０１に戻る。

【0068】

Ｓ９０４において、Ｓ９０２の解析結果を用いて、主被写体判定、及び、シーン判定を実行する。ここでは、特定のオブジェクトが含まれる画像枚数をオブジェクト毎にカウントして、カウント値が最大となる特定のオブジェクトを主被写体と判定する。特定オブジェクトとして、例えば、人、子供、赤ちゃん、犬、猫、花、料理などが考えられる。なお、オブジェクト判定は、特開２０１７－０３８３４３号公報に記載の方法など、従来の判定方法を用いることができる。

【0069】

シーン判定では、Ｓ９０２の解析結果を用いて、既定のシーンのうち何れに分類されるかの判定がなされる。本実施形態では、結婚式、旅行、その他の３つを既定のシーンとし、それぞれのシーンに対する、ショット数の分布と、顔数の分布とが予め設定されている。これら３つのシーンのうち最も分布が近いものを、画像のシーンと判定する。なお、シーン判定は、特開２０１７－０３８３４３号公報に記載の方法など、従来の判定方法を用いてもよい。

【0070】

Ｓ９０５において、指定フォルダ内の画像群をサブ画像群に分割する。本ステップの分割は、隣接する画像間での撮影時間差の大きい箇所が境界となるように、サブ画像群の数がアルバムの見開き数と等しくなるまで繰り返し実行される。

【0071】

Ｓ９０６～Ｓ９１０の処理は、見開き毎に実行される。

【0072】

Ｓ９０６において、見開き内のレイアウト用画像の傾向を判定する。ここでは、主要オブジェクトに応じて傾向を判定するケースを例に挙げて説明する。Ｓ９０４で判定された主被写体と、アルバム作成パラメータの設定内の主要オブジェクトとを比較する。比較の結果、両者が異なっていた場合、これから作成するレイアウト結果に登場させるオブジェクトとして、Ｓ９０４で判定された主被写体を優先する。一例として、アルバム作成パラメータ内で、ペット（例えば、犬または猫）より人物を高得点にする設定がなされている一方、指定フォルダにおいてペットの画像が人物の画像より多い場合を考える。このような場合は、アルバム作成パラメータの設定をキャンセルして、指定フォルダに多く含まれるオブジェクトの画像（本例ではペットの画像）が高得点になるように設定を変更する。発注履歴がない初回の発注ではデフォルトのパラメータ設定を使用するとよい。そして、見開き内のレイアウト用画像の傾向がデフォルトパラメータと異なる場合は、指定のフォルダに多く含まれるオブジェクトの画像が高得点になるように設定を変更する。なお、ここでは説明のために、主オブジェクトが高得点になるように制御する方法を記載したが、オブジェクトが含まれるかを画像ごとにフラグを付けて管理して、そのフラグに基づいて使用する画像を選択してもよい。

【0073】

Ｓ９０７において、アルバム作成パラメータを選択的に決定する。具体的には、ユーザ端末１００においてシーン毎のアルバム作成パラメータを予め保持しておき、Ｓ７０４におけるシーン判定の結果に応じて、アルバム作成パラメータを決定する。或いは、ユーザ端末１００において、主被写体毎のアルバム作成パラメータを予め保持しておき、Ｓ７０４における主被写体判定の結果に応じて、アルバム作成パラメータを決定してもよい。

【0074】

Ｓ９０８において、画像に対する得点付け（スコアリング）を実行する。本ステップでは、Ｓ９０２の解析により導出される特徴量に基づいて、画像毎に得点を算出する。得点算出の際、判定されたシーンに応じて特徴量の重みを変更することで、シーン毎に得点が異なるように制御する。例えば、画像のシーンが旅行と判定された場合は、顔サイズの小さい画像が顔サイズの大きい画像と比べて高得点になるよう設定する。一方、画像のシーンが結婚式と判定された場合は、顔サイズの大きい画像が顔サイズの小さい画像と比べて高得点になるよう設定する。

【0075】

Ｓ９０９において、見開きレイアウトを作成する。本ステップの見開きレイアウト作成では、アルバム作成パラメータに設定されている画像スロット数に基づいて、使用する画像が選択される。この画像選択の際、割り当てられた撮影日時区間を、選択する画像枚数分に分割して、該分割した区間毎に画像を選択してもよい。

【0076】

Ｓ９０９では、選択された画像を用いたレイアウト結果が作成される。ここでは、予め作成済みの複数の固定テンプレートの中から選択画像を最適に配置できるものを選定し、該選定した固定テンプレートに画像を配置してレイアウト結果を作成するケースを例に挙げて説明する。配置する画像数毎に、１または複数の固定テンプレートが作成され、ユーザ端末１００には、画像のアスペクト比の組合せ、画像間の余白量、商材縁の余白量、写真と写真との重なり具合などを変えた様々なバリエーションの固定テンプレートが予め用意されている。

【0077】

Ｓ９０９ではまず、予め用意されている複数の固定テンプレートの中から、選択画像を配置可能な固定テンプレートを抽出する。ここで抽出する固定テンプレートとは具体的には、画像の枚数、アスペクト比が一致するテンプレートである。抽出したテンプレートにおいて、サイズの大きいスロットから順に高得点の画像が配置される。このような処理を、抽出したテンプレートの数分、繰り返し実行する。その結果、抽出したテンプレート数分の候補レイアウトが作成される。

【0078】

その後、作成した候補レイアウトの中から最終的なレイアウトを１つ選択する。詳しく説明すると、作成された１または複数の候補テンプレートの夫々に対して、レイアウト評価を実行する。レイアウト評価は、見開き内の余白量、最大スロットと最小スロットとのサイズ比率、画像のトリミング量、主要オブジェクトが上レイヤーのスロットにより隠れていないか、主要オブジェクトが折り目にかかっているかなどの観点で実施される。

【0079】

また、レイアウト評価は、アルバム作成パラメータに含まれる余白量や最大スロットと最小スロットとのサイズ比率などに基づいて実施される。レイアウト評価の結果、最も評価値が高かった候補レイアウトが最終的なレイアウトとして決定される。アルバム作成パラメータに、使用頻度の高いテンプレート番号などの項目が規定されているのであれば、その情報で指定されるテンプレートを優先的に使用しても良い。また例えば、アルバム作成パラメータに、連続するテンプレートの繋がり傾向の項目が規定されているのであれば、その情報に基づいて各見開きのテンプレートを決定した上で、最終的なレイアウトを作成してもよい。連続するテンプレートの繋がり傾向の項目とは、どのテンプレートの後にどのテンプレートが続く傾向があるかを示す項目である。

【0080】

Ｓ９１０において、全見開き分のレイアウトが作成されたか判定する。本ステップの判定結果が真の場合、自動レイアウト処理は終了する（即ち、Ｓ９０６に進む）。一方、本ステップの判定結果が偽の場合、Ｓ９０６に戻り、全見開き分のレイアウトが作成されるまで、自動レイアウト処理は継続される。

【0081】

＜クラウドサーバにおける学習フェーズの全体フローについて＞
以下、クラウドサーバ１１０で実行される学習処理、具体的には、発注の際にクラウドサーバ１１０に送信されるアルバムデータに基づいて、アルバム作成パラメータを学習するフェーズの全体フローについて、図１０を用いて説明する。

【0082】

Ｓ１００１において、待機していたクラウドサーバ１１０は、ユーザ端末１００から送信されるアルバム発注処理の完了通知を受信する。

【0083】

Ｓ１００２において、Ｓ１００１で受信した完了通知に対応するアルバムデータを取得する。本ステップで取得するアルバムデータには、作成したユーザ（アルバム作成者）を識別するためのＵｓｅｒＩＤが含まれている。

【0084】

Ｓ１００３において、Ｓ１００２で取得したアルバムデータ（レイアウトデータ）に基づいて、アルバム特徴量を算出する。

【0085】

Ｓ１００４において、Ｓ１００３で算出したアルバム特徴量をＨＤＤ１１５に保存する。

【0086】

Ｓ１００５において、学習を実行するか否か判定する。まず、Ｓ１００２で取得したＵｓｅｒＩＤのユーザが過去に発注したアルバムのアルバム特徴量を取得し、該取得した特徴量と、Ｓ１００４でＨＤＤ１１５に保存したアルバム特徴量とを比較する。この比較では、アルバム特徴量をベクトルとみなし、過去に発注したアルバムの数だけ総当たりで相関が取られる。算出した相関値が所定の閾値以上の場合、関係性があると判定する一方、該算出した相関値が所定の閾値未満の場合、関係性がないと判定する。関係性があると判定されたアルバム特徴量が１個でもあれば過去に発注したアルバムデータを再度利用して再発注された可能性が高いため学習を実行せず、Ｓ１００１に戻り待機する。これに対し、関係性があると判定されたアルバム特徴量がない場合、Ｓ１００６に進み、アルバム特徴量を用いた学習が実行されることになる。

【0087】

Ｓ１００６において、Ｓ１００２で取得したＵｓｅｒＩＤに基づいて、学習対象とする該ＵｓｅｒＩＤのアルバム特徴量をＨＤＤ１１５から読み取る。この際、取得したアルバム特徴量の個数がカウントされる。ＨＤＤ１１５には、過去の発注データが記憶されている。尚、本ステップでは、アルバム発注間隔に基づいて、学習に使用するアルバム特徴量を選定してもよい。例えば、アルバムを発注したユーザの発注間隔が３年以上空いている場合、過去に発注されたアルバムのアルバム特徴量を、学習に使用しないようにすることが考えられる。或いは、直近で（つまり、同一ユーザにより連続で）アルバムが発注された場合には、過去３ヶ月の間に発注されたアルバムのアルバム特徴量のみを、学習に使用してもよい。さらに、再注文されたデータは、学習に使用しないようにしてもよい。

【0088】

Ｓ１００７において、単独ユーザ（つまり、Ｓ１００２で取得したＵｓｅｒＩＤのユーザ）のアルバム特徴量のみを用いて学習するか判定する。本ステップの判定結果が真の場合、Ｓ１００９に進む一方、該判定結果が偽の場合、Ｓ１００８に進む。尚、本例では、Ｓ１００６でカウントしたアルバム特徴量の個数に基づく判定を行う。具体的には、アルバム特徴量の個数が所定の閾値以上の場合、単独ユーザのアルバム特徴量のみを用いて学習すると判定してＳ１００９に進む。一方、アルバム特徴量の個数が所定の閾値未満の場合、Ｓ１００８に進む。

【0089】

Ｓ１００８において、Ｓ１００２で取得したＵｓｅｒＩＤのユーザが所属するグループを識別するためのＧｒｏｕｐＩＤを取得し、該取得したＧｒｏｕｐＩＤに紐づけされている全てのアルバム特徴量をＨＤＤ１１５から読み取る。ＧｒｏｕｐＩＤは、他のユーザも含めて嗜好の類似するユーザをグループ毎に管理するためのものである。Ｓ１００７にて単独ユーザのアルバム特徴量の個数が不足していると判定された場合に、他のユーザのアルバム特徴量を追加して学習を実行する。但しその際、追加するデータを、ＨＤＤ１１５に保存されている全ユーザのアルバム特徴量とするのではなく、同系統のユーザのアルバム特徴量を選定し学習用データとして利用する。本実施形態では、同系統のユーザのアルバム特徴量か判定する目的で、所属するグループを識別するためのＧｒｏｕｐＩＤをアルバム毎に割り当てる。

【0090】

ここで、クラウドサーバ１１０で実行されるＧｒｏｕｐＩＤの割当てについて、図１１を用いて説明する。

【0091】

Ｓ１１０１において、ＧｒｏｕｐＩＤの修正待ち状態にあるクラウドサーバ１１０が、ユーザ端末１００から送信されたアルバム発注処理の完了通知を受信する。

【0092】

Ｓ１１０２において、全てのアルバム特徴量である全ＵｓｅｒＩＤのアルバム特徴量を、ＨＤＤ１１５から読み取る。

【0093】

Ｓ１１０３において、ＧｒｏｕｐＩＤのクラスタリングを実行する。取得した全てのアルバム特徴量を多次元特徴量空間にプロットしてクラスタリングを実行する。より詳しくは、２つのアルバム特徴量について、特徴量空間における距離を算出し、該算出した距離が所定の閾値以下の場合に該２つのアルバムが同一クラスと判定する。全てのアルバム特徴量に対して、総当たりで距離を算出し、同一クラスと判定されたアルバム特徴量が多いアルバム特徴量を中心とするクラスを割り当てる。かかる処理を、全てのアルバム特徴量に対して所属するクラスが割り当てられるまで繰り返す。結果、各アルバム特徴量が何れかのクラスに割当てられる。

【0094】

Ｓ１１０４において、ＧｒｏｕｐＩＤとＵｓｅｒＩＤとの紐づけを実行する。Ｓ１１０３のクラスタリングの結果に基づいて、各アルバム特徴量に割り当てられたクラスを、ＧｒｏｕｐＩＤとして割り当てる。

【0095】

Ｓ１１０５において、全てのアルバム特徴量について、ＧｒｏｕｐＩＤの修正を行う。本ステップの処理を実行する理由は、発注によりアルバム特徴量が追加されたことから、該追加されたアルバム特徴量を考慮して、保存されていたアルバム特徴量に付随するＧｒｏｕｐＩＤを更新する必要があるためである。

【0096】

尚、ここでは、クラスタリングによりＧｒｏｕｐＩＤを割り当てる方法を記載したが、ＵｓｅｒＩＤに紐づけられたユーザプロファイルを用いて、年齢層、性別などから、嗜好性が一致する可能性が高いＵｓｅｒＩＤを同一クラスとして割り当ててもよい。つまり、類似特徴量以外を利用して、ＧｒｏｕｐＩＤを割り当ててもよい。性別や年齢などのユーザプロファイルが類似しているユーザは、嗜好性が一致する可能性が高いため、同一ＧｒｏｕｐＩＤが割り当てられる。また、画像がクラウドサーバ１１０などで管理されている場合は、直近にアップロードされた画像に含まれるオブジェクト種類などに基づいて、同一ＧｒｏｕｐＩＤに割当ててもよい。

【0097】

さらに、アルバム特徴量をカテゴリに分類してもよい。例えば、シーン判定で判定されたシーンに基づいてカテゴリ分けをする。具体的には、結婚式、旅行、その他の３つのシーンに分類する場合、結婚式用のアルバム特徴量、旅行用のアルバム特徴量、その他用のアルバム特徴量の３つにカテゴリ分けするとよい。アルバム作成パラメータもそれに合わせて、複数個数分けておく。

【0098】

図１０の説明に戻る。Ｓ１００９において、Ｓ１００６やＳ１００８で取得したアルバム特徴量に基づいて、学習を実行する。この学習処理の詳細は後述する。

【0099】

Ｓ１０１０において、アルバム作成パラメータを更新する。詳しくは、後述するアルバム作成パラメータ生成部１２１３（図１２参照）により生成されたアルバム作成パラメータで更新される。

【0100】

Ｓ１０１１において、今回発注されたアルバムに対するＩＤと、アルバム作成パラメータとを紐づける。

【0101】

ユーザ端末１００においてアプリが起動された場合、Ｓ１０１２において、クラウドサーバ１１０は、学習されたアルバム作成パラメータをユーザ端末１００に送信する（学習済みアルバム作成パラメータのダウンロード）。ユーザ端末１００では、ダウンロードした学習済みアルバム作成パラメータを用いたアルバム作成パラメータのアップデートが行われる。これにより、アプリの各モジュールで学習済みアルバム作成パラメータを用いることが可能になる結果、自動レイアウト処理時に更新パラメータの設定が反映されることになる。

【0102】

＜ユーザの嗜好に合ったアルバム作成パラメータを求める学習について＞
以下、本実施形態の学習方法として、ユーザアルバム特徴量１２０６に基づいてユーザの嗜好に合ったアルバム作成パラメータ１２０４を生成する方法について、図１２を用いて説明する。

【0103】

画像セット１２０１は、学習で使用する画像セットである。学習に使用する画像セットに含める画像としては、ユーザの撮影画像だけでなく、ＷＥＢ上に公開されている画像、アルバムサービス提供会社が用意する画像などを使用できる。

【0104】

画像設定部１２１２は、使用可能な画像ＤＢ（本例ではＨＤＤ１１５）に保存されている画像を用いて、画像セット１２０１を作成する。本実施形態では、画像セット１２０１として、学習用画像セットと、検証用画像セットとの２種類を作成する。

【0105】

画像セット１２０１に対して、アルバム作成パラメータ１２０４を用いて自動レイアウト処理部１２１０にて自動レイアウト処理を実行した場合、アルバムデータ１２０２（レイアウトデータ）が作成される。アルバム作成パラメータ１２０４は、学習を繰り返すことにより最適化されるパラメータである。アルバム作成パラメータ生成部１２１３は、自動レイアウト処理部１２１０にて自動レイアウト処理を実行する際に必要なアルバム作成パラメータを生成する。自動レイアウト処理部１２１０は、前述の自動レイアウト機能を提供するモジュールである。

【0106】

アルバム特徴量取得部１２１１は、自動レイアウト処理部１２０１により生成されたアルバムデータ１２０２に基づいてアルバム特徴量１２０３を導出（算出）する。

【0107】

図１２において、ユーザアルバム特徴量１２０６は、ユーザが作成したアルバムの特徴を示す特徴量である。ターゲットアルバム特徴量推定部１２１６は、ユーザアルバム特徴量１２０６に基づいて、ターゲットアルバム特徴量を推定する。なお、ターゲットアルバム特徴量推定部１２１６は、ユーザアルバム特徴量１２０６からターゲットアルバムの正解アルバム特徴量（正解ターゲットアルバム特徴量とする）１２０７も取得する。尚、ターゲットアルバム特徴量推定部１２１６の処理については、図１３を用いて後述する。

【0108】

学習制御部１２１４は、本実施形態で説明する学習作業を制御する。アルバム特徴量比較部１２１５は、アルバム特徴量１２０３と正解ターゲットアルバム特徴量１２０７とを比較する。このアルバム特徴量比較部１２１５による比較と、ターゲットアルバム特徴量推定部１２１６によるターゲットアルバム特徴量の推定処理と、を繰り返し実行する（つまり繰り返し学習する）。これにより、ユーザの嗜好がまとめられたターゲットアルバム特徴量１２０５を求めることができる。

【0109】

＜ターゲットアルバム特徴量の推定について＞
以下、図１２のターゲットアルバム特徴量推定部１２１６の詳細について、図１３を用いて説明する。図１３は、ターゲットアルバム特徴量推定部１２１６の詳細な機能ブロック図である。

【0110】

アルバム特徴量取得部１３０１は、アルバムデータに基づいて、アルバム特徴量を導出する。ここでは、ユーザアルバム特徴量１２０６と、正解ターゲットアルバム特徴量１２０７とを取得する。ユーザアルバム特徴量１２０６が、ＤｅｅｐＬｅａｒｎｉｎｇ等の学習部１３０４に入力されることにより、ターゲットアルバム特徴量１２０５が出力される。なお、正解ターゲットアルバム特徴量１２０７は、そのままアルバム特徴量比較部１２１５に渡される。なお、ユーザアルバム特徴量１２０６と正解ターゲットアルバム特徴量１２０７とは、それぞれ学習用と検証用に割り振られる。「検証」とは学習フェーズの中の一処理であり、詳細は図１４を用いて説明する。

【0111】

学習用データ設定部１３０２は、ユーザアルバム特徴量１２０６のうち、学習時に使用するアルバム特徴量を、学習用に割り振って設定する。取得されたアルバム特徴量の総数に対する所定割合の数のアルバム特徴量が学習用データとして設定される。このとき、学習用データ数が所定数に満たない場合は、アルバムの見開き単位の特徴量が学習用データとして設定される。一方、学習用データ数が所定数以上の場合は、アルバム単位の特徴量が学習用データとして設定される。

【0112】

検証用データ設定部１３０３は、Ｓ１００６で取得されたアルバム特徴量のうち、学習用データ設定部１３０２で学習用データに設定された残りのアルバム特徴量を検証用データとして設定する。このとき、学習用データ設定部１３０２にて、学習用データ数に応じて、見開き単位の特徴量が学習用データとして設定されている場合は、検証用データも見開き単位の特徴量を設定する。一方、アルバム単位の特徴量が学習用データとして設定されている場合は、検証用データもアルバム単位の特徴量を設定する。

【0113】

学習部１３０４は、ユーザアルバム特徴量１２０６を用いてターゲットアルバム特徴量１２０５を出力する推定処理を行う。学習部１３０４は、学習用データの数に応じて、採用する学習方法を切り替えることができる。学習用データ数が所定値以上の場合は機械学習による学習を実行する。ここでは機械学習のアルゴリズムとして、ＤｅｅｐＬｅａｒｎｉｎｇを用いる。ＤｅｅｐＬｅａｒｎｉｎｇは、アルバム特徴量の次元数と同サイズの次元数の特徴量が推測されるネットワークを構成する。アルバム発注データの日付を加味して時系列を考慮した学習を行ってもよい。また、ＤｅｅｐＬａｅｒｎｉｎｇによらず、ＳＶＭなどの機械学習を用いてもよい。

【0114】

一方、学習用データ数が所定値未満の場合は、ルールベースによる学習が行われる。統計的手法を使って、平均、最頻値など、主成分分析を行ってもよい。或いは、特徴量空間にプロットして特徴量空間における距離が近い結果を選定してもよい。

【0115】

学習用データを使って推定処理を行った結果、ターゲットアルバム特徴量１２０５が推定される。なお、ターゲットアルバム特徴量推定部１２１６には、学習制御部１２１４からアルバム特徴量比較部１２１５による比較結果が入力されることにより、ターゲットアルバム特徴量１２０５の推定精度を向上させる。この一連の流れについては、図１４を用いて説明する。

【0116】

尚、ここでは説明のために、固定のアルバム特徴量を学習する方法を記載しているが、学習対象のアルバム特徴量の項目は可変であってもよい。例えば、発注回数が少ない場合は、学習用データが少ないため、学習項目を減らして学習してもよい。発注回数が増え、学習用データ数が増えた場合は、学習項目を増やしてもよい。つまり、学習用データ数に少ない場合の学習項目よりも、学習用データ数が多い場合の学習項目を多くするとよい。また、学習がうまく収束しない場合も学習項目を減らしてもよい。学習が収束すれば、学習項目を増やしてもよい。

【0117】

学習を行う際、学習済みのアルバム作成パラメータが存在する場合には、この学習済みのアルバム作成パラメータを初期値に設定して、追加学習を行ってもよい。学習に使用するデータ数が少ない場合は、学習用と検証用との組合せを変えることで、学習回数を増やしてもよい。

【0118】

学習制御部１２１４は、学習を終了するか否か判定する（後述の図１４のＳ１４０８及びＳ１４１４）。学習部１３０４における処理過程で算出された相関値が所定の閾値以上の場合に、学習を終了すると判定することが好ましい。相関値が所定の閾値未満の場合、処理を続ける。このとき、相関値が所定値未満であれば、後述するアルバム作成パラメータのアップデートを行わないように制限してもよい。

【0119】

＜学習処理について＞
以下、前述の学習処理（図１２、図１３参照）について、図１４を用いて説明する。図１４の学習処理は、学習ループと検証ループとを含む。

【0120】

アルバム作成パラメータ１２０４の学習が開始された場合、Ｓ１４０１にて、学習制御部１２１４は、ターゲットアルバム特徴量推定部１２１６に、ターゲットアルバム特徴量１２０５の推定と、正解ターゲットアルバム特徴量１２０７の取得を行うよう指示する。

【0121】

指示を受けたターゲットアルバム特徴量推定部１２１６は、取得済みのユーザアルバム特徴量１２０６に基づいて、ターゲットアルバム特徴量１２０５を算出（推定）する。ここでは、図１３の学習用データ設定部１３０２で設定された学習用データのアルバム特徴量が学習部１３０４に入力されることにより、ターゲットアルバム特徴量１２０５が推定される。推定したターゲットアルバム特徴量１２０５は、学習制御部１２１４を介してアルバム作成パラメータ生成部１２１３へ渡される。例えば、ユーザが生成したアルバムの１見開き目のレイアウトデータのユーザアルバム特徴量１２０６と２見開き目のレイアウトデータのユーザアルバム特徴量１２０６に基づき、ターゲットアルバム特徴量を推定する。この推定したターゲットアルバム特徴量１２０５は学習制御部１２１４を介してアルバム作成パラメータ制御部１２１３へ出力される。

【0122】

さらに、ターゲットアルバム特徴量推定部１２１６は、学習制御部１２１４からの指示に基づき、正解ターゲットアルバム特徴量１２０７を取得し、取得した正解ターゲットアルバム特徴量１２０７をアルバム特徴量比較部１２１５へ渡す。例えば、ユーザが生成したアルバムの３見開き目のレイアウトデータのアルバム特徴量を正解ターゲットアルバム特徴量１２０７として取得し、アルバム特徴量比較部１２１５へ渡す。

【0123】

Ｓ１４０２では、学習制御部１２１４は、アルバム作成パラメータ生成部１２１３に、アルバム作成パラメータ１２０４の生成を指示する。アルバム作成パラメータ生成部１２１３は、この指示を受け、ターゲットアルバム特徴量推定部１２１６から出力されたターゲットアルバム特徴量１２０５をアルバム作成パラメータ１２０４に変換する。例えば、１見開き目と２見開き目のユーザアルバム特徴量１２０６に基づいて推定されたターゲットアルバム特徴量１２０５を基に、アルバム作成パラメータ１２０４を生成する。なお、初めて学習する際は、最初のアルバム作成パラメータとして、規定のパラメータを使用してもよいし、ランダムにパラメータを変化させたものを改めて作成してもよい。

【0124】

Ｓ１４０３において、学習制御部１２１４は、画像設定部１２１２に、学習用の画像セット１２０１をセットするよう指示する。この指示により画像設定部１２１２は、学習用の画像セット１２０１を自動レイアウト処理部１２１０へ入力する。例えば、３見開き目のレイアウトデータにおいて使用された複数の画像を画像セット１２０１として自動レイアウト処理部１２０１へ入力する。

【0125】

Ｓ１４０４において、自動レイアウト処理部１２１０は、Ｓ１４０２で生成されたアルバム作成パラメータ１２０４と、Ｓ１４０３で設定された学習用の画像セット１２０１とを使用して、アルバムデータ１２０２（レイアウトデータ）を作成する。例えば、Ｓ１４０２により生成された、１見開き目と２見開き目に基づき推定されたターゲットアルバム特徴量１２０５に基づくアルバム作成パラメータ１２０４と、３見開き目の画像と、を用いてアルバムデータ１２０２が生成される。この場合、生成されたアルバムデータは、３見開き目の推定アルバムデータ（３見開き目の推定レイアウトデータ）とも言える。尚、自動レイアウト処理の説明については、既に説明済みなので省略する（図９参照）。

【0126】

Ｓ１４０５において、アルバム特徴量取得部１２１１は、Ｓ１４０４で作成したアルバムデータ１２０２に対応するアルバム特徴量１２０３を取得する。例えば、３見開き目の推定アルバムデータのアルバム特徴量を取得する。この場合、取得されたアルバム特徴量は、３見開き目の推定アルバム特徴量とも言える。

【0127】

Ｓ１４０６において、アルバム特徴量比較部１２１５は、Ｓ１４０１で取得した正解ターゲットアルバム特徴量１２０７と、Ｓ１４０５で取得したアルバム特徴量１２０３とを比較する。例えば、Ｓ１４０６で取得した３見開き目の正解ターゲットアルバム特徴量１２０７と、３見開き目の推定アルバム特徴量と、を比較する。

【0128】

比較結果に基づく情報は、アルバム作成パラメータ生成部１２１３に、学習制御部１２１４を介して渡される。そして、この比較結果に基づく情報をもとに、推定アルバム特徴量２１０３が正解ターゲットアルバム特徴量２１０７に近づくようアルバム作成パラメータ１２０４が更新される。このアルバム作成パラメータ１２０４の更新結果に基づく情報は、学習制御部１２１４を介して、ターゲットアルバム特徴量推定部１２１６に入力される。そして、ターゲットアルバム特徴量推定部１２１６の学習部１３０４におけるパラメータ（例えば、ニューラルネットワークの各ノード間の重み付けパラメータ）を最適化する。

【0129】

なお、比較結果に基づく情報は、学習制御部１２１４を介して、ターゲットアルバム特徴量推定部１２１６に直接渡されてもよい。そして、ターゲットアルバム特徴量推定部１２１６の学習部１３０４におけるパラメータ（例えば、ニューラルネットワークの各ノード間の重み付けパラメータ）が最適化されてもよい。なお、この場合、比較結果に基づく情報は、アルバム作成パラメータ生成部１２１３に入力されなくてもよい。ターゲットアルバム特徴量推定部１２１６により、ターゲットアルバム特徴量１２０５の推定精度が向上されるのであれば、そのターゲットアルバム特徴量１２０５から生成されるアルバム作成パラメータは自ずと最適化されることになる。

【0130】

このように、ターゲットアルバム特徴量推定部１２１６による推定と、アルバム特徴量比較部１２１５による比較と、による学習によって、アルバム生成パラメータの最適化と、ターゲットアルバム特徴量１２０５の推定精度の向上が行われる。

【0131】

Ｓ１４０７において、学習制御部１２１４は、学習ループが所定回数行われたか判定する。本ステップの判定結果が真の場合、Ｓ１４０８に進む、一方、該判定結果が偽の場合、Ｓ１４０２に戻る。尚、本ステップで採用する所定回数は特に決まった値である必要はない。

【0132】

以上説明した処理により、画像セット１２０１とアルバム作成パラメータ１２０４とを更新しながら自動レイアウト処理を実行し、その結果得られる推定アルバム特徴量１２０３が正解ターゲットアルバム特徴量１２０７に近づくように学習することが可能である。

【0133】

Ｓ１４０８において、その時点の正解ターゲットアルバム特徴量１２０７と推定アルバム特徴量１２０３との比較結果に基づいて、学習ループを完了するか否かを判定する。例えば、Ｓ１４０６における比較結果が所定の正解率となっているか否かを判定する。正解ターゲットアルバム特徴量１２０７と推定アルバム特徴量１２０３とが十分に近い特徴量となっていない場合（つまり正解率が低い場合）、学習ループを継続させるために、Ｓ１４０２に戻る。一方、ターゲットアルバム特徴量１２０５とアルバム特徴量１２０３とが十分に近い特徴量となっている場合（つまり正解率が高い場合）、学習ループを終了し、Ｓ１４０９へ進む。

【0134】

これまでの流れを、具体例を用いて再度説明する。例えば、ユーザアルバム特徴量が３つの見開き分あるとする。このうち１見開き目と２見開き目を使って学習部１３０４によりターゲットアルバム特徴量１２０５を算出する。算出されたターゲットアルバム特徴量に基づいて、アルバム作成パラメータ生成部１２１３によりアルバム作成パラメータ１２０４が生成される。ここで、画像設定部１２１２は、３つの見開き分のうち、未使用の３見開き目で使用されている画像を画像セット１２０１として設定する。そして、自動レイアウト処理部１２１０は、該設定された３見開き目の画像セット１２０１に対し、生成されたアルバム作成パラメータを用いて、自動レイアウト処理を実行する。その後、アルバム特徴量取得部１２１１は、作成されたアルバムデータ（３見開き目の推定アルバムデータ）に対応するアルバム特徴量（３見開き目の推定アルバム特徴量）を取得する。この推定アルバム特徴量は、１見開き目と２見開き目に基づき推定したアルバム作成パラメータを用いて作成される、３見開き目の推定アルバム特徴量となる。そして、この推定アルバム特徴量と、３見開き目の正解ターゲットアルバム特徴量とを、アルバム特徴量比較部１２１５により比較する。これにより、ターゲットアルバム特徴量推定部１２１６の推定精度を確認することができる。

【0135】

なお、上述したとおり、学習用データ数が少ない場合は、アルバムの見開き単位の特徴量が学習用データとして設定されるが、学習用データ数が多い場合は、アルバム単位（複数の見開きからなるフォトブック単位）の特徴量が学習用データとして設定されるとよい。例えば、１つ目のアルバムと２つ目のアルバムに基づきアルバム作成パラメータを作成し、この作成したアルバム作成パラメータと３つ目のアルバムに用いる画像とを用いて自動レイアウトを実施する。そして、このレイアウトの結果生成される３つ目の推定アルバムデータの推定アルバム特徴量と、３つ目の正解ターゲットアルバム特徴量と、を比較するとよい。

【0136】

このような比較結果を図１３の学習部１３０４に反映することにより、アルバム作成パラメータの推定精度を向上する。なお、推定精度が低い場合は、学習の設定を変更して繰り返し推定を行うことで推定精度を向上することができる。これにより、ユーザの好みがある程度反映されたアルバム作成パラメータが生成される。なお、このアルバム作成パラメータが本当に正確かを検証するために、本実施形態の学習フェーズでは、検証フローを実行する。なお、図１４では学習ループと検証ループ（検証フロー）とに分けて記載しているが、検証ループも学習の中の一つのフローである。

【0137】

以下、学習フェーズの中の検証ループについて説明する。Ｓ１４０９において、学習制御部１２１４は、画像設定部１２１２に、これまでの学習ループでは使用していなかった検証用の画像セット１２０１をセットするように指示する。例えば、学習ループにおいて、１見開き目～８見開き目を用いていた場合、検証ループにおいては、９見開き目以降を使用する。

【0138】

Ｓ１４１０において、自動レイアウト処理部１２１０は、学習ループにより生成されたアルバム作成パラメータ１２０４と、Ｓ１４０９で設定された検証用の画像セット１２０１とを使用して、アルバムデータ１２０２を作成する。例えば、学習ループにより生成されたアルバム作成パラメータ１２０４と、９見開き目で使用される画像とを使用してアルバムデータを生成する。なおこのアルバムデータは、アルバム作成パラメータを用いて推定された９見開き目の推定アルバムデータともいえる。

【0139】

Ｓ１４１１において、アルバム特徴量取得部１２１１は、アルバムデータ１２０２に対応するアルバム特徴量１２０３を取得する。例えば、９見開き目の推定アルバムデータのアルバム特徴量（９見開き目の推定アルバム特徴量）を取得する。

【0140】

Ｓ１４１２において、アルバム特徴量比較部１２１５は、正解ターゲットアルバム特徴量１２０７と、Ｓ１４１１で取得した推定アルバム特徴量１２０３とを比較する。例えば、実際にユーザにより作成された９見開き目のアルバムデータのアルバム特徴量（９見開き目の正解ターゲットアルバム特徴量）と、９見開き目の推定アルバム特徴量と、を比較する。これにより、９見開き目を用いて、生成されたアルバム生成パラメータが正しいか検証することができる。

【0141】

Ｓ１４１３において、学習制御部１２１４は、検証ループが所定回数行われたか判定する。本ステップの判定結果が真の場合、Ｓ１４１４に進む、一方、該判定結果が偽の場合、Ｓ１４０９に戻る。尚、本ステップで採用する所定回数は特に決まった値である必要はないが、学習ループの回数よりは小さくてよい。

【0142】

Ｓ１４０９～Ｓ１４１２の検証ループを行うことで、学習されたアルバム作成パラメータ１２０４の性能が検証される。例えば、９見開き目の正解ターゲットアルバム特徴量と、９見開き目の推定アルバム特徴量とが、所定の相関値に達していれば、ユーザの嗜好性が反映されていると判定できる。

【0143】

このように、学習用の画像セット１２０１と異なる検証用の画像セット１２０１を設定した場合であっても、ターゲットアルバム特徴量１２０５に近いアルバム特徴量１２０３となっていれば、Ｓ１４１４で検証完了と判定され、学習は終了する。なお、検証の際、図１３の検証用データ設定部１３０３にて設定されるユーザアルバム特徴量（例えば、９見開き目以降のアルバム特徴量）を使用する。このアルバム特徴量は、学習時に使用されていない。学習に使用していないアルバム特徴量を使うことで、生成したアルバム作成パラメータにより、ユーザの嗜好性を反映するアルバムを作成できるか検証できる。具体的には、検証用のユーザアルバム特徴量に対応した見開きに使用された画像と、学習用のユーザアルバム特徴量を用いて作成したアルバム作成パラメータと、に従いレイアウト結果を生成し、このレイアウト結果に対応する推定アルバム特徴量を導出する。これを検証用の正解ターゲットアルバム特徴量と比較することで、ユーザの嗜好性が反映させられているかを検証することができる。つまり、アルバム作成パラメータが所定の条件を満足しているかを判定することができる。そして、この条件を満足した場合、アルバム作成パラメータは、アプリのアップデート時にダウンロード可能となる。

【0144】

尚、検証ループでも、学習ループと同様に、検証用データ数が少ない場合は、アルバムの見開き単位の特徴量が検証用データとして設定されるが、検証用データ数が多い場合は、アルバム単位（フォトブック単位）の特徴量が検証用データとして設定されるとよい。

【0145】

検証後、ターゲットアルバム特徴量１２０５とアルバム特徴量１２０３との間の差が小さくならない場合は、Ｓ１４０２に進み、再度学習を実行する。こうすることで、ユーザの嗜好を反映したアルバム作成パラメータ１２０４を学習で求めることが可能になる。

【0146】

尚、図１４では示していないが、学習ループ、検証ループを行っても所望のアルバム作成パラメータ１２０４を作成できない場合に備え、ループの限度回数を予め定めておき、必要に応じて学習を停止させるなどの対応をとってもよい。また、学習が収束しなかった場合に、ターゲットアルバム特徴量推定部１２１６の設定を変えるなどして、異なる条件で学習を行うようにしてもよい。

【0147】

＜学習用データと検証用データの設定方法について＞
以下、学習用データと検証用データの設定方法について、図１５を用いて説明する。

【0148】

図１５（ａ）は、見開き単位で学習する際の学習用データ及び検証用データの設定方法を示している。学習に利用できるデータ数が不十分な場合に、見開き単位のデータを利用して学習を行う。例えば、見開きのレイアウトデータが全部でｎ個ある場合、学習用データをｍ個、検証用データをｋ個と割り振る（但し、ｎ＝ｍ＋ｋ）。

【0149】

符号１５０１は、見開き番号ごとの特徴量を示す。この特徴量は、アルバム固有情報に含まれる見開き内情報が設定される（図１６（ｂ）参照）。図１５（ａ）の例では、見開きｎ個分の特徴量があるとする。

【0150】

符号１５０２は、割り振られた学習用データ群を示す。ｎ個の見開き特徴量のうちｍ個が学習用として割り振られる。ｍ個の選択はランダムでもよいが、ここでは説明のために、アルバムのページ構成を考慮して見開き番号＃１～＃ｎ－２の見開き特徴量を、学習用データに設定する。

【0151】

符号１５０３は、割り振られた検証用データ群を示す。見開き特徴量（総数ｎ個）のうち学習用データとして設定されたもの（ｍ個）以外を検証用データに設定する（ｋ個）。ここでは説明のために、見開き番号＃ｎ－１～＃ｎの見開き特徴量を、検証用データに設定する。尚、見開きのスロットサイズごとに、学習用データと検証用データとを分けてもよい。

【0152】

図１５（ｂ）は、アルバム単位（複数の見開きページからなるブック単位）で学習する際の学習用データ及び検証用データの設定方法を示している。アルバムデータがｎ個ある場合に、学習用アルバムデータをｍ個、検証用アルバムデータをｋ個と割り振る（但し、ｎ＝ｍ＋ｋ）。

【0153】

符号１５０４は、アルバム番号ごとの特徴量を示す。この特徴量は、各アルバムのアルバム全体情報と見開き内情報が設定される（図１６（ｂ）参照）。図１５（ｂ）の例では、アルバムｎ個分の特徴量があるとする。

【0154】

符号１５０５は、割り振られた学習用アルバムデータ群を示す。ｎ個のアルバム特徴量のうちｍ個が学習用として割り振られる。ｍ個の選択はランダムでもよいが、ここでは説明のために、アルバム番号ｎｏ．１～ｎｏ．ｎ－２のアルバム特徴量を、学習用データに設定する。

【0155】

符号１５０６は、割り振られた検証用アルバムデータ群を示す。アルバム特徴量（総数ｎ個）のうち学習用データとして設定されたもの（ｍ個）以外を検証用データに設定する（ｋ個）。ここでは説明のために、アルバム番号ｎｏ．ｎ－１～ｎｏ．ｎのアルバム特徴量を、検証用データに設定する。尚、解析時に判定されたシーンごとに、学習用データと検証用データとを分けてもよい。

【0156】

＜アルバム作成パラメータについて＞
以下、アルバム作成パラメータについて、図１６を用いて説明する。図１６（ａ）は、アルバム作成パラメータのデータ構造を示す図である。図示するように、アルバム作成パラメータは、Ｕｓｅｒ固有情報と、アルバム固有情報とから構成される。

【0157】

図１６（ｂ）は、Ｕｓｅｒ固有情報とアルバム固有情報との夫々の構成を示す図である。ＧｒｏｕｐＩＤは、嗜好が類似するユーザをまとめたユーザ群毎に割り当てる。ＵｓｅｒＩＤは、アルバムを発注したユーザ毎に固有のＩＤを割り当てる。また、Ｕｓｅｒ固有情報には、その他の情報として、アルバムを発注したユーザの性別、年齢、住所、電話番号、Ｅ－ｍａｉｌアドレス等が格納されている。アルバム固有情報は、アルバム全体情報と、見開き内情報とから構成される。

【0158】

図１６（ｃ）は、アルバム全体情報と、見開き内情報との夫々の構成を示す図である。以下、アルバム全体情報の構成要素（各項目）について説明する。

【0159】

ＡｌｂｕｍＩＤは、発注されたアルバム毎に固有のＩＤが割り当てられる。商材サイズは、発注されたアルバムの商材サイズが設定される。製本種別は、発注されたアルバムの製本種別（フルフラット、無線綴じなど）が設定される。メディアは、発注されたアルバムのメディア種類（光沢紙、半光沢紙など）が設定される。見開き数は、発注されたアルバムのページ数が設定される。単価は、発注されたアルバムの１冊あたりの値段が設定される。キャンペーンはユーザが発注したアルバムがキャンペーン対象商品か否かに関する情報や、対応するキャンペーンに関する情報が設定される。平均余白量は、各見開き内の余白面積の合計を見開き数で割った値が設定される。平均画像スロット数は、アルバムに使用された画像枚数を見開き数で割った値が設定される。平均スロットサイズ比は、アルバム内の総スロット面積を総スロット数で割った値が設定される。全体構図パターンは、アルバムに使用された画像の構図のパターン（日の丸、三分割、サンドイッチなど）が設定される。オブジェクトの重みは、得点付け（スコアリング）の際のオブジェクト評価に関する項目と、色合いや明るさなどといった画像の良し悪しに関する項目とについて、重みに関する比率が設定される。編集操作ログは、見開き単位ごとにレイアウト編集された内容が設定される。画像の入れ替え回数、画像のトリミング回数、実行した補正種類及びエフェクト種類などのログが格納される。尚、アルバム全体情報の中の項目には、前述のもの以外にもアルバム全体に関する情報が格納される。

【0160】

以下、見開き内情報の構成要素（項目）について説明する。

【0161】

見開き番号は、発注されたアルバム内の見開きの番号が設定される。余白量は、見開き番号で指定された見開き内の余白の面積量が設定される。尚、余白量は、見開きの縁の見開きの幅サイズ、または、見開き内のスロット間の幅サイズでもよい。画像スロット数は、見開き番号で指定された見開きに配置されている画像スロットの個数が設定される。スロットサイズ比は、見開き番号で指定された見開き内のスロットにおいて、最大スロットのサイズと最小スロットのサイズとの比率が設定される。構図パターンは、見開き番号で指定された見開きに配置された画像の構図パターン（日の丸、三分割、サンドイッチなど）が格納される。編集操作ログは、レイアウト編集で実施された編集履歴情報（画像の入れ替え回数、トリミングしたスロット数など）が設定される。尚、図示しないが、見開き内情報の中の項目には、前述のもの以外にも見開きに関する情報が格納される。例えば、以降のような項目が挙げられる。

【0162】

大スロットオブジェクトは、大スロットに配置した画像に含まれるオブジェクト種類が設定される。エフェクトは、レイアウトに実施したエフェクト処理の種類が設定され、例えば、ＰｈｏｔｏＯｎＰｈｏｔｏ、グラデーション処理などのエフェクト種類が設定される。レイヤー数は、見開き内のレイヤー数が設定される。上位レイヤーオブジェクトは、最上位レイヤーのスロットに配置された画像に含まれるオブジェクト情報が格納される。大スロット構図は、最大スロットに配置された画像の構図情報が設定される。上位レイヤー構図は、最上位レイヤーに配置された画像の構図情報が設定される。テンプレート番号は、見開きに使用された固定テンプレート番号が設定される。ユーザが編集もしくは新規でテンプレートを作成した場合は所定値を設定する。ページ跨ぎは、見開きの折り目をまたぐ、もしくはまたがないかを設定する。トリミング量は、各スロットのトリミング量が設定される。

【0163】

なお、アルバム全体情報及び見開き内情報に同様の項目が含まれてもよい。同様の項目に対しては、学習用データ量で優先度を変えてもよい。例えば、学習用データ量が少ない場合は、アルバム全体情報に設定されている項目の学習を優先する。学習データ量が多い場合は見開き内情報に設定されている項目の学習を優先する。また、アルバム全体情報内のキャンペーン情報に応じて、学習用データに加えるか否かを判断してもよい。

【0164】

＜アルバム作成パラメータの検証について＞
以下、学習により設定されたアルバム作成パラメータをユーザ環境で検証する方法について、図１７を用いて説明する。図１７は、レイアウト編集用ＵＩ画面（図８参照）上でアルバム作成パラメータを検証するケースを示している。

【0165】

編集中の見開きのレイアウト上でマウスを使って操作することにより、画像を入れ替えたり、画像サイズを変更したりすることが可能である。

【0166】

符号１７０１は、編集中のアルバムにおける１－２ページのレイアウトのサムネイルを表す。このレイアウトに付随する「ａ」は、このサムネイルを作成した際のアルバム作成パラメータの種類を表している。同様に、符号１７０２は、編集中のアルバムにおける３－４ページのレイアウトのサムネイルを表す。このサムネイルに付随する「ｂ」は、このレイアウトを作成した際のアルバム作成パラメータの種類（１－２ページのアルバム作成パラメータとは異なる）を表している。図１７の例では、２種類のアルバム作成パラメータを用いて作成されたレイアウトのサムネイルが交互に表示されているが、３種類以上のアルバム作成パラメータであってもよい。

【0167】

自動レイアウト処理を複数アルバム作成パラメータで実行し、アルバム作成パラメータごとのレイアウト結果を取得しておく。アルバム作成パラメータの種類は、発注履歴がある場合は、学習済みのアルバム作成パラメータと、デフォルトのアルバム作成パラメータとの２種類であってもよい。発注履歴がない場合は、デフォルトのアルバム作成パラメータと、アルバムを作成する際に画像を解析した結果に応じて作成したアルバム作成パラメータとの２種類であってもよい。例えば、画像を解析した結果、候補画像に人物画像が多いことが判明すれば、人物画像を優先的に選択して、サイズの大きいスロットに配置するようなアルバム作成パラメータを設定する。見開きごとにどのアルバム作成パラメータを使用するかは、ランダムで決定してもよいし、順番でループさせてもいい。

【0168】

このように複数のアルバム作成パラメータで実行した自動レイアウト結果を提示し、各レイアウト結果に対してユーザが行った編集履歴を取得することにより、各アルバム作成パラメータを検証することができる。例えば図１７のケースで、パラメータ「ａ」で生成したレイアウト結果よりも、パラメータ「ｂ」で生成したレイアウト結果の方が、画像入れ替え回数が少なければ、パラメータ「ｂ」の方がユーザの嗜好を適確に表現していると判断できる。また、パラメータ「ｂ」が最新のアルバム作成パラメータであれば、学習がうまくいっていると判断できる。

【0169】

アルバム発注時にはユーザによる編集履歴もクラウドサーバにアップするので、その履歴に基づいて、学習用データを選定したり、分類したりすることができる。

【0170】

［その他の実施形態］
尚、前述の実施形態では、アルバム特徴量を用いて学習する方法を説明したが、アルバムに使用された画像と配置情報などをまとめたデータを入力とし、アルバム作成パラメータを出力するネットワークを設計してもよい。

【0171】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、前述した実施形態の各構成を適宜組み合わせて用いてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】