特許 7026218 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-16

(45)【発行日】2022-02-25

(54)【発明の名称】画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体

(51)【国際特許分類】

   G06F 16/532 20190101AFI20220217BHJP

   G06F 16/55 20190101ALI20220217BHJP

   G06T 11/60 20060101ALI20220217BHJP

   H04N 1/387 20060101ALI20220217BHJP

【ＦＩ】

G06F16/532

G06F16/55

G06T11/60 100D

H04N1/387

【請求項の数】 37

(21)【出願番号】P 2020521801

(86)(22)【出願日】2019-04-24

(86)【国際出願番号】 JP2019017385

(87)【国際公開番号】W WO2019230275

(87)【国際公開日】2019-12-05

【審査請求日】2020-11-19

(31)【優先権主張番号】P 2018105976

(32)【優先日】2018-06-01

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2018178638

(32)【優先日】2018-09-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001830

【氏名又は名称】東京ＵＩＴ国際特許業務法人

(72)【発明者】

【氏名】野口 幸典

【審査官】後藤 彰

(56)【参考文献】

【文献】特開２０１１－０４８６６８（ＪＰ，Ａ）

【文献】特開２０１３－１０９５７８（ＪＰ，Ａ）

【文献】特開２０１６－０６２１２２（ＪＰ，Ａ）

【文献】特開２０１５－１２５５５４（ＪＰ，Ａ）

【文献】特開２０１３－０３３４５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／５３２

Ｇ０６Ｆ １６／５５

Ｇ０６Ｔ １１／６０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

複数の参照画像群の入力を受け付ける参照画像群受付手段，
上記複数の参照画像群の中から，それぞれ一部の画像を抽出する第１画像抽出手段，
第１画像群の入力を受け付ける第１画像群受付手段，
上記複数の参照画像群の中から，上記第１画像群に類似する第２画像群を検索する画像群検索手段，および
上記第１画像群の中から，上記第２画像群から抽出された上記一部の画像に類似する画像を，抽出する第２画像抽出手段，
を備えた画像処理装置。

【請求項2】

上記第１画像抽出手段における抽出は，
抽出した一部の画像をアルバムに配置することに利用する処理であり，
上記第２画像抽出手段において抽出された画像をアルバムに配置する画像配置手段，
をさらに備えた請求項１に記載の画像処理装置。

【請求項3】

上記画像配置手段は，
上記第２画像群から抽出された上記一部の画像が配置されたアルバムの情報にもとづいて上記第２画像抽出手段において抽出された画像をアルバムに配置する，
請求項２に記載の画像処理装置。

【請求項4】

上記アルバムの情報は，
アルバムのレイアウト情報およびアルバムのテンプレート情報のうち，少なくとも一方である，
請求項３に記載の画像処理装置。

【請求項5】

上記画像配置手段は，
アルバムのレイアウト情報にもとづく画像の配置よりもアルバムのページ順序と画像の撮影日時の時系列との一致を優先して，上記第２画像抽出手段において抽出された画像をアルバムに配置する，
請求項４に記載の画像処理装置。

【請求項6】

アルバムの各ページに配置された画像のそれぞれの撮影日時の中間の撮影日時を求め，上記中間の撮影日時が時系列順となるようにアルバムのページを並び替える並び替え手段，
をさらに備えた請求項５に記載の画像処理装置。

【請求項7】

アルバムの一のページに配置された画像の撮影日時が後のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも早くなるように一のページに配置された画像を他の画像と取り替える第１の画像取替手段，
をさらに備えた請求項６に記載の画像処理装置。

【請求項8】

アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも遅くなるように一のページに配置された画像を他の画像と取り替える第２の画像取替手段，
をさらに備えた請求項６または７に記載の画像処理装置。

【請求項9】

アルバムの一のページに配置された画像の撮影日時が後のページに配置された画像の最初の撮影日時よりも早くなるように一のページに配置された画像を他の画像と取り替える第３の画像取替手段，
をさらに備えた請求項６から８のうち，いずれか一項に記載の画像処理装置。

【請求項10】

アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像の最後の撮影日時よりも遅くなるように一のページに配置された画像を他の画像と取り替える第４の画像取替手段，
をさらに備えた請求項６から９のうち，いずれか一項に記載の画像処理装置。

【請求項11】

上記画像配置手段は，
アルバムのレイアウト情報にもとづく画像の配置よりもアルバムの１ページ内における画像の配置については画像の撮影日時の時系列の一致を優先して，上記第２画像抽出手段において抽出された画像をアルバムに配置する，
請求項３または４に記載の画像処理装置。

【請求項12】

上記画像配置手段は，
アルバムのページ順序と画像の撮影日時の時系列との一致よりもアルバムのレイアウト情報にもとづく画像の配置を優先して，上記第２画像抽出手段において抽出された画像をアルバムに配置する，
請求項３または４に記載の画像処理装置。

【請求項13】

上記画像配置手段は，
アルバムの１ページ内における画像の配置については画像の撮影日時の時系列の一致よりもアルバムのレイアウト情報にもとづく画像の配置を優先して，上記第２画像抽出手段において抽出された画像をアルバムに配置する，
請求項３または４に記載の画像処理装置。

【請求項14】

上記画像群検索手段は，
上記複数の参照画像群のそれぞれの参照画像群において，参照画像群に含まれる画像を類似する画像ごとに第１の小グループの集まりに分け，上記第１画像群に含まれる画像を類似する画像ごとの第２の小グループの集まりに分け，第１の小グループの集まりと第２の小グループの集まりとの一致度が第１のしきい値以上の参照画像群を，第１画像群に類似する第２画像群として検索する，
請求項１から13のうち，いずれか一項に記載の画像処理装置。

【請求項15】

上記画像群検索手段は，
第１の小グループの集まりに含まれる小グループのうち，小グループ同士の類似度が第２のしきい値以上である場合に小グループ同士をまとめ，第２の小グループの集まりに含まれる小グループのうち，小グループ同士の類似度が第２のしきい値以上である場合に小グループ同士をまとめる，
請求項14に記載の画像処理装置。

【請求項16】

第１画像群の入力を受け付ける第１画像群受付手段，
それぞれに抽出された一部の画像の情報を有する，複数の参照画像群の中から，上記第１画像群に類似する第２画像群を検索する画像群検索手段，および
上記画像群検索手段によって検索された上記第２画像群から抽出された上記一部の画像に類似する画像を，上記第１画像群の中から抽出する画像抽出手段，
を備えた画像処理装置。

【請求項17】

画像処理装置と画像群検索サーバとを含む画像処理システムにおいて，
上記画像処理装置が，
第１画像群の入力を受け付ける第１画像群受付手段を備え，
上記画像群検索サーバが，
それぞれに抽出された一部の画像の情報を有する，複数の参照画像群の中から，上記第１画像群に類似する第２画像群を検索する画像群検索手段を備え，
上記画像処理装置および上記画像群検索サーバの少なくとも一方が，
上記画像群検索手段によって検索された上記第２画像群から抽出された上記一部の画像に類似する画像を，上記第１画像群の中から抽出する画像抽出手段を備えた，
画像処理システム。

【請求項18】

第１画像群の入力を受け付ける第１画像群受付手段，および
それぞれに抽出された一部の画像の情報を有する，複数の参照画像群のうち，上記第１画像群に類似する第２画像群から抽出された上記一部の画像に類似する画像を，上記第１画像群の中から抽出する画像抽出手段，
を備えた画像処理装置。

【請求項19】

第１画像群の入力を受け付ける第１画像群入力手段，および
参考画像群の中から抽出された複数の上記参考画像に対する類似度がしきい値以上の複数の画像を，上記第１画像群の中から抽出する抽出手段を備え，
上記参考画像群の中から抽出された複数の上記参考画像のそれぞれの上記参考画像はテンプレートの画像貼付領域に貼り付けられており，
上記抽出手段において抽出された複数の画像のうち，上記テンプレートの画像貼付領域に貼り付けられている上記参考画像に対する類似度がしきい値以上の画像を，上記テンプレートの画像貼付領域に貼り付ける画像貼付手段，
をさらに備えた画像処理装置。

【請求項20】

上記画像貼付手段は，
上記抽出手段において抽出された複数の画像のうち，上記テンプレート画像貼付領域に貼り付けられている上記参考画像に対する類似度がしきい値以上の画像を，上記参考画像が貼り付けられている画像貼付領域に対応する画像貼付領域に貼り付ける，
請求項19に記載の画像処理装置。

【請求項21】

上記画像貼付手段は，
上記テンプレートの画像貼付領域に貼り付けられている上記参考画像に対する類似度がしきい値以上の画像であって，上記参考画像に対応する画像が撮影される予想のタイミングにおいて撮影された画像を，上記参考画像が貼り付けられている画像貼付領域に対応する画像貼付領域に貼り付ける，
請求項19に記載の画像処理装置。

【請求項22】

複数のテンプレートの中から一つのテンプレートを指定するテンプレート指定手段をさらに備え，
上記参考画像群の中から抽出された複数の上記参考画像のそれぞれの上記参考画像は，上記テンプレート指定手段によって指定されたテンプレートの画像貼付領域に貼り付けられている，
請求項19に記載の画像処理装置。

【請求項23】

上記複数の上記参考画像は，順序が決まっており，
上記第１画像群に含まれる画像のうち，上記複数の上記参考画像のそれぞれの上記参考画像の順序に応じた順序において撮影された画像または上記参考画像に対応する画像が撮影される予想のタイミングにおいて撮影された画像について，上記参考画像に対する類似度を高くする第１の類似度調整手段，
をさらに備えた請求項19から22のうち，いずれか一項に記載の画像処理装置。

【請求項24】

上記第１画像群に含まれる画像のうち，上記参考画像に含まれる顔についての情報と類似した情報をもつ画像について上記参考画像との類似度を高くする第２の類似度調整手段，
をさらに備えた請求項19から23のうち，いずれか一項に記載の画像処理装置。

【請求項25】

第１の画像群に含まれる画像のうち，画像に現れる登場回数がしきい値以上の人物が含まれる画像について上記参考画像との類似度を高くする第３の類似度調整手段，
をさらに備えた請求項19から24のうち，いずれか一項に記載の画像処理装置。

【請求項26】

第１画像群に含まれる画像に現れる人物のうち，所望の人物を指定する人物指定手段，および
上記人物指定手段によって指定された人物を含む画像について上記参考画像との類似度を高くする第４の類似度調整手段，
をさらに備えた請求項19から25のうち，いずれか一項に記載の画像処理装置。

【請求項27】

第１画像群に含まれる画像の中から顔画像を検出する顔画像検出手段，および
上記顔画像検出手段によって検出された顔画像を表示画面に表示するように表示装置を制御する顔画像表示制御手段をさらに備え，
上記人物指定手段は，上記表示画面に表示された顔画像を指定することにより所望の人物を指定する，
請求項26に記載の画像処理装置。

【請求項28】

上記抽出手段によって抽出された画像を用いて画像商材を作成する画像商材作成手段，
をさらに備えた請求項19から27のうち，いずれか一項に記載の画像処理装置。

【請求項29】

参照画像群受付手段が，複数の参照画像群の入力を受け付け，
第１画像抽出手段が，上記複数の参照画像群の中から，それぞれ一部の画像を抽出し，
第１画像群受付手段が，第１画像群の入力を受け付け，
画像群検索手段が，上記複数の参照画像群の中から，上記第１画像群に類似する第２画像群を検索し，
第２画像抽出手段が，上記第１画像群の中から，上記第２画像群から抽出された上記一部の画像に類似する画像を，抽出する，
画像処理方法。

【請求項30】

第１画像群受付手段が，第１画像群の入力を受け付け，
画像群検索手段が，それぞれに抽出された一部の画像の情報を有する，複数の参照画像群の中から，上記第１画像群に類似する第２画像群を検索し，
画像抽出手段が，上記画像群検索手段によって検索された上記第２画像群から抽出された上記一部の画像に類似する画像を，上記第１画像群の中から抽出する，
画像処理方法。

【請求項31】

第１画像群受付手段が，第１画像群の入力を受け付け，
画像抽出手段が，それぞれに抽出された一部の画像の情報を有する，複数の参照画像群のうち，上記第１画像群に類似する第２画像群から抽出された上記一部の画像に類似する画像を，上記第１画像群の中から抽出する，
画像処理方法。

【請求項32】

第１画像群入力手段が，第１画像群の入力を受け付け，
抽出手段が，参考画像群の中から抽出された複数の上記参考画像に対する類似度がしきい値以上の複数の画像を，上記第１画像群の中から抽出し，
上記参考画像群の中から抽出された複数の上記参考画像のそれぞれの上記参考画像はテンプレートの画像貼付領域に貼り付けられており，
画像貼付手段が，上記抽出手段において抽出された複数の画像のうち，上記テンプレートの画像貼付領域に貼り付けられている上記参考画像に対する類似度がしきい値以上の画像を，上記テンプレートの画像貼付領域に貼り付ける，
画像処理方法。

【請求項33】

画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
複数の参照画像群の入力を受け付けさせ，
上記複数の参照画像群の中から，それぞれ一部の画像を抽出させ，
第１画像群の入力を受け付けさせ，
上記複数の参照画像群の中から，上記第１画像群に類似する第２画像群を検索させ，
上記第２画像群から抽出された上記一部の画像に類似する画像を，上記第１画像群の中から抽出させるように画像処理装置のコンピュータを制御するプログラム。

【請求項34】

画像処理装置のコンピュータを制御するコンピュータが読み取り可能なコンピュータであって，
第１画像群の入力を受け付けさせ，
それぞれに抽出された一部の画像の情報を有する，複数の参照画像群の中から，上記第１画像群に類似する第２画像群を検索させ，
検索された上記第２画像群から抽出された上記一部の画像に類似する画像を，上記第１画像群の中から抽出させるように画像処理装置のコンピュータを制御するプログラム。

【請求項35】

画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
第１画像群の入力を受け付けさせ，
それぞれに抽出された一部の画像の情報を有する，複数参照画像群のうち，上記第１画像群に類似する第２画像群から抽出された上記一部の画像に類似する画像を，上記第１画像群の中から抽出させるように画像処理装置のコンピュータを制御するプログラム。

【請求項36】

画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
第１画像群の入力を受け付けさせ，
参考画像群の中から抽出された複数の上記参考画像に対する類似度がしきい値以上の複数の画像を，上記第１画像群の中から抽出させ，
上記参考画像群の中から抽出された複数の上記参考画像のそれぞれの上記参考画像はテンプレートの画像貼付領域に貼り付けられており，抽出された複数の画像のうち，上記テンプレートの画像貼付領域に貼り付けられている上記参考画像に対する類似度がしきい値以上の画像を，上記テンプレートの画像貼付領域に貼り付けるように画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。

【請求項37】

請求項33から36のうち，いずれか一項に記載のプログラムを格納した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は，画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体に関する。

【背景技術】

【0002】

多数の画像からアルバムを生成しようとする場合，アルバムに使用する画像を選択しなければならない。しかしながら，どのような画像を選べばよいか一般のユーザにはわかりにくい。従来より，顧客の要望にあわせた再プリントを作成できる生成できるようにするもの(特許文献１)，多数の画像の中から診断対象に類似した画像を検索するもの(特許文献２)，過去に使用したテーマを利用してユーザの嗜好に適したレイアウトテンプレートを作成するもの(特許文献３)，画像特徴量を用いて画像を検索するもの（特許文献４），断層画像を抽出するもの（特許文献５）などが考えられている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2003-288350号公報

【文献】特開2005-65728号公報

【文献】特開2014-85814号公報

【文献】再表2016-162963号公報

【文献】特開2017-127474号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら，特許文献１に記載のものは，ある一つの画像について再プリントに適した画像を見つけるものであり，特許文献２に記載のものも，多数の画像の中から一つの画像を見つけるものであるから，いずれも複数の画像を含む画像群から一部の画像を抽出するものには適さない。特許文献３に記載のものもレイアウトテンプレートを作成するものであり，引用文献５に記載のものは画像特徴量を用いて画像を検索するものであり，引用文献６に記載のものは断層画像群の中から断層画像を抽出するものであるから，複数の画像を含む画像群から一部の画像を抽出するものには適さない。

【0005】

この発明は，以前に参照画像群から抽出された画像に類似した画像を，入力した第１画像群の中から抽出できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

第１の発明による画像処理装置は，複数の参照画像群（参照画像群そのものでなくとも参照画像群に含まれる複数の画像を表わす特徴量でもよい。）の入力を受け付ける参照画像群受付手段，複数の参照画像群の中から，それぞれ一部の画像を抽出する第１画像抽出手段，第１画像群（第１画像群そのものでなくとも第１画像群に含まれる複数の画像を表わす特徴量でもよい。）の入力を受け付ける第１画像群受付手段，複数の参照画像群の中から，第１画像群に類似する第２画像群（第２画像群そのものでなくとも第２画像群に含まれる複数の画像を表わす特徴量でもよい。）を検索する画像群検索手段，および第１画像群の中から，第２画像群から抽出された一部の画像に類似する画像を，抽出する第２画像抽出手段を備えていることを特徴とする。

【0007】

第１の発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この方法は，参照画像群受付手段が，複数の参照画像群の入力を受け付け，第１画像抽出手段が，複数の参照画像群の中から，それぞれ一部の画像を抽出し，第１画像群受付手段が，第１画像群の入力を受け付け，画像群検索手段が，複数の参照画像群の中から，第１画像群に類似する第２画像群を検索し，第２画像抽出手段が，第１画像群の中から，第２画像群から抽出された一部の画像に類似する画像を，抽出する。

【0008】

第１の発明による画像処理装置は，プロセッサを備え，そのプロセッサが複数の参照画像群の入力を受け付け，複数の参照画像群の中から，それぞれ一部の画像を抽出し，第１画像群の入力を受け付け，複数の参照画像群の中から，第１画像群に類似する第２画像群を検索し，抽出された一部の画像に類似する画像を，第１画像群の中から抽出するようにしてもよい。

【0009】

第１の発明は，画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。

【0010】

第１画像抽出手段における抽出は，たとえば，抽出した一部の画像をアルバムに配置することに利用する処理である。この場合，第２画像抽出手段において抽出された画像をアルバムに配置する画像配置手段をさらに備えるとよい。

【0011】

画像配置手段は，たとえば，第２画像群から抽出された一部の画像が配置されたアルバムの情報にもとづいて第２画像抽出手段において抽出された画像をアルバムに配置する。

【0012】

アルバムの情報は，たとえば，アルバムのレイアウト情報およびアルバムのテンプレート情報のうち，少なくとも一方である。

【0013】

画像配置手段は，たとえば，アルバムのレイアウト情報にもとづく画像の配置よりもアルバムのページ順序と画像の撮影日時の時系列との一致を優先して，第２画像抽出手段において抽出された画像をアルバムに配置する。

【0014】

アルバムの各ページに配置された画像のそれぞれの撮影日時の中間の撮影日時を求め，中間の撮影日時が時系列順となるようにアルバムのページを並び替える並び替え手段をさらに備えてもよい。

【0015】

アルバムの一のページに配置された画像の撮影日時が後のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも早くなるように一のページに配置された画像を他の画像と取り替える第１の画像取替手段をさらに備えてもよい。

【0016】

アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも遅くなるように一のページに配置された画像を他の画像と取り替える第２の画像取替手段をさらに備えてもよい。

【0017】

アルバムの一のページに配置された画像の撮影日時が後のページに配置された画像の最初の撮影日時よりも早くなるように一のページに配置された画像を他の画像と取り替える第３の画像取替手段をさらに備えてもよい。

【0018】

アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像の最後の撮影日時よりも遅くなるように一のページに配置された画像を他の画像と取り替える第４の画像取替手段をさらに備えてもよい。

【0019】

画像配置手段は，たとえば，アルバムのレイアウト情報にもとづく画像の配置よりもアルバムの１ページ内における画像の配置については画像の撮影日時の時系列の一致を優先して，第２画像抽出手段において抽出された画像をアルバムに配置する。

【0020】

画像配置手段は，たとえば，アルバムのページ順序と画像の撮影日時の時系列との一致よりもアルバムのレイアウト情報にもとづく画像の配置を優先して，第２画像抽出手段において抽出された画像をアルバムに配置する。

【0021】

画像配置手段は，たとえば，アルバムの１ページ内における画像の配置については画像の撮影日時の時系列の一致よりもアルバムのレイアウト情報にもとづく画像の配置を優先して，第２画像抽出手段において抽出された画像をアルバムに配置する。

【0022】

画像群検索手段は，たとえば，複数の参照画像群のそれぞれの参照画像群において，参照画像群に含まれる画像を類似する画像ごとに第１の小グループの集まりに分け，第１画像群に含まれる画像を類似する画像ごとの第２の小グループの集まりに分け，第１の小グループの集まりと第２の小グループの集まりとの一致度が第１のしきい値以上の参照画像群を，第１画像群に類似する第２画像群として検索する。

【0023】

画像群検索手段は，たとえば，第１の小グループの集まりに含まれる小グループのうち，小グループ同士の類似度が第２のしきい値以上である場合に小グループ同士をまとめ，第２の小グループの集まりに含まれる小グループのうち，小グループ同士の類似度が第２のしきい値以上である場合に小グループ同士をまとめる。

【0024】

第２の発明による画像処理装置は，第１画像群の入力を受け付ける第１画像群受付手段，それぞれに抽出された一部の画像の情報を有する，複数の参照画像群の中から，第１画像群に類似する第２画像群を検索する画像群検索手段，および画像群検索手段によって検索された第２画像群から抽出された一部の画像に類似する画像を，第１画像群の中から抽出する画像抽出手段を備えていることを特徴とする。

【0025】

第２の発明も，画像処理装置に適した画像処理方法を提供している。すなわち，この方法は，第１画像群受付手段が，第１画像群の入力を受け付け，画像群検索手段が，それぞれに抽出された一部の画像の情報を有する，複数の参照画像群の中から，第１画像群に類似する第２画像群を検索し，画像抽出手段が，画像群検索手段によって検索された第２画像群から抽出された一部の画像に類似する画像を，第１画像群の中から抽出する。

【0026】

第２の発明においても，画像処理装置がプロセッサを備え，そのプロセッサが，第１画像群の入力を受け付け，それぞれに抽出された一部の画像の情報を有する，複数の参照画像群の中から，第１画像群に類似する第２画像群を検索し，検索された第２画像群から抽出された一部の画像に類似する画像を，第１画像群の中から抽出するようにしてもよい。

【0027】

第２の発明においても，画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体を提供している。

【0028】

第３の発明は，画像処理装置と画像群検索サーバとを含む画像処理システムにおいて，画像処理装置が，第１画像群の入力を受け付ける第１画像群受付手段を備え，画像群検索サーバが，それぞれに抽出された一部の画像の情報を有する，複数の参照画像群の中から，第１画像群に類似する第２画像群を検索する画像群検索手段を備え，画像処理装置および画像群検索サーバの少なくとも一方が，画像群検索手段によって検索された第２画像群から抽出された一部の画像に類似する画像を，第１画像群の中から抽出する画像抽出手段を備えている。

【0029】

第４の発明による画像処理装置は，第１画像群の入力を受け付ける第１画像群受付手段，およびそれぞれに抽出された一部の画像の情報を有する，複数参照画像群のうち，第１画像群に類似する第２画像群から抽出された一部の画像に類似する画像を，第１画像群の中から抽出する画像抽出手段を備えている。

【0030】

第４の発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この方法は，第１画像群受付手段が，第１画像群の入力を受け付け，画像抽出手段が，それぞれに抽出された一部の画像の情報を有する，複数参照画像群のうち，第１画像群に類似する第２画像群から抽出された一部の画像に類似する画像を，第１画像群の中から抽出する。

【0031】

第４の発明においても，画像処理装置がプロセッサを備え，そのプロセッサが，第１画像群の入力を受け付け，画像抽出手段が，それぞれに抽出された一部の画像の情報を有する，複数参照画像群のうち，第１画像群に類似する第２画像群から抽出された一部の画像に類似する画像を，第１画像群の中から抽出するようにしてもよい。

【0032】

第４の発明においても，画像処理装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体を提供している。

【0033】

第５の発明による画像処理装置は，第１画像群の入力を受け付ける第１画像群入力手段，および参考画像群の中から抽出された複数の参考画像に対する類似度がしきい値以上の複数の画像を，第１画像群の中から抽出する抽出手段を備えていることを特徴とする。

【0034】

第５の発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この方法は，第１画像群入力手段が，第１画像群の入力を受け付け，抽出手段が，参考画像群の中から抽出された複数の参考画像に対する類似度がしきい値以上の複数の画像を，第１画像群の中から抽出する。

【0035】

画像処理装置がプロセッサを備え，そのプロセッサが，第１画像群の入力を受け付け，参考画像群の中から抽出された複数の参考画像に対する類似度がしきい値以上の複数の画像を，第１画像群の中から抽出してもよい。

【0036】

第５の発明も，画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。

【0037】

参考画像群は，複数存在し，複数の参考画像群の中から第１画像群に対する類似度がしきい値以上の参考画像群を検出する参考画像群検出手段をさらに備え，記抽出手段が，参考画像群検出手段によって検出された参考画像群の中から抽出された複数の参考画像に対して類似度がしきい値以上の複数の画像を，第１画像群の中から抽出してもよい。

【0038】

参考画像群の中から抽出された複数の参考画像のそれぞれの参考画像はテンプレートの画像貼付領域に貼り付けられており，抽出手段において抽出された複数の画像のうち，テンプレートの画像貼付領域に貼り付けられている参考画像に対する類似度がしきい値以上の画像を，テンプレートの画像貼付領域に貼り付ける画像貼付手段をさらに備えてもよい。

【0039】

画像貼付手段は，たとえば，抽出手段において抽出された複数の画像のうち，テンプレート画像貼付領域に貼り付けられている参考画像に対する類似度がしきい値以上の画像を，参考画像が貼り付けられている画像貼付領域に対応する画像貼付領域に貼り付ける。

【0040】

画像貼付手段は，テンプレートの画像貼付領域に貼り付けられている参考画像に対する類似度がしきい値以上の画像であって，参考画像に対応する画像が撮影される予想のタイミングにおいて撮影された画像を，参考画像が貼り付けられている画像貼付領域に対応する画像貼付領域に貼り付けてもよい。

【0041】

複数のテンプレートの中から一つのテンプレートを指定するテンプレート指定手段をさらに備えてもよい。この場合，参考画像群の中から抽出された複数の参考画像のそれぞれの参考画像は，テンプレート指定手段によって指定されたテンプレートの画像貼付領域に貼り付けられていてもよい。

【0042】

複数の参考画像は，順序が決まっており，第１画像群に含まれる画像のうち，複数の参考画像のそれぞれの参考画像の順序に応じた順序において撮影された画像または参考画像に対応する画像が撮影される予想のタイミングにおいて撮影された画像について，参考画像に対する類似度を高くする第１の類似度調整手段をさらに備えてもよい。

【0043】

第１画像群に含まれる画像のうち，参考画像に含まれる顔についての情報と類似した情報をもつ画像について参考画像との類似度を高くする第２の類似度調整手段をさらに備えてもよい。

【0044】

第１の画像群に含まれる画像のうち，画像に現れる登場回数がしきい値以上の人物が含まれる画像について参考画像との類似度を高くする第３の類似度調整手段をさらに備えてもよい。

【0045】

抽出手段によって抽出された画像を用いて画像商材を作成する画像商材作成手段をさらに備えてもよい。

【0046】

第１画像群に含まれる画像に現れる人物のうち，所望の人物を指定する人物指定手段，および人物指定手段によって指定された人物を含む画像について参考画像との類似度を高くする第４の類似度調整手段をさらに備えてもよい。

【0047】

第１画像群に含まれる画像の中から顔画像を検出する顔画像検出手段，および顔画像検出手段によって検出された顔画像を表示画面に表示するように表示装置を制御する顔画像表示制御手段をさらに備えてもよい。その場合には，人物指定手段は，たとえば，表示画面に表示された顔画像を指定することにより所望の人物を指定するとよい。

【発明の効果】

【0048】

第１の発明によると，複数の参照画像群の中から第１画像群に類似した第２画像群が検索され，第２画像群から抽出された画像に類似する画像が，第１画像群から抽出されるから，以前に第２画像群から抽出された画像に類似した画像を第１画像群から得られる。また，第２の発明，第３の発明および第４の発明においても，以前に第２画像群から抽出された画像に類似した画像を第１画像群から得られる。第２の発明によると，参考画像群の中から抽出された参考画像と同じような画像を第１の画像群の中から得ることができる。

【図面の簡単な説明】

【0049】

【図1】画像処理システムの概要を示している。

【図2】クライアント・コンピュータの電気的構成を示すブロック図である。

【図3】受注サーバの電気的構成を示すブロック図である。

【図4】受注データベースに格納されているレイアウト情報テーブルとテンプレート情報テーブルを示している。

【図5】画像処理システムの処理手順を示すフローチャートである。

【図6】画像処理システムの処理手順を示すフローチャートである。

【図7】特徴量空間において分類された画像グループの一例である。

【図8】画像グループがまとめられる様子を示している。

【図9】特徴量空間において分類された画像グループの一例である。

【図10】特徴量空間において分類された画像グループの一例である。

【図11】第２画像群に含まれる画像から生成されたアルバムの一部を示している。

【図12】第１画像群から抽出された画像が配置される様子を示している。

【図13】第１画像群から抽出された画像から生成されたアルバムの一部を示している。

【図14】画像配置処理手順を示すフローチャートである。

【図15】画像の配置が変更される様子を示している。

【図16】画像の配置が変更される様子を示している。

【図17】画像の配置が変更される様子を示している。

【図18】画像編集システムの処理手順を示すフローチャートである。

【図19】画像編集システムの処理手順を示すフローチャートである。

【図20】画像処理システムの処理手順を示すフローチャートである。

【図21】画像処理システムの処理手順を示すフローチャートである。

【図22】受注データベースに格納されている複数の参考画像群の様子を表している。

【図23】参考画像群から抽出された参考画像を用いて作成されたアルバムの内容を示している。

【図24】参考アルバムの第１ページを示している。

【図25】第１画像群に含まれる画像の一例である。

【図26】参考画像と参考画像に類似する画像を示している。

【図27】第１画像群から抽出された画像が参考アルバムに貼り付けられる様子を示している。

【図28】アルバムの第１ページを示している。

【図29】画像処理システムの処理手順を示すフローチャートの一部である。

【図30】主人公指定ウインドウの一例である。

【図31】結婚式の流れなどを示している。

【図32】類似度算出処理手順を示している。

【発明を実施するための形態】

【0050】

［第１実施例］
図１は，この発明の第１実施例を示すもので，画像処理システムの概要を示している。

【0051】

画像処理システムは，複数の画像の中から画像を抽出し，抽出された画像をページにレイアウトしてアルバムを生成するシステムである。

【0052】

インターネットにｎ台（ｎは自然数）のクライアント・コンピュータ１-ｎおよび受注サーバ５（画像群検索サーバ）が接続されている。受注サーバ５には受注データベース６が接続されている。クライアント・コンピュータ１-ｎのそれぞれと受注サーバ５とは互いに通信可能である。クライアント・コンピュータ１-ｎのそれぞれと受注サーバ５とが画像処理システムを構成している。

【0053】

クライアント・コンピュータ１-ｎのいずれかと受注サーバ５とが通信して，アルバムが生成される。

【0054】

図２は，クライアント・コンピュータ１の電気的構成を示すブロック図である。クライアント・コンピュータ２-ｎのそれぞれもクライアント・コンピュータ１と同じ構成である。

【0055】

クライアント・コンピュータ１の全体の動作は，ＣＰＵ(Central Processing Unit)10によって統括される。

【0056】

クライアント・コンピュータ１には，画像その他の情報を表示画面に表示する表示装置11およびインターネットその他のネットワークに接続してクライアント・コンピュータ１以外の装置等と通信する通信装置12が含まれている。また，クライアント・コンピュータ１には，ハード・ディスク13，ハード・ディスク13にアクセスするハード・ディスク・ドライブ14，データ等を記憶するメモリ15，コマンド等を入力するキーボード16およびマウス17も含まれている。さらに，クライアント・コンピュータ１には，コンパクト・ディスク19にアクセスするコンパクト・ディスク・ドライブ18ならびにメモリ・カード21へのデータの書き込みおよびメモリ・カード21に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ20も含まれている。

【0057】

後述するクライアント・コンピュータ１の動作プログラムは，インターネットを介して通信装置12において受信される。受信された動作プログラムがクライアント・コンピュータ１にインストールされる。動作プログラムはインターネットなどのようなネットワークを介してクライアント・コンピュータ１に受信されてクライアント・コンピュータ１にインストールされずに，コンパクト・ディスク19などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムがクライアント・コンピュータ１にインストールされる。動作プログラムは，クライアント・コンピュータ１のコンピュータ(ＣＰＵ10)が読み取り可能であることは言うまでもない。

【0058】

図３は，受注データベース６が接続されている受注サーバ５の電気的構成を示すブロック図である。

【0059】

受注サーバ５の全体の動作は，ＣＰＵ(Central Processing Unit)30によって統括される。

【0060】

受注サーバ５には，インターネットその他のネットワークに接続して受注サーバ５以外の装置等と通信する通信装置31が含まれている。また，受注サーバ５には，ハード・ディスク32，ハード・ディスク32にアクセスするハード・ディスク・ドライブ33，データ等を記憶するメモリ34も含まれている。さらに，受注サーバ５には，コンパクト・ディスク36にアクセスするコンパクト・ディスク・ドライブ35ならびにメモリ・カード38へのデータの書き込みおよびメモリ・カード38に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ37も含まれている。

【0061】

後述する受注サーバ５の動作プログラムは，インターネットを介して通信装置31において受信される。受信された動作プログラムが受注サーバ５にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して受注サーバ５に受信されて受注サーバ５にインストールされずに，コンパクト・ディスク36などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムが受注サーバ５にインストールされる。動作プログラムは，受注サーバ５のコンピュータ(ＣＰＵ30)が読み取り可能であることは言うまでもない。

【0062】

図４は，受注データベース６に格納されている内容を示している。

【0063】

受注データベース６には，ｍ個（ｍは自然数）のレイアウト情報テーブルおよびｍ個のテンプレート情報テーブルが格納されている。レイアウト情報テーブルには，過去に生成されたアルバムについてのレイアウト情報が格納されている。テンプレート情報テーブルには，過去に生成されたアルバムに利用されたテンプレート情報が格納されている。

【0064】

表１はｍ個のレイアウト情報テーブルのうちの一のレイアウト情報テーブルの一例である。

【表1】

【0065】

レイアウト情報テーブルには，複数の画像(参照画像群という)のそれぞれの特徴量が画像ＩＤに対応して格納されている。特徴量は，画像の解像度，データ量，ピンボケの程度，主要被写体の種類，主要被写体の画像に対する相対的な大きさ，主要被写体の位置，色味などであってよい。また，特徴量は，上記の複数を組み合わせて生成されるものであってもよい。さらには，特徴量は，教師あり学習または教師なし学習により予め学習された学習済みモデルが，画像の入力を受けて出力する，複数のパラメタから構成されるものであってもよい。ここで，学習済みモデルから出力される特徴量は人間には意味解釈できない場合もあるが，少なくとも，１の画像を入力したときに一意に出力されるような数値群であれば，本発明の特徴量として用いることができる。特徴量は，アルバムに使用する画像(複数の画像から抽出する画像)として適するか，アルバムの配置位置などを決定するために必要な情報である。また，レイアウト情報テーブルには，あるユーザが複数の画像のうちアルバムに使用された画像か使用されていないかの選択情報，使用された画像のアルバムのページ，位置および画像のサイズのそれぞれの情報も格納されている。選択情報では，「Ｙ」が付与されているとアルバムに使用された画像であることを示し，「Ｎ」が付与されているとアルバムに使用されていない画像であることを示す。位置は，アルバムの各ページの左上を原点(０，０)とした場合の座標によって示されている。サイズは画像の(横の長さ)mm×(縦の長さ)mmによって表されている。

【0066】

たとえば，画像ＩＤ１の画像は，選択情報が「Ｙ」であるから，クライアント・コンピュータ１-ｎのそれぞれのユーザによってアルバムに使用する画像として選択され，ＣＰＵ10（第１画像抽出手段）などにより抽出され，ページ情報が「１」であるからアルバムの１ページに使用されており，位置情報が(０，０)であるから，画像の左上の位置とページの左上の位置とが一致するように位置決めされ，サイズが60×40であるから横の長さが60mm，縦の長さが40mmであることを示している。同様に，画像ＩＤ２の画像は選択情報が「Ｎ」であるから，アルバムに使用されていないことが分かる。上記の通り，本発明の第１画像抽出手段は，潜在的には，任意の参照画像群に対し一部の画像を抽出することができるものである。ただし，第１画像群の中から画像抽出を行うに当たっては，必ずしも記録されている全ての参照画像群に対し一部の画像の抽出を実際に行う必要はなく，本発明の第１画像抽出手段は，第２画像群に対し一部の画像の抽出を行えば足る。

【0067】

表２はｍ個のテンプレート情報テーブルのうちの一のテンプレート情報テーブルの一例である。

【表2】

【0068】

表２のテンプレート情報テーブルは，表１のレイアウト情報テーブルに対応している。レイアウト情報テーブルのそれぞれにはレイアウト情報テーブルを識別するレイアウト情報テーブルＩＤが付与されており，かつテンプレート情報テーブルのそれぞれにもテンプレート情報テーブルを識別するテンプレート情報テーブルＩＤが付与されており，レイアウト情報テーブルに対応するテンプレート情報テーブルが，これらのレイアウト情報テーブルＩＤおよびテンプレート情報テーブルＩＤを用いて管理されている。

【0069】

レイアウト情報テーブルとテンプレート情報テーブルとが参照画像群についてのアルバムの情報であり，受注データベース６には複数のレイアウト情報テーブルとテンプレート情報テーブルとが格納されているから，複数の参照画像群についてのアルバムの情報が受注データベース６に格納されていることとなる。受注データベース６には，複数の参照画像群のアルバムの情報だけでなく，複数の参照画像群のアルバムの情報のほかに複数の参照画像群そのもの(画像データそのもの)が格納されていてもよい。複数の参照画像群そのものが格納されている場合には，解析すれば画像の特徴量が分かるのでレイアウト情報テーブルおよびテンプレート情報テーブルが受注データベース６に格納されなくともよい。

【0070】

後述のようにアルバムの注文が行われる都度，受注サーバ５においてクライアント・コンピュータからレイアウト情報およびテンプレート情報が送信され，それらレイアウト情報およびテンプレート情報(参照画像群についてのアルバムの情報)が受注サーバ５の通信装置31(参照画像群入力手段)において受信されることにより，受注サーバ５においてレイアウト情報テーブルおよびテンプレート情報テーブルが生成される。生成されたレイアウト情報テーブルおよびテンプレート情報テーブルが受注サーバ５によって受注データベース６に格納される。

【0071】

図５および図６は，画像処理システムの処理手順を示すフローチャートであり，受注サーバ５とクライアント・コンピュータ１-ｎのうちのいずれかのクライアント・コンピュータとの処理手順を示している。この実施例では，クライアント・コンピュータ１と受注サーバ５(第１実施例においては受注サーバ５が画像処理装置の一例である)との間で通信するものとする。

【0072】

クライアント・コンピュータ１，メモリ15には，アルバムに使用しようとする複数の画像(第１画像群)を表す画像データが記憶されている。たとえば，メモリ・カード21に第１画像群を表すデータが格納されている場合にはメモリ・カード・リーダ・ライタ20によってメモリ・カード21から第１画像群を表すデータがクライアント・コンピュータ１に入力する。クライアント・コンピュータ１がスマートフォンなどのような場合には，スマートフォンのカメラによって撮影が行われる都度，蓄積されることにより得られる複数の画像を表す画像データが第１画像群を表すデータとなる。

【0073】

第１画像群を表す画像データがクライアント・コンピュータ１から受注サーバ５に送信される（図５ステップ41）。第１画像群を表す画像データそのものでなく，第１画像群に含まれる画像の特徴量を表すデータがクライアント・コンピュータ１から受注サーバ５に送信されてもよい。特徴量を表すデータはクライアント・コンピュータ１において検出してもよいし，クライアント・コンピュータ１以外の他の装置において検出してもよい。

【0074】

クライアント・コンピュータ１から送信された第１画像群を表すデータ(または第１画像群の特徴を表すデータ)が受注サーバ５の通信装置31（第１画像群受付手段）において受信されると（図５ステップ51），受注データベース６に格納されているレイアウト情報テーブルとテンプレート情報テーブルとからなる複数の参照画像群のアルバムの情報の中から，第１画像群に類似した第２画像群のアルバムの情報が受注サーバ５のＣＰＵ30(画像群検索手段)によって検索される（図５ステップ52）。受注データベース６に複数の参照画像群自体が格納されている場合には，第２画像群の情報でなく第２画像群そのものが検索されてもよい。第２画像群そのものが検索される場合には，第２画像群に含まれる複数の画像のうちアルバムに使用された画像を識別する選択情報も読み取られる。

【0075】

「画像群が類似する」とは，２つの画像群に含まれる画像同士が類似することをいう。「第１画像群に類似する第２画像群を検索する」とは，「複数の画像群から，第１画像群に含まれる複数の画像に類似する複数の画像を含む画像群を，第２画像群として見つけることをいう。

【0076】

第１画像群に類似した第２画像群についてのアルバムの情報は，次のようにして検索される。

【0077】

図７は，第１段階の分類によって第１画像群に含まれる複数の画像が複数のグループに分類された様子を示している。

【0078】

図７においては，横軸が第１の特徴量であり，縦軸が第２の特徴量を示し，２つの特徴量によって複数の画像が複数のグループに分類されている様子を示しているが，特徴量は２つでなく，３つ以上用いてもよいのはいうまでもない。図７においては，グループＧ１からグループＧ100までの100個のグループに分類対象の複数の画像がＣＰＵ30によって分けられている。このグループ分けは，たとえば，k-means法を利用することにより実現できる。グループＧ１からグループＧ100のそれぞれのグループの中に画像が含まれていることとなる。もちろん，実際の画像が無くとも画像の特徴量から対応する画像（画像を識別するデータ）がグループ分けされればよい。

【0079】

図８は，グループＧ１からグループＧ100の複数のグループに分類された様子を示している。

【0080】

つづいて，グループ同士の類似度がしきい値以内かどうかがＣＰＵ30によって判断され，しきい値以内のグループについてグループ同士がまとめられる。グループ同士の類似度は，たとえば，グループＧ１からグループＧ100のそれぞれのグループごとに，図７に示す特徴量空間における重心を求め，それらの重心の類似度を利用すればよい。

【0081】

たとえば，グループＧ１とグループＧ２との類似度(グループＧ１の重心とグループＧ２の重心との類似度)がしきい値以内であれば，それらのグループＧ１とグループＧ２とがまとめられて新たなグループＧ101が生成される。グループＧ１，グループＧ２を小グループと捉えた場合に小グループ同士の類似度がしきい値(第２のしきい値)以上である場合に小グループ同士をまとめることに相当する。同様に，グループＧ３とグループＧ４との類似度がしきい値以内であれば，それらのグループＧ３とグループＧ４とがまとめられて新たなグループＧ102が生成される。同様にして，グループＧ97とグループＧ98とがまとめられて新たなグループＧ149が生成され，グループＧ99とグループＧ100とがまとめられて新たなグループＧ150が生成される。新たに生成されたグループについてもグループ同士の類似度がしきい値以内であれば，まとめられる。たとえば，グループＧ101とグループＧ149とがまとめられ，新たなグループＧ201が生成される。

【0082】

グループ同士の類似度がしきい値以内のものが無くなると，図９に示すように，第１画像群に含まれる画像が類似する画像ごとの小グループの集まり(第２の小グループの集まり)に分けられる。

【0083】

図９は，図７と同様に横軸が第１の特徴量，縦軸が第２の特徴量によって規定される特徴量空間を示している。

【0084】

この特徴量空間に，第１の画像群に含まれる画像がグループＧ301からグループＧ307までの７つの小グループに分けられている。また，グループＧ301からグループＧ307のそれぞれのグループにおいてＣＰＵ30によって重心Ｃ301からＣ307が算出される。

【0085】

同様にして，受注データベース６に格納されている複数の参照画像群の特徴量について，図７および図８を参照して説明した処理が行われ，参照画像群の一つ一つが，図10に示すように参照画像群に含まれる画像の特徴量が類似する画像ごとの小グループの集まり(第１の小グループの集まり)に分けられる。

【0086】

図10は，図９と同様に横軸が第１の特徴量，縦軸が第２の特徴量によって規定される特徴量空間を示している。

【0087】

この特徴量空間に，参照画像群に含まれる画像の特徴量がグループＧ401からＧ408までの８つの小グループに分けられている。グループＧ401からグループＧ408においても重心Ｃ401から重心Ｃ408が算出される。

【0088】

図10に示すような画像の特徴量の分布が，受注データベース６に格納されている複数の参照画像群のそれぞれの参照画像群について生成される。

【0089】

図９に示すように第１画像群について生成されたグループＧ301からグループＧ307の重心Ｃ301から重心Ｃ307のそれぞれと，図10に示すように参照画像群について生成されたグループＧ401からグループＧ408の重心Ｃ401から重心Ｃ408のそれぞれとの，特徴量空間における距離の和(第１の小グループと第２の小グループとの一致度)が，複数の参照画像群のそれぞれの参照画像群のすべてについて算出される。それらの距離の和がしきい値以下(第１の小グループと第２の小グループとの一致度がしきい値以上に相当する)となる参照画像群が，第１画像群に類似する第２画像群としてＣＰＵ30(画像群検索手段)によって検索される。

【0090】

複数の参照画像群の中から第２画像群が検索されると，検索された第２画像群から抽出された一部の画像がＣＰＵ30によって見つけられ，抽出された一部の画像に類似する画像が，ＣＰＵ30(第２画像抽出手段)によって第１画像群に含まれる画像の中から抽出される（図５ステップ53）。第２画像群から，どの画像が抽出されたかは，受注データベース６に格納されているレイアウト情報テーブルとテンプレート情報テーブルとの組のうち，第２の画像群に対応するレイアウト情報テーブルに格納されている選択情報を参照すれば分かる。上述のように，選択情報が「Ｙ」となっている画像が抽出された画像である。

【0091】

図11は，第２画像群から抽出された画像によって生成されたアルバムの一部のページを示している。

【0092】

アルバムの一部のページはテンプレート70が利用されている。このテンプレート70には，左上，左下および右に画像をそれぞれ貼り付ける領域71，72および73が規定されている。これらの領域71，72および73に画像Ｉ11，Ｉ12およびＩ13が貼り付けられている。ページ70についての情報(どの領域にどの画像が貼り付けられているかなどの情報)は，第２画像群に対応するレイアウト情報テーブルおよびテンプレート情報テーブルから分かる。

【0093】

第１画像群から抽出された画像がＣＰＵ30によってアルバムに配置される（図５ステップ54）。第１画像群に類似する第２の画像群に対応するテンプレート情報テーブルとレイアウト情報テーブルとに含まれるアルバム情報にもとづいて画像がアルバムに配置される。

【0094】

図12は，第１画像群から抽出された画像がアルバムに配置される様子を示している。

【0095】

第２画像群から抽出された画像Ｉ11，Ｉ12およびＩ13のそれぞれに類似した画像として第１画像群から画像Ｉ21，Ｉ22およびＩ23が抽出されたものとする。また，第２画像群から抽出された画像Ｉ11，Ｉ12およびＩ13が貼り付けられたテンプレート70と同じテンプレートが見つけられる。

【0096】

第２画像群の画像Ｉ11に類似する第１画像群の画像Ｉ21は，画像Ｉ11が配置されている領域71に配置される。第２画像群の画像Ｉ12に類似する第１画像群の画像Ｉ22は，画像Ｉ12が配置されている領域72に配置される。同様に，第２画像群の画像Ｉ13に類似する第１画像群の画像Ｉ23は，画像Ｉ13が配置されている領域73に配置される。

【0097】

図13は，第１画像群から抽出された画像によって生成されたアルバムの一部のページを示している。

【0098】

図13に示すアルバムの一部のページは，図11に示す第２画像群から抽出された画像によって生成されたアルバムの一部のページを参考にして同じようなアルバムとなるように生成されたものである。

【0099】

図11と図13とを比較すると分かるように，類似した画像同士が同じレイアウトでアルバムを構成することとなる。

【0100】

このように，第２画像群に対応するテンプレート情報テーブルに格納されているテンプレートＩＤにもとづいてアルバムのテンプレートが決定され，かつ第１画像群から抽出された画像が，第２画像群から抽出された画像が貼り付けられたページ，位置および大きさにしたがってアルバムに配置される。したがって，第１画像群に類似する第２画像群によって生成されたアルバムに類似したアルバムを第１画像群から自動で生成することができる。

【0101】

アルバムが生成されると，生成されたアルバムに配置された画像の配置箇所の修正，画像の変更などの処理が行われるが，この処理について詳しくは後述する。

【0102】

第１画像群からアルバムが生成されると，その第１画像群についてのレイアウト情報テーブルおよびテンプレート情報テーブルが生成され，生成されたレイアウト情報テーブルおよびテンプレート情報テーブルが受注サーバ５のＣＰＵ30によって受注データベース６に格納される（図５ステップ55）。

【0103】

つづいて，アルバムを表すアルバム・データが受注サーバ５からクライアント・コンピュータ１に送信される（図６ステップ56）。

【0104】

クライアント・コンピュータ１においてアルバム・データが受信されると（図６ステップ42），受注サーバ５において生成されたアルバムがクライアント・コンピュータ１の表示装置11の表示画面に表示される（図６ステップ43）。

【0105】

クライアント・コンピュータ１のユーザは，表示されたアルバムを確認してアルバムを修正する必要があると考えると自らアルバムを修正する。たとえば，アルバムに配置されている画像の取替，画像の配置位置の変更，画像の大きさの変更，テンプレートの変更などが，必要に応じて行われる。アルバムが修正された場合には（図６ステップ44でＹＥＳ），修正した内容を表す修正データがクライアント・コンピュータ１から受注サーバ５に送信される（図６ステップ45）。修正データを送信せずに修正後のアルバム・データが受注サーバ５に送信されてもよい。

【0106】

クライアント・コンピュータ１から送信された修正データが受注サーバ５において受信されると（図６ステップ57でＹＥＳ），第２画像群のレイアウト情報テーブルおよびテンプレート情報テーブルの内容が，受信した修正データにもとづいて更新される（図６ステップ58）。

【0107】

クライアント・コンピュータ１のユーザによって注文ボタンが押されると（図６ステップ46でＹＥＳ），クライアント・コンピュータ１から受注サーバ５に注文コマンドが送信される（図６ステップ47）。

【0108】

クライアント・コンピュータ１から送信された注文コマンドが受注サーバ５において受信されると（図６ステップ59でＹＥＳ），受注処理が行われる。受注データベース６に格納されているレイアウト情報テーブルおよびテンプレート情報テーブルのうち第２画像群に対応するレイアウト情報テーブルおよびテンプレート情報テーブルを用いてアルバムが生成されることとなる。受注サーバ５においてアルバム・データが記憶されている場合には，アルバム・データを用いてアルバムが生成されてもよい。

【0109】

図14は，画像配置処理手順（図５ステップ54の処理手順）を示すフローチャートである。図14に示す処理手順は，生成されるアルバムに配置される画像の撮影日時が時系列順となるようにするものである。

【0110】

図11から図13を参照して説明したように，複数の参照画像群から検索された第２画像群のアルバムに類似するように第１画像群に含まれる画像が配置(仮配置)される（ステップ81）。

【0111】

図15は，第１画像群に含まれる画像から生成されたアルバムの一部を示している。

【0112】

図15の左側に，アルバムの一部を構成する１ページ目のページ画像Ｐ１，２ページ目のページ画像Ｐ２および３ページ目のページ画像Ｐ３が表されている。ページ画像Ｐ１には，左上，左下および右にそれぞれ画像Ｉ31，画像Ｉ32および画像Ｉ33が配置されている。画像Ｉ31は2018年５月13日10時53分に撮影され，画像Ｉ32は2018年５月12日11時34分に撮影され，画像Ｉ33は2018年５月13日13時02分に撮影されている。ページ画像Ｐ２には，左，右上および右下にそれぞれ画像Ｉ34，画像Ｉ35および画像Ｉ36が配置されている。画像Ｉ34は2018年５月12日７時33分に撮影され，画像Ｉ35は2018年５月16日10時28分に撮影され，画像Ｉ36は2018年５月16日12時38分に撮影されている。ページ画像Ｐ３には，左上，左下および右にそれぞれ画像Ｉ37，画像Ｉ38のおよび画像Ｉ39が配置されている。画像Ｉ37は2018年５月13日13時04分に撮影され，画像Ｉ38は2018年５月14日12時26分に撮影され，画像Ｉ39は2018年５月16日16時57分に撮影されている。この段階では，アルバム内の画像の配置の順番と，画像の撮影日時の順番とは，必ずしも一致していない。よって，ユーザが望む場合，引き続いて以下の手順を行う。

【0113】

まず，各ページに配置されている画像の撮影日時のうち中間の撮影日時（中間の撮影日時は，各ページに配置されている画像の撮影日時の中間値，平均値，中央値などいずれでもよい。）が読み取られる。１ページ目のページ画像Ｐ１に含まれる画像Ｉ31，画像Ｉ32および画像Ｉ33において，画像Ｉ31は2018年５月13日10時53分に撮影され，画像Ｉ32は2018年５月12日11時34分に撮影され，画像Ｉ33は2018年５月13日13時02分に撮影されているから，中間の撮影日時は画像Ｉ31の2018年５月13日10時53分であり，その撮影日時がＣＰＵ30によって読み取られる(求められる)（ステップ82）。同様に，２ページ目のページ画像Ｐ２に含まれる画像Ｉ34，画像Ｉ35および画像Ｉ36において，画像Ｉ34は2018年５月12日７時33分に撮影され，画像Ｉ35は2018年５月16日10時28分に撮影され，画像Ｉ36は2018年５月16日12時38分に撮影されているから，中間の撮影日時は画像Ｉ35の2018年５月16日10時28分であり，その撮影日時がＣＰＵ30によって読み取られる。さらに，３ページ目のページ画像Ｐ３に含まれる画像Ｉ37，画像Ｉ38のおよび画像Ｉ39において，画像Ｉ37は2018年５月13日13時04分に撮影され，画像Ｉ38は2018年５月14日12時26分に撮影され，画像Ｉ39は2018年５月16日16時57分に撮影されているから，中間の撮影日時は画像Ｉ38の2018年５月14日12時26分であり，その撮影日時がＣＰＵ30によって読み取られる。

【0114】

図15の右側に示すように，読み取られた中間の撮影日時が時系列順となるようにページ画像Ｐ１，Ｐ２およびＰ３がＣＰＵ30(並び替え手段)によって並び替えられる（ステップ83）。１ページ目の並び替えは無く，２ページ目がページ画像Ｐ２からＰ３に並び替えられ，３ページ目がページ画像Ｐ３からＰ２に並び替えられる。このように，ページ単位で見ると時系列順となるため，アルバムとしてより自然な順番によって画像を配置できる。ただし，この段階では，あるページのある写真の撮影日時が，次のページの写真群の中間の撮影日時よりも遅いなどの可能性が存在する。そこで，ユーザが望む場合，を引き続いて以下の手順を行う。

【0115】

つづいて，アルバムの一のページに配置された画像の撮影日時が後のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも早くなるように一のページに配置された画像が他の画像とＣＰＵ30(第１の画像取替手段)によって取り替えられる（ステップ84）。

【0116】

図15の右側に表されているように，１ページ目とされたページ画像Ｐ１に含まれる画像Ｉ31は2018年５月13日10時53分に撮影され，画像Ｉ32は2018年５月12日11時34分に撮影され，画像Ｉ33は2018年５月13日13時02分に撮影されており，後のページである２ページ目のページ画像Ｐ３に含まれる画像のそれぞれの撮影日時の中間の撮影日時である2018年５月14日12時26分よりもいずれも早いから，１ページ目の画像Ｐ１に含まれる画像Ｉ31，Ｉ32およびＩ33の取り替えは行われない。

【0117】

２ページ目とされたページ画像Ｐ３に含まれる画像Ｉ37は2018年５月13日13時04分に撮影され，画像Ｉ38は2018年５月14日12時26分に撮影され，画像Ｉ39は2018年5月16日16時57分に撮影されており，後のページである３ページ目のページ画像Ｐ２に含まれる画像のそれぞれの撮影日時の中間の撮影日時である2018年５月16日10時28分よりも遅い撮影日時の画像Ｉ39が含まれている。そこで，画像Ｉ39が後のページのページ画像Ｐ２に含まれる画像のそれぞれの撮影日時の中間の撮影日時である2018年５月16日10時28分よりも早い撮影日時であり，かつ画像Ｉ39に類似する画像と取り替えられる。

【0118】

さらに，アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも遅くなるように，ＣＰＵ30(第２の画像取替手段)によって一のページに配置された画像が他の画像と取り替えられる（ステップ85）。

【0119】

図15の右側に表されているページ画像Ｐ１，Ｐ２およびＰ３を参照して，２ページ目とされたページ画像Ｐ３(一のページ)に含まれる画像Ｉ37は2018年５月13日13時04分に撮影され，画像Ｉ38は2018年５月14日12時26分に撮影され，画像Ｉ39は2018年５月16日16時57分に撮影されており，前のページである１ページ目のページ画像Ｐ１に含まれる画像Ｉ31，Ｉ32およびＩ33の中間の撮影日時である2018年５月13日13時02分よりも遅いので，２ページ目とされたページ画像Ｐ３の画像と取り替えられない。

【0120】

３ページ目とされたページ画像Ｐ２(一のページ)に含まれる画像Ｉ34は2018年５月12日７時33分に撮影され，画像Ｉ35は2018年５月16日10時28分に撮影され，画像Ｉ36は2018年５月16日12時38分に撮影されており，前のページである２ページ目のページ画像Ｐ３に含まれる画像Ｉ37，Ｉ38およびＩ39の中間の撮影日時である2018年５月14日12時36分よりも早い撮影日時の画像Ｉ34が含まれている。そこで，画像Ｉ34が前のページのページ画像Ｐ３に含まれる画像のそれぞれの撮影日時の中間の撮影日時である2018年５月14日12時36分よりも遅い撮影日時であり，かつ画像Ｉ34に類似する画像と取り替えられる。

【0121】

図16の左側に，１ページ目のページ画像Ｐ１，２ページ目のページ画像Ｐ３および３ページ目のページ画像Ｐ２が表されている。図16の左側に表されているページ画像Ｐ１，Ｐ３およびＰ２に含まれている画像Ｉ31からＩ39およびその配置は，図15の右側に表されているページ画像Ｐ１，Ｐ３およびＰ２に含まれている画像Ｉ31からＩ39およびその配置と同じであるが，取り替える画像Ｉ39およびＩ34がユーザにとって分かりやすくなるように，それらの画像Ｉ39およびＩ34にハッチングが付されている。ハッチングを付さずに，取り替える画像Ｉ39およびＩ34を，他の画像と比べて暗くしたり，明るくしたりして，他の画像と区別できるようにしてもよい。もっとも，必ずしも取り替える画像Ｉ39およびＩ34を，他の画像と区別できるようにしなくともよい。

【0122】

図16の右側に表されているように，ステップ84およびステップ85の実行によって，２ページ目のページ画像Ｐ３に含まれる画像Ｉ39が，撮影日時が2018年５月14日16時57分の画像Ｉ40に取り替えられ，３ページ目のページ画像Ｐ２に含まれる画像Ｉ34が，撮影日時が2018年５月14日14時33分の画像Ｉ41に取り替えられる。これにより，アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも遅くなり，かつアルバムの一のページに配置された画像の撮影日時が後のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも早くなる。ただしこの段階では，そこであるページのある画像は，次のページのページに配置された画像の最初の撮影日時よりも遅いなどの可能性が存在する。そこでユーザが望む場合，引き続いて下記のステップを実行する。

【0123】

アルバムの一のページに配置された画像の撮影日時が後のページに配置された画像の最初の撮影日時よりも早くなるように一のページに配置された画像がＣＰＵ30(第３の画像取替手段)によって他の画像と取り替えられる（ステップ86）。

【0124】

図16の右側に表されているように，１ページ目とされたページ画像Ｐ１(一のページ)に含まれる画像Ｉ31は2018年５月13日10時53分に撮影され，画像Ｉ32は2018年５月12日11時34分に撮影され，画像Ｉ33は2018年5月13日13時02分に撮影されており，後のページである２ページ目のページ画像Ｐ３に配置された画像Ｉ37，Ｉ38およびＩ39の最初の撮影日時である2018年５月13日13時04分よりも早く撮影されている。このため，ページ画像Ｐ１に含まれる画像Ｉ31，Ｉ32およびＩ33は取り替えられない。

【0125】

２ページ目とされたページ画像Ｐ３(一のページ)に含まれる画像Ｉ37は2018年５月13日13時04分に撮影され，画像Ｉ38は2018年５月14日12時26分に撮影され，画像Ｉ42は2018年5月14日13時57分に撮影されており，後のページであるページ画像Ｐ２に配置された画像Ｉ41，Ｉ35およびＩ36の最初の撮影日時である2018年５月14日14時33分よりも，画像Ｉ40の撮影日時が遅い。このため，ページ画像Ｐ３に含まれる画像Ｉ40が，後のページであるページ画像Ｐ２に配置された画像Ｉ41，Ｉ35およびＩ36の最初の撮影日時である2018年５月14日14時33分よりも遅い撮影日時に撮影され，かつ画像Ｉ40（または画像Ｉ39）に類似する画像に取り替えられる。

【0126】

図17の左側のページ画像Ｐ１，Ｐ３およびＰ２に含まれている画像Ｉ31-Ｉ33，Ｉ35-Ｉ37，Ｉ41およびＩ42は，図16の右側に表示されているページ画像Ｐ１，Ｐ３およびＰ２に含まれている画像Ｉ31-Ｉ33，Ｉ35-Ｉ37，Ｉ41およびＩ42と同じであり，その配置も同じである。但し，取り替えられる画像Ｉ40がユーザにとって分かりやすくなるように画像Ｉ40にハッチングが付されている。

【0127】

ページ画像Ｐ３の画像Ｉ40が，図17の右側に表されているように，後のページであるページ画像Ｐ２に配置された画像Ｉ41，Ｉ35およびＩ36の最初の撮影日時である2018年５月14日14時33分よりも遅い撮影日時に撮影され，かつ画像Ｉ40に類似する画像Ｉ42に取り替えられる。画像Ｉ42の撮影日時は2018年５月14日13時57分であり，ページ画像Ｐ２に配置された画像Ｉ41，Ｉ35およびＩ36の最初の撮影日時である2018年５月14日14時33分よりも遅い撮影日時に撮影されている。

【0128】

つづいて，アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像の最後の撮影日時よりも遅くなるようにＣＰＵ30(第４の画像取替手段)によって一のページに配置された画像が他の画像と取り替えられる（ステップ87）。

【0129】

図17の右側に表されているように，２ページ目とされたページ画像Ｐ３(一のページ)に含まれる画像Ｉ37は2018年５月13日13時04分に撮影され，画像Ｉ38は2018年５月14日12時26分に撮影され，画像Ｉ42は2018年5月14日13時57分に撮影されており，前のページである１ページ目のページ画像Ｐ１に配置された画像Ｉ31，Ｉ32およびＩ33の最後の撮影日時である2018年５月13日13時02分よりも遅く撮影されている。このため，ページ画像Ｐ３に含まれる画像Ｉ37，Ｉ38およびＩ42は取り替えられない。

【0130】

３ページ目とされたページ画像Ｐ２(一のページ)に含まれる画像Ｉ41は2018年５月14日14時33分に撮影され，画像Ｉ35は2018年５月16日10時28分に撮影され，画像Ｉ36は2018年5月16日12時38分に撮影されており，前のページであるページ画像Ｐ３に配置された画像Ｉ37，Ｉ38およびＩ42の最後の撮影日時である2018年５月14日13時57分よりも遅く撮影されている。このため，ページ画像Ｐ２に含まれる画像Ｉ41，Ｉ35およびＩ36も取り替えられない。

【0131】

このようにして，ステップ87までのステップの実行によって，アルバムに配置される画像の撮影日時を時系列順とすることができる。すなわち，アルバムのレイアウト情報にもとづく画像の配置よりも，アルバムのページ順序と画像の撮影日時の時系列の一致を優先して，抽出された画像を配置することができる。

【0132】

上述の処理において，ステップ84の処理とステップ85の処理とを別々に行っているが，アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも遅くなり，かつ一のページの後のページに配置された画像のそれぞれの撮影日時の中間の撮影日時よりも早くなるように，一つの処理として一のページに配置された画像を取り替えてもよい。

【0133】

また，ステップ86の処理とステップ87の処理とを別々に行わずに，アルバムの一のページに配置された画像の撮影日時が前のページに配置された画像の最後の撮影日時よりも遅くなり，かつ一のページの後のページに配置された画像の最初の撮影日時よりも早くなるように，一つの処理として一のページに配置された画像を取り替えてもよい。

【0134】

さらに，上述の実施例においてはアルバムの１ページ内においては画像の撮影日時の時系列にしたがって画像を配置していないが，アルバムの１ページ内においても画像の撮像日時の時系列の一致を優先して，第２画像群から抽出された画像を配置するようにしてもよい。その場合には，ページ内に形成されている画像を貼り付ける領域の位置と撮像日時の時系列の順序を，ページごとにあらかじめ決めておき，決められた順序にしたがって，抽出された画像を配置することとなろう。

【0135】

さらに，上述の実施例においては，アルバムのページ順序と画像の撮影日時の時系列との一致よりもアルバムのレイアウト情報にもとづく画像の配置を優先して，第２画像群から抽出された画像をアルバムに配置するようにしてもよい。その場合には，上述したように仮配置された状態で画像のアルバムへの配置を終了し，図14から図17を参照して説明した処理を行わなければよい。

【0136】

また，アルバムの１ページ内における画像の配置については画像の撮影日時の時系列の一致よりもアルバムのレイアウト情報にもとづく画像の配置を優先して，第２の画像群において抽出された画像をアルバムに配置する場合には，図14から図17を参照して説明した処理が行われればよい。

【0137】

第１実施例によると，過去のレイアウトのうちユーザの画像に適したレイアウトによってアルバムを生成できるようになる。

【0138】

［第２実施例］
図18および図19は，画像処理システムの処理手順を示すフローチャートであり，受注サーバ５とクライアント・コンピュータ１-ｎのうちのいずれかのクライアント・コンピュータとの処理手順を示している。第２実施例においても，クライアント・コンピュータ１と受注サーバ５(第２実施例においてはクライアント・コンピュータ１が画像処理装置の一例である)との間で通信するものとする。

【0139】

第１実施例においては受注サーバ５において行われていたアルバムへの画像の配置（図５ステップ14の処理）が，第２実施例においてはクライアント・コンピュータ１において行われる。

【0140】

受注サーバ５に接続されている受注データベース６には上述したように複数の参照画像群の特徴量を表すｍ個のレイアウト情報テーブルおよびｍ個のテンプレート情報テーブルが格納されており，これらの複数の参照画像群の特徴量が受注サーバ５からクライアント・コンピュータ１に送信される（図18ステップ91）。

【0141】

受注サーバ５から送信された複数の参照画像群の特徴量がクライアント・コンピュータ１の通信装置12において受信されると（図18ステップ101），受信した特徴量はメモリ15に一時的に記憶される。

【0142】

メモリ・カード21には，アルバムの生成に利用される複数の画像を含む第１画像群が格納されており，メモリ・カード・リーダ・ライタ20(第１画像群受付手段)によってメモリ・カード21に格納されている第１画像群が読み取られる。

【0143】

読み取られた第１画像群に類似する第２画像群の特徴量が複数の参照画像群の特徴量の中からＣＰＵ10(画像群検索手段)によって検索される（図18ステップ102）。図18ステップ102の処理において，図５ステップ52の処理と同様の処理がクライアント・コンピュータ１において行われる。複数の参照画像群の中から第２画像群が実質的に検索されることとなる。複数の参照画像群の特徴量にはレイアウト情報テーブルが含まれており，そのレイアウト情報テーブルには参照画像群の中からアルバムに使用された画像として選択されたかどうかを示す選択情報が含まれているから，参照画像群は，参照画像群から抽出された一部の画像の情報を有しているということができる。

【0144】

つづいて，第２画像群から抽出された一部の画像(たとえば，図11における画像Ｉ11，Ｉ12およびＩ13)と類似する画像(たとえば，図12における画像Ｉ21，Ｉ22およびＩ23)がクライアント・コンピュータ１のＣＰＵ10(画像抽出手段)によって第１画像群から抽出される（図18ステップ103）。図18ステップ103の処理において上述したように図５ステップ53の処理と同様の処理がクライアント・コンピュータ１において行われる。

【0145】

第１画像群から抽出された画像が第２画像群のレイアウトと同様のレイアウトによって，図13に示したようにアルバムに配置される（図18ステップ104）。図18ステップ104の処理において上述したように図５ステップ54の処理と同様の処理がクライアント・コンピュータ１において行われる。

【0146】

クライアント・コンピュータ１の表示装置11の表示画面には，第１画像群から抽出された画像が配置されたアルバムの内容が表示され，ユーザはその内容を確認する。確認の結果，アルバムの内容を修正する必要があれば（図19ステップ105でＹＥＳ），ユーザによって修正が行われる（図19ステップ106）。

【0147】

クライアント・コンピュータ１のユーザによって注文ボタンが押されると（図19ステップ107でＹＥＳ），注文コマンドおよびアルバム・データがクライアント・コンピュータ１から受注サーバ５に送信される（図19ステップ108）。アルバム・データは上述したようにアルバムを生成するために必要なデータである。アルバム・データにより，第１画像群から抽出された画像が各ページに配置されたアルバムを生成できる。

【0148】

クライアント・コンピュータ１から送信された注文コマンドおよびアルバム・データが受注サーバ５において受信されると（図19ステップ92でＹＥＳ），受信したアルバム・データが受注サーバ５のＣＰＵ30によって解析されレイアウト情報およびテンプレート情報が得られる。得られたレイアウト情報およびテンプレート情報から新たにレイアウト情報テーブルおよびテンプレート情報テーブルが生成され，受注データベース６に格納される（図19ステップ93）。受信したアルバム・データからアルバムが生成されて受注処理が行われる（図19ステップ94）。

【0149】

第２実施例においては，過去のレイアウトのうちユーザの画像に適したレイアウトによって，クライアント・コンピュータ１においてアルバムを生成できるようになる。

【0150】

第２実施例においては，クライアント・コンピュータ１(画像処理装置)において第１画像群を入力し(クライアント・コンピュータ１が第１画像群入力手段を備えている)，受注サーバ５(画像群検索サーバ)において第１画像群に類似する第２画像群を複数の参照画像群の中から検索し，かつ第２画像群から抽出された一部の画像に類似する画像を，ＣＰＵ10（画像抽出手段）によって第１画像群の中から抽出している。しかしながら，受注サーバ５において，第２画像群から抽出された一部の画像に類似する画像を第１画像群の中から抽出するようにしてもよい。その場合には，第２画像群の識別データを受注サーバ５に送信し，レイアウト情報テーブルおよびテンプレート情報テーブルに格納されている情報にもとづいて，第２画像群から抽出された一部の画像に類似する画像が，受注サーバ５のＣＰＵ30(画像抽出手段)によって第１画像群の中から抽出されることとなる。

【0151】

［第３実施例］
第３実施例においても，第１実施例と同様に複数のクライアント・コンピュータ１-ｎと受注サーバ５とがインターネットを介して通信する画像処理システムが利用される。第３実施例においては結婚式のアルバムを作成する実施例について説明するが，結婚式以外のイベント等のアルバムを作成するものでもよいし，アルバム以外のもの，たとえば，１枚の用紙に複数の画像を貼り付けるようなものに適用することもできる。画像群（第１画像群Ｐｇ）の中から複数の画像を抽出するようなものについてであれば，いずれにも適用できる。

【0152】

図20および図21は，画像処理システムの処理手順を示すフローチャートであり，受注サーバ５とクライアント・コンピュータ１との処理手順を示している。クライアント・コンピュータ１-ｎのうちクライアント・コンピュータ１以外のいずれかのクライアント・コンピュータを用いることもできる。この実施例では，クライアント・コンピュータ１と受注サーバ５(第３実施例においては受注サーバ５が画像処理装置の一例である)との間で通信する。図21において，図６に示す処理と同一の処理については同一符号を付して説明を省略する。

【0153】

メモリ・カード21（他の記録媒体でもよい）に複数の画像フォルダが形成されており，その複数の画像フォルダのそれぞれに複数の画像が格納されている。アルバムに使用する画像が格納されている画像フォルダがユーザによって指定される。ユーザは、結婚式を挙げた新郎新婦本人達でもよいし、アルバム作成業者のような業者でもよい。指定された画像フォルダに格納されている複数の画像が第１画像群Ｐｇとしてメモリ・カード・リーダ・ライタ20（第１画像群入力手段の一例である）から入力し（ステップ110），クライアント・コンピュータ１に読み取られる。第１画像群Ｐｇに含まれる複数の画像を表すデータは，クライアント・コンピュータ１の通信装置12によって受注サーバ５に送信（第１画像群Ｐｇの送信）される（ステップ111）。

【0154】

クライアント・コンピュータ１の通信装置12から送信された複数の画像を表すデータが受注サーバ５の通信装置31（第１画像群入力手段の一例である）において受信（第１画像群Ｐｇの受信）されると（ステップ121），第１画像群Ｐｇに類似する参考画像群が受注データベース６の中から検出される（ステップ122）。

【0155】

図22は，受注データベース６に格納されている複数の参考画像群の様子を表している。

【0156】

受注データベース６には，参考画像群Ｉｒｇ１からＩｒｇ９までの９つの参考画像群が格納されている（９つ未満の参考画像群が格納されていてもよいし，９よりも多くの参考画像群が格納されていてもよい）。参考画像群は，以前にユーザからアルバムの注文を受けたときに格納された画像の集まりでもよいし，サンプルの画像を用いてアルバムが作成されるときの画像の集まりでもよい。

【0157】

参考画像群Ｉｒｇ１には，複数の画像Ｉｒ100からＩｒ200が含まれており，これらの画像Ｉｒ100からＩｒ200のうち，画像Ｉｒ100から画像Ｉｒ130が抽出されてアルバムが作成されている。参考画像群Ｉｒｇ１から抽出された画像Ｉｒ100から画像Ｉｒ130を参考画像という。同様に，参考画像群Ｉｒｇ２には，複数の画像Ｉｒ201からＩｒ300が含まれており，これらの画像Ｉｒ201からＩｒ300のうち，画像Ｉｒ201から画像Ｉｒ230が参考画像として抽出されてアルバムが作成されている。その他の参考画像群についても同様である。この実施例では，参考画像群Ｉｒｇ１が第１画像群Ｐｇに類似する参考画像群として検出されたとする。類似する参考画像群の検出は，第１実施例について説明した方法によって実現できる。複数の参考画像群に含まれる画像（参考画像だけでなく参考画像群に含まれる画像）を図７，図９，図10などに示すような特徴量によって合わされる空間上に分布し，かつ第１画像群Ｐｇに含まれる画像を座標上に分布し，参考画像群に含まれる画像と第１画像群Ｐｇに含まれる画像との空間上における距離が短いほど画像群同士の類似度が大きくなり，その類似度がしきい値以上となる参考画像群が，第１画像群Ｐｇに類似する参考画像群となる。しきい値はあらかじめ定められているものでもよいし，第１画像群Ｐｇにもっとも類似する参考画像群が得られるまで変えてもよい。

【0158】

図23は，参考アルバムＡｂ１の各ページを示している。

【0159】

参考アルバムＡｂ１は，テンプレートＴ１に，参考画像Ｉｒ100からＩｒ130が貼り付けられている。参考アルバムＡｂ１は，第１ページから第６ページある。第１ページには，図24に示すように画像貼付領域Ａｒ１からＡｒ５が規定されており，これらの画像貼付領域Ａｒ１からＡｒ５に参考画像Ｉｒ100からＩｒ104が貼り付けられている。

【0160】

図23を参照して，第２ページに参考画像Ｉｒ105からＩｒ109が貼り付けられており，第６ページに参考画像Ｉｒ126からＩｒ130が貼り付けられている。その他のページも同様である。

【0161】

第１画像群Ｐｇに類似する参考画像群Ｉｒｇ１が検出されると，検出された参考画像群Ｉｒｇ１の参考画像Ｉｒ100からＩｒ130に類似する画像（類似度がしきい値以上の画像）が，受注サーバ５のＣＰＵ30（抽出手段の一例である）によって，第１画像群Ｐｇから抽出される（ステップ123）。しきい値は，あらかじめ定めているものでもよいし，最も類似する画像が得られるまで変更してもよい。

【0162】

図25は，第１画像群Ｐｇに含まれる画像の一例である。

【0163】

第１画像群Ｐｇには，画像Ｐ11から画像Ｐ100までの90枚の画像が含まれている。

【0164】

図26は，参考画像Ｉｒ100からＩｒ104と，それらの参考画像Ｉｒ100からＩｒ104に類似する画像Ｐ11からＰ15を示している。

【0165】

上述のように，参考画像Ｉｒ100からＩｒ104は参考画像群Ｉｒｇ１に含まれており，画像Ｐ11からＰ15は第１画像群Ｐｇに含まれている。参考アルバムＡｂ１の第１ページに貼り付けられている参考画像Ｉｒ100，Ｉｒ101，Ｉｒ102，Ｉｒ103およびＩｒ104に類似する画像として第１画像群Ｐｇから画像Ｐ11，Ｐ12，Ｐ13，Ｐ14およびＰ15がそれぞれ抽出されている。参考画像に類似する画像として第１画像群Ｐｇから抽出される画像は，１枚の参考画像に対応して１枚でなくとも複数枚でもよい。１枚の参考画像に対応して１枚の画像を第１画像群Ｐｇから抽出する場合には，その１枚の参考画像に対する類似度が最も高い画像を第１画像群Ｐｇから抽出すればよいが，必ずしもそのようにしなくともよい。アルバムの画像貼付領域に貼り付けるときに１枚の画像が決定すればよい。

【0166】

参考アルバムＡｂ１の第１ページ以外のページに貼り付けられている参考画像Ｉｒ105からＩｒ130についても同様に，第１画像群Ｐｇから画像が抽出される。

【0167】

図27は，第１画像群Ｐｇから抽出された画像が，参考アルバムＡｂ１に貼り付けられる様子を示している。

【0168】

参考アルバムＡｂ１の第１ページについては，参考画像Ｉｒ100，Ｉｒ101，Ｉｒ102，Ｉｒ103およびＩｒ104のそれぞれに類似する画像として第１画像群Ｐｇから画像Ｐ11，Ｐ12，Ｐ13，Ｐ14およびＰ15が抽出されている。参考画像Ｉｒ100，Ｉｒ101，Ｉｒ102，Ｉｒ103およびＩｒ104が貼り付けられている画像貼付領域Ａｒ１，Ａｒ２，Ａ３，Ａｒ４およびＡｒ５のそれぞれの位置に，受注サーバ５のＣＰＵ30（画像貼付手段の一例である）によって画像Ｐ11，Ｐ12，Ｐ13，Ｐ14およびＰ15が貼り付けられる。

【0169】

図28は，アルバムの第１ページを示している。

【0170】

図28においては，図24に示す参考アルバムＡｂ１と同様に，画像貼付領域Ａｒ１からＡｒ５のそれぞれに，画像Ｐ１からＰ５が貼り付けられている。図24と図28とを比較すると分かるように，参考アルバムＡｂ１の第１ページの印象と同じ印象のアルバムが得られる。

【0171】

図27に戻って，参考アルバムＡｂ１の第２ページに貼り付けられている参考画像Ｉｒ105，Ｉｒ106，Ｉｒ107，Ｉｒ108およびＩｒ109に類似する画像として第１画像群Ｐｇから画像Ｐ16，Ｐ17，Ｐ18，Ｐ19およびＰ20が抽出される。参考画像Ｉｒ105，Ｉｒ106，Ｉｒ107，Ｉｒ108およびＩｒ109が貼り付けられている画像貼付領域のそれぞれの位置に，画像Ｐ16，Ｐ17，Ｐ18，Ｐ19およびＰ20が貼り付けられる。その他のページも同様の処理が行なわれ，参考アルバムＡｂ１の最後の第６ページに貼り付けられている参考画像Ｉｒ126，Ｉｒ127，Ｉｒ128，Ｉｒ129およびＩｒ130に類似する画像として第１画像群Ｐｇから画像Ｐ26，Ｐ27，Ｐ28，Ｐ29およびＰ30が抽出される。参考画像Ｉｒ126，Ｉｒ127，Ｉｒ128，Ｉｒ129およびＩｒ130が貼り付けられている画像貼付領域のそれぞれの位置に，画像Ｐ36，Ｐ37，Ｐ38，Ｐ39およびＰ40が貼り付けられる。

【0172】

このようにして，参考画像Ｉｒ101からＩｒ130が貼り付けられているテンプレートＴ１と同じテンプレートＴ１に，抽出された画像Ｐ11からＰ40が貼り付けられる（図20ステップ124）。とくに，参考画像が貼り付けられている画像貼付領域の位置に，その参考画像に類似する画像が貼り付けられるので，抽出された画像Ｐ１からＰ30が貼り付けられたアルバムは，参考画像Ｉｒ101からＩｒ130が貼り付けられている参考アルバムＡｂ１と同じような仕上がりをもつアルバムとなる。

【0173】

このようにしてアルバム（電子アルバム）が生成されると，生成されたアルバムを表すアルバム・データが受注サーバ５からクライアント・コンピュータ１に送信される（図21ステップ56）。

【0174】

アルバム・データがクライアント・コンピュータ１において受信されると（ステップ42），生成されたアルバムが表示される（ステップ43）。アルバムが修正されると（ステップ44），修正データがクライアント・コンピュータ１から受注サーバ５に送信される（ステップ45）。

【0175】

受注サーバ５において修正データが受信されると（ステップ57でＹＥＳ），アルバム・データの修正が行われる（ステップ58Ａ）。

【0176】

クライアント・コンピュータ１において注文ボタンが押されると（ステップ46でＹＥＳ），注文コマンドがクライアント・コンピュータ１から受注サーバ５に送信される（ステップ47）。

【0177】

クライアント・コンピュータ１から送信された注文コマンドが受注サーバ５において受信されると（ステップ59でＹＥＳ），受注処理が行なわれる（ステップ60）。

【0178】

参考画像群から抽出された参考画像と同じような画像を第１画像群Ｐｇから抽出でき，第１画像群Ｐｇに含まれる画像を用いて，参考アルバムＡｂ１と同じ印象を持つアルバムを比較的簡単に作成できるようになる。

【0179】

［変形例］
図29は，画像処理システムの処理手順を示すフローチャートの一部であり，図20の処理手順に対応している。図29において，図20の処理と同一の処理の一部については同一符号を付している。

【0180】

上述のようにクライアント・コンピュータ１に第１画像群Ｐｇが入力すると（ステップ131），ユーザはアルバムに使用するテンプレートを指定する（ステップ132）。たとえば，アルバム作成プログラムを起動させて第１画像群Ｐｇが入力すると，クライアント・コンピュータ１の表示装置11の表示画面には，テンプレート指定ウインドウ（図示略）が表示される。そのテンプレート指定ウインドウに複数のテンプレートの画像（テンプレートの内容を示す画像）が表示され，所望のテンプレートの画像をマウス17（テンプレート指定手段）選択する。するとテンプレートが選択される。

【0181】

つづいて，ユーザは，アルバムの主人公を指定する（ステップ133）。

【0182】

図30は，主人公指定ウインドウ140の一例である。

【0183】

第１画像群Ｐｇがクライアント・コンピュータ１に入力すると，クライアント・コンピュータ１のＣＰＵ10によって第１画像群Ｐｇに含まれる複数の画像から顔検出処理が行なわれ，一定頻度以上の割合で現れる顔画像が検出される。主人公指定ウインドウ140には，検出された顔画像Ｆ１からＦ８が表示されている。また，主人公指定ウインドウ140の右下には「決定」の文字が表示されている決定ボタン141も形成されている。一定頻度以上の割合で現れる顔画像ではなく，顔検出処理において検出されたすべての顔画像を主人公指定ウインドウ140に表示してもよい。顔画像Ｆ１からＦ８のうち，ユーザが主人公としたい顔画像を，マウス17を用いてクリックし，決定ボタン141が押されると，クリックされた顔画像の人物が主人公とされる。主人公は一人でも二人以上でもよい。

【0184】

本実施例は、結婚式のアルバムに関する実施例なので、主人公として、図30に示す通り、新郎の顔を指定するための領域R1および新婦の顔を指定するための領域R2が設けられている。ユーザは、新郎を特定する場合には，顔画像Ｆ１からＦ８（他の顔画像がある場合にはスクロールすることにより他の顔画像を表示する）のうち，新郎として特定する顔画像を領域Ｒ１にドラッグ・アンド・ドロップする。ユーザは，新婦を特定する場合には，顔画像Ｆ１からＦ８のうち，新婦として特定する顔画像を領域Ｒ２にドラッグ・アンド・ドロップする。これにより、新郎および新婦を特定することができる。なお、人物認識（多数回出現している人物）、または、オブジェクト認識（新郎・新婦が通常身に着けている衣装等）により、新郎および新婦と推定される人物の顔画像を、予め表示しておいてもよい。

【0185】

本実施例においては、新郎として特定された人物および新婦として特定された人物は、新郎および新婦という役柄（ロール）をそれぞれ担う人物として、区別される。後述の説明において、主人公といったときは、結婚式のアルバムの作成の場合は、お手本における新郎と第１画像群Ｐｇにおける新郎とを対比させ、同様に、お手本における新婦と第１画像群Ｐｇにおける新婦とを対比させるものとする。

【0186】

主人公が指定されると，クライアント・コンピュータ１に入力した第１画像群Ｐｇ，指定されたテンプレートの識別データおよび主人公を表すデータ（顔画像データ）がクライアント・コンピュータ１から受注サーバ５に送信される（ステップ134）。

【0187】

クライアント・コンピュータ１から送信された第１画像群Ｐｇ，指定されたテンプレートの識別データおよび主人公を表すデータ（顔画像データ）が受注サーバ５において受信されると（ステップ135），受注データベース６に格納されている参考画像群のうち，指定されたテンプレートに貼り付けられている参考画像を含む参考画像群の中から，第１の画像群に類似する参考画像群が，受注サーバ５のＣＰＵ30（参考画像群検出手段の一例である）によって検出される（ステップ136）。たとえば，上述したように第１画像群Ｐｇと参考画像群Ｉｒｇ１とが類似していたとしても（類似度がしきい値以上だとしても），参考画像群Ｉｒｇ１に含まれる参考画像を用いて生成された参考アルバムＡｂ１が，指定されたテンプレートを用いていない場合には，その参考画像群Ｉｒｇ１は第１画像群Ｐｇに類似する参考画像群としては抽出されない。

【0188】

参考画像群が抽出されると，上述したように，抽出された参考画像群に含まれる参考画像に類似する画像が第１画像群Ｐｇから抽出され（ステップ123）（類似する画像の抽出処理については後述する），参考画像が貼り付けられているテンプレート（指定されたテンプレート）と同じテンプレートに抽出された画像が貼り付けられて（ステップ124）アルバムが生成される。

【0189】

図31は，結婚式の流れと参考アルバムＡｂ１の各ベージに貼り付けられている参考画像Ｉｒ100からＩｒ130が，その結婚式で撮影されるタイミングとの関係を示している。

【0190】

たとえば，時刻ｔ０において結婚式が開始され，時刻ｔ１までの間に新郎，新婦が入場する。時刻ｔ１から時刻ｔ２までの間に新郎，新婦の紹介が行われ，時刻ｔ２から時刻ｔ３までの間に主賓の挨拶が行われる。時刻ｔ３から時刻ｔ４までの間に乾杯が行われ，時刻ｔ４から時刻ｔ５までの間にウエディング・ケーキが入刀され，時刻ｔ５から時刻ｔ６までの間に歓談および食事が行われる。時刻ｔ６から時刻ｔ７までの間にゲストの余興が行われ，時刻ｔ７から時刻ｔ８までの間に両親への花束贈呈が行われ，時刻ｔ８から時刻ｔ９までの間に新郎，新婦による謝辞が行われる。このように，結婚式などのイベントにおいては，大体の流れが決まっており，それぞれの時間帯において撮影される対象も決まっている。

【0191】

イベントにおける流れに沿った内容の参考画像が参考アルバムに貼り付けられている。たとえば，参考アルバムＡｂ１の第１ページには，時刻ｔ０から時刻ｔ１までの間に行われる「新郎新婦入場」に対応した参考画像および「新郎新婦紹介」に対応した参考画像（Ｉｒ101からＩｒ105）が貼り付けられている。同様に，参考アルバムＡｂ１の第２ページには「主賓のあいさつ」に対応した参考画像，「乾杯」に対応した参考画像（Ｉｒ106からＩｒ110）および「ウエディング・ケーキ入刀」に対応した参考画像が貼り付けられている。参考アルバムＡｂ１の第３ページから第４ページには「歓談および食事」に対応した参考画像，参考アルバムの第５ページには「ゲストの余興」に対応した参考画像，ならびに参考アルバムＡｂ１の第６ページには「花束贈呈」に対応した参考画像および「謝辞」に対応した参考画像（Ｉｒ126からＩｒ130）が貼り付けられている。

【0192】

撮影した時刻は，画像ファイルのヘッダに記録されているから，撮影時刻を参考にして，画像がどの撮影タイミングにおいて撮影されたものかが分かる。第１画像群Ｐｇに含まれる画像のうち，第１画像群Ｐｇに類似する参考画像群に含まれる参考画像の撮影タイミングと同じ撮影タイミングの画像については類似度が高くなるように補正し，第１画像群Ｐｇに類似する参考画像群に含まれる参考画像の撮影タイミングと異なる撮影タイミングの画像については類似度が低くなるように補正し，補正された類似度が最も高い画像が選択画像表示領域90に表示されるようにできる。

【0193】

また，第１画像群Ｐｇに含まれる画像のうち，単に参考画像に類似した画像を抽出して，アルバムの画像貼付領域に貼り付けてしまうと，場面に合わない画像が貼り付けられることがある。たとえば，図21に示す参考画像Ｉｒ100からＩｒ104は，第１ページの画像であるから，時刻ｔ０から時刻ｔ１までの「新郎新婦入場」の場面および時刻ｔ１から時刻ｔ２までの「新郎新婦紹介」の場面に対応した参考画像である。このような場合に，参考画像ＩｒからＩｒ104に類似した画像であっても，時刻ｔ０から時刻ｔ２までのタイミングではないタイミング，たとえば，時刻ｔ８から時刻ｔ９までのタイミングにおいて撮影された画像が第１ページに貼り付けられてしまうと，生成されるアルバムが結婚式の流れに合わなくなってしまう。そのために，この実施例においては，参考画像に類似する画像が撮影される予想のタイミングにおいて撮影された画像が，参考画像が貼り付けられている画像貼付領域に対応する画像貼付領域に貼り付けられる。

【0194】

図26に示すように，参考画像Ｉｒ103と画像Ｐ４とが類似すると判断された場合であっても，画像Ｐ４が時刻ｔ７から時刻ｔ８のタイミングにおいて撮影された場合であると，参考画像Ｉｒ103は第１ページに貼り付けられており，第１ページは，時刻ｔ０から時刻ｔ２までの間に撮影されたタイミングの画像が貼り付けられるものであるから，画像Ｐ４は第１ページには貼り付けられない。たとえば，図27に示す第６ページに貼り付けられている参考画像Ｉｒ126からＩ130のいずれかの画像貼付領域に貼り付けられる。

【0195】

図32は，類似度算出処理（図29ステップ123における処理の一部）の処理手順を示すフローチャートである。

【0196】

第１の画像群に含まれる複数の画像のすべての画像について図32に示す類似度算出処理が行なわれる。第１の画像群に含まれる画像と，受注データベース６に格納されている参考画像と，の類似度が，第１の画像群に含まれる画像と受注データベース６に格納されている参考画像とのすべての組み合わせについて算出される（ステップ151）。

【0197】

参考画像の撮影の予想タイミングと第１の画像群に含まれる画像の撮影のタイミングとが一致していると，第１の画像群に含まれる画像は予想のタイミングで撮影されたものと判断され（ステップ152でＹＥＳ），受注サーバ５のＣＰＵ30（第１の類似度調整手段の一例である）によって類似度が高くされる。参考アルバムに貼付される参考画像の順序が画像の撮影順序に一致した場合も同様に類似度を高くしてもよい。

【0198】

つづいて，参考画像の顔の情報と類似した情報を持っている画像についても（ステップ154でＹＥＳ），受注サーバ５のＣＰＵ30（第２の類似度調整手段の一例である）によって類似度が高くされる。顔の情報とは，顔から得られる情報であり，顔の類似度についての情報，顔の数についての情報などである。たとえば，画像に含まれる顔（主要被写体と考えられる顔）の数がほぼ同じと考えられる場合には，受注サーバ５のＣＰＵ30によって類似度が高くされる（ステップ155）。また，参考画像群に含まれる参考画像を用いて生成された参考アルバムが，ユーザが過去に生成したアルバムの場合，その後に同様のアルバムを生成することがある。そのような場合に，過去のアルバムに貼付されている参考画像に含まれる顔の画像と似た画像の類似度を高くすることにより，過去のアルバムと同様の新たなアルバムを生成できる。

【0199】

第１画像群Ｐｇに含まれる複数の画像について人物の登場回数がＣＰＵ30によって検出され，その登場回数がしきい値以上の画像または主人公として指定された人物の画像については（ステップ156でＹＥＳ），受注サーバ５のＣＰＵ30（第３の類似度調整手段，第４の類似度調整手段の一例である）によって類似度が高くされる（ステップ157）。

【0200】

このようにして調整された類似度がしきい値以上の画像が参考画像に類似する画像とされる。類似度が調整されるので，より適切なアルバムが生成されるようになる。

【0201】

上述の実施例においては、おすすめ画像表示領域101においては、類似度の高さに応じて、時系列画像一覧表示領域102においては、時系列に応じて、それぞれ表示すべき画像が選択され、表示がされるが、それ以外の選択方法、および表示方法を採用してもよい。例えば、おすすめ画像表示領域101においては、撮影タイミングの一致度を考慮しない場合の類似度の高さに応じて表示すべき画像を選択するが、撮影タイミングの一致度がしきい値より高い画像の付近に、好ましいことを示すマークを付する、などの表示方法を採用してもよい。また例えば、時系列画像一覧表示領域102においては、時系列に応じて表示すべき画像を選択することは上述の実施例と変わらないが、お手本画像表示領域80に表示される画像と類似度がしきい値より高い画像の付近に、好ましいことを示すマークを付する、などの表示方法を採用してもよい。

【0202】

上述の実施例においては，結婚式のアルバムを作成するものであったが，結婚式のアルバム以外のアルバムを，お手本のアルバムを参考にして作成してもよい。たとえば，１年間の学校行事をまとめたアルバムを作成するようにしてもよい。そのような場合においては，１年前に作成したアルバムをお手本として新たなアルバムを作成する場合も，１年間に行われるイベントは毎年同じ時期に行われることが多いから，同じ時期に撮影された画像の類似度を高くしてもよい。

【0203】

上述の実施例においては、主人公の中でも、新郎と新婦とは別の役柄として区別したが、アルバムの作成目的によっては、複数の主人公を区別せずに取り扱ってもよい。すなわち、お手本のアルバムに登場する主人公がｋ人（ｋは自然数）おり、第１画像群Ｐｇにおける主人公をｍ人（ｍは自然数）特定した場合、ｋ人のうちいずれかが写っている画像と、ｍ人のうちいずれかが写っている画像とは、ｋ人のうちの誰が写っているか、およびｍ人のうちの誰が写っているかに関わらず、主人公が写っている画像同士であるとして類似度を上げる、という扱いをすることもできる。

【0204】

上述の実施例においては，主として受注サーバ５において画像抽出処理等が行われているが，クライアント・コンピュータ１に参考画像群が記憶されている場合などでは，クライアント・コンピュータ１（画像処理装置となる）において，上述した受注サーバ５の処理が行なわれてもよい。その場合において，クライアント・コンピュータ１の代わりに，タブレット端末，スマートフォン，専用の画像処理装置などを利用して構成することもできる。

【0205】

また，上述の実施例においては，第１画像群から抽出された画像を用いてアルバムが生成されているが，アルバムを生成する場合に限らず，１枚の用紙などの画像商材に複数の画像を貼り付けるシャッフル・プリント，複数の画像の中から画像を抽出して抽出された画像を１枚１枚プリントする場合などにも利用できる。

【0206】

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するクライアント・コンピュータ１のＣＰＵ10，受注サーバ５のＣＰＵ30のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0207】

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

【0208】

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

【符号の説明】

【0209】

１：クライアント・コンピュータ，５：受注サーバ，６：受注データベース，10：ＣＰＵ，11：表示装置，12：通信装置，13：ハード・ディスク，14：ハード・ディスク・ドライブ，15：メモリ，16：キーボード，17：マウス，18：コンパクト・ディスク・ドライブ，19：コンパクト・ディスク，20：メモリ・カード・リーダ・ライタ，21：メモリ・カード，30：ＣＰＵ，31：通信装置，32：ハード・ディスク，33：ハード・ディスク・ドライブ，34：メモリ，35：コンパクト・ディスク・ドライブ，36：コンパクト・ディスク，37：
メモリ・カード・リーダ・ライタ，38：メモリ・カード，70：テンプレート，71-73：領域，140：主人公指定ウインドウ，141：決定ボタン，Ｃ301：重心，Ｃ307：重心，Ｃ401：重心，Ｃ408：重心，Ｇ１-Ｇ４：グループ，Ｇ97-Ｇ102：グループ，Ｇ149：グループ，Ｇ150：グループ，Ｇ201：グループ，Ｇ301：グループ，Ｇ307：グループ，Ｇ401：グループ，Ｇ408：グループ，Ｉ11-Ｉ13：画像，Ｉ21-Ｉ23：画像，Ｉ31-Ｉ42：画像，Ｐ１-Ｐ３：ページ画像，Ａｂ１：参考アルバム，Ａｒ１-Ａｒ５：画像貼付領域，Ｉｒ100-Ｉｒ130，：参考画像，Ｉｒ201-Ｉｒ230：参考画像，Ｉｒ901-Ｉｒ930：参考画像，Ｉｒ131-Ｉｒ200：画像，Ｉｒ231-Ｉｒ300，Ｉｒ931-Ｉｒ1000：画像，Ｉｒｇ１-Ｉｒｇ９：参考画像群，Ｐ11-Ｐ100：画像，Ｐｇ：第１画像群，Ｔ１：テンプレート

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】