特許 7053423 画像処理装置，画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】画像処理装置，画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06F 16/50 20190101AFI20220405BHJP

   G06F 16/55 20190101ALI20220405BHJP

   G06T 1/00 20060101ALI20220405BHJP

【ＦＩ】

G06F16/50

G06F16/55

G06T1/00 200E

【請求項の数】 19

(21)【出願番号】P 2018174488

(22)【出願日】2018-09-19

(65)【公開番号】P2020046902

(43)【公開日】2020-03-26

【審査請求日】2020-09-03

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001830

【氏名又は名称】東京ＵＩＴ国際特許業務法人

(72)【発明者】

【氏名】山路 啓

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２００７－０５８７９２（ＪＰ，Ａ）

【文献】特開２０１８－０４５５８２（ＪＰ，Ａ）

【文献】特開２００６－０６５３６８（ＪＰ，Ａ）

【文献】特開２００１－２５６２４４（ＪＰ，Ａ）

【文献】特開２００９－１１６８２０（ＪＰ，Ａ）

【文献】特開２００２－３１２５９２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０１９３５３８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

類似度がしきい値以上の画像同士の集まりとなるように，複数の画像を，複数の画像群に分類する画像分類手段，
上記複数の画像群のうち、一の画像群から抽出する画像の数の割合を指定する指定手段、および
上記指定手段によって指定された上記一の画像群から抽出する画像の数の割合が増加したことに応じて、上記複数の画像群のうち、他の画像群から抽出する画像の数の割合を減少して画像を抽出し、上記指定手段によって指定された上記一の画像群から抽出する画像の数の割合が減少したことに応じて、上記複数の画像群のうち、他の画像群から抽出する画像の数の割合を増加して画像を抽出する画像抽出手段，
を備えた画像処理装置。

【請求項2】

上記画像抽出手段によって抽出された画像を用いて画像商材を作成する画像商材作成手段，
をさらに備えた請求項１に記載の画像処理装置。

【請求項3】

上記画像抽出手段は，
上記複数の画像群のそれぞれの画像群に含まれる画像の数の割合に応じて，上記それぞれの画像群から画像を抽出する，
請求項１または２に記載の画像処理装置。

【請求項4】

上記画像抽出手段は，
上記複数の画像群のそれぞれの画像群に含まれる画像の数の割合が，０を除くしきい値以上の画像群から画像を抽出する，
請求項１または２に記載の画像処理装置。

【請求項5】

上記画像抽出手段は，
上記複数の画像群のそれぞれの画像群に含まれる画像の数の割合が，０を除くしきい値以上の画像群から，画像群に含まれる画像の数の割合に応じて画像を抽出する，
請求項４に記載の画像処理装置。

【請求項6】

上記画像抽出手段は，
上記複数の画像群のそれぞれの画像群に含まれる画像の数の割合が，０を除くしきい値以上の画像群のうち，いずれかの一つの画像群から画像を抽出する，
請求項４に記載の画像処理装置。

【請求項7】

上記画像抽出手段は，
上記複数の画像群のうちの一つの画像群に含まれる画像の中から画像を抽出する，
請求項１または２に記載の画像処理装置。

【請求項8】

上記複数の画像群のそれぞれの画像群に含まれる画像の数の割合を報知する報知手段，
をさらに備えた請求項１から７のうち，いずれか一項に記載の画像処理装置。

【請求項9】

上記複数の画像群のそれぞれの画像群から抽出する画像の数の割合を指定する指定手段をさらに備え，
上記画像抽出手段は，
上記指定手段によって指定された割合に応じて，上記それぞれの画像群から画像を抽出する，
請求項１，２または８に記載の画像処理装置。

【請求項10】

上記複数の画像群のそれぞれの画像群に含まれる画像の代表画像を表示画面に表示するように表示装置を制御する第１の表示制御手段をさらに備え，
上記指定手段は，
上記代表画像に対応して上記画像の割合を指定する指定部を，上記表示画面に表示する
ように上記表示装置を制御する第２の表示制御手段を備えている，
請求項９に記載の画像処理装置。

【請求項11】

表示位置を変更自在な目印を上記表示画面に表示するように上記表示装置を制御する第３の表示制御手段をさらに備え，
上記指定部は，目印の位置に応じて上記画像の割合を指定する，
請求項10に記載の画像処理装置。

【請求項12】

上記画像の数の割合に応じた長さまたは面積を有するグラフを上記表示画面に表示するように上記表示装置を制御する第４の表示制御手段をさらに備え，
上記指定部は，上記グラフの長さまたは面積を変更することにより上記画像の割合を指定する，
請求項10に記載の画像処理装置。

【請求項13】

上記画像分類手段において分類する画像群の数を入力する入力手段をさらに備え，
上記画像分類手段は，
上記入力手段から入力した数に対応する画像群に分類する，
請求項１から12のうち，いずれか一項に記載の画像処理装置。

【請求項14】

上記画像分類手段は，
画像の複数の特徴量にもとづいて，類似度がしきい値以上の画像同士の集まりとなるように複数の画像群に分類する，
請求項１から13のうち，いずれか一項に記載の画像処理装置。

【請求項15】

上記画像分類手段は，
画像の複数の特徴量にもとづいて，類似度がしきい値以上の画像同士の集まりとなる第１の複数の画像群に分類し，
上記第１の複数の画像群のうち画像群同士の類似度がしきい値以上の画像群をまとめることにより，類似度がしきい値以上の画像同士の集まりとなるように，複数の画像を，複数の画像群に分類する，
請求項１から14のうち，いずれか一項に記載の画像処理装置。

【請求項16】

上記画像分類手段は，
画像に含まれていると認識された被写体同士についての類似度にもとづいて複数の画像群に分類する機能を欠いている，
請求項１から15のうち，いずれか一項に記載の画像処理装置。

【請求項17】

画像分類手段が，類似度がしきい値以上の画像同士の集まりとなるように，複数の画像を，複数の画像群に分類し，
指定手段が、上記複数の画像群のうち、一の画像群から抽出する画像の数の割合を指定、
画像抽出手段が，上記指定手段によってされた上記一の画像群から抽出する画像の数の割合が増加したことに応じて、上記複数の画像群のうち、他の画像群から抽出する画像の数の割合を減少して画像を抽出し、上記指定手段によって指定された上記一の画像群から抽出する画像の数の割合が減少したことに応じて、上記複数の画像群のうち、他の画像群から抽出する画像の数の割合を増加して画像を抽出する，
画像処理方法。

【請求項18】

画像処理装置のコンピュータが読み取り可能なプログラムであって，
類似度がしきい値以上の画像同士の集まりとなるように，複数の画像を，複数の画像群に分類させ，
上記複数の画像群のうち、一の画像群から抽出する画像の数の割合を指定させ、
指定された上記一の画像群から抽出する画像の数の割合が増加したことに応じて、上記複数の画像群のうち、他の画像群から抽出する画像の数の割合を減少して画像を抽出させ、指定された上記一の画像群から抽出する画像の数の割合が減少したことに応じて、上記複数の画像群のうち、他の画像群から抽出する画像の数の割合を増加して画像を抽出させるように画像処理装置のコンピュータを制御するプログラム。

【請求項19】

請求項17に記載のプログラムを格納した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は，画像処理装置，画像処理方法および画像処理プログラムに関する。

【背景技術】

【0002】

ディジタル・カメラ，スマートフォンなどの普及に伴い，画像の撮影枚数が極めて増加している。多数の画像の中から所望の画像を見つけ出すことが難しくなってきている。このために，画像を探しやすくするために比較的適正な画像群に分類するもの（特許文献１），画像グループに属する画像データを容易に比較して閲覧するもの（特許文献２），代表画像を表示するもの（特許文献３）などが考えられている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2012-138679号公報

【文献】特開2015-35135号公報

【文献】特開2014-154971号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

多数の画像の中から，旅行のアルバム，結婚式のアルバムというように，一般的に利用することが多いテーマについては，テーマごとに画像抽出のためのプログラムを作成している。しかしながら，あらゆるテーマに対応したプログラムを作成することは，プログラムの開発の手間を考えると現実的ではない。特許文献１に記載のものは，時間的に連続に撮影された撮影画像間の非類似度にもとづいて画像群に分類するものであり，あるテーマにしたがってアルバムのような画像商材を作成することについては考えられていない。特許文献２に記載のものも，撮影時刻データにもとづいて分類されるものであるから，あるテーマに沿うアルバムなどのような画像商材を作成することはできない。特許文献３に記載のものは，多数の画像データは一つの画像データから派生したものであるから，それぞれ独立した多数の画像から画像を，あるテーマに沿って画像を抽出することは考えられていない。

【0005】

この発明は，ユーザの趣味，嗜好に合ったテーマをもつ画像を抽出して画像商材を作成することを目的とする。

【課題を解決するための手段】

【0006】

この発明による画像処理装置は，類似度がしきい値以上の画像同士の集まりとなるように，複数の画像を，複数の画像群に分類する画像分類手段，および画像分類手段によって分類された複数の画像群に含まれる画像の中から画像を抽出する画像抽出手段を備えていることを特徴とする。

【0007】

この発明は，画像処理装に適した画像処理方法も提供している。すなわち，この方法は，画像分類手段が，類似度がしきい値以上の画像同士の集まりとなるように，複数の画像を，複数の画像群に分類し，画像抽出手段が，画像分類手段によって分類された複数の画像群に含まれる画像の中から画像を抽出することを特徴とする。

【0008】

この発明は，次のような画像処理装置を提供してもよい。すなわち，画像処理装置が，類似度がしきい値以上の画像同士の集まりとなるように，複数の画像を，複数の画像群に分類し，分類された複数の画像群に含まれる画像の中から画像を抽出するプロセッサを備えている。

【0009】

また，画像処理装置のコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。

【0010】

上記画像抽出手段によって抽出された画像を用いて画像商材を作成する画像商材作成手段をさらに備えてもよい。

【0011】

画像抽出手段は，たとえば，複数の画像群のそれぞれの画像群に含まれる画像の数の割合に応じて，それぞれの画像群から画像を抽出する。

【0012】

画像抽出手段は，複数の画像群のそれぞれの画像群に含まれる画像の数の割合が，０を除くしきい値以上の画像群から画像を抽出してもよい。

【0013】

画像抽出手段は，複数の画像群のそれぞれの画像群に含まれる画像の数の割合が，０を除くしきい値以上の画像群から，画像群に含まれる画像の数の割合に応じて画像を抽出するものでもよい。

【0014】

画像抽出手段は，たとえば，複数の画像群のそれぞれの画像群に含まれる画像の数の割合が，０を除くしきい値以上の画像群のうち，いずれかの一つの画像群から画像を抽出してもよい。

【0015】

画像抽出手段は，複数の画像群のうちの一つの画像群に含まれる画像の中から画像を抽出してもよい。

【0016】

複数の画像群のそれぞれの画像群に含まれる画像の数の割合を報知する報知手段をさらに備えてもよい。

【0017】

複数の画像群のそれぞれの画像群から抽出する画像の数の割合を指定する指定手段をさらに備えてもよい。この場合，画像抽出手段は，たとえば，指定手段によって指定された割合に応じて，それぞれの画像群から画像を抽出する。

【0018】

複数の画像群のそれぞれの画像群に含まれる画像の代表画像を表示画面に表示するように表示装置を制御する第１の表示制御手段をさらに備えてもよい。この場合，指定手段は，たとえば，代表画像に対応して画像の割合を指定する指定部を，表示画面に表示するように表示装置を制御する第２の表示制御手段を備える。

【0019】

表示位置を変更自在な目印を表示画面に表示するように表示装置を制御する第３の表示制御手段をさらに備えてもよい。この場合，指定部は，目印の位置に応じて画像の割合を指定するとよい。

【0020】

画像の数の割合に応じた長さまたは面積を有するグラフを表示画面に表示するように表示装置を制御する第４の表示制御手段をさらに備えてもよい。この場合，指定部は，グラフの長さまたは面積を変更することにより画像の割合を指定するとよい。

【0021】

画像分類手段において分類する画像群の数を入力する入力手段をさらに備えてもよい。この場合，画像分類手段は，たとえば，入力手段から入力した数に対応する画像群に分類する。

【0022】

画像分類手段は，たとえば，画像の複数の特徴量にもとづいて，類似度がしきい値以上の画像同士の集まりとなるように複数の画像群に分類してもよい。

【0023】

画像分類手段は，たとえば，画像の複数の特徴量にもとづいて，類似度がしきい値以上の画像同士の集まりとなる第１の複数の画像群に分類し，第１の複数の画像群のうち画像群同士の類似度がしきい値以上の画像群をまとめることにより，類似度がしきい値以上の画像同士の集まりとなるように，複数の画像を，複数の画像群に分類してもよい。

【0024】

画像分類手段は，たとえば，画像に含まれていると認識された被写体同士についての類似度にもとづいて複数の画像群に分類する機能を欠いてもよい。

【発明の効果】

【0025】

分類された複数の画像群は，類似した画像の集まりであるから，あるテーマをもった画像同士の集まりと考えられる。その複数の画像群に含まれる画像から画像商材を作成することにより，あるテーマを持った画像商材を作成できる。

【図面の簡単な説明】

【0026】

【図1】画像処理システムの概要を示している。

【図2】クライアント・コンピュータの電気的構成を示すブロック図である。

【図3】クライアント・コンピュータの処理手順を示すフローチャートである。

【図4】表示画面の一例である。

【図5】特徴量空間においてまとめられた画像群の一例である。

【図6】画像群がまとめられる様子を示している。

【図7】特徴量空間においてまとめられた画像群の一例である。

【図8】表示画面の一例である。

【図9】表示画面の一例である。

【発明を実施するための形態】

【0027】

［主実施例］
図１は，この発明の実施例を示すもので，画像処理システムの概要を示している。

【0028】

画像処理システムは，複数の画像の中から画像を抽出してアルバムを作成するシステムである。

【0029】

画像処理システムには，クライアント・コンピュータ１（画像処理装置の一例である。），受注サーバ２およびプリンタ３が含まれている。クライアント・コンピュータ１と受注サーバ２とがインターネットを介して通信可能である。受注サーバ２には，プリンタ３が接続されている。

【0030】

クライアント・コンピュータ１において，複数の画像から画像が抽出され，抽出された画像を表す画像データが受注サーバ２に送信される。受注サーバ２からプリンタ３に画像データが送信され，プリンタ３においてアルバムが作成される。作成されたアルバムは，クライアント・コンピュータ１のユーザに送られる。

【0031】

図２は，クライアント・コンピュータ１の電気的構成を示すブロック図である。

【0032】

クライアント・コンピュータ１の全体の動作は，ＣＰＵ(Central Processing Unit)10によって統括される。

【0033】

クライアント・コンピュータ１には，画像その他の情報を表示画面に表示する表示装置11およびインターネットその他のネットワークに接続してクライアント・コンピュータ１以外の装置等と通信する通信装置12が含まれている。また，クライアント・コンピュータ１には，ハード・ディスク13，ハード・ディスク13にアクセスするハード・ディスク・ドライブ14，データ等を記憶するメモリ15，コマンド等を入力するキーボード16およびマウス17も含まれている。さらに，クライアント・コンピュータ１には，コンパクト・ディスク19にアクセスするコンパクト・ディスク・ドライブ18ならびにメモリ・カード21へのデータの書き込みおよびメモリ・カード21に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ20も含まれている。

【0034】

後述するクライアント・コンピュータ１の動作プログラムは，インターネットを介して通信装置12において受信される。受信された動作プログラムがクライアント・コンピュータ１にインストールされる。動作プログラムはインターネットなどのようなネットワークを介してクライアント・コンピュータ１に受信されてクライアント・コンピュータ１にインストールされずに，コンパクト・ディスク19などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムがクライアント・コンピュータ１にインストールされる。動作プログラムは，クライアント・コンピュータ１のコンピュータ(ＣＰＵ10)が読み取り可能であることは言うまでもない。

【0035】

図３は，クライアント・コンピュータ１の処理手順を示すフローチャートである。

【0036】

この実施例においては，類似した画像の集まりとなるように複数の画像が複数の画像群に分類される。画像群の分類の数がユーザによって指定される（ステップ31）。

【0037】

図４は，表示装置11の表示画面の一例である。

【0038】

この実施例による画像処理プログラムが起動させられると，表示装置11の表示画面40には図４に示す分類数指定画面が表示される。

【0039】

分類数指定画面には，分類する画像群の数を入力するウインドウ41が形成されている。このウインドウ41にキーボード16（入力手段の一例である）を用いて，分類する画像群の数が入力される。分類数指定画面には「決定」の文字が表示されている決定ボタン42も形成されている。ユーザがウインドウ41に分類する画像の数を入力し，その数で良ければユーザによって決定ボタン42が押され，分類数の指定が行われる。この実施例においては画像群の分類数として「４」が指定されたものとする。複数の画像群に分類すべき画像は，クライアント・コンピュータ１のメモリ（メモリ・カード21などの他の記録媒体でもよい）に，たとえば，フォルダごとにあらかじめ記憶されており，そのフォルダをユーザが指定することにより，指定されたフォルダに格納されている複数の画像が複数の画像群に分類される（ステップ32）。

【0040】

図５は，複数の画像が複数の画像群（第１の複数の画像群の一例である）に分類された様子を示している。

【0041】

図５においては，横軸が第１の特徴量であり，縦軸が第２の特徴量を示している。これらの２つの特徴量によって規定される位置に複数の画像が分布しているものとする。特徴量は２つでなく，３つ以上用いてもよいのはいうまでもない。各画像は、特徴量の数を次元の数とする特徴量空間上に分布することとなる。画像同士の特徴量空間上の距離が小さいほど、画像群同士の類似度が大きいということとなる。

【0042】

この実施例において，特徴量は，画像の解像度，データ量，ボケ・ブレの程度，主要被写体の種類，主要被写体の画像に対する相対的な大きさ，主要被写体の位置，色味などでもよいし，これらの特徴量を複数組み合わせて生成されるものであってもよい。さらには，特徴量は，教師あり学習または教師なし学習により予め学習された学習済みモデルが，画像の入力を受けて出力する，複数のパラメタから構成されるものであってもよい。ここで，学習済みモデルから出力される特徴量は人間には意味解釈できない場合もあるが，少なくとも，１の画像を入力したときに一意に出力されるような数値群であれば，本発明の特徴量として用いることができる。特徴量は，複数の画像を複数の画像群に分類するために必要な情報である。

【0043】

図５においては，画像群Ｇ１から画像群Ｇ100までの100個の画像群に分類対象の複数の画像がＣＰＵ10によって分けられている。このグループ分けは，たとえば，k-means法を利用することにより実現できる。実際の画像から画像の特徴量が予め抽出してある場合には，グループ分けは、実際の画像が無くとも、画像の特徴量を用いて行うことができる。

【0044】

図６は，画像群Ｇ１から画像群Ｇ100の複数の画像群に分類された様子を示している。

【0045】

つづいて，画像群同士の類似度がしきい値以内かどうかがＣＰＵ10によって判断され，しきい値以内の画像群について画像群同士がまとめられる。画像群同士の類似度は，たとえば，画像群Ｇ１から画像群Ｇ100のそれぞれの画像群について，図５に示す特徴量空間における重心を求め，それらの重心の類似度を利用すればよい。なお、しきい値は、予め定めておいた値を用いてもよいし、後述の通り、画像群の数が指定された数となるように，変化させてもよい。

【0046】

たとえば，画像群Ｇ１と画像群Ｇ２との類似度(画像群Ｇ１の重心と画像群Ｇ２の重心との類似度)がしきい値以内であれば，それらの画像群Ｇ１と画像群Ｇ２とがまとめられて新たな画像群Ｇ101が生成される。同様に，画像群Ｇ３と画像群Ｇ４との類似度がしきい値以内であれば，それらの画像群Ｇ３と画像群Ｇ４とがまとめられて新たな画像群Ｇ102が生成される。同様にして，画像群Ｇ97と画像群Ｇ98とがまとめられて新たな画像群Ｇ149が生成され，画像群Ｇ99と画像群Ｇ100とがまとめられて新たな画像群Ｇ150が生成される。新たに生成された画像群についても画像群同士の類似度がしきい値以内であれば，まとめられる。たとえば，画像群Ｇ101と画像群Ｇ149とがまとめられ，新たな画像群Ｇ201が生成される。

【0047】

画像群の数が指定された数となるまで，しきい値を変えながら画像群同士をまとめる処理が繰り返される（ステップ33）。具体的には、あるしきい値を基準として画像群をまとめていき、その結果画像群が指定された数以上である場合は類似度のしきい値を一定の量だけ小さくして（すなわち特徴量空間上の距離が一定の距離だけ大きい画像についても画像群に含めるようにする）まとめる処理を再度行う。画像群の数が指定された数となるまで、画像群のまとめとしきい値の変更を繰り返す。なお、別の具体例として、画像群が指定された数に到達した以降は、類似度のしきい値を小さくする幅を小さくしてもよい（すなわち画像群が指定された数に到達した以降は、まとめ処理の繰り返しに当たって少しの距離だけしか離れていない画像群同士しかまとめられないこととなる）。この結果、指定された数が４の場合、４つの画像群同士の距離が十分に離れていればそこでまとめる処理は終了となる。一方、４つの画像群同士の距離のうち、若干近い２つがあれば、その２つはまとめられ、３つの画像群へまとめられる。この具体例は、人間から見た際の直観的なグループ分けと一致することが期待されるので、好適に用いられる。本実施例においては、指定された数が４であり，４つの画像群Ｇ301からＧ304が生成されたものとする（図７参照）。

【0048】

図７は，指定された数に画像群が分けられた様子を示している。

【0049】

図７も図５と同様に，横軸が第１の特徴量を示し，縦軸が第２の特徴量を示している。複数の画像が画像群Ｇ301からＧ304までの４つの画像群に分類されている。これらの４つの画像群Ｇ301からＧ304のそれぞれの画像群は，複数の特徴量から得られる画像同士の類似度がしきい値以上の画像同士の集まりとなる。本実施例において、分類された画像群のそれぞれに含まれている画像は，画像に含まれている被写体を認識して分類されているのではなく，客観的な特徴量から類似していると思われる画像同士に分類されている。クライアント・コンピュータ１は，画像群Ｇ301からＧ304のそれぞれの画像群に含まれる画像がどのような主要被写体を表しているかを認識していない。クライアント・コンピュータ１のＣＰＵ10は，画像に含まれていると認識された被写体同士についての類似度にもとづいて複数の画像群に分類する機能を欠いていてもよい。画像に含まれる被写体を認識しなくても，複数の画像を，複数の画像群に分類できる。

【0050】

画像群の数が指定された数となると（ステップ33でＹＥＳ），分類された画像群ごとに画像の数の割合が算出され，割合変更画面が表示装置11の表示画面40に表示される（ステップ34）。

【0051】

図８は，割合変更画面の一例である。

【0052】

分類された４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれに対応して，代表画像51Ａ，52Ａ，53Ａおよび54ＡがＣＰＵ10（第１の表示制御手段の一例である）表示されている。これらの代表画像51Ａ，52Ａ，53Ａおよび54Ａは，４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれの重心位置に分布されている画像である（なお，４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれに含まれている画像をそれぞれ数枚抽出して，それぞれの画像群の代表画像群として表示させてもよい）。代表画像51Ａを見ることにより，ユーザは，画像群Ｇ301は人物の画像の集まりであることが分かる。代表画像52Ａを見ることにより，ユーザは，画像群Ｇ302は風景の画像の集まりであることが分かる。代表画像53Ａを見ることにより，ユーザは，画像群Ｇ303は犬の画像の集まりであることが分かる。代表画像54Ａを見ることにより，ユーザは，画像群Ｇ304はマンホールの画像の集まりであることが分かる。この際、クライアント・コンピュータ１のＣＰＵ10は，各画像群が何の被写体の集まりであるかを認識している必要はない。もっとも、ユーザの便宜のために、画像群を分けた後に画像解析を行うことによって、その画像群が何の被写体の集まりであるかを認識して、「人物」「風景」等のテキストを代表画像と共に表示しても構わない。

【0053】

代表画像51Ａ，52Ａ，53Ａおよび54Ａの右側には，スライド・バー51Ｂ，52Ｂ，53Ｂおよび54Ｂ（指定部の一例である）がそれぞれＣＰＵ10（第２の表示制御手段の一例である）によって表示装置11の表示画面40に表示させられている。スライド・バー51Ｂ，52Ｂ，53Ｂおよび54Ｂのそれぞれにはマウス17によって表示位置が左右に変更自在なスライダ51Ｃ，52Ｃ，53Ｃおよび54Ｃ（目印の一例である）がＣＰＵ10（第３の表示制御手段の一例である）によって表示装置11の表示画面に表示させられている。スライダ51Ｃ，52Ｃ，53Ｃおよび54Ｃの位置に応じて，画像を抽出する割合が変わる。スライダ51Ｃ，52Ｃ，53Ｃまたは54Ｃの位置を右側にするほど，画像群Ｇ301，Ｇ302，Ｇ303またはＧ304のそれぞれから抽出する画像の割合が減る。スライダ51Ｃ，52Ｃ，53Ｃまたは54Ｃの位置を最も右側にすると，画像群Ｇ301，Ｇ302，Ｇ303またはＧ304のそれぞれから抽出する画像の割合は０となる。スライダ51Ｃ，52Ｃ，53Ｃまたは54Ｃの位置を左側にするほど，画像群Ｇ301，Ｇ302，Ｇ303またはＧ304のそれぞれから抽出する画像の割合が増える。スライダ51Ｃ，52Ｃ，53Ｃまたは54Ｃの位置を最も左側にすると，画像群Ｇ301，Ｇ302，Ｇ303またはＧ304のそれぞれから抽出する画像の割合は100％となる。画像群Ｇ301，Ｇ302，Ｇ303またはＧ304のそれぞれから抽出する画像の割合の合計が100％を超える場合には，合計が100％となる割合で，画像を抽出する割合が決定される。たとえば，スライダ51Ｃ，52Ｃ，53Ｃまたは54Ｃのすべてが100％と指定されると，画像群Ｇ301，Ｇ302，Ｇ303およびＧ304に含まれる画像が，それぞれ１対１対１対１の割合で抽出される。スライダ51Ｃおよび52Ｃが100％と指定され，スライダ53Ｃおよび54Ｃが50％と指定されると，画像群Ｇ301，Ｇ302，Ｇ303およびＧ304に含まれる画像が，それぞれ２対２対１対１の割合で抽出される。その他の場合も同様である。

【0054】

スライダ51Ｃ，52Ｃ，53Ｃおよび54Ｃの位置を変更させる前の初期状態では，スライダ51Ｃ，52Ｃ，53Ｃおよび54Ｃの位置は，複数の画像（ユーザが最初に指定したフォルダに含まれている画像）に対して画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれに含まれる画像の割合に対応しており，その割合も表示されている。ユーザは，スライダ51Ｃ，52Ｃ，53Ｃおよび54Ｃの位置およびその割合を見ることにより，画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれに含まれる画像の割合を知ることができる。

【0055】

画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれに含まれる画像の割合は，複数の画像に対して40％，30％，20％および10％であるから，初期状態においては，それらの割合40％，30％，20％および10％が表示装置11（報知手段の一例である）の表示画面に表示されている。スライダ51Ｃ，52Ｃ，53Ｃおよび54Ｃの位置が変更されずに初期状態において決定ボタン42が押されると（ステップ35でＮＯ，ステップ37でＹＥＳ），画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれに含まれる画像の割合に応じた割合によって画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれから画像がＣＰＵ10（画像抽出手段の一例である）によって抽出される（ステップ38）。画像の抽出枚数は，あらかじめユーザに選択されているアルバムのテンプレートの貼り付け枚数に依存することとなる。

【0056】

抽出された画像がアルバムのテンプレートに貼り付けられることにより，ＣＰＵ10（画像商材作成手段の一例である）において電子アルバム（画像商材の一例である）が作成される（ステップ39）。

【0057】

ユーザによってスライダ51Ｃ，52Ｃ，53Ｃおよび54Ｃのうちの少なくとも一つの位置が変更されると（ステップ35でＹＥＳ），その変更された位置に応じて，画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれから抽出される画像の割合が変えられる（ステップ36）。決定ボタン42が押されると（ステップ37でＹＥＳ），変えられた割合にしたがって，画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれから画像が抽出される（ステップ38）。抽出された画像を用いて電子アルバムが作成される（ステップ39）。

【0058】

作成された電子アルバムを表すデータは，クライアント・コンピュータ１から受注サーバ２に送信される。受注サーバ２において受信した電子アルバムを表すデータはプリンタ３に与えられ，アルバムがプリントされる。このようにしてアルバムが作成されると，作成されたアルバムはユーザに送られる。抽出した画像を表す画像データを受注サーバ２に送信し，受注サーバ２において電子アルバムを作成してもよい。

【0059】

分類された画像群は類似した画像の集まりであるから，あるテーマに沿った画像の集まりと考えられる。そのテーマに沿ったアルバムが作成される。撮影された画像の数は，ユーザの好みに依存していると考えられ，枚数が多い画像ほど，その画像が表す被写体に興味があると考えられる。画像群Ｇ301，Ｇ302，Ｇ303およびＧ304に含まれる画像の数に応じて画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のから抽出された画像を用いてアルバムが作成される場合，ユーザの興味のある画像が多いアルバムが作成される。また，画像の抽出の割合を変えた場合には，ユーザの好み合った画像が多いアルバムを作成できるようになる。

【0060】

［他の実施例］
図９は，他の実施例を示すもので，表示装置11の表示画面40に表示される割合変更画面の一例である。

【0061】

割合変更画面には，水平方向に伸びているグラフ60が，ＣＰＵ10（第４の表示制御手段の一例である）の制御のもとに表示されている。グラフ60には，４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304に対応した領域61，62，63および64が形成されている。これらの領域61，62，63および64の幅が，４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれの画像群から抽出する画像の割合を示している。初期状態では領域61，62，63および64の幅は，４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304に含まれている画像の数の割合に対応している。たとえば，初期状態では領域61，62，63および64の幅は，４対３対２対１となる。領域61，62，63および64には，４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれに含まれている画像の代表画像が表示されている。

【0062】

領域61と62との間に形成されている境界線71，領域62と63との間に形成されている境界線72および領域63と64との間に形成されている境界線73を，マウス17を用いて左右にドラッグして動かすことができ，これらの領域61，62，63および64の幅を変えることができる。境界線71を左側に動かすと，領域61の幅が狭くなり，領域62の幅が広くなるので，画像群Ｇ301から抽出する画像の数が少なくなり，画像群Ｇ302から抽出する画像の数が多くなる。逆に境界線71を右側に動かすと，領域61の幅が広くなり，領域62の幅が狭くなるので，画像群Ｇ301から抽出する画像の数が多くなり，画像群Ｇ302から抽出する画像の数が少なくなる。境界線72を左側に動かすと，領域62の幅が狭くなり，領域63の幅が広くなるので，画像群Ｇ302から抽出する画像の数が少なくなり，画像群Ｇ303から抽出する画像の数が多くなる。境界線72を右側に動かすと，領域62の幅が広くなり，領域63の幅が狭くなるので，画像群Ｇ302から抽出する画像の数が多くなり，画像群Ｇ303から抽出する画像の数が多くなる。同様に，境界線73を左側に動かすと，領域63の幅が狭くなり，領域64の幅が広くなるので，画像群Ｇ303から抽出する画像の数が少なくなり，画像群Ｇ303から抽出する画像の数が多くなる。逆に境界線73を右側に動かすと，領域63の幅が広くなり，領域64の幅が狭くなるので，画像群Ｇ303から抽出する画像の数が多くなり，画像群Ｇ304から抽出する画像の数が少なくなる。このようにして，画像群Ｇ301，Ｇ302，Ｇ303およびＧ304から抽出する画像の数の割合を変えることができる。

【0063】

図９に示す例では，棒状のグラフ60が表示されているが図８に示すようにスライド・バー51Ｂのような線状の一つのグラフを表示し，その一つのグラフに画像群Ｇ301，Ｇ302，Ｇ303およびＧ304から抽出する画像の数の割合を位置に応じて帰る複数のスライダを形成してもよい。その複数のスライダのそれぞれの位置に応じて画像群Ｇ301，Ｇ302，Ｇ303およびＧ304から抽出する画像の数の割合を変えることができる。さらに，円グラフを表示し，円内の領域の割合を変えることにより，画像群Ｇ301，Ｇ302，Ｇ303およびＧ304から抽出する画像の数の割合を変えるようにしてもよい。

【0064】

画像を抽出する割合が一目でわかり，その割合も比較的簡単に変えることができるようになる。

【0065】

［変形例］
表１は，画像抽出のやり方を規定している画像抽出テーブルの一例である。

【表1】

【0066】

この画像抽出テーブルは，メモリ15に記憶される。

【0067】

画像抽出テーブル指定された数の画像群Ｇ301，Ｇ302，Ｇ303およびＧ304に対応して，それぞれの画像群に含まれる画像の割合が記憶されている。また，複数の画像抽出方法にもとづいて，画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれの画像群から画像を抽出するか否かを示す情報も画像抽出テーブルに格納されている。

【0068】

抽出方法その１は，４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のすべてから画像を抽出するもので，上述のように画像の数の割合に応じた割合で４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のそれぞれから画像が抽出される。

【0069】

抽出方法その２は，画像の数の割合が０を除くしきい値以上の画像群から画像を抽出するものである。たとえば，しきい値として画像の数の割合が30％と規定されているとすると，画像の数の割合が30％以上である画像群Ｇ301およびＧ302から画像が，それらの割合に対応して４対３の割合で抽出され（１対１でもよい），画像の数の割合が30％未満である画像群Ｇ303およびＧ304からは画像が抽出されない（０で表されている）。

【0070】

抽出方法その３からその６は，４つの画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のうちのいずれかの画像群から画像を抽出するものである。抽出方法その３は，画像の割合がもっとも高い画像群Ｇ301からのみ画像を抽出し，その他の画像群Ｇ302，Ｇ303およびＧ304からは画像群を抽出しないものである。抽出方法その４は，画像の数の割合がしきい値以上（たとえば，30％以上）の画像群Ｇ301およびＧ302のうち，いずれかの一つの画像群である画像群Ｇ303から画像を抽出し，その他の画像群からは画像を抽出しない。抽出方法その５は，画像の数の割合がしきい値以上（たとえば，20％以上）の画像群Ｇ301，Ｇ302およびＧ303のうち，いずれかの一つの画像群である画像群Ｇ304から画像を抽出し，その他の画像群からは画像を抽出しない。同様に，抽出方法その６は，画像の数の割合がしきい値以上（たとえば，10％以上）の画像群Ｇ301，Ｇ302，Ｇ303およびＧ304のうち，いずれかの一つの画像群である画像群Ｇ304から画像を抽出し，その他の画像群からは画像を抽出しない。

【0071】

これらの抽出方法その１からその６のうち，いずれかの抽出方法により画像を抽出するかが，あらかじめ決められており，その方法により画像が抽出される。ユーザにより抽出方法が選択され，その選択された抽出方法にしたがって画像群Ｇ301，Ｇ302，Ｇ303およびＧ304から画像が抽出されるようにしてもよい。

【0072】

たとえば，抽出方法その２が選択されると，人物と風景とが４対３の割合で構成されるアルバムが作成される。抽出方法その３，その４，その５またはその６が選択されると，風景のアルバム，犬のアルバムまたはマンホールのアルバムが作成される。

【0073】

このようにユーザの好みにあった色々なバリエーションのアルバムが作成されるようになる。

【0074】

上述の実施例においては，クライアント・コンピュータ１を用いて画像抽出処理が行なわれているが，タブレット端末，スマートフォン，または専用の画像処理装置を利用して構成することもできる。

【0075】

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ10のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0076】

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

【0077】

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

【符号の説明】

【0078】

１：クライアント・コンピュータ，２：受注サーバ，３：プリンタ，10：ＣＰＵ，11：表示装置，12：通信装置，13：ハード・ディスク，14：ハード・ディスク・ディスク・ドライブ，15：メモリ，16：キーボード，17：マウス，18：コンパクト・ディスク・ドライブ，19：コンパクト・ディスク，20：メモリ・カード・リーダ・ライタ，21：メモリ・カード，40：表示画面，41：ウインドウ，42：決定ボタン，51Ａ：代表画像，51Ｂ：スライド・バー，51Ｃ：スライダ，52Ａ：代表画像，52Ｂ：スライド・バー，52Ｃ：スライダ，53Ａ：代表画像，53Ｂ：スライド・バー，53Ｃ：スライダ，54Ａ：代表画像，60：グラフ，61-64：領域，71-73：境界線，Ｇ１-Ｇ４：画像群，Ｇ97-Ｇ102：画像群，Ｇ149-Ｇ150：画像群，Ｇ201：画像群，Ｇ301-Ｇ304：画像群

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】