特許 7129383 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-24

(45)【発行日】2022-09-01

(54)【発明の名称】画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体

(51)【国際特許分類】

   G06F 16/583 20190101AFI20220825BHJP

   G06Q 30/06 20120101ALI20220825BHJP

【ＦＩ】

G06F16/583

G06Q30/06 330

【請求項の数】 13

(21)【出願番号】P 2019124707

(22)【出願日】2019-07-03

(65)【公開番号】P2021012427

(43)【公開日】2021-02-04

【審査請求日】2021-08-30

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001830

【氏名又は名称】東京ＵＩＴ国際特許業務法人

(72)【発明者】

【氏名】松本 徹也

(72)【発明者】

【氏名】山路 啓

(72)【発明者】

【氏名】園田 慎一郎

(72)【発明者】

【氏名】田中 伸也

(72)【発明者】

【氏名】吉澤 宏俊

【審査官】原 秀人

(56)【参考文献】

【文献】特開２００８－０９７２１３（ＪＰ，Ａ）

【文献】特開２０１８－０４５６２３（ＪＰ，Ａ）

【文献】特開２０１４－１８２６５０（ＪＰ，Ａ）

【文献】国際公開第２０１１／１６１８８９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０１２４１４５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｑ ３０／０６

(57)【特許請求の範囲】

【請求項1】

同一のイベントに関して撮影された複数の画像を記憶している記憶装置から，上記複数の画像を読み取る読取手段，および
上記読取手段によって読み取られた上記複数の画像のうち，一のユーザが撮影した第１の画像群から得られる第１の属性であって，上記一のユーザの人数よりも多い人数の他のユーザが撮影した第２の画像群から得られる第２の属性と異なる上記第１の属性を検出する属性検出手段，
を備えた画像処理装置。

【請求項2】

上記複数の画像のそれぞれから被写体を検出する被写体検出手段をさらに備え，
上記属性検出手段は，
上記第１の画像群から検出された第１の被写体から得られる第１の属性であって，上記第２の画像群から検出された第２の被写体から得られる第２の属性と異なる第１の属性を検出する，
請求項１に記載の画像処理装置。

【請求項3】

上記第１の被写体の数よりも上記第２の被写体の数の方が多い，
請求項２に記載の画像処理装置。

【請求項4】

上記複数の画像のそれぞれから主要被写体を検出する主要被写体検出手段をさらに備え，
上記属性検出手段は，
上記第１の画像群から検出された第１の主要被写体から得られる第１の属性であって，上記第２の画像群から検出された第２の主要被写体から得られる第２の属性と異なる第１の属性を検出する，
請求項１に記載の画像処理装置。

【請求項5】

上記第１の主要被写体の数よりも上記第２の主要被写体の数の方が多い，
請求項４に記載の画像処理装置。

【請求項6】

上記第１の属性は，
上記一のユーザが周期的に撮影した複数の画像から得られる，
請求項１から５のうち，いずれか一項に記載の画像処理装置。

【請求項7】

上記第１の属性は上記第１の画像群の撮影タイミングから得られ，
上記第２の属性は上記第２の画像群の撮影タイミングから得られる，
請求項１から６のうち，いずれか一項に記載の画像処理装置。

【請求項8】

上記属性検出手段によって検出された上記第１の属性にもとづいて，上記イベントについての商品またはサービスの少なくとも一方についてのイベント関連情報を報知する第１の報知手段，
をさらに備えた請求項１から７のうち，いずれか一項に記載の画像処理装置。

【請求項9】

上記属性検出手段によって検出された上記第１の属性にもとづいて決定される時期に上記イベントについての商品またはサービスの少なくとも一方についての上記イベント関連情報を報知する，
請求項８に記載の画像処理装置。

【請求項10】

上記第１の報知手段は，
上記イベント関連情報を上記一のユーザに報知する，
請求項８または９に記載の画像処理装置。

【請求項11】

読取手段が，同一のイベントに関して撮影された複数の画像を記憶している記憶装置から，上記複数の画像を読み取り，
属性検出手段が，上記読取手段によって読み取られた上記複数の画像のうち，一のユーザが撮影した第１の画像群から得られる第１の属性であって，上記一のユーザの人数よりも多い人数の他のユーザが撮影した第２の画像群から得られる第２の属性と異なる上記第１の属性を検出する，
画像処理方法。

【請求項12】

画像処理装置のコンピュータを制御するプログラムであり，かつコンピュータが読み取り可能なプログラムであって，
同一のイベントに関して撮影された複数の画像を記憶している記憶装置から，上記複数の画像を読み取らせ，
読み取られた上記複数の画像のうち，一のユーザが撮影した第１の画像群から得られる第１の属性であって，上記一のユーザの人数よりも多い人数の他のユーザが撮影した第２の画像群から得られる第２の属性と異なる上記第１の属性を検出させるように画像処理装置のコンピュータを制御するプログラム。

【請求項13】

請求項12に記載のプログラムを格納した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は，画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体に関する。

【背景技術】

【0002】

インターネットの検索サイトを用いてユーザが商品，サービスなどを検索する場合に，特定の商品名，サービス名などがわからないと，目的とする商品，サービスなどを購入するサイトにアクセスするまでに時間がかかることがある。このために，ユーザが撮影した画像を使用して商品，サービスなどの情報を取得するものがある（特許文献１）。また，店舗で買い物を行う際に，顧客の趣味嗜好に関連する情報を提供するものもある（特許文献２）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2016-9459号公報

【文献】特開2017-117362号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

クリスマスなどのイベントでは，クリスマス・ツリーを家に飾り，チキンやクリスマス・ケーキを食べたり，シャンパンなどを飲んだりする家庭が多い。しかしながら，一部の家庭では，大多数の家庭が行う過ごし方と異なる過ごし方をすることがある。そのような一部の家庭に大多数の家庭と同じように，クリスマスに，クリスマス・ツリーを飾る商品や，チキン，クリスマス・ケーキ，シャンパンなど商品などの購入を促す案内をするのみであると，そのような家庭には物足りない案内となる。先行文献１に記載のものでは，ユーザが撮影した画像を使って商品やサービスについての情報を取得するものにすぎず，ユーザの家庭が大多数の家庭と異なり固有の過ごし方をする一部の家庭の場合に，その家庭に必要な情報を得ることは考えられていない。また，先行文献２に記載のものにおいても，店舗で買い物を行う際に，顧客の趣味嗜好に関連する情報を提供するものにすぎず，ユーザの家庭が大多数の家庭と異なり固有の過ごし方をする家庭の場合に，その家庭に必要な情報を提供することは考えられていない。

【0005】

この発明は，イベントなどにおいて固有の過ごし方をするユーザに適した情報を見つけることができるようにすることを目的とする。

【課題を解決するための手段】

【0006】

この発明による画像処理装置は，同一のイベントに関して撮影された複数の画像を記憶している記憶装置から，複数の画像を読み取る読取手段，および読取手段によって読み取られた複数の画像のうち，一のユーザが撮影した第１の画像群から得られる第１の属性であって，一のユーザの人数よりも多い人数の他のユーザが撮影した第２の画像群から得られる第２の属性と異なる第１の属性を検出する属性検出手段を備えている。

【0007】

この発明は，画像処理方法も提供している。すなわち，読取手段が，同一のイベントに関して撮影された複数の画像を記憶している記憶装置から，複数の画像を読み取り，属性検出手段が，読取手段によって読み取られた複数の画像のうち，一のユーザが撮影した第１の画像群から得られる第１の属性であって，一のユーザの人数よりも多い人数の他のユーザが撮影した第２の画像群から得られる第２の属性と異なる第１の属性を検出する。

【0008】

この発明は，画像処理装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。

【0009】

また，同一のイベントに関して撮影された複数の画像を記憶している記憶装置から，複数の画像を読み取る読取手段を備え，プロセッサが，読取手段によって読み取られた複数の画像のうち，一のユーザが撮影した第１の画像群から得られる第１の属性であって，一のユーザよりも多い他のユーザが撮影した第２の画像群から得られる第２の属性と異なる第１の属性を検出する画像処理装置を提供してもよい。

【0010】

複数の画像のそれぞれから被写体を検出する被写体検出手段をさらに備えてもよい。この場合，属性検出手段は，たとえば，第１の画像群から検出された第１の被写体から得られる第１の属性であって，第２の画像群から検出された第２の被写体から得られる第２の属性と異なる第１の属性を検出する。

【0011】

第１の被写体の数よりも第２の被写体の数の方が多いことが好ましい。

【0012】

複数の画像のそれぞれから主要被写体を検出する主要被写体検出手段をさらに備えてもよい。この場合，属性検出手段は，たとえば，第１の画像群から検出された第１の主要被写体から得られる第１の属性であって，第２の画像群から検出された第２の主要被写体から得られる第２の属性と異なる第１の属性を検出する。

【0013】

第１の主要被写体の数よりも第２の主要被写体の数の方が多いことが好ましい。

【0014】

第１の属性は，たとえば，一のユーザが周期的に撮影した複数の画像から得られる。

【0015】

たとえば，第１の属性は第１の画像群の撮影タイミングから得られ，第２の属性は第２の画像群の撮影タイミングから得られる。

【0016】

属性検出手段によって検出された第１の属性にもとづいて，イベントについての商品またはサービスの少なくとも一方についてのイベント関連情報を報知する第１の報知手段をさらに備えてもよい。

【0017】

属性検出手段によって検出された第１の属性にもとづいて決定される時期にイベントについての商品またはサービスの少なくとも一方についての情報を報知してもよい。

【0018】

報知手段は，たとえば，情報を一のユーザに報知する。

【発明の効果】

【0019】

第１の属性は，イベントにおいて多くのユーザと異なる一のユーザの固有の過ごし方についての情報である。第１の属性がわかるので，イベントにおける一のユーザの固有の過ごし方が分かる。

【図面の簡単な説明】

【0020】

【図1】画像処理システムの概要である。

【図2】ストレージ・サーバの電気的構成を示すブロック図である。

【図3】ストレージ・サーバの処理手順を示すフローチャートである。

【図4】ハード・ディスクに格納されている画像の一例である。

【図5】クリスマス・イベントの画像の一例である。

【図6】ユーザの画像の一例である。

【図7】情報の送信処理手順を示すフローチャートである。

【図8】１のユーザを決定する処理手順を示すフローチャートである。

【図9】ストレージ・サーバの処理手順を示すフローチャートである。

【図10】撮影タイミングとユーザが撮影した画像との関係を示している。

【発明を実施するための形態】

【0021】

［第１実施例］
図１は，この発明の実施例を示すもので，画像処理システムの概要を示している。

【0022】

画像処理システムには，ｎ（ｎは複数）個のクライアント・コンピュータ１－ｎが含まれており，これらのｎ個のクライアント・コンピュータ１－ｎがインターネットに接続されている。また，画像処理システムには，ストレージ・サーバ10および情報提供サーバ20も含まれており，これらのストレージ・サーバ10および情報提供サーバ20のそれぞれは，ｎ個のクライアント・コンピュータ１－ｎのそれぞれとインターネットを介して通信可能である。

【0023】

クライアント・コンピュータ１－ｎはユーザが撮影した画像を表す画像ファイルをストレージ・サーバ10に送信するもので，ストレージ・サーバ10はユーザから送信された画像ファイルを受信し記憶するものである。情報提供サーバ20はユーザに情報を送信するものであるが，ストレージ・サーバ10がユーザに情報を送信してもよい。

【0024】

図１においてはｎ個のクライアント・コンピュータ１－ｎが図示されているが，１個のクライアント・コンピュータのみが画像処理システムに含まれるようにしてもよい。クライアント・コンピュータの数に関係なく，複数のユーザがクライアント・コンピュータを用いて画像データをストレージ・サーバ10にアップロードできればよい。また，クライアント・コンピュータ１－ｎの代わりにスマートフォンなどの通信機器を利用してもよい。

【0025】

また，情報提供サーバ20を利用せずに画像処理システムを構成してもよい。

【0026】

図２は，ストレージ・サーバ10の電気的構成を示すブロック図である。

【0027】

ストレージ・サーバ10（画像処理装置の一例である）の全体の動作はＣＰＵ(central processing unit)11によって統括される。

【0028】

ストレージ・サーバ10には，インターネットと接続するための通信装置12，メモリ・カード14にアクセスするためのメモリ・カード・リーダ・ライタ13，コンパクト・ディスク16に記録されているデータなどを読み取るコンパクト・ディスク・ドライブ15，ユーザから送信された画像ファイル等を記録するハード・ディスク18，およびハード・ディスク18に画像ファイルを書き込み，かつハード・ディスク18から画像ファイルを読み取るハード・ディスク・ドライブ17が含まれている。さらに，ストレージ・サーバ10には，メモリ19および表示装置19Ａも含まれている。

【0029】

コンパクト・ディスク16（可搬型記録媒体）には，ストレージ・サーバ10の動作を制御するプログラムが格納されており，コンパクト・ディスク16に記録されているプログラムがコンパクト・ディスク・ドライブ15によって読み取られて，ストレージ・サーバ10にインストールされる。プログラムはコンパクト・ディスク16から読み取られてストレージ・サーバ10にインストールされずに，インターネットなどのネットワークを介してストレージ・サーバ10において受信し，受信したプログラムがストレージ・サーバ10にインストールされるようにしてもよい。情報提供サーバ20もストレージ・サーバ10と同様に，ＣＰＵ，メモリ，通信装置などを備えている。

【0030】

この実施例は，あるイベントにおいて通常の過ごし方と異なる固有の過ごし方をしていると考えられる一のユーザを見つけ，その一のユーザに，固有の過ごし方に合う商品，サービスなどの情報を提供するものである。

【0031】

図３は，ストレージ・サーバ10の処理手順を示すフローチャートである。図３に示す処理は，一のユーザが撮影した複数の画像（第１の画像群）から第１の属性を検出し，他のユーザが撮影した複数の画像（第２の画像群）から第２の属性を検出するものである。第２の属性は必ずしも検出されなくともよい。図３に示す処理は，いつ開始されてもよいし，特定のイベントについて行われる時期よりも少し前の時期に開始されてもよい。第１の属性は，イベントの特徴とは異なる特徴であり，後述する一のユーザの画像群に固有の特徴である。第２の属性は，イベントの特徴と同じ特徴でも異なる特徴でもよく，後述する他のユーザの画像群に共通する特徴である。第１の属性と第２の属性とは異なる。

【0032】

ストレージ・サーバ10のハード・ディスク18（記憶装置の一例である）には，複数のユーザのクライアント・コンピュータ１－ｎから送信された複数の画像ファイルが格納されている。ハード・ディスク18に格納されている複数の画像ファイルが，ハード・ディスク・ドライブ17（読取手段の一例である）によって読み取られる（ステップ31）。読み取られた画像ファイルが，ＣＰＵ11によって同一イベントごとに分類される（ステップ32）。

【0033】

図４は，ハード・ディスク18に格納されている複数のユーザの画像が同一イベントごとに分類されている様子を示している。

【0034】

クリスマスのイベントの画像として画像Ｃ１からＣ120がまとめられ，ニュー・イヤー・イベントの画像として画像Ｙ１からＹｍまでがまとめられ，山登りのイベントの画像として画像Ｍ１からＭｐがまとめられている。その他のイベントについても同一イベントごとにまとめられる。

【0035】

画像ファイルのヘッダにイベントの記載がある場合にはその記載を用いて同一イベントの画像に分類したり，イベントについての画像のコンテストなどに応じて画像をユーザが応募した場合には，その応募に応じて送信された画像がそのイベントの画像として分類したり，イベントが行われる時期が決まっている場合にはその時期に撮影された画像を，そのイベントの画像として分類したりして，同一イベントごとに画像が分類される。もちろん，分類された画像がハード・ディスク18の特定の領域ごとに，分けられて記憶されるわけではなく，テーブルを作成し，そのテーブルに同一イベントの画像が分かるように画像ファイル名などが格納されてもよいし，画像ヘッダに同一イベントについての情報が記録されてもよい。同一イベントごとに画像ファイルが分類されなくとも，同一イベントについての画像ファイルを読み取ることができれば，必ずしも同一イベントごとに画像ファイルを分類する処理は必要ない。

【0036】

画像が同一イベントごとに分類されると，特定のイベント（どのイベントでもよいが，イベントに応じた時期に図３に示す処理が行われる場合には，その時期に対応したイベントが特定のイベントとなる）についての画像が，ＣＰＵ11によってユーザごとに分類される（ステップ33）。画像ファイルのヘッダにユーザ名，ユーザＩＤまたはそれらに対応するデータが記録されている場合には，ユーザ名，ユーザＩＤまたはそれらに対応するデータを利用してユーザごとに画像が分類される。画像のコンテストなどに応募した画像であれば応募者のユーザ名が分かり，そのユーザ名と画像とを関連づけるテーブルなどが作成されるので，そのようなテーブルを利用してユーザごとに画像が分類される。この場合も，もちろん，ユーザごとに分類された画像がハード・ディスク18の特定の領域ごとに，分けられて記憶されるわけではなく，テーブルを作成し，そのテーブルに同一イベントの画像がユーザごとに分かるように画像ファイル名などが格納されてもよいし，画像ヘッダに同一イベントについて同一ユーザの情報が記録されてもよい。同一イベントの同一ユーザごとに画像ファイルが分類されなくとも，同一イベントの同一ユーザについての画像ファイルを読み取ることができれば，必ずしも同一イベントの同一ユーザごとに画像ファイルを分類する処理は必要ない。

【0037】

図５は，クリスマスという同一イベントの画像がユーザごとに分けられている様子を示している。

【0038】

画像Ｃ１から画像Ｃ20，画像Ｃ21から画像Ｃ40，画像Ｃ41から画像Ｃ60，画像Ｃ61から画像Ｃ80，画像Ｃ81から画像Ｃ100および画像Ｃ101から画像Ｃ120が，それぞれユーザＵ１の画像，ユーザＵ２の画像，ユーザＵ３の画像，ユーザＵ４の画像，ユーザＵ５の画像およびユーザＵ６の画像として分類されている。クリスマス・イベントの画像はユーザＵ１からＵ６の画像のみとする。

【0039】

つづいて，同一のイベントについて，ユーザごとに分類された画像に含まれる被写体（主要被写体でもよい）がＣＰＵ11（被写体検出手段，主要被写体検出手段の一例である）によって検出される（ステップ34）。主要被写体ではなく被写体が検出される場合には，たまたま映り込んだ被写体が検出されないようにするために，画像全体の大きさに比べて一定の大きさがある被写体を検出したり，画像に含まれている人物の近くにあるような被写体，人物が触れている被写体のように人物と関連すると判断できる被写体を検出したり，そのユーザの画像に一定回数以上の頻度で写っている被写体を検出することが考えられる。一つの画像から一つの被写体のみを検出するのではなく，複数の被写体を検出することが好ましい。主要被写体を検出する場合において主要被写体かどうかは，画像のおける位置（画像の中央部分に近いほど主要被写体と捉える），被写体のピントが合っているかどうか（ピントが合っているほど主要被写体と捉える），そのユーザの画像に一定回数以上の頻度で写っているかどうか，などにより判断できる。

【0040】

図６は，クリスマスのイベントとして撮影された画像の一例である。

【0041】

図６には，ユーザＵ１の画像Ｃ１からＣ20のうちの画像Ｃ１，ユーザＵ２の画像Ｃ21からＣ40のうちの画像Ｃ21，およびユーザＵ３の画像Ｃ41から画像Ｃ60のうちの画像Ｃ41が示されている。

【0042】

ユーザＵ１の画像Ｃ１からはクリスマス・ツリーＳ１およびケーキＳ２が検出され，ユーザＵ２の画像Ｃ21からもクリスマス・ツリーＳ21およびケーキＳ22が検出されている。ユーザＵ３の画像Ｃ41からは自転車Ｓ41およびサイクル・キャップＳ42が検出されている。ユーザＵ１の画像Ｃ１からＣ20のうち，画像Ｃ１以外の画像Ｃ２からＣ20についても同様に被写体が検出され，ユーザＵ２の画像Ｃ21からＣ40のうち，画像Ｃ21以外の画像Ｃ22からＣ40についても同様に被写体が検出され，ユーザＵ３の画像Ｃ41からＣ60のうち，画像Ｃ41以外の画像Ｃ42からＣ60についても同様に被写体が検出される。また，ユーザＵ１，Ｕ２およびユーザＵ３以外のユーザＵ４からＵ６までの画像についても同様に被写体が検出される。

【0043】

同一イベントについての複数のユーザＵ１からＵ６のすべての画像Ｃ１からＣ120の中から被写体が検出されると，同一イベントについての複数のユーザＵ１からＵ６のうち，特定の被写体を撮影したユーザの割合がしきい値(第１のしきい値。例えば，50％)未満のユーザが一のユーザとされる（ステップ35）。そして，そのようにして決定された一のユーザが撮影していた特定の被写体が第１の被写体となる。たとえば，自転車またはサイクル・キャップがユーザＵ１，Ｕ２，Ｕ４，Ｕ５およびＵ６の画像からは検出されずに，ユーザＵ３の画像から検出された場合には，ユーザＵ３は一人であり同一イベントの複数のユーザＵ１からＵ６の６人であるから，自転車またはサイクル・キャップを撮影したユーザの割合（本実施例の場合，1/6=16.7%）はしきい値未満となる。ゆえに，自転車またはサイクル・キャップが第１の被写体となり，ユーザＵ３が一のユーザとなる。しきい値は他の値としてもよい。また，被写体の代わりに主要被写体を検出してもよい。主要被写体かどうかは，画像における配置位置，たとえば，中心に近ければ主要被写体と捉える，ピントが合っていれば主要被写体と捉える，画像全体に対する大きさが一定以上であれば主要被写体と捉えるなどによりＣＰＵ11によって判断される。

【0044】

このようにして検出された被写体（主要被写体）は，そのイベントでは撮影されることが珍しい被写体（主要被写体）である。そのような珍しい被写体（主要被写体）を撮影するユーザは，そのイベントにおいて一般的に行われる過ごし方と異なる過ごし方を行っていると考えられる。

【0045】

上記において1人のユーザの同一イベントにおける画像のうち，1枚でも特定の被写体が検出された場合には，その特定の被写体が「検出された」とした。しかし，そのユーザの画像の数に対して，検出された被写体が出現する割合が第２のしきい値（第２のしきい値は，たとえば，10パーセントである。第２のしきい値は第１のしきい値と別の値としてよい）以上の場合に限って，その特定の被写体が「検出された」として，上記のようにユーザの割合を算出することとしてもよい。たまたま，特定のユーザが珍しい過ごし方をして，珍しい被写体が画像に写ってしまった場合に，そのような珍しい被写体にもとづいて一のユーザを決定してしまうのを未然に防止できる。上述した例であれば，ユーザＵ３の画像Ｃ41からＣ60の20の画像のうち，「自転車」または「サイクル・キャップ」が検出された画像の数が2以上であれば，ユーザＵ３の画像において「自転車」または「サイクル・キャップ」が検出されたと判断するが，「自転車」または「サイクル・キャップ」が検出された画像の数がいずれも2未満であれば，「自転車」および「サイクル・キャップ」のいずれも検出されなかったと判断する。

【0046】

同様に，同一イベントについての複数のユーザＵ１からＵ６のうち，特定の被写体を撮影したユーザの割合がしきい値(例えば，50％)以上のユーザが他のユーザとされる（ステップ35）。そして，そのようにして決定された他のユーザが撮影していた特定の被写体が第２の被写体となる。たとえば，クリスマス・イベントにおいて「クリスマス・ツリー」，「ケーキ」など被写体が，しきい値以上の割合の数のユーザの画像から検出された場合には，それらの「クリスマス・ツリー」，「ケーキ」などが第２の被写体の一例となる。

【0047】

上述したように，自転車またはサイクル・キャップがユーザＵ１，Ｕ２，Ｕ４，Ｕ５およびＵ６の画像からは検出されずに，ユーザＵ３の画像から検出された場合には，ユーザＵ３は一人であり同一イベントの複数のユーザＵ１からＵ６の６人であるから，ユーザＵ３が一のユーザであり，ユーザＵ１，Ｕ２，Ｕ４，Ｕ５およびＵ６が他のユーザとなる。

【0048】

一のユーザと他のユーザとがＣＰＵ11によって決定されると，一のユーザの画像である第１の画像群から検出された「自転車」および「サイクル・キャップ」（上述のように第１の被写体の一例である）からＣＰＵ11（属性検出手段の一例である）によって第１の属性が検出され，かつ他のユーザの画像である第２の画像群から検出された「クリスマス・ツリー」および「ケーキ」（上述のように第２の被写体の一例である）からＣＰＵ11によって第２の属性が検出される（ステップ37）。第１の属性と第２の属性とは，上述のように，同一イベントにおいて撮影された画像から得られる特徴のうち，互いに異なる特徴を表すものである。第１の属性は第１の被写体そのものでもよいし，第２の属性も第２の被写体そのものでもよいし，第１の被写体または第２の被写体に関連するものでもよい。たとえば，第１の被写体が「自転車」および「サイクル・キャップ」であれば第１の属性を「サイクリング」とし，第２の被写体が「クリスマス・ツリー」および「ケーキ」であれば第２の属性を「クリスマス」としてもよい。

【0049】

図７は，検出された第１の属性にもとづく情報を一のユーザに送信する処理手順を示すフローチャートである。図７に示す処理は，図３に示す処理が終了したことに応じて開始してもよいし，特定のイベントの時期の少し前の時期に開始してもよい。

【0050】

検出された第１の属性からＣＰＵ11によって商品，サービスが決定される（ステップ41）。商品は，たとえば，第１の属性を検出するために用いられた第１の被写体そのものである。たとえば，第１の被写体として「自転車」，「サイクル・キャップ」が検出されたとすると，商品として「自転車」，「サイクル・キャップ」が決定される。サービスは，たとえば，第１の属性を検出するために用いられた第１の被写体に関するサービスである。たとえば，第１の被写体として「自転車」，「サイクル・キャップ」が検出されたとすると，それらの販売サービス，レンタル・サービス，買取サービス，メンテナンス・サービス，それらを用いたレジャーなどについてのサービス（自転車を利用した旅行，サイクリングのイベントへの招待の提案）のなどである。

【0051】

商品，サービスが決定すると，それらの商品，サービスについての情報を送信する時期がＣＰＵ11によって決定される（ステップ42）。商品，サービスが決定した時が送信時期としてもよいし，特定のイベントの時期から少し前の時期に決定してもよい。送信時期となると（ステップ43でＹＥＳ），決定した商品，サービスについての情報が，通信装置12（報知手段の一例である）によって，ストレージ・サーバ10から一のユーザのクライアント・コンピュータに送信される（ステップ44）。

【0052】

一のユーザに適した特有の情報を，一のユーザが知るようになる。特定のイベント時に，一のユーザは，特定のイベントに対応する一般的な情報とは異なり，一のユーザに特有の情報を知ることができるので，情報に対する一のユーザの満足度が向上する。また，一のユーザが他のユーザとは異なる過ごし方をしているという情報を，通信装置12によって一のユーザに知らせるようにしてもよい。

【0053】

図７に示す処理では，ストレージ・サーバ10から一のユーザのクライアント・コンピュータに，商品，サービスについての情報を送信しているが，ストレージ・サーバ10から一のユーザのクライアント・コンピュータに情報を送信せずに，ストレージ・サーバ10から情報提供サーバ20に情報を送信し，情報提供サーバ20から一のユーザのクライアント・コンピュータに情報を送信するようにしてもよい。一のユーザの送信先は，一のユーザからストレージ・サーバ10に画像ファイルを送信したときにストレージ・サーバ10において送信元を記憶することにより分かる。

【0054】

図８は，一のユーザを決定する他の処理手順を示すフローチャートである。

【0055】

上述したように，同一イベントを撮影した全ユーザに対する，ある特定の被写体(第１の被写体)を撮影したユーザの割合が，しきい値未満であると（ステップ51でＹＥＳ），その特定の被写体（主要被写体）が，そのイベントごとに周期的に撮影されているかどうかがＣＰＵ11によって判断される（ステップ52）。ある特定の被写体（主要被写体）を含む画像の撮影日を読み取り，イベントが行われるごとに撮影される画像に，その特定の被写体が一定の頻度以上の割合で含まれていれば周期的に撮影されているとＣＰＵ11によって判断される。

【0056】

ある特定の被写体（主要被写体）が，そのイベントごとに周期的に撮影されているとＣＰＵ11によって判断されると（ステップ52でＹＥＳ），その特定の被写体（主要被写体）を含む画像群のユーザが一のユーザとＣＰＵ11によって決定される（ステップ53）。これにより，第１の属性は一のユーザが周期的に撮影した複数の画像から得られるようになる（図３ステップ37）。

【0057】

たとえば，クリスマス・イベントの画像において，ある年にたまたまサイクリングをしたので画像から「自転車」の被写体が検出されたが，通常はクリスマス・イベントにはサイクリングをしないでクリスマス・ツリーを飾ってケーキを食べるという過ごし方をしている場合に，たまたまサイクリングをした画像から「自転車」の被写体を検出し，その「自転車」の被写体から第１の属性を検出してしまうことが未然に防止できる。イベントが周期的に行われる場合に有効となる。

【0058】

第１実施例によると，イベント時における一般的に過ごし方と異なる固有の過ごし方をしている一のユーザを，一のユーザが撮影した画像に含まれる被写体から見つけ，その一のユーザに適した商品，サービスなどの情報を一のユーザに知らせることができる。

【0059】

［第２実施例］
図９は，他の実施例を示すもので，ストレージ・サーバ10の処理手順を示すフローチャートである。図９のフローチャートは図３のフローチャートに対応している。

【0060】

図３に示す処理と同様に，ストレージ・サーバ10のハード・ディスク18からハード・ディスク・ドライブ17によって画像ファイルが読み取られ（ステップ61）。ＣＰＵ11によって同一イベントごとに画像ファイルが分類される（ステップ62）。また，図５に示したものと同様に，ＣＰＵ11によってユーザごとに同一イベントについての画像ファイルが分類される（ステップ63）。

【0061】

つづいて，同一イベントについてユーザごとに分類された画像ファイルによって表される画像の撮影タイミングが，ＣＰＵ11によってユーザごとに検出される（ステップ64）。第１実施例のクリスマスなどのようにイベントの時期が決まっている場合は，そのイベントにおいてユーザが撮影する画像のタイミングを検出する必要はない。一方，「山登り」などのようなイベントのように，必ずしもイベントの時期が決まっていないイベントにおいては多くのユーザがイベントを行うと思われる時期（たとえば，イベントが「山登り」であれば夏の時期）以外にも，特定のユーザは他の時期（たとえば，イベントが「山登り」であれば春の時期）にイベントを行うことがある。このために，画像の撮影タイミングがＣＰＵ11によってユーザごとに検出される。

【0062】

図10は，山登りのイベントについての画像をユーザごとに撮影タイミングに従って分布させたものである。

【0063】

横軸が撮影タイミング（画像の撮影月），縦軸がユーザを示している。山登りのイベントを撮影したユーザは，ユーザＵ11からユーザＵ15までの５人であったものとする。バツ印がユーザＵ11からユーザＵ15によって撮影された画像を示している。

【0064】

ユーザＵ11が撮影した画像は，画像グループｇ11として表されており，撮影タイミングはほぼ７月に集まっている。ユーザＵ12が撮影した画像は，画像グループｇ12として表されており，撮影タイミングは７月から８月にかけて集まっている。ユーザＵ13が撮影した画像，画像グループｇ13として表されており，撮影タイミングは７月および８月に集まっている。ユーザＵ14が撮影した画像は，画像グループｇ14として表されており，撮影タイミングは４月から５月に集まっている。ユーザＵ15が撮影した画像は，画像グループｇ15として表されており，撮影タイミングは８月に集まっている。

【0065】

撮影タイミングが検出された同一イベントを撮影したユーザＵ11からＵ15のうち，特定のタイミングで撮影したユーザの割合がしきい値(第１のしきい値。例えば，50％)未満のユーザがＣＰＵ11によって一のユーザとされる（ステップ65）。たとえば，しきい値は，たとえば，50パーセントであるが，他の値としてもよい。

【0066】

たとえば，同一のイベントが山登りであり，図10に示すように，ユーザＵ11からＵ15により撮影された画像のうち，画像グループｇ14(第１の画像群の一例である)を構成する画像が春の時期（たとえば，４月および５月）に撮影されたものであり，画像グループｇ11，ｇ12，ｇ13およびｇ15(第２の画像群の一例である)を構成する残りの画像が夏の時期（たとえば，７月および８月）に撮影されたものであったとする。春の時期のタイミングで撮影したユーザはユーザＵ14であり，夏の時期のタイミングで撮影したユーザはユーザＵ11，Ｕ12，Ｕ13およびＵ15である。春の時期のタイミングで撮影したユーザはユーザＵ14の１人であり，夏の時期のタイミングで撮影したユーザはユーザＵ11，Ｕ12，Ｕ13およびＵ15の４人であるから，同一イベントの画像を撮影した全ユーザＵ11からＵ15に対する春の時期のタイミングで撮影したユーザＵ14の割合(本実施例の場合，１/５＝20％)はしきい値未満となる。ゆえに，春の時期のタイミングで撮影した画像のユーザＵ14が一のユーザとなる。

【0067】

このようにして検出された撮影タイミングは，そのイベントで撮影される時期としては珍しいとＣＰＵ11によって判断される。そのような時期にそのイベント（たとえば，山登り）を行うユーザは，そのイベントが一般的に行われる時期と異なる時期にイベントを行っていると考えられる。

【0068】

それぞれのユーザの画像の数に対して，第２のしきい値(例えば，50％であるが，第１のしきい値と異なる値でもよい)以上の画像が撮影されたタイミングを，そのユーザの撮影タイミングとしてもよい。たまたま，特定のユーザが珍しい時期にイベントを行っただけの場合に，そのような時期にたまたま撮影された少ない画像にもとづいて一のユーザが決定してしまうのを未然に防止できる。

【0069】

同様に，同一イベントについての複数のユーザＵ11からＵ15のうち，特定のタイミングで撮影したユーザの割合のしきい値(第１のしきい値。例えば50％)以上のユーザがＣＰＵ11によって他のユーザとされる（ステップ66）。たとえば，図10においてユーザＵ11，Ｕ12，Ｕ13およびＵ15は夏の時期のタイミングで山のイベントの画像を撮影しており，その割合は４/５＝80％であるから，ユーザＵ11，Ｕ12，Ｕ13およびＵ15が他のユーザとされる。第２の画像群は，上述のように画像グループｇ11，ｇ12，ｇ13およびｇ15である。

【0070】

一のユーザ（たとえば，ユーザＵ14）と他のユーザ（たとえば，ユーザＵ11，Ｕ12，Ｕ13およびＵ15）とがＣＰＵ11によって決定されると，一のユーザの画像である第１の画像群（たとえば，画像グループｇ14）から検出された撮影タイミング（たとえば，４月および５月）からＣＰＵ11によって第１の属性が検出され，かつ他のユーザの画像である第２の画像群（たとえば，画像グループｇ11，ｇ12，ｇ13およびｇ15）から検出された撮影タイミング（たとえば，７月および８月）からＣＰＵ11によって第２の属性が検出される（ステップ67）。第１の属性と第２の属性とは，同一イベントにおいて撮影された画像から得られる特徴のうち，互いに異なる特徴を表すものである。第１の属性は第１の撮影タイミングそのものでもよいし，第２の属性も第２撮影タイミングそのものでもよい。

【0071】

このようにして，イベントを行う時期が他のユーザと異なる一のユーザが分かると，図７を参照して説明したように，そのイベントを行う時期に適した時期に，一のユーザにイベントについての情報を送信できる（ステップ44）。もちろん，そのような情報はストレージ・サーバ10から一のユーザに送信するのではなく，ストレージ・サーバ10と異なる情報提供サーバ20から一のユーザに送信してもよい。

【0072】

撮影タイミングは撮影月に限らず，撮影年，撮影日，撮影時刻，四季などの季節にしたがって決まる撮影シーズンなどでもよい。また，検出した第１の属性および第２の属性のうち，少なくとも第１の属性を表示装置19Ａに表示してもよい。

【0073】

第２実施例によると，イベントの過ごし方が固有の一のユーザではなく，イベントを行う時期が固有の一のユーザを見つけることができ，そのような一のユーザに適した時期に情報を知らせることができる。

【0074】

上述の第１実施例および第２実施例のいずれにおいても，画像処理システムの管理者は，ユーザの画像を解析すること，解析結果にもとづいてユーザに商品，サービスなどについての情報を送信することを，ユーザから承諾を得る。また，上述のように，ストレージ・サーバ10，情報提供サーバ20から，ユーザに商品，サービスについての情報を送信してもよいが，これらの情報を画像処理システムの管理者と異なる管理者のシステムから送信する場合には，得られた情報を画像処理システムの管理者と異なる管理者に，得られた情報を引き渡すことについてユーザの承諾を得る。引き渡す情報はユーザの電子メール・アドレスなど必要最小限の情報とする。さらに，ユーザの画像を解析して得られた被写体についての情報などを画像処理システムについての提携企業に提供するような場合については，ユーザについての情報，ユーザを特定できるような情報は提供しないし，ユーザを特定できないように匿名化して行い，ユーザから承諾を得るものとする。

【0075】

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ11のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0076】

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

【0077】

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

【符号の説明】

【0078】

１－ｎ：コンピュータ，10：ストレージ・サーバ，11：ＣＰＵ，12：通信装置，13：メモリ・カード・リーダ・ライタ，14：メモリ・カード，15：コンパクト・ディスク・ドライブ，16：コンパクト・ディスク，17：ハード・ディスク・ドライブ，18：ハード・ディスク，19：メモリ，19Ａ：表示装置，20：情報提供サーバ，Ｃ１－Ｃ120：クリスマス・イベントの画像，Ｙ１－Ｙｍ：ニュー・イヤー・イベントの画像，Ｍ１－Ｍｐ：山登りの画像，Ｓ１：クリスマス・ツリー，Ｓ２：クリスマス・ケーキ，Ｓ21：クリスマス・ツリー，Ｓ22：クリスマス・ケーキ，Ｓ41：自転車，Ｓ42：サイクル・キャップ，Ｕ１－Ｕ６：ユーザ，Ｕ11－Ｕ15：ユーザ，ｇ11－ｇ15：画像グループ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】