特許 6790451 画像処理装置、画像処理システム、画像処理方法、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6790451

(24)【登録日】2020年11月9日

(45)【発行日】2020年11月25日

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、プログラムおよび記録媒体

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20201116BHJP

   G06T 1/00 20060101ALI20201116BHJP

【ＦＩ】

   G06Q30/02 398

   G06T1/00 340A

【請求項の数】20

【全頁数】24

(21)【出願番号】特願2016-98413(P2016-98413)

(22)【出願日】2016年5月17日

(65)【公開番号】特開2017-207840(P2017-207840A)

(43)【公開日】2017年11月24日

【審査請求日】2019年3月8日

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】柿沼 明宏

(72)【発明者】

【氏名】相▲崎▼ 友保

【審査官】 田上 隆一

(56)【参考文献】

【文献】 特開２０１４−２２５０６１（ＪＰ，Ａ）

【文献】 特開２０１３−０１１９３４（ＪＰ，Ａ）

【文献】 特開２０１５−０２２５６１（ＪＰ，Ａ）

【文献】 特開２０１４−１１５９５１（ＪＰ，Ａ）

【文献】 特開２０１６−０２４４７１（ＪＰ，Ａ）

【文献】 総決算２０１３年、コレが正解！，Ｍｒ．ＰＣ，日本，株式会社晋遊舎，２０１３年１１月２２日，第５巻 第１号，ｐ．８５

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

顧客ごとに蓄積された画像データを分析し、前記画像データの被写体の特徴量に基づいて、前記被写体を認識して前記被写体ごとの注目度を決定する画像分析部と、
決定された前記注目度に基づいて前記顧客の特性を推定する顧客特性推定部と、
前記特性に基づいて前記顧客に発行する広告を決定する広告決定部と
を有することを特徴とする画像処理装置。

【請求項2】

前記広告が発行された後の前記顧客の行動情報を取得する顧客行動情報取得部と、
前記行動情報に基づいて広告を決定する方法を変更する広告決定方法変更部と
を有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記特性の推定は、前記認識の結果と前記顧客の行動履歴や購入履歴に代表されるプロフィール情報に基づいて行われる
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記特性の推定は、前記顧客の画像データが新規に入力される度に行われ、前記特性が更新される
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項5】

前記特性の推定は、定期的に行われ、前記特性が更新される
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項6】

前記特性は、人属性、家族構成、生活環境、趣味、嗜好、関心事のいずれかまたは複数を含む
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項7】

前記画像分析部は、前記被写体が人であるか否か、人である場合は性別および年齢、人でない場合は種類のいずれかまたは複数を認識する
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項8】

前記広告は、前記特性の推定結果を細分化したカテゴリーと、前記顧客または前記顧客と関係の深い人物に関する推定情報とに基づいて、広告情報が蓄積されたデータベースから決定される
ことを特徴とする請求項２に記載の画像処理装置。

【請求項9】

前記変更の方法は、前記広告を決定するために参照される前記カテゴリーを変更することにより行われる
ことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記変更の方法は、前記顧客特性推定部によって推定された前記特性の重要度の序列を変更することにより行われる
ことを特徴とする請求項２に記載の画像処理装置。

【請求項11】

前記重要度は、前記特性を推定する元となる前記被写体のサイズ、位置またはエッジ情報に基づいて決定される
ことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記広告は、宣伝広告および／またはクーポン券である
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項13】

前記広告は、印刷物および／または電子データとして前記顧客に発行される
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項14】

前記行動情報は、前記広告を入手した前記顧客による前記広告の使用状況に関する情報である
ことを特徴とする請求項２に記載の画像処理装置。

【請求項15】

前記変更は、前記顧客が前記広告を利用しなかった場合、もしくは前記顧客が前記広告に提示された商品を購入しなかった場合に実行される
ことを特徴とする請求項２に記載の画像処理装置。

【請求項16】

前記画像データを利用してフォトブックを作成するフォトブック作成部と、
前記広告と前記フォトブックを印刷する印刷部と
を有することを特徴とする請求項１または２に記載の画像処理装置。

【請求項17】

ネットワークを介して接続された画像処理装置とデータベースとを備える画像処理システムであって、
前記画像処理装置は、
顧客ごとに前記データベースに蓄積された画像データを分析し、前記画像データの被写体の特徴量に基づいて、前記被写体を認識して前記被写体ごとの注目度を決定する画像分析部と、
決定された前記注目度に基づいて前記顧客の特性を推定する顧客特性推定部と、
前記特性に基づいて前記顧客に発行する広告を決定する広告決定部と
を有することを特徴とする画像処理システム。

【請求項18】

顧客ごとに蓄積された画像データを分析し、前記画像データの被写体の特徴量に基づいて、前記被写体を認識して前記被写体ごとの注目度を決定する画像分析手順と、
決定された前記注目度に基づいて前記顧客の特性を推定する顧客特性推定手順と、
前記特性に基づいて前記顧客に発行する広告を決定する広告決定手順と
を画像形成装置が実行することを特徴とする画像処理方法。

【請求項19】

コンピュータに、
顧客ごとに蓄積された画像データを分析し、前記画像データの被写体の特徴量に基づいて、前記被写体を認識して前記被写体ごとの注目度を決定する画像分析手順と、
決定された前記注目度に基づいて前記顧客の特性を推定する顧客特性推定手順と、
前記特性に基づいて前記顧客に発行する広告を決定する広告決定手順と
を実行させることを特徴とするプログラム。

【請求項20】

請求項１９に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、画像処理方法、プログラムおよび記録媒体に関する。

【背景技術】

【0002】

広告ビジネスは、広告の効果によって商品および店舗の魅力を伝え、集客力を向上させることを狙っている。一般的には広告自体にも費用が掛かるため、なるべく少ない費用で大きな効果を生むような施策が必要となる。

【0003】

近年では、インターネット上の通販サイトが発展し、仮想店舗による商品販売が普及しているが、広告効果を利用して集客力（サイト訪問数）を上げるという基本的な狙いは変わっていない。

【0004】

広告の費用対効果を向上させる施策の一つとして、客層または個人に最適化された広告を配信する方法が挙げられる。客層または個人に最適化された広告を配信できれば、顧客にとって興味の低い（的外れな）広告配信を削減でき、顧客に対する広告のヒット率を向上させることが可能になる。

【0005】

例えば、特許文献１に係るシステムによれば、ＰＯＳ（販売時点情報管理）システムと広告情報等を印刷出力可能な画像形成システムと、さらに統計処理部とを組み合わせている。これにより、商品情報・顧客属性情報・特典利用情報に関する統計処理を可能にして、広告主が顧客に対してより適した情報を提供でき、より大きな広告効果が得られるように改善できる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した顧客属性情報を用いた手法は、顧客に対してより適した広告を提供できる利点はあるが、顧客属性情報は顧客自身で入力するため、顧客に対する作業負荷が発生してしまうという問題がある。また、顧客属性情報の内容が変更される度に、該情報を更新する必要も生じるため、常時最新の情報を維持するのは困難である。

【0007】

また、顧客が入力できる顧客属性情報数には限度があるため、前記情報に関する統計処理を行ったとしても、広告効果の向上度合いはある一定以上は期待できないものと推測される。

【0008】

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、顧客への負担がなく、自動的に多様な顧客関連情報を抽出でき、顧客関連情報に基づいて顧客に最適な広告を提供することにある。

【課題を解決するための手段】

【0009】

上記の課題を解決するため、本発明にあっては、顧客ごとに蓄積された画像データを分析し、前記画像データの被写体の特徴量に基づいて、前記被写体を認識して前記被写体ごとの注目度を決定する画像分析部と、決定された前記注目度に基づいて前記顧客の特性を推定する顧客特性推定部と、前記特性に基づいて前記顧客に発行する広告を決定する広告決定部とを有する。

【発明の効果】

【0010】

本発明にあっては、顧客への負担がなく、自動的に多様な顧客関連情報を抽出でき、顧客関連情報に基づいて顧客に最適な広告を提供することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る画像処理装置の機能構成を例示する図である。

【図2】顧客情報ＤＢのデータ構造を例示する図である。

【図3】広告ＤＢのデータ構造を例示する図である。

【図4】変更情報ＤＢのデータ構造を例示する図である。

【図5】顧客行動情報ＤＢのデータ構造を例示する図である。

【図6】画像処理装置のハードウェア構成を例示する図である。

【図7】画像処理装置が実行する全体処理を示すフローチャートを例示する図である。

【図8】画像分析部における画像分析処理のフローチャートを例示する図である。

【図9】顧客画像データと抽出された被写体情報を例示する図である。

【図10】人属性（ａ）と被写体種類（ｂ）の重要度のグラフを例示する図である。

【図11】顧客特性推定部による顧客特性推定結果を例示する図である。

【図12】顧客特性推定結果と発行広告候補の対応表を例示する図である。

【図13】発行広告を選定するための前処理結果を例示する図である。

【図14】決定された広告内容を例示する図である。

【図15】広告決定方法の変更内容を決める処理のフローチャートを例示する図である。

【図16】第２の実施形態に係る画像処理装置の機能構成を例示する図である。

【図17】第２の実施形態に係るフォトブック作成処理のフローチャートを例示する図である。

【発明を実施するための形態】

【0012】

以下、本発明の好適な実施形態について、図面を用いて詳細に説明する。

【0013】

〔第１の実施形態〕
＜画像処理装置の機能構成＞
図１は、第１の実施形態に係る画像処理装置１００の機能構成を例示する図である。図１に示す様に、第１の実施形態に係る画像処理装置１００は、画像分析部１０５、顧客特性推定部１０６、広告決定部１０７、顧客行動情報取得部１０８、広告決定方法変更部１０９を有する。

【0014】

画像処理装置１００は、ネットワークを介して顧客情報ＤＢ（Database）１０１、広告ＤＢ１０２、変更情報ＤＢ１０３、顧客行動情報ＤＢ１０４と接続されている。なお、前記ＤＢ群（１０１〜１０４）の一部または全ては共通のＤＢを利用してもよい。前記ネットワークは、例えば有線および／または無線回線などのデータ伝送路およびインターフェイス部により構築される。

【0015】

顧客情報ＤＢ１０１には、主に顧客が撮影した画像データが蓄積される。顧客情報ＤＢ１０１は大容量の記憶装置であり、インターネット等を経由して、デジタルカメラ、携帯端末、スマートフォン等の撮影機器で撮影した画像データ、さらにはスキャナ機器等によって取り込まれた画像データを記憶することができる。顧客情報ＤＢ１０１に蓄積された画像データは、顧客ごとに管理され、顧客ＩＤやパスワードを入力することでアクセス可能となる。顧客情報ＤＢ１０１には画像データ以外に顧客に関する情報も記憶でき、画像分析部１０５による分析結果や顧客特性推定部１０６による推定結果等を顧客ごとに格納する。

【0016】

図２は顧客情報ＤＢ１０１のデータ例を示しており、顧客ａ、ｂについて、画像データと画像分析結果と顧客特定推定結果とを保持している場合について示している。顧客ａについては、画像ａ１、ａ２、ａ３等が保持され、それぞれに対応付けられて分析結果ａ１、ａ２、ａ３が保持されている。顧客特性推定結果は、個々の画像ではなく、顧客に対応付けられている。なお、顧客特性推定結果は、画像データの追加により更新される。

【0017】

本実施形態では、顧客画像データが多く集まれば集まるほど、対象顧客に関する嗜好等の特性推定の精度が向上すると考えられるため、顧客画像データ量が重要となる。顧客画像データを多く集めるには、顧客に画像データを積極的に蓄積してもらう動機付けが必要となるが、該動機付けとしては、例えば以下が考えられる。

【0018】

１つは、顧客が自前でサーバを所有しなくとも、大量の画像をストレージできる点にある。１箇所に画像を格納することができるので、画像が行方不明になる心配がなく管理しやすくなる。

【0019】

もう１つは、他の特徴となっている点でもあるが、顧客が画像データを蓄積するだけで、例えば定期的に、該顧客に対して有効な広告やクーポン券などが送信される点にある。この場合、広告仲介業者や広告主自体が顧客情報ＤＢ１０１の管理者となる。

【0020】

また、顧客がＳＮＳ（Social Networking Service）等のコミュニティ・サイトに画像を多く掲載している場合には、該顧客が前記サイトへのアクセスを許可することで、前記サイト上に掲載されている画像を自動的に顧客情報ＤＢ１０１に取り込むようにしてもよい。この場合、顧客が顧客情報ＤＢ１０１に画像データを入力する手間を大幅に低減できる。

【0021】

図１に戻り、広告ＤＢ１０２には、様々な広告やクーポン券の情報が格納されており、カテゴリーごとに管理されている。図３は広告ＤＢ１０２のデータ例を示しており、生活環境情報および趣味嗜好カテゴリーで管理された広告・クーポン情報が保持されている。広告ＤＢ１０２の内容の詳細については後述する。なお、広告ＤＢ１０２の内容は適宜に改訂が可能であり、広告主による入れ替え等によっても内容が変更される。

【0022】

図１に戻り、変更情報ＤＢ１０３には、対象顧客に対する広告決定方法の変更内容が保持される。広告決定方法とは、どのように広告決定を行うかという基準ないしは手順等である。図４は変更情報ＤＢ１０３のデータ例を示しており、顧客ａに対して変更の有無を示す情報（フラグ）、顧客ａの趣味・嗜好・関心事情報の夫々における、（１）現在の重要度の総和（ｐｔ）、（２）現在の趣味嗜好カテゴリーの位置が保持されている例を示している。

【0023】

図１に戻り、顧客行動情報ＤＢ１０４には、広告発行後の顧客行動（該顧客による広告使用の有無等）の情報が保持される。図５は顧客行動情報ＤＢ１０４のデータ例を示しており、顧客ａについて、発行広告・クーポンＡ、Ｂの内容と、その広告・クーポンに対する顧客の行動結果が保持されている。

【0024】

＜画像処理装置のハードウェア構成＞
画像処理装置１００は、汎用コンピュータ上で実装することができる。しかしながら、特に限定されるものではなく、他の機能を付加することで、例えば、複合機、プリンタ、ＤＦＥ（Digital Front End）、オフセット印刷機など、画像データの処理を実行する各種装置として用いることができる。

【0025】

また、第１の実施形態に係る画像処理装置１００が有する機能は、各処理手順を、画像処理装置１００にあったプログラミング言語でコード化したプログラムとしてコンピュータで実行することで実現することができる。画像処理装置１００を実現するためのプログラムは、コンピュータが読み取り可能な記録媒体に格納することができる。

【0026】

第１の実施形態に係るプログラムは、フロッピー（登録商標）ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）等の記録媒体に記憶させることによって、これらの記録媒体から、画像処理装置１００にインストールすることができる。また、画像処理装置１００は、インターネット等の電気通信回線を介して、第１の実施形態に係るプログラムをダウンロードし、インストールすることもできる。

【0027】

図６は画像処理装置１００のハードウェア構成を例示する図である。図６において、画像処理装置１００は、バス１７を介して相互に接続されたＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３を備えている。また、画像処理装置１００は、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）１４、接続Ｉ／Ｆ（Interface）１５、通信Ｉ／Ｆ１６を備えている。ＣＰＵ１１は、ＲＡＭ１３をワークエリアとしてＲＯＭ１２またはＨＤＤ／ＳＳＤ１４等に格納されたプログラムを実行することで、画像処理装置１００の動作を統括的に制御する。接続Ｉ／Ｆ１５は、画像処理装置１００に接続される機器とのインタフェースである。通信Ｉ／Ｆ１６は、ネットワークを介して他の情報処理装置と通信を行うためのインタフェースである。

【0028】

図１で説明した画像処理装置１００の機能は、ＣＰＵ１１において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。処理に際して参照・更新されるデータは、ＲＡＭ１３またはＨＤＤ／ＳＳＤ１４に保持される。

【0029】

＜画像処理装置の処理フロー＞
以下では、画像処理装置１００が前記ＤＢ群（１０１〜１０４）とのデータの授受を行いながら、顧客に最適化された広告を決定し、前記顧客による前記広告の利用情報に基づいて広告決定方法が変更されるまでを行う全体処理における各部の処理内容について説明する。なお、画像処理に使用するデータ等と併せて説明する。

【0030】

図７は、第１の実施形態に係る画像処理装置１００による処理の一例を示すフローチャートである。図７において、顧客情報ＤＢ１０１に画像データが入力されると、前記入力を合図にステップＳ１０１において、画像分析部１０５が前記入力された画像データを取得する。なお、１つの画像データが追加された場合のほか、所定の時間間隔で１または複数の画像データが入力された場合等に処理を行ってもよい。

【0031】

ステップＳ１０１において顧客画像データが取得されると、画像分析部１０５が前記顧客画像データを分析して、該画像中の被写体認識を実行する。

【0032】

≪顧客画像データ分析による被写体認識≫
図８は、画像分析部１０５が顧客画像データの被写体認識を行う処理の一例を示すフローチャートである。まずステップＳ１２１において、顧客情報ＤＢ１０１に入力された画像データから１つの画像データが取得される。以下、取得された１画像データを分析対象画像と呼ぶ。

【0033】

次にステップＳ１２２では、前記入力された画像データ以外の前記対象顧客の画像データにおいて画像分析部１０５による分析が行われた実績がある場合に、該過去の分析が行われた画像データ中に前記分析対象画像と類似した画像があるかどうかを判定する。該判定は、既存の類似画像抽出技術を用いることで実現できる。例えば、比較される画像間の類似度を前記画像対の対応画素間の画素値差分を累積することで算出するテンプレートマッチング法や、画像中の被写体から形状や輝度情報の特徴を取り出し、該特徴点のマッチングを行う手法等が挙げられる。

【0034】

ステップＳ１２２における前記判定によって、前記分析対象画像と類似した画像が存在し、すでに前記類似画像の分析実績があると判定されると、ＹＥＳ側のフローに従って、ステップＳ１３０に進む。ステップＳ１３０では、前記類似画像の過去の分析結果を取得し、該分析結果と同じ結果を前記分析対象画像の分析結果として顧客情報ＤＢ１０１に記憶して（ステップＳ１３１）、ステップＳ１３２に進む。分析結果の詳細については後述する。

【0035】

つまり、ステップＳ１２２における前記判定は、前記入力された画像データの分析負荷を軽減するための手段であり、既に類似の画像が分析されているのであれば、該類似画像の分析結果を流用するという工程に当たる。

【0036】

ステップＳ１２２において、前記分析対象画像の類似画像の分析は過去に行われたことがないと判定されたら、次にステップＳ１２３に進み、前記分析対象画像に写っている被写体を抽出する。画像中の被写体抽出方法としては、局所領域の特徴とその位置関係を確率モデルで表現する方法等が提案されている。

【0037】

ステップＳ１２３では、前記分析対象画像から抽出された被写体に夫々注目度を付与する。前記注目度は、被写体の大きさ、画像中の位置、合焦度合いなどの特徴量によって総合的に決められる定量値であり、顧客にとっての該被写体の価値（重要度）を示すような指標となる。前述した特徴量の場合、例えば被写体の大きさが大きいと注目度が高くなったり、画像の中で中央に位置するほど注目度が高くなったり、ピントが合っている（つまりエッジが鮮明である）と注目度が高くなったりする。このように特徴量と注目度の関係を定量的にルール化しておくことで、抽出された被写体ごとに顧客にとっての価値（重要度）が数値化できる。前記特徴量の種類はこれらに限らない。

【0038】

以上により、ステップＳ１２３において、前記分析対象画像から被写体を抽出し、前記被写体の注目度を被写体ごとに定めることが可能となる。そして、前記分析対象画像から抽出された被写体を注目度の高い順に序列付けたら、ステップＳ１２４とＳ１２５（変数Ｎの計算）を経て、ステップＳ１２６に進む。

【0039】

ステップＳ１２６では、ステップＳ１２３で決められた前記序列が高いほうからＮ番目の被写体情報を、該被写体を含む画像データとして取得する。

【0040】

図９は、顧客画像データ１０から抽出された被写体情報（１〜３）の事例を示す図である。図９の事例では、画像分析部１０５により顧客画像データ１０から３つの被写体情報（１〜３）が抽出される。前記被写体情報（１〜３）の大きさや位置等の特徴量に基づいて、前記被写体情報（１〜３）の注目度が夫々求められ、図９の事例では被写体情報１、被写体情報２、被写体情報３の順で、注目度が高い順に序列が付けられる。

【0041】

図８に戻り、ステップＳ１２７では、ステップＳ１２６で取得された前記被写体画像データから顔検出を行う。該顔検出により、人の顔が検出されたら、該被写体は「人」であるとみなされ、次のステップＳ１２８で前記被写体である人物の人属性が認識される。ステップＳ１２７で行われた前記顔検出により、人の顔が検出されなかったら、該被写体は「人以外」であるとみなされ、ステップＳ１２９で被写体の種類が認識される。前記人属性や前記被写体種類の認識方法としては、統計的機械学習による手法があり、例えば画像中の局所的な特徴の組合せによって画像の照合を行う方法等が提案されている。

【0042】

ステップＳ１２７で顔検出を行い、「人」と「人以外」に分けているのは、人属性と被写体種類の認識において使用する学習データが夫々異なるためであり、予め「人」と「人以外」に分けることによって、認識の演算負荷を低減させる狙いがある。ステップＳ１２８で認識する人属性とは、性別や年齢（年齢層）をはじめとして、人種、肌の日焼け具合、髪型、髪の色、髭の有無、化粧の有無や特徴、メガネや装飾品（帽子やピアス等）の有無、顔の形状的な特徴などが挙げられる。

【0043】

ステップＳ１２９における被写体の種類の認識は、まず大分類の項目に分けてから、小分類化する方法を提示するが、それに限定されるものではない。例えば、大分類を「動物」とすると、小分類は小型犬、大型犬、猫、馬などと分類される。その他、大分類を「乗り物」とすると、小分類は車、バイク、自転車などとなり、大分類を「風景」とすると、小分類は山、海、夜景、雪景色などと分類される。さらには、同一画像から抽出された被写体情報を統合的に分析することで、「イベント」を認識することも可能であり、その小分類としては運動会、結婚式、発表会などが挙げられる。

【0044】

以上により、ステップＳ１２８およびＳ１２９において、Ｎ番目の注目度の被写体情報から人属性または被写体の種類が認識されると、次にステップＳ１３１において、前記被写体の認識結果が前記被写体の注目度と紐付けて記憶される。

【0045】

図９の事例では、被写体情報１はステップＳ１２７で顔が検出され、ステップＳ１２８において人属性が「女性／４〜１２才」であると認識される。被写体情報２と被写体情報３はステップＳ１２７で顔が検出されず、ステップＳ１２９において被写体認識がされて、被写体情報２は「車」、被写体情報３は「山・自然」と認識される。

【0046】

図８に戻り、ステップＳ１３２に進み、前記被写体の次に注目度の高い被写体情報がある場合には、ステップＳ１２５（Ｎ＝Ｎ＋１）を経て、ステップＳ１２６に戻り、次に注目度の高い被写体情報を取得して、ステップＳ１２７からステップＳ１３２までの処理を実行する。

【0047】

ステップＳ１３２において、次に注目度の高い被写体情報がない場合（つまり、前記分析対象画像から抽出された全ての被写体情報において人属性または被写体種類の認識が完了した場合）、次にステップＳ１３３に進む。ただし、前記分析対象画像から抽出された全ての被写体情報に対して、上述した被写体認識処理を行わなくてもよい。例えば、所定の閾値よりも注目度が低い被写体情報については（分析する価値が無いものとして）前記被写体認識処理をスキップして、次のステップＳ１３３に進んでもよい。

【0048】

ステップＳ１３３に進んだ時点で、前記分析対象画像の被写体認識が完了となり、前記分析対象画像から抽出された被写体の人属性または種類が前記被写体の注目度とセットで記憶されたことになる。

【0049】

ステップＳ１３３では、前記入力された画像データの全てにおいて被写体認識が完了したかどうかを判定する。まだ被写体認識が完了していない画像データがある場合には、ステップＳ１２１に戻り、次の画像データを１つ取得して、被写体認識の全体処理（Ｓ１２１〜Ｓ１３３）を実行する。

【0050】

ステップＳ１３３において、前記入力された全ての画像データの被写体認識が完了したと判断されれば、画像分析部１０５による顧客画像データの被写体認識処理は完了となる。

【0051】

≪顧客特性の抽出≫
図７に戻り、ステップＳ１０１において、画像分析部１０５による顧客画像データの被写体認識が完了すると、次にステップＳ１０２において、顧客特性推定部１０６による対象顧客の特性が推定される。前記顧客特性とは、対象顧客の趣味・嗜好や関心事、顧客の家族構成や生活環境等、前記対象顧客の個性・感性・特徴などを特定した情報である。前記対象顧客の特性推定は、画像分析部１０５によって認識された前記対象顧客の画像データに写っている被写体の人属性や種類、さらには該被写体の注目度に基づいて行われる。

【0052】

図１０は、（ａ）人属性ごとの重要度と（ｂ）被写体種類ごとの重要度を例示したグラフである。ここで前記重要度は、画像分析部１０５によって求められた各人属性ごとまたは各被写体種類ごとの注目度の累積である。つまり、顧客画像データから種類の異なる被写体が同数認識されたとしても、夫々の被写体において注目度が異なれば、夫々の被写体種類の重要度には差異が発生することを示す。例えば、顧客画像データから被写体種類Ａと被写体種類Ｂが同数認識され、被写体種類Ａの注目度の方が常に被写体種類Ｂの注目度よりも高いような場合には、該顧客にとっては被写体種類Ａの方が重要視されているとみなされ、累積としての重要度は被写体種類Ａの方が高くなる。

【0053】

前記重要度の計算に使う注目度は、過去に遡り、対象顧客の全ての画像データに対して求められた（記憶された）注目度を使用する。この際、画像データの埋め込み情報（ＥＸＩＦ等）から撮影日を読み取り、撮影日が新しい画像データの被写体ほど、ウェイトが大きくなる係数をさらに積算してもよい。前記顧客特性は、該顧客の環境変化に応じて時間と共に変化する場合があるため、新しい画像データの情報を重視し、顧客にとっての重要度が常にリフレッシュされた情報となるように更新されることを示している。

【0054】

図１０（ａ）は、被写体情報から認識された人属性ごとの重要度を例示したグラフであり、ここでは人属性として性別と年齢層が示されている。人属性としては（先述したように）これらに限定されるものではない。年齢層の区分けもこの事例に限らないが、細分化されている方が好ましい。棒グラフの右側に添えた数値（８１ｐｔ等）が、各属性の重要度となる。ここでは重要度の単位にポイント（ｐｔ）を使用しているが、これに限らない（単位は無くてもよい）。

【0055】

図１０（ａ）の事例では、対象顧客にとって重要視される人属性としては、重要度の高い方から、女性／４〜１２才（81pt）、男性／０〜３才（68pt）、女性／２０〜３４才（45pt）、男性／２０〜３４才（28pt）、男性／５０才以上（6pt）、女性／５０才以上（5pt）となっている。

【0056】

図中の破線は閾値を示しており、例えば、これより重要度が低い人属性は情報としては無視できるものとし、以降の顧客特性の推定には利用しないとしてもよい。図１０（ａ）の事例では、前記閾値は、人属性の最大値の２０％としており、ここでは１６．２ｐｔと設定している。そのため、「男性／５０才以上」と「女性／５０才以上」およびそれ以下の重要度の人属性は無視することになる。なお、前記閾値は、経験則によって変更することもできる。また、重要度を予め規格化（例えば、最大値が１．０になるように各重要度を変換等）することもできる。この場合は、前記閾値は例えば２０％といった固定値にすることもできる。なお、前記閾値は、処理負荷の低減のために設定しており、状況に応じて無くしてもよい。

【0057】

図１０（ｂ）の事例では、対象顧客にとって重要視される被写体種類としては、重要度の高い方から、小型犬（９０ｐｔ）、車（７４ｐｔ）、運動会（５２ｐｔ）、山・自然（４２ｐｔ）、テント（３８ｐｔ）、発表会（３１ｐｔ）、結婚式（５ｐｔ）となっている。図中の破線は閾値を示しており、例えば、これより重要度が低い被写体種類は情報としては無視できるものとし、以降の顧客特性の推定には利用しないとしてもよい。図１０（ｂ）の事例では、前記閾値は、被写体種類の最大値の２０％としており、ここでは１８ｐｔと設定している。人属性の閾値と被写体種類の閾値は同じである必要はない。これにより、「結婚式」およびそれ以下の重要度の被写体種類は無視することになる。前記閾値は、経験則によって変更することもできる。また、重要度を予め規格化（例えば、最大値が１．０になるように各重要度を変換等）することもできる。この場合は、前記閾値は例えば２０％といった固定値にすることもできる。なお、前記閾値は、処理負荷の低減のために設定しており、状況に応じて無くしてもよい。

【0058】

以上により、閾値よりも重要度の高い４つの人属性情報と６つの被写体種類情報を用いて、顧客特性推定部１０６は、対象顧客の特性を推定する。

【0059】

図１１は、図１０で選定された４つの人属性情報と６つの被写体種類情報から、対象顧客の特性を推定した結果の事例を示す図である。図１１（ａ）は、対象顧客の家族構成や生活環境を推定した結果の事例であり、図１１（ｂ）は、対象顧客の趣味・嗜好や関心事を推定した結果の事例である。

【0060】

図１０（ａ）で重要度の高いと判定された４つの人属性情報（女性／４〜１２才、男性／０〜３才、女性／２０〜３４才、男性／２０〜３４才）を分析すれば、高い確度で４名は家族である可能性が高いと判断される。また、図１０（ｂ）で重要度の高いと判定された被写体種類の１つに「小型犬」があることから、該小型犬は前記家族のペットである可能性が高いと判断される。従って、図１１（ａ）に示す様に、対象顧客の家族構成および生活環境として、１つは「対象顧客は４人家族の構成である」こと、もう１つは「ペットとして小型犬を飼っている」ことが推定される。

【0061】

また、図１０（ｂ）で重要度の高いと判定された６つの被写体種類情報からは、以下の分析も成り立つ。「車」の重要度が高いことからは、対象顧客はドライブ（車の運転）を趣味としている可能性が高いと判断される。「小型犬」と「運動会」と「発表会」の重要度が高いことからは、対象顧客はペットや子供の記録に関心が高い可能性があると判断される。「山・自然」と「テント」の重要度が高いことからは、対象顧客はアウトドア活動を趣味としている可能性が高いと判断される。従って、図１１（ｂ）に示す様に、対象顧客の趣味・嗜好および関心事として、１つは「対象顧客はドライブが好きである」こと、１つは「ペットや子供の記録に関心が高い」こと、もう１つは「アウトドア活動が好きである」ことが推定される。

【0062】

これらの推定は、被写体情報または被写体情報の組合せ等から顧客特性を導く教師データを保有しておくことで、機械学習を応用した手法で実現可能となる。教師データは常時更新可能であり、学習量を強化することで推定精度を向上させることもできる。

【0063】

第１の実施形態に係る顧客特性推定部１０６では、推定された対象顧客の趣味・嗜好・関心事を、さらに細分化した「趣味嗜好カテゴリー」を複数用意する。顧客特性の推定が終わると、推定された顧客特性情報から、該対象顧客向けの広告を決定するステップとなるが、顧客特性推定部１０６によって推定された情報が粗いと適正な広告決定ができない場合があるため、予め細分化したカテゴリーを用意しておくのが狙いである。細分化しても、顧客に最適な広告を決定（提供）できるとは限らないが、広告発行後の顧客行動（該顧客による広告使用の有無等）をフィードバックすることで、該顧客向けの趣味嗜好カテゴリーをシフト（変更）し、広告のヒット率を向上させていくのが本発明の特徴となる。

【0064】

例えば、「車」という被写体種類情報から、趣味として「ドライブ」が推定された場合、該対象顧客は、車の運転自体が好きなのか、車で旅行に行くことが好きなのかまでは断定できない。趣味が「車の運転自体」の場合と「旅行」の場合とでは、提供すべき広告も違ってくることは明らかである。従って、図１１（ｂ）に示す様に、例えば趣味・嗜好として「ドライブ」が推定された場合には、その細分化として「（１）車の運転」、「（２）旅行」などといったカテゴリーを用意する。例えば「ペットや子供の記録の関心が高い」と推定された場合には、その細分化として「（１）カメラ」、「（２）記録の整理」などといったカテゴリーを用意する。例えば趣味・嗜好として「アウトドア活動」が推定された場合には、その細分化として「（１）登山」、「（２）キャンプ」、「（３）釣り」などといったカテゴリーを用意する。

【0065】

以上による前記対象顧客の特性推定は、画像分析部１０５によって認識された前記対象顧客の画像データに写っている被写体の人属性や種類、さらには該被写体の注目度に基づいて行われる。しかし、推定精度を向上させるために、前記対象顧客の通販利用等における購買履歴情報やインターネット上の閲覧履歴情報等を含めて複合的に推定してもよい。

【0066】

≪顧客に発行する広告の決定≫
図７に戻り、ステップＳ１０２において、顧客特性推定部１０６による顧客特性の推定が完了すると、次にステップＳ１０３に進む。ステップＳ１０３では、対象顧客に対する広告決定方法の変更の有無を確認するが、該広告決定方法の変更については後述するため、ここでは前記変更が無い場合として、ＮＯ側のフローに従ってステップＳ１０５に進む。

【0067】

ステップＳ１０５では、顧客特性推定部１０６によって推定された顧客特性情報に基づいて、広告決定部１０７が、前記対象顧客に最適だと思われる広告を決定する。ここで言う「広告」とは、商品・サービスや店舗等の広告（宣伝）だけではなく、特定の商品やサービスに対する特典を受けられるクーポン券なども含む。

【0068】

図１２は、対象顧客の推定された特性情報と、該対象顧客に発行する広告内容の関係を例示する対応表である。該対応表は、広告ＤＢ１０２に格納されており、広告決定部１０７がステップＳ１０５において広告決定の処理を行う際に、広告決定部１０７によって参照される。

【0069】

前記対応表は、顧客特性推定部１０６によって推定された家族構成・生活環境情報（以下、生活環境情報と記載）と趣味・嗜好・関心事情報（以下、趣味嗜好情報と記載）のマトリクス構成になっている。前記趣味嗜好情報については、細分化された趣味嗜好カテゴリー（前述）にまで区分けされており、前記生活環境情報の各情報と前記趣味嗜好カテゴリーの各カテゴリーとの組合せによって、対象顧客に対して決定される候補となる広告情報が記録されている。例えば、趣味嗜好カテゴリーが「車の運転」であっても、生活環境情報として、独身者と既婚者と子供／０〜３才（乳幼児）では最適な広告情報が異なるであろうと考えられる。図１２の事例では、独身者には新型スポーツカーの広告、既婚者には新型ハイブリッドカーの広告やタイヤ交換のクーポン券、乳幼児がいる場合には、チャイルドシートや車内用玩具の広告が設定されている。趣味嗜好カテゴリーと生活環境情報の全ての組合せ（マトリクス）に対して、相応しい広告が存在するとは限らないので、相応しい広告がない組合せ部には「−」が記載されている。

【0070】

図１２で例示する様な対応表は、例えば、広告仲介業者や広告主らによって作成および記録されるものであるが、画像処理装置１００による処理結果が蓄積されると、前記処理結果の情報に応じて、より効果的で洗練された対応表に更新することができる。ただし、ある対象顧客に対して、顧客特性推定部１０６によって推定された顧客推定情報が多岐に渡る場合、図１２に例示した対応表から発行する広告を無作為に決定していくと、大量の広告量になってしまい、結局膨大な広告コストが掛かってしまう恐れがある。これでは、本実施形態の狙いから逸脱してしまう。そのような事態を避けるために、前記対象顧客に対して、より効果が高い広告に絞り込む必要がある。ここでは、対象顧客に対して、より効果が高い広告を選定する方法を、図１０に示した重要度の事例と図１１に示した顧客特性推定結果の事例とを使い、図１３を用いて説明する。

【0071】

図１３は、図１２と同じ対応表であるが、図１１で示した顧客特性推定結果に相当する情報欄に、該顧客特性を推定するための元情報となった被写体の重要度の総和が記載されている。例えば、趣味嗜好情報の「ドライブ」列には、元情報となった「車」の重要度７４ｐｔが記載されている。「アウトドア活動」列には、元情報となった「山・自然」の重要度４２ｐｔと「テント」の重要度３８ｐｔを足した計８０ｐｔが記載されている。「ペットや子供の記録」列には、元情報となった「運動会」の重要度５２ｐｔと「発表会」の重要度３１ｐｔを足した計８３ｐｔが記載されている。（「ペットや子供の記録」の元情報としては「小型犬」も含まれるが、該「小型犬」に関しては家族構成・生活環境側の情報となるので除外されるルールとした。）
一方、例えば、生活環境情報の「既婚者」行には、元情報となった「女性／２０〜３４才」の重要度４５ｐｔと「男性／２０〜３４才」の重要度２８ｐｔを足した計７３ｐｔが記載されている。「子供（４〜１２才）」行には、元情報となった「女性／４〜１２才」の重要度８１ｐｔが記載されている。「子供（０〜３才）」行には、元情報となった「男性／０〜３才」の重要度６８ｐｔが記載されている。「小型犬」行には、そのまま小型犬の重要度９０ｐｔが記載されている。

【0072】

さらに、趣味嗜好情報と生活環境情報の組合せ（マトリクス）に対し、前記重要度の総和の夫々を積算した結果が図１３の表中に記載されている。例えば、「ドライブ」列と「既婚者」行の交差部には「新型ハイブリッドカー」等の記載があるが、ドライブの重要度総和（７４ｐｔ）と既婚者の重要度総和（７３ｐｔ）の積算重要度５４０２ｐｔが併記されている。同様に、「ドライブ」列と「子供（０〜３才）」行の交差部には積算重要度５０３２ｐｔが、「ドライブ」列と「小型犬」行の交差部には積算重要度６６６０ｐｔが併記されている。「ドライブ」列と「子供（４〜１２才）」行の交差部は、広告情報が無いため（「−」の表記）、積算重要度は記載しないルールとした。その他としては、「ペットや子供の記録」列と「既婚者」行の交差部の積算重要度が６０５９ｐｔ、「アウトドア活動」列と「既婚者」行の交差部の積算重要度が５８４０ｐｔ、「アウトドア活動」列と「子供（４〜１２才）」行の交差部の積算重要度が６４８０ｐｔとなる。

【0073】

図１４は、前記積算重要度のポイントが高い順に、そこに該当する広告内容を併記した表、さらには前記表に基づいて決定された広告を例示した図である。仮に、対象顧客に対する広告の発行数が３つまでと決まっている場合、図１４に例示する表から積算重要度が高い順に３つの広告を決定すればよい。図１４の事例では、積算重要度が２番目に高い広告内容と、積算重要度が４番目に高い広告内容が類似しているため（同じ登山用品の子供用と大人用の違い）、これらはまとめて１つの広告として発行することにした。以上により、対象顧客に発行する３つの広告をＡ、Ｂ、Ｃとすると次のようになる。Ａは小型犬運搬キャリアや車内犬用マットなどの「車用ペット関連商品の広告および／またはクーポン券」であり、Ｂは「登山関連商品の広告および／またはクーポン券」であり、Ｃは「デジタルカメラの広告および／またはクーポン券」と決定できる。

【0074】

以上により、ある対象顧客に関して推定された顧客推定情報が多岐に渡る場合においても、決められた広告発行数に応じて、前記対象顧客に対して最も有効であると考えられる広告内容を負荷なく適正に決定することが可能となる。

【0075】

≪広告の発行≫
図７に戻り、ステップＳ１０５において、広告決定部１０７が対象顧客に発行する広告を決定すると、ステップＳ１０６に進み、前記対象顧客に対し、前記決定された広告が発行される。ここで言う「広告」とは、商品・サービスや店舗等の広告（宣伝）だけではなく、特定の商品やサービスに対する特典を受けられるクーポン券なども含む。

【0076】

前記広告の発行は、紙媒体等に印刷したものを前記対象顧客に郵送等で発送する。または、前記対象顧客に対して電子情報としてインターネットを経由して発送してもよい。また、前記広告を特定できるＩＤ等をＥメール等で送信し、前記対象顧客がコンビニ等の店舗設置型のプリンタで前記ＩＤ等を認証させて前記広告を印刷できるようにしてもよい。前記広告の発行方法としては、これらに限らない。

【0077】

≪顧客行動情報の取得≫
ステップＳ１０６により、前記対象顧客に対して、広告決定部１０７が決定した前記広告が発行されると、前記広告を入手した前記対象顧客が前記広告に関連した行動を開始する。前記行動としては、様々なパターンがある。例えば、前記対象顧客が前記広告に誘発され、前記広告に提示された商品を購入したり、前記広告がクーポン券の場合には該クーポン券を利用して、対象となる商品やサービスを購入（または享受）したりするパターンがある（これをパターン１とする）。前記パターン１は、第１の実施形態に係る広告決定部１０７が決定した広告が、前記対象顧客に適切にヒットしたことを示す。

【0078】

相反して、前記対象顧客が前記広告に誘発されずに、前記広告やクーポン券を利用しないパターンもあり得る（これをパターン２とする）。前記パターン２は、前記対象顧客に発行された広告が、前記対象顧客に対して適切ではなかったことを示し、顧客特性推定部１０６による顧客特性の推定や広告決定部１０７による広告の決定等がうまく行かなかったものと推測できる。

【0079】

また、前記対象顧客が前記広告に誘発され、前記広告の広告主となる店舗等に行ったものの、提示した商品とは異なる商品を購入するパターンがあり得る（これをパターン３とする）。前記パターン３は、顧客特性推定部１０６による前記対象顧客の顧客特性の推定結果は妥当であったと考えられるが、具体的な広告内容（提示する商品やサービス等）を決定する工程に問題があったものと推測できる。

【0080】

発行された広告を入手したあとの、前記パターン１〜３の事例を含む様々な対象顧客の行動結果（行動内容）は、前記対象顧客における前記広告に関連した顧客行動情報として、顧客行動情報ＤＢ１０４に蓄積される。

【0081】

前記顧客行動情報の収集は、例えば以下のような方法によってなされる。

【0082】

例えば、発行された広告がクーポン券である場合には、前記クーポン券に発行先の顧客や該クーポン情報が識別できるＩＤ等を付与しておくことで、広告主の店舗等でクーポン券の使用状況が把握でき、前記使用状況を顧客行動情報ＤＢ１０４に発信かつ記憶することができる。

【0083】

クーポン券ではない広告が発行されたとしても、前記広告の発行元である店舗等が対象顧客に対して前記対象顧客が識別できる店舗カード（サービスカード）等を発行していれば、前記店舗カードを利用して、前記対象顧客の前記店舗に対する行動（購入履歴等）が把握できる。前記店舗カードが前記対象顧客に発行されていなくとも、前記対象顧客が新規に前記店舗を訪れて商品購入等をする際に、前記対象顧客に紐付けられた前記店舗カードを登録かつ発行することで、前記行動情報を取得可能となる。

【0084】

以上のように、ステップＳ１０６によって発行された広告を対象顧客が入手し、前記発行された広告に対して前記対象顧客が行動した顧客行動情報が顧客行動情報ＤＢ１０４に蓄積されると、次にステップＳ１０７に進む。ステップＳ１０７において、顧客行動情報取得部１０８が顧客行動情報ＤＢ１０４から前記対象顧客の前記顧客行動情報を取得する。

【0085】

≪広告決定方法の変更≫
ステップＳ１０７において、対象顧客の顧客行動情報が取得されると、次にステップＳ１０８〜Ｓ１１０のフローに従って、広告決定方法変更部１０９が、前記顧客行動情報に基づいて、前記対象顧客に対する広告決定方法の変更内容を決める処理を行う。

【0086】

図１５は、広告決定方法変更部１０９が、前記対象顧客に対する前記広告決定方法の変更内容を決め、該変更内容を変更情報ＤＢ１０３に格納する処理フローの一例を示す図である。図１５は、図７におけるステップＳ１０８〜Ｓ１１０をより詳細に示した処理フローである。

【0087】

以下、図１５の処理フローを、図１４で例示した広告事例を参照しながら説明する。図１４の事例では、対象顧客に対して３つの広告が決定される。前記３つの広告の事例は、車用ペット関連商品の広告やクーポン券（広告Ａ）、登山関連商品の広告やクーポン券（広告Ｂ）、デジタルカメラの広告やクーポン券（広告Ｃ）である。

【0088】

図１５に戻り、ステップＳ１４１において、顧客行動情報取得部１０８が顧客行動情報ＤＢ１０４から対象顧客の顧客行動情報を取得する。ここで、前記対象顧客の前記顧客行動情報は、図１４に示した前記３つの広告（広告Ａ、広告Ｂ、広告Ｃ）を入手したあとの前記３つの広告に関する顧客行動情報とする。

【0089】

ステップＳ１４１において、前記顧客行動情報が取得されると、ステップＳ１４２とＳ１４３（変数Ｎの計算）を経て、ステップＳ１４４に進み、広告決定方法変更部１０９による、前記対象顧客に対する広告決定方法の変更内容を決める処理が行われる。

【0090】

ステップＳ１４４では、Ｎ枚目の広告やクーポン券が、前記対象顧客によって利用されたかどうかを判定する。図１４の事例では、１枚目の広告やクーポン券を広告Ａ（車用ペット関連商品の広告やクーポン券）、２枚目の広告やクーポン券を広告Ｂ（登山関連商品の広告やクーポン券）、３枚目の広告やクーポン券を広告Ｃ（デジタルカメラの広告やクーポン券）とする。

【0091】

顧客行動情報取得部１０８により取得された、前記対象顧客のＮ枚目の広告に関する顧客行動情報により、前記対象顧客が前記Ｎ枚目の広告を利用したことが分かれば、ＹＥＳ側のフローに従ってステップＳ１４８に進む。この場合、決定された広告が前記対象顧客によって適切に使用されたので、前記広告に関する広告決定方法を変更する必要はないと判断される。

【0092】

逆に、前記対象顧客が前記Ｎ枚目の広告を利用しなかったことが分かれば、ＮＯ側のフローに従ってステップＳ１４５に進む。

【0093】

ステップＳ１４５では、広告決定部１０７が前記Ｎ枚目の広告を決定する元となった前記対象顧客の趣味嗜好情報における趣味嗜好カテゴリーのシフト（変更）が可能かどうかを判定する。つまり、図１３の対応表において、例えば趣味嗜好情報の「ドライブ」列では、現状は趣味嗜好カテゴリーとして「車の運転」を設定して広告を決定しているが、該「車の運転」カテゴリーの右側に次の趣味嗜好カテゴリーが存在するか否かを確認する。図１３の事例では、該「車の運転」カテゴリーの右側には、「旅行」カテゴリーが存在するため、前記趣味嗜好カテゴリーのシフト（変更）は可能になる。同様に、趣味嗜好情報の「ペットや子供の記録」列については、「カメラ」カテゴリーの右側には「記録の整理」カテゴリーが存在する。趣味嗜好情報の「アウトドア活動」列については、「登山」カテゴリーの右側には「キャンプ」カテゴリー、さらにその右側には「釣り」カテゴリーが存在する。

【0094】

上記の事例のように、前記Ｎ枚目の広告を決定する元となった趣味嗜好カテゴリーの次の趣味嗜好カテゴリーが存在する場合、前記対象顧客に対する広告を決定するための趣味嗜好カテゴリーを前記次の趣味嗜好カテゴリーへとシフト（変更）する。

【0095】

一方、ステップＳ１４５において、前記Ｎ枚目の広告を決定する元となった趣味嗜好カテゴリーの次の趣味嗜好カテゴリーが存在しないと判定された場合、その上位にあたる趣味嗜好情報に設定された重要度総和をゼロ（または現状より小さいポイント）に変更する。つまり、前記Ｎ枚目の広告を決定する元となった趣味嗜好情報において、全ての趣味嗜好カテゴリーを当てはめたとしても前記対象顧客に対して適切な広告が決定できなかったということで、顧客特性推定部１０６によって推定された趣味嗜好情報自体が適正でなかった可能性がある。そのため、該趣味嗜好情報の重要度を下げる処置を行う。

【0096】

例えば、図１４の広告Ａの事例について説明する。ステップＳ１４４において、１枚目の広告Ａが対象顧客によって使用されなかったと判定された場合、広告Ａを決定する現状の趣味嗜好カテゴリーが「車の運転」である場合には、広告決定の趣味嗜好カテゴリーを新規に「旅行」にシフトする。広告Ａを決定する現状の趣味嗜好カテゴリーが「旅行」である場合には、次のカテゴリーが存在しないため、上位の趣味嗜好情報（ドライブ）に対する重要度総和をゼロ（または現状より小さいポイント）に変更する。広告Ａを決定する趣味嗜好カテゴリーが「車の運転」から次の「旅行」に変更される場合、図１３の事例では、広告Ａの広告内容は、「車用ペット関連商品」から「ペット同伴可能の宿」等に変わる。

【0097】

広告決定方法変更部１０９において、前記Ｎ枚目の広告に対する広告決定方法の変更の有無、変更がある場合には該変更方法が決定すると、次にステップＳ１４８に進む。

【0098】

ステップＳ１４８では、前記対象顧客に対して発行した全ての広告に対して広告決定方法の変更の有無、もしくは該変更方法について処理がされたかどうかを判定する。まだ前記処理がされていない広告があれば、（ＹＥＳのフローの従って）Ｓ１４３（Ｎ＝Ｎ＋１）を経由してステップＳ１４４に戻る。

【0099】

前記全ての広告に対して前記処理がされたら、次にステップＳ１４９において、前記全ての広告に対する広告決定のための変更内容（変更の有無を含む）を前記対象顧客と紐付けて変更情報ＤＢ１０３に格納する。その際に、前記対象顧客に対して広告決定方法の変更がある場合には、前記対象顧客に対して広告決定方法の変更があることを知らせるための情報を記録しておく（フラグを立てておく）ことが望ましい。

【0100】

以上により、図７におけるステップＳ１０８〜Ｓ１１０の処理がなされ、図７で例示した第１の実施形態に係る画像処理装置１００による一連の処理が完了する。

【0101】

≪広告決定方法の変更の反映≫
次に図７のステップＳ１０３に戻り、広告決定方法の変更を反映する方法について説明する。

【0102】

ステップＳ１０３では、広告決定部１０７が、対象顧客に対する広告決定方法の変更の有無を確認する。広告決定部１０７が変更情報ＤＢ１０３において、前記対象顧客に対して広告決定方法の変更があることを知らせるための情報（前記フラグ）を見い出すと、前記対象顧客に対する広告決定方法の変更があることが分かる。そのため、変更情報ＤＢ１０３から、前記対象顧客に対する広告決定方法の変更情報を取得する。

【0103】

広告決定部１０７は、前記取得した広告決定方法の変更情報に基づいて、前記対象顧客に対する広告変更方法を変更して、前記対象顧客に発行する広告を決定する。

【0104】

以上のように、広告決定方法変更部１０９によって決められた広告決定方法の変更を、広告決定部１０７による広告決定処理に反映させることで、前記対象顧客に対し、より最適化された広告を決定することができ、広告のヒット率を向上することが可能となる。

【0105】

以上で説明した様に、第１の実施形態に係る画像処理装置１００によれば、顧客による情報入力を必要とせず、多様な顧客関連情報（属性や嗜好等）を自動抽出でき、前記顧客関連情報に基づいて前記顧客に適した広告やクーポン券を発行できる。さらに、発行された前記広告やクーポン券の前記顧客による利用状況をフィードバックすることで、前記顧客に対する広告効果を大きく向上することが可能となる。

【0106】

〔第２の実施形態〕
次に、第２の実施形態について図面に基づいて説明する。なお、第１の実施形態と同一の構成または処理については、説明を省略する場合がある。

【0107】

＜画像処理装置の機能構成＞
図１６は、第２の実施形態に係る画像処理装置２００の機能構成を例示する図である。図１６に示す様に、第２の実施形態に係る画像処理装置２００は、画像分析部１０５、顧客特性推定部１０６、広告決定部１０７、顧客行動情報取得部１０８、広告決定方法変更部１０９、フォトブック作成部１１０を有する。

【0108】

画像処理装置２００は、ネットワークを介して顧客情報ＤＢ１０１、広告ＤＢ１０２、変更情報ＤＢ１０３、顧客行動情報ＤＢ１０４、印刷部１１１と接続されている。印刷部１１１は、画像処理装置２００の一部であってもよい。

【0109】

ここで、画像分析部１０５、顧客特性推定部１０６、広告決定部１０７、顧客行動情報取得部１０８、広告決定方法変更部１０９、および前記ＤＢ群（１０１〜１０４）については、第１の実施形態と同一構成または機能のため、説明を省略する。画像処理装置２００のハードウェア構成についても第１の実施形態と同一であるため、説明を省略する。

【0110】

第２の実施形態に係る画像処理装置２００は、第１の実施形態に係る画像処理装置１００に対し、フォトブック作成部１１０と印刷部１１１を有する点が異なる。

【0111】

図１７において、フォトブック作成部１１０と印刷部１１１に関連した処理について説明する。

【0112】

＜フォトブック作成＞
図１７は、顧客画像データを用いてフォトブックを作成し、対象顧客に対して前記フォトブックを広告と共に発行する処理フローの一例を示す図である。

【0113】

顧客情報ＤＢ１０１に顧客画像データが入力されると、前記入力を合図にステップＳ２０１において、画像分析部１０５が前記入力された画像データを取得する。

【0114】

ステップＳ２０１において顧客画像データが取得されると、画像分析部１０５が前記顧客画像データを分析して、該画像中の被写体認識を実行する。

【0115】

以降は、図７のステップＳ１０２へ進み、対象顧客の特性が推定されるが、第２の実施形態に係る画像処理装置２００では、ステップＳ２０２（図１７）へ進み、フォトブック作成部１１０が、顧客情報ＤＢ１０１からフォトブック作成のための顧客画像データを選択する。前記フォトブックは、サイズやページ数等によって使用できる画像データ数が予め決められており、前記選択の数に限度が設けられる。

【0116】

前記選択は、画像分析部１０５が実施した被写体認識結果に基づいてなされる。例えば図１０に示した様な人属性や被写体種類の重要度を参照して、対象顧客にとって重要視された（重要度の高い）人物や被写体が写されている顧客画像データを優先的に選択する。または、選択される画像データに偏りがないようにしたりして、前記限度を超えないように画像データを選定する。前記画像データの偏りをなくすために、図８のステップＳ１２２で示した様な、画像データの類似画像分析結果を使用してもよく、類似画像群から複数の画像データが選定されないようにする。

【0117】

ステップＳ２０２において、対象顧客向けのフォトブックに使用する画像データが全て選択されると、次にステップＳ２０３において、前記選択画像データを配置してフォトブックの電子データを作成する。この際、前記選択された画像データの被写体情報と該被写体情報の重要度等を利用して、フォトブック内における画像配置が決められる。

【0118】

ステップＳ２０３において、対象顧客向けフォトブックの電子データが生成されると、次にステップＳ２０４では、広告決定部１０７が決定した広告と前記フォトブックを印刷部１１１が印刷する。そして、ステップＳ２０５において、前記広告と前記フォトブックが前記対象顧客に対して発行される。前記発行は、電子データのままのフォトブックデータと電子データのままの広告情報を、前記対象顧客に対してインターネット等を経由して発行してもよい。

【0119】

ステップＳ２０５において、前記対象顧客に対して広告とフォトブックが発行されると、図１７で示した処理フローは完了し、図７のステップＳ１０７へと引き継がれる。

【0120】

第２の実施形態に係る画像処理装置２００は、顧客情報ＤＢ１０１に顧客画像データを入力する顧客に対して、例えば、定期的に無償で前記顧客画像データを利用したフォトブックを贈呈する等のサービスを実行できる。

【0121】

前記フォトブックを無償で受け取れることが強い動機付けとなり、前記顧客は、より積極的に画像データを顧客情報ＤＢ１０１に蓄積するようになることが予測される。また、前記フォトブックと同時に前記顧客向けの広告を発行することで、前記顧客や広告主にとってもメリットが生じることになるが、前記顧客による積極的な画像データ蓄積により、広告決定の精度も高まり、前記顧客に対してより効果的な広告を発行できるようになる。

【0122】

以上で説明した様に、第２の実施形態に係る画像処理装置２００によれば、顧客による情報入力を必要とせず、多様な顧客関連情報（属性や嗜好等）を自動抽出でき、前記顧客関連情報に基づいて前記顧客に適した広告やクーポン券を発行できる。さらに、発行された前記広告やクーポン券の前記顧客による利用状況をフィードバックすることで、前記顧客に対する広告効果を大きく向上することが可能となる。

【0123】

＜総括＞
以上説明したように、本実施形態によれば、顧客の画像データにアクセスすることで、顧客への負担がなく、自動的に多様な顧客関連情報を抽出でき、顧客関連情報に基づいて顧客に最適な広告を提供することができる。

【0124】

さらに、発行された広告やクーポン券の利用状況に基づいて、顧客関連情報から広告やクーポン券を選定する方法を改良し、広告効果を大きく向上させることができる。

【0125】

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

【符号の説明】

【0126】

１、２、３ 被写体情報
１０ 顧客画像データ
１００ 画像処理装置
１０１ 顧客情報ＤＢ
１０２ 広告ＤＢ
１０３ 変更情報ＤＢ
１０４ 顧客行動情報ＤＢ
１０５ 画像分析部
１０６ 顧客特性推定部
１０７ 広告決定部
１０８ 顧客行動情報取得部
１０９ 広告決定方法変更部
１１０ フォトブック作成部
１１１ 印刷部
２００ 画像処理装置

【先行技術文献】

【特許文献】

【0127】

【特許文献1】特開２００２−３２９１０２号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】