特許 7643784 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-03

(45)【発行日】2025-03-11

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 5/765 20060101AFI20250304BHJP

   H04N 21/234 20110101ALI20250304BHJP

   H04N 21/235 20110101ALI20250304BHJP

   G06Q 50/10 20120101ALI20250304BHJP

【ＦＩ】

H04N5/765

H04N21/234

H04N21/235

G06Q50/10

【請求項の数】 8

(21)【出願番号】P 2023508155

(86)(22)【出願日】2021-03-22

(86)【国際出願番号】 JP2021011656

(87)【国際公開番号】W WO2022201233

(87)【国際公開日】2022-09-29

【審査請求日】2023-09-20

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(73)【特許権者】

【識別番号】390001041

【氏名又は名称】ＮＥＣネクサソリューションズ株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】椙本 莉佳

(72)【発明者】

【氏名】沖山 茉優

(72)【発明者】

【氏名】桝冨 皓志

(72)【発明者】

【氏名】大角 卓生

(72)【発明者】

【氏名】廣瀬 洋平

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２００６－０８５３９２（ＪＰ，Ａ）

【文献】特開２０１４－１９７２５３（ＪＰ，Ａ）

【文献】米国特許第１０６５０４４２（ＵＳ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７６ － ５／９５６

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｇ０６Ｑ ５０／００ － ５０／２０

(57)【特許請求の範囲】

【請求項1】

撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得手段と、
前記画像を処理することにより、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを前記撮影対象の種類として推定し、当該撮影対象の種類の推定結果を示す対象推定データを生成する推定手段と、
前記対象推定データに基づいた出力を行う出力手段と、
を備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記推定手段は、前記画像のうち前記商品の周囲の領域を処理することにより、前記対象推定データを生成する、画像処理装置。

【請求項3】

請求項１又は２に記載の画像処理装置において、
前記画像取得手段は前記画像として動画を取得し、
前記推定手段は、前記動画に含まれる複数のフレーム画像を処理することにより、前記対象推定データを生成する、画像処理装置。

【請求項4】

請求項１～３のいずれか一項に記載の画像処理装置において、
前記画像は端末によって生成されており、
前記画像取得手段は、複数の前記端末から前記画像を取得し、
前記推定手段は、前記複数の端末別に前記対象推定データを生成し、
前記出力手段は、前記複数の端末それぞれの使用者の属性情報と前記対象推定データの関連性を示す第１関連性データを出力する、画像処理装置。

【請求項5】

請求項１～４のいずれか一項に記載の画像処理装置において、
前記推定手段は、さらに、前記画像を処理することにより、前記商品及び／又は前記商品に類似する類似製品を推定する画像処理装置。

【請求項6】

請求項５に記載の画像処理装置において、
前記商品及び／または前記類似製品が購入されたか否かを示す購入結果情報を取得する購入結果取得手段をさらに備え、
前記出力手段は、前記対象推定データと前記購入結果情報の関連性を示す第２関連性データを出力する、画像処理装置。

【請求項7】

コンピュータが、
撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
前記画像を処理することにより、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを前記撮影対象の種類として推定し、当該撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
前記対象推定データに基づいた出力を行う出力処理と、
を行う画像処理方法。

【請求項8】

コンピュータに、
撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
前記画像を処理することにより、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを前記撮影対象の種類として推定し、当該撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
前記対象推定データに基づいた出力を行う出力処理と、
を行わせるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年、ユーザは、商品を含む画像を検索キーとして、その商品に関する情報を検索することができる。例えば特許文献１には、現物の商品やカタログを撮影した画像、又はテレビ映像などの動画像から切り出された画像データを検索キーとして用いることが記載されている。また特許文献２には、雑誌、チラシ、パンフレット、ポスター、テレビＣＭ、広告動画、Ｗｅｂ広告などの各種広告メディアを出所とした商品の画像を検索キーとして用いることが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１１／０４９２０９号

【文献】特開２０１７－３３１５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

商品を含む画像を消費者に提供する媒体は複数ある。また、消費者は、現物を撮影した画像を検索に用いることもある。一方、現物や画像の媒体のそれぞれが消費者の行動に与える影響度は、マーケティングの観点で重要な指標になる。本発明者は、この影響度を推定するためには、人が商品を含む画像を生成した時の撮影対象を推定する必要がある、と考えた。本発明の目的の一例は、人が商品を含む画像を生成した時の撮影対象を推定することにある。

【課題を解決するための手段】

【0005】

本発明によれば、撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得手段と、
前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定手段と、
前記対象推定データに基づいた出力を行う出力手段と、
を備える画像処理装置が提供される。

【0006】

本発明によれば、コンピュータが、
撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
前記対象推定データに基づいた出力を行う出力処理と、
を行う画像処理方法が提供される。

【0007】

本発明によれば、コンピュータに、
撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
前記対象推定データに基づいた出力を行う出力処理と、
を行わせるプログラムが提供される。

【発明の効果】

【0008】

本発明によれば、人が商品を含む画像を生成した時の撮影対象を推定できる。

【図面の簡単な説明】

【0009】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0010】

【図1】実施形態に係る画像処理装置の使用環境を説明するための図である。

【図2】画像処理装置の機能構成の一例を示す図である。

【図3】推定部が行う推定処理の第１例を説明するための図である。

【図4】推定部が行う推定処理の第２例を説明するための図である。

【図5】推定部が行う推定処理の第２例を説明するための図である。

【図6】推定部が行う推定処理の第３例を説明するための図である。

【図7】推定部が行う推定処理の第４例を説明するための図である。

【図8】人情報記憶部が記憶している情報の一例を示す図である。

【図9】出力部が出力する情報の第１例を示す図である。

【図10】出力部が出力する情報の第２例を示す図である。

【図11】画像処理装置のハードウェア構成例を示す図である。

【図12】画像処理装置が行う処理の一例を、端末が行う処理と共に示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0012】

図１は、実施形態に係る画像処理装置１０の使用環境を説明するための図である。画像処理装置１０は、端末２０と共に使用される。

【0013】

端末２０は、例えばスマートフォンやタブレット端末などの携帯型の端末であり、人によって操作される。端末２０は、この操作に従って、画像を画像処理装置１０に送信する。この画像は、撮影対象を撮影することにより生成されており、一部の領域に商品を含んでいる。撮影対象の一例は、店舗などの実空間に配置された商品（現物）、及びその商品の画像を含む媒体である。ここで媒体の一例は、雑誌や広告などの印刷物、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、及び電子メールに基づいてディスプレイに表示された画面である。印刷物には、街中に配置された広告も含む。なお、端末２０が画像処理装置１０に送信する画像は、静止画であってもよいし、動画であってもよい。

【0014】

画像処理装置１０は、端末２０から画像を取得すると、この画像を処理することにより、撮影対象の種類の推定結果を示すデータ（以下、対象推定データと記載）を生成する。また画像処理装置１０は、この対象推定データに基づいた出力を行う。この出力は、対象推定データそのものでもよい。また、端末２０が複数あり、対象推定データが複数生成されている場合、出力部１３０は、対象推定データを統計処理した結果を出力してもよい。

【0015】

また画像処理装置１０は、端末２０から取得した画像を処理することにより、その画像に含まる商品を推定する。そして画像処理装置１０は、その商品を端末２０のユーザに購入させるための処理の少なくとも一部を実行する。

【0016】

なお、端末２０は、撮影機能を有していてもよい。この場合、端末２０は、画像処理装置１０に送信する画像を生成してもよい。

【0017】

図２は、画像処理装置１０の機能構成の一例を示す図である。画像処理装置１０は、画像取得部１１０、推定部１２０、及び出力部１３０を備えている。

【0018】

画像取得部１１０は、端末２０から画像を取得する。この画像は、上記したように、一部の領域に商品を含んでいる。

【0019】

推定部１２０は、画像取得部１１０が取得した画像を処理することにより、上記した対象推定データを生成する。例えば推定部１２０は、画像のうち商品の周囲の領域を処理することにより、対象推定データを生成する。また、画像が動画の場合、推定部１２０は、動画に含まれる複数のフレーム画像を処理することにより、対象推定データを生成する。対象推定データの生成処理の詳細については、他の図を用いて後述する。

【0020】

また、推定部１２０は、画像取得部１１０が取得した画像を処理することにより、この画像に含まれている商品を推定する。この際、推定部１２０は、この商品に類似する商品（以下、類似商品と記載）をさらに推定してもよい。この推定結果は、例えば商品名及び商品コード（例えばＪＡＮコード）の少なくとも一方を含んでいる。なお、この推定処理は、例えば特徴量マッチングにより行われてもよいし、機械学習を用いて生成されたモデルを用いて行われてもよい。

【0021】

そして推定部１２０は、必要に応じて、この商品及び／又は類似商品を端末２０のユーザが購入するために必要な処理の少なくとも一部を行う。この処理の一例は、この商品及び／又は類似商品を購入可能なオンラインショップ及び／又は実店舗を特定し、このオンラインショップ及び／又は実店舗を特定する情報（以下、購入補助情報と記載）を端末２０に送信することである。購入補助情報は、オンラインショップのＵＲＬ又はリンクを含んでいてもよいし、実店舗の位置を示す情報（例えば住所及び／又は地図）を含んでいてもよい。さらに購入補助情報は、推定部１２０が推定した商品及び／又は類似商品に関する広告情報又はクーポン情報を含んでいてもよい。推定部１２０は、オンラインショップ及び／又は実店舗を特定する際、上記した推定結果、すなわち商品名及び商品コードの少なくとも一方を用いる。

【0022】

なお、推定部１２０は、推定結果を示す情報を、端末２０のユーザに紐づけて人情報記憶部１５０に記憶する。人情報記憶部１５０が記憶している情報の詳細は、他の図を用いて後述する。人情報記憶部１５０は、画像処理装置１０の一部であってもよいし、画像処理装置１０の外部に位置していてもよい。

【0023】

出力部１３０は、対象推定データに基づいた出力を行う。上記したように、この出力は、対象推定データそのものでもよい。また、端末２０が複数ある場合、推定部１２０は、複数の端末２０別に対象推定データを生成する。この場合、出力部１３０は、これら複数の対象推定データを統計処理することにより、出力データを生成してもよい。この場合、出力データの一例は、複数の端末２０それぞれの使用者の属性情報と対象推定データの関連性を示すデータ（以下、第１関連性データと記載）である。複数の端末２０それぞれの使用者の属性情報は、人情報記憶部１５０に記憶されている。第１関連性データを用いると、例えば年齢層別（又は性別）に、好まれる撮影対象を特定できる。出力部１３０が行う出力の具体例については、他の図を用いて後述する。

【0024】

画像処理装置１０は、さらに購入結果取得部１４０を備えている。購入結果取得部１４０は、画像取得部１１０が取得した画像に含まれている商品が購入されたか否かを示す情報（以下、購入結果情報と記載）を取得する。購入結果取得部１４０は、例えば端末２０から購入結果情報を取得するが、他の装置（例えばオンラインショップ又は実店舗を管理するサーバ）から購入結果情報を取得してもよい。購入結果取得部１４０が取得した情報は、人情報記憶部１５０に記憶される。

【0025】

そして出力部１３０は、対象推定データと購入結果情報の関連性を示すデータ（以下、第２関連性データと記載）を出力する。この際、出力部１３０は、人情報記憶部１５０に記憶された情報を用いる。画像処理装置１０のユーザは、第２関連性データを用いることにより、撮影対象がどの程度購入に結び付いているかを認識することができる。

【0026】

図３は、推定部１２０が行う推定処理の第１例を説明するための図である。本図に示す例において、撮影対象は電波又はオンラインによる放送に基づいてディスプレイに表示された画面である。このディスプレイは、テレビとして用いられていてもよいし、デジタルサイネージとして用いられていてもよい。端末２０のユーザは、このディスプレイに商品を含む画像が表示された場合、端末２０にこのディスプレイの画面を撮影させる。端末２０は、静止画を生成してもよいし、動画を生成してもよい。端末２０が生成した画像には、ディスプレイの枠が写っている場合もあれば、この枠が写っておらず、ディスプレイの画面のみが写っている場合もある。前者の場合、推定部１２０は、ディスプレイの枠を検知することにより、撮影対象はディスプレイであると判断する。また、後者の場合、推定部１２０は、ディスプレイに特有の走査線が画像に含まれている場合に、撮影対象はディスプレイであると判断する。

【0027】

また、端末２０が動画を生成していた場合、推定部１２０は、この動画を処理することにより、ディスプレイに表示されているコンテンツの種類（例えばテレビ放送で流れた広告、又はデジタルサイネージで流れた広告）を特定することもできる。推定部１２０は、これによっても撮影対象を特定できる。

【0028】

また、推定部１２０は、画像にディスプレイの縁が含まれていた場合、画像のうちディスプレイより外側の部分の特徴量を検出し、この特徴量をマッチング処理することにより、ディスプレイが配置されている場所（例えば屋内か屋外か）を特定できる。

【0029】

図４は、推定部１２０が行う推定処理の第２例を説明するための図である。本図に示す例において、撮影対象は現物の商品である。この場合、端末２０は、動画を生成しているのが好ましい。そして推定部１２０は、商品の周囲の少なくとも一部に変化があった場合、撮影対象は現物の商品であると判断し、商品の周囲に変化がなかった場合、撮影対象は雑誌などの印刷物であると判断する。

【0030】

なお、図５に示すように、撮影対象が印刷物の場合、端末２０が生成した画像に雑誌の縁が写っていることもある。推定部１２０は、この縁を検知した場合、撮影対象は印刷物であると判断する。

【0031】

また、推定部１２０は、画像に印刷物の縁が含まれていた場合、画像のうち印刷物より外側の部分を処理することにより、印刷物が配置されている場所（例えば屋内か屋外か）を特定できる。

【0032】

図６は、推定部１２０が行う推定処理の第３例を説明するための図である。本図に示す例において、撮影対象は、ＳＮＳに基づいてディスプレイに表示された画面である。この場合、この画面は、そのＳＮＳに特有の画面構成を有している。推定部１２０は、この画面構成の有無を検出することにより、撮影対象がＳＮＳであること、及びそのＳＮＳのサービス名も特定できる。

【0033】

図７は、推定部１２０が行う推定処理の第４例を説明するための図である。本図に示す例において、撮影対象は、電子メールに基づいてディスプレイに表示された画面である。この場合、この画面は、電子メールに特有の画面構成を有している。推定部１２０は、この画面構成の有無を検出することにより、撮影対象が電子メールであることを特定できる。

【0034】

図８は、画像処理装置１０の人情報記憶部１５０が記憶している情報の一例を示す図である。本図に示す例において、人情報記憶部１５０は、人別に、その人に割り振られた識別情報（以下、人識別情報と記載）、属性情報、及び履歴情報を互いに対応付けて記憶している。

【0035】

属性情報は、その人の氏名、性別、及び年齢を含んでいるが、他の情報を含んでいてもよい。

【0036】

履歴情報は、その人が端末２０から送ってきた画像を推定部１２０が解析した結果を含んでいる。推定部１２０の解析結果は、撮影対象、並びに商品名及び／又は商品コードを含んでいる。また履歴情報は、推定部１２０が推定した商品が購入されたか否かを示す情報も含んでいる。なお、履歴情報は、さらに、商品の購入日時、及び商品を販売したオンラインショップ又は実店舗を特定する情報を含んでいてもよい。

【0037】

図９は、画像処理装置１０の出力部１３０が出力する情報の第１例を示す図である。本図に示す例において、出力部１３０は、第１関連性データを出力する。第１関連性データは、上記したように、複数の端末２０それぞれの使用者の属性情報と対象推定データの関連性を示している。本図に示す例において、第１関連性データは、属性別に、その属性を有する人が検索に用いた撮影対象の利用回数を示している。本図に示す情報は、商品名又は商品コード別になっていてもよいし、商品のカテゴリ別になっていてもよい。ここで商品のカテゴリは、例えば服、食品などの大分類でもよいし、コート、シャツなどの小分類でもよい。

【0038】

図１０は、画像処理装置１０の出力部１３０が出力する情報の第２例を示す図である。本図に示す例において、出力部１３０は、第２関連性データを出力する。第２関連性データは、上記したように、対象推定データと購入結果情報の関連性を示している。本図に示す例において、第２関連性データは、商品を購入するに至った人が用いた撮影対象の利用回数を、人の属性別に示している。本図に示す情報も、商品名又は商品コード別になっていてもよいし、商品のカテゴリ別になっていてもよい。

【0039】

図１１は、画像処理装置１０のハードウェア構成例を示す図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0040】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0041】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0042】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0043】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（例えば画像取得部１１０、推定部１２０、出力部１３０、及び購入結果取得部１４０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は人情報記憶部１５０としても機能する。

【0044】

入出力インタフェース１０５０は、画像処理装置１０と各種入出力機器とを接続するためのインタフェースである。

【0045】

ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置１０は、ネットワークインタフェース１０６０を介して端末２０と通信してもよい。

【0046】

図１２は、画像処理装置１０が行う処理の一例を、端末２０が行う処理と共に示すフローチャートである。

【0047】

端末２０のユーザは、興味を持った商品を見つけた場合、端末２０に、その商品を含む画像を生成させる（ステップＳ１０）。ここで、端末２０による撮影対象の一例は、図１を用いて説明した通りである。そして端末２０は、撮影した画像を画像処理装置１０に送信する。この際、端末２０は、ユーザの人識別情報も画像処理装置１０に送信する（ステップＳ２０）。

【0048】

画像処理装置１０の画像取得部１１０は、端末２０から送信された画像を取得する。そして推定部１２０は、この画像を処理することにより、撮影対象を推定する（ステップＳ３０）。ここで行われる処理の一例は、図２～図７を用いて説明した通りである。

【0049】

また推定部１２０は、この画像を処理することにより、画像に含まれている商品及び／又は類似商品を特定する（ステップＳ４０）。そして推定部１２０は、この商品及び／又は類似商品を購入可能なオンラインショップ及び／又は実店舗を特定し、このオンラインショップ及び／又は実店舗に関する情報、すなわち購入補助情報を生成する（ステップＳ５０）。そして推定部１２０は、この購入補助情報を端末２０に送信する（ステップＳ６０）。

【0050】

また推定部１２０は、ステップＳ３０で推定された撮影対象、並びにステップＳ４０で特定された商品及び／又は類似商品を示す情報（例えば商品名及び商品コードの少なくとも一方）を、互いに紐づけて人情報記憶部１５０に記憶させる。この際、推定部１２０は、これらの情報を、ステップＳ２０で送信された人識別情報に紐づける（ステップＳ７０）。

【0051】

端末２０は、画像処理装置１０から購入補助情報を取得すると、この購入補助情報をディスプレイに表示する（ステップＳ８０）。端末２０の利用者は、商品を購入する場合、この購入補助情報を用いる。

【0052】

また、端末２０は、商品が購入されたか否かを示す情報（以下、購入結果情報と記載）を生成して（ステップＳ９０）、この購入結果情報を人識別情報と共に画像処理装置１０に送信する（ステップＳ１００）。購入結果情報は、必要に応じて、購入日時、並びに商品を販売したオンラインショップ又は実店舗を特定する情報を含んでいる。

【0053】

そして画像処理装置１０の購入結果取得部１４０は、端末２０から送信されてきた購入結果情報を人情報記憶部１５０の履歴情報の一部として記憶させる。この際、購入結果取得部１４０は、購入結果情報を、ステップＳ１００で送信された人識別情報に紐づける（ステップＳ１１０）。

【0054】

その後、必要なタイミングで、画像処理装置１０の出力部１３０は出力データを生成して出力する。

【0055】

以上、本実施形態によれば、画像処理装置１０は、人が商品を含む画像を生成した時の撮影対象を推定する。したがって、この推定結果を用いると、現物の商品や商品画像を提供した媒体が消費者の行動に与えた影響度を推定することができる。この影響度は、例えば、上記した第１関連性データ及び第２関連性データで示される。

【0056】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0057】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0058】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得手段と、
前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定手段と、
前記対象推定データに基づいた出力を行う出力手段と、
を備える画像処理装置。
２．上記１に記載の画像処理装置において、
前記推定手段は、前記画像のうち前記商品の周囲の領域を処理することにより、前記対象推定データを生成する、画像処理装置。
３．上記１又は２に記載の画像処理装置において、
前記画像取得手段は前記画像として動画を取得し、
前記推定手段は、前記動画に含まれる複数のフレーム画像を処理することにより、前記対象推定データを生成する、画像処理装置。
４．上記１～３のいずれか一項に記載の画像処理装置において、
前記撮影対象の種類は、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを含む、画像処理装置。
５．上記１～４のいずれか一項に記載の画像処理装置において、
前記画像は端末によって生成されており、
前記画像取得手段は、複数の前記端末から前記画像を取得し、
前記推定手段は、前記複数の端末別に前記対象推定データを生成し、
前記出力手段は、前記複数の端末それぞれの使用者の属性情報と前記対象推定データの関連性を示す第１関連性データを出力する、画像処理装置。
６．上記１～５のいずれか一項に記載の画像処理装置において、
前記推定手段は、さらに、前記画像を処理することにより、前記商品及び／又は前記商品に類似する類似製品を推定する画像処理装置。
７．上記６に記載の画像処理装置において、
前記商品及び／または前記類似製品が購入されたか否かを示す購入結果情報を取得する購入結果取得手段をさらに備え、
前記出力手段は、前記対象推定データと前記購入結果情報の関連性を示す第２関連性データを出力する、画像処理装置。
８．コンピュータが、
撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
前記対象推定データに基づいた出力を行う出力処理と、
を行う画像処理方法。
９．上記８に記載の画像処理方法において、
前記コンピュータは、前記推定処理において、前記画像のうち前記商品の周囲の領域を処理することにより、前記対象推定データを生成する、画像処理方法。
１０．上記８又は９に記載の画像処理方法において、
前記コンピュータは、
前記画像取得において、前記画像として動画を取得し、
前記推定処理において、前記動画に含まれる複数のフレーム画像を処理することにより、前記対象推定データを生成する、画像処理方法。
１１．上記８～１０のいずれか一項に記載の画像処理方法において、
前記撮影対象の種類は、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを含む、画像処理方法。
１２．上記８～１１のいずれか一項に記載の画像処理方法において、
前記画像は端末によって生成されており、
前記コンピュータは、
前記画像取得処理において、複数の前記端末から前記画像を取得し、
前記推定処理において、前記複数の端末別に前記対象推定データを生成し、
前記出力処理において、前記複数の端末それぞれの使用者の属性情報と前記対象推定データの関連性を示す第１関連性データを出力する、画像処理方法。
１３．上記８～１２のいずれか一項に記載の画像処理方法において、
前記コンピュータは、前記推定処理において、さらに、前記画像を処理することにより、前記商品及び／又は前記商品に類似する類似製品を推定する画像処理方法。
１４．上記１３に記載の画像処理方法において、
前記コンピュータは、
前記商品及び／または前記類似製品が購入されたか否かを示す購入結果情報を取得する購入結果取得処理をさらに行い、
前記出力処理において、前記対象推定データと前記購入結果情報の関連性を示す第２関連性データを出力する、画像処理方法。
１５．コンピュータに、
撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
前記対象推定データに基づいた出力を行う出力処理と、
を行わせるプログラム。
１６．上記１５に記載のプログラムにおいて、
前記推定処理は、前記画像のうち前記商品の周囲の領域を処理することにより、前記対象推定データを生成することを含む、プログラム。
１７．上記１５又は１６に記載のプログラムにおいて、
前記画像取得処理は前記画像として動画を取得することを含み、
前記推定処理は、前記動画に含まれる複数のフレーム画像を処理することにより、前記対象推定データを生成することを含む、プログラム。
１８．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記撮影対象の種類は、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを含む、プログラム。
１９．上記１５～１８のいずれか一項に記載のプログラムにおいて、
前記画像は端末によって生成されており、
前記画像取得処理は、複数の前記端末から前記画像を取得することを含み、
前記推定処理は、前記複数の端末別に前記対象推定データを生成することを含み、
前記出力処理は、前記複数の端末それぞれの使用者の属性情報と前記対象推定データの関連性を示す第１関連性データを出力することを含む、プログラム。
２０．上記１５～１９のいずれか一項に記載のプログラムにおいて、
前記推定処理は、さらに、前記画像を処理することにより、前記商品及び／又は前記商品に類似する類似製品を推定することを含む、プログラム。
２１．上記２０に記載のプログラムにおいて、
前記コンピュータに、さらに、前記商品及び／または前記類似製品が購入されたか否かを示す購入結果情報を取得する購入結果取得処理を実行させ、
前記出力処理は、前記対象推定データと前記購入結果情報の関連性を示す第２関連性データを出力することを含む、プログラム。

【符号の説明】

【0059】

１０ 画像処理装置
２０ 端末
１１０ 画像取得部
１２０ 推定部
１３０ 出力部
１４０ 購入結果取得部
１５０ 人情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】