特開 2022-93001 情報処理装置、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022093001

(43)【公開日】2022-06-23

(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G06F 16/53 20190101AFI20220616BHJP

   G06Q 30/06 20120101ALI20220616BHJP

【ＦＩ】

G06F16/53

G06Q30/06 330

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020206051

(22)【出願日】2020-12-11

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】田中 亮

【テーマコード（参考）】

5B175

5L049

【Ｆターム（参考）】

5B175DA02

5B175HB03

5B175JC04

5L049BB47

(57)【要約】

【課題】インターネットショッピングにおいて、より信頼度の高い商品レコメンドをユーザに提供することができる。
【解決手段】情報処理装置１０は、ユーザの顔を含む画像に関わる情報を取得する取得部１５ａと、取得部１５ａによって取得された画像に関わる情報に基づいて、画像の特徴と類似している画像を検索する検索部１５ｂと、検索部１５ｂによって検索された画像に含まれる人物を特定する特定部１５ｃと、特定部１５ｃによって特定された人物に関する商品の情報を出力する出力部１５ｄとを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザの顔を含む画像に関わる情報を取得する取得部と、
前記取得部によって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索部と、
前記検索部によって検索された画像に含まれる人物を特定する特定部と、
前記特定部によって特定された人物に関する商品の情報を出力する出力部と
を備えることを特徴とする情報処理装置。

【請求項2】

前記検索部は、前記特徴として、前記ユーザの顔の部位ごとに類似している画像を検索することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記検索部は、前記ユーザが指定した検索対象から前記類似している画像を検索することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記検索部は、前記ユーザが指定した人物を含む画像を検索することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記特定部は、前記特定した人物をさらに所定の方式で順位付けすることを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記特定部は、前記ユーザと前記特定した人物との差分をさらに特定し、
前記出力部は、前記特定部によって特定された前記差分に基づいて、前記商品の情報を出力することを特徴とする請求項１に記載の情報処理装置。

【請求項7】

情報処理装置によって実行される情報処理方法であって、
ユーザの顔を含む画像に関わる情報を取得する取得工程と、
前記取得工程によって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索工程と、
前記検索工程によって検索された画像に含まれる人物を特定する特定工程と、
前記特定工程によって特定された人物に関する商品の情報を出力する出力工程と
を含むことを特徴とする情報処理方法。

【請求項8】

ユーザの顔を含む画像に関わる情報を取得する取得ステップと、
前記取得ステップによって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索ステップと、
前記検索ステップによって検索された画像に含まれる人物を特定する特定ステップと、
前記特定ステップによって特定された人物に関する商品の情報を出力する出力ステップと
をコンピュータに実行させることを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

近年、顔認識ＡＩ（Artificial Intelligence：人工知能）を利用することにより、個人の認証システムやイベント会場のセキュリティ強化等に活用されている。ここで、顔認識機能の仕組みは、まず、入力画像が顔認識アルゴリズムに送られ、次に、顔認識アルゴリズムが入力画像に対する顔の埋め込みを作成し、最後に、顔認識アルゴリズムが入力画像の顔の埋め込みをデータベース内の顔の埋め込みと比較するというものである。

【0003】

顔の埋め込みの作成では、アルゴリズムが顔を比較できるようにするために、顔画像をアルゴリズムが理解可能なデータに変換する必要がある。そのために、システムは顔の特徴やランドマーク（目印）に基づいた測定値を計算する。これらのランドマークを利用して、顔認識アルゴリズムは各画像独自の顔の埋め込みを作成することができる。

【0004】

従来、顔認識ＡＩを活用した技術として、顧客（以下、適宜「ユーザ」）の性別や年齢層、感情を推定することにより、実店舗の環境下でも、売り場の客層や会話の中からユーザのニーズを効果的に把握する技術も存在する。

【0005】

一方、インターネットを利用したショッピング（以下、適宜「インターネットショッピング」）が増加することにより、ユーザに適切な商品をレコメンド（推奨）するレコメンド機能の必要性も増大している。ここで、商品のレコメンド機能の仕組みとして、レコメンドエンジンのベースとなる数パターンの技術が知られている。具体的には、ウェブアクセス履歴やユーザの行動履歴に基づいて商品をレコメンドする「協調フィルタリング」や、商品の属性情報とユーザの好みの関連性をベースにする「コンテンツベース・フィルタリング」や、複数の技術を組み合わせたレコメンデーションのシステムである「ハイブリッド・タイプ」等が用いられている。

【0006】

従来、インターネットショッピングにおけるレコメンド機能として、商品の価格やユーザの予算、ユーザの嗜好等を考慮することにより、ユーザの所持金に応じた有益なレコメンドコンテンツを提案する技術も存在する（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１３－１０９５８５号公開

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上述した従来技術では、インターネットショッピングにおいて、より信頼度の高い商品レコメンドをユーザに提供することができない。例えば、衣類やアクセサリーをインターネットで購入したい場合、ユーザに似合うかどうか、ユーザの好みに合うかどうかを効果的にレコメンドすることができない。また、ユーザの写真、ユーザの身長や体重、ユーザの好み等の情報を実店舗の店員に送信し、商品レコメンドを受けることも考えられるが、対応可能時間やレコメンドを受けるまでに時間がかかる等の時間的な制約がある。また、必ずしもユーザの要望が反映されるとは限らず、プライバシー保護の観点からも問題がある。

【課題を解決するための手段】

【0009】

上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、ユーザの顔を含む画像に関わる情報を取得する取得部と、前記取得部によって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索部と、前記検索部によって検索された画像に含まれる人物を特定する特定部と、前記特定部によって特定された人物に関する商品の情報を出力する出力部とを備えることを特徴とする。

【0010】

また、本発明に係る情報処理方法は、情報処理装置によって実行される情報処理方法であって、ユーザの顔を含む画像に関わる情報を取得する取得工程と、前記取得工程によって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索工程と、前記検索工程によって検索された画像に含まれる人物を特定する特定工程と、前記特定工程によって特定された人物に関する商品の情報を出力する出力工程とを含むことを特徴とする。

【0011】

また、本発明に係る情報処理プログラムは、ユーザの顔を含む画像に関わる情報を取得する取得ステップと、前記取得ステップによって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索ステップと、前記検索ステップによって検索された画像に含まれる人物を特定する特定ステップと、前記特定ステップによって特定された人物に関する商品の情報を出力する出力ステップとをコンピュータに実行させることを特徴とする。

【発明の効果】

【0012】

本発明では、インターネットショッピングにおいて、より信頼度の高い商品レコメンドをユーザに提供することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、第１の実施形態に係る情報処理システムの構成例を示す図である。

【図2】図２は、第１の実施形態に係る情報処理装置の構成例を示すブロック図である。

【図3】図３は、第１の実施形態に係るレコメンド処理の一例を示す図である。

【図4】図４は、第１の実施形態に係るレコメンド処理の一例を示す図である。

【図5】図５は、第１の実施形態に係るレコメンド処理の一例を示す図である。

【図6】図６は、第１の実施形態に係る情報処理の流れの一例を示すフローチャートである。

【図7】図７は、プログラムを実行するコンピュータを示す図である。

【発明を実施するための形態】

【0014】

以下に、本発明に係る情報処理装置、情報処理方法および情報処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

【0015】

〔第１の実施形態〕
以下に、本実施形態に係る情報処理システムの構成、情報処理装置の構成、レコメンド処理、情報処理の流れを順に説明し、最後に本実施形態の効果を説明する。

【0016】

［情報処理システムの構成］
図１を用いて、本実施形態に係る情報処理システム（適宜、本システム）１００の構成を詳細に説明する。図１は、第１の実施形態に係る情報処理システムの構成例を示す図である。情報処理システム１００は、情報処理装置１０としてサーバ、ユーザＰＣ（Personal Computer）２０（適宜、ユーザ２０）、ウェブサイト３０Ａ、ＳＮＳ（Social Networking Service）３０Ｂおよびデータベース３０Ｃを有する。

【0017】

ここで、サーバ１０、ユーザＰＣ２０、ウェブサイト３０Ａ、ＳＮＳ３０Ｂおよびデータベース３０Ｃは、それぞれ通信ネットワークを介して接続されている。なお、検索対象であるウェブサイト３０Ａ、ＳＮＳ３０Ｂおよびデータベース３０Ｃに共通の事項について説明する場合には、単に検索対象３０と表記する。

【0018】

まず、ユーザＰＣ２０は、ユーザの顔を含む画像（適宜、「ユーザの画像」）２１や画像以外のユーザの情報（適宜、「ユーザの情報」）２２等を取得する。ここで、ユーザの顔を含む画像とは、少なくともユーザの顔全体が認識できるように含まれる画像であり、写真、描画データの他、動画データから取得される静止画像等も含まれる。また、ユーザの情報とは、ユーザの身長、体重等の身体的な情報の他、ユーザの好む衣類、アクセサリー等の種類、色彩、ブランド名等の個人的な嗜好や、購入に際しての予算等も含まれる。

【0019】

また、ユーザＰＣ２０は、ユーザの画像からユーザの顔を含む画像に関する情報（適宜、「ユーザの画像情報」）を抽出する（図１の（１）参照）。ここで、ユーザの顔を含む画像に関する情報とは、ユーザの画像データの他、顔の部位の特徴量、体形等の特徴量、着用している衣類やアクセサリーの種類や色彩等の情報である。

【0020】

さらに、ユーザＰＣ２０は、ユーザの画像情報２１からユーザの情報２２を取得することもできる。例えば、ユーザＰＣ２０は、ユーザの全身が写った写真データから、ユーザの身長、体重、好みの色等を予測して、ユーザの情報として取得することもできる。なお、ユーザＰＣ２０は、ユーザの画像やユーザの情報を直接入力や取込によって取得する他、他の端末から取得してもよい。

【0021】

次に、サーバ１０は、ユーザの画像情報２１やユーザの情報２２等をユーザＰＣ２０から取得する（図１の（２）参照）。このとき、サーバ１０は、ユーザＰＣ２０からユーザの画像を直接取得して、ユーザの画像情報２１やユーザの情報２２を抽出することもできる。なお、サーバ１０は、ユーザの画像情報やユーザの情報等を、ユーザＰＣ２０以外の端末から取得してもよいし、後述のサーバ１０の記憶部１４から取得してもよい。

【0022】

続いて、サーバ１０は、ユーザの画像情報やユーザの情報をもとに、検索対象３０（ウェブサイト３０Ａ、ＳＮＳ３０Ｂ、データベース３０Ｃ）からユーザに類似した有名人を含む画像を検索し、その人物を特定する（図１の（３）参照）。このとき、サーバ１０は、上記の検索対象３０に含まれる有名人の顔の部位の特徴量や体形等の特徴量を抽出し、当該特徴量とユーザの特徴量の数値を比較し、特徴量が近い有名人をユーザと類似していると判断する。なお、サーバ１０は、抽出した有名人の顔の部位の特徴量を記憶部１４に記憶してもよいし、他のデータベースに格納してもよい。

【0023】

また、サーバ１０が検索し、特定する人物３１は、ウェブサイト上で自らの写真を公開している芸能人やファッションモデル等の有名人の他にも、ＳＮＳ上で自らの写真を公開している一般人でもよく、特に限定されない。なお、サーバ１０は、ユーザに類似した有名人を含む画像を、上記の検索対象３０以外から検索してもよいし、後述のサーバ１０の記憶部１４から検索してもよい。

【0024】

最後に、サーバ１０は、特定した有名人の使用している商品を検索対象３０から検索し、ユーザＰＣ２０にレコメンド商品３２として表示する（図１の（４）参照）。ここで、レコメンドする商品は、特定した有名人がテレビコマーシャル等において使用している商品の他、ＳＮＳ上の画像において使用している商品でもよく、特に限定されない。また、サーバ１０は、有名人が仕事の際に使用している商品よりも、プライベートで使用している商品を優先して、商品を検索対象３０から検索することもできる。

【0025】

なお、サーバ１０は、特定した有名人の使用している商品を、上記の検索対象３０以外から検索してもよいし、後述のサーバ１０の記憶部１４から検索してもよい。また、サーバ１０は、ユーザＰＣ２０に商品の画像や商品名等のみを表示してもよいし、画像や商品名等とともに、当該商品を購入できるショッピングサイトへのリンクを表示してもよい。

【0026】

本実施形態に係る情報処理システム１００では、ユーザは所有するユーザＰＣ２０からシステムを利用する。ユーザはユーザＰＣ２０にユーザの画像やユーザの情報を取り込ませる。ユーザＰＣ２０は、ユーザの画像を顔認識技術によって分析し、ユーザの画像からユーザの画像情報を抽出する。サーバ１０は、ユーザの画像情報やユーザの情報を取得し、ウェブ上からユーザの顔に似ている有名人３１の画像を検索し、その有名人３１が使用している衣類やアクセサリー等の商品をレコメンド商品３２としてユーザＰＣ２０に表示する。

【0027】

また、本システム１００では、特定した人物３１とユーザとの類似の度合いを判定したり、ユーザが指定した範囲で有名人を検索したり、商品のレコメンドとともに使用方法のアドバイスを表示したりすることもできる。このため、本システム１００では、インターネットショッピングにおいて、利用する時間や利用する回数を気にすることなく、信頼性の高いレコメンドの提供を受けることができる。また、本システム１００では、インターネットショッピングにおいて、直接ユーザの画像を送信する必要がないため、プライバシー等を気にすることなく、信頼度の高いレコメンドの提供を受けることができる。

【0028】

［情報処理装置の構成］
図２を用いて、本実施形態に係る情報処理装置１０の構成を詳細に説明する。図２は、第１の実施形態に係る情報処理装置の構成例を示すブロック図である。情報処理装置１０は、入力部１１、表示部１２、通信部１３、記憶部１４および制御部１５を有する。

【0029】

入力部１１は、情報処理装置１０への各種情報の入力を司る。入力部１１は、例えば、タッチパネル、音声入力デバイス、キーボードやマウス等の入力デバイスによって構成される。表示部１２は、情報処理装置１０からの各種情報の出力を司る。表示部１２は、例えば、液晶ディスプレイ等の表示装置、プリンタ等の印刷装置、情報通信装置等によって構成される。

【0030】

通信部１３は、他の装置との間でのデータ通信を司る。例えば、通信部１３は、各通信装置との間でデータ通信を行う。また、通信部１３は、図示しないオペレータの端末との間でデータ通信を行うことができる。

【0031】

記憶部１４は、制御部１５が動作する際に参照する各種情報や、制御部１５が動作した際に取得した各種情報を記憶する。例えば、記憶部１４は、ユーザＰＣ２０から取得したユーザの画像情報やユーザの情報、検索対象３０から取得した画像や人物、商品の情報等を記憶する。ここで、記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等である。なお、図２の例では、記憶部１４は情報処理装置１０の内部に設置されているが、情報処理装置１０の外部に設置されてもよい。また、複数の記憶部が設置されていてもよい。

【0032】

制御部１５は、情報処理装置１０全体の制御を司る。制御部１５は、取得部１５ａ、検索部１５ｂ、特定部１５ｃおよび出力部１５ｄを有する。ここで、制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。

【0033】

取得部１５ａは、ユーザの顔を含む画像２１に関する情報を取得する。また、取得部１５ａは、画像以外のユーザの情報を取得する。例えば、取得部１５ａは、ユーザの顔を含む画像に関する情報として、ユーザＰＣ２０のカメラによって撮影されたユーザの顔写真の情報の他、ユーザＰＣ２０によって抽出されたユーザの目、鼻、口、髪型等の特徴量を取得する。また、取得部１５ａは、画像以外のユーザの情報として、ユーザの身長、体重、好きな色、ＳＮＳのフォローリスト等の情報を取得する。さらに、取得部１５ａは、取得したユーザの画像やユーザの情報を記憶部１４に格納する。

【0034】

検索部１５ｂは、取得部１５ａによって取得された画像２１に関する情報に基づいて、画像２１の特徴と類似している画像を検索する。例えば、検索部１５ｂは、取得された画像２１の特徴として、ユーザの顔の部位ごとに類似している画像を検索する。ここで、ユーザの顔の部位とは、目、鼻、口、耳、眉毛、輪郭、髪型、髭等のパーツの他、肌の色、しわ、ほくろ、傷あと等の特徴や、眼鏡、髪飾り、イヤリング等のユーザが着用しているものも含まれる。また、検索部１５ｂは、後述の特定部１５ｃが特定した有名人の使用している商品を検索する。

【0035】

さらに、検索部１５ｂは、ユーザが指定した検索対象３０から類似している画像を検索する。ここで、検索対象とは、ウェブサイト、ＳＮＳ、データベース等であるが、特に限定されず、特定の情報を提供するウェブ上のサービスであってもよい。また、検索部１５ｂは、ユーザが指定した人物を含む画像を検索する。例えば、検索部１５ｂは、ユーザがユーザＰＣ２０にアプリケーションをインストールしているＳＮＳから類似した画像を優先して検索したり、ユーザがＳＮＳにおいてフォローしている有名人の中から優先して画像を検索したりする。なお、検索部１５ｂが画像、商品等を検索する範囲は、静的に、または動的に変更することができる。

【0036】

特定部１５ｃは、検索部１５ｂによって検索された画像に含まれる人物を特定する。例えば、特定部１５ｃは、顔認識技術を用いて検索された画像に含まれる人物の顔とユーザの顔と比較し、顔の部位ごとの測定値が一定以上近いものを類似している人物として判定する。なお、特定部１５ｃがユーザの顔と類似していると判定するために必要な設定は、静的に、または動的に変更することができる。

【0037】

また、特定部１５ｃは、特定した人物３１をさらに所定の方式で順位付けする。例えば、特定部１５ｃは、顔の部位ごとの類似度を点数化し、総スコアが高い順に１０人の人物を特定したり、ユーザが指定した有名人等の中で、類似度の最も高い人物をベストの人物、類似度の最も低い人物をワーストの人物として特定したりしてもよいし、総スコアを算出する際に、特定の顔の部位に重み付けすることによって、顔の部位ごとの優先度を変えたりしてもよい。

【0038】

さらに、特定部１５ｃは、ユーザ２０と特定した人物３１との差分をさらに特定する。例えば、特定部１５ｃは、ユーザの画像から抽出された顔の部位の特徴量等のユーザの画像情報に基づき、ユーザの顔とユーザが指定した人物の顔とを比較し、類似度が最も高い顔の部位と最も低い顔の部位を特定する。

【0039】

出力部１５ｄは、特定部１５ｃによって特定された人物３１に関する商品の情報３２を出力する。例えば、出力部１５ｄは、特定部１５ｃによって特定され、検索部１５ｂによって商品を検索された有名人の着用している洋服の画像、ブランド名、価格、ホームページのアドレス等を出力する。

【0040】

ここで、商品の情報とは、商品名、商品の画像、価格、メーカー名、製造国名、製造年月日、保証期間、購入サイトのアドレス等の基本的な情報の他、商品の使用方法や保管方法、テレビコマーシャルの動画、購入者のレビュー等の付加的な情報も含まれる。また、当該商品に関わる有名人の独自の当該商品の使用方法や感想等を含んでもよく、特に限定されない。

【0041】

また、出力部１５ｄは、特定部１５ｃによって特定された、ユーザ２０と特定された人物３１との差分に基づいて、特定された人物３１に関する商品の情報３２を出力する。例えば、出力部１５ｄは、ユーザ２０が指定した有名人において、特定部１５ｃが特定した類似度が最も低い顔の部位について、類似度を高くするために効果的な化粧品やその使用方法を出力する。

【0042】

［レコメンド処理１］
図３を用いて、本実施形態に係るレコメンド処理の一例を詳細に説明する。図３は、第１の実施形態に係るレコメンド処理の一例を示す図である。まず、ユーザ２０は、ユーザ２０の顔の画像を含むユーザの画像２１を入力する（図３の（１）参照）。

【0043】

次に、サーバ等の情報処理装置１０は、ユーザの画像２１の特徴量をもとにユーザに類似する画像を検索し（図３の（２）参照）、顔の部位ごとに類似する人物を特定し、特定した人物３１を表示する（図３の（３）参照）。このとき、情報処理装置１０は、類似度の総スコアが高い順に人物を表示してもよいし、類似する顔の部位ごとに最も類似度が高い人物のみを表示してもよい。

【0044】

図３では、情報処理装置１０は、ユーザ２０の髪型、輪郭と類似している人物として「Ａさん」の画像３１ａを表示し、ユーザ２０の目、眉毛と類似している人物として「Ｂさん」の画像３１ｂを表示し、ユーザ２０の鼻、口と類似している人物として「Ｃさん」の画像３１ｃを表示している。

【0045】

そして、ユーザ２０は、表示された人物の中からレコメンド商品を表示したい人物を選択する（図３の（４）参照）。このとき、ユーザ２０は、レコメンド商品を表示したい複数の人物を選択してもよい。また、情報処理装置１０は、レコメンド商品を表示したい人物の選択を省略し、表示された全ての人物に関するレコメンド商品を表示してもよい。

【0046】

最後に、情報処理装置１０は、ユーザ２０が選択した人物に関わるレコメンド商品３２を表示する（図３の（５）参照）。図３では、情報処理装置１０は、ユーザ２０が選択した「Ａさん」の画像３１ａとともに、レコメンドする商品の画像３２ａとして「Ａさん」が普段着用している洋服の画像を表示している。このとき、情報処理装置１０は、複数の商品の画像を表示してもよい。

【0047】

また、商品の画像を表示する際に、商品の画像３２とユーザの画像２１を合成した画像を表示してもよい。例えば、レコメンドする商品が洋服であった場合、洋服の画像３２とユーザの顔の画像２１を合成し、ユーザ２０が実際に当該洋服を着用したときのイメージを画像として表示してもよい。同様に、当該洋服を着用している人物の顔をユーザ２０の顔に置き換えることによって、ユーザ２０が実際に当該洋服を着用したときのイメージを画像として表示してもよい。また、上記のユーザの顔の画像は、顔の特徴量をもとに生成した画像であってもよい。

【0048】

［レコメンド処理２］
図４を用いて、本実施形態に係るレコメンド処理の一例を詳細に説明する。図４は、第１の実施形態に係るレコメンド処理の一例を示す図である。まず、ユーザ２０は、ユーザ２０の顔の画像を含むユーザの画像２１を入力する（図４の（１）参照）。このとき、ユーザ２０は、ユーザの情報２２としてユーザが利用しているＳＮＳのフォローリストの情報を入力する（図４の（２）参照）。

【0049】

次に、サーバ等の情報処理装置１０は、ユーザの画像２１の特徴量をもとにユーザ２０が利用しているＳＮＳからユーザに類似する画像を検索し（図４の（３）参照）、フォローリスト２２に含まれる人物からユーザに類似する人物を特定し、特定した人物３１を表示する（図４の（４）参照）。このとき、情報処理装置１０は、類似度に関わらずフォローリスト２２に含まれる人物を表示してもよい。

【0050】

図４では、情報処理装置１０は、フォローリスト２２に含まれ、ユーザ２０の髪型、輪郭と類似している人物として「Ａさん」の画像３１ａを表示し、フォローリスト２２に含まれ、ユーザ２０の目、眉毛と類似している人物として「Ｂさん」の画像３１ｂを表示し、顔の部位がユーザ２０に類似していてもフォローリスト２２に含まれない人物は表示していない。

【0051】

そして、ユーザ２０は、表示された人物の中からレコメンド商品を表示したい人物を選択する（図４の（５）参照）。最後に、情報処理装置１０は、ユーザ２０が選択した人物に関わるレコメンド商品を表示する（図４の（６）参照）。図４では、情報処理装置１０は、ユーザ２０が選択した「Ａさん」の画像３１ａとともに、レコメンドする商品の画像３２ａとして「Ａさん」が普段着用している洋服の画像を表示している。

【0052】

［レコメンド処理３］
図５を用いて、本実施形態に係るレコメンド処理の一例を詳細に説明する。図５は、第１の実施形態に係るレコメンド処理の一例を示す図である。まず、ユーザ２０は、ユーザ２０の顔の画像を含むユーザの画像２１を入力する（図５の（１）参照）。このとき、ユーザ２０は、ユーザの情報２２としてユーザ２０が利用しているＳＮＳのフォローリストの情報を入力する（図５の（２）参照）。

【0053】

次に、サーバ等の情報処理装置１０は、ユーザの画像２１の特徴量をもとにユーザ２０が利用しているＳＮＳからユーザに類似する画像を検索し（図５の（３）参照）、フォローリストに含まれる人物からユーザ２０に類似する人物を特定し、特定した人物３１を表示する（図５の（４）参照）。

【0054】

そして、ユーザ２０は、表示された人物の中からレコメンド商品３２を表示したい人物を選択する（図５の（５）参照）。最後に、情報処理装置１０は、ユーザ２０が選択した人物に関わるレコメンド商品３２とともに、商品の使用方法等のアドバイスを表示する（図５の（６）参照）。

【0055】

図５では、情報処理装置１０は、ユーザ２０が選択した「Ｂさん」の画像３１ｂとともに、レコメンドする商品の画像３２ｂとして「Ｂさん」の目元に近づけるために使用を提案するフェイスクリームの画像を表示している。このとき、情報処理装置１０は、フェイスクリームの適切な使用量や使用頻度等の使用方法に関する表示をしてもよい。

【0056】

［情報処理の流れ］
図６を用いて、本実施形態に係る情報処理の流れを詳細に説明する。図６は、第１の実施形態に係る情報処理の流れの一例を示すフローチャートである。まず、サーバ等の情報処理装置１０は、ユーザＰＣ２０等からユーザの画像情報２１を取得する（ステップＳ１０１）。

【0057】

また、情報処理装置１０は、ユーザの画像情報２１以外のユーザの情報２２があった場合（ステップＳ１０２：肯定）、ユーザの情報２２を取得する（ステップＳ１０３）。次に、情報処理装置１０は、検索対象の範囲に指定がある場合（ステップＳ１０４：肯定）、指定された範囲からユーザ２０に類似する画像を検索する（ステップＳ１０５）。一方、情報処理装置１０は、検索対象の範囲に指定がない場合（ステップＳ１０４：否定）、事前に定められた検索対象３０の範囲からユーザ２０に類似する画像を検索する（ステップＳ１０６）。

【0058】

そして、情報処理装置１０は、検索された画像に含まれる人物を特定して表示する（ステップＳ１０７）。また、情報処理装置１０は、表示された人物を絞り込む場合（ステップＳ１０８：肯定）、商品を表示したい人物を選択し（ステップＳ１０９）、選択された人物のみ商品を検索する対象にする。一方、情報処理装置１０は、表示された人物を絞り込まない場合（ステップＳ１０８：否定）、表示された人物３１に関わる商品を検索する。最後に、情報処理装置１０は、表示された人物に関わるレコメンド商品３２を表示し（ステップＳ１１０）、処理が終了する。

【0059】

［第１の実施形態の効果］
第１に、上述した本実施形態に係る情報処理システム１００では、ユーザ２０の顔を含む画像に関する情報を取得し、取得したユーザの画像２１の特徴と類似している画像を検索し、検索した画像に含まれる人物を特定し、特定した人物３１に関する商品の情報３２を出力する。このため、本システム１００は、インターネットショッピングにおいて、より信頼度の高い商品レコメンドをユーザに提供することができる。

【0060】

第２に、本システム１００では、ユーザ２０の顔を含む画像に関する情報に基づいて、ユーザ２０の顔の部位ごとに類似している画像を検索する。このため、本システム１００は、インターネットショッピングにおいて、より信頼度の高い、顔の部位ごとの商品レコメンドをユーザに提供することができる。

【0061】

第３に、本システム１００では、ユーザ２０が指定した検索対象からユーザの画像２１の特徴と類似している画像を検索する。このため、本システム１００は、インターネットショッピングにおいて、ユーザが強く興味を持つ範囲から情報を得ることができ、より信頼度の高い商品レコメンドをユーザに提供することができる。

【0062】

第４に、本システム１００では、ユーザ２０が指定した人物を含む画像を検索する。このため、本システム１００は、インターネットショッピングにおいて、ユーザが強く興味を持つ人物に関する情報を得ることができ、より信頼度の高い商品レコメンドをユーザに提供することができる。

【0063】

第５に、本システム１００では、特定した人物３１をさらに所定の方式で順位付けする。このため、本システム１００は、インターネットショッピングにおいて、より信頼度の高い商品レコメンドをより効率的にユーザに提供することができる。

【0064】

第６に、本システム１００では、ユーザ２０と特定した人物３１との差分をさらに特定し、特定した差分に基づいて、商品の情報３２を出力する。このため、本システム１００は、インターネットショッピングにおいて、より信頼度の高い商品レコメンドをより効果的にユーザに提供することができる。

【0065】

〔システム構成等〕
上記実施形態に係る図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のごとく構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0066】

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0067】

〔プログラム〕
また、上記実施形態において説明した情報処理装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0068】

図７は、プログラムを実行するコンピュータを示す図である。図７に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

【0069】

メモリ１０１０は、図７に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図７に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、図７に例示するように、ディスクドライブ１１００に接続される。例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、図７に例示するように、例えば、マウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、図７に例示するように、例えばディスプレイ１１３０に接続される。

【0070】

ここで、図７に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記のプログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えば、ハードディスクドライブ１０９０に記憶される。

【0071】

また、上記実施形態で説明した各種データは、プログラムデータとして、例えば、メモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

【0072】

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0073】

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0074】

１０ サーバ（情報処理装置）
１１ 入力部
１２ 表示部
１３ 通信部
１４ 記憶部
１５ 制御部
１５ａ 取得部
１５ｂ 検索部
１５ｃ 特定部
１５ｄ 出力部
２０ ユーザＰＣ
２１ ユーザの画像（ユーザの画像情報）
２２ ユーザの情報
３０ 検索対象
３０Ａ ウェブサイト
３０Ｂ ＳＮＳ
３０Ｃ データベース
３１、３１ａ、３１ｂ、３１ｃ 特定した人物
３２、３２ａ、３２ｂ 商品の情報
１００ 情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-03-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザの顔を含む画像に関わる情報を取得する取得部と、
前記取得部によって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索部と、
前記検索部によって検索された画像に含まれる人物を特定する特定部と、
前記特定部によって特定された人物に関する商品の情報を出力する出力部と
を備えることを特徴とする情報処理装置。

【請求項2】

前記検索部は、前記特徴として、前記ユーザの顔の部位ごとに類似している画像を検索することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記検索部は、前記ユーザが指定した検索対象から前記類似している画像を検索することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記検索部は、前記ユーザが指定した人物を含む画像を検索することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記特定部は、前記特定した人物をさらに所定の方式で順位付けすることを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記特定部は、前記ユーザと前記特定した人物との差分をさらに特定し、
前記出力部は、前記特定部によって特定された前記差分に基づいて、前記商品の情報を出力することを特徴とする請求項１に記載の情報処理装置。

【請求項7】

コンピュータである情報処理装置によって実行される情報処理方法であって、
前記情報処理装置が、ユーザの顔を含む画像に関わる情報を取得する取得工程と、
前記情報処理装置が、前記取得工程によって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索工程と、
前記情報処理装置が、前記検索工程によって検索された画像に含まれる人物を特定する特定工程と、
前記情報処理装置が、前記特定工程によって特定された人物に関する商品の情報を出力する出力工程と
を含み、上記の各工程をコンピュータが実行することを特徴とする情報処理方法。

【請求項8】

ユーザの顔を含む画像に関わる情報を取得する取得ステップと、
前記取得ステップによって取得された前記情報に基づいて、前記画像の特徴と類似している画像を検索する検索ステップと、
前記検索ステップによって検索された画像に含まれる人物を特定する特定ステップと、
前記特定ステップによって特定された人物に関する商品の情報を出力する出力ステップと
をコンピュータに実行させることを特徴とする情報処理プログラム。