特許 7168837 商品案内方法、装置、デバイス、記憶媒体、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-01

(45)【発行日】2022-11-10

(54)【発明の名称】商品案内方法、装置、デバイス、記憶媒体、及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20221102BHJP

   G06T 7/60 20170101ALI20221102BHJP

【ＦＩ】

G06Q30/06 330

G06T7/60 150S

【請求項の数】 15

(21)【出願番号】P 2021121060

(22)【出願日】2021-07-21

(65)【公開番号】P2021170391

(43)【公開日】2021-10-28

【審査請求日】2021-07-21

(31)【優先権主張番号】202011322983.2

(32)【優先日】2020-11-23

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】ミャオ チャン

【審査官】田中 寛人

(56)【参考文献】

【文献】特開２００４－３０４２６１（ＪＰ，Ａ）

【文献】特開２０１８－１９５１６６（ＪＰ，Ａ）

【文献】特開２０１９－１９７３５３（ＪＰ，Ａ）

【文献】特開２０１１－１４１８４８（ＪＰ，Ａ）

【文献】特開２０１４－０１６８８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ１６／００－１６／９５８

Ｇ０６Ｑ１０／００－９９／００

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０、３０／４１８、４０／１６、４０／２０

(57)【特許請求の範囲】

【請求項1】

第１の画像におけるキャラクタの身分情報を識別することと、
前記第１の画像におけるキャラクタに対して姿勢識別を行い、姿勢情報を得ることと、
前記第１の画像におけるキャラクタの姿勢情報と、予め記憶されている複数の商品画像における同一のキャラクタの姿勢情報とをマッチングし、マッチングに成功した商品画像を前記第１の画像の推薦商品画像として決定することと、
前記第１の画像の範囲内又は周辺領域において商品案内標識を表示することと、
前記商品案内標識がトリガされた後、前記第１の画像を前記推薦商品画像に切り替えることと、を含む、
商品案内方法。

【請求項2】

前記第１の画像におけるキャラクタの姿勢情報は、キャラクタの上肢姿勢及び下肢姿勢のうち少なくとも１つを含み、
前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの上肢姿勢と一致する商品画像を含む、あるいは、
前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの下肢姿勢と一致する商品画像を含む、あるいは、
前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの上肢姿勢及び下肢姿勢の両方に一致する商品画像を含む、
請求項１に記載の商品案内方法。

【請求項3】

前記商品案内標識がトリガされた後、前記第１の画像を前記推薦商品画像に切り替えることは、
前記商品案内標識がトリガされた後の第１の予めに設定された時間内に、前記第１の画像を前記推薦商品画像に直接切り替えること、あるいは、
前記商品案内標識がトリガされた後の第２の予めに設定された時間内に、前記第１の画像を前記推薦商品画像に段階的に切り替えること、を含む
請求項１に記載の商品案内方法。

【請求項4】

前記第１の画像に対して画像識別処理を行う前に、前記商品案内方法は、
キャラクタに基づいて作成された商品を含む商品画像を収集することと、
収集された商品画像におけるキャラクタに対して身分識別を行い、各商品画像におけるキャラクタの身分情報を得ることと、
前記収集された商品画像におけるキャラクタに対して姿勢識別を行い、各商品画像におけるキャラクタの姿勢情報を得ることと、
前記収集された商品画像と、前記各商品画像におけるキャラクタの身分情報と、前記各商品画像におけるキャラクタの姿勢情報とをデータベースに記憶することと、をさらに含む、
請求項１に記載の商品案内方法。

【請求項5】

身分識別モデルを通して、前記収集された商品画像におけるキャラクタに対して身分識別を行い、
人体姿勢識別モデルを通して、前記収集された商品画像におけるキャラクタに対して姿勢識別を行い、
前記身分識別モデルと、前記人体姿勢識別モデルとは、２つの異なるニューラルネットワークモデルである、あるいは、前記身分識別モデルと、前記人体姿勢識別モデルとは、身分識別能力及び人体姿勢識別能力を備える１つのニューラルネットワークモデルである、
請求項４に記載の商品案内方法。

【請求項6】

前記キャラクタは、カートゥーンキャラクタ、アニメキャラクタ、漫画キャラクタ、映画・テレビ作品キャラクタのうちの少なくとも１つを含む、
請求項１～請求項５までのいずれか１項に記載の商品案内方法。

【請求項7】

第１の画像におけるキャラクタの身分情報を識別するための画像識別モジュールと、
前記第１の画像におけるキャラクタに対して姿勢識別を行い、姿勢情報を得るための姿勢識別モジュールと、
前記第１の画像におけるキャラクタの姿勢情報と、予め記憶されている複数の商品画像における同一のキャラクタの姿勢情報とをマッチングし、マッチングに成功した商品画像を前記第１の画像の推薦商品画像として決定するためのマッチング処理モジュールと、
前記第１の画像の範囲内又は周辺領域において商品案内標識を表示するための案内標識表示モジュールと、
前記商品案内標識がトリガされた後、前記第１の画像を前記推薦商品画像に切り替えるための画像切り替えモジュールと、を備える、
商品案内装置。

【請求項8】

前記第１の画像におけるキャラクタの姿勢情報は、キャラクタの上肢姿勢及び下肢姿勢のうち少なくとも１つを含み、
前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの上肢姿勢と一致する商品画像を含む、あるいは、
前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの下肢姿勢と一致する商品画像を含む、あるいは、
前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの上肢姿勢及び下肢姿勢の両方に一致する商品画像を含む、
請求項７に記載の商品案内装置。

【請求項9】

前記画像切り替えモジュールは、
前記商品案内標識がトリガされた後の第１の予めに設定された時間内に、前記第１の画像を前記推薦商品画像に直接切り替える、あるいは、
前記商品案内標識がトリガされた後の第２の予めに設定された時間内に、前記第１の画像を前記推薦商品画像に段階的に切り替える、
請求項７に記載の商品案内装置。

【請求項10】

画像収集モジュールと、記憶モジュールと、をさらに備え、
前記画像収集モジュールは、キャラクタに基づいて作成された商品を含む商品画像を収集することに用いられ、
前記画像識別モジュールは、収集された商品画像におけるキャラクタに対して身分識別を行い、各商品画像におけるキャラクタの身分情報を得ることにさらに用いられ、
前記姿勢識別モジュールは、前記収集された商品画像におけるキャラクタに対して姿勢識別を行い、各商品画像におけるキャラクタの姿勢情報を得ることにさらに用いられ、
前記記憶モジュールは、前記収集された商品画像と、前記各商品画像におけるキャラクタの身分情報と、前記各商品画像におけるキャラクタの姿勢情報とをデータベースに記憶することに用いられる、
請求項７に記載の商品案内装置。

【請求項11】

前記画像識別モジュールは、身分識別モデルを通して、前記収集された商品画像におけるキャラクタに対して身分識別を行い、前記姿勢識別モジュールは、人体姿勢識別モデルを通して、前記収集された商品画像におけるキャラクタに対して姿勢識別を行い、
前記身分識別モデルと、前記人体姿勢識別モデルとは、２つの異なるニューラルネットワークモデルである、あるいは、前記身分識別モデルと、前記人体姿勢識別モデルとは、身分識別能力及び人体姿勢識別能力を備える１つのニューラルネットワークモデルである、
請求項１０に記載の商品案内装置。

【請求項12】

前記キャラクタは、カートゥーンキャラクタ、アニメキャラクタ、漫画キャラクタ、映画・テレビ作品キャラクタのうちの少なくとも１つを含む、
請求項７～請求項１１までのいずれか１項に記載の商品案内装置。

【請求項13】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１～請求項６までのいずれか１項に記載の商品案内方法を実行させる、
電子デバイス。

【請求項14】

コンピュータに請求項１～請求項６までのいずれか１項に記載の商品案内方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。

【請求項15】

コンピュータにおいて、プロセッサにより実行されると、請求項１～請求項６までのいずれか１項に記載の商品案内方法を実現することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能画像処理技術分野に関し、具体的に画像処理に基づく商品推薦技術に関し、さらに具体的に商品案内方法、装置、デバイス、コンピュータ可読記憶媒体、及びプログラムに関する。

【背景技術】

【0002】

通常、ユーザは画像をアップロードして画像識別を行った後、画像の内容に関するより多くの情報を得ることを希望する。例えば、画像が建築物である場合、該建築物の名称、住所などの情報を得ることを希望し、画像が動植物である場合、該動植物の名称、概要などの情報を得ることを希望し、画像が物品である場合、該物品の用途概要を得ること等を希望する。また、現在はさらに、画像識別結果ページにて商品推薦情報を追加することができ、ユーザはエンティティに関連する商品を容易に閲覧することができ、商品推薦の目的を達成することができる。例えば、画像のエンティティがアニメ・漫画キャラクタである場合、画像識別結果において該アニメ・漫画キャラクタの画像、プロフィール、画像の出所、類似画像などを提示するほか、ページに商品推薦アイコンを追加し、ユーザが商品推薦アイコンをクリックした後該アニメ・漫画キャラクタに関連する商品リストを表示することもできる。しかし、このような商品推薦の方法は比較的通常であるため、ユーザが関連商品を理解しようとするための操作を実行するよう引き付けることは、ますます困難になっており、商品推薦の効果は良くない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、商品案内方法、装置、デバイス、及びコンピュータ可読記憶媒体を提供し、個性的な商品案内方法を通して、ある程度商品推薦の成果を向上することができる。

【課題を解決するための手段】

【0004】

本開示の第１態様において、商品案内方法を提供し、該方法は、第１の画像におけるキャラクタの身分情報を識別することと、第１の画像におけるキャラクタに対して姿勢識別を行い、姿勢情報を得ることと、第１の画像におけるキャラクタの姿勢情報と、予め記憶されている複数の商品画像における同一のキャラクタの姿勢情報とをマッチングし、マッチングに成功した商品画像を第１の画像の推薦商品画像として決定することと、第１の画像の範囲内又は周辺領域において商品案内標識を表示することと、商品案内標識がトリガされた後、第１の画像を推薦商品画像に切り替えることと、を含む。

【0005】

本開示の第２様態において、商品案内装置を提供し、該装置は、第１の画像におけるキャラクタの身分情報を識別するための画像識別モジュールと、第１の画像におけるキャラクタに対して姿勢識別を行い、姿勢情報を得るための姿勢識別モジュールと、第１の画像におけるキャラクタの姿勢情報と、予め記憶されている複数の商品画像における同一のキャラクタの姿勢情報とをマッチングし、マッチングに成功した商品画像を第１の画像の推薦商品画像として決定するためのマッチング処理モジュールと、第１の画像の範囲内又は周辺領域において商品案内標識を表示するための案内標識表示モジュールと、商品案内標識がトリガされた後、第１の画像を推薦商品画像に切り替えるための画像切り替えモジュールと、を備える。

【0006】

本開示の第３様態において、電子デバイスをさらに提供し、該電子デバイスは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信接続されるメモリと、を備え、メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、命令は、少なくとも１つのプロセッサにより実行される場合、本開示の実施形態の任意の商品案内方法を実行させることを特徴とする。

【0007】

本開示の第４様態において、コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体をさらに提供し、該コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体は、本開示の実施形態の任意の商品案内方法をコンピュータに実行させる。

【0008】

本開示の実施形態により、例えば人体姿勢識別モデルに基づいて、推薦する商品画像をフィルタリングすることを提案し、姿勢識別とマッチングした後のキャラクタは、ユーザが関心を示すキャラクタと類似性の高い姿勢を有するため、ユーザの画像を推薦商品画像に切り替える際に、類似性の高い姿勢の商品をユーザに推薦することができ、ユーザの関心をより高め、ユーザが推薦商品を選択する確率を向上し、商品推薦の効果を強めることができる。

【0009】

ここに記載された内容は、本開示の実施形態のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して説明を促す。

【図面の簡単な説明】

【0010】

【図1】本開示の１つの実施形態による商品案内方法のフローチャートである。

【図2】本開示の１つの実施形態による商品画像データ事前処理のフローチャートである。

【図3】通常の画像に基づいて商品を推薦する表示ページの効果図である。

【図4】図３における商品案内アイコンをクリックした後に現れる商品推薦ページの効果図である。

【図5】本開示の１つの実施形態によるオフライン処理とオンライン処理の論理アーキテクチャのブロック図である。

【図6】本開示の１つの実施形態による２人のアニメ・漫画キャラクタの画像保存リストの概略図である。

【図7】図６の実施形態における２人のアニメ・漫画キャラクタの姿勢データの概略図である。

【図8】本開示の１つの実施形態によるアニメ・漫画キャラクタの予め記憶されている姿勢データのリストの概略図である。

【図9】本開示の１つの実施形態による画像に基づいて商品案内を表示する必要があるか否かを判断するフローチャートである。

【図10】本開示の１つの実施形態による画像識別結果ページにおける案内提示の概略図である。

【図11】本開示の１つの実施形態による切り替えプロセスにおける複数のキーマップの効果概略図である。

【図12】本開示の１つの実施形態による処理の画像識別画像と推薦商品画像との対比効果図である。

【図13】本開示の１つの実施形態による商品案内装置の構成ブロック図である。

【図14】本開示の１つの実施形態による商品案内方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0011】

上記の図面は、よりよく本開示を理解させるためのものであり、本開示を限定するものではない。

【0012】

以下において、本開示の例示的な実施形態を、理解を容易にするために本開示の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施形態に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

【0013】

図１は、本開示の１つの実施形態による商品案内方法のフローチャートであり、該方法は以下を含む。

【0014】

Ｓ１０１において、第１の画像におけるキャラクタの身分情報を識別する。

【0015】

Ｓ１０２において、第１の画像におけるキャラクタに対して姿勢識別を行い、姿勢情報を得る。

【0016】

Ｓ１０３において、第１の画像におけるキャラクタの姿勢情報と、予め記憶されている複数の商品画像における同一のキャラクタの姿勢情報とをマッチングし、マッチングに成功した商品画像を第１の画像の推薦商品画像として決定する。

【0017】

Ｓ１０４において、第１の画像の範囲内又は周辺領域において商品案内標識を表示する。

【0018】

Ｓ１０５において、商品案内標識がトリガされた後、第１の画像を推薦商品画像に切り替える。

【0019】

本開示の実施形態によれば、例えばユーザが入力した識別されるべき画像を受信した後、画像にキャラクタ（例えば、カートゥーンキャラクタ、アニメキャラクタ、漫画キャラクタ又は映画・テレビ作品キャラクタ）が含まれている場合、本開示の実施形態では、画像におけるキャラクタの身分情報（例えば、名前、キャラクタプロフィール、キャラクタ作品など）を取得するため、画像におけるキャラクタに対して身分識別を行い、さらに、画像におけるキャラクタの姿勢情報（例えば、立っている、座っている姿、両腕を落としている、左腕を上げて右腕を落としている、など）を取得するため、画像におけるキャラクタに対して姿勢識別を行う必要がある。そして、識別された身分情報と姿勢情報とに基づいて、データベースに予め記憶されている商品画像の資料情報とのマッチング（また、比較ともいう）を行う。例えば、ユーザの画像から識別されたキャラクタの身分は、「第１のカートゥーンキャラクタ」（例えば、ドナルドダック）であり、識別された該第１のカートゥーンキャラクタの姿勢情報は、「左腕を上げて右腕を落としている」であり、人物がマッチングする時、データベースから該第１のカートゥーンキャラクタの全商品画像をフィルタリングすることができ、さらにその中から、姿勢が「左腕を上げて右腕を落としている」である商品画像をフィルタリングし、該商品画像をユーザに推薦する商品画像とする。ここで、推薦した商品画像は、キャラクタ姿勢のマッチングプロセスを通しているため、推薦商品画像における第１のカートゥーンキャラクタは、ユーザの画像における第１のカートゥーンキャラクタと類似性の高い姿勢を有しており、姿勢類似性の高い商品をユーザに推薦したり、ユーザの関心をより高め、推奨効果を強めることができ、かつユーザの画像を推薦商品画像に切り替える商品案内方法を設計しているため、実際の応用における視覚効果から見ると、２つの画像におけるキャラクタ姿勢は類似しているため、この切り替えは視覚的にインパクトを与えることができる。例えば、ユーザの画像が２次元の２Ｄキャラクタであり、推薦商品画像が３次元の３Ｄキャラクタである場合、ユーザのワンタッチ切り替えの効果は、２Ｄキャラクタから３Ｄキャラクタ（キャラクタ姿勢は類似している）への変化であり、このような視覚感覚はユーザの関心度を高め、ユーザが推薦商品を選択する確率を高めることができる。

【0020】

本開示の実施形態において言及される「キャラクタ」は、人間のキャラクタイメージ（例えば、エルサ姫）であってもよく、動物のキャラクタイメージ（例えば、ペッパピッグ）であってもよく、このようなアニメ・漫画又はカートゥーンイメージであってもよく、例えば「動物の世界」に登場する動物のような現実に近い状態のイメージであってもよい。本文では、説明の便宜上、上記の複数の対象を総称して「キャラクタ」と呼び、キャラクタイメージ及び動物イメージのうち少なくとも１つと捉えることができる。

【0021】

本開示の実施形態において、オプションとして、ユーザの画像におけるキャラクタと推薦商品画像におけるキャラクタ間のマッチング度合いであるマッチング条件を実際の需要に応じて設定することができる。いくつかの実施形態において、キャラクタの上肢姿勢及び下肢姿勢のうち少なくとも１つを考慮してもよく、他の実施形態においてさらに、頭部姿勢などを考慮してもよく、動物イメージに対して、四肢の姿勢などを考慮してもよい。マッチングする場合、完全マッチング（例えば、上肢姿勢と下肢姿勢とのいずれも一致する）と設定してもよく、又は部分マッチング（例えば、上肢姿勢あるいは下肢姿勢が一致する）と設定してもよく、具体的に、次のいずれかの方法を使用することができる。

【0022】

第１の画像におけるキャラクタの姿勢情報は、キャラクタの上肢姿勢を含み、マッチングに成功した商品画像は、第１の画像におけるキャラクタの上肢姿勢と一致する商品画像を含む。

【0023】

第１の画像におけるキャラクタの姿勢情報は、キャラクタの下肢姿勢を含み、マッチングに成功した商品画像は、第１の画像におけるキャラクタの下肢姿勢と一致する商品画像を含む。

【0024】

第１の画像におけるキャラクタの姿勢情報は、キャラクタの上肢姿勢と下肢姿勢とを含み、マッチングに成功した商品画像は、第１の画像におけるキャラクタの上肢姿勢及び下肢姿勢のうち少なくとも１つと一致する商品画像を含む。

【0025】

これにより、前期に商品画像におけるキャラクタに対して姿勢識別を行うとき、キャラクタ姿勢データの一部又は全部を識別し、マッチングフィルタリングに用いることができる。オプションとして、前期に商品画像におけるキャラクタの姿勢データを可能な限り詳細かつ包括的に識別し、後期にユーザの画像におけるキャラクタの姿勢データを用いてマッチングを行うとき、操作者は、異なる精度要求に応じて異なるマッチング条件を設定することができ、姿勢データの一致度合いが高いほどマッチング度が高く、最終的に決定された推薦商品画像とユーザの画像におけるキャラクタとの類似度は高い。

【0026】

本開示の実施形態において、オプションとして、商品案内標識がトリガされた後、第１の画像を推薦商品画像に切り替えることは、以下のいずれかの方法を用いて実現されてもよい。

【0027】

商品案内標識がトリガされた後の第１の予めに設定された時間内に、第１の画像を推薦商品画像に直接切り替える。

【0028】

商品案内標識がトリガされた後の第２の予めに設定された時間内に、第１の画像を推薦商品画像に段階的に切り替える。

【0029】

ユーザ画像を推薦商品画像へ切り替えることは、実際の応用における視覚的効果から見て、両画像におけるキャラクタ姿勢が類似しているため、視覚的にインパクトを与えることができ、このような視覚感覚はよりユーザの関心度を高め、ユーザが推薦商品を選択する確率を高めることができる。

【0030】

本開示の実施形態において、オプションとして、図２を参照して、第１の画像に対して画像識別処理を行う前に、商品画像データに対して予め処理を行う。具体的に、以下を含むことができる。

【0031】

Ｓ２０１において、キャラクタに基づいて作成された商品を含む商品画像を収集する。

【0032】

Ｓ２０２において、収集された商品画像におけるキャラクタに対して身分識別を行い、各商品画像におけるキャラクタの身分情報を得る。

【0033】

Ｓ２０３において、収集された商品画像におけるキャラクタに対して姿勢識別を行い、各商品画像におけるキャラクタの姿勢情報を得る。

【0034】

Ｓ２０４において、収集された商品画像と、各商品画像におけるキャラクタの身分情報と、各商品画像におけるキャラクタの姿勢情報とをデータベースに記憶する。

【0035】

上記の処理により、推薦されるべき商品の画像リソースを大量に取得することができ、画像には少なくとも１つのキャラクタが含まれているべきであり、画像におけるキャラクタに対して身分識別及び姿勢識別を行う必要がある。例えば、身分識別と人体姿勢識別のニューラルネットワークモデル（２つのモデルであってもよいし、身分識別能力及び人体姿勢識別能力を備える１つのニューラルネットワークモデルであってもよい）を通して処理することにより、画像におけるキャラクタの身分情報と人体姿勢データとを得、画像及び対応するデータをデータベースに格納することができ、例えば、キャラクタごとに１つのリストに対応し、リストは、該キャラクタの推薦されるべき商品の画像における姿勢データである。上記の予め記憶されているデータは、ユーザの画像におけるキャラクタの姿勢データに対してマッチングを行う際に用いられ、マッチングした商品をユーザに案内・推薦する。

【0036】

以上、本開示の実施形態の様々な実現について説明したが、以下、本開示の実施形態の具体的な処理プロセス及び対応する効果提示について、具体的な例を用いて説明する。

【0037】

具体的な実施形態を提供する前に、本開示の実施形態に関連する概念又は処理の大まかな説明を行う。一般的に、画像識別とは、ユーザが画像をアップロードすることによって画像に関するより多くの情報を得たいと希望する行為であり、ウェブサイトから返される画像識別結果ページは、画像に関するより多くの情報を掲載したページである。エンティティとは、画像情報に基づいて画像識別された画像における主体を指す。アニメ・漫画とは、通常、アニメと漫画の総称、又はアニメと漫画の集合を指す。アニメ・漫画キャラクタ画像とは、エンティティがアニメ・漫画キャラクタである画像を指す。商品案内とは、商品案内を画像識別結果ページに表示することで、ユーザがエンティティに関連する商品を閲覧することに適することである。商品推薦とは、ユーザのより深いニーズを満たすため、エンティティ情報に基づいて推薦商品を表示することである。画像の画像識別結果から主体が識別された後、ユーザの画像識別ニーズを満たすため、画像識別結果ページにエンティティに関連する情報を表示する必要がある。

【0038】

説明を明確にするため、以下の具体的な実施形態は、「画像は、アニメ・漫画キャラクタであり、推薦商品は、該アニメ・漫画キャラクタのフィギュア製品である」場合を例として説明する。

【0039】

図３は、まず、通常の画像に基づいて商品を推薦する表示ページを模式的に示しており、画像におけるエンティティはアニメ・漫画キャラクタであり、画像識別ページには、主に該アニメ・漫画キャラクタの画像、商品案内、より多くのサイズデータ、画像の出所及び類似画像等の情報が含まれる。ここで、図３の左下に「同商品」と記された商品推薦案内アイコンを設置する。ユーザーが該案内アイコンをクリックした場合、ページは図４に跳ぶ。図４は、商品案内アイコンをクリックすると（左ページ）、商品推薦ページ（右ページ）が表示され、ページには、通常の該アニメ・漫画キャラクタに関連する各種商品情報、例えば、該アニメ・漫画キャラクタが印刷されたスーツケース、該アニメ・漫画キャラクタの装飾画等が表示されていることを模式的に示している。このような商品案内方法は斬新ではなく、ユーザが商品をさらに理解するように引き付けることが困難である。

【0040】

これに対し、図５を参照すると、本開示の新規的な設計によれば、オフライン処理及びオンライン処理を通して、全く新しい商品案内方法を構築することができるため、以下、オフライン処理及びオンライン処理についてそれぞれ詳細に説明する。

【0041】

（１）オフライン処理
オフライン処理部分は、リソース収集処理、リソース識別処理、リソースをデータベースに格納する処理を含むことができ、以下、それぞれの処理内容を具体的に説明する。

【0042】

リソース収集処理は、主にアニメ・漫画キャラクタの商品案内リソースを収集するものであり、例えば、まずできるだけ多くのアニメ・漫画キャラクタ（例えば、アニメ・漫画キャラクタの上位１００位までのアニメ・漫画キャラクタ）を収集し、さらに各キャラクタの人気フィギュアの商品画像を収集し、データは例えば図６であり、２人のアニメ・漫画キャラクタ（ゾロとルフィ）の画像保存のリストを示している。

【0043】

リソース識別処理は、主にフィギュアの商品画像を人体姿勢のニューラルネットワークモデル処理し、フィギュアの人体姿勢データを読み取るものであり、データは図７のように、上記の２人のアニメ・漫画キャラクタの姿勢データを示しており、いずれも上肢及び下肢の姿勢データを含んでいる。

【0044】

リソースをデータベースに格納する処理は、主にリソース識別処理の結果をオンラインデータベースに格納するものであり、データベース表示は例えば図８に示すように、１人のアニメ・漫画キャラクタの予め記憶されているデータのリストを示している。

【0045】

（２）オンライン処理
オンライン処理部分は、案内判断処理、案内提示処理及び案内対話処理を含むことができ、以下、それぞれの処理内容を具体的に説明する。

【0046】

案内判断処理は、主にユーザが画像識別した画像に基づいて案内を表示する必要があるか否かを判断する処理である。例示的なフローチャートは図９のように、具体的に、画像を受信した後に画像識別を行い、図にエンティティが存在するか否かを判断し、エンティティがない場合、案内表示を行わず、エンティティが存在する場合、エンティティがアニメ・漫画キャラクタであるか否かを判断し、アニメ・漫画キャラクタでない場合、案内表示を行わず、アニメ・漫画キャラクタである場合、該アニメ・漫画キャラクタに対応するフィギュア商品が存在するか否かを判断し、対応するフィギュア商品がない場合、通常の商品案内を行い（例えば、画像識別結果ページに「同商品」の案内アイコンを追加する）、対応するフィギュア商品が存在する場合、該アニメ・漫画キャラクタ画像における人体姿勢を読み取り、かつ該人体姿勢にマッチングするフィギュア商品が存在するか否かを判断し、マッチングするフィギュア商品がない場合、通常の商品案内を行い、マッチングするフィギュア商品が存在する場合、本実施形態による商品案内を行い、例えば、トリガ操作後に、現在の画像を推薦商品の画像に切り替える。

【0047】

上記の処理プロセスにおいて、該人体姿勢にマッチングするフィギュア商品が存在するか否かをどのように判断するかについては、以下の方法を用いて処理することができる。

【0048】

ステップ１において、該アニメ・漫画キャラクタ画像の人体姿勢を読み取る。例えば、読み取ったデータは次の通りである。

【0049】

上肢姿勢：左腕を曲げ右腕を落としている

【0050】

下肢姿勢：立っている

【0051】

ステップ２において、データベースにおいて該アニメ・漫画キャラクタのフィギュア商品リストに、人体姿勢が同一であるフィギュア商品が存在するか否かを閲覧し、存在する場合、マッチングに成功する。

【0052】

ここで、「上肢姿勢」と「下肢姿勢」の両方が同一である場合、完全マッチングである。１項のみが同一である場合、不完全マッチングである。例えば、次の通りである。

【0053】

上肢姿勢：左腕を曲げ右腕を落としている

【0054】

下肢姿勢：座っている姿

【0055】

ここで、「下肢姿勢」が異なるため、不完全マッチングである。

【0056】

応用において、装置（又はシステム）を、「完全マッチング」が必要である場合、マッチングに成功したとみなすように設定してもよい。オプションとして、「不完全マッチング」である場合、マッチングに成功したとみなすように設定してもよい。

【0057】

オプションとして、マッチングに成功した商品の数が複数である場合は、その中からランダムに１つの商品を推薦商品として決定してもよいし、他の優先戦略を用いて推薦商品を決定してもよい。

【0058】

案内表示処理は、主に決定した推薦商品データに基づいて商品案内標識（商品案内提示等と称することもできる）を表示し、案内位置は、画像上又は画像の周辺の予め定めた位置又はランダムの位置であってもよい。図１０は、画像識別結果ページに位置する案内提示を模式的に示しており、具体的に、画像上の中央下部に矩形の枠が表示されており、枠内の文字は例えば「クリックで次元を破る」とすることができ、「二次元」のアニメ・漫画キャラクタ画像を立体感のあるエンティティ商品画像に切り替えることに適している。図１０におけるアニメ・漫画キャラクタ画像の下方の文字とサイズが比較的小さい画像は、通常の画像識別結果の表示である。

【0059】

案内対話処理は、主にユーザの操作に応答し、ユーザが案内提示をクリックすると案内提示が消え、アニメ・漫画キャラクタ画像がフィギュア商品画像に切り替わり、ページ内容が推薦商品の内容に変わる。図１１は、切り替えプロセスにおける複数のキーマップを模式的に示しており、左側は案内提示のある画像であり、案内提示をクリックすると、該提示枠は消えて、中央の画像（例えば、元の画像）であると表示し、その後、予め設定された期間内、例えば０.５秒又は１秒後に、右側に立体感のある商品画像であると表示し、切り替えプロセスが完了する。他の実施形態において、原図から推薦商品図へと予め設定された時間内に段階的に切り替えられるように設定してもよい。

【0060】

図１２は、他の実施形態により処理された画像識別画像と推薦商品画像との対比効果図を模式的に示している。本開示の少なくとも１つの実施形態により、「次元を破る」新たな案内方式を形成することができ、「人体姿勢」の高い相関度のマッチング制約により、ユーザを商品推薦にさらに引き付けることができ、これ実際により深いレベルで拡張してユーザの画像識別のニーズを満たすことになる。

【0061】

以上、複数の実施形態を通して異なる角度から本開示の実施形態の具体的な設定及び実現方法について説明した。上記の少なくとも１つの実施形態の処理方法に対応し、本開示の実施形態は、図１３を参照し、商品案内装置１００は、第１の画像におけるキャラクタの身分情報を識別するための画像識別モジュール１１０と、第１の画像におけるキャラクタに対して姿勢識別を行い、姿勢情報を得るための姿勢識別モジュール１２０と、第１の画像におけるキャラクタの姿勢情報と、予め記憶されている複数の商品画像における同一のキャラクタの姿勢情報とをマッチングし、マッチングに成功した商品画像を第１の画像の推薦商品画像として決定するためのマッチング処理モジュール１３０と、第１の画像の範囲内又は周辺領域において商品案内標識を表示するための案内標識表示モジュール１４０と、商品案内標識がトリガされた後、第１の画像を推薦商品画像に切り替えるための画像切り替えモジュール１５０と、をさらに備える。

【0062】

オプションとして、前記第１の画像におけるキャラクタの姿勢情報は、キャラクタの上肢姿勢及び下肢姿勢のうち少なくとも１つを含み、前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの上肢姿勢と一致する商品画像を含む、あるいは、前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの下肢姿勢と一致する商品画像を含む、あるいは、前記マッチングに成功した商品画像は、前記第１の画像におけるキャラクタの上肢姿勢及び下肢姿勢の両方に一致する商品画像を含む。

【0063】

オプションとして、画像切り替えモジュールは、商品案内標識がトリガされた後の第１の予めに設定された時間内に、第１の画像を推薦商品画像に直接切り替える、あるいは、商品案内標識がトリガされた後の第２の予めに設定された時間内に、第１の画像を推薦商品画像に段階的に切り替える。

【0064】

オプションとして、商品案内装置１００は、画像収集モジュールと記憶モジュールとをさらに備えてもよく、ここで、画像収集モジュールは、キャラクタに基づいて作成された商品を含む商品画像を収集することに用いられ、画像識別モジュールは、収集された商品画像におけるキャラクタに対して身分識別を行い、各商品画像におけるキャラクタの身分情報を得ることにさらに用いられ、姿勢識別モジュールは、収集された商品画像におけるキャラクタに対して姿勢識別を行い、各商品画像におけるキャラクタの姿勢情報を得ることにさらに用いられ、記憶モジュールは、収集された商品画像と、各商品画像におけるキャラクタの身分情報と、各商品画像におけるキャラクタの姿勢情報とをデータベースに記憶することに用いられる。

【0065】

オプションとして、画像識別モジュールは、身分識別モデルを通して、収集された商品画像におけるキャラクタに対して身分識別を行い、姿勢識別モジュールは、人体姿勢識別モデルを通して、収集された商品画像におけるキャラクタに対して姿勢識別を行う。ここで、身分識別モデルと、人体姿勢識別モデルとは、２つの異なるニューラルネットワークモデルである、あるいは、身分識別モデルと、人体姿勢識別モデルとは、身分識別能力及び人体姿勢識別能力を備える１つのニューラルネットワークモデルである。

【0066】

本開示の実施形態による各装置における各モジュールの機能は、上記の方法において対応する説明を参照できるため、ここではさらに言及しない。

【0067】

本開示の実施形態によれば、本開示は、電子デバイスと可読記憶媒体をさらに提供する。図１３は、本開示の実施形態による商品案内方法を実現するための電子デバイスのブロック図である。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことができる。また、電子デバイスは携帯情報端末、携帯電話、スマートフォン、装着可能デバイス、及びその他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。ここで示した構成要素、それらの接続と関係、及びそれらの機能は例示的なものに過ぎず、本開示で説明されたもの及び／又は要求される本開示の実施を制限することは意図されない。

【0068】

図１３に示すように、該電子デバイスは、１つ又は複数のプロセッサ１００１と、メモリ１００２と、高速インターフェースと低速インターフェースとを含む各構成要素を接続するためのインターフェースとを含む。各構成要素は、異なるバスを利用して互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子デバイス内で実行される命令を処理してもよく、また、外部入出力デバイス（例えば、インターフェースに接続された表示デバイス）にグラフィックユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）を表示するための、メモリ又はメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態において、必要に応じて、複数のプロセッサ及び複数のバスのうち少なくとも１つを複数のメモリ及び複数のメモリとともに使用することができる。同様に、複数の電子デバイスを接続してもよく、各デバイスは、部分的に必要な動作、例えば、サーバアレイ、ブレードサーバの集合、又はマルチプロセッサシステムとして、提供する。図１３においてプロセッサ１００１を例とする。

【0069】

メモリ１００２は、本開示にて提供された非一過性のコンピュータ可読記憶媒体である。メモリは、本開示で提供される商品案内方法を少なくとも１つのプロセッサに実行させるように、少なくとも１つのプロセッサによって実行されることができる命令を記憶する。本開示における非一過性のコンピュータ可読記憶媒体は、本開示で提供された商品案内方法をコンピュータに実行させるためのコンピュータ命令を記憶する。

【0070】

メモリ１００２は、非一過性のコンピュータ可読記憶媒体として、非一過性のソフトウェアプログラム、非一過性のコンピュータ実行可能なプログラム及びモジュールを記憶するために使用されてもよく、本開示の実施形態における商品案内方法に対応するプログラム命令／モジュール、（例えば、図１３に示される、画像識別モジュール１１０、姿勢識別モジュール１２０、マッチング処理モジュール１３０、案内標識表示モジュール１４０、画像切り替えモジュール１５０）である。プロセッサ１００１は、メモリ１００２に記憶されている非一過性のソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理、即ち上述した方法に関する実施形態に係る商品案内方法を実行する。

【0071】

メモリ１００２は、オペレーティングシステムや少なくとも１つの機能に必要なアプリケーションを記憶することができるプログラムの記憶領域と、商品案内方法に係る電子デバイスの使用によって生成されたデータなどを記憶することができるデータの記憶領域と、を含むことができる。さらに、メモリ１００２は、高速ランダムアクセスメモリを含んでもよく、非一過性の固体記憶装置を含んでもよい。例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一過性の固体記憶装置を含むことができる。いくつかの実施形態において、メモリ１００２はオプションとして、プロセッサ１００１に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して商品案内方法に係る電子デバイスに接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワーク及びその組み合わせを含むが、これらに限定されない。

【0072】

本開示の実施形態の商品案内方法に対応する電子デバイスは、入力装置１００３と出力装置１００４とをさらに含むことができる。プロセッサ１００１、メモリ１００２、入力装置１００３、及び出力装置１００４は、バス又は他の方法で接続されてもよく、図１３ではバスを介して接続されている。

【0073】

入力装置１００３は、入力された数字又は文字を受信し、商品案内方法に係る電子デバイスのユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどを含むことができる。出力装置１００４は、表示装置、補助照明装置（例えばＬＥＤ）、及び触覚フィードバック装置（例えば、振動モータ）などを含むことができる。この表示装置は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

【0074】

本開示におけるシステム及び技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及びこれらの組み合わせのうち少なくとも１つによって実現されることができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実装されてもよく、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されること、及び解釈されることのうち少なくとも１つがされてもよく、このプログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置より、データと命令を受信し、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置に、データと命令を送信する。

【0075】

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードともいう）は、プログラマブルプロセッサのマシン命令を含み、過程指向プログラミング言語及びオブジェクト指向プログラミング言語のうち少なくとも１つと、アセンブリ／マシン言語とのうち少なくとも１つを用いてこれらの計算プログラムを実施することができる。本開示で使用されるように、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、マシン命令及びデータのうち少なくとも１つをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、及び装置（例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）のうち少なくとも１つを意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令及びデータのうち少なくとも１つをプログラマブルプロセッサに提供するための任意の信号を意味する。

【0076】

ユーザとのイントラクションを提供するために、本開示で説明されているシステムや技術は、コンピュータ上で実施されてもよく、また、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、ユーザからの入力は、いかなる形式（音響入力、音声入力、又は触覚入力を含む）で受信されてもよい。

【0077】

本開示で説明されているシステム及び技術は、バックグラウンド構成要素を含む計算システム（例えば、データサーバとして）、又は中間部構成要素を含む計算システム（例えば、アプリケーションサーバ）、又は、フロントエンド構成要素を含む計算システム（例えば、グラフィカルユーザインタフェース又はネットワークブラウザを備えたユーザコンピュータであって、ユーザがこのグラフィカルユーザインタフェース又はネットワークブラウザを介して本開示で説明されたシステム及び技術に係る実施形態とインタラクションを行うことができるユーザコンピュータ）に実行されてもよく、又は、このようなバックグラウンド構成要素、中間部構成要素、又はフロントエンド構成要素の任意の組合せを含む計算システムにおいて実行されてもよい。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの例えとして、ローカルネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）及びインターネットを含む。

【0078】

コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバは一般的に相互に離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係を持つコンピュータプログラムがそれぞれのコンピュータ上で実行されることによって、クライアントとサーバとの関係は構築される。

【0079】

上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、又は削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。

【0080】

上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本開示の要旨及び原則内における変更、均等な置換及び改善等は、いずれも本開示の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】