特開 2024-84704 マルチモーダルフィーチャに基づいた検索結果を提供する方法、コンピュータ装置、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084704

(43)【公開日】2024-06-25

(54)【発明の名称】マルチモーダルフィーチャに基づいた検索結果を提供する方法、コンピュータ装置、およびコンピュータプログラム

(51)【国際特許分類】

   G06F 16/908 20190101AFI20240618BHJP

【ＦＩ】

G06F16/908

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023201168

(22)【出願日】2023-11-29

(31)【優先権主張番号】10-2022-0174089

(32)【優先日】2022-12-13

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2023-0043095

(32)【優先日】2023-03-31

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】チェ・スングォン

(72)【発明者】

【氏名】イ・ジウン

(72)【発明者】

【氏名】キム・サンヨン

(72)【発明者】

【氏名】イ・ドンジュ

(72)【発明者】

【氏名】チョン・ジス

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA10

5B175FA01

5B175HA01

(57)【要約】

【課題】マルチモーダルフィーチャに基づいた検索結果を提供する方法、コンピュータ装置、およびコンピュータプログラムを提供する。
【解決手段】マルチモーダルフィーチャに基づいた検索結果を提供する方法は、マルチモーダル埋め込み空間に対してユーザクエリによる属性間のベクトル演算を実行する段階、および前記ベクトル演算によって取得した埋め込みベクトルを基準にして前記ユーザクエリに対応する検索結果を提供する段階を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

コンピュータ装置で実行されるマルチモーダル検索方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記マルチモーダル検索方法は、
前記少なくとも１つのプロセッサにより、マルチモーダル埋め込み空間に対してユーザクエリによる属性間のベクトル演算を実行する段階、
前記少なくとも１つのプロセッサにより、前記ベクトル演算によって取得した埋め込みベクトルを基準にして前記ユーザクエリに対応する検索結果を提供する段階
を含む、マルチモーダル検索方法。

【請求項2】

前記実行する段階は、
前記マルチモーダル埋め込み空間の非線形な誤差を考慮した補正関数を利用して前記ベクトル演算を実行すること
を特徴とする、請求項１に記載のマルチモーダル検索方法。

【請求項3】

前記実行する段階は、
前記マルチモーダル埋め込み空間上の各属性ベクトルを利用して、前記マルチモーダル埋め込み空間の非線形的な誤差を考慮した補正関数を推定する段階、および
前記補正関数を利用した近似計算によって前記ユーザクエリに含まれる属性間のベクトル演算を実行する段階
を含む、請求項１に記載のマルチモーダル検索方法。

【請求項4】

前記マルチモーダル埋め込み空間は、非線形性を有するデルタ空間（ｄｅｌｔａ ｓｐａｃｅ）と線形表現が可能な仮想のベクトル空間に分解可能なベクトル空間として定義されること
を特徴とする、請求項１に記載のマルチモーダル検索方法です。

【請求項5】

前記実行する段階は、
前記マルチモーダル埋め込み空間を線形表現が可能なベクトル空間に変換する段階、および
前記ベクトル空間で、前記ユーザクエリに含まれる属性間のベクトル演算を実行する段階
を含む、請求項１に記載のマルチモーダル検索方法。

【請求項6】

前記提供する段階は、
前記ベクトル空間を前記マルチモーダル埋め込み空間に復元し、前記マルチモーダル埋め込み空間上で、前記ベクトル演算によって取得した埋め込みベクトルと一定の距離以内のベクトルを有する少なくとも１つの商品を前記検索結果として提供すること
を特徴とする、請求項５に記載のマルチモーダル検索方法。

【請求項7】

前記実行する段階は、
前記ユーザクエリとして入力された少なくとも１つのイメージと少なくとも１つのテキストに対応するベクトル演算を実行すること
を特徴とする、請求項１に記載のマルチモーダル検索方法。

【請求項8】

前記実行する段階は、
記ユーザクエリに含まれる属性のうちの特定の属性に該当するベクトルの反対方向ベクトルとの組み合わせによって前記特定の属性を除くベクトル演算を実行すること
を特徴とする、請求項１に記載のマルチモーダル検索方法。

【請求項9】

前記実行する段階は、
前記ユーザクエリに含まれる属性のうちの特定の属性に該当するベクトルに対するスカラー積によって前記特定の属性の強度を調節するベクトル演算を実行すること
を特徴とする、請求項１に記載のマルチモーダル検索方法です。

【請求項10】

前記実行する段階は、
同じ座標系を使用するテキストベクトル空間とイメージベクトル空間の間でクロスモーダル特徴ベクトル操作（ｃｒｏｓｓ－ｍｏｄａｌ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ ｍａｎｉｐｕｌａｔｉｏｎ）を実行する段階
を含む、請求項１に記載のマルチモーダル検索方法。

【請求項11】

請求項１～１０のうちのいずれか一項に記載のマルチモーダル検索方法をコンピュータに実行させるためのコンピュータプログラム。

【請求項12】

コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
マルチモーダル埋め込み空間に対してユーザクエリによる属性間のベクトル演算を実行する過程、および
前記ベクトル演算によって取得した埋め込みベクトルを基準にして前記ユーザクエリに対応する検索結果を提供する過程
を処理する、コンピュータ装置。

【請求項13】

前記少なくとも１つのプロセッサは、
前記マルチモーダル埋め込み空間の非線形な誤差を考慮した補正関数を利用して前記ベクトル演算を実行すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項14】

前記少なくとも１つのプロセッサは、
前記マルチモーダル埋め込み空間上の各属性ベクトルを利用して、前記マルチモーダル埋め込み空間の非線形的な誤差を考慮した補正関数を推定し、
前記補正関数を利用した近似計算によって前記ユーザクエリに含まれる属性間のベクトル演算を実行すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項15】

前記マルチモーダル埋め込み空間は、非線形性を有するデルタ空間と線形表現が可能な仮想のベクトル空間に分解可能なベクトル空間として定義されること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項16】

前記少なくとも１つのプロセッサは、
前記マルチモーダル埋め込み空間を線形表現が可能なベクトル空間に変換し、
前記ベクトル空間で、前記ユーザクエリに含まれる属性間のベクトル演算を実行すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項17】

前記少なくとも１つのプロセッサは、
前記ベクトル空間を前記マルチモーダル埋め込み空間に復元し、前記マルチモーダル埋め込み空間上で、前記ベクトル演算によって取得した埋め込みベクトルと一定の距離以内のベクトルを有する少なくとも１つの商品を前記検索結果として提供すること
を特徴とする、請求項１６に記載のコンピュータ装置。

【請求項18】

前記少なくとも１つのプロセッサは、
前記ユーザクエリとして入力された少なくとも１つのイメージと少なくとも１つのテキストに対応するベクトル演算を実行すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項19】

前記少なくとも１つのプロセッサは、
前記ユーザクエリに含まれる属性のうちの特定の属性に該当するベクトルの反対方向ベクトルとの組み合わせによって前記特定の属性を除くベクトル演算を実行すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項20】

前記少なくとも１つのプロセッサは、
前記ユーザクエリに含まれる属性のうちの特定の属性に該当するベクトルに対するスカラー積によって前記特定の属性の強度を調節するベクトル演算を実行すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、ユーザの意図に適した検索結果を提供する技術に関する。

【背景技術】

【0002】

検索エンジン（ｓｅａｒｃｈ ｅｎｇｉｎｅ）とは、インターネット上で資料を簡単に探し出してくれるソフトウェアまたはウェブサイトを意味する。このような検索エンジンは、ユーザが入力した検索語を使ってデータベースを検索し、これに対する検索結果を抽出してユーザに提供する。

【0003】

このような検索結果を提供する技術の一例として、特許文献１（公開日２００４年９月１６日）には、検索語に対する検索結果リストを検索エンジンで生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】韓国公開特許第１０－２００４－００７９６０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

マルチモーダル（ｍｕｌｔｉｍｏｄａｌ）入力を同時に理解し、ユーザの意図に適した検索結果を提供できるようにする。

【課題を解決するための手段】

【0006】

コンピュータ装置で実行されるマルチモーダル検索方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記マルチモーダル検索方法は、前記少なくとも１つのプロセッサにより、マルチモーダル埋め込み空間に対してユーザクエリによる属性間のベクトル演算を実行する段階、および前記少なくとも１つのプロセッサにより、前記ベクトル演算によって取得した埋め込みベクトルを基準にして前記ユーザクエリに対応する検索結果を提供する段階を含む、マルチモーダル検索方法を提供する。

【0007】

一側面によると、前記実行段階は、前記マルチモーダル埋め込み空間の非線形的な誤差を考慮した補正関数を利用して前記ベクトル演算を実行してよい。

【0008】

他の側面によると、前記実行する段階は、前記マルチモーダル埋め込み空間上の各属性ベクトルを利用して前記マルチモーダル埋め込み空間の非線形的な誤差を考慮した補正関数を推定する段階、および前記補正関数を利用した近似計算によって前記ユーザクエリに含まれる属性間のベクトル演算を実行する段階を含んでよい。

【0009】

また他の側面によると、前記マルチモーダル埋め込み空間は、非線形性を有するデルタ空間（ｄｅｌｔａ ｓｐａｃｅ）と線形表現が可能な仮想のベクトル空間に分解可能なベクトル空間として定義されてよい。

【0010】

また他の側面によると、前記実行する段階は、前記マルチモーダル埋め込み空間を線形表現が可能なベクトル空間に変換する段階、および前記ベクトル空間で前記ユーザクエリに含まれる属性間のベクトル演算を実行する段階を含んでよい。

【0011】

また他の側面によると、前記提供する段階は、前記ベクトル空間を前記マルチモーダル埋め込み空間に復元し、前記マルチモーダル埋め込み空間上で、前記ベクトル演算によって取得した埋め込みベクトルと一定の距離以内のベクトルを有する少なくとも１つの商品を前記検索結果として提供してよい。

【0012】

また他の側面によると、前記実行する段階は、前記ユーザクエリとして入力された少なくとも１つのイメージと少なくとも１つのテキストに対応するベクトル演算を実行してよい。

【0013】

また他の側面によると、前記実行する段階は、前記ユーザクエリに含まれる属性のうちの特定の属性に該当するベクトルと反対方向ベクトルとの組み合わせによって前記特定の属性を除くベクトル演算を実行してよい。

【0014】

また他の側面によると、前記実行する段階は、前記ユーザクエリに含まれる属性のうちの特定の属性に対応するベクトルに対するスカラー積によって前記特定の属性の強度を調節するベクトル演算を実行してよい。

【0015】

さらに他の側面によると、前記実行する段階は、同じ座標系を使用するテキストベクトル空間とイメージベクトル空間の間でクロスモーダル特徴ベクトル操作（ｃｒｏｓｓ－ｍｏｄａｌ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ ｍａｎｉｐｕｌａｔｉｏｎ）を実行する段階を含んでよい。

【0016】

前記マルチモーダル検索方法をコンピュータに実行させるためのコンピュータプログラムを提供する。

【0017】

コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、マルチモーダル埋め込み空間に対してユーザクエリによる属性間のベクトル演算を実行する過程、および前記ベクトル演算によって取得した埋め込みベクトルを基準にして前記ユーザクエリに対応する検索結果を提供する過程を処理する、コンピュータ装置を提供する。

【発明の効果】

【0018】

本発明の実施形態によると、イメージとテキストを組み合わせたマルチモーダル入力を同時に理解することでユーザの意図により適した商品を見つけ出すことができ、検索品質を高めることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態における、ネットワーク環境の一例を示した図である。

【図2】本発明の一実施形態における、コンピュータ装置の一例を示したブロック図である。

【図3】本発明の一実施形態における、コンピュータ装置が実行することができる商品検索方法の一例を示したフローチャートである。

【図4】本発明の一実施形態における、マルチモーダルベクトル空間を説明するための例示図である。

【図5】本発明の一実施形態における、ベクトル演算の限界を説明するための例示図である。

【図6】本発明の一実施形態における、ベクトル演算が可能な仮想のベクトル空間を説明するための例示図である。

【図7】本発明の一実施形態における、誤差補正によるベクトル演算結果を説明するための例示図である。

【図8】本発明の一実施形態における、属性を除くベクトル演算を説明するための例示図である。

【図9】本発明の一実施形態における、属性の強度を調節するベクトル演算を説明するための例示図である。

【図10】本発明の一実施形態における、ベクトルのもつれ（ｖｅｃｔｏｒ ｅｎｔａｎｇｌｅｍｅｎｔ）に基づくベクトル演算を説明するための例示図である。

【図11】本発明の一実施形態における、ベクトルのもつれ（ｖｅｃｔｏｒ ｅｎｔａｎｇｌｅｍｅｎｔ）に基づくベクトル演算を説明するための例示図である。

【図12】本発明の一実施形態における、テキスト基盤のクエリの組み合わせの一例を示した図である。

【図13】本発明の一実施形態における、イメージとテキストのクエリの組み合わせの一例を示した図である。

【図14】本発明の一実施形態における、検索画面の一例を示した図である。

【図15】本発明の一実施形態における、検索画面の一例を示した図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

【0021】

本発明の実施形態は、ユーザの意図に適した検索結果を提供する技術に関する。

【0022】

また、本発明の実施形態は、イメージとテキストを組み合わせて、ユーザが所望する属性の商品を効率的に検索できるようにする技術に関する。

【0023】

また、本発明の実施形態は、商品に対するマルチモーダル埋め込み（ｅｍｂｅｄｄｉｎｇ）を線形表現が可能な仮想空間に変形（ｔｒａｎｓｆｏｒｍ）し、ベクトル演算によって検索結果を見つけ出せるようにする技術に関する。

【0024】

また、本発明の実施形態は、ベクトル演算が可能な仮想空間を使用して属性を自由に加えたり除いたりして、多様な組み合わせの検索を提供できるようにする技術に関する。

【0025】

本明細書で具体的に開示される事項を含む実施形態は、商品に対するマルチモーダル埋め込みを線形的に表現した仮想空間を利用して商品の属性を自由に加えたり除いたりするベクトル演算を実行することにより、ユーザの意図に適した商品を迅速かつ容易に検索することができる。

【0026】

本発明の実施形態に係る商品検索システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る商品検索方法は、商品検索システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置には、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係る商品検索方法を実行してよい。上述のコンピュータプログラムは、コンピュータ装置と結合して商品検索方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。

【0027】

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。

【0028】

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

【0029】

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0030】

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、商品検索サービスなど）を提供するシステムであってよい。

【0031】

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。

【0032】

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。

【0033】

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0034】

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

【0035】

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。

【0036】

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。

【0037】

以下では、マルチモーダルフィーチャに基づいた検索結果を提供する方法および装置の具体的な実施形態について説明する。

【0038】

図３は、本発明の一実施形態における、コンピュータ装置が実行することができる商品検索方法の一例を示したフローチャートである。

【0039】

本実施形態に係る商品検索方法は、上述したコンピュータ装置２００によって実行されてよい。この場合、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０に含まれるオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令にしたがってコンピュータ装置２００が図３の商品検索方法に含まれる段階３１０～３３０を実行するようにコンピュータ装置２００を制御してよい。

【0040】

図３を参照すると、段階３１０で、プロセッサ２２０は、商品に対するマルチモーダル埋め込みがマッピングされたベクトル空間（以下、「マルチモーダルベクトル空間」とする）を、線形表現が可能なベクトル空間（以下、「ＶＡＶ（ｖｉｒｔｕａｌ ａｔｔｒｉｂｕｔｅ ｖｅｃｔｏｒ）空間」とする）に変換してよい。

【0041】

図４に示すように、マルチモーダルベクトル空間４００は、同じ商品のイメージとテキストを同じベクトル空間にマッピングする。マルチモーダルベクトル空間４００は、同一の座標系を有する互いに異なる２つのベクトル空間、すなわち、テキストベクトル空間４１０とイメージベクトル空間４２０に分解される。

【0042】

一般的に、ディープラーニングモデルは非線形性（ｎｏｎ－ｌｉｎｅａｒｉｔｙ）を内在しているため、ベクトル空間上の各属性のベクトル和によって見つけ出された商品が、文字列を合わせて生成されたベクトルによって見つけ出された商品と異なる場合がある。例えば、図５に示すように、「エアマックス９７」を示す特徴ベクトルと「水色」を示す特徴ベクトルの和が「水色エアマックス９７」に該当する特徴ベクトルとは異なることから、単なるベクトルの和によってユーザが所望する商品を見つけ出すことはできない。

【0043】

一方、一部のディープラーニングモデルでは、特徴ベクトルの大きさが常に一定になるように（例えば、大きさが常に１になるように）正規化（ｎｏｒｍａｌｉｚｅ）を必要とする場合がある。本明細書では、説明の便宜上、正規化を行ったこととして示しているが、正規化が必ずしも必要ではない。

【0044】

本実施形態では、マルチモーダルベクトル空間４００を、図６に示すように、異方性（ａｎｉｓｏｔｒｏｐｉｃ）と非線形性を有するデルタ空間（ｄｅｌｔａ ｓｐａｃｅ）６１０と線形表現が可能なＶＡＶ空間６２０に分解してよく、さらに、分解されたデルタ空間６１０とＶＡＶ空間６２０を再結合してマルチモーダルベクトル空間４００として復元してよい。

【0045】

マルチモーダル学習によって学習されたテキストエンコーダ（ｔｅｘｔ ｅｎｃｏｄｅｒ）ｆ（ｘ）は、与えられたテキストｘをマルチモーダルベクトル空間４００にマッピングする関数に該当する。

【0046】

商品の属性をマルチモーダルベクトル空間４００にマッピングするときに、線形的に表現可能であれば、［ｆ（エアマックス９７水色）＝ｆ（エアマックス９７）＋ｆ（水色）］のように各属性の和で表現することが可能である。

【0047】

しかし、ディープラーニングで扱うベクトルは、非線形な高次元のマルチモーダル空間上のベクトルであるため、各ベクトルの線形の組み合わせによって完全に表現することができない。すなわち、ｆ（エアマックス９７水色）≠ｆ（エアマックス９７）＋ｆ（水色）となる。

【0048】

マルチモーダル埋め込みを任意の空間に変換させる場合、線形的な表現が可能となる。本実施形態では、任意の空間をＶＡＶ空間６２０として定義する。

【0049】

マルチモーダルベクトル空間４００上のベクトルは、線形表現が可能なＶＡＶ空間６２０上のベクトルと、そうでないデルタ空間６１０上のベクトルで表現することができる。

【0050】

【数1】

【0051】

本発明では、デルタ（δ）を定数エプシロン（ｅｐｓｉｌｏｎ）（ε）に近似可能なＶＡＶ空間６２０を定義してよい。

【0052】

【数2】

【0053】

したがって、エプシロン（ε）による誤差を補正することにより、埋め込みベクトルを線的に直接に近似して表現することができる。

【0054】

【数3】

【0055】

再び図３を参照すると、段階３２０で、プロセッサ２２０は、属性間の線形計算が可能なＶＡＶ空間６２０を利用して、ユーザクエリによる属性間のベクトル演算を実行してよい。

【0056】

任意の属性を示すテキストＸをマルチモーダルベクトル空間４００にマッピングする関数をＦとするとき、テキストＸの埋め込みをＦ（Ｘ）と表現する。

【0057】

埋め込み空間上のベクトル和が有効であると仮定すると、２つの属性ＡとＢの間にＦ（Ａ＋Ｂ）＝Ｆ（Ａ）＋Ｆ（Ｂ）の関係が成立しなければならないが、非線形性が内在されたベクトル空間ではベクトル和が成立しない［Ｆ（Ａ＋Ｂ）≠Ｆ（Ａ）＋Ｆ（Ｂ）］。埋め込み空間上のベクトル和が有効でないため、ベクトル差も成立しない［Ｆ（Ａ＋Ｂ）－Ｆ（Ａ）≠Ｆ（Ｂ）］。

【0058】

本実施形態では、埋め込み空間上のベクトル演算を成立させるための補正関数（Δ）を適用する。

【0059】

Ｆ（Ａ＋Ｂ）＝Ｆ（Ａ）＋Ｆ（Ｂ）＋Δ（θ）
Ｆ（Ａ＋Ｂ）－Ｆ（Ａ）＝Ｆ（Ｂ）＋Δ（θ）

【0060】

ここで、任意の属性に対するベクトル演算の正解を（ε）と定義する場合、次のような式が成り立つようなる。

【0061】

ε_Ａ＋Ｂ＝Ｆ（Ａ）＋Ｆ（Ｂ）＋Δ（θ）

【0062】

ε_{（Ａ＋Ｂ）－Ａ}＝Ｆ（Ａ＋Ｂ）－Ｆ（Ａ）＋Δ（θ）

【0063】

例えば、特定の属性ＡとＢに該当する補正関数（Δ）は、次のように推定することができる。

【0064】

Δ（θ）＝Ｆ（Ａ＋Ｂ）－（Ｆ（Ａ）＋Ｆ（Ｂ））

【0065】

ここで、多様な属性ベクトル演算値でのΔ（θ）を算出することができ、平均値を利用してΔ（θ）を近似する

を求めることができ、これを利用してベクトル演算を近似処理することができる。

【0066】

【数4】

【0067】

【数5】

【0068】

プロセッサ２２０は、線形表現が可能なＶＡＶ空間６２０でベクトル演算を実行するが、このとき、補正関数（Δ）を利用した近似計算によって属性間の線形的なベクトル演算を実行することが可能となる。

【0069】

属性間のベクトル演算に対して誤差補正による線形計算が可能であるため、例えば、図７に示すように、「エアマックス９７」を示す特徴ベクトルと「水色」を示す特徴ベクトルの和は、誤差補正によって「水色エアマックス９７」に該当する特徴ベクトルに近似するようになる。

【0070】

段階３３０で、プロセッサ２２０は、線形的なベクトル演算のためのＶＡＶ空間６２０をマルチモーダルベクトル空間４００に復元し、ＶＡＶ空間６２０でのベクトル演算によって取得した埋め込みベクトルに基づいてユーザクエリに対応する検索結果を提供してよい。ベクトル演算が可能なＶＡＶ空間６２０では、ベクトル和を用いて複数の属性を結合することもできるし、ベクトル差を用いて特定の属性を除くこともできる。プロセッサ２２０は、マルチモーダルベクトル空間４００上の商品のうち、ＶＡＶ空間６２０でのベクトル演算によって取得した埋め込みベクトルと一定の距離以内のベクトルを有する少なくとも１つの商品を検索結果として提供してよい。したがって、本実施形態では、多数の属性に対する埋め込み空間上のベクトル演算（ベクトル和および／またはベクトル差）だけで、ユーザが所望する属性の商品を迅速かつ簡単に検索することができる。

【0071】

図８は、本発明の一実施形態における、属性を除くベクトル演算を説明するための例示図である。

【0072】

図８を参照すると、プロセッサ２２０は、商品「半袖で、Ａラインで、紫色のティアードスタイルのゆったりワンピース」から特定の属性「紫色」を除去しようとする場合、ＶＡＶ空間６２０で、この商品を示すベクトル８０１に属性「紫色」を示すベクトル８０２の反対方向ベクトル８０３を合算するベクトル演算によって、属性「紫色」が除かれた商品「半袖で、Ａラインで、ティアードスタイルのゆったりワンピース」に該当するベクトル８０４を取得してよい。ベクトル演算の後、ＶＡＶ空間６２０をマルチモーダルベクトル空間４００に復元することにより、特徴ベクトル操作（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ ｍａｎｉｐｕｌａｔｉｏｎ）を行ったときと同じ効果を得ることができる。

【0073】

図９は、本発明の一実施形態における、属性の強度を調節するベクトル演算を説明するための例示図である。

【0074】

１つのベクトルは複数の成分に分解されてよい。例えば、スカラー積を利用して特定の属性の強度を調節してよい。すなわち、特定の属性のベクトルに数を掛けるベクトル演算も可能である。

【0075】

図９を参照すると、プロセッサ２２０は、ＶＡＶ空間６２０で、属性「エアマックス９７」を示すベクトル９０１と属性「水色」を示すベクトル９０２の組み合わせによって「水色エアマックス９７」に該当するベクトル９０３を取得してよい。「空色エアマックス９７」よりも濃い空色を検索しようとするユーザの意図が認識された場合、ＶＡＶ空間６２０で、属性「空色」を示すベクトル９０２に対するスカラー積により、属性「空色」の強度が調節された「空色×２ エアマックス９７」に該当するベクトル９０４を取得することができる。

【0076】

図１０および図１１は、本発明の一実施形態における、ベクトルのもつれ（ｖｅｃｔｏｒ ｅｎｔａｎｇｌｅｍｅｎｔ）に基づいたベクトル演算を説明するための例示図である。

【0077】

図４を参照しながら説明したように、マルチモーダルベクトル空間４００は、テキストベクトル空間４１０とイメージベクトル空間４２０に分解されてよい。ＶＡＶ空間６２０も同様に、図１０に示すように、テキストＶＡＶ空間６２１とイメージＶＡＶ空間６２２に区分されてよい。テキストＶＡＶ空間６２１とイメージＶＡＶ空間６２２は同じ座標の空間系を使用するため、クロスモーダル特徴ベクトル操作（Ｃｒｏｓｓ－ｍｏｄａｌ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ ｍａｎｉｐｕｌａｔｉｏｎ）が可能となる。テキストＶＡＶ空間６２１上の「空色エアマックス９７」に該当するテキストベクトルとイメージＶＡＶ空間６２２上の「空色エアマックス９７」に該当するイメージベクトルは、同じ座標であってよい。

【0078】

図１１を参照すると、プロセッサ２２０は、クロスモーダル特徴ベクトル操作によって、テキストＶＡＶ空間６２１とイメージＶＡＶ空間６２２の間で属性を変更してよい。一例として、プロセッサ２２０は、イメージＶＡＶ空間６２２上の特定のイメージベクトルに対してテキストＶＡＶ空間６２１上にマッチングされたテキストベクトルを操作してイメージ属性を変更してよい。例えば、商品「半袖で、Ａラインで、紫色のティアードスタイルのゆったりワンピース」において、属性「紫色」の代わりに属性「薄緑色」が含まれる商品を探索しようとするユーザの意図が認識された場合、テキストＶＡＶ空間６２１で、属性間のベクトル演算によって「半袖で、Ａラインで、薄緑色のティアードスタイルのゆったりワンピース」に該当するテキストベクトルを探索し、イメージＶＡＶ空間６２２上にマッチングされた「半袖で、Ａラインで、薄緑色のティアードスタイルのゆったりワンピース」のイメージベクトルを探索してよい。

【0079】

このように、商品に対するマルチモーダル埋め込みを、ＶＡＶ空間６２０上の仮想属性ベクトルとデルタ空間６１０上の異方性と非線形性を有するベクトルとして定義することで、マルチモーダルベクトル空間４００上で正解を探し出すことができる。ＶＡＶ空間６２０を用いて線形的なベクトル演算が可能であるため、迅速な検索はもちろん、モデルの変化に一貫性をもって簡単に対応することができる。このとき、デルタ（δ）が小さくなるように目的関数を定義することで、高い性能と強靭なモデルを生成することができる。

【0080】

プロセッサ２２０は、自然言語表現をクエリとして利用して、ユーザが所望する商品を検索してよい。このとき、テキストによって特性の属性を加えたり除いたりする属性変換による検索を提供してよい。

【0081】

例えば、図１２に示すように、クエリ「オールドスクールレインボーハイトップ」に対応する商品はもちろん、クエリ「オールドスクールレインボーハイトップ」から属性「レインボー」を除いたクエリに対応する商品、クエリ「オールドスクールレインボーハイトップ」から属性「レインボー」を除いて属性「レッド」を追加したクエリに対応する商品のように、特定の属性を除いたり追加したりする演算によってユーザが所望する属性の商品を探し出すことができる。

【0082】

さらに、プロセッサ２２０は、自然語クエリに対する音声入力を支援することもできる。このとき、音声入力基盤の自然語検索によって、検索語修正などによる属性変換によって検索を提供してよい。例えば、ユーザが「白いミッキーがデザインされたスニーカーを探して。あ、「ミッキー」じゃなくて「ドナルド」で」のように所望する属性に対する演算を含む自然語コマンドや「どんなコードを着たらいいと思う？赤以外に」のような特定の命令によって特定の属性を除外する命令を発する場合がある。

【0083】

音声入力に対する処理は、音声入力を認識した後、テキスト検索と同じように自然言語処理を実行したり（例えば、音声入力をテキストに変換した後、ショッピング検索モデルに適用する）、または音声信号自体をマルチモーダル空間に埋め込むことによって（例えば、＜音声、商品名テキスト、商品イメージ＞のペアをともに学習してマルチモーダル空間に埋め込む）実現が可能となる。

【0084】

また、プロセッサ２２０は、イメージとテキストで構成されたマルチモーダル入力をクエリとして利用してユーザが所望する商品を検索してもよい。このとき、クエリとして入力されたイメージとテキスト間の相互演算によって検索を提供してよい。

【0085】

例えば、図１３に示すように、クエリとして特定のイメージとともに減算演算子を含むテキスト「レオパード柄」が入力された場合、これに該当するイメージフィーチャと属性「レオパード柄」の間のベクトル演算によって取得したフィーチャを基準に、属性「レオパード柄」が除かれた商品を探索してよい。クエリとして特定のイメージとともに減算演算子を含むテキスト「レオパード柄」と加算演算子を含むテキスト「赤」が入力された場合、これに該当するイメージフィーチャと属性「レオパード柄」、属性「赤」の間のベクトル演算によって取得したフィーチャを基準に、属性「レオパード柄」が除かれて属性「赤」が追加された商品を検索してよい。クエリとして特定のイメージとともに減算演算子を含むテキスト「レオパード柄」と加算演算子を含むテキスト「赤」、減算演算子を含むテキスト「星」が入力された場合、これに該当するイメージフィーチャと属性「レオパード柄」、属性「赤」、属性「星」の間のベクトル演算によって取得したフィーチャを基準に、属性「レオパード柄」と「星」が除かれて属性「赤」が追加された商品を検索してよい。

【0086】

図１４および図１５は、本発明の一実施形態における、検索画面の一例を示した図である。

【0087】

本実施形態では、クエリに適用するためのイメージを選択した後、テキスト検索語を追加したクエリの組み合わせによって商品を検索することができる。

【0088】

例えば、図１４は、イメージ形式のクエリに対する検索結果を提供するイメージ検索画面１４１０を示している。イメージ検索画面１４１０には、検索語を追加するためのマルチモーダル検索レイヤ１４２０が含まれてよい。イメージ検索画面１４１０で検索語を追加しようとする場合、マルチモーダル検索レイヤ１４２０がスライドアップ（ｓｌｉｄｅ－ｕｐ）されて表示されてよい。マルチモーダル検索レイヤ１４２０上に検索語が入力されると、イメージ検索画面１４１０に入力されたイメージとの組み合わせによってユーザが所望する属性の商品を検索結果１４２１として提供してよい。

【0089】

本実施形態では、テキストクエリに対する検索結果からイメージを選択したりテキスト検索語を追加入力したりしたクエリの組み合わせによって商品を検索することができる。

【0090】

例えば、図１５は、テキスト基盤のクエリに対する検索結果を提供する統合検索画面１５１０を示している。統合検索画面１５１０には、追加検索に移動するためのフローティングボタン１５１１が表示されてよい。このとき、フローティングボタン１５１１が、ユーザ経験を考慮した上で、適切なタイミングで適切な位置に表示されるようにしてよい。例えば、統合検索画面１５１０に含まれる検索結果のうちの特定のコレクション（例えば、ショッピングコレクション）の最上端領域が画面に表示された時点からこのコレクションの最下端領域が画面に表示される時点まで、統合検索画面１５１０上にフローティングボタン１５１１を表示してよい。また、特定の領域（例えば、タイトル、もっと見る領域、付加領域など）を表示する領域を確保した後に、画面の特定位置にフローティングボタン１５１１を表示してもよい。

【0091】

統合検索画面１５１０でフローティングボタン１５１１がタッチされた場合、追加検索のためのマルチモーダル検索レイヤ１５２０がスライドアップされて表示されてよい。マルチモーダル検索レイヤ１５２０には、検索結果に含まれるイメージのうちから少なくとも１つのイメージを追加クエリとして選択するためのインタフェース、およびテキスト基盤の検索語を追加入力するためのインタフェースが含まれてよい。マルチモーダル検索レイヤ１５２０に含まれる検索結果のうちから特定のイメージが選択されたり追加のテキスト検索語が入力される場合、統合検索画面１５１０に最初に入力された検索語との組み合わせによってユーザが所望する属性の商品を追加検索結果として提供してよい。

【0092】

このように、本発明の実施形態によると、イメージとテキストを組み合わせたマルチモーダル入力を同時に理解することで、ユーザの意図に適した商品を探し出すことができ、検索品質を高めることができる。特に、本発明の実施形態によると、商品に対するマルチモーダル埋め込みを線形表現が可能な仮想空間に変形し、ベクトル演算によって迅速かつ容易に所望の検索結果を見つけ出すことができる。さらに、本発明の実施形態によると、ベクトル演算が可能な仮想空間を使用して属性を自由に加えたり除いたりする多様な組み合わせの検索を提供することにより、ユーザの意図を正確に反映することができる。

【0093】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0094】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0095】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して記録するものであってもよいし、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続させる媒体はもちろん、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令が記録されるように構成されたものが挙げられる。また、他の媒体の例として、アプリケーションを流通するアプリストアや、その他の多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体や格納媒体も含まれる。

【0096】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0097】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付の特許請求の範囲に属する。

【符号の説明】

【0098】

２００：コンピュータ装置
２１０：メモリ
２２０：プロセッサ
２３０：通信インタフェース
２４０：入力／出力インタフェース
２５０：入力／出力装置
１７０：ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】