知財求人 - 知財ポータルサイト「IP Force」
▶ シェンチェン センスタイム テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-24
(45)【発行日】2022-11-01
(54)【発明の名称】クロスモーダル情報検索方法及びその装置、並びに記憶媒体
(51)【国際特許分類】
G06F 16/908 20190101AFI20221025BHJP
G06T 7/00 20170101ALI20221025BHJP
【ＦＩ】
G06F16/908
G06T7/00 350C
G06T7/00 300F
【請求項の数】
17
(21)【出願番号】P 2021547620
(86)(22)【出願日】2019-04-22
(65)【公表番号】
(43)【公表日】2022-01-20
(86)【国際出願番号】 CN2019083725
(87)【国際公開番号】W WO2020155423
(87)【国際公開日】2020-08-06
【審査請求日】2021-04-28
(31)【優先権主張番号】201910109983.5
(32)【優先日】2019-01-31
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】518209698
【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】ワン ズーハオ
(72)【発明者】
【氏名】シャオ ジン
(72)【発明者】
【氏名】リー ホンション
(72)【発明者】
【氏名】イエン ジュンジエ
(72)【発明者】
【氏名】ワン シアオガン
(72)【発明者】
【氏名】ション リュー
【審査官】甲斐 哲雄
(56)【参考文献】
【文献】中国特許出願公開第１０８２２８６８６（ＣＮ，Ａ）
【文献】中国特許出願公開第１０５７６０５０７（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
検索装置が実行するクロスモーダル情報検索方法であって、第一のモーダル情報と第二のモーダル情報を取得することと、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定することと、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定することと、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定することと、を含む、前記クロスモーダル情報検索方法。
【請求項2】
前記第一のセマンティック特徴は、第一の分岐セマンティック特徴と第一の全体的セマンティック特徴を含み、前記第一の注意力特徴は、第一の分岐注意力特徴と第一の全体的注意力特徴を含み、前記第二のセマンティック特徴は、第二の分岐セマンティック特徴と第二の全体的セマンティック特徴を含み、前記第二の注意力特徴は、第二の分岐注意力特徴と第二の全体的注意力特徴を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定することは、前記第一のモーダル情報を少なくとも１つの情報ユニットに分割することと、
各情報ユニットで第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を決定することと、
各前記情報ユニットの第一のモーダル特徴に基づき、セマンティック特徴空間の第一の分岐セマンティック特徴を抽出することと、
各前記情報ユニットの第一のモーダル特徴に基づき、注意力特徴空間の第一の分岐注意力特徴を抽出することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記方法はさらに、各情報ユニットの第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報の第一の全体的セマンティック特徴を決定することと、
各情報ユニットの第一の分岐注意力特徴に応じて、前記第一のモーダル情報の第一の全体的注意力特徴を決定することと、を含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定することは、前記第二のモーダル情報を少なくとも１つの情報ユニットに分割することと、
各情報ユニットで第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を決定することと、
各前記情報ユニットの第二のモーダル特徴に基づき、セマンティック特徴空間の第二の分岐セマンティック特徴を抽出することと、
各前記情報ユニットの第二のモーダル特徴に基づき、注意力特徴空間の第二の分岐注意力特徴を抽出することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項6】
前記方法はさらに、各情報ユニットの第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報の第二の全体的セマンティック特徴を決定することと、
各情報ユニットの第二の分岐注意力特徴に応じて、前記第二のモーダル情報の第二の全体的注意力特徴を決定することと、を含むことを特徴とする
請求項５に記載の方法。
【請求項7】
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定することは、前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定することと、
前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定することと、
前記第一の注意力情報と前記第二の注意力情報に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項8】
前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定することは、前記第一のモーダル情報の第一の分岐注意力特徴と前記第二のモーダル情報の第二全体的注意力特徴に応じて、第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報を決定することと、
第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報と前記第一のモーダル情報の第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報に対する前記第二のモーダル情報の第一の注意力情報を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項9】
前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定することは、前記第二のモーダル情報の第二の分岐注意力特徴と前記第一のモーダル情報の第一全体的注意力特徴に応じて、前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報を決定することと、
前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報と前記第二のモーダル情報の第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報に対する前記第一のモーダル情報の第二の注意力情報を決定することと、を特徴とする
請求項７に記載の方法。
【請求項10】
前記第一のモーダル情報は、第一のモーダルの検索待ち情報であり、前記第二のモーダル情報は、第二のモーダルの予め記憶された情報であり、前記方法はさらに、前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用することを含むことを特徴とする
請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記第二のモーダル情報は複数であり、前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用することは、前記第一のモーダル情報と各第二のモーダル情報の間の類似度に応じて、複数の第二のモーダル情報をソートし、ソート結果を取得することと、
前記ソート結果に応じて、前記予め設定された条件を満たしている第二のモーダル情報を決定することであって、前記予め設定された条件は、類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む、ことと、
前記予め設定された条件を満たしている第二のモーダル情報を前記第一のモーダル情報の検索結果として使用することと、を含むことを特徴とする
請求項１０に記載の方法。
【請求項12】
前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用した後、前記方法はさらに、前記検索結果をクライアントに出力することを含むことを特徴とする
請求項１０に記載の方法。
【請求項13】
前記第一のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含み、前記第二のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含み、前記第一のモーダル情報は、第一のモーダルのトレーニングサンプル情報であり、前記第二のモーダル情報は、第二のモーダルのトレーニングサンプル情報であり、各第一のモーダルのトレーニングサンプル情報と第二のモーダルのトレーニングサンプル情報は、トレーニングサンプルペアを形成することを特徴とする
請求項１～１２のいずれか一項に記載の方法。
【請求項14】
クロスモーダル情報検索装置であって、第一のモーダル情報と第二のモーダル情報を取得するように構成される取得モジュールと、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセ
マンティック特徴及び第一の注意力特徴を決定するように構成される第一の決定モジュールと、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定するように構成される第二の決定モジュールと、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定モジュールと、を備える、前記クロスモーダル情報検索装置。
【請求項15】
クロスモーダル情報検索装置であって、プロセッサと、
プロセッサ実行可能命令を格納するように構成されるメモリと、を備え、
前記プロセッサは、請求項１～１３のいずれか一項に記載の方法を実現するために、メモリに記憶されたプロセッサ実行可能命令を実行するように構成される、前記クロスモーダル情報検索装置。
【請求項16】
コンピュータプログラム命令を記憶するコンピュータ可読記憶媒体であって、請求項１～１３のいずれか一項に記載の方法を実現するために、前記コンピュータプログラム命令がプロセッサによって実行される、前記コンピュータ可読記憶媒体。
【請求項17】
コンピュータに、請求項１～１３のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願への相互参照）
本開示は、２０１９年１月３１日に中国特許庁に提出された、出願番号が２０１９１０１０９９８３．５であり、出願名称が「クロスモーダル情報検索方法及びその装置、並びに記憶媒体」である中国特許出願に対する優先権を主張し、その全ての内容が参照により本開示に組み込まれる。
本開示は、２０１９年１月３１日に中国特許庁に提出された、出願番号が２０１９１０１０９９８３．５であり、出願名称が「クロスモーダル情報検索方法及びその装置、並びに記憶媒体」である中国特許出願に対する優先権を主張し、その全ての内容が参照により本開示に組み込まれる。
【0002】
本開示は、コンピュータ技術分野に関し、特にクロスモーダル情報検索方法及びその装置、並びに記憶媒体に関する。
【背景技術】
【0003】
コンピュータネットワークの開発に伴い、ユーザは、ネットワーク上で大量の情報を取得することができる。情報量が膨大であるため、通常、ユーザは、文字又はピクチャーを入力することで、注目している情報を検索することができる。情報検索技術の継続的な最適化の過程で、クロスモーダル情報検索方法が出現する。クロスモーダル情報検索方法では、あるモーダルサンプルを使用し、およそのセマンティックを持つ他のモーダルサンプルを検索することができる。例えば、画像を使用して対応するテキストを検索するか、又はテキストを使用して対応する画像を検索する。
【発明の概要】
【課題を解決するための手段】
【0004】
これに鑑み、本開示は、クロスモーダル情報検索技術的解決策を提供する。
【0005】
本開示の一態様によるクロスモーダル情報検索方法は、
第一のモーダル情報と第二のモーダル情報を取得することと、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定することと、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定することと、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定することと、を含む。
第一のモーダル情報と第二のモーダル情報を取得することと、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定することと、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定することと、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定することと、を含む。
【0006】
一つの可能な実施形態では、
前記第一のセマンティック特徴は、第一の分岐セマンティック特徴と第一の全体的セマンティック特徴を含み、前記第一の注意力特徴は、第一の分岐注意力特徴と第一の全体的注意力特徴を含み、
前記第二のセマンティック特徴は、第二の分岐セマンティック特徴と第二の全体的セマンティック特徴を含み、前記第二の注意力特徴は、第二の分岐注意力特徴と第一の全体的注意力特徴を含む。
前記第一のセマンティック特徴は、第一の分岐セマンティック特徴と第一の全体的セマンティック特徴を含み、前記第一の注意力特徴は、第一の分岐注意力特徴と第一の全体的注意力特徴を含み、
前記第二のセマンティック特徴は、第二の分岐セマンティック特徴と第二の全体的セマンティック特徴を含み、前記第二の注意力特徴は、第二の分岐注意力特徴と第一の全体的注意力特徴を含む。
【0007】
一つの可能な実施形態では、前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定することは、
前記第一のモーダル情報を少なくとも１つの情報ユニットに分割することと、
各情報ユニットで第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を決定することと、
各前記情報ユニットの第一のモーダル特徴に基づき、セマンティック特徴空間の第一の分岐セマンティック特徴を抽出することと、
各前記情報ユニットの第一のモーダル特徴に基づき、注意力特徴空間の第一の分岐注意力特徴を抽出することと、を含む。
前記第一のモーダル情報を少なくとも１つの情報ユニットに分割することと、
各情報ユニットで第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を決定することと、
各前記情報ユニットの第一のモーダル特徴に基づき、セマンティック特徴空間の第一の分岐セマンティック特徴を抽出することと、
各前記情報ユニットの第一のモーダル特徴に基づき、注意力特徴空間の第一の分岐注意力特徴を抽出することと、を含む。
【0008】
一つの可能な実施形態では、前記方法はさらに、
各情報ユニットの第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報の第一の全体的セマンティック特徴を決定することと、
各情報ユニットの第一の分岐注意力特徴に基づき、前記第一のモーダル情報の第一の全体的注意力特徴を決定することと、を含む。
各情報ユニットの第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報の第一の全体的セマンティック特徴を決定することと、
各情報ユニットの第一の分岐注意力特徴に基づき、前記第一のモーダル情報の第一の全体的注意力特徴を決定することと、を含む。
【0009】
一つの可能な実施形態では、前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定することは、
前記第二のモーダル情報を少なくとも１つの情報ユニットに分割することと、
各情報ユニットで第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を決定することと、
各情報ユニットの第二のモーダル特徴に基づき、セマンティック特徴空間の第二の分岐セマンティック特徴を抽出することと、
各情報ユニットの第二のモーダル特徴に基づき、注意力特徴空間の第二の分岐注意力特徴を抽出することと、を含む。
前記第二のモーダル情報を少なくとも１つの情報ユニットに分割することと、
各情報ユニットで第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を決定することと、
各情報ユニットの第二のモーダル特徴に基づき、セマンティック特徴空間の第二の分岐セマンティック特徴を抽出することと、
各情報ユニットの第二のモーダル特徴に基づき、注意力特徴空間の第二の分岐注意力特徴を抽出することと、を含む。
【0010】
一つの可能な実施形態では、前記方法はさらに、
各情報ユニットの第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報の第二の全体的セマンティック特徴を決定することと、
各情報ユニットの第二の分岐注意力特徴に応じて、前記第二のモーダル情報の第二の全体的注意力特徴を決定することと、を含む。
各情報ユニットの第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報の第二の全体的セマンティック特徴を決定することと、
各情報ユニットの第二の分岐注意力特徴に応じて、前記第二のモーダル情報の第二の全体的注意力特徴を決定することと、を含む。
【0011】
一つの可能な実施形態では、前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定することは、
前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定することと、
前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定することと、
前記第一の注意力情報と前記第二の注意力情報に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定することと、を含む。
前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定することと、
前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定することと、
前記第一の注意力情報と前記第二の注意力情報に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定することと、を含む。
【0012】
一つの可能な実施形態では、前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定することは、
前記第一のモーダル情報の第一の分岐注意力特徴と前記第二のモーダル情報の第二全体的注意力特徴に応じて、第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報を決定することと、
第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報と前記第一のモーダル情報の第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報に対する前記第二のモーダル情報の第一の注意力情報を決定することと、を含む。
前記第一のモーダル情報の第一の分岐注意力特徴と前記第二のモーダル情報の第二全体的注意力特徴に応じて、第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報を決定することと、
第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報と前記第一のモーダル情報の第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報に対する前記第二のモーダル情報の第一の注意力情報を決定することと、を含む。
【0013】
一つの可能な実施形態では、前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定することは、
前記第二のモーダル情報の第二の分岐注意力特徴と前記第一のモーダル情報の第一全体的注意力特徴に応じて、前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報を決定することと、
前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報と前記第二のモーダル情報の第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報に対する前記第一のモーダル情報の第二の注意力情報を決定することと、を含む。
前記第二のモーダル情報の第二の分岐注意力特徴と前記第一のモーダル情報の第一全体的注意力特徴に応じて、前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報を決定することと、
前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報と前記第二のモーダル情報の第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報に対する前記第一のモーダル情報の第二の注意力情報を決定することと、を含む。
【0014】
１つの可能な実施形態では、前記第一のモーダル情報は、第一のモーダルの検索待ち情報であり、前記第二のモーダル情報は、第二のモーダルの予め記憶された情報であり、前記方法はさらに、
前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用することを含む。
前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用することを含む。
【0015】
１つの可能な実施形態では、前記第二のモーダル情報は複数であり、前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用することは、
前記第一のモーダル情報と各第二のモーダル情報の間の類似度に応じて、複数の第二のモーダル情報をソートし、ソート結果を取得することと、
前記ソート結果に応じて、前記予め設定された条件を満たしている第二のモーダル情報を決定することと、
前記予め設定された条件を満たしている第二のモーダル情報を前記第一のモーダル情報の検索結果として使用することと、を含む。
前記第一のモーダル情報と各第二のモーダル情報の間の類似度に応じて、複数の第二のモーダル情報をソートし、ソート結果を取得することと、
前記ソート結果に応じて、前記予め設定された条件を満たしている第二のモーダル情報を決定することと、
前記予め設定された条件を満たしている第二のモーダル情報を前記第一のモーダル情報の検索結果として使用することと、を含む。
【0016】
一つの可能な実施形態では、前記予め設定された条件は、
類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む。
類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む。
【0017】
１つの可能な実施形態では、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用した後、前記方法はさらに、
前記検索結果をクライアントに出力することを含む。
前記検索結果をクライアントに出力することを含む。
【0018】
１つの可能な実施形態では、前記第一のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含み、前記第二のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含む。
【0019】
１つの可能な実施形態では、前記第一のモーダル情報は、第一のモーダルのトレーニングサンプル情報であり、前記第二のモーダル情報は、第二のモーダルのトレーニングサンプル情報であり、各第一のモーダルのトレーニングサンプル情報と第二のモーダルのトレーニングサンプル情報は、トレーニングサンプルペアを形成する。
【0020】
本開示の別の態様によるクロスモーダル情報検索装置は、
第一のモーダル情報と第二のモーダル情報を取得するように構成される取得モジュールと、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定するように構成される第一の決定モジュールと、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定するように構成される第二の決定モジュールと、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定モジュールと、を備える。
第一のモーダル情報と第二のモーダル情報を取得するように構成される取得モジュールと、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定するように構成される第一の決定モジュールと、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定するように構成される第二の決定モジュールと、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定モジュールと、を備える。
【0021】
一つの可能な実施形態では、
前記第一のセマンティック特徴は、第一の分岐セマンティック特徴と第一の全体的セマンティック特徴を含み、前記第一の注意力特徴は、第一の分岐注意力特徴と第一の全体的注意力特徴を含み、
前記第二のセマンティック特徴は、第二の分岐セマンティック特徴と第二の全体的セマンティック特徴を含み、前記第二の注意力特徴は、第二の分岐注意力特徴と第二の全体的注意力特徴を含む。
前記第一のセマンティック特徴は、第一の分岐セマンティック特徴と第一の全体的セマンティック特徴を含み、前記第一の注意力特徴は、第一の分岐注意力特徴と第一の全体的注意力特徴を含み、
前記第二のセマンティック特徴は、第二の分岐セマンティック特徴と第二の全体的セマンティック特徴を含み、前記第二の注意力特徴は、第二の分岐注意力特徴と第二の全体的注意力特徴を含む。
【0022】
一つの可能な実施形態では、前記第一の決定モジュールは、
前記第一のモーダル情報を少なくとも１つの情報ユニットに分割するように構成される第一の分割サブモジュールと、
各情報ユニットで第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を決定するように構成される第一のモーダル決定サブモジュールと、
各前記情報ユニットの第一のモーダル特徴に基づき、セマンティック特徴空間の第一の分岐セマンティック特徴を抽出するように構成される第一の分岐セマンティック抽出サブモジュールと、
各前記情報ユニットの第一のモーダル特徴に基づき、注意力特徴空間の第一の分岐注意力特徴を抽出するように構成される第一の分岐注意力抽出サブモジュールと、を含む。
前記第一のモーダル情報を少なくとも１つの情報ユニットに分割するように構成される第一の分割サブモジュールと、
各情報ユニットで第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を決定するように構成される第一のモーダル決定サブモジュールと、
各前記情報ユニットの第一のモーダル特徴に基づき、セマンティック特徴空間の第一の分岐セマンティック特徴を抽出するように構成される第一の分岐セマンティック抽出サブモジュールと、
各前記情報ユニットの第一のモーダル特徴に基づき、注意力特徴空間の第一の分岐注意力特徴を抽出するように構成される第一の分岐注意力抽出サブモジュールと、を含む。
【0023】
一つの可能な実施形態では、前記装置はさらに、
各情報ユニットの第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報の第一の全体的セマンティック特徴を決定するように構成される第一の全体的セマンティック決定サブモジュールと、
各情報ユニットの第一の分岐注意力特徴に応じて、前記第一のモーダル情報の第一の全体的注意力特徴を決定するように構成される第一の全体的注意力決定サブモジュールと、を備える。
各情報ユニットの第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報の第一の全体的セマンティック特徴を決定するように構成される第一の全体的セマンティック決定サブモジュールと、
各情報ユニットの第一の分岐注意力特徴に応じて、前記第一のモーダル情報の第一の全体的注意力特徴を決定するように構成される第一の全体的注意力決定サブモジュールと、を備える。
【0024】
一つの可能な実施形態では、前記第二の決定モジュールは、
前記第二のモーダル情報を少なくとも１つの情報ユニットに分割するように構成される第二の分割サブモジュールと、
各情報ユニットで第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を決定するように構成される第二のモーダル決定サブモジュールと、
各情報ユニットの第二のモーダル特徴に基づき、セマンティック特徴空間の第二の分岐セマンティック特徴を抽出するように構成される第二の分岐セマンティック抽出サブモジュールと、
各情報ユニットの第二のモーダル特徴に基づき、注意力特徴空間の第二の分岐注意力特徴を抽出するように構成される第二の分岐注意力抽出サブモジュールと、を含む。
前記第二のモーダル情報を少なくとも１つの情報ユニットに分割するように構成される第二の分割サブモジュールと、
各情報ユニットで第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を決定するように構成される第二のモーダル決定サブモジュールと、
各情報ユニットの第二のモーダル特徴に基づき、セマンティック特徴空間の第二の分岐セマンティック特徴を抽出するように構成される第二の分岐セマンティック抽出サブモジュールと、
各情報ユニットの第二のモーダル特徴に基づき、注意力特徴空間の第二の分岐注意力特徴を抽出するように構成される第二の分岐注意力抽出サブモジュールと、を含む。
【0025】
一つの可能な実施形態では、前記装置はさらに、
各情報ユニットの第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報の第二の全体的セマンティック特徴を決定するように構成される第二の全体的セマンティック決定サブモジュールと、
各情報ユニットの第二の分岐注意力特徴に応じて、前記第二のモーダル情報の第二の全体的注意力特徴を決定するように構成される第二の全体的注意力決定サブモジュールと、を備える。
各情報ユニットの第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報の第二の全体的セマンティック特徴を決定するように構成される第二の全体的セマンティック決定サブモジュールと、
各情報ユニットの第二の分岐注意力特徴に応じて、前記第二のモーダル情報の第二の全体的注意力特徴を決定するように構成される第二の全体的注意力決定サブモジュールと、を備える。
【0026】
一つの可能な実施形態では、前記類似度決定モジュールは、
前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定するように構成される第一の注意力情報決定サブモジュールと、
前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定するように構成される第二の注意力情報決定サブモジュールと、
前記第一の注意力情報と前記第二の注意力情報に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定サブモジュールと、を含む。
前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定するように構成される第一の注意力情報決定サブモジュールと、
前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定するように構成される第二の注意力情報決定サブモジュールと、
前記第一の注意力情報と前記第二の注意力情報に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定サブモジュールと、を含む。
【0027】
一つの可能な実施形態では、前記第一の注意力情報決定サブモジュールは、具体的には、
前記第一のモーダル情報の第一の分岐注意力特徴と前記第二のモーダル情報の第二全体的注意力特徴に応じて、第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報を決定し、
第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報と前記第一のモーダル情報の第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報に対する前記第二のモーダル情報の第一の注意力情報を決定するように構成される。
前記第一のモーダル情報の第一の分岐注意力特徴と前記第二のモーダル情報の第二全体的注意力特徴に応じて、第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報を決定し、
第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報と前記第一のモーダル情報の第一の分岐セマンティック特徴に応じて、前記第一のモーダル情報に対する前記第二のモーダル情報の第一の注意力情報を決定するように構成される。
【0028】
一つの可能な実施形態では、前記第二の注意力情報決定サブモジュールは、具体的には、
前記第二のモーダル情報の第二の分岐注意力特徴と前記第一のモーダル情報の第一全体的注意力特徴に応じて、前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報を決定し、
前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報と前記第二のモーダル情報の第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報に対する前記第一のモーダル情報の第二の注意力情報を決定するように構成される。
前記第二のモーダル情報の第二の分岐注意力特徴と前記第一のモーダル情報の第一全体的注意力特徴に応じて、前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報を決定し、
前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報と前記第二のモーダル情報の第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報に対する前記第一のモーダル情報の第二の注意力情報を決定するように構成される。
【0029】
１つの可能な実施形態では、前記第一のモーダル情報は、第一のモーダルの検索待ち情報であり、前記第二のモーダル情報は、第二のモーダルの予め記憶された情報であり、前記装置はさらに、
前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するように構成される検索結果決定モジュールを備える。
前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するように構成される検索結果決定モジュールを備える。
【0030】
一つの可能な実施形態では、前記第二のモーダル情報は複数であり、前記検索結果決定モジュールは、
前記第一のモーダル情報と各第二のモーダル情報の間の類似度に応じて、複数の第二のモーダル情報をソートし、ソート結果を取得するように構成されるソートサブモジュールと、
前記ソート結果に応じて、前記予め設定された条件を満たしている第二のモーダル情報を決定するように構成される情報決定サブモジュールと、
前記予め設定された条件を満たしている第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するように構成される検索結果決定サブモジュールと、を含む。
前記第一のモーダル情報と各第二のモーダル情報の間の類似度に応じて、複数の第二のモーダル情報をソートし、ソート結果を取得するように構成されるソートサブモジュールと、
前記ソート結果に応じて、前記予め設定された条件を満たしている第二のモーダル情報を決定するように構成される情報決定サブモジュールと、
前記予め設定された条件を満たしている第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するように構成される検索結果決定サブモジュールと、を含む。
【0031】
一つの可能な実施形態では、前記予め設定された条件は、
類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む。
類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む。
【0032】
一つの可能な実施形態では、前記装置はさらに、
前記検索結果をクライアントに出力するように構成される出力モジュールを備える。
前記検索結果をクライアントに出力するように構成される出力モジュールを備える。
【0033】
１つの可能な実施形態では、前記第一のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含み、前記第二のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含む。
【0034】
１つの可能な実施形態では、前記第一のモーダル情報は、第一のモーダルのトレーニングサンプル情報であり、前記第二のモーダル情報は、第二のモーダルのトレーニングサンプル情報であり、各第一のモーダルのトレーニングサンプル情報と第二のモーダルのトレーニングサンプル情報は、トレーニングサンプルペアを形成する。
【0035】
本開示の別の態様によるクロスモーダル情報検索装置は、プロセッサと、プロセッサ実行可能命令を格納するように構成されるメモリと、を備え、前記プロセッサが上記方法を実行するように構成される。
【0036】
本開示の別の態様によるコンピュータプログラム命令を記憶する不揮発性コンピュータ可読記憶媒体は、前記コンピュータプログラム命令がプロセッサに実行されると上記方法を実現する。
【0037】
本開示の実施例では、第一のモーダル情報と第二のモーダル情報を取得することで、第一のモーダル情報のモーダル特徴に応じて第一のモーダル情報の第一のセマンティック特徴と第一の注意力特徴をそれぞれ決定することができ、第二のモーダル情報のモーダル特徴に応じて前記第二のモーダル情報の第二のセマンティック特徴と第二の注意力特徴をそれぞれ決定することができ、さらに第一の注意力特徴、第二の注意力特徴、第一のセマンティック特徴及び第二のセマンティック特徴に基づき、第一のモーダル情報と第二のモーダル情報の間の類似度を決定することができる。このようにして、異なるモーダル情報のセマンティック特徴と注意力特徴を利用し、異なるモーダル情報間の類似度を取得することができ、従来技術における特徴抽出の品質に対して、本開示の実施例は、異なるモーダル情報のセマンティック特徴と注意力特徴をそれぞれ処理することにより、クロスモーダル情報検索プロセスにおける特徴抽出の品質への依存度を低減することができ、且つ方法が簡単であり、時間の複雑さが低く、それによってクロスモーダル情報検索の効率を向上させることができる。
【0038】
以下の図面を参照する例示的な実施例の詳細な説明によれば、本開示の他の特徴及び態様が明らかになる。
【図面の簡単な説明】
【0039】
【図1】本開示の一実施例によるクロスモーダル情報検索方法を示すフローチャートである。
【図2】本開示の一実施例による第一のセマンティック特徴と第一の注意力特徴を決定することを示すフローチャートである。
【図3】本開示の一実施例によるクロスモーダル情報検索プロセスを示すブロック図である。
【図4】本開示の一実施例による第二のセマンティック特徴と第二の注意力特徴を決定することを示すフローチャートである。
【図5】本開示の一実施例による類似度に基づいて検索結果が一致であることを決定することを示すブロック図である。
【図6】本開示の一実施例によるクロスモーダル情報検索を示すフローチャートである。
【図7】本開示の一実施例によるクロスモーダル情報検索装置を示すブロック図である。
【図8】本開示の一実施例によるクロスモーダル情報検索装置を示すブロック図である。
【発明を実施するための形態】
【0040】
明細書に含まれ且つ明細書の一部の図面は、明細書とともに本開示の例示的な実施例、特徴及び態様を示し、且つ本開示の原理を解釈するために使用される。
【0041】
以下に図面を参照しながら本開示の様々な例示的な実施例、特徴及び態様を詳細に説明する。図面における同じ符号は、機能が同じであるか又は類似する機能素子を表す。実施例の様々な態様が図面に示されているが、特に断りのない限り、図面は必ずしも一定の縮尺で描かれているわけではない。
【0042】
ここでの「例示的」という専用の単語は、「例、実施例又は例示として機能する」を意味する。ここで「例示的」として説明されるいかなる実施例は他の実施例よりも優れるか又は良いものと解釈される必要がない。
【0043】
また、本開示をより良く説明するために、以下の具体的な実施形態では多くの具体的な詳細が示される。当業者は、いくつかの具体的な詳細がない場合でも本開示が実施されてもよいことを理解すべきである。いくつかの実施例では、本開示の要旨を強調するように、当業者によく知られている方法、手段、素子と回路について詳細に説明しない。
【0044】
本開示の実施例における下記の方法、装置、電子機器又はコンピュータ記憶媒体は、クロスモーダル情報を検索する必要がある任意のシナリオに応用でき、例えば、検索ソフトウェア、情報位置決めなどに適用できる。本開示の実施例は、具体的な応用シナリオを限定するものではなく、本開示の実施例によって提供される方法を使用してクロスモーダル情報を検索する任意の解決策は、いずれも本開示の保護範囲内に含まれる。
【0045】
本開示の実施例によるクロスモーダル情報検索方法では、第一のモーダル情報と第二のモーダル情報をそれぞれ取得し、第一のモーダル情報のモーダル特徴に応じて第一のモーダル情報の第一のセマンティック特徴と第一の注意力特徴を決定し、第二のモーダル情報のモーダル特徴に応じて第二のモーダル情報の第二のセマンティック特徴と第二の注意力特徴を決定することができ、第一のモーダル情報と第二のモーダル情報が異なるモーダル情報であるため、第一のモーダル情報及び第二のモーダル情報のセマンティック特徴と注意力特徴を並行して処理することができ、その後第一の注意力特徴、第二の注意力特徴、第一のセマンティック特徴及び第二のセマンティック特徴に基づき、第一のモーダル情報と前記第二のモーダル情報の類似度を決定することができる。このようにして、注意力特徴は、モーダル情報のセマンティック特徴からデカップリングされ、個別の特徴として処理されてもよく、同時に、第一のモーダル情報と第二のモーダル情報の間の類似度を低い時間複雑さで決定し、クロスモーダル情報検索の効率を向上させることができる。
【0046】
関連技術では、通常、モーダル情報のセマンティック特徴の品質を向上させることでクロスモーダル情報検索の精度を向上させるが、特徴の類似度を最適化することでクロスモーダル情報検索の精度を向上させない。この方式は、モーダル情報から抽出された特徴の品質に依存しすぎているため、クロスモーダル情報の取得効率が低すぎる。本開示の実施例は、特徴類似度を最適化することでクロスモーダル情報検索の精度を向上させ、且つ時間複雑さが低いため、検索プロセスにクロスモーダル情報の検索精度を保証することができるだけでなく、検索効率を向上させることもできる。以下に図面を参照しながら本開示の実施によるクロスモーダル情報検索方法を詳しく説明する。
【0047】
【0048】
ステップ１１において、第一のモーダル情報と第二のモーダル情報を取得する。
【0049】
本開示の実施例では、検索装置（例えば、検索ソフトウェア、検索プラットフォーム、検索サーバーなどの検索装置）は、第一のモーダル情報又は第２のモーダル情報を取得することができる。例えば、検索装置は、ユーザ装置によって送信された第一のモーダル情報又は第二のモーダル情報を取得し、また、例えば、検索装置は、ユーザ操作に従って、第一のモーダル情報又は第二のモーダル情報を取得する。検索プラットフォームは、ローカルメモリ又はデータベースから第一のモーダル情報又は第二のモーダル情報を取得することもできる。ここで、第一のモーダル情報と第二のモーダル情報は、異なるモーダル情報であり、例えば、第一のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含むことができ、第二のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含むことができる。ここでの第一のモーダル情報と第二のモーダル情報は、画像情報とテキスト情報に限定されず、音声情報、ビデオ情報及び光信号情報などを含むことができる。ここでのモーダルは、情報の種類又は存在形態として理解されてもよい。第一のモーダル情報と第二のモーダル情報は、異なるモーダル情報であってもよい。
【0050】
ステップ１２において、前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定する。
【0051】
ここで、検索装置は、第一のモーダル情報を取得した後、第一のモーダル情報のモーダル特徴を決定することができる。第一のモーダル情報のモーダル特徴は、第一のモーダル特徴ベクトルを形成することができ、次いで、第一のモーダル特徴ベクトルに基づいて第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定することができる。ここで、第一のセマンティック特徴は、第一の分岐セマンティック特徴と第一の全体的セマンティック特徴を含むことができ、第一の注意力特徴は、第一の分岐注意力特徴と第一の全体的注意力特徴を含むことができる。第一のセマンティック特徴は、第一のモーダル情報のセマンティックを示すことができ、第一の注意力特徴は、第一のモーダル情報の注意力を示すことができる。ここでの注意力は、モーダル情報を処理するときに、モーダル情報における一部の情報ユニットへ投入された処理リソースとして理解されてもよい。例えば、テキスト情報を例とすすると、「赤」や「シャツ」などのテキスト情報内の名詞は、「ａｎｄ」や「ｏｒ」などのテキスト情報内の連語よりも多くの注意力を有することができる。
【0052】
図２は本開示の一実施例による第一のセマンティック特徴と第一の注意力特徴を決定することを示すフローチャートである。一つの可能な実施形態では、第一のモーダル情報のモーダル特徴に応じて、第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定する時に、以下のステップを含むことができる。
【0053】
ステップ１２１において、前記第一のモーダル情報を少なくとも１つの情報ユニットに分割する。
【0054】
ステップ１２２において、各情報ユニットで第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を決定する。
【0055】
ステップ１２３、各前記情報ユニットの第一のモーダル特徴に基づき、セマンティック特徴空間の第一の分岐セマンティック特徴を抽出する。
【0056】
ステップ１２４、各前記情報ユニットの第一のモーダル特徴に基づき、注意力特徴空間の第一の分岐注意力特徴を抽出する。
【0057】
ここで、第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定する時に、第一のモーダル情報を複数の情報ユニットに分割することができる。分割する時に、予め設定された情報ユニットのサイズに従って第一のモーダル情報を、各情報ユニットのサイズが等しくなるように分割する。又は、第一のモーダル情報をサイズが異なる複数の情報ユニットに分割する。例えば、第一のモーダル情報が画像情報である場合、１つの画像を複数の画像ユニットに分割することができる。１つのモーダル情報を複数の情報ユニットに分割した後、各情報ユニットに対して第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を取得することができる。各情報ユニットの第一のモーダル特徴は、１つの第一のモーダル特徴ベクトルを形成することができる。次に、第一のモーダル特徴ベクトルをセマンティック特徴空間の第一の分岐セマンティック特徴ベクトルに変換し、第一のモーダル特徴ベクトルを注意力空間の第一の分岐注意力特徴に変換することができる。
【0058】
一つの可能な実施形態では、第一のモーダル情報の第一の分岐セマンティック特徴に応じて第一の全体的セマンティック特徴を決定し、第一のモーダル情報の第一の分岐注意力特徴に応じて第一の全体的セマンティック特徴を決定することができる。ここで、第一のモーダル情報は、複数の情報ユニットを含むことができる。第一の分岐セマンティック特徴は、第一のモーダル情報の各情報ユニットに対応するセマンティック特徴を示すことができ、第一の全体的セマンティック特徴は、第一のモーダル情報に対応するセマンティック特徴を示すことができる。第一の分岐注意力特徴は、第一のモーダル情報の各情報ユニットに対応する注意力特徴を示すことができ、第一の全体的注意力特徴は、第一のモーダル情報に対応する注意力特徴を示すことができる。
【0059】
図３は本開示の一実施例によるクロスモーダル情報検索プロセスを示すブロック図である。例えば、第一のモーダル情報が画像情報であることを例とすると、検索装置は、画像情報を取得した後、画像情報を複数の画像ユニットに分割することができ、その後畳み込みニューラルネットワーク（ＣＮＮ）モデルを使用して各画像ユニットの画像特徴を抽出し、各画像ユニットの画像特徴ベクトル（第一のモーダル特徴の例）を生成することができる。画像ユニットの画像特徴ベクトルは、式（１）のように表されてもよい。
（１）
【0060】
ここで、Ｒは画像ユニットの数であり、ｄは画像特徴ベクトルの次元であり、
がｉ番目の画像ユニットの画像特徴ベクトルであり、
が実数行列として表される。画像情報の場合、画像情報に対応する画像特徴ベクトルは、式（２）のように表されてもよい。
（２）
【0061】
次に、各画像ユニットの画像特徴ベクトルを線形マッピングすることで、画像情報の第一の分岐セマンティック特徴を取得することができ、それに応じて線形マッピング関数は、Ｗｖとして表されてもよく、画像情報の第一の分岐セマンティック特徴に対応する第一の分岐セマンティック特徴ベクトルは、式（３）のように表されてもよい。
（３）
【0062】
それに応じて、
に対して同じ線形マッピングを行った後、画像情報の第一の全体的セマンティック特徴によって形成された第一の全体的セマンティック特徴ベクトル
を取得することができる。
【0063】
それに応じて、検索装置は、各画像ユニットのグラフィック特徴ベクトルを線形マッピングし、画像情報の第一の分岐注意力特徴を取得することができ、注意力特徴マッピングが行われる線形関数は、Ｕｖとして表されてもよく、画像情報の第一の分岐注意力特徴に対応する第一の分岐注意力特徴ベクトルは、式（４）のように表されてもよい。
（４）。
【0064】
それに応じて、
に対して同じ線形マッピングを行った後、画像情報の第一の全体的注意力特徴
を取得することができる。
【0065】
ステップ１３において、前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定する。
【0066】
ここで、検索装置は、第二のモーダル情報を取得した後、第二のモーダル情報のモーダル特徴を決定することができる。第二のモーダル情報のモーダル特徴は、第二のモーダル特徴ベクトルを形成することができ、次いで、検索装置は、第二のモーダル特徴ベクトルに基づいて第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定することができる。ここで、第二のセマンティック特徴は、第二の分岐セマンティック特徴と第二の全体的セマンティック特徴を含むことができ、前記第二の注意力特徴は、第二の分岐注意力特徴と第二の全体的注意力特徴を含むことができる。第二のセマンティック特徴は、第二のモーダル情報のセマンティックを示すことができ、第二の注意力特徴は、第二のモーダル情報の注意力を示すことができる。ここで、第一のセマンティック特徴及び第二のセマンティック特徴に対応する特徴空間は同じであってもよい。
【0067】
図４は本開示の一実施例による第二のセマンティック特徴と第二の注意力特徴を決定することを示すフローチャートである。一つの可能な実施形態では、第二のモーダル情報のモーダル特徴に応じて、第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定する時に、前記方法は、以下のステップを含むことができる。
【0068】
ステップ１３１において、前記第二のモーダル情報を少なくとも１つの情報ユニットに分割する。
【0069】
ステップ１３２において、各情報ユニットで第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を決定する。
【0070】
ステップ１３３において、各前記情報ユニットの第二のモーダル特徴に基づき、セマンティック特徴空間の第二の分岐セマンティック特徴を抽出する。
【0071】
ステップ１３４において、各前記情報ユニットの第二のモーダル特徴に基づき、注意力特徴空間の第二の分岐注意力特徴を抽出する。
【0072】
ここで、第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定する時に、第二のモーダル情報を複数の情報ユニットに分割することができる。分割する時に、予め設定された情報ユニットのサイズに従って第二のモーダル情報を、各情報ユニットのサイズが等しくなるように分割するか、又は第二のモーダル情報をサイズが異なる複数の情報ユニットに分割することができる。例えば、第二のモーダル情報がテキスト情報である場合、１つのテキスト内の各単語を１つのテキストユニットに分割することができる。第二のモーダル情報を複数の情報ユニットに分割した後、各情報ユニットに対して第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を取得することができる。各情報ユニットの第二のモーダル特徴は、１つの第二のモーダル特徴ベクトルを形成することができる。次に、第二のモーダル特徴ベクトルをセマンティック特徴空間の第二の分岐セマンティック特徴ベクトルに変換し、第二のモーダル特徴ベクトルを注意力空間の第二の分岐注意力特徴に変換することができる。ここで、第二のセマンティック特徴に対応するセマンティック特徴空間は、第一のセマンティック特徴に対応するセマンティック特徴空間と同じであり、ここでの特徴空間が同じであることは、特徴に対応する特徴ベクトルの次元が同じであると理解されてもよい。
【0073】
１つの可能な実施形態では、第二のモーダル情報の第二の分岐セマンティック特徴に応じて第二の全体的セマンティック特徴を決定し、第二のモーダル情報の第二の分岐注意力特徴に応じて第二の全体的注意力特徴を決定することができる。ここで、第二のモーダル情報は、複数の情報ユニットを含むことができる。第二の分岐セマンティック特徴は、第二のモーダル情報の各情報ユニットに対応するセマンティック特徴を示すことができ、第二の全体的セマンティック特徴は、第二のモーダル情報に対応するセマンティック特徴を示すことができる。第二の分岐注意力特徴は、第二のモーダル情報の各情報ユニットに対応する注意力特徴を示すことができ、第二の全体的注意力特徴は、第二のモーダル情報に対応する注意力特徴を示すことができる。
【0074】
図３に示すように、第二のモーダル情報がテキスト情報であることを例とすると、検索装置は、テキスト情報を取得した後、テキスト情報を複数のテキストユニットに分割し、例えばテキスト情報の各単語を１つのテキストユニットとして使用することができる。次に、再帰ニューラルネットワーク（ＧＲＵ）モデルを使用して各テキストユニットのテキスト特徴を抽出し、各テキストユニットのテキスト特徴ベクトル（第二のモーダル特徴の例）を生成することができる。テキストユニットのテキスト特徴ベクトルは、式（５）のように表されてもよい。
（５）；
【0075】
ここで、Ｔはテキストユニットの数であり、ｄはテキスト特徴ベクトルの次元であり、
がｊ番目のテキストユニットのテキスト特徴ベクトルである。テキスト情報の場合、テキスト情報全体に対応するテキスト特徴ベクトルは、式（６）のように表されてもよい。
（６）
【0076】
次に、各テキストユニットのテキスト特徴ベクトルを線形マッピングすることで、テキスト情報の第二の分岐セマンティック特徴を取得することができ、それに応じて線形マッピング関数は、Ｗｓとして表されてもよく、テキスト情報の第二のセマンティック特徴の第二のセマンティック特徴ベクトルは、式（７）のように表されてもよい。
（７）。
【0077】
それに応じて、
に対して同じ線形マッピングを行った後、テキスト情報の第二の全体的セマンティック特徴によって形成された第二の全体的セマンティック特徴ベクトル
を取得することができる。
【0078】
それに応じて、検索装置は、各テキストユニットのテキスト特徴ベクトルを線形マッピングし、テキスト情報の第二の分岐注意力特徴を取得することができ、注意力特徴マッピングが行われる線形関数は、Ｕｓとして表されてもよく、テキスト情報の第二の分岐注意力特徴に対応する第二の分岐注意力特徴ベクトルは、式（８）のように表されてもよい。
（８）
【0079】
それに応じて、
に対して同じ線形マッピングを行った後、テキスト情報の第二の全体的注意力特徴によって形成された第二の全体的注意力特徴ベクトル
を取得することができる。
【0080】
ステップ１４において、前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定する。
【0081】
本開示の実施例では、検索装置は、第一のモーダル情報の第一の注意力特徴と第二のモーダル情報の第二の注意力特徴に応じて、第一のモーダル情報と第二のモーダル情報の間の相互注意の注意程度を決定することができる。次に、第一のセマンティック特徴を組み合わせると、第二モーダル情報が第一のモーダル情報に注意するセマンティック特徴を、決定することができ、第二のセマンティック特徴を組み合わせると、第一のモーダル情報が第二のモーダル情報に注意するセマンティック特徴を、決定することができる。このようにして、第二モーダル情報が第一のモーダル情報に注意するセマンティック特徴及び第一のモーダル情報が第二のモーダル情報に注意するセマンティック特徴に応じて、第一のモーダル情報と第二のモーダル情報を決定することができる。第一のモーダル情報と第二のモーダル情報の間の類似度を決定する場合、余弦距離の計算又はドット積演算によって第一のモーダル情報と第二のモーダル情報の間の類似度を決定することができる。
【0082】
一つの可能な実施形態では、第一のモーダル情報と第二のモーダル情報の間の類似度を決定する場合、第一のモーダル情報の第一の分岐注意力特徴、第一の分岐セマンティック特徴及び前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定することができる。次に、第二のモーダル情報の第二の分岐注意力特徴、第二の分岐セマンティック特徴と第一のモーダル情報の第一の全体的注意力に応じて、第二の注意力情報を決定する。さらに第一の注意力情報と第二の注意力情報に基づき、第一のモーダル情報と第二のモーダル情報の間の類似度を決定する。
【0083】
ここで、第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、第二のモーダル情報の第二全体的注意力特徴に応じて、第一の注意力情報を決定する場合、まず、第一のモーダル情報の第一の分岐注意力特徴と第二のモーダル情報の第二の全体的注意力特徴に応じて、第一のモーダル情報の各情報ユニットに対する第二のモーダル情報の注意力情報を決定し、次に、第一のモーダル情報の各情報ユニットに対する第二のモーダル情報の注意力情報と第一のモーダル情報の第一の分岐セマンティック特徴に応じて、第一のモーダル情報に対する第二のモーダル情報の第一の注意力情報を決定することができる。
【0084】
それに応じて、第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定する場合、第二のモーダル情報の第二の分岐注意力特徴と第一のモーダル情報の第一の全体的注意力特徴に応じて、第二のモーダル情報の各情報ユニットに対する第一のモーダル情報の注意力情報を決定し、次に、第二のモーダル情報の各情報ユニットに対する第一のモーダル情報の注意力情報と第二のモーダル情報の第二の分岐セマンティック特徴に応じて、第二のモーダル情報に対する第一のモーダル情報の第二の注意力情報を決定することができる。
【0085】
図３を参照し、第一のモーダル情報と第二のモーダル情報の間の類似性を決定する上記のプロセスを詳細に説明する。第一のモーダル情報が画像情報であり、第二のモーダル情報がテキスト情報であることを例とすると、画像情報の第一の分岐セマンティック特徴ベクトル
、第一の全体的セマンティック特徴ベクトル
、第一の分岐注意力特徴ベクトル
及び第一の全体的注意力特徴ベクトル
、ならびにテキスト情報の第二の分岐セマンティック特徴ベクトル
、第二の全体的セマンティック特徴ベクトル
、第二の分岐注意力特徴ベクトル
及び第二の全体的注意力特徴ベクトル
を得た後、まず、
と
を使用して画像情報の各画像ユニットに対するテキスト情報の注意力情報を決定し、次に
を組み合わせ、テキストが画像情報に注意するセマンティック特徴を決定し、即ち画像情報に対するテキスト情報の第一の注意力情報を決定することができる。第一の注意力情報は、次の式（９）で表される方式によって決定されてもよい。
（９）
【0086】
ここで、Ａは注意力操作を表すことができ、softmaxは正規化された指数関数を表すことができる。
は制御パラメーターを表すことができ、注意力の大きさを制御することができる。このようにして、取得された注意力情報は、適切な大きさ範囲に配置されてもよい。
【0087】
それに応じて、第二の注意力情報は、次の式（１０）で示される方式によって決定されてもよい。
（１０）；
【0088】
ここで、Ａは注意力操作を表すことができ、softmaxは正規化された指数関数を表すことができる。
は制御パラメーターを表すことができる。
【0089】
第一の注意力情報と第二の注意力情報が取得された後、画像情報とテキスト情報の間の類似度を計算することができる。類似度計算式（１１）は次のように表されてもよい。
（１１）
【0090】
ここで、
であり、
はノルム取得操作を表す。
【0091】
上記式により、第一のモーダル情報と第二のモーダル情報の間の類似度を取得することができる。
【0092】
上記クロスモーダル情報検索方式により、注意力特徴は、モーダル情報のセマンティック特徴からデカップリングされ、個別の特徴として処理されてもよく、且つ第一のモーダル情報と第二のモーダル情報の間の類似度を低い時間複雑さで決定し、クロスモーダル情報検索の効率を向上させることができる。
【0093】
図５は本開示の一実施例による類似度に基づいて検索結果が一致であることを決定することを示すブロック図である。第一のモーダル情報と第二のモーダル情報は、それぞれ画像情報とテキスト情報であってもよい。クロスモーダル情報検プロセスにおける注意力メカニズムにより、クロスモーダル情報検プロセスにおいて、画像情報は、テキスト情報における対応するテキストユニットにより注意し、テキスト情報は、画像情報における対応する画像ユニットにより注意する。図５に示すように、画像情報では「女子」と「飲み物」、及び「女子」と「携帯電話」の画像ユニットが強調表示され、テキスト情報では「女子」と「飲み物」、及び「女子」と「携帯電話」のテキストユニットが強調表示されている。
【0094】
上記クロスモーダル情報検索方式により、本開示の実施例は、さらにクロスモーダル情報検索の適用例を提供する。図６は本開示の一実施例によるクロスモーダル情報検索を示すフローチャートである。第一のモーダル情報は、第一のモーダルの検索待ち情報であってもよく、第二のモーダル情報は、第二のモーダルの予め記憶された情報であってもよく、当該クロスモーダル情報検索方法は、
第一のモーダル情報と第二のモーダル情報を取得するステップＳ６１と、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定するステップＳ６２と、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定するステップＳ６３と、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するステップＳ６４と、
前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するステップＳ６５とを含むことができる。
第一のモーダル情報と第二のモーダル情報を取得するステップＳ６１と、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定するステップＳ６２と、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定するステップＳ６３と、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するステップＳ６４と、
前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するステップＳ６５とを含むことができる。
【0095】
ここで、検索装置は、ユーザによって入力された第一のモーダル情報を取得し、次に、ローカルメモリ又はデータベースから第二のモーダル情報を取得することができる。第一のモーダル情報と第二のモーダル情報の類似度が予め設定された条件を満たしていることが上記ステップにより決定された場合、第二のモーダル情報を第一のモーダル情報の検索結果として使用することができる。
【0096】
１つの可能な実施形態では、第二のモーダル情報が複数であり、第二のモーダル情報を第一のモーダル情報の検索結果として使用する場合、第一のモーダル情報と各第二のモーダル情報の間の類似度に応じて、複数の第二のモーダル情報をソートし、ソート結果を取得することができる。次に、第二のモーダル情報のソート結果に応じて、類似度が予め設定された条件を満たしていることを決定することができる。次に、類似度が予め設定された条件を満たしている第二のモーダル情報を第一のモーダル情報の検索結果として使用する。
【0097】
ここで、予め設定された条件は、
類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む。
類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む。
【0098】
例えば、第二のモーダル情報を第一のモーダル情報の検索結果として使用する場合、第一のモーダル情報と第二のモーダル情報の間の類似度が予め設定された値よりも大きいと、第二のモーダル情報を第一のモーダル情報の検索結果として使用することができる。又は、第二のモーダル情報を第一のモーダル情報の検索結果として使用する場合、第一のモーダル情報と各第二のモーダル情報との類似度に応じて、類似度の昇順に従って複数の第二のモーダル情報をソートし、ソート結果を取得し、ソート結果に応じて、順位が予め設定された順位よりも高い第二のモーダル情報を第一のモーダル情報の検索結果として使用することができる。例えば、順位が最も高い第二のモーダル情報を第一のモーダル情報の検索結果として使用する場合、類似度が最も大きい第二のモーダル情報を第一のモーダル情報の検索結果として使用することができる。ここで、検索結果は１つ又は複数であってもよい。
【0099】
ここで、第二のモーダル情報を第一のモーダル情報の検索結果として使用した後、検索結果をクライアントに出力することもできる。例えば、検索結果をクライアントに送信するか、又は検索結果をディスプレイインターフェイスに表示することもできる。
【0100】
上記クロスモーダル情報検索方式により、本開示の実施例は、さらにクロスモーダル情報検索のトレーニング例を提供する。第一のモーダル情報は、第一のモーダルのトレーニングサンプル情報であってもよく、第二のモーダル情報は、第二のモーダルのトレーニングサンプル情報であってもよく、各第一のモーダルのトレーニングサンプル情報と第二のモーダルのトレーニングサンプル情報は、トレーニングサンプルペアを形成する。トレーニングプロセスでは、各トレーニングサンプルペアをクロスモーダル情報検索モデルに入力することができ、畳み込みニューラルネットワーク、リカレントニューラルネットワーク又は再帰ニューラルネットワークを選択し、第一のモーダル情報又は第二のモーダル情報に対してモーダル特徴を抽出することができる。次に、クロスモーダル情報検索モデルを使用して第一のモーダル情報のモーダル特徴を線形マッピングし、第一のモーダル情報の第一のセマンティック特徴と第一の注意力特徴を取得し、第二のモーダル情報のモーダル特徴を線形マッピングし、第二のモーダル情報の第二のセマンティック特徴と第二の注意力特徴を取得する。次に、クロスモーダル情報検索モデルを使用し、第一の注意力特徴、第二の注意力特徴、第一のセマンティック特徴及び第二のセマンティック特徴から、第一のモーダル情報と第２のモーダル情報の間の類似度を取得する。複数のトレーニングサンプルペアの類似度を取得した後、損失関数、例えば比較損失関数、最も難しい負のサンプルソート損失関数などを使用してクロスモーダル情報検索モデルの損失を取得することができる。次に、得られた損失を使用してクロスモーダル情報検索モデルのモデルサンプルパラメータを調整し、クロスモーダル情報検索のためのクロスモーダル情報検索モデルを取得することができる。
【0101】
上記クロスモーダル情報検索モデルトレーニングプロセスにより、注意力特徴は、モーダル情報のセマンティック特徴からデカップリングされ、個別の特徴として処理されてもよく、且つ第一のモーダル情報と第二のモーダル情報の間の類似度を低い時間複雑さで決定し、クロスモーダル情報検索の効率を向上させることができる。
【0102】
図７は本開示の実施例によるクロスモーダル情報検索装置を示すブロック図である。図７に示すように、前記クロスモーダル情報検索装置は、
第一のモーダル情報と第二のモーダル情報を取得するように構成される取得モジュール７１と、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定するように構成される第一の決定モジュール７２と、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定するように構成される第二の決定モジュール７３と、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定モジュール７４とを備える。
第一のモーダル情報と第二のモーダル情報を取得するように構成される取得モジュール７１と、
前記第一のモーダル情報のモーダル特徴に応じて、前記第一のモーダル情報の第一のセマンティック特徴及び第一の注意力特徴を決定するように構成される第一の決定モジュール７２と、
前記第二のモーダル情報のモーダル特徴に応じて、前記第二のモーダル情報の第二のセマンティック特徴及び第二の注意力特徴を決定するように構成される第二の決定モジュール７３と、
前記第一の注意力特徴、前記第二の注意力特徴、前記第一のセマンティック特徴及び前記第二のセマンティック特徴に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定モジュール７４とを備える。
【0103】
一つの可能な実施形態では、
前記第一のセマンティック特徴は、第一の分岐セマンティック特徴と第一の全体的セマンティック特徴を含み、前記第一の注意力特徴は、第一の分岐注意力特徴と第一の全体的注意力特徴を含み、
前記第二のセマンティック特徴は、第二の分岐セマンティック特徴と第二の全体的セマンティック特徴を含み、前記第二の注意力特徴は、第二の分岐注意力特徴と第二の全体的注意力特徴を含む。
前記第一のセマンティック特徴は、第一の分岐セマンティック特徴と第一の全体的セマンティック特徴を含み、前記第一の注意力特徴は、第一の分岐注意力特徴と第一の全体的注意力特徴を含み、
前記第二のセマンティック特徴は、第二の分岐セマンティック特徴と第二の全体的セマンティック特徴を含み、前記第二の注意力特徴は、第二の分岐注意力特徴と第二の全体的注意力特徴を含む。
【0104】
一つの可能な実施形態では、前記第一の決定モジュール７２は、
前記第一のモーダル情報を少なくとも１つの情報ユニットに分割するように構成される第一の分割サブモジュールと、
各情報ユニットで第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を決定するように構成される第一のモーダル決定サブモジュールと、
各前記情報ユニットの第一のモーダル特徴に基づき、セマンティック特徴空間の第一の分岐セマンティック特徴を抽出するように構成される第一の分岐セマンティック抽出サブモジュールと、
各前記情報ユニットの第一のモーダル特徴に基づき、注意力特徴空間の第一の分岐注意力特徴を抽出するように構成される第一の分岐注意力抽出サブモジュールと、を含む。
前記第一のモーダル情報を少なくとも１つの情報ユニットに分割するように構成される第一の分割サブモジュールと、
各情報ユニットで第一のモーダル特徴抽出を行い、各情報ユニットの第一のモーダル特徴を決定するように構成される第一のモーダル決定サブモジュールと、
各前記情報ユニットの第一のモーダル特徴に基づき、セマンティック特徴空間の第一の分岐セマンティック特徴を抽出するように構成される第一の分岐セマンティック抽出サブモジュールと、
各前記情報ユニットの第一のモーダル特徴に基づき、注意力特徴空間の第一の分岐注意力特徴を抽出するように構成される第一の分岐注意力抽出サブモジュールと、を含む。
【0105】
一つの可能な実施形態では、前記装置はさらに、
各情報ユニットの第一の分岐セマンティック特徴に応じで、前記第一のモーダル情報の第一の全体的セマンティック特徴を決定するように構成される第一の全体的セマンティック決定サブモジュールと、
各情報ユニットの第一の分岐注意力特徴に応じて、前記第一のモーダル情報の第一の全体的注意力特徴を決定するように構成される第一の全体的注意力決定サブモジュールと、を備える。
各情報ユニットの第一の分岐セマンティック特徴に応じで、前記第一のモーダル情報の第一の全体的セマンティック特徴を決定するように構成される第一の全体的セマンティック決定サブモジュールと、
各情報ユニットの第一の分岐注意力特徴に応じて、前記第一のモーダル情報の第一の全体的注意力特徴を決定するように構成される第一の全体的注意力決定サブモジュールと、を備える。
【0106】
一つの可能な実施形態では、前記第二の決定モジュール７３は、
前記第二のモーダル情報を少なくとも１つの情報ユニットに分割するように構成される第二の分割サブモジュールと、
各情報ユニットで第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を決定するように構成される第二のモーダル決定サブモジュールと、
各情報ユニットの第二のモーダル特徴に基づき、セマンティック特徴空間の第二の分岐セマンティック特徴を抽出するように構成される第二の分岐セマンティック抽出サブモジュールと、
各情報ユニットの第二のモーダル特徴に基づき、注意力特徴空間の第二の分岐注意力特徴を抽出するように構成される第二の分岐注意力抽出サブモジュールと、を含む。
前記第二のモーダル情報を少なくとも１つの情報ユニットに分割するように構成される第二の分割サブモジュールと、
各情報ユニットで第二のモーダル特徴抽出を行い、各情報ユニットの第二のモーダル特徴を決定するように構成される第二のモーダル決定サブモジュールと、
各情報ユニットの第二のモーダル特徴に基づき、セマンティック特徴空間の第二の分岐セマンティック特徴を抽出するように構成される第二の分岐セマンティック抽出サブモジュールと、
各情報ユニットの第二のモーダル特徴に基づき、注意力特徴空間の第二の分岐注意力特徴を抽出するように構成される第二の分岐注意力抽出サブモジュールと、を含む。
【0107】
一つの可能な実施形態では、前記装置はさらに、
各情報ユニットの第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報の第二の全体的セマンティック特徴を決定するように構成される第二の全体的セマンティック決定サブモジュールと、
各情報ユニットの第二の分岐注意力特徴に応じて、前記第二のモーダル情報の第二の全体的注意力特徴を決定するように構成される第二の全体的注意力決定サブモジュールと、を備える。
各情報ユニットの第二の分岐セマンティック特徴に応じて、前記第二のモーダル情報の第二の全体的セマンティック特徴を決定するように構成される第二の全体的セマンティック決定サブモジュールと、
各情報ユニットの第二の分岐注意力特徴に応じて、前記第二のモーダル情報の第二の全体的注意力特徴を決定するように構成される第二の全体的注意力決定サブモジュールと、を備える。
【0108】
一つの可能な実施形態では、前記類似度決定モジュール７４は、
前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定するように構成される第一の注意力情報決定サブモジュールと、
前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定するように構成される第二の注意力情報決定サブモジュールと、
前記第一の注意力情報と前記第二の注意力情報に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定サブモジュールと、を含む。
前記第一のモーダル情報の第一の分岐注意力特徴及び第一の分岐セマンティック特徴、前記第二のモーダル情報の第二の全体的注意力特徴に応じて、第一の注意力情報を決定するように構成される第一の注意力情報決定サブモジュールと、
前記第二のモーダル情報の第二の分岐注意力特徴及び第二の分岐セマンティック特徴、前記第一のモーダル情報の第一の全体的注意力特徴に応じて、第二の注意力情報を決定するように構成される第二の注意力情報決定サブモジュールと、
前記第一の注意力情報と前記第二の注意力情報に基づき、前記第一のモーダル情報と前記第二のモーダル情報の間の類似度を決定するように構成される類似度決定サブモジュールと、を含む。
【0109】
一つの可能な実施形態では、前記第一の注意力情報決定サブモジュールは、具体的には、
前記第一のモーダル情報の第一の分岐注意力特徴と前記第二のモーダル情報の第二全体的注意力特徴に応じて、第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報を決定し、
第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報と前記第一のモーダル情報の第一の分岐セマンティック特徴に応じで、前記第一のモーダル情報に対する前記第二のモーダル情報の第一の注意力情報を決定するように構成される。
前記第一のモーダル情報の第一の分岐注意力特徴と前記第二のモーダル情報の第二全体的注意力特徴に応じて、第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報を決定し、
第一のモーダル情報の各情報ユニットに対する前記第二のモーダル情報の注意力情報と前記第一のモーダル情報の第一の分岐セマンティック特徴に応じで、前記第一のモーダル情報に対する前記第二のモーダル情報の第一の注意力情報を決定するように構成される。
【0110】
一つの可能な実施形態では、前記第二の注意力情報決定サブモジュールは、具体的には、
前記第二のモーダル情報の第二の分岐注意力特徴と前記第一のモーダル情報の第一全体的注意力特徴に応じて、前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報を決定し、
前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報と前記第二のモーダル情報の第二の分岐セマンティック特徴に基づき、前記第二のモーダル情報に対する前記第一のモーダル情報の第二の注意力情報を決定するように構成される。
前記第二のモーダル情報の第二の分岐注意力特徴と前記第一のモーダル情報の第一全体的注意力特徴に応じて、前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報を決定し、
前記第二のモーダル情報の各情報ユニットに対する前記第一のモーダル情報の注意力情報と前記第二のモーダル情報の第二の分岐セマンティック特徴に基づき、前記第二のモーダル情報に対する前記第一のモーダル情報の第二の注意力情報を決定するように構成される。
【0111】
１つの可能な実施形態では、前記第一のモーダル情報は、第一のモーダルの検索待ち情報であり、前記第二のモーダル情報は、第二のモーダルの予め記憶された情報であり、前記装置はさらに、
前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するように構成される検索結果決定モジュールを備える。
前記類似度が予め設定された条件を満たしている場合、前記第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するように構成される検索結果決定モジュールを備える。
【0112】
一つの可能な実施形態では、前記第二のモーダル情報は複数であり、前記検索結果決定モジュールは、
前記第一のモーダル情報と各第二のモーダル情報の間の類似度に応じて、複数の第二のモーダル情報をソートし、ソート結果を取得するように構成されるソートサブモジュールと、
前記ソート結果に応じて、前記予め設定された条件を満たしている第二のモーダル情報を決定するように構成される情報決定サブモジュールと、
前記予め設定された条件を満たしている第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するように構成される検索結果決定サブモジュールと、を含む。
前記第一のモーダル情報と各第二のモーダル情報の間の類似度に応じて、複数の第二のモーダル情報をソートし、ソート結果を取得するように構成されるソートサブモジュールと、
前記ソート結果に応じて、前記予め設定された条件を満たしている第二のモーダル情報を決定するように構成される情報決定サブモジュールと、
前記予め設定された条件を満たしている第二のモーダル情報を前記第一のモーダル情報の検索結果として使用するように構成される検索結果決定サブモジュールと、を含む。
【0113】
一つの可能な実施形態では、前記予め設定された条件は、
類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む。
類似度が予め設定された値よりも大きいこと、類似度の昇順順位が予め設定された順位よりも大きいことのいずれか１つを含む。
【0114】
一つの可能な実施形態では、前記装置はさらに、
検索結果をクライアントに出力するように構成される出力モジュールを備える。
検索結果をクライアントに出力するように構成される出力モジュールを備える。
【0115】
１つの可能な実施形態では、前記第一のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含み、前記第二のモーダル情報は、テキスト情報又は画像情報のうちの１つのモーダル情報を含む。
【0116】
１つの可能な実施形態では、前記第一のモーダル情報は、第一のモーダルのトレーニングサンプル情報であり、前記第二のモーダル情報は、第二のモーダルのトレーニングサンプル情報であり、各第一のモーダルのトレーニングサンプル情報と第二のモーダルのトレーニングサンプル情報は、トレーニングサンプルペアを形成する。
【0117】
本開示で言及される上記各方法の実施例は、原理及び論理に違反することなく、いずれも互いに組み合わせられ、組み合わせられた実施例を形成することができ、紙面が限られるため、本開示で説明を省略することが理解できる。
【0118】
また、本開示は、さらに上記装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供する。上記はいずれも本開示で提供される任意のクロスモーダル情報検索方法を実現するために使用されてもよく、対応する技術的解決策及び説明と参照方法部分の対応する記載については、説明が省略される。
【0119】
図８は一つの例示的な実施例によるクロスモーダル情報検索のためのクロスモーダル情報検索装置１９００のブロックである。例えば、クロスモーダル情報検索装置１９００は、サーバーとして提供されてもよい。図８を参照すると、装置１９００は、１つ又は複数のプロセッサをさらに含む処理コンポーネント１９２２と、処理コンポーネント１９２２で実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２によって表されるメモリリソースとを備える。メモリ１９３２に記憶されたアプリケーションプログラムは、それぞれが１グループの命令に対応する１つ又は複数のモジュールを含むことができる。また、処理コンポーネント１９２２は、上記方法を実行するために、命令を実行するように構成される。
【0120】
装置１９００は、さらに装置１９００の電源管理を実行するように構成された電源コンポーネント１９２６、装置１９００をネットワークに接続するように構成された有線又は無線ネットワークインタフェース１９５０、及び入出力（Ｉ／Ｏ）インタフェース１９５８を備えることができる。装置１９００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどのメモリ１９３２に記憶されているオペレーティングシステムに基づいて動作することができる。
【0121】
例示的な実施例では、コンピュータプログラム命令を含むメモリ１９３２などの不揮発性コンピュータ可読記憶媒体も提供され、上記方法を完了するために、上記コンピュータプログラム命令が装置９００の処理コンポーネント１９２２によって実行されてもよい。
【0122】
本開示は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の様々な態様を実現させるためのコンピュータ可読プログラム命令がロードされているコンピュータ可読記憶媒体を含むことができる。
【0123】
コンピュータ可読記憶媒体は、命令実行装置によって用いられる命令を維持及び記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の適切な組み合わせであってもよいがこれらに限定されない。コンピュータ可読記憶媒体のより具体的な例（網羅的ではないリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化デバイス、例えば命令が記憶されたパンチカード又は溝内突出構造、及び上記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、ラジオ波又は他の自由に伝播される電磁波、導波路又は他の伝送媒体を介して伝播された電磁波（例えば光ファイバーケーブルを通る光パルス）、又は電線を介して伝播される電気信号などの瞬時信号として解釈されない。
【0124】
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング／処理デバイスにダウンロードされてもよく、又はインターネット、ローカルエリアネットワーク、広域ネットワーク及び／又はワイヤレスネットワークなどのネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードされてもよい。ネットワークは、銅線伝送ケーブル、光ファイバ伝送、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバーを含むことができる。各コンピューティング／プロセッシングデバイスのネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピューティング／プロセッシングデバイスのコンピュータ可読記憶媒体に保存するために当該コンピュータ可読プログラム命令を転送する。
【0125】
本開示の動作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、ステータス設定データ、又は、１つ又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードであってもよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト向けのプログラミング言語、及び「Ｃ」言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行されたり、ユーザのコンピュータで部分的に実行されたり、１つの独立したソフトウェアパッケージとして実行されたり、ユーザのコンピュータで部分的に実行され、リモートコンピュータで部分的に実行されたり、又は完全にリモートコンピュータ又はサーバーで実行されたりすることができる。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）などの任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、又は、外部コンピュータに接続されてもよい（例えばインターネットサービスプロバイダーによってインターネットを介して接続されてもよい）。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報によってプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）などの電子回路をパーソナライズ及びカスタマイズし、当該電子回路がコンピュータ可読プログラム命令を実行し、本開示の各態様を実現することができる。
【0126】
本明細書において、本開示の様々な態様は、本開示の実施例による方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び又はブロック図を参照して説明される。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、コンピュータ可読プログラム命令によって実現されてもよいことが理解されるべきである。
【0127】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラム可能データ処理装置のプロセッサに提供されてもよく、これにより、これらの命令がコンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される時に、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現するデバイスが生成される。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶することもでき、これらの命令により、コンピュータ、プログラム可能データ処理装置及び／又は他の装置が特定の方式で動作し、これにより、命令を記憶しているコンピュータ可読媒体は、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現するための様々な態様の命令を含む１つの製造品を含む。
【0128】
コンピュータ、他のプログラム可能データ処理装置又は他のデバイスにコンピュータ可読プログラム命令をロードすることもでき、これにより、一連の操作ステップをコンピュータ、他のプログラム可能データ処理装置又は他の装置で実行し、コンピュータで実現されるプロセスを生成することも可能であり、それによってコンピュータ、他のプログラム可能データ処理装置、又は他のデバイスで実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロックで規定された機能／動作を実現する。
【0129】
図面のフローチャートとブロック図は、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能と動作を示している。これに関して、フローチャート又はブロック図の各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができ、前記モジュール、プログラムセグメント又は命令の一部は、規定された論理機能を実現するための１つ又は複数の機能を含む。代替としてのいくつかの実現では、ブロックでマークされた機能は、図面でマークされた順序とは異なる順序で発生することもできる。例えば、関連する機能に応じて、２つの連続するブロックを実際に並行して実行したり、逆の順序で実行したりすることができる。ブロック図及び／又はフローチャートの各ブロック、及びブロック図及び／又はフローチャートのブロックの組み合わせは、規定された機能又は動作を実行する専用のハードウェアベースのシステムによって実現されてもよく、又は専用のハードウェアとコンピュータの命令を組み合わせることで実現されてもよい。
【0130】
以上に本開示の各実施例が説明されたが、上記の説明は例示的であり、網羅的ではなく、且つ開示された各実施例に限定されない。説明される実施例の範囲及び精神から逸脱することなく、多くの修正と変更は、当業者にとって明らかである。本明細書で用いられる用語の選択は、各実施例の原理、実際の応用又は市場における技術に対する技術的改善を最もよく解釈し、又は他の当業者が本明細書に開示される実施形態を理解できるようにすることを意図する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】