特許 6498750 情報検索方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6498750

(24)【登録日】2019年3月22日

(45)【発行日】2019年4月10日

(54)【発明の名称】情報検索方法及び装置

(51)【国際特許分類】

   G06F 16/50 20190101AFI20190401BHJP

   G06F 16/00 20190101ALI20190401BHJP

   G06T 1/00 20060101ALI20190401BHJP

【ＦＩ】

   G06F17/30 170B

   G06F17/30 360Z

   G06T1/00 200A

【請求項の数】12

【全頁数】16

(21)【出願番号】特願2017-510347(P2017-510347)

(86)(22)【出願日】2015年7月6日

(65)【公表番号】特表2017-530451(P2017-530451A)

(43)【公表日】2017年10月12日

(86)【国際出願番号】CN2015083394

(87)【国際公開番号】WO2016107125

(87)【国際公開日】20160707

【審査請求日】2017年2月20日

(31)【優先権主張番号】201410843273.2

(32)【優先日】2014年12月30日

(33)【優先権主張国】CN

【前置審査】

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(72)【発明者】

【氏名】チン， ショウケ

(72)【発明者】

【氏名】ヂャン， ゼェミン

(72)【発明者】

【氏名】ハン， ヨウ

(72)【発明者】

【氏名】チェン， ヂーヤン

(72)【発明者】

【氏名】チョン， シャォファ

(72)【発明者】

【氏名】シュ， ペイジー

(72)【発明者】

【氏名】マー， シャオリン

(72)【発明者】

【氏名】ウェン， シーレイ

(72)【発明者】

【氏名】チェン， シージャ

(72)【発明者】

【氏名】リー， シュビン

(72)【発明者】

【氏名】ジィアン， ヤン

【審査官】 吉田 誠

(56)【参考文献】

【文献】 特開２０１２−０６８９８２（ＪＰ，Ａ）

【文献】 特開２００４−２８７６７０（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０３９０２６７９（ＣＮ，Ａ）

【文献】 特開２０１１−０７０４１２（ＪＰ，Ａ）

【文献】 特開２０１１−０７０４０８（ＪＰ，Ａ）

【文献】 特開２００７−３０４７７１（ＪＰ，Ａ）

【文献】 特開２０１２−３３５７（ＪＰ，Ａ）

【文献】 柳井 啓司，“Ｗｅｂ画像収集における単語ベクトルの導入と画像特徴の改良”，電子情報通信学会技術研究報告 Ｖｏｌ．１０２ Ｎｏ．５５５ IEICE Technical Report，日本，社団法人電子情報通信学会，２００３年 １月１０日，第１０２巻，第５５５号，ｐ．５５−６０

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

現在のキーワードを取得するステップと、
前記現在のキーワードに関連する、画像セグメント、文字セグメント及び／又は画像エンティティを含む材料情報を取得するステップと、
前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させるステップとを含み、
前記現在のキーワードに関連する前記材料情報を取得するステップが、
前記キーワードと関連画像集合との対応関係を構築及び記憶するステップと、
前記現在のキーワード及び予め記憶されたキーワードと前記関連画像集合との対応関係に基づいて前記現在のキーワードに関連する画像を取得し、且つ該画像に基づいて予め構築された材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得するステップとを含み、
前記キーワードと前記関連画像集合との対応関係を構築及び記憶するステップが、
前記画像を取得し、且つ該画像に対応するテキスト特徴及び視覚特徴を取得するステップと、
前記キーワード及び前記キーワードの関連画像を取得し、且つ該関連画像のテキスト特徴及び視覚特徴を取得するステップと、
前記画像の視覚特徴と前記関連画像の視覚特徴との関連性を計算することにより、前記キーワードと前記画像との関連性を取得するステップと、
前記キーワードと前記画像との関連性及び前記キーワードの前記関連画像のテキスト特徴と前記画像のテキスト特徴との関連性に基づいて、前記キーワードの前記関連画像集合を取得し、且つ前記キーワードと前記関連画像集合との対応関係を記憶するステップとを含む情報検索方法。

【請求項2】

前記画像に対応する視覚特徴を取得するステップが、前記画像を対応する第１ベクトルに変換するステップを含み、
前記関連画像の視覚特徴を抽出するステップが、前記関連画像の視覚特徴を対応する第２ベクトルに変換するステップを含み、
前記第１ベクトルと前記第２ベクトルとが同じ次元を有する請求項１に記載の方法。

【請求項3】

前記画像の視覚特徴と前記関連画像の視覚特徴との関連性を計算することにより前記キーワードと前記画像との関連性を取得するステップが、前記第１ベクトルと前記第２ベクトルとの関連性を計算することにより前記キーワードと前記画像との関連性を取得することを含む請求項２に記載の方法。

【請求項4】

前記テキスト特徴が、対応画像のタイトル、画像説明、サブリンク、コンテキスト情報、及び対応画像に含まれる文字及びエンティティ情報のうち少なくとも１つを含む請求項１から請求項３のいずれかに記載の方法。

【請求項5】

前記画像に基づいて予め構築された前記材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得する前に、
前記画像及び該画像に対応する文字情報を取得及び記憶するステップと、
前記画像及び該画像に対応する前記文字情報を対応する前記材料情報に処理し、且つ前記画像及び該画像に対応する前記材料情報を前記材料情報バンクに記憶するステップとを更に含む請求項１に記載の方法。

【請求項6】

現在のキーワードを取得する第１取得モジュールと、
前記現在のキーワードに関連する、画像セグメント、文字セグメント及び／又は画像エンティティを含む材料情報を取得する第２取得モジュールと、
前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させる合成モジュールとを有し、
前記第２取得モジュールは、具体的には、前記現在のキーワード及び予め記憶されたキーワードと関連画像集合との対応関係に基づいて前記現在のキーワードに関連する画像を取得し、且つ該画像に基づいて予め構築された材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得し、
前記第２取得モジュールが前記現在のキーワード及び予め記憶された前記キーワードと前記関連画像集合との対応関係に基づいて前記現在のキーワードに関連する前記画像を取得する前に、前記キーワードと前記関連画像集合との対応関係を構築及び記憶する構築記憶モジュールを更に有し、
該構築記憶モジュールは、
前記画像を取得し、且つ該画像に対応するテキスト特徴及び視覚特徴を取得する第１取得ユニットと、
前記キーワード及び前記キーワードの関連画像を取得し、且つ該関連画像のテキスト特徴及び視覚特徴を取得する第２取得ユニットと、
前記画像の視覚特徴と前記関連画像の視覚特徴との関連性を計算することにより前記キーワードと前記画像との関連性を取得する計算ユニットと、
前記キーワードと前記画像との関連性及び前記キーワードの前記関連画像のテキスト特徴と前記画像のテキスト特徴との関連性に基づいて前記キーワードの前記関連画像集合を取得し、且つ前記キーワードと前記関連画像集合との対応関係を記憶する記憶ユニットとを有する情報検索装置。

【請求項7】

前記第１取得ユニットが、具体的には、前記画像を対応する第１ベクトルに変換し、
前記第２取得ユニットが、具体的には、前記関連画像を対応する第２ベクトルに変換し、
前記第１ベクトルと前記第２ベクトルとが同じ次元を有する請求項６に記載の装置。

【請求項8】

前記計算ユニットは、具体的には、前記第１ベクトルと前記第２ベクトルとの関連性を計算することにより前記キーワードと前記画像との関連性を取得する請求項７に記載の装置。

【請求項9】

前記テキスト特徴が、対応画像のタイトル、画像説明、サブリンク、コンテキスト情報、及び対応画像に含まれる文字及びエンティティ情報のうち少なくとも１つを含む請求項６から請求項８のいずれかに記載の装置。

【請求項10】

前記第２取得モジュールが前記画像に基づいて予め構築された前記材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得する前に、前記画像及び該画像に対応する文字情報を取得及び記憶し、前記画像及び該画像に対応する前記文字情報を対応する材料情報に処理し、且つ前記画像及び該画像に対応する前記材料情報を前記材料情報バンクに記憶する取得記憶モジュールを更に有する請求項６記載の装置。

【請求項11】

アプリケーションプログラムを記憶し、
該アプリケーションプログラムが、請求項１から請求項５のいずれかに記載の情報検索方法を実行するものである記憶媒体。

【請求項12】

少なくとも１つのプロセッサと、
メモリと、
少なくとも１つのモジュールとを有し、
前記少なくとも１つのモジュールは、前記メモリに記憶され、前記少なくとも１つのプロセッサにより実行される場合、現在のキーワードを取得することと、該現在のキーワードに関連する、画像セグメント、文字セグメント及び／又は画像エンティティを含む材料情報を取得することと、前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させることとを行い、
前記現在のキーワードに関連する前記材料情報を取得することは、前記現在のキーワード及び予め記憶されたキーワードと関連画像集合との対応関係に基づいて前記現在のキーワードに関連する画像を取得し、且つ該画像に基づいて予め構築された材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得することを含み、
前記少なくとも１つのモジュールは、前記現在のキーワード及び予め記憶された前記キーワードと前記関連画像集合との対応関係に基づいて前記現在のキーワードに関連する前記画像を取得する前に、前記キーワードと前記関連画像集合との対応関係を構築及び記憶することを更に行い、
前記キーワードと前記関連画像集合との対応関係を構築及び記憶することが、
前記画像を取得し、且つ該画像に対応するテキスト特徴及び視覚特徴を取得し、
前記キーワード及び前記キーワードの関連画像を取得し、且つ該関連画像のテキスト特徴及び視覚特徴を取得し、
前記画像の視覚特徴と前記関連画像の視覚特徴との関連性を計算することにより、前記キーワードと前記画像との関連性を取得し、
前記キーワードと前記画像との関連性及び前記キーワードの前記関連画像のテキスト特徴と前記画像のテキスト特徴との関連性に基づいて、前記キーワードの前記関連画像集合を取得し、且つ前記キーワードと前記関連画像集合との対応関係を記憶することを含む検索エンジン。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッドにより２０１４年１２月３０日付けで提出された発明の名称が「情報検索方法及び装置」であり、中国特許出願番号が「２０１４１０８４３２７３．２」である特許出願の優先権を主張するものである。

【0002】

本発明は、情報技術に関し、特に情報検索方法及び装置に関する。

【背景技術】

【0003】

検索エンジン（Ｓｅａｒｃｈ Ｅｎｇｉｎｅ）は、一定な策略に基づき、特定のコンピュータプログラムを運用してインターネットから情報を集め、情報に対する組織及び処理を行った後、ユーザに検索サービスを提供し、且つ検索された相関情報をユーザに表示するシステムを指す。

【0004】

検索エンジン分野において、ユーザがクエリー（ｑｕｅｒｙ）情報を検索する場合、検索エンジンは少なくとも１つの検索結果を表示し、その中には、広告情報及び自然結果が含まれる。現在、画像に含まれる情報量がより豊富であり、画像から情報を取得する速度が文字に比べてより速いため、ユーザは、検索結果にもっと多い画像を表示されることを欲している。

【0005】

但し、現在の画像の多数は、検索エンジンにより取得された後直接クライアントに返還されたり、ただ簡単な絞り込みを行い、拡大した後クライアントに返還して表示をしたりすることであるため、画像の質及び数両方ともに欠如が存在する。また、ユーザの画像に対する需要が大きくなるとともに、画像の質及び情報量の豊富さがより重要になり、画像に含まれる情報が豊富であればあるほど、ユーザが画像から情報を取得する速度が文字に比べて速やかであるため、画像の質及び情報量を更に向上させるべきである。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、相関技術における技術問題中の１つを少なくともある程度解決しようとする。
本発明の１つ目の目的は、情報検索方法を提出することであり、ユーザ検索需要に符合する画像をユーザに表示することを実現することができ、ユーザの検索体験及び満足度を向上させる。

【0007】

本発明の２つ目の目的は、情報検索装置を提出することである。

【0008】

本発明の３つ目の目的は、記憶媒体を提出することである。

【0009】

本発明の４つ目の目的は、検索エンジンを提出することである。

【課題を解決するための手段】

【0010】

上記の目的を達成するために、本発明の第１の実施形態に係る情報検索方法を提供する。当該方法は、現在のキーワードを取得するステップと、前記現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得するステップと、前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させるステップとを含む。

【0011】

本実施形態に係る情報検索方法は、現在のキーワードを取得し、且つ現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得し、材料情報を画像に合成し、合成された画像を検索結果ページに表示させることである。本実施形態において、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上することができる。従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。

【0012】

上記の目的を達成するために、本発明の第２の実施形態として、情報検索装置を提供する。当該装置は、現在のキーワードを取得する第１取得モジュールと、前記現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する第２取得モジュールと、前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させる合成モジュールとを有する。

【0013】

本実施形態に係る情報検索装置は、第１取得モジュールによって現在のキーワードを取得し、第２取得モジュールによって現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得し、そして合成モジュールによって材料情報を画像に合成して検索結果ページに画像を表示させる。本実施形態において、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上することができる。従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜を供することができる。

【0014】

上記の目的を実現するために、本発明の第３の実施形態に係る記憶媒体は、アプリケーションプログラムを記憶し、該アプリケーションプログラムが、本発明の第１の実施形態に記載の情報検索方法を実行する。

【0015】

上記の目的を実現するために、本発明の第４の実施形態に係る検索エンジンは、少なくとも１つのプロセッサと、メモリと、少なくとも１つのモジュールとを有し、前記少なくとも１つのモジュールは、前記メモリに記憶され、前記少なくとも１つのプロセッサにより実行される場合、現在のキーワードを取得することと、該現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得し、前記材料情報を前記画像に合成し、合成された前記画像を検索結果ページに表示させることとを行う。

【0016】

本発明の付加点と利点は、下記の説明にて部分的に示され、一部は下記の説明にて明らかになる、又は本発明の実践により理解される。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る情報検索方法のフローチャートである。

【図2】本発明の他の実施形態に係る情報検索方法のフローチャートである。

【図3】本発明の一実施形態に係る画像合成例１である。

【図4】本発明の一実施形態に係る画像合成例２である。

【図5】本発明の一実施形態に係る画像合成例３である。

【図6】本発明の一実施形態に係る画像合成例４である。

【図7】本発明の一実施形態に係る画像合成例５である。

【図8】本発明の一実施形態におけるキーワードと関連画像集合との対応関係を構築及び記憶するフローチャートである。

【図9】本発明の一実施形態に係る情報検索装置の構造模式図である。

【図10】本発明の他の実施形態に係る情報検索装置の構造模式図である。

【発明を実施するための形態】

【0018】

以下に、本発明の一実施形態について詳細に説明する。本実施形態の例示が図面において示されるが、一貫して同一または類似する符号は、同一又は類似の部品、又は、同一又は類似の機能を有する部品を表す。以下に、図面を参照しながら説明される本実施形態は一例であり、本発明を解釈するためだけに用いられるものであって、本発明を限定するように理解されてはならない。

【0019】

以下に、附図を参照しながら本発明の一実施形態に係る情報検索方法及び装置を説明する。

【0020】

図１は、本発明の一実施形態に係る情報検索方法のフローチャートであり、当該方法について検索エンジン側から説明を行う。

【0021】

図１に示すように、当該情報検索方法は、ステップＳ１０１からステップＳ１０３を含む。

【0022】

ステップＳ１０１：現在のキーワードを取得する。

【0023】

本実施形態において、ユーザは検索ボックスにクエリー情報を入力することができる。クライアントは当該クエリー情報を取得し、且つ当該クエリー情報から現在のキーワードを取得してから、検索エンジンに現在のキーワードを送信することにより、検索エンジンは現在のキーワードを取得することができる。

【0024】

勿論、クライアントは、他の方式で現在のキーワードを取得することができる。例えば、ユーザがウェブページを閲覧する場合には、クライアントは、ユーザが閲覧するウェブページ内容に基づいて現在のキーワードを抽出し、且つ検索エンジンに現在のキーワード等を送信することができる。本実施形態においては、現在のキーワードの取得方式に対して限定しない。

【0025】

ステップＳ１０２：現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。

【0026】

本実施形態において、図２に示すように、ステップＳ１０２の前に、ステップＳ１００ａを更に含むことができる。
ステップＳ１００ａ：キーワードと関連画像集合との対応関係を構築及び記憶する。

【0027】

また、図２に示すように、ステップＳ１０２の前に、下記のステップＳ１００ｂ及びステップＳ１００ｃを更に含むことができる。
ステップＳ１００ｂ：画像及びそれに対応する文字情報を取得及び記憶する。
ステップＳ１００ｃ：画像及びそれに対応する文字情報を対応する材料情報に処理し、且つ画像及びそれに対応する材料情報を材料情報バンクに記憶する。

【0028】

具体的には、インターネットにおける各ユニフォームリソースロケータ（ＵＲＬ）の画像、文字等の情報を取得及び記憶し、且つ取得された画像、文字等の情報を図像処理技術、文字処理技術によって単独的な画像セグメント、文字セグメント、画像エンティティ等に処理して、材料情報バンクを構築することができる。

【0029】

説明すべきことは、ステップＳ１００ａとステップＳ１００ｂ及びステップＳ１００ｃとの間には絶対的な実行順番はなく、且つ、ステップＳ１００ａとステップＳ１００ｂ及びステップＳ１００ｃは、ステップＳ１０１とステップＳ１０２との間に位置されてもよい。

【0030】

具体的には、現在のキーワードに関連する材料情報を取得することは、現在のキーワード及び予め記憶されたキーワードと関連画像集合との対応関係に基づいて現在のキーワードに関連する画像を取得し、且つ画像に基づいて予め構築された材料情報バンクから現在のキーワードに関連する材料情報を取得することであってもよい。

【0031】

ステップＳ１０３：材料情報を画像に合成し、合成された画像を検索結果ページに表示させる。

【0032】

本実施形態において、画像合成技術によって取得した材料情報を画像に合成することができる。例えば、取得した画像とテキスト、画像と画像、テキストとテキストとを画像に合成することができ、合成例としては、具体的には図３から図７を参照することができる。

【0033】

合成後の画像にはより多い情報が含まれるため、合成後の画像の質及び情報量が大幅に向上され、従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。

【0034】

上記の情報検索方法は、現在のキーワードを取得し、且つ現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。そして、材料情報を画像に合成し、合成された画像を検索結果ページに表示させることから、本実施形態において、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上させることができる。従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。

【0035】

図８は、本発明の一実施形態におけるキーワードと関連画像集合との対応関係を構築及び記憶するフローチャートである。本実施形態は、取得した多量なサンプルに基づいてキーワードと関連画像集合との対応関係の構築を完成したものである。

【0036】

図８に示すように、当該過程は、下記のステップＳ８０１からステップＳ８０４を含む。

【0037】

ステップＳ８０１：画像を取得し、且つ画像に対応するテキスト特徴及び視覚特徴を取得する。

【0038】

具体的には、異なるユニフォームリソースロケータ（ＵＲＬ）における画像を取得し、且つ対応画像のタイトル、画像説明、サブリンク及びコンテキスト情報のうちの少なくとも１つを取得すると共に、取得した情報を対応するテキスト特徴の一部にすることができる。

【0039】

また、光学文字認識（ＯＣＲ）技術を適用して対応画像における文字情報及びエンティティ情報等を認識し、且つ認識した情報を対応するテキスト特徴の一部にすることができる。

【0040】

上記のことから、画像のテキスト特徴は、対応画像のタイトル、画像説明、サブリンク、コンテキスト情報及び対応画像に含まれる文字及びエンティティ情報のうちの少なくとも１つを含むことができる。

【0041】

具体的には、捕らえた各画像に対して、それを第１ベクトルに変換し、即ち第１ベクトルで対応する画像を示すことができる。また、第１ベクトルの次元は、Ｎ次元でもよい。上記の第１ベクトルは、対応画像の視覚特徴の一部とされてもよい。

【0042】

ステップＳ８０２：キーワード及びキーワードの関連画像を取得し、且つ関連画像のテキスト特徴及び視覚特徴を抽出する。

【0043】

本実施形態において、キーワードを取得し、且つ当該キーワードを取得した関連画像を検索してから、関連画像のテキスト特徴及び視覚特徴を抽出することができる。

【0044】

また、テキスト特徴の抽出方式はステップＳ８０１と同じであり、具体的な内容も対応画像のタイトル、画像説明、サブリンク、コンテキスト情報及び対応画像に含まれる文字及びエンティティ情報のうちの少なくとも１つである。

【0045】

一方、視覚特徴に対する抽出過程は、当該キーワードの関連画像を対応する第２ベクトルに変換し、即ち第２ベクトルで当該キーワードの関連画像を示してもよい。その中で、第１ベクトルと第２ベクトルとが同じ次元を有しており、例えば、いずれもＮ次元である。

【0046】

ステップＳ８０３：画像の視覚特徴と関連画像の視覚特徴との関連性を計算することによりキーワードと画像との関連性を取得する。

【0047】

本実施形態において、画像の視覚特徴と相関画像の視覚特徴との関連性を計算することによりキーワードと画像との関連性を取得し、即ち第１ベクトルと第２ベクトルとの関連性を計算することによりキーワードと画像との関連性を取得する。

【0048】

ステップＳ８０４：キーワードと画像との関連性及びキーワードの関連画像と画像とのテキスト特徴の関連性に基づいてキーワードの関連画像集合を取得し、且つキーワードと関連画像集合との対応関係を記憶する。

【0049】

説明すべきことは、キーワードと画像との関連性は、ただキーワードと関連画像集合との対応関係を構築する１つの指標であり、即ちキーワードと画像との関連性に基づくほかに、異なる画像のテキスト特徴間の関連性に基づいて関連画像集合を取得することもできる。このように、記憶したキーワードに関連する画像がより多く、且つ全面的であり、且つ関連性が高いため、検索エンジンが後続的にユーザによりよい検索結果を提供することに有利である。

【0050】

上記のことから、上記のステップＳ８０１からステップＳ８０４を介してキーワードと関連画像集合との対応関係を構築及び記憶する過程を完成することができることが分かる。

【0051】

上記の実施形態を実現するために、本発明は、情報検索装置を更に提供する。

【0052】

図９は、本発明の一実施形態に係る情報検索装置の構造模式図である。

【0053】

図９に示すように、当該情報検索装置は、第１取得モジュール９１と、第２取得モジュール９２と、合成モジュール９３とを有する。

【0054】

第１取得モジュール９１は、現在のキーワードを取得する。第２取得モジュール９２は、現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。合成モジュール９３は、材料情報を画像に合成し、合成された画像を検索結果ページに表示させる。

【0055】

本実施形態において、ユーザは、検索ボックスにクエリー情報を入力することができ、クライアントは、当該クエリー情報を取得し、且つ当該クエリー情報から現在のキーワードを取得してから、第１取得モジュール９１に現在のキーワードを送信する。このように、第１取得モジュール９１は、現在のキーワードを取得することができる。

【0056】

勿論、クライアントは、他の方式で現在のキーワードを取得することができ、例えば、ユーザがウェブページを閲覧する時、クライアントは、ユーザが閲覧するウェブページ内容に基づいて現在のキーワードを抽出し、且つ第１取得モジュール９１に現在のキーワード等を送信等することができる。本実施形態においては、現在のキーワードの取得方式に対して限定しない。

【0057】

また、図１０に示すように、当該装置は、構築記憶モジュール９４を更に有していてもよい。当該構築記憶モジュール９４は、第２取得モジュール９２が現在のキーワード及び予め記憶されたキーワードと関連画像集合との対応関係に基づいて現在のキーワードに関連する画像を取得する前に、キーワードと関連画像集合との対応関係を構築及び記憶する。

【0058】

具体的には、構築記憶モジュール９４は、第１取得ユニット９４１と、第２取得ユニット９４２と、計算ユニット９４３と、記憶ユニット９４４とを有する。

【0059】

第１取得ユニット９４１は、画像を取得し、且つ画像に対応するテキスト特徴及び視覚特徴を取得する。第２取得ユニット９４２は、キーワード及びキーワードの関連画像を取得し、且つ関連画像のテキスト特徴及び視覚特徴を取得する。計算ユニット９４３は、画像の視覚特徴と関連画像の視覚特徴との関連性を計算することによりキーワードと画像との関連性を取得する。記憶ユニット９４４は、計算ユニット９４３が計算したキーワードと画像との関連性及びキーワードの関連画像と画像とのテキスト特徴の関連性に基づいてキーワードの関連画像集合を取得し、且つキーワードと関連画像集合との対応関係を記憶する。

【0060】

具体的には、第１取得ユニット９４１は、異なるユニフォームリソースロケータ（ＵＲＬ）における画像を取得し、且つ対応画像のタイトル、画像説明、サブリンク及びコンテキスト情報のうち少なくとも１つを取得すると同時に、取得した情報を対応するテキスト特徴の一部とすることができる。

【0061】

また、第１取得ユニット９４１は、光学文字認識（ＯＣＲ）技術を適用して対応画像における文字情報及びエンティティ情報等を認識し、且つ認識した情報を対応するテキスト特徴の一部にすることができる。

【0062】

上記のことから、画像のテキスト特徴は、対応画像のタイトル、画像説明、サブリンク、コンテキスト情報及び対応画像に含まれる文字及びエンティティ情報のうちの少なくとも１つを含むことができることが分かる。

【0063】

具体的には、第１取得ユニット９４１は、取得した各画像に対して、それを第１ベクトルに変換し、即ち第１ベクトルで対応する画像を表示することができる。また、第１ベクトルの次元は、Ｎ次元でもよい。第１ベクトルは、対応画像の視覚特徴の一部とされてもよい。

【0064】

同じように、第２取得ユニット９４２は、第１取得ユニット９４と同じ抽出方式を適用してキーワード関連画像のテキスト特徴を取得することができる。具体的な内容も対応画像のタイトル、画像説明、サブリンク、コンテキスト情報及び対応画像に含まれる文字及びエンティティ情報のうちの少なくとも１つである。

【0065】

また、第２取得ユニット９４２は、関連画像を対応する第２ベクトルに変換することができる。また、第１ベクトルと第２ベクトルとは同じ次元を有し、例えば、いずれもＮ次元である。

【0066】

具体的には、計算ユニット９４３は、画像の視覚特徴と関連画像の視覚特徴との関連性を計算することによりキーワードと画像との関連性を取得する。即ち第１ベクトルと第２ベクトルとの関連性を計算することによりキーワードと画像との関連性を取得する。

【0067】

説明すべきことは、キーワードと画像との関連性は、ただキーワードと関連画像集合との対応関係を構築する１つの指標であり、即ちキーワードと画像との関連性に基づくほかに、異なる画像のテキスト特徴間の関連性に基づいて関連画像集合を取得することもできる。このように、記憶したキーワードに関連する画像がより多く、全面的であり、且つ関連性が高いため、検索エンジンが後続的にユーザによりよい検索結果を提供することに有利である。

【0068】

更に、図１０に示すように、当該装置は、取得記憶モジュール９５を更に有していてもよい。当該取得記憶モジュール９５は、第２取得モジュール９２が画像に基づいて予め構築された材料情報バンクから現在のキーワードに関連する材料情報を取得する前に、画像及びそれに対応する文字情報を取得及び記憶し、画像及びそれに対応する文字情報を対応する材料情報に処理し、且つ画像及びそれに対応する材料情報を材料情報バンクに記憶する。

【0069】

具体的には、取得記憶モジュール９５は、インターネットにおける各ユニフォームリソースロケータ（ＵＲＬ）の画像、文字等の情報を取得及び記憶し、且つ取得した画像、文字等の情報を図像処理技術、文字処理技術によって単独的な画像セグメント、文字セグメント、画像エンティティ等に処理して、材料情報バンクを構築することができる。

【0070】

図９又は図１０に示すように、情報検索装置に基づいて、第２取得モジュール９２は、現在のキーワード及び構築記憶モジュール９４が構築したキーワードと関連画像集合との対応関係に基づいて現在のキーワードに関連する画像を取得し、且つ画像に基づいて取得記憶モジュール９５が記憶した材料情報バンクから現在のキーワードに関連する材料情報を取得することができる。

【0071】

第２取得モジュール９２が現在のキーワードに関連する材料情報を取得した後、合成モジュール９３は、画像合成技術によって取得した材料情報を画像に合成することができる。例えば、取得した画像とテキスト、画像と画像、テキストとテキストとを画像に合成することができ、合成例としては、具体的には図３から図７を参照することができる。

【0072】

合成後の画像にはより多い情報が含まれるため、合成後の画像の質及び情報量が大幅に向上され、従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。

【0073】

上記の情報検索装置は、第１取得モジュールによって現在のキーワードを取得し、第２取得モジュールによって現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。

【0074】

そして、合成モジュールによって材料情報を画像に合成し、合成された画像を検索結果ページに表示させることから、本実施形態において、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上させることができる。従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。

【0075】

上記の実施形態を実現するために、本発明は、記憶媒体を更に提供する。当該記憶媒体はアプリケーションプログラムを記憶し、当該アプリケーションプログラムは本発明の実施形態のいずれかに記載の情報検索方法を実行する。

【0076】

上記の実施形態を実現するために、本発明は、検索エンジンを更に提供する。当該検索エンジンは、少なくとも１つのプロセッサと、メモリと、少なくとも１つのモジュールとを有し、少なくとも１つのモジュールはメモリに記憶され、少なくとも１つのプロセッサにより実行されるとき、下記のことを行う。

【0077】

Ｓ１０１’：現在のキーワードを取得する。

【0078】

Ｓ１０２’：現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。

【0079】

Ｓ１０３’：材料情報を画像に合成し、合成された画像を検索結果ページに表示させる。

【0080】

本明細書の説明において、参照用語である「一実施形態」、「他の実施形態」、「一例」、「具体例」、又は「他の一例」等の説明は、実施形態や一例を結合して説明する具体的な特徴、構造、材料、又は特点が本発明の少なくとも１つの実施形態や一例に含まれることを意味する。

【0081】

本明細書において、上記の用語に対する黙示的な記述が必ずしも同じ実施形態や一例に対することではない。また、説明された具体的な特徴、構造、材料、又は特点は、任意の少なくとも１つの実施形態又は一例にて適当な方式で結合されることができる。
また、相互に矛盾しない状況で、当業者は本明細書にて説明される異なる実施形態や一例及び異なる実施形態や一例の特徴に対する結合及び組み合わせを行うことができる。

【0082】

また、用語である「第１」、「第２」は説明のためだけに用いられるものであり、比較的な重要性を指示又は暗示するとか、又は指示された技術特徴の数を含蓄的に指し示すと理解してはいけない。従って、「第１」、「第２」と限定された特徴は、少なくとも１つの当該特徴を明白に又は含蓄的に含むことができる。本発明の説明において、別途の説明がない限り、「複数」の意味は少なくとも２つであり、例えば、２つ、３つ等である。

【0083】

フローチャートまたは他の方式で説明したいかなる過程や方法は、少なくとも１つの、特定ロジック性能または過程のステップを実現するに用いられる実行できるコマンドのコードのモジュール、要素あるいは部分を含むと理解されることができ、且つ本発明の望ましい実施形態の範囲は、他の実現を含み、その中で、表示または討論の順序に従わなくてもよく、述べられた機能に基づいて基本的に同様な方式または逆の順序でその機能を実行することを含む。これは、本発明の実施形態における当業者に理解される。

【0084】

フローチャート中で表され、又はその他の方式で記述された論理及び／又はステップは、例えば、ロジック機能を実現するための命令実行可能な順序リストであると考えられて良い。具体的には、いかなるコンピュータ読取可能媒体にて実現されて、指令実行システム、装置、若しくは設備（例えばコンピュータに基づくシステム、プロセッサを有するシステム又は他の指令実行システム、装置又は設備から指令を取得して指令を実行することができるシステム等）に使用、又はこれらの指令実行システム、装置、若しくは設備を結合して使用されることができる。

【0085】

本明細書において、「コンピュータ読取可能媒体」は、プログラムを含み、保存し、通信し、伝播し又は伝送して、指令実行システム、装置若しくは設備又はこれらの指令実行システム、装置若しくは設備に使用されるいかなる装置、又はこれらの指令実行システム、装置若しくは設備を結合して使用される装置であってもよい。

【0086】

コンピュータ読取可能媒体の更なる具体例（非網羅的リスト）には、少なくとも１つの配線を有する電気接続部（電子装置）、ポータブル型コンピュータディスク（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、消去可能なプログラマブル読出専用メモリ（ＥＰＲＣＯＭ又はフラッシュメモリ）、光ファイバ、及びポータブル型コンパクト光ディスク読出専用メモリ（ＣＤＲＯＭ）が含まれる。

【0087】

また、コンピュータ読取可能媒体は、ひいては、その上に前記プログラムを印刷した紙又はその他の適当な媒体であってもよい。なぜなら、例えば、紙又はその他の媒体に対して光学スキャニングを行い、続いて編集、解釈又は必要の際、その他の適当な方式で処理を行って、電子方式によってプログラムを取得し、その後それをコンピュータメモリ中に保存することができるからである。

【0088】

理解すべきことは、本発明の各部分は、ハードウェア、ソフトウェア、ファームウエアまたはそれらの組み合わせで実現できる。上記の実施形態において、複数のステップまたは方法がメモリに記憶され、且つ適当なコマンド実行システムのソフトウェアまたはファームウエアで実現できる。

【0089】

例えば、ハードウェアで実現する場合、他の実施形態と同じように、本領域周知の下記の任意の１つまたはそれらの組み合わせで実現できる。すなわち、デジタル信号に対してロジック機能を実現するロジックゲート回路を有する離散ロジック回路、ロジックゲート回路を組み合わせた適当な専用ＩＣ、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などである。

【0090】

実施形態に係る方法における少なくとも一部のステップがプログラムにより関連のハードウェアを実行することで完成されることは、本技術領域の普通の技術者に理解される。プログラムは１つのコンピュータ読取可能媒体に記憶されることができる。当該プログラムを実行するとき、実施形態に係る方法のステップの１つまたはそれらの組み合わせを含む。

【0091】

この他、本発明の各実施形態における各機能ユニットは、１つの処理モジュールに集積され、または、各ユニットの単独的な物理存在であり、あるいは、少なくとも２つのユニットが１つのモジュールに集積されることができる。集積されたモジュールは、ハードウェアの形式、または、ソフトウェア機能モジュールの形式で実現できる。集積されたモジュールが、ソフトウェア機能モジュールの形式で実現され、且つ独立の製品として販売又は使用される場合、コンピュータ読取可能媒体に記憶されることができる。

【0092】

上記の記憶メディアは、読出専用メモリ、ディスク、またはＣＤなどであって可能である。本発明の実施形態を示して説明したが、当業者にとって理解できるのは、上記の実施形態は一例であり、本発明に対する限定と理解されるものではない。当業者は、本発明の範囲で上記の実施形態に対して変化、補正、置換及び変形を行うことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】