特許 7328636 情報検索方法、情報検索装置、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-08

(45)【発行日】2023-08-17

(54)【発明の名称】情報検索方法、情報検索装置、コンピュータプログラム

(51)【国際特許分類】

   G06F 16/903 20190101AFI20230809BHJP

   A61B 5/372 20210101ALI20230809BHJP

   A61B 5/377 20210101ALI20230809BHJP

   A61B 5/055 20060101ALI20230809BHJP

【ＦＩ】

G06F16/903

A61B5/372

A61B5/377

A61B5/055

【請求項の数】 9

(21)【出願番号】P 2019026363

(22)【出願日】2019-02-18

(65)【公開番号】P2020135268

(43)【公開日】2020-08-31

【審査請求日】2022-02-01

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人科学技術振興機構 戦略的創造研究推進事業「脳表現空間インタラクション技術の創出」委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】301022471

【氏名又は名称】国立研究開発法人情報通信研究機構

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】西本 伸志

(72)【発明者】

【氏名】▲柳▼澤 琢史

【審査官】吉田 誠

(56)【参考文献】

【文献】特開２０１４－１１５９１３（ＪＰ，Ａ）

【文献】特開２００８－２３４０３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００ － １６／９５８

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ５／３７２

Ａ６１Ｂ ５／３７７

(57)【特許請求の範囲】

【請求項1】

コンピュータが、検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索方法であって、
前記コンピュータが、前記検索者が前記所望する概念を想起しているときの該検索者の脳活動の入力を受け付ける脳活動入力工程と、
前記コンピュータが、前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、
前記コンピュータが、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、
前記コンピュータが、前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、
前記コンピュータが、前記概念検索工程において検索された情報を出力する出力工程と、を含む
ことを特徴とする情報検索方法。

【請求項2】

前記コンピュータが、事前に訓練用素材を前記検索者に提示することによって訓練用刺激を前記検索者に与え、該訓練用刺激が前記検索者に誘発する脳活動を計測する脳活動計測工程と、
前記コンピュータが、前記脳活動計測工程において計測された脳活動を誘発した前記訓練用素材の概念を表す前記概念空間上の特徴ベクトルと、前記訓練用刺激を与えられた前記検索者の脳活動の状態における特徴と、の関連性を学習した学習済モデルを作成する学習済モデル作成工程と、をさらに含み、
前記特徴ベクトル決定工程は、
前記コンピュータが、前記脳活動入力工程において入力された脳活動を前記概念空間上に投射した位置と、前記学習済モデルとに基づいて、該脳活動を投射した位置に対応する特徴ベクトルを決定する
ことを特徴とする請求項１に記載の情報検索方法。

【請求項3】

前記訓練用素材は、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を前記検索者に与えるものであり、
前記学習済モデル作成工程において、前記訓練用素材が前記検索者に与える前記訓練用刺激の種類毎に異なる概念空間を参照して、概念空間毎に前記学習済モデルを作成し、
前記訓練用刺激の種類毎に異なる概念空間の各々には識別情報が付与されており、
前記クエリ生成工程において、
前記コンピュータが、前記特徴ベクトル決定工程において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成し、
前記概念検索工程において、
前記コンピュータが、前記クエリに含まれている特徴ベクトルを該クエリに含まれている前記識別情報が付与された概念空間を参照して特定し、該特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する
ことを特徴とする請求項２に記載の情報検索方法。

【請求項4】

コンピュータが、検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索方法であって、
前記コンピュータが、前記所望の概念に対応する脳活動を入力する脳活動入力工程と、
前記コンピュータが、前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、
前記コンピュータが、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、
前記コンピュータが、前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、
前記コンピュータが、前記概念検索工程において検索された情報を出力する出力工程と、
前記コンピュータが、事前に訓練用素材を前記検索者に提示することによって訓練用刺激を前記検索者に与え、該訓練用刺激が前記検索者に誘発する脳活動を計測する脳活動計測工程と、
前記コンピュータが、前記脳活動計測工程において計測された脳活動を誘発した前記訓練用素材の概念を表す前記概念空間上の特徴ベクトルと、前記訓練用刺激を与えられた前記検索者の脳活動の状態における特徴と、の関連性を学習した学習済モデルを作成する学習済モデル作成工程と、を含み、
前記特徴ベクトル決定工程は、
前記コンピュータが、前記脳活動入力工程において入力された脳活動を前記概念空間上に投射した位置と、前記学習済モデルとに基づいて、該脳活動を投射した位置に対応する特徴ベクトルを決定し、
前記訓練用素材は、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を前記検索者に与えるものであり、
前記コンピュータが、前記学習済モデル作成工程において、前記訓練用素材が前記検索者に与える前記訓練用刺激の種類毎に異なる概念空間を参照して、概念空間毎に前記学習済モデルを作成し、
前記訓練用刺激の種類毎に異なる概念空間の各々には識別情報が付与されており、
前記クエリ生成工程において、
前記コンピュータが、前記特徴ベクトル決定工程において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成し、
前記概念検索工程において、
前記コンピュータが、前記クエリに含まれている特徴ベクトルを該クエリに含まれている前記識別情報が付与された概念空間を参照して特定し、該特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する
ことを特徴とする情報検索方法。

【請求項5】

前記出力工程において出力される検索結果には、前記識別情報または該識別情報が付与された概念空間を示す情報が含まれる
ことを特徴とする請求項３または４に記載の情報検索方法。

【請求項6】

検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索装置であって、
前記検索者が前記所望する概念を想起しているときの該検索者の脳活動の入力を受け付ける脳活動入力部と、
前記脳活動を、前記検索対象の情報群に含まれる各概念を、所定の学習モデルを用いて概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定部と、
前記特徴ベクトル決定部が決定した特徴ベクトルを含むクエリを生成するクエリ生成部と、
前記クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する検索実行部と、
前記検索実行部が検索した情報を出力する検索結果出力部と、を備える
ことを特徴とする情報検索装置。

【請求項7】

検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索装置であって、
前記所望の概念に対応する脳活動を入力する脳活動入力部と、
前記脳活動を、前記検索対象の情報群に含まれる各概念を、所定の学習モデルを用いて概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定部と、
前記特徴ベクトル決定部が決定した特徴ベクトルを含むクエリを生成するクエリ生成部と、
前記クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する検索実行部と、
前記検索実行部が検索した情報を出力する検索結果出力部と、
事前に訓練用素材を前記検索者に提示することによって訓練用刺激を前記検索者に与え、該訓練用刺激が前記検索者に誘発する脳活動を計測する脳活動計測部と、
前記脳活動計測部において計測された脳活動を誘発した前記訓練用素材の概念を表す概念空間上の特徴ベクトルと、前記訓練用刺激を与えられた前記検索者の脳活動の状態における特徴と、の関連性を学習した学習済モデルを作成する処理部と、を備え、
前記特徴ベクトル決定部は、
前記脳活動入力部において入力された脳活動を前記概念空間上に投射した位置と、
前記学習済モデルと、に基づいて、該脳活動を投射した位置に対応する特徴ベクトルを決定し、
前記訓練用素材は、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を前記検索者に与えるものであり、
前記処理部は、前記訓練用素材が前記検索者に与える前記訓練用刺激の種類毎に異なる概念空間を参照して、概念空間毎に前記学習済モデルを作成し、
前記訓練用刺激の種類毎に異なる概念空間の各々には識別情報が付与されており、
前記クエリ生成部は、
前記特徴ベクトル決定部において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、前記特徴ベクトル決定部において決定した特徴ベクトルを含むクエリを生成し、
前記検索実行部は、
前記クエリに含まれている特徴ベクトルを該クエリに含まれている前記識別情報が付与された概念空間を参照して特定し、該特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する
ことを特徴とする情報検索装置。

【請求項8】

検索者が所望する概念を含む情報を、検索対象の情報群から検索するための処理をコンピュータに実行させるためのコンピュータプログラムであって、
前記処理は、
前記検索者が前記所望する概念を想起しているときの該検索者の脳活動の入力を受け付ける脳活動入力工程と、
前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記検索対象の情報群に含まれる各概念を概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、
前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、
前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、
前記概念検索工程において検索された情報を出力する出力工程と、を含む、
ことを特徴とするコンピュータプログラム。

【請求項9】

検索者が所望する概念を含む情報を、検索対象の情報群から検索するための処理をコンピュータに実行させるためのコンピュータプログラムであって、
前記処理は、
所望の概念に対応する脳活動を入力する脳活動入力工程と、
前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記検索対象の情報群に含まれる各概念を概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、
前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、
前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、
前記概念検索工程において検索された情報を出力する出力工程と、
事前に訓練用素材を前記検索者に提示することによって訓練用刺激を前記検索者に与え、該訓練用刺激が前記検索者に誘発する脳活動を計測する脳活動計測工程と、
前記脳活動計測工程において計測された脳活動を誘発した前記訓練用素材の概念を表す前記概念空間上の特徴ベクトルと、前記訓練用刺激を与えられた前記検索者の脳活動の状態における特徴と、の関連性を学習した学習済モデルを作成する学習済モデル作成工程と、を含み、
前記特徴ベクトル決定工程は、
前記脳活動入力工程において入力された脳活動を前記概念空間上に投射した位置と、
前記学習済モデルとに基づいて、該脳活動を投射した位置に対応する特徴ベクトルを決定し、
前記訓練用素材は、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を前記検索者に与えるものであり、
前記学習済モデル作成工程において、前記訓練用素材が前記検索者に与える前記訓練用刺激の種類毎に異なる概念空間を参照して、概念空間毎に前記学習済モデルを作成し、
前記訓練用刺激の種類毎に異なる概念空間の各々には識別情報が付与されており、
前記クエリ生成工程において、
前記特徴ベクトル決定工程において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成し、
前記概念検索工程において、
前記クエリに含まれている特徴ベクトルを該クエリに含まれている前記識別情報が付与された概念空間を参照して特定し、該特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報を検索する情報検索装置および情報検索方法などに関する。

【背景技術】

【0002】

インターネットなどの普及によって、日々生成・蓄積されている大量かつ多様な様式（例えば、文書、地図、画像、および動画など）の情報を利用することが可能である。このような状況においては、蓄積した膨大な情報の中から所望の情報を効率的に検索するための情報検索技術が必要不可欠である。

【0003】

近年、多様な情報を意味空間（「概念空間」とも呼称される）における座標点として表現する手法が考案されている（例えば、非特許文献１参照）。ここで、意味空間とは、多様な概念を連続量として扱うことが可能な空間である。この手法によれば、各情報はそれぞれ、意味空間上の原点と当該情報を表す座標点とによって定義される特徴ベクトルとして表される。そして、情報間の差異は、意味空間における距離（または内積）として評価される。意味空間における情報間の距離を利用して、各情報の概念的な類似性に基づいた検索を実現する技術も提唱されている。この情報検索技術は、「セマンティック検索」あるいは「概念検索」と呼称されている。

【0004】

一方、特許文献１に開示されている技術では、訓練用素材に関する自然言語記述の意味空間上の表象と、該訓練用素材を視聴する被験者の脳において誘発される脳活動の計測結果とを、該意味空間上において関係付けている。特許文献１にて用いられている意味空間は、コーパス等の大規模データベースを用いて構築されたものであり、訓練用素材に関する自然言語を用いた記述に現れる単語の意味的関係を記述可能な意味空間である。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１９５７１６号公報（２０１６年１１月２４日公開）

【非特許文献】

【0006】

【文献】Giunchiglia F. et al., “Concept Search.”, In: Aroyo L. et al.(eds) “The Semantic Web; Research and Applications.”, ESWC, Lecture Notes in Computer Science，vol. 5554, Springer, p.429-444，2009

【発明の概要】

【発明が解決しようとする課題】

【0007】

検索者が想起している抽象的な概念などを検索する場合、当該概念を言語化したキーワード（検索クエリ）を、タイピングまたは音声により入力することによって検索が実行されている。しかし、すべてのイメージが言語化できるとは限らず、言語化できないものであれば、適切な検索を実行することができない。

【0008】

例えば、特許文献１に開示されている技術によれば、被験者の脳において誘発される脳活動の計測結果から、自然言語を用いた記述に現れる単語の意味的関係を介して推定することは可能である。しかし、その推定結果は、自然言語を用いた記述に現れる単語の意味的関係に基づくものであり、言語化が困難な概念（例えば、自然言語では正確に表現し得ない映像、匂い、味など）を対象とした検索を適切に行うことができないという点でさらなる工夫の余地があった。また、抽象的な概念を言語化するときに使用可能な単語数は有限であり、適当な単語が存在しない場合には、抽象的な概念を正確に記述することができず、という点でも改善の余地があった。

【0009】

本発明の一態様は、言語化が困難な概念を対象とした検索を適切に行うことが可能な情報検索方法および情報検索装置などを実現することを目的とする。

【課題を解決するための手段】

【0010】

上記の課題を解決するために、本発明の一態様に係る情報検索方法は、検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索方法であって、前記所望の概念に対応する脳活動を入力する脳活動入力工程と、前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、前記概念検索工程において検索された情報を出力する出力工程と、を含んでいる。

【0011】

上記の構成によれば、所望の概念を想起したときの検索者の脳活動を、所定の学習モデルを用いて概念空間上に投射した位置に対応する特徴ベクトルを決定し、該特徴ベクトルを含むクエリを生成し、該クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトに関連付けられている概念を含む情報を、検索対象の情報群から検索する。これにより、言語化が困難な概念、および忠実に言語化することが不可能な概念を対象とした検索を実行することができる。

【0012】

事前に訓練用素材を前記検索者に提示することによって訓練用刺激を前記検索者に与え、該訓練用刺激が前記検索者に誘発する脳活動を計測する脳活動計測工程と、前記脳活動計測工程において計測された脳活動を誘発した前記訓練用素材の概念を表す前記概念空間上の特徴ベクトルと、前記訓練用刺激を与えられた前記検索者の脳活動の状態における特徴と、の関連性を学習した学習済モデルを作成する学習済モデル作成工程と、をさらに含み、前記特徴ベクトル決定工程は、前記脳活動入力工程において入力された脳活動を前記概念空間上に投射した位置と、前記学習済モデルとに基づいて、該脳活動を投射した位置に対応する特徴ベクトルを決定してもよい。

【0013】

このように構成すれば、検索者が想起している概念を概念空間上の特徴ベクトルとして正確に対応付けることができる。

【0014】

前記訓練用素材は、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を前記検索者に与えるものであり、前記学習済モデル作成工程において、前記訓練用素材が前記検索者に与える前記訓練用刺激の種類毎に異なる概念空間を参照して、概念空間毎に前記学習済モデルを作成し、前記訓練用刺激の種類毎に異なる概念空間の各々には識別情報が付与されており、前記クエリ生成工程において、前記特徴ベクトル決定工程において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成し、前記概念検索工程において、前記クエリに含まれている特徴ベクトルを該クエリに含まれている前記識別情報が付与された概念空間を参照して特定し、該特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索してもよい。

【0015】

上記の構成によれば、視覚、嗅覚、味覚、聴覚、触覚などに関連する概念を、複数の概念空間上の特徴ベクトルとして対応付けることができる。これにより、言語化が困難な映像、匂い、味、音楽、感触などの概念を、複数の観点から解釈した場合の検索結果を出力することができる。

【0016】

前記出力工程において出力される検索結果には、前記識別情報または該識別情報が付与された概念空間を示す情報が含まれてもよい。

【0017】

これにより、出力した検索結果が、どの概念空間を参照して検索された検索結果であるかを検索者に知らせることができる。

【0018】

上記の課題を解決するために、本発明の一態様に係る情報検索装置は、検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索装置であって、前記所望の概念に対応する脳活動を入力する脳活動入力部と、前記脳活動を、前記検索対象の情報群に含まれる各概念を、所定の学習モデルを用いて前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定部と、前記特徴ベクトル決定部が決定した特徴ベクトルを含むクエリを生成するクエリ生成部と、前記クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する検索実行部と、前記検索実行部が検索した情報を出力する検索結果出力部と、を備える。上記の構成によれば、情報検索方法と同様の効果を奏する。

【0019】

上記の課題を解決するために、本発明の一態様に係るコンピュータプログラムは、検索者が所望する概念を含む情報を、検索対象の情報群から検索するための処理をコンピュータに実行させるためのコンピュータプログラムであって、前記処理は、前記所望の概念に対応する脳活動を入力する脳活動入力工程と、前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記検索対象の情報群に含まれる各概念を前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、前記概念検索工程において検索された情報を出力する出力工程と、を含んでいる。上記の構成によれば、上記情報検索方法と同様の効果を奏する。

【0020】

また、上記コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の技術的範囲に含まれる。

【発明の効果】

【0021】

本発明の一態様によれば、言語化が困難な概念を対象とした検索を適切に行うことができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る情報検索装置の構成例を示す機能ブロック図である。

【図2】本発明の一態様に係る情報検索方法の概要を示す概念図である。

【図3】脳活動デコーディングおよび概念検索処理の流れの一例を示すフローチャートである。

【図4】（ａ）は検索対象データベースの準備のための処理の流れの一例を示すフローチャートであり、（ｂ）は脳活動デコーダの準備のための処理の流れの一例を示すフローチャートである。

【図5】（ａ）は情報検索装置を用いてウェブサイト情報を検索する場合の構成例を示す図であり、（ｂ）は通信端末と検索サービス提供装置とによってウェブサイト情報を検索する情報検索システムの構成例を示す図である。

【発明を実施するための形態】

【0023】

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

【0024】

（情報検索方法の概略および効果）
まず、本発明の一実施形態に係る情報検索方法の概要を、図２を用いて説明する。図２は、本発明の一態様に係る情報検索方法の概要を示す概念図である。この情報検索方法では、検索者が検索を所望する任意の概念を想起しているときの脳活動から、概念空間上の特徴ベクトルを決定し、決定した該特徴ベクトルから情報検索用のクエリを生成する。これにより、概念空間上の特徴ベクトルを、言語化することなく情報検索のための検索用のクエリとして利用した概念検索が可能となる。

【0025】

この情報検索方法は、図２において破線で示されているように、脳活動デコーディングと概念検索処理とで構成される。脳活動デコーディングは、検索者が想起している概念を概念空間上の特徴ベクトルとして出力する処理であり、概念検索処理は、特徴ベクトルをクエリとして受け付けて検索を行う処理である。脳活動デコーディングには、学習１および学習２というモデル学習処理が含まれている。なお、学習１および学習２は、コンピュータを用いて行われる。

【0026】

〔脳活動デコーディング〕
学習１
まず、訓練用素材を、深層ニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、オートエンコーダ（auto encoder）、リカレントニューラルネットワーク（ＲＮＮ）、ＬＳＴＭ（Long Short-Term Memory）などのニューラルネットワークモデル、もしくは運動エネルギーモデルや自然言語処理モデルなどの任意の特徴抽出アルゴリズムを用いて、所定の次元（例えば、３００次元）の概念空間上の位置を示す特徴ベクトルと対応付ける。これにより、概念空間上の特徴ベクトル（座標）をクエリとして概念検索処理を実行したときに、該特徴ベクトルと類似した特徴ベクトルと関連付けられた訓練用素材を検索することが可能となる。ここで訓練用素材としては、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を検索者に与えるものであればよい。訓練用素材としては、例えば、動画、画像、音楽、音声、香りの標本、文章、色の標本などであってもよい。

【0027】

なお、訓練用素材と同様に、予め所定の次元（例えば、３００次元）の概念空間上の特徴ベクトルと対応付けることによって、任意の情報を本発明に係る情報検索方法における検索対象とすることができる。

【0028】

検索対象は、例えば、以下のように準備され得る。
・文書情報を検索対象とする場合、ウィキペディア（Wikipedia）に公開されている１００万項目のそれぞれを、ＬＳＴＭを用いて２００次元の特徴空間上の特徴ベクトルと対応付ける。
・動画情報を検索対象とする場合、ユーチューブ（YouTube（登録商標））に投稿されている１００万本の動画のそれぞれを、ＣＮＮを用いて３００次元の特徴空間上の特徴ベクトルと対応付ける。
・香りの情報を検索対象とする場合、例えばSuperScent（http://bioinf-services.charite.de/superscent/）などのデータベースに登録されている約２０００種類の匂いのそれぞれについて、その分子構造、化学式、および知覚情報を、オートエンコーダを用いて１００次元の特徴空間上の特徴ベクトルと対応付ける。

【0029】

ここで、上記のように、検索対象によって、使うベクトル化手法を選択することができる。具体的には、検索対象が時系列データであればＬＳＴＭ等のRecurrent Neural Network系列のモデルを、画像データであればＣＮＮ等のDeep Neural Networkを、教師信号が必ずしもないサンプルであればオートエンコーダを使うことが考えられる。ただし、上記の組み合わせはあくまで利用例の一つであり、他のベクトル化手法が使えないわけではない。原理的には任意のデータについて、ほぼ任意のベクトル化手法が適用可能である。

【0030】

学習２
次に、事前に訓練用素材を検索者に提示することによって訓練用刺激を検索者に与え、該訓練用刺激が検索者に誘発する脳活動を計測する。与えられた訓練用刺激に応じて、検索者の脳Ｂの神経細胞の発火パターンや、単数または複数の特定領域での活動パターンに変化が生じる。

【0031】

脳活動は、機能的磁気共鳴画像装置（ｆＭＲＩ：functional Magnetic Resonance Imaging）および皮質脳波（Electro-Cortico-Graphy：ＥＣｏＧ）を計測する脳神経活動検出装置などによって計測する。なお、これに限定されるものではなく、検索者の脳Ｂの神経細胞の発火パターンおよび脳活動パターンの変化が計測できるものであればよく、ｆＭＲＩおよびＥＣｏＧに限定されない。また、全脳における脳活動を計測することが望ましいが、脳Ｂの特定領域（例えば、視覚野、聴覚野、および、連合野など）における脳活動を計測してもよい。

【0032】

学習２では、検索者の全脳における脳活動の計測結果を所定数以上（例えば、８０００）収集し、検索者に提供された訓練用素材の概念を表す概念空間上の特徴ベクトル（すなわち、学習１において対応付けられた特徴ベクトル）と、検索者の脳活動を概念空間上に投射した位置に対応する特徴ベクトルと、の関連性を学習した学習済モデルを作成する。この学習済モデルの作成には、Ｌ２正則化（リッジ正則化）付きの線形回帰モデル（所定の学習モデル）が適用され得る。

【0033】

脳デコーダの構築は、例えば、以下のように行われる。

【0034】

・１時間分のユーチューブ動画を訓練用素材として検索者に視聴させ、視聴中の検索者の脳Ｂにおける脳活動を、ｆＭＲＩを用いて、２ｍｍ角の解像度で１秒ごとに全脳スキャンを行う。このようにして計測することにより、全脳からおよそ８万ボクセルの空間情報が得られる。このようにして得られた空間情報について、検索者に視聴させた動画と対応した特徴空間との対応関係を、Ｌ２正則化付き線形回帰モデル（所定の学習モデル）を用いて学習する。

【0035】

・１００種類の匂い標本を体験中の検索者の脳Ｂにおける脳活動について、大脳皮質および脳底部に設置したＥＣｏＧおよび刺入電極（８０チャネル）で記録する。このようにして得られた皮質脳波について、検索者に体験させた匂い標本と対応した特徴空間との対応関係を、ＤＮＮ（所定の学習モデル）を用いて学習する。

【0036】

ここで、上記のように、サンプルの特性によって、使うモデル学習の手法を選択することができる。具体的には、線形回帰に近い形で関連付けが可能と推定される、あるいはサンプルに限りがある場合は（正則化付き）線形回帰を、より高度な非線形性が予想され、またサンプルが一定以上集められそうな場合はＤＮＮの利用が最適である。ただし、上記の組み合わせはあくまで利用例の一つであり、他のモデル学習の手法が使えないわけではない。

【0037】

〔概念検索処理〕
検索者が検索を所望する概念を脳内で想起しているときの脳活動を、学習済の脳デコーディングを適用して解析し、検索者が想起している概念に対応した３００次元の特徴ベクトルを得る。得られた特徴ベクトルをクエリとして概念検索処理を実行する。

【0038】

このような情報検索方法を適用すれば、以下に示すような概念検索が可能となる。
・検索者が、映画のあるシーンの映像を視聴したり、想起したりすれば、当該シーンを含む映画に関する情報を検索結果として得ることができる。
・検索者が、過去に嗅いだ匂いを想起すれば、たとえ当該匂いが言葉では形容できない匂いであったとしても、その匂いを発する物質の候補を標本の中から検索することができる。
・検索者が、過去に味わった味を想起すれば、たとえ当該味が言葉では形容できない匂いであったとしても、その味の料理に関する情報を検索結果として得ることができる。
・検索者が、楽曲のメロディーを視聴したり、想起したりすれば、たとえ当該メロディーの楽曲を提供したアーティストやその楽曲名を思い出せなかったとしても、その楽曲に関する情報を検索結果として得ることができる。

【0039】

（情報検索装置１０の構成）
続いて、図２において示した情報検索方法を実行する情報検索装置１０の構成について図１を用いて説明する。図１は、一態様に係る情報検索装置１０の概略構成の一例を示す図である。情報検索装置１０は、脳活動計測部３１（脳活動入力部）、制御部１、記憶部２、および検索結果出力部４２を備えている。制御部１は、脳活動解析部３２、特徴ベクトル決定部３３、クエリ生成部３４、および検索実行部４１を備えている。記憶部２は、概念空間データベース２１および検索対象データベース２２を備えている。

【0040】

脳活動計測部３１、脳活動解析部３２、および特徴ベクトル決定部３３は、脳活動デコーダ部３０を構成し、検索実行部４１および検索結果出力部４２は、概念検索エンジン部４０を構成する。

【0041】

脳活動計測部３１は、検索者の脳Ｂの脳活動（脳神経活動とも呼称される）を計測する。具体的には、脳活動計測部３１は、訓練用素材を検索者に提示することによって訓練用刺激を検索者に与えたときに、訓練用刺激が検索者に誘発する脳活動を計測する。また、脳活動計測部３１は、検索者が所望の概念を想起しているときの脳活動を計測する。脳活動計測部３１は、脳Ｂの神経細胞の発火パターンや、単数または複数の特定領域での活動変化を示す信号を検出可能であればよく、例えば、機能的磁気共鳴画像装置（ｆＭＲＩ：functional Magnetic Resonance Imaging）、および皮質脳波（Electro-Cortico-Graphy：ＥＣｏＧ）を計測する脳神経活動検出装置などであってもよい。なお、検索者の身体への負担を考慮すれば、ｆＭＲＩがより望ましい。

【0042】

脳活動解析部３２は、計測された信号に基づいて脳活動を解析する。例えば、脳活動計測部３１としてｆＭＲＩを適用した場合、全脳Ｂの脳活動を３次元的に高解像度（例えば２ｍｍ角）で撮像し、連続的に（例えば、３時間）記録することが可能である。脳活動解析部３２は、このようにして得られた画像における、脳活動の経時変動パターンおよび局在パターンなどを解析する。

【0043】

特徴ベクトル決定部３３は、計測された脳活動を、所定の学習モデルを用いて概念空間データベース２１に格納されている概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する。ここで、概念空間とは、検索対象データベース２２に格納された情報群に含まれる各概念を仮想的空間上の特徴ベクトルとして表現可能な空間である。

【0044】

クエリ生成部３４は、特徴ベクトル決定部３３が決定した特徴ベクトルを含むクエリを生成する。

【0045】

検索実行部４１は、概念空間を参照して、クエリ生成部３４が生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、検索対象データベース２２から検索する。

【0046】

検索結果出力部４２は、検索実行部４１が検索した情報を検索結果として出力する。検索結果を出力する態様には特に限定されない。例えば、検索結果をディスプレイに表示する場合、検索結果出力部４２は、ディスプレイおよび表示制御部を備える構成であればよい。

【0047】

なお、情報検索装置１０が、ネットワーク９０上のウェブサイト情報検索対象とする場合（図５の（ａ）参照）、情報検索装置１０が通信部（図示せず）を備え、ウェブサイト情報を、ネットワーク９０を介して収集し、検索対象データベース２２に記憶する構成であってもよい。

【0048】

上記の構成によれば、所望の概念を想起しているときの検索者の脳活動を概念空間上に投射し、該脳活動を投射した位置に対応する特徴ベクトルを決定する。そして、決定した特徴ベクトルを含むクエリを生成し、該クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、検索対象の情報群から検索する。このように構成すれば、言語化が困難な概念、および忠実に言語化することが不可能な概念を対象とした検索を実行することができる。本発明に係る情報検索方法は検索したい概念を言語化しないため、検索者は、検索したい概念の言語化に悩む必要が無い。また、いかなる母国語の検索者に対しても適用可能である。

【0049】

（概念検索処理）
次に、概念検索処理における処理の流れについて図３および図４を用いて説明する。図３は、脳活動デコーディングおよび概念検索処理の流れの一例を示すフローチャートである。また、図４の（ａ）は、検索対象データベースの準備のための処理の流れの一例を示すフローチャートであり、図４の（ｂ）は、脳活動デコーダのための準備処理の流れの一例を示すフローチャートである。

【0050】

事前に、検索対象データベース２２を準備する（ステップＳ１００：検索対象準備工程）。この工程は、図２の学習１に相当する。具体的には、検索対象となる情報に概念空間上の特徴ベクトルを対応付けて（図４のステップＳ１０１）、検索対象の各情報を検索対象データベース２２に格納する。この工程は、例えば汎用のパーソナルコンピュータを用いて行われてもよい。

【0051】

ステップＳ１００と同様に、事前に、脳活動デコーダを準備する（ステップＳ１１０）。具体的には、まず、訓練用素材に、概念空間上の特徴ベクトルを対応付ける（図４のステップＳ１１１）。この工程は、図２の学習１に相当する。次に、訓練用素材を検索者に提示し、訓練用素材が検索者に誘発する脳活動を計測する（図４のステップＳ１１２：脳活動計測工程（第２脳活動計測工程））。訓練用素材の概念を示す概念空間上の特徴ベクトルと、検索者の脳活動を概念空間上に投射した位置に対応する特徴ベクトルとの関連性を学習した学習済モデルを作成し、概念空間データベース２１に記憶する（図４のステップＳ１１３：学習済モデル作成工程）。これらの工程は、図２の学習２に相当する。なお、ステップＳ１００の工程と同様、ステップＳ１１０の工程は、例えば汎用のコンピュータを用いて行われてもよい。その場合、は、概念空間データベース２１および検索対象データベース２２を、ステップＳ１００およびステップＳ１１０の工程を実行したコンピュータから取得すればよい。

【0052】

ステップＳ１００およびステップＳ１１０が完了した後、以下のステップＳ１～Ｓ７の各工程を行う。

【0053】

まず、ステップＳ１において、脳活動計測部３１は、検索者が所望の概念を想起しているときの脳活動を計測する（脳活動入力工程（第１脳活動計測工程））。なお、検索時に入力とする脳活動には、このように検索時に計測したものを用いてもよいが、あらかじめ作成しておいたものを用いてもよい。また、検索時に入力とする脳活動は、計測された脳活動データ自体でもよく、脳活動データから抽出した特徴量等の脳活動の加工データでもよい。

【0054】

続いて、ステップＳ２において、脳活動解析部３２は脳活動を解析する。ステップＳ３において、特徴ベクトル決定部３３は、ステップＳ１において計測された脳活動を概念空間上に投射して、該脳活動を投射した位置に対応する概念空間上の特徴ベクトルを決定する（特徴ベクトル決定工程）。

【0055】

次に、ステップＳ４において、クエリ生成部３４は、ステップＳ２において特徴ベクトル決定部３３が決定した特徴ベクトルを含むクエリを生成し、概念検索エンジン部４０の検索実行部４１に出力する（クエリ生成工程）。なお、クエリ生成部３４は、ステップＳ３において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、ステップＳ３において決定した特徴ベクトルを含むクエリを生成してもよい。

【0056】

次に、ステップＳ５において、検索実行部４１は、特徴ベクトルの入力を受け付ける（ステップＳ５）。ステップＳ６において、検索実行部４１は、クエリに含まれる特徴ベクトルと一致する（および近い）特徴ベクトルに関連付けられた概念を検索する（概念検索工程）。

【0057】

次に、ステップＳ７において、検索結果出力部４２は、検索結果を出力する（出力工程）。

【0058】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0059】

インターネット上に存在する各種のウェブサイト情報を検索対象とする場合、例えば、図５に示すような構成とすればよい。図５の（ａ）は、情報検索装置１０を用いてウェブサイト情報を検索する場合の構成例を示す図である。

【0060】

図５の（ａ）に示す情報検索装置１０は、ネットワーク９０を介して、ウェブサイトＡ８０ａ、ウェブサイトＢ８０ｂ、・・・のウェブサイト情報にアクセスすることが可能である。

【0061】

情報検索装置１０は、ネットワークを介して、ウェブサイトＡ８０ａ、ウェブサイトＢ８０ｂ、・・・のウェブサイト情報を、モデル学習の手法を用いて特徴空間上の特徴ベクトルと対応付けて、検索対象データベース２２に記憶している。

【0062】

あるいは、情報検索装置１０の機能を分散させた情報検索システム１００が、ウェブサイト情報を検索対象とする概念検索を実行する構成であってもよい。図５の（ｂ）は、通信端末３００と検索サービス提供装置４００とによってウェブサイト情報を検索する情報検索システム１００の構成例を示す図である。

【0063】

情報検索システム１００は、ネットワーク９０に接続している検索サービス提供装置４００と、同様にネットワーク９０に接続しており、検索サービス提供装置４００と通信可能に接続されている通信端末３００とを備えている。なお、通信端末３００はネットワーク９０に接続していなくてもよく、例えば、検索サービス提供装置４００と接続可能であればよい。

【0064】

通信端末３００は、クエリ生成部３４、概念空間データベース２１、および脳活動デコーダ部３０が決定した特徴ベクトルから生成したクエリを検索サービス提供装置４００に送信する通信部３１０を備えている。

【0065】

一方、検索サービス提供装置４００は、検索を実行する概念検索エンジン部４０、通信部４１０、概念空間データベース２１、およびウェブサイトインデックス２２０を備えている。

【0066】

ここで、通信端末３００および検索サービス提供装置４００はともに、共通の概念空間データベース２１を備えている。これにより、通信端末３００からのクエリに対して、同じ概念空間上の特徴ベクトルと対応付けられた概念に基づく検索を実行することができる。

【0067】

なお、情報検索システム１００に含まれる検索サービス提供装置４００の数、および通信端末３００の数は、図５の（ｂ）に示す例に限定されない。すなわち、検索サービス提供装置４００は、複数の通信端末３００からのクエリを受信して、各通信端末３００からクエリのそれぞれに対して検索結果を送信する構成であってもよい。あるいは、検索サービス提供装置４００が複数存在しており、通信端末３００からのクエリの種別および分野に応じて、異なる検索サービス提供装置４００が検索を行う構成であってもよい。

【0068】

本発明に係る情報検索システムをこのように構成すれば、ウェブサイト情報を検索対象とすることが可能となる。

【0069】

〔ソフトウェアによる実現例〕
情報検索装置１０の制御ブロック（特に脳活動解析部３２、特徴ベクトル決定部３３、クエリ生成部３４、および検索実行部４１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0070】

後者の場合、情報検索装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0071】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0072】

１ 制御部
２ 記憶部
１０ 情報検索装置
２１ 概念空間データベース（概念空間、学習済モデル）
２２ 検索対象データベース（検索対象の情報群）
３０ 脳活動デコーダ部
３１ 脳活動計測部（脳活動入力部）
３２ 脳活動解析部
３３ 特徴ベクトル決定部
３４ クエリ生成部
４１ 検索実行部
４２ 検索結果出力部
４０ 概念検索エンジン部
９０ インターネット
２２０ ウェブサイトインデックス（検索対象の情報群）
３００ 通信端末
４００ 検索サービス提供装置

【図1】

【図2】

【図3】

【図4】

【図5】