(58)【調査した分野】(Int.Cl.,DB名)
前記質問を表示し使用者から前記質問に対する回答を得る手順、及び、前記回答に基づき語句候補の絞込みを行う手順、を複数回繰り返す請求項1記載の思い出し支援用プログラム。
前記質問を表示し使用者から前記質問に対する回答を得る手順は、回答によって得られる情報量データの期待値データが最大となるよう質問データを選択し質問を表示する請求項1記載の思い出し支援用プログラム。
前記回答に基づき語句候補の絞込みを行う手順は、前記回答データに基づき、前記複数の語句候補データそれぞれに記録される確率データを修正して、前記語句候補の絞込みを行う請求項1記載の思い出し支援用プログラム。
前記質問を表示し使用者から前記質問に対する回答を得る手順は、使用者を特定するための使用者データと、前記使用者データに対応して記録される正答率データを用いて、回答によって得られる情報量データの期待値データが最大となるよう質問データを選択し質問を表示する請求項1記載の思い出し支援用プログラム。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施形態について図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下の実施形態、実施例にて具体的に示す例示にのみ限定されるものではない。
【0015】
図1は、本実施形態に係る思い出し支援方法(以下「本方法」ともいう。)のフローを示す図である。本図で示すように、本方法は、(1)質問を表示し前記質問に対する回答を得る手順(S1)、(2)前記回答に基づき語句候補の絞込みを行う手順(S2)、(3)使用者の持つ概念に対応する語句候補を表示させる手順(S3)と、を含む。
【0016】
本方法は、限定されるわけではないが、いわゆるパーソナルコンピュータ、スマートフォンといった携帯端末等の情報処理装置を用いて実現可能である。より具体的には、情報処理装置のハードディスク等の記録媒体に本方法を実現するためのプログラムを記録し、このプログラムを実行することで実現できる。
【0017】
すなわち、本方法は、コンピュータに、(1)質問を表示し前記質問に対する回答を得る手順(S1)、(2)前記回答に基づき語句候補の絞込みを行う手順(S2)、(3)使用者の持つ概念に対応する語句候補を表示させる手順(S3)、を実行させるための思い出し支援プログラムを情報処理装置の記録媒体に記録し、このプログラムを実行することで実現可能である。
【0018】
また、本方法を使用する情報処理装置(以下「本装置」ともいう。)は、思い出し支援装置として機能する。具体的には、(1)質問を表示する質問表示部、(2)質問に対する回答を入力する回答入力部、(3)回答に基づき語句候補の絞り込みを行う語句候補絞込部、(4)使用者の持つ概念に対応する語句候補を表示させる語句候補表示部、を備える思い出し支援装置となる。
【0019】
以下、本実施形態では、情報処理装置の記録媒体に上記プログラムを記録し、これを実行することによって本方法を実現する例として説明する。
【0020】
まず、本方法では(1)質問を表示し質問に対する回答を得る手順(S1)を有する。ここで「質問」は、使用者の持つ概念に対応する語句候補を絞り込むために行う有用なものであって、使用者は、この質問に答えていくことで語句候補を絞り込んでいくことができるようになる。この手順を実行した場合における情報処理装置の表示の例について
図2に示しておく。本図は、質問を表示する質問表示部と、質問に対する回答を入力する回答入力部を備えている状態の図となっている。
【0021】
本手順において「質問」は、限定されるわけではないが、情報処理装置に設けられるディスプレイ装置に表示され、使用者に情報として提示される。より具体的に説明すると、予めハードディスク等の記録媒体に多数の質問データが記録されており、所定の手順によって質問データが選択され、その質問データの内容がディスプレイ装置に表示される。なお、質問データは、情報処理装置の記録媒体に多数記録されて質問データベースを構成している。なお、質問データベースの構成は、実質的に質問データを複数備えることができることができる限りにおいて下記の例に限定されず、動的に作成しておき、必要に応じて計算によって質問データを作成するデータベース構成としてもよい。
【0022】
ここで「質問データ」は、質問を表示することができる限りにおいて限定されるわけではないが、「質問識別データ」、「質問内容データ」、「選択肢データ」、「質問項目データ」、「質問音声データ」を含む。
【0023】
「質問識別データ」は、質問を他の質問と区別するために用いられる識別情報を含むデータであり、例えば質問の番号であってもよく、後述する質問の属する項目に関する情報であってもよい。なお、質問データに含まれる他のデータによって他の質問データと十分に区別が可能である場合は、省略することも可能ではある。
【0024】
「質問内容データ」は、表示する質問の内容に関するデータであって、具体的には、ディスプレイ装置等に表示される質問内容そのもののテキストデータを例示することができるが、場合によっては、質問の文字情報が埋め込まれた画像データであってもよい。
【0025】
また、「選択肢データ」は、使用者が回答の際選択する選択肢に関する情報を含むデータである。具体的には、「はい」、「いいえ」、「わからない」といった選択肢や、後述の語句の項目における項目内容をそのまま反映させた選択肢に関する情報を含むデータを例示することができる。すなわち、使用者は、ディスプレイ装置等に表示された質問に対し、選択肢の中から自分がもっとも適切であると考える選択肢を選ぶことができ、この結果に基づき、使用者が持つ概念に対応する語句候補は絞り込まれることとなる。ただし、どのような選択肢群を表示する場合であっても、「わからない」の選択肢を入れておくことが好ましい。無理に間違った選択肢を選択するよりわからないという選択肢を入れておくことで判断を留保することができ、精度の低下を防止することができる。なお、「はい」、「いいえ」、「わからない」の選択肢は、全ての質問に対して共通の選択肢として提供が可能であるとともに、質問に対する選択を簡便にして回答による精度を向上させる観点から、複数の項目内容をそのまま反映させた選択肢よりも好ましい。
【0026】
また、「質問項目データ」とは、後に詳述するが、質問が属する項目の情報を含むデータである。質問がどの項目の質問に対応したものであるかを認識することで、具体的な絞込み作業を行いやすくなる。具体的にはやはり後述するが、回答によって有用な情報を得ることのできる「項目データ」が該当する。
【0027】
「質問音声データ」とは、上記の質問の内容を音声で表現したデータである。音声を流すことは必須ではないが、質問内容を表示するとともに音声を流すことで使用者は質問の内容をより確実に認識することができるため、質問データとして備えさせておくことが好ましい。
【0028】
本手順において表示される質問の選択は、限定されるわけではなく、ランダムに選択してもよいが、回答によって得られる情報量ができる限り多い質問であることが語句候補の絞り込みの精度を高める上で好ましい。情報量については、後述する計算によって取得する方法を採用することが好ましいが、質問の回数が少ない状況においては、計算による方法よりも、明確に選択しやすい質問を予め選択しておくことも好ましい。
【0029】
また本手順では、質問に対する回答を得る。ここで「回答」とは、使用者が選択した選択肢に関する情報をいい、具体的には、使用者が選択した当該選択肢データを、「回答データ」として記録する。ただし、この回答データには、質問データが対応付けられるため、「質問データ」における少なくともいずれかのデータと、選択した上記の「選択肢データ」と、を含む。
【0030】
また、本実施形態において、質問を表示する際、上図で示すとおり、使用者が思い出したいと考えている概念に対応する画像も表示させておくことが好ましい。このようにすると、使用者はその画像を参照しつつより正確に概念に対する語句を思い出すことができるようになる。なおこの際、情報処理装置の表示に画像表示部を設けておくことが好ましい。またこの場合において表示させる画像は、予め一覧の画像データベースとして記録しておいてもよいが、使用者自身がその場又は事前に撮影したものであることが使用者自身のコミュニケーションノートを作成するという観点から好ましい。なおこの場合、情報処理装置にはカメラ等の撮像装置が接続されていることが好ましい構成であり、いわゆるスマートフォンや携帯電話等の携帯端末であれば一般的な構成をそのまま使用することができる。
【0031】
またこの場合、画像類似検索を行う手順を含ませることが後述の手順において有用である。画像類似検索を行うことで、被写体がどのようなものであるか、その被写体の含む語句を推測することが可能となるため、後述の絞込みの手順においてより精度を高めることができるようになるといった利点がある。
【0032】
また本法では(2)回答に基づき語句候補の絞込みを行う手順(S2)を有する。
【0033】
本手順において、絞り込まれる「語句候補」とは、上記のとおり使用者が持つ概念に対応する「語句」であって、使用者が思い出す対象となりうる語句の候補をいう。「語句」は、使用者が思い出す対象となりうる限りにおいて限定されず、例えば料理の名称、食品の名称、日用品の名称、身体部位の名称、施設・場所の名称等の物の名称や、人物名等の人に関する名称、例えば走る、座る、投げる等の動作の名称等、語句といわれるもの極めて広範に設定することができる。ただし、本実施形態では、説明をわかりやすくする観点から、料理の名称を語句候補として採用して以下説明する。
【0034】
すなわち、本方法においては、情報処理装置の記録媒体に予め複数の語句データが記録されており、使用者からの回答に基づきその複数の語句データから使用者が思い出したいと思っている語句データの候補を絞り込む。なお、語句データは、情報処理装置の記録媒体に多数記録されて語句データベースを構成している。
【0035】
また本方法において、それぞれの「語句データ」は、限定されるわけではないが、「語句識別データ」、「語句内容データ」、「確率データ」、「項目データ」及び項目データに対応する「項目内容データ」、「スコアデータ」を備えている。
【0036】
本方法において「語句識別データ」は、語句の識別番号等、他の語句データと区別し特定するために用いられる識別情報を含むデータであるが、他のデータ等によって十分に区別可能であれば省略することも可能である。
【0037】
また「語句内容データ」は、具体的な料理名等、語句が意味する内容の情報を含むテキストデータであり、使用者が思い出す対象となる本質的な情報である。ただし、場合によっては、語句の文字情報が埋め込まれた画像データであってもよい。
【0038】
また「確率データ」は、当該語句データが使用者の思い出そうとしている語句である確率を示すデータであり、この値を基準に本方法では語句の絞り込み処理を行うことができる。なお処理開始時点において、確率データはすべての語句データにおいて同じ値とし、使用者の回答に基づき修正を加えていくことが好ましいが、当初から異ならせていてもよい。
【0039】
また、上記のとおり、質問を表示させる際、使用者が撮影した画像を表示させ、画像類似検索を行う手順を含ませれば、画像類似検索を行い、この結果に含まれる語句を抽出することが可能となり、この結果を上記確率データに反映させることができるようになり、質問回数の低減、語句の絞込みの精度をより高くすることが可能となる。具体的には、表示される画像データに基づき、予め格納された多数の画像データ又はインターネット等の電気通信回線に接続されたサーバーに記録された多数の画像データに対し類似する画像であるか否かを基準に検索を行い、表示された画像に類似すると思われる画像を抽出し、その画像データに関連して格納されているキーワードを語句データとして抽出する。そしてこの語句データを収集し、頻出度の高い語句を関連するキーワードとして選択することが好ましい。検索の方法としては特に限定されるわけではないが、アノテーション技術を採用することが好ましい。
【0040】
また、本実施形態において、「項目データ」は、「項目内容データ」、「スコアデータ」とともに記録される。「項目データ」とは、語句データが含む項目に関するデータであり、複数の語句データ共通に使用される項目である。例えば、「語句」が料理名である本実施形態の例で説明すると、「項目」は、<主食>であるか<丼物>であるか<おかず>であるか、といった「大分類」、<洋食>であるか<和食>であるかといった「ジャンル」、<揚げたもの>であるか<焼いたもの>であるか<煮たもの>であるかの「調理方法」、特定の食材例えば<じゃがいも>を使用するものであるか、<ニンジン>を使用するものであるか、といった「材料」等を項目として採用することができる。なお、情報を複数含ませておくことが絞込みの精度を高める観点から好ましいため、「項目データ」は複数備えられていることが好ましい。
【0041】
また「項目内容データ」とは、項目内の具体的な内容に関する情報を含むデータであり、例えば、上記項目の例において、項目が「大分類」である場合、<主食>であるか、<丼物>であるか、<おかず>であるかを示す情報が「項目内容」に該当する。この項目内容に関する情報を備えることで、上記の質問を表示する際、当該項目内容を質問の選択肢として採用可能となり、これを使用者に選択させることでより詳細な情報を取得することができるようになる。
【0042】
また「スコアデータ」は、それぞれの「項目内容データ」とともに記録されるデータであって、使用者が思い出したい語句との関連度を数値(スコア)として表現したデータをいう。このデータについては、限定されるわけではないが、使用者の思い出したい語句において、その項目内容が必ず選択されるような場合を1.0とし、0から1.0の間で適宜調整して数値化したデータであることが好ましい。例えば語句が「納豆」で、「項目」が「ジャンル」、「項目内容」が「和食」である場合、納豆は和食であるとほぼ全員が選択することが想定されるため、「和食」に1.0が入力される。ただし、「スコアデータ」は、あくまで思い出したい語句として選択される可能性を数値化したものであって、その「項目データ」における「項目内容データ」の「スコアデータ」の総和が必ずしも1とならなくてもよい。例えば、語句が「カレーライス」で項目が「大分類」の場合、「おかず」として選択される可能性も否定できず、「ご飯もの」として選択する者もいる。このような場合、総和で1とするのではなく、例えば、「おかず」として選択する可能性を0.4、「ご飯もの」として選択する可能性を0.8のようにそれぞれ独立して0から1の間で設定する方がより精度を高めるうえで好ましい。なおこの数値の配分については、適宜自由に設定してもよいが、多数の使用者の統計に基づいて定めておいてもよい。なおここでは、選択される可能性が極めて低いものについては0を入力する旨言及しているが、項目内容が多数存在するようなデータベースである場合、項目内容の追加や削除等を行うことによるスコアデータ管理が非常に煩雑となってしまうため、このような場合においては、0の項目内容データをとなる場合はその項目内容データを設けず、0より大きな値を有する項目内容データのみを設けて記述しておくことが好ましい。なお、スコアデータの数値は適宜調整可能であり、上記の例のように上限が1.0である必要はない。
【0043】
本手段では、上記に基づき回答に基づき語句候補の絞込みを行う。具体的な処理について説明すると、上記手段(1)において得られた回答データには、選択された選択肢データとともに質問データ、具体的には項目データが含まれている、つまり、回答データには、使用者が、どの項目の、どの項目内容を選択したのかという情報が含まれるため、この項目内容を選択したという情報に基づいて、各語句データにおける確率データを修正する。
【0044】
確率データの修正については適宜調整が可能であり限定されるわけではないが例えば下記式に従い修正することができる。なお下記式中、P(r)は、修正前の語句rの確率を、P’(r)は、修正後の語句rの確率を、P(q=a|r)は質問qに対し回答aが得られた場合のスコアを示す。下記は最尤推定処理となっている。
【数1】
【0045】
上記のとおり本方法によると、使用者から回答を得ることで、語句ごとにその確率を異ならせ、使用者の回答に基づき語句候補を絞り込むことができるようになる。具体的には、複数の語句データのうち確率データの高いものを上位から所定の数だけ選択し、語句候補データとして選び出す。なおここで所定の数の設け方としては特に限定されるわけではなく、常時一定の数(例えば上位5個)とすることとしてもよく、また語句データの確率データが所定の基準値を超えたものを表示するようにしてもよい。
【0046】
ところで、一回の質問のみで語句データの確率データに十分な差異をつけることは困難である場合が多く、上記手順(1)と上記手順(2)を繰り返し行うことが好ましい。このようにすることで、使用者が思い出したい語句に対する精度を高めることができるようになる。
【0047】
また、上記手順を繰り返す場合、手順(1)において、質問の選択は、回答によって得られる情報量ができる限り多い質問であることが語句候補の精度を高める上で好ましい一方、質問を表示する回数が少ない場合は、明確に選択しやすい項目を予め選択しておくことも好ましい。例えば、本実施形態に係る料理の名称の例を基に説明すると、最初の質問は項目を「大項目」、次の質問を「ジャンル」、更に次の質問を「調理方法」と固定し、その次の質問から「材料」の中の項目内容各々のいずれとするかを情報量を計算することで定め、予想される情報量の多い順から質問として選択することが好ましい。
【0048】
なお、情報量の算出方法は、特に限定されるわけではないが、例えば下記で示される式に従い算出する方法を用いることができる。下記式では、情報量の基準としてエントロピーを採用する。
【数2】
【0049】
上記式中、Iは情報量を、H0は質問前のエントロピー、H1は質問qによって回答aが得られた後のエントロピーを意味する。また、エントロピーHは、語句rが使用者の思い出したい語句である確率をP(r)とすれば下記式で表される。
【0050】
【0051】
上記の式に従えば、どのような質問を行うことでどの程度の情報量を得ることができるかを予め知ることが可能となるため、質問の回数の低減、語句候補絞込みの精度向上を図ることができる。すなわち、本方法では、上記の式に従い、各質問データ及び各語句データに基づき情報量データを算出し、最も得られる情報量の多い質問データを選び出して質問として表示させる。なおこの情報量データの算出は、表示される一つの質問において表示される全ての選択肢に対して行い、その和を求めておくことが好ましい。すなわち、質問qにおいて選択肢がa、b、cあった場合、選択肢aに対する回答aだけでなく、回答b、回答cにおいても得られる情報量を求め、その和を求めておくことが好ましい。
【0052】
ところで、上記処理はいずれも使用者による回答データが基本的には正しいことを前提で進めるものであるところ、使用者によっては間違えやすい質問もあり、この間違えやすさを考慮して質問を選択することは、語句候補の絞込みの精度を向上させる観点からすると非常に好ましい。そこで、得られると考えられる情報量に正しく回答を得られる確率を乗じた値に基づき期待値を算出し、質問選択の基準値とすることが好ましい。
【0053】
この期待値の算出方法としては限定されるわけではないが、例えば、選択肢が「はい」、「いいえ」、「わからない」である場合に、(A)「はい」で得られる情報量に回答者が正しく「はい」と答える確率を乗じた値、(B)「いいえ」で得られる情報量に回答者が正しく「いいえ」と答える確率を乗じた値、を足し合わせ、この値から(C)「はい」で得られる情報量に回答者が誤って「はい」と答える確率を乗じた値、(D)「いいえ」で得られる情報量に回答者が誤って「いいえ」と答える確率を乗じた値、を減ずる方法を採用することができる。そしてこの計算の結果得られる情報を期待値データとして記録し、この期待値データが最大となる質問データを選択し、質問として表示することが好ましい。
【0054】
この場合において、回答者が正しく「はい」と答える確率、回答者が正しく「いいえ」と答える確率、回答者が誤って「はい」と答える確率、及び、回答者が誤って「いいえ」と答える確率は、それぞれ、正答率データとして記録媒体に記録しておくことが好ましい。また、これらの正答率データは、質問全体共通の値として採用してもよいが、質問毎に設定すれば、より精度の高い語句の絞込みを行ううえで好ましい。
【0055】
なお、間違えやすさを考慮して質問を選択する方策としては、上記のとおり、上記以外の方法も採用することができ、例えば、POMDPといった強化学習アルゴリズムを使用することができる。このアルゴリズムを使用すると、未来の質問も含め、質問の回数を最小とする質問群を選択することができるようになる。
【0056】
また、上記の正答率データは、限定されるわけではないが、使用者個人の特性が強く反映されるものであるため、使用者を特定し、その使用者特有の正答率データを記録しておくことが好ましい。このようにすることで、使用者毎に最も適切な絞込みを行うことができるようになる。
【0057】
以上、上記のように、上記手順(1)と上記手順(2)を繰り返し行うことで、より制度よく語句候補を絞り込むことができる。なお、この繰り返し回数については、適宜調整可能であり限定されるわけではないが、例えば常時一定の回数(例えば10回)繰り返すように設定してもよく、また、上記手順を繰り返して、上から所定の数(例えば5個)の語句データの確率データの和が所定の値(例えば0.8)を超えたときに繰り返しを終了するようにしてもよい。
【0058】
また、本方法は、(3)使用者の持つ概念に対応する語句候補を表示させる手順を有する。この手順を実行した場合における情報処理装置の表示の例について
図3に示しておく。本図は、使用者の持つ概念に対応する語句候補を表示させる語句候補表示部を備えている状態の図となっている。
【0059】
本手順では、上記、絞り込んだ語句データを語句候補として表示し、使用者に、自身が持っている概念がこの中にあるか否かを判断させ、ある場合は当該語句を選択させ、ない場合は、改めて本方法の手順(1)及び(2)を繰り返し行わせる。
【0060】
表示された画面に自身が持っている概念に対応する語句が表示されていた場合、使用者は当該語句を選択し、当該概念に対応する画像とともに情報処理装置に記録させ、コミュニケーションノートの一情報ページとする。
【0061】
なお、表示された画面に自身が持っている概念に対応する語句が表示されていなかった場合、回答が間違っていた又は質問の選択に不備があった可能性があるため、質問及び回答の選択履歴を履歴データとして記録しておき、改めて本法の手順を行い、使用者の持っている概念に対応する語句に導けた場合、その履歴データと対比を行う。例えば、初回とやり直しの回において、同じ質問を選択したが初回とやり直し回において使用者の回答が異なっていた場合、初回の回答が間違っていたと考えることができ、この解答の間違いについて、正答率データに反映させることができる。なおこの場合において、情報処理装置には改めて最初からやり直すための入力部を設けておくようにしておくことが好ましい。
【0062】
以上、本実施形態によって、喚語困難者であっても、自身で喚語を可能とする思い出し支援用プログラム、思い出し支援方法、及び、思い出し支援装置を提供することができる。