【国等の委託研究の成果に係る記載事項】(出願人による申告)平成28年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業 大規模会話データに基づく個別適合型認知活動支援委託研究、産業技術力強化法第19条の適用を受ける特許出願
【文献】
大武 美保子,会話におけるこころの時間の推定と街歩き共想法による体験記憶と近時記憶の支援,人工知能,2015年11月,第30巻,第6号,P.745−750
(58)【調査した分野】(Int.Cl.,DB名)
発言データを取得する発言データ取得装置と、前記発言データに基づき介入会話データを作成する情報処理装置と、前記介入会話データを出力する提示装置と、を備えた近時記憶支援装置であって、
前記情報処理装置は、
発言データに基づき単語データを作成する単語データ作成部、
前記単語データに基づき時間特徴データを作成する時間特徴データ作成部、
前記時間特徴データに基づき時間特徴持続時間データを作成する時間特徴持続時間データ作成部、
前記時間特徴持続時間データと前記時間特徴データに基づいて介入会話データを作成して出力装置に前記介入会話データを出力する出力部と、を備えた近時記憶支援装置。
前記時間特徴データ作成部は、前記時間特徴データが未来、現在又は過去のいずれかの情報を含むよう時間特徴データを作成することを特徴とする、請求項1記載の近時記憶支援装置。
前記出力部は、前記時間特徴データが過去の情報を含み、前記時間特徴持続時間データが閾値データを超えた場合に、前記介入会話データを選択して出力装置に前記出力することを特徴とする、請求項1記載の近時記憶支援装置。
【発明を実施するための最良の形態】
【0015】
以下、本発明の実施形態について図面を用いて詳細に説明する。ただし、本発明の実施形態は多くの異なる形態による実施が可能であり、以下に示す実施形態の具体的な例示にのみ限定されるわけではない。
【0016】
(近時記憶支援装置)
図1は、本実施形態に係る近時記憶支援装置(以下「本装置」という。)1の概略を示す図である。本図で示すように、本装置1は、発言データを取得する発言データ取得装置2と、発言データに基づき介入会話データを作成する情報処理装置3と、介入会話データを発言として出力装置4と、を備えていることを特徴とする。本装置1はこの構成によっていわゆる共想法を実現することができる。ここで「共想法」とは参加者各自がまず自己の保有する画像を表示しながら自己が表示した画像について話題を提供し、その後参加者各人に対し他の参加者の提供した話題に対する質問を行わせ、逆に今度は他の参加者から質問を受け付け回答させる流れを行う会話による認知機能低下防止法をいう。この実現のため、できれば画像を表示することのできる液晶ディスプレイ等の表示装置に接続されていることは好ましい一例である。
【0017】
また、本装置1は全体として、人の形に類似したロボットであることが好ましい。本装置1は共想法の参加者としても機能することもあり、人の形に類似させることで参加者に機械ではなくより人に近い存在であると認識させることが可能となる。この結果、参加者に自然な会話を促進させ、本装置による効果をより高めることが可能となる。人の形に似せる場合、上記各構成を人型の筐体に収納することで実現可能である。なおこの場合でも、画像表示装置に関しては筐体の外に配置することが違和感を少なくすることができるため好ましいが、筐体の一部に固定するようにしておいてもよい。
【0018】
本装置1における発言データ取得装置2は、上記のとおり発言データを取得する装置をいう。ここで、「発言データ」とは、会話での発言内容に関する情報を含むデータをいい、具体的に参加者の発した音声データが典型的な例であるが、参加者が情報処理装置上のみで共想法を行おうとする場合等は、キーボード等の情報処理装置に付される入力装置を用いて作成するテキストのデータが該当する。なお、発言データは一般に主語、述語などを含む文章として取得される。
【0019】
また、発言データは、複数取得されることが好ましい。例えば発言の間の静穏状態があった場合、ひとつの発言が終了したこととして一つの発言データとして記録し、その後他の発音(音声)があった場合、他の発言データとして記録するようにすることが好ましい。もちろん、発言者が複数いた場合に、音声の周波数分析を行いその発言を行った発言者を特定し、発言者の識別情報を付した上でさらに発言データを異ならせておくことは好ましい一例である。
【0020】
すなわち本装置1における発言データ取得装置2の具体的な構成としては、例えばマイクロフォンを例示することができる。マイクロフォンは、音を電気信号に変換することができ、この電気信号が発音データとなり、情報処理装置に出力されることになる。なおキーボード等の装置を用いて行う場合は、このキーボードが発言データ取得装置2であるといってよい。更に、いわゆるスマートフォンやタブレット端末を用いる場合は、これら機器が備える表示装置に付される接触型の入力手段(いわゆるタッチパネル)を用いてもよい。
【0021】
また、
図2は、本装置1における情報処理装置3の機能ブロックを示す図である。本図で示すように、情報処理装置3は、発言データに基づき単語データを作成する単語データ作成部31と単語データに基づき時間特徴データを作成する時間特徴データ作成部32、時間特徴持続時間データを作成する時間特徴持続時間データ作成部33、時間特徴持続時間データと時間特徴データに基づいて介入会話データを作成して出力装置4に介入会話データを出力する出力部34と、を備えている。
【0022】
本装置1における情報処理装置3は、上記の機能を有するものである限りにおいて構成に限定されない。ただし、いわゆるコンピュータであることが好ましい一例である。コンピュータである場合、CPU(中央演算装置)、ハードディスク等の記録装置、メモリ等の記憶装置、これらを電気的に接続するバスを備えていることは好ましい構成であり、さらに、上記の発言データ取得装置2、後述する発言出力装置と、電気的に接続するためのインターフェース部とを備えていることが好ましい。
【0023】
そしてこのようなコンピュータを用いた場合、ハードディスク等の記録装置に、所望の処理を行うための近時記憶支援プログラムを格納し、使用者の要求に応じて実行することで、本装置1の目的とする動作すなわち近似記憶支援方法を実行させることができるようになる。
【0024】
また本装置1において発言出力装置4は、上記のとおり、情報処理装置3に接続されており、情報処理装置が出力するデータに基づき発言を出力することができる装置である。具体的には、情報処理装置によって作成された介入会話データ又は発言データを発言出力装置4に出力すれば、例えば音声、テキスト等として共想法の参加者に認識させることが可能となる。
【0025】
またここで情報処理装置3の各機能ブロックについて説明する。まず、情報処理装置3における単語データ作成部31は、発言データの形態素解析に基づき単語データを作成する。ここで、「単語データ」とは、発言データを細かく単語に分節した場合における各々の単語情報を含むデータという。具体的には、発言データが文章のデータである場合、この文章のデータを形態素解析し、細かく単語等の細かい単位に分類し、それぞれをデータとして保持する、ということである。なお、この単語データの作成に先立ち、発言データが単に音声データである場合、テキストのデータに変換しておくことが好ましい。音声データからテキストデータへの変換は、周知の手法を採用することができる。
【0026】
また情報処理装置3における時間特徴データ作成部32は、上記のとおり、単語データに基づき時間特徴データを作成する。具体的には、上記単語データ作成部31によって作成された単語データ各々に対し、時間特徴に関する情報を抽出する。ここで、「時間特徴」とは、この単語が「現在」、「過去」、「未来」のいずれであるのか、又はいずれにも該当しないのかといった時間的な特徴に関する情報をいい、より具体的には、上記単語データ作成部31によって作成された単語データが現在の内容を意味する単語なのか、未来の内容を意味する単語なのか、過去の内容を意味する単語なのか、といったことに関する情報を付与することを言う。なお、いずれにも該当しない単語の場合、前の単語と同じ時間特徴の情報を付与しておくことが好ましい。この場合のイメージを
図3に示しておく。
【0027】
またこの時間特徴データ作成部32は、この時間特徴データを作成することができる限りにおいて限定されるわけではないが、予め時間特徴判断用の時間特徴データベースを備えており、複数の単語データと、この単語データに対応する時間的特徴を含んで構成されていることが好ましい。なお、この場合において、「過去」、「現在」、「未来」を単純に−1、0、1の値で区別することとしてもよいが、これをさらに「近い未来」、「遠い未来」、「近い過去」、「遠い過去」のように、同じ時間特徴範囲であっても数値に幅(例えば5段階等)を持たせて記録させておいてもよい。このように数値に幅を持たせることで、近い過去(例えば1段階(弱)程度の過去)の場合は介入を遠慮し、遠い過去(例えば5段階(強)程度の過去)の場合は介入を積極的に行う、というようにすれば、共想法の参加者のレベルなどに合わせて適時設定することが可能となる。
【0028】
また情報処理装置3における時間特徴持続時間データ作成部33は、上記のとおり、時間特徴データに基づき、時間特徴持続時間データを作成するものである。ここで時間特徴持続時間データとは、同じ時間特徴がどの程度継続しているのかといった時間(時間特徴持続時間)に関する情報を含むデータである。
【0029】
また情報処理装置3における時間特徴持続時間データ作成部33では、会話への発言データの内容に基づき時間特徴の状態を判断し、時間特徴の持続時間データを作成する。現在判断している時間特徴の現在状況のデータを作成及び保持しておくことが好ましいからである。具体的には、一つの発言の中でも、複数の単語に区分すると、「現在」に分類される単語、「過去」に分類される単語、「未来」に分類される単語等、異なる時間的特徴を含む場合がある。
【0030】
そして、時間特徴持続時間データ作成部33は、その時間特徴の状態がどの程度継続しているのかを計測し、その計測した値をデータとして保存する。この持続時間については、近時記憶を支援する観点から、時間特徴データが過去であるのは好ましくない。時間特徴データが過去と判断されるとき、時間特徴持続時間を計測させることを開始する。予め設定した時間を超えている時に、過去の状態が維持されている場合に、入力装置4が介入会話データを出力することとなる。または、時間の閾値を超えている時に、過去以外の時間特徴が判断されている場合に、時間特徴持続時間を計測しないこととしてもよい。
【0031】
またここで、時間特徴持続時間は、様々な定義が可能であり限定されるわけではないが、例えば一つの発言中において、時間特徴持続時間データの計測を開始する時間特徴データを抽出したら即時計測を開始してもよい。この場合のイメージは
図4に示す通りである。また、時間特徴持続時間データの計測を開始する時間特徴データを抽出した発言データの末尾すなわち発言が終わったときから時間特徴持続時間データの計測を開始するようにしてもよい。この場合のイメージを
図5に示しておく。
【0032】
また情報処理装置3における介入会話データを出力する出力部34は、予め設定した時間を超えている時に、時間特徴持続時間データと時間特徴データに基づいて介入会話データを作成して、出力装置4に介入会話データを出力する。具体的には、参加者の発言において時間特徴データが過去の状態であって、所定の時間以上この状態が維持されていると判断した場合、介入会話データを選択し、参加者に介入会話に従い時間特徴の状態を変更するよう試みる。このようにすることで、参加者の心の状態を現在又は未来に向け、近時記憶機能を呼び戻すことができる。この場合において、この所定の時間とは、特に限定されるわけではないが、例えば時間特徴が過去であると判断された発言が完了してから30秒以上、より好ましくは20秒以上、最も効率的なものは15秒である。
【0033】
ここで、介入会話データは、音声のデータ又はテキストのデータであって、音声データの場合は、出力部から出力装置4に出力することで音声として再生が可能である。また、テキストデータの場合は、出力装置4に出力することでテキストとして表示が可能である。これらの記載から明らかなように、出力装置4は音声データの場合はスピーカー等の音声再生装置、テキストデータの場合は液晶ディスプレイなどの画像表示装置及びこれを備えた機器(例えば携帯電話であってもよい。)であることが好ましい。
【0034】
以上、本装置は、高齢者に負担をかけずできる限り自然に近時記憶を支援する装置となっている。
【0035】
(処理の流れ)
ここで、本装置の具体的な処理の流れについて以下に説明する。
【0036】
図6は、本実施形態に係る近時記憶支援の処理の流れを示す。本図で示すように、本方法は、コンピュータに、(S1)発言データに基づき単語データを作成するステップ、(S2)単語データに基づき時間特徴データを作成するステップ、(S3)時間特徴持続時間データを作成するステップ、(S4)時間特徴持続時間データと時間特徴データに基づいて介入会話データを選択して出力装置に介入会話データを出力するステップ、を実行させるものである。
【0037】
まず、本方法では、発言データに基づき単語データを作成する。
図7に、実施形態に係る単語データを作成する処理の流れを示す。発言データの取得手法として、音声認識又は文字入力が可能である。取得した音声データと文字データを含めている発言データを文字列に変換する。発言データを読み込み、初期時刻の設定を開始し、各発言に対応する時刻T
si(iは発言のID番号である)を記録し、
図8に示すような発言と対応時刻のデータの例である。
【0038】
その次、
図9に実施形態に係る単語データを作成する処理の流れを示す。特定IDの発言データを読み込み、形態素解析をし、
図10のような発言と単語と相対時刻のデータを作成する。ここで、相対時刻、T
wij とは各単語における時刻で、以下の式1により計算する。
【数1】
【0039】
次に、単語データに基づき時間特徴データを作成する。時間特徴データは、限定されるわけではないが、一例として、時間特徴のコーパスを用いて、「過去」、「現在」、「未来」のいずれであるかを判断し、時間特徴データとすることができる。このフローチャートの一例を、例えば
図11に示しておく。
【0040】
この処理手順で発言処理を行うと、
図4に示すデータが得られる。ここでは、時間特徴データを任意に設定することができるが、「過去」を−1、「現在」を0、「未来」を1とする。具体的な例示として、「昔は、トマトは夏しか食べられなかった。」は「昔」という単語で「過去」と判断し、「今はいつでも食べられるようになった。」は「今」という単語で「現在」で判断することができ、時間特徴データはそれぞれ−1、0となる。
【0041】
また、
図12に、15分間の発言データにおける時間特徴を、「過去」の場合−1、「現在」の場合0、「未来」の場合1としたときの推移の例を示しておく。
【0042】
次に、本方法では、時間特徴持続時間データを作成する。一例として、
図13に示すように、時間特徴データを読み込み、データが過去であるかを判断され、処理を行う。過去と判断された場合に、この過去の状態がどの程度持続しているのかを表す時間特徴持続時間T
pを計測する。過去と判断された単語による相対時刻、T
wijで、T
pが増加していく。もちろん、計測の開始時としては、過去と判断された瞬間でもよく、また、その過去と判断された発言が過去のまま終了した場合に、その発言の終了から所定の期間としてもよい。更には、発言全体の平均値をとり、この値が過去に属すると判断した場合、その発言終了から時間特徴持続時間を計測開始することとしてもよい。過去と判断されない場合に、T
pを0にリセットする。
【0043】
また、本方法では、時間特徴持続時間、T
pが予め設定した時間の閾値、d秒を超えている時に、前記時間特徴持続時間データと前記時間特徴データに基づいて介入会話データを作成して、出力装置に前記介入会話データを出力する。一度介入会話データを出力したらT
pを0にリセットする。
【0044】
以上、本方法は、高齢者に負担をかけずできる限り自然に近時記憶を支援することができる。
【0045】
(効果確認)
ここで、本装置の効果を確認するため、健康長寿高齢者の姉妹らの活発な会話データを基準にして分析した。分析方法は4回の共想法形式で行われた会話データと1回の自由会話データの発話者の発言データにおける時間特徴の変化する回数を計測した。近時記憶を支援する観点から、特に「過去」から「現在」又は「未来」に変化する場合と「現在」又は「未来」から「過去」に変化する場合を抽出して行った。具体的には(1)発話者自身の発言により時間特徴の変化した回数、(2)他の発話者の発言により時間特徴が変化した回数を計測した。または、近時記憶の支援観点で、「現在」・「未来」は良い傾向であるため、「現在」と「未来」の間の推移は注目せず、「過去」と「現在」・「未来」の推移について分析した。この結果を下記表1にまとめた。なお、表1中、(I)〜(V)は実施した会話のまとまりを示す。(I)〜(IV)は共想法形式の会話で、(V)は自由会話であった。また、下記表2に、時間特徴の変化したときの具体的な発言例を示しておく。
【表1】
【表2】
【0046】
上記表1より、他の発話者による発言の時間特徴変化の回数は同じ発話者より多い傾向が見て取られた。全体の回数における過去から現在または未来に変化するとき、発話者自身による発言は18回であるのに対し、他の発話者によるものは40回であった。同様に、現在または未来から過去に変化するとき、発話者自身による発言は21回であるのに対し、他の発話者によるものは37回であった。これより、時間特徴の変化は他の発話者の発言でよく発生することを確認できた。
【0047】
従って、本装置は、発話者の時間特徴を過去から現在・未来に戻すほかの参加者の役割を果たす。
【0048】
またここで、高齢者が昔のことを話している状態を検出するために、一例として、発言を分類するため、過去・現在・未来のタグを付けたコーパスを用いる。コーパスを作成するために、ここでは健康長寿高齢者の姉妹らの発言を参考に、時間特徴を表すキーワードを抽出した。ここで、抽出する基準は客観的に確認できるキーワードを抽出した。時間特徴を表す例を表3に示す。
【表3】
【0049】
過去の内容の発言が続き、時間特徴持続時間データが予め設定した時間を超えている時に、介入会話データベースから介入会話データを選択して出力装置に介入会話データを出力する。過去に集めた会話データの発言から介入会話データベースを作成する。具体的な例示として、「今日はこの写真の他に、大体何枚の写真を撮りましたか?」という質問形式の発言を介入会話データとして出力する。
【0050】
そして、最近の体験について話すよう支援するには、会話に介入し、過去の内容の発話が続くとき、時間特徴を現在に戻す必要がある。タイミングよく会話介入のタイミングを検出するため、健康長寿高齢者の8回の会話データを分析し、「過去」の状態の持続時間だけではなく、発言データにおける「現在」と「未来」の状態の持続時間も算出した。この結果を
図14乃至
図16に示す。
【0051】
図14で示すように、1〜15秒間で過去に関する発言を持続する回数が1番多く、16秒以上の区間では、その回数は減っていく傾向が見えた。「過去」に関する具体的な発言例は「終戦後レタスというのが出て来たんだね、この野菜が。それでね、サラダにするとおいしいだけどね、昔はね、このレタスによく似たね。」であった。
【0052】
また
図15で示すように、現在に関する発言が1番長く、発生する回数も1番多かった。同図により、21秒以上の区間では、発生する回数が減り、56〜70秒間の区間でまた増え、70秒間のピークを超えた後、発生回数が減っていく傾向が見えた。「現在」に関する具体的な発言例は「今は時期なくて夏でも白菜が出るけど、でもね、やっぱり冬の白菜がおいしいですね。」であった。
【0053】
また
図16で示すように、「未来」に関する発言を持続する時間が5秒間を超えたら、減っていく傾向が見えた。「未来」に関する発言例は「浅草今度行ったら買ってこんといかんな。」であった。
【0054】
上記の検討の結果、「現在」の状態の持続時間が1番長いことがわかった。「現在」について話すのは近時記憶支援の主旨に沿うため、会話が長く持続することが望ましいと言える。過去・現在・未来の発言のグラフにより、それぞれの持続時間が減っている傾向が異なる。そこで、近時記憶を支援する観点から、「過去」の発言は望ましくないため、「過去」の発言が減っている傾向に従い、会話介入のタイミングは「過去」の発言が15秒間持続したときと設定できる。
【0055】
以上の分析結果により、時間特徴推移は他の発話者の発言でよく発生することがわかった。したがって、本発明の目的を踏まえ、発話者の時間特徴を過去から現在・未来に変化させる他の発話者のような存在が有効であることがわかった。したがって、本発明の有効性について確認することができた。