(58)【調査した分野】(Int.Cl.,DB名)
【図面の簡単な説明】
【0010】
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
【
図1】実施形態におけるロボットの外観構成を示す図。
【
図2】実施形態におけるロボットの内部構成を示すブロック図。
【
図3】実施形態におけるリハビリ用プログラムのモジュール構成の例を示す図。
【
図4】実施形態における患者データベースに保持されるデータの構造例を示す図。
【
図5】実施形態におけるリハビリ支援処理のフローチャート。
【
図6】実施形態におけるリハビリ支援処理におけるホーム画面の例を示す図。
【
図7】実施形態における音源選択画面の例を示す図。
【
図8】実施形態におけるカクテルパーティーモード設定画面の例を示す図。
【
図9】実施形態におけるリハビリ実行画面の例を示す図。
【
図10】カクテルパーティーモードにおけるリハビリ実行処理の変形例に係るフローチャート。
【
図11】実施形態における難易度、ざわめき人数、ノイズレベルの対応テーブルの例を示す図。
【
図12】実施形態における難易度に応じた混合雑音データの帯域制限の例を説明する図。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【0012】
図1は、実施形態における言語リハビリテーション支援装置としてのロボット1の外観構成を示す図である。本実施形態におけるロボット1は、患者とインタラクションをとるものであって、患者に対しリハビリテーション(以下「リハビリ」と略記する。)用の言語表現を行う。
【0013】
ロボット1は、一般的なコンピュータの外観を持つものであってもよいが、患者とインタラクションをとりながらリハビリを行うものであるから、患者がリラックスして親しみが湧くような外観構成を有するとよいであろう。ロボット1は、例えば無線通信を行うためのアンテナ111を有する。また、ロボット1には、人の耳及び口に対応する位置にそれぞれマイクロホン114及びスピーカ112が設けられている。また、ロボット1は、言語聴覚士や患者が使用するためのタッチパネル式の表示・入力デバイスであるタブレット端末150を、ケーブル151を介して接続可能である。タブレット端末150のタッチパネルは、ユーザの指によるタップやなぞり動作を検出可能であるものとする。もっとも、このようなタブレット端末150の機能はロボット1自体が予め備えている構成としてもよい。
【0014】
図2は、ロボット1の内部構成を示すブロック図である。ロボット1は、装置全体の制御を司るCPU101、主記憶装置として機能するRAM102、制御プログラムや固定的なデータを記憶しているROM103をはじめ、以下の構成を備える。
【0015】
無線通信コントローラ105は、アンテナ111を介して行う無線通信を制御する。HDD106はハードディスク装置であり、オペレーティグシステム(OS)107やリハビリ用プログラム108を格納する他、原音データベース(DB)116、雑音DB117、患者DB118を保持する。原音DB116は、無響室等の静かな環境で発音された単語や句、文を録音したデータを収めている。これらは挨拶文、政治経済、サイエンス等の分野ごとに分類されているとよい。また、原音DB116における各音声データの音圧レベルは正規化されていることが望ましい。雑音DB117は、音質評価用にしばしば用いられるホワイトノイズやピンクノイズをはじめ、自動車走行音、工場騒音、鳥や動物の鳴き声といった各種雑音のデータを収めている。また、カクテルパーティーを模擬する人のざわめき音を形成するための、人の喋り声のデータも複数種類(例えば20種類)収めている。雑音DB117における各雑音データの音圧レベル(ノイズレベル)も正規化されていることが望ましい。患者DB118は、被検者となる患者の個人情報、障害種別及びその重症度を含む各種情報を保持する。
【0016】
インタフェース(I/F)109は、タブレット端末150をケーブル151を介して接続する。音声コントローラ110は、不図示のA/Dコンバータ、D/Aコンバータ、アンチエイリアシングフィルタ等を含み、スピーカ112を用いた音声出力及びマイクロホン114からの音声入力を行う。
【0017】
図3は、リハビリ用プログラム108のモジュール構成の例を示している。患者登録/検索モジュール121は、患者DB118への新規登録処理、及び患者DB118からの患者の検索処理に係るファンクションモジュールである。リハビリ支援メインモジュール123は、ロボット1によるリハビリの実行を担う。音声合成モジュール124は、ロボット1によるリハビリにおける音響出力を行う際に音声合成を実行する。音声認識モジュール125は、患者の発話を認識する。この音声認識は、単語認識機能のみならず、文を認識可能な連続音声認識の機能を備える。
【0018】
図4は、患者DB118のデータ構造例を示す図である。図示するように、各データエントリには、固有の患者IDが付与され、氏名、生年月日等の患者の個人情報が記述される他、障害種別及びその重症度、及びリハビリの履歴が記述される。障害種別には例えば、注意障害及び失語症が含まれる。また、ここでは、重症度の値として例えば、軽度には1が、中度には2が、重度には3が設定される。リハビリ履歴は、過去にリハビリを行った日時や提示した音声やその回数等を含み、これを参照することで言語聴覚士は今後のリハビリの計画を立てやすくなるであろう。
【0019】
図5は、本実施形態におけるリハビリ支援処理のフローチャートである。このフローチャートに対応するプログラムは、リハビリ用プログラム108に含まれ、RAM102にロードされてCPU101によって実行される。このプログラムが実行されるとまず、
図6に示されるようなホーム画面がタブレット端末150に表示される。図示のように、ホーム画面は、患者登録ボタン601、患者選択ボタン602、リハビリ開始ボタン603を含む。ユーザ(例えば言語聴覚士)がいずれかのボタンをタップすると、対応する画面に遷移することができる。
【0020】
患者登録ボタン601又は患者選択ボタン602がタップされることで、患者の登録又は選択が行われる(S1)。患者の登録及び選択の詳細は本発明と直接関係がないので、それらの画面例を図示することは、省略する。登録時には、
図4に示したような事項を記述していくことになる。登録又は選択が完了すると画面はホーム画面に戻るものとする。
【0021】
S2では、リハビリ開始ボタン603がタップされるのを待機している。リハビリ開始ボタン603がタップされると、処理は原音及び雑音を選択する処理(S3)へと進む。ここで画面は
図7に示すような音源選択画面に遷移する。
図7の音源選択画面において、ユーザが原音声選択ボタン701をタップすると、候補ウィンドウ702が表示されるので、その中から所望するジャンルを選択できる。なお、「0:自動選択」を選択すると、原音の選択は装置側に委ねられる。このときロボット1は原音を所定の順序で原音を選んでもよいし、ランダムに選んでもよい。次にユーザが雑音種類選択ボタン703をタップすると、候補ウィンドウ704が表示されるので、その中から所望する雑音の種類を選択できる。なお、「0:自動選択」を選択すると、上記と同様、ロボット1は、所定の順序又はランダムに、雑音を選択することになる。
【0022】
ユーザがカクテルパーティーモード選択ボタン705をタップすると、ロボット1は、雑音種類選択ボタン703による雑音選択を無効とし、カクテルパーティー効果(すなわち音声の選択的聴取)の弁別訓練を行うモードに入る。このカクテルパーティーモードでの処理については後述する。
【0023】
キャンセルボタン706がタップされると、この画面での入力内容を破棄して
図6のホーム画面に戻る。一方、ネクストボタン707がタップされると、この画面での入力内容に応じて次の画面に遷移する。具体的には、S4でカクテルパーティーモード選択ボタン705のON/OFFを確認し、カクテルパーティーモード選択ボタン705がOFFの場合、処理はS5に進む。S5では、選択された原音データと雑音データとを重畳した音声データを作成する。本明細書において、原音データに雑音データを重畳して得た音声データを「劣化音声データ」という。このとき、画面は
図9に示されるようなリハビリ実行画面に遷移する。
図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S9)。患者には、出力された劣化音声を聴取し、例えばその音声を復唱してもらう。あるいは、出力された劣化音声の話題に関する問題を言語聴覚士が出題し、患者にそれを回答してもらうようにしてもよい。劣化音声を聞き取ることは一般に、クリアな原音を聞くよりも集中力を要する。そのため、このような劣化音声を聴取してもらうことは、注意障害の患者にとっては注意力向上のよい訓練となる。また、雑音が重畳された劣化音声を聴取することは脳活動の活性化につながり、これが注意障害の患者に良い影響を与える側面もあると考えられる。
【0024】
言語聴覚士は、患者の回答につき正解/不正解の情報を入力することができる(S10)。例えば、患者の回答が正解である場合は、
図9の正解ボタン903をタップし、不正解である場合は、不正解ボタン904をタップする。あるいは、CPU101は、音声認識モジュール125をコールして、マイクロホン114を介して入力した患者の回答に係る発声を音声認識し、正解/不正解を自動判定してもよい。言語聴覚士によって正解ボタン903がタップされ、又は、音声認識によって正解と判定された場合は、CPU101は音声合成モジュール124をコールして、音声合成により「正解です!」との合成音をスピーカ112から発するとよい。あわせて、ロボット1が喜ぶ動作を行ってもよいであろう。なお、「戻る」ボタン905がタップされると、前画面に戻る。「次の音」ボタン906がタップされると、処理を繰り返すことが決定され(S11でNO)、S3に戻って、処理が繰り返される。「やめる」ボタン907がタップされると、これまでの正解/不正解の情報等がリハビリ履歴として患者DB118に記憶される。
【0025】
一方、カクテルパーティーモード選択ボタン705がON状態の場合、処理はS4からS6に進み、S5の処理に代えてS6〜S8の処理が実行される。処理がS4からS6に進むと、画面は
図8のカクテルパーティーモードの設定画面に遷移する。
図8のカクテルパーティーモードの設定画面において、ユーザが「人のざわめき人数」設定ボタン801をタップすると、候補ウィンドウ802が表示されるので、その中から所望するざわめき人数Pを選択することができる。また、ユーザは、スライドバー803をスライドさせることで作成する雑音データのノイズレベルLを変更することができる。この例では、スライドバー803を左に移動させるとノイズレベルLを低減し、右に移動させるとノイズレベルLを増大させることができる。「戻る」ボタン804がタップされると、ここでの設定値は破棄されて前画面に戻る。ネクストボタン805がタップされると、ここでの設定値が有効化されて、処理はS7に進む。S7では、CPU101は、雑音DB117から、設定されたP個の人のざわめき音を取得して混合するとともに、その混合結果を、設定されたノイズレベルLに対応するゲインで増幅することで、混合雑音データを作成する。ここで、ノイズレベルLに対応するゲインとは、ノイズレベルLを達成するためのゲインをいう。雑音DB117における各雑音データのノイズレベルが正規化されていれば、ゲインは、元のノイズレベルに対する設定されたノイズレベルLの比率によって、容易に求めることができる。ゲインによる増幅は、上記のとおりデジタルデータの各サンプルにゲイン値を乗じることで行ってもよいし、音声コントローラ110又はスピーカ112に含まれうる不図示の可変増幅器の増幅率をそのゲインに対応する値に設定することで行ってもよいことは、当業者には容易に理解されよう。なお、本実施形態においては、ざわめき人数Pは1をとりうるものとする。したがって、P=1の場合の混合雑音は実質的には単一種類の雑音そのものである。その後、処理はS9に進み、CPU101は、S3で選択された原音データにS8で作成した混合雑音データを重畳して劣化音声データを作成する。このとき、画面は
図9のリハビリ実行画面に遷移する。そして、上述したように、
図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S9)。
【0026】
このように、本実施形態によれば、リハビリテーション支援装置としてのロボット1は、カクテルパーティーモードを有し、カクテルパーティーの環境音を作成する際に、人のざわめき人数及びノイズレベルの少なくともいずれかを調整可能である。人のざわめき人数を増やし、また、ノイズレベルを増大すれば、音響出力された劣化音声データの聴取者による了解性(正しく理解されたかどうか)に関する難易度を増加することができる。逆に、人のざわめき人数を少なくし、また、ノイズレベルを低減すれば、難易度を低下させることができる。これにより、注意障害の患者に対して、カクテルパーティー効果の訓練を効率的に行うことができる。
【0027】
<変形例1>
以下では、カクテルパーティーモードにおいて、患者の聞き取り能力に応じた適切な劣化音声データを自動で作成する処理について説明する。
図10は、カクテルパーティーモードにおけるリハビリ実行処理の変形例に係るフローチャートである。カクテルパーティーモードに入ると、CPU101はまず、難易度Dの初期設定を行う(S21)。ここで、難易度とは、音響出力の聴取者による劣化音声データの了解性に関する困難度合をいう。難易度Dの初期値は例えば、
図4に示した患者DB118に記述されている障害の重症度に応じた値とするとよい。すなわち、上述したように重症度の値として、軽度には1、中度には2、重度には3が設定されている場合、難易度Dの初期値はそれぞれ、1、2、3が対応する。
【0028】
次に、人のざわめき人数とノイズレベルをそれぞれ、難易度Dに依存した値に設定する(S22)。すなわち、人のざわめき人数はP(D)と表され、ノイズレベルはL(D)と表される。ここで、ロボット1は、
図11に示されるような、難易度、ざわめき人数、ノイズレベルの対応テーブルを保持しているとよい。この対応テーブルによれば、例えば難易度Dが3の場合、人のざわめき人数Pは3、ノイズレベルLは1として求められる。
【0029】
次に、CPU101は、雑音DB117から、設定されたP個の人のざわめき音を取得して混合するとともに、その混合結果を、設定されたノイズレベルLに対応するゲインで増幅することで、混合雑音データを作成する(S23)。次に、CPU101は、
図7の画面で選択されたジャンルから、あるいはランダムに、原音データを選択する(S24)。そして、CPU101は、S24で選択した原音データにS23で作成した混合雑音データを重畳して劣化音声データを作成する(S25)。このとき、画面は
図9のリハビリ実行画面に遷移する。そして、上述したように、
図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S26)。
【0030】
患者には、出力された劣化音声を聴取し、例えばその音声を復唱してもらう。言語聴覚士は、患者の回答につき正解/不正解の情報を入力する(S27)。例えば、患者の回答が正解である場合は、
図9の正解ボタン903をタップし、不正解である場合は、不正解ボタン904をタップする。次にS28で、出題する原音データがまだ残っている場合は、S24に戻って、他の原音データを選択して処理を繰り返す。こうして正解率を算出するための判定結果の母数が蓄積されていく。
【0031】
そして、S29で、正解率CRを算出する。算出した正解率CRが第1のしきい値TH1を超えたか否かを判定する(S30)。正解率CRが第1のしきい値TH1を超えた場合(S30でYES)は、その患者にとっては出題が易しかったと評価できる。そこでこの場合は難易度Dを1段階、上昇させる(S31)。ここで
図9の「やめる」ボタン907がタップされて終了割込みがないかぎり、S22に戻って処理を繰り返す。
【0032】
次に、正解率CRが第1のしきい値TH1より低い第2のしきい値TH2を下回る場合(S32でYES)は、その患者にとっては出題が難しかったと評価できる。そこでこの場合は難易度Dを1段階引き下げる(S33)。ここで
図9の「やめる」ボタン907がタップされて終了割込みがないかぎり、S22に戻って処理を繰り返す。
【0033】
以上の処理によれば、自動的に効率よく患者に対し難易度を設定することが可能になる。
【0034】
<変形例2>
上述の変形例1は、算出した正解率に応じて難易度が変更されるように、雑音データの混合数とノイズレベルとの少なくともいずれかを変更するものであった。これに対し、算出した正解率に応じて難易度が変更されるように、雑音の周波数帯域を調整するようにしてもよい。以下、これを変形例2として説明する。
【0035】
例えば、リハビリ用プログラム108は、混合雑音データの周波数帯域を変更可能な帯域制限フィルタモジュールを更に含む。帯域制限フィルタモジュールは、例えば可変バンドパスフィルタを形成する。
【0036】
また、ここでは難易度Dを易しい順に1,2,3,4の4段階であるとする。
図12は、音声周波数帯域の模式図である。想定する音声周波数帯域を図示のように4分割し、低い方からF1,F2,F3,F4とする。均等分割であってもよいし、不均等分割であってもよい。そして、難易度D=1のときは、混合雑音データの周波数帯域をF4にする。この場合、雑音が重畳される帯域がF4だけに制限されるので、聞き取り困難性は低いであろう。難易度D=2のときは、混合雑音データの周波数帯域をF3+F4にする。難易度D=3のときは、混合雑音データの周波数帯域をF2+F3+F4にする。そして、難易度D=4のときは、混合雑音データの周波数帯域をF1+F2+F3+F4にする。つまり、この場合は帯域制限なし、すなわち全帯域で雑音を重畳するので、聞き取り困難性は最高となる。
【0037】
このような割り当てにより、
図10の処理のように、正解率が第1のしきい値TH1を超える場合は、難易度Dが上昇するように、混合雑音データの周波数帯域を拡げるよう帯域制限フィルタを制御すればよい。また、正解率が第1のしきい値TH1より低い第2のしきい値TH2を下回る場合は、難易度Dが低下するように、混合雑音データの周波数帯域を狭めるよう帯域制限フィルタを制御すればよい。
【0038】
本発明は上記実施の形態に限定されるものではなく、本発明の主旨及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。