(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、サポート装置の一例として、運転者(対象者)が、自動機能装置を備えた車両(移動体)を運転する際に、自動機能装置による制御をサポートする装置を例に挙げて説明する。
【0011】
[第1実施形態の説明]
図1は、本発明の実施形態に係るサポート装置、及びその周辺機器の構成を示すブロック図である。
図1に示すように、サポート装置100は、運転操作判断部11と、操作タイミング予測部12と、自動機能制御部13と、脳活動解析部23を備えている。
【0012】
脳活動解析部23は、脳活動検出部21及び脳活動データベース22に接続されている。操作タイミング予測部12は、運転操作データベース24及び感度時間記憶部27に接続されている。自動機能制御部13は、自動機能装置26に接続されている。自動機能装置26は、周囲環境判断部25に接続されている。
【0013】
脳活動検出部21は、運転者の脳波(脳活動情報)を検出する。具体的には、運転者の頭部に専用のプローブを装着し、該プローブで検出される脳波のうち、脳内の運動野より発せられる脳波を取得する。即ち、運転者が何等かの動作を行う場合、例えば、ブレーキペダルを踏む場合やステアリングを操作する場合には、これらの操作に伴う脳波が運動野から発せられる。従って、この運動野より発せられる脳波を検出することにより、運転者の操作意図を推定することができる。
【0014】
脳活動データベース22は、運転者の脳波に関するデータを累積的に記憶する。具体的には、脳活動解析部23で検出された運動野より発せられる脳波、及び、脳波が発せられたときに実際に運転者が実行した行動とを対応させ、この対応データを累積的に記憶する。例えば、運動野より発せられる脳波の発振部位、波長、及び検出電圧が○○であるときに、運転者によるブレーキ操作が行われた場合には、これらのデータを対応付けした対応データを記憶する。
【0015】
脳活動解析部23は、脳活動検出部21で脳波が検出された際に、この脳波データを解析する。具体的には、脳波の発振部位、波長、電圧等の脳波に関する詳細なデータを解析する。そして、脳活動データベース22を参照し、解析した脳波データに対応付けされている対応データを取得する。即ち、脳活動解析部23は、対象者の生体情報を解析する生体情報解析部としての機能を備えている。
【0016】
運転操作データベース24は、各運転者についての、運転操作と脳活動との関係を示す脳活動データを記憶している。例えば、脳活動解析部23にて、運転者によるステアリング操作の意図が検出された際に、この検出タイミングから実際にステアリングが操作されるまでの時間(これを遅れ時間βとする)を求める。そして、遅れ時間βを累積的に記憶する。遅れ時間βとして、複数の検出データの平均値を用いることもできる。即ち、運転操作データベース24は、各運転者(対象者)毎の、各操作種別とその操作タイミングである対象者操作タイミングとの関係を示す行動データを記憶する操作行動記憶部としての機能を備えている。
【0017】
感度時間記憶部27は、運転操作データベース24に記憶されているデータに基づいて、各運転者が操作種別を操作する際の感度時間(後述するΔt)を求めこの感度時間を記憶する。例えば、先行車両を回避するためにステアリングを操作して車線変更する際に、早めに車線変更する運転者と、先行車両との間の車間距離が短くなってから車線変更する運転者を区別し、運転者を、運転技能の高い上級者、運転技能の低い初級者、及びその中間の技能である中級者の3つの技能レベルに分類する。そして、例えば初級者の感度時間を800[msec]とし、中級者の感度時間を500[msec]とし、上級者の感度時間を200[msec]とする。
【0018】
なお、技能レベルの設定は、各運転者の過去の運転操作データに基づいて設定する以外で、例えば、ユーザが任意に設定することも可能である。例えば、運転経験が1年未満の運転者を初級者、1年以上で10年未満の運転者を中級者、10年以上の運転者を上級者に設定することも可能である。なお、本発明は3つの技能レベルに限定されるものではなく、4以上の技能レベルを設定しそれぞれについて異なる感度時間を設定してもよい。
【0019】
運転操作判断部11は、脳活動解析部23で解析された脳波データに基づいて、この運転者の操作種別を判断する。具体的には、この運転者が実行しようとしている行動、即ち、ブレーキペダルを踏もうとしているのか、或いはステアリングを操作しようとしているのか、等を判断する。この判断結果である運転操作情報を、自動機能制御部13に出力する。即ち、運転操作判断部11は、生体情報解析部(脳活動解析部23)による解析結果から、対象者による操作種別を判断する操作種別判断部としての機能を備えている。
【0020】
操作タイミング予測部12は、運転者(対象者)の行動データを取得し、更に、この行動データと脳活動解析部23で解析された脳波データに基づいて、この運転者が実行しようとしている行動の開始タイミングを予測する。例えば、前述の運転操作判断部11で、運転者がブレーキペダルを踏むと判断された場合に、この操作を実行するタイミングを予測する。そして、この予測結果である操作タイミング情報を、自動機能制御部13に出力する。即ち、操作タイミング予測部12は、運転操作データベース24(操作行動記憶部)より対象者の行動データを取得し、更に、この行動データと生体情報の解析結果に基づいて、対象者による操作種別の対象者操作タイミングを予測する対象者操作タイミング予測部としての機能を備えている。
【0021】
周囲環境判断部25は、車両に搭載されたカメラ(図示省略)で外部環境を撮像し、撮像データに基づいて、車両周囲の状況を監視する。例えば、車両の近傍に存在する他車両、走行路に敷設された停止線の位置、障害物の存在等を検出する。この検出データを自動機能装置26に出力する。
【0022】
自動機能装置26は、例えば、ACC(Adaptive Cruise Control)装置であり、車両の運転操作を補助的に操作する機能を有する装置である。なお、ACC装置は周知の装置であるので、詳細な説明を省略する。また、自動機能装置を、自動運転装置とすることも可能である。自動運転装置についても周知の装置であるので、説明を省略する。
【0023】
自動機能制御部13は、運転操作判断部11で検出された運転者の操作種別、及び操作タイミング予測部12で検出された操作種別を実行するタイミングの各データに基づいて、自動機能装置26にサポート指令を出力する。自動機能装置26は、サポート指令が供給された際には、このサポート指令に応じて、自動機能を制御する。具体的には、後述する操作により、運転者の運転操作レベルに適した操作で操作種別(例えば、ステアリング)を操作することにより、運転者があたかも自身で操作している感覚となるように、ステアリングの作動を制御する。こうすることにより、運転者の個人的な運転レベルに適合した違和感のないサポート処理が可能となる。
【0024】
なお、
図1に示すサポート装置100は例えば、中央演算ユニット(CPU)や、RAM、ROM、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。
【0025】
次に、本実施形態に係るサポート装置100の処理手順を、
図2に示すフローチャートを参照して説明する。初めに、ステップS11において、脳活動解析部23は、脳活動検出部21より、運転者の頭部に装着したプローブにて検出される脳波から、運動野から発せられる脳波を取得する。
【0026】
ステップS12において、脳活動解析部23は、取得した脳波と、脳活動データベース22に記憶されている運転者の過去の行動との対応データとを解析する。
【0027】
ステップS13において、運転操作判断部11は、脳活動解析部23での解析結果に基づき、この運転者が実行しようとしている操作種別を検出する。この処理では、操作種別として、運転者によるブレーキ操作、或いは、ステアリング操作を検出することができる。ここでは、操作種別の一例として、運転者が車線変更のためステアリングを操作する場合について説明する。
【0028】
ステップS14において、自動機能制御部13は、自動機能装置26による自動操作を行った場合のタイミング(これを「自動操作タイミングT1」とする)を演算する。即ち、脳活動解析部23にて、運転者によるステアリングの操作意図が検出され、自動機能装置26による自動操作を実施する場合の操作時刻を示す自動操作タイミングT1を演算する。
【0029】
ステップS15において、操作タイミング予測部12は、運転者がステアリングを操作するタイミング(これを「対象者操作タイミングT2」とする)を取得する。このデータは、運転操作データベース24に記憶されている過去の運転データに基づいて、脳波が検出されたタイミングと、実際にステアリングが操作されたタイミングとの遅れ時間(前述した「遅れ時間β」)の統計的なデータから取得することができる。例えば、ある運転者について、ステアリングの操作意図を示す脳波が検出され、その1秒後にステアリング操作が実行された場合には(即ち、β=1[sec])、対象者操作タイミングは、脳波の検出後の1秒後の時刻ということになる。従って、
図3のタイミングチャートに示すように、脳波が検出されるタイミングT0に対して、1秒後が対象者操作タイミングT2となる。また、対象者操作タイミングT2よりも早い時刻に自動操作タイミングT1が存在する。
【0030】
ステップS16において、操作タイミング予測部12は、感度時間記憶部27より、対象となる運転者の感度時間(これを「Δt」とする)を取得する。前述したように、各運転者の運転技能に基づいて、初級者、中級者、及び上級者の技術レベルが設定されており、各技術レベルに応じて感度時間Δtが設定されている。この処理では、対象となる運転者の運転技能に基づいて、感度時間Δtを取得する。例えば、運転者の運転技能が中級者である場合には感度時間Δtは500[msec]に設定される。
【0031】
ステップS17において、対象者操作タイミングT2と自動操作タイミングT1との差分「T2−T1」(これを「時間差α」とする)を演算し、この時間差αと運転者の感度時間Δtとを比較する。そして、α>Δtである場合には(ステップS17でYES)ステップS19に処理を進め、そうでなければ(ステップS17でNO)ステップS18に処理を進める。
【0032】
ステップS18において、自動機能制御部13は、自動機能装置26の作動タイミングTrを、自動操作タイミングT1に設定する。即ち、
図3(b)に示すように、対象者操作タイミングT2から感度時間Δtだけ遡ったタイミングT3bは、自動操作タイミングT1よりも早いタイミングT3bとなるので、自動操作タイミングT1を、ステアリングを自動操作する際の作動タイミングTrとして設定する。
【0033】
ステップS19において、自動機能制御部13は、自動機能装置26の作動タイミングTrを「T2−Δt」に設定する。即ち、
図3(a)に示すように、対象者操作タイミングT2から感度時間Δtだけ遡ったタイミングT3aをステアリングを自動操作する際の作動タイミングTrとして設定する。
【0034】
ステップS20において、自動機能装置26は、作動タイミングTrまで待機し、ステップS21において、現時点でブレーキ操作を実行した場合の自動操作量を演算する。更に、ステップS22において、ステアリング操作を実行する。
【0035】
こうすることにより、運転者がステアリングを操作するタイミングに合致して自動機能装置26による自動操作が実行されることになる。その結果、あたかも運転者が自身でステアリングを操作する感覚で、ステアリングが自動で作動することになる。即ち、運転者に対して、自動機能が作動しているという認識を持たせること無く、ステアリングを自動で作動させることができる。
【0036】
例えば、運転者が中級者である場合には、感度時間Δtが500[msec]に設定され、対象者操作タイミングT2よりも500[msec]だけ早い時点で自動機能が作動することになる。また、運転者が上級者である場合には、感度時間Δtが200[msec]に設定され、対象者操作タイミングT2よりも200[msec]だけ早い時点で自動機能が作動することになる。仮に、上級者に対して感度時間Δtを500[msec]に設定すると、この上級者が通常ステアリング操作するタイミングよりも若干早い時点で自動機能が作動し、ステアリングが作動するので、自身で運転しているという感覚が阻害されてしまい、違和感を感じてしまう。
【0037】
本実施形態ではこのような問題を回避するために、上級者、中級者、初級者のように、技術レベルを区分し、それぞれに応じた感度時間Δtを設定するので、各運転者の技術レベルに応じて自動機能を作動させることができる。
【0038】
即ち、自動機能制御部13は、運転操作判断部11で検出された操作種別(ここでは、ステアリング操作)と、操作タイミング予測部12で検出された操作タイミングに基づいて、ステアリング操作を実行することについてのサポート指令を自動機能装置26に出力する。
【0039】
そして、自動機能装置26は、入力されたサポート指令に基づいて、操作種別を制御するタイミングを変更して、自動機能を作動させる。こうして、運転者個人の特質に適合したタイミングでブレーキペダルやステアリング等の操作種別を自動制御されることとなる。
【0040】
このようにして、本実施形態に係るサポート装置100では、運転者の脳波に基づいて、運転者が将来実行するステアリング操作やブレーキ操作等の操作種別を検出し、更に、この操作種別が実行されるタイミングである対象者操作タイミングT2を検出する。更に、自動機能による操作タイミングである自動操作タイミングT1を検出する。そして、これらの各タイミングに応じて、操作種別を制御する際のサポート指令を出力するので、運転者に対して、自身で運転しているという感覚を保持しつつ、自動機能を作動させることが可能となる。
【0041】
更に、感度時間記憶部27に各運転者毎の感度時間Δtを記憶し、この感度時間Δtを用いて自動機能の作動タイミングを設定するので、運転者の技術レベルに応じた作動タイミングを設定することができる。従って、各運転者に対し、それぞれの技術レベルに適した自動機能の制御が可能となる。
【0042】
また、技術レベルの高い運転者ほど感度時間Δtが短くなるように設定している。換言すれば、操作種別に対する操作感度が高い対象者ほど、感度時間を相対的に短く設定している。従って、各対象者に適したタイミングでの自動機能の制御が可能となる。
【0043】
更に、本実施形態では、操作機器を車両としているので、車両を自動制御する際の運転者の違和感を軽減でき、運転操作によるストレスを回避、或いは軽減することが可能となる。
【0044】
次に、本実施形態に係るサポート装置を採用することによる具体的な運転操作の利点について、以下に示す第1〜第3の運転例を参照して詳細に説明する。
【0045】
[第1の運転例]
図4は、第1の運転例として山岳地域M1の周囲に敷設された見通しの悪いカーブの走行路X1を走行し、更に、停止線H1で停止する場合の例を示している。そして、
図4(a)は、マニュアル操作で車両を運転した場合の走行を示し、
図4(b)は、従来の先行運転支援システムを採用してブレーキを制御した場合の走行を示し、
図4(c)は、本実施形態に係るサポート装置を採用してブレーキを制御した場合の走行を示している。各走行の軌跡を太線で示している。
【0046】
図4(a)に示すように、マニュアル操作で車両を運転した場合には、地点P1に存在する急カーブで車両が走行路X1の外側を走行し、更に、前方の視認性が悪くなるので、速度が低下する。更に、地点P2に存在する2回目の急カーブで再度走行路X1の外側を走行し、その後、停止線H1に気づくのでブレーキ操作が遅れる。従って、符号a1に示すように、車両V1は停止線H1で停止することができないことがある。また、符号a2はブレーキの操作量の変動を示しており、符号a2に示すように、ブレーキ操作が安定せず運転者に違和感を与えてしまう。
【0047】
一方、
図4(b)に示すように、先行運転支援システムを採用した場合には、地点P3にて急カーブを通過するので、急激なステアリング操作となり、運転者が実際に操作するタイミングとの間に時間的なずれが生じ、運転者の運転感覚に適さない挙動となる。更に、地点P4で停止線H1に気づくので、符号b1に示すように、停止線H1で車両V1が停止する場合には、符号b2に示すように急ブレーキ気味になる。
【0048】
図4(c)に示すように、本実施形態に係るサポート装置100を採用した場合には、急カーブが存在する地点P5に達する手前にて運転者のステアリング操作が検出され、運転者の技術レベルに応じた対象者操作タイミングでステアリングが操作されるので、例えば、地点P5に達する1秒前の時点でステアリングが操作されることになる。その結果、急カーブが存在する地点P5において、車両V1がカーブの外側に移動することを防止でき、車両V1を安定させて運転することができる。ひいては、運転者が違和感を感じることを回避できる。更に、車両V1が急カーブの存在する地点P6を走行し、停止線H1に気づいた場合には、運転者がブレーキ操作するタイミングに合わせてブレーキが自動操作されるので、早めにブレーキ操作を実行することができる。従って、符号c1に示すように、車両V1を停止線H1で確実に停止させることができ、且つ、符号c2に示すように、安定的にブレーキ操作を行うことが可能となる。
【0049】
このように、本実施形態に係るサポート装置100を採用することにより、運転者の操作意図に適合するように、ブレーキやステアリング等の操作種別が制御されるので、見通しの悪い走行路X1を走行する場合において、運転者に対して違和無く、且つ円滑な運転制御が可能となる。
【0050】
[第2の運転例]
次に、第2の運転例を、
図5を参照して説明する。
図5は、車両V1が走行路の右側を走行している際に、前方に低速のオートバイが走行している状況を模式的に示す説明図である。
図5(a)は、従来の先行運転支援システムを用いる場合を示し、符号q1は、運転者が走行したいと考える走行路を示し、符号q2は、先行運転支援システムにより制御される走行路を示している。
【0051】
車両V1が地点Z1に達した時点で、オートバイV2を回避する制御が実行されるものとすると、先行運転支援システムによる制御では、車両V1を左方向に移動させてオートバイV2を回避することが困難な状況であり、符号q2のように車両V1の速度を低下させることになる。従って、実際には運転者は、符号q1に示すように、オートバイV2を追い越したいと考えているにも関わらず、車両V1が余儀なく減速されてしまい、運転者に違和感を感じさせてしまう。
【0052】
一方、
図5(b)に示すように、本実施形態に係るサポート装置100を採用した場合には、車両V1が地点Z1に達する前の地点Z0において、ステアリングを作動させることができる。即ち、運転者の脳波に基づき地点Z1にてステアリングを操作することが検出された場合には、例えばその1秒前の地点である地点Z0にてステアリングを自動で操作することが可能である。そして、このような操作を実行することにより、符号q3に示すように、運転者が意図する走行路に適した経路で車両V1を制御し、オートバイV2を回避して円滑に追い越すことができる。
【0053】
このように、第2の運転例では、サポート装置100を採用することにより、運転者の操作意図に適合するように、前方に存在する障害物を回避する操作を行うことができるので、運転者に対して違和無く、且つ円滑な運転制御が可能となる。
【0054】
[第3の運転例]
次に、第3の運転例を、
図6を参照して説明する。車両のブレーキ操作は、運転者が操作すると、操作量が安定化せずに、運転者に対して違和感を感じさせてしまうことがある。第3の運転例では、タイミングを変更せずに、操作種別の操作量のみを変更する。
【0055】
例えば、マニュアル操作でブレーキを操作した場合には、
図6(a)に示すように、ブレーキの操作を開始してから実際に車両が停止線H2で停止するまでに、符号a1のように、ブレーキの操作量が変動し、違和感を感じさせる場合がある。
【0056】
本実施形態に係るサポート装置を採用すると、
図6(b)に示すようにブレーキ操作を開始してから車両が停止線H2にて停止するまでに、符号b1のように、ブレーキによる制動量が滑らかに変化するように制御することができる。即ち、ブレーキ操作が開始された際に、自動機能制御部13は、ブレーキの操作量を滑らかな変化に調整するためのサポート指令を出力する。その結果、運転者に違和感を感じさせることなく、自然な動作で車両V1を停止させることが可能となる。
【0057】
また、上記した実施形態では、操作機器として車両を例に挙げて説明したが、本発明はこれに限定されず、船舶、航空機、及び電動車いす、等の各種の移動体について適用することができる。このような移動体の場合においても、上述した実施形態と同様に、対象者の操作タイミングに合致するタイミングで操作種別を操作するので、あたかも自身で運転している感覚で移動体の操作種別を制御することが可能となる。
【0058】
[変形例の説明]
次に、上述した実施形態の変形例について説明する。上述した第1実施形態では、生体信号の一例として、脳波を例に挙げて説明した。これに対して、変形例では、対象者の筋肉の動きを検出する筋電図を検出して、運転者の操作種別、操作タイミングを検出する。
図7は、変形例に係るサポート装置101の構成を示すブロック図である。
図7に示すように、変形例に係るサポート装置101は、脳活動検出部21の代わりに筋電図検出部51が設けられている点、脳活動データベース22の代わりに筋電図データベース52が設けられている点、及び、脳活動解析部23の代わりに筋電図解析部53が設けられている点が相違する。それ以外の構成は、前述した第1実施形態と同様である。
【0059】
筋電図検出部51は、運転者(対象者)の手、足等の動きを生じる部位に装着する筋電図検出センサを備えており、運転者の筋電図を測定する。
【0060】
筋電図データベース52は、運転者の筋電図情報を累積的に記憶する。具体的には、筋電図検出部51で検出された筋電図と、実際に運転者が実行した行動とを対応させ、この対応データを累積的に記憶する。
【0061】
筋電図解析部53は、筋電図検出部51で筋電図が検出された際に、この筋電図を解析し、更に、筋電図データベース52を参照し、解析した筋電図情報に対応付けされている対応データを取得する。
【0062】
そして、前述した第1実施形態と同様に、筋電図を用いて運転者の操作種別、及び自動操作タイミング、対象者操作タイミングを検出して、サポート指令を出力し、自動機能装置26による自動機能を作動させる。こうすることにより、前述した第1実施形態と同様に、運転者に運転感覚に合致したタイミングで自動機能を作動させることが可能になる。
【0063】
[第2実施形態の説明]
次に、第2実施形態について説明する。本発明は、移動体に限定されるものではなく、ゲーム機や、エクソスケルトン(Exoskeleton;人間が装着する強化スーツ)等について適用することも可能である。例えば、ゲーム機の場合には、遊技者(対象者)がゲーム機を操作してゲームを実行する場合、該遊技者の頭部に脳波検出用のプローブを装着する。そして、遊技者の脳波に基づいて、ゲーム機を自動で操作することにより、より操作性が高く、迫力のあるゲーム性を設定することが可能となる。具体的には、遊技者がゲーム機のコントローラを操作することが脳波により検出された際に、このコントローラの操作性を高めるように、遊技者の操作感覚に適したタイミングでコントローラを作動させることにより、遊技者はあたかも自身で操作しているようにコントローラを操作することが可能になり、高い操作性でゲーム機を作動させることが可能になる。
【0064】
また、作業者(対象者)の動作を補助するエクソスケルトンに適用することも可能である。エクソスケルトンは、作業者の体幹の曲げ伸ばし補助機能により、重量物の荷役作業を補助するものである。具体的には、作業者の頭部に脳波検出用のプローブを装着し、該プローブを用いて作業者の脳波を検出する。そして、本発明に係るサポート装置を用いて操作種別、及び操作タイミングを検出することにより、作業者が意図する動作タイミングに適したタイミングでエクソスケルトンの作動を制御する。こうすることにより、作業者は、あたかも自身が操作している感覚でエクソスケルトンを作動させて、重量物の荷役作業を実行することが可能になり、ひいては、作業効率を向上させることが可能となる。
【0065】
以上、本発明のサポート装置、及びサポート方法を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。