特開 2024-165972 状態判定方法、状態判定装置及び状態判定用学習済みモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165972

(43)【公開日】2024-11-28

(54)【発明の名称】状態判定方法、状態判定装置及び状態判定用学習済みモデル

(51)【国際特許分類】

   A61B 10/00 20060101AFI20241121BHJP

   B60W 40/08 20120101ALI20241121BHJP

   B60W 60/00 20200101ALI20241121BHJP

   B60K 28/06 20060101ALI20241121BHJP

   A61B 5/026 20060101ALI20241121BHJP

   A61B 5/18 20060101ALI20241121BHJP

   A61B 5/16 20060101ALI20241121BHJP

   G08G 1/16 20060101ALI20241121BHJP

【ＦＩ】

A61B10/00 E

B60W40/08

B60W60/00

B60K28/06 Z

A61B5/026 120

A61B5/18

A61B5/16 120

A61B5/16 130

G08G1/16 F

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023082607

(22)【出願日】2023-05-18

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】劉 権鋒

(72)【発明者】

【氏名】宝来 淳史

(72)【発明者】

【氏名】柳沼 基

【テーマコード（参考）】

3D037

3D241

4C017

4C038

5H181

【Ｆターム（参考）】

3D037FA09

3D241BA70

3D241CA06

3D241CA08

3D241CE06

3D241CE08

3D241DD04

4C017AA11

4C017AB06

4C017AC28

4C017BC11

4C017BD04

4C017CC02

4C017DD14

4C017FF05

4C038PP03

4C038PP05

4C038PQ03

4C038VA15

4C038VB02

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181FF27

5H181FF33

5H181LL07

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】運転者の脳内のうち脳活動を正確に検出できない部分がある場合であっても、運転者の状態を判定できる状態判定方法、状態判定装置及び状態判定用学習済みモデルを提供することである。
【解決手段】状態判定装置は、状態判定用学習済みモデルに、車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を入力し、状態判定用学習済みモデルから運転者の状態を出力させることで、運転者の状態を判定し、状態判定用学習済みモデルは、分布画像と運転者の状態とを含む教師データに基づいて運転者の状態を判定するための学習がされた学習済みモデルである。
【選択図】図１

【特許請求の範囲】

【請求項1】

状態判定装置によって実行される状態判定方法であって、
前記状態判定装置は、
車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を取得し、
状態判定用学習済みモデルに前記分布画像を含む入力データを入力し、
前記状態判定用学習済みモデルから、前記入力データに対応する出力データとして、前記運転者の状態を出力させることで、前記運転者の状態を判定し、
前記状態判定用学習済みモデルは、前記分布画像と前記運転者の状態とを含む教師データに基づいて、前記運転者の状態を判定するための学習がされた学習済みモデルである状態判定方法。

【請求項2】

請求項１に記載の状態判定方法であって、
前記教師データは、前記脳血流の分布の特徴を強調する処理をした前記分布画像を含む状態判定方法。

【請求項3】

請求項１又は２に記載の状態判定方法であって、
前記状態判定用学習済みモデルは、前記教師データに含まれる前記分布画像から抽出された前記脳血流の分布の特徴に基づいて学習がされた学習済みモデルである状態判定方法。

【請求項4】

請求項１又は２に記載の状態判定方法であって、
前記教師データは、ノイズを生じさせる処理をした前記分布画像を含む状態判定方法。

【請求項5】

請求項１又は２に記載の状態判定方法であって、
前記教師データは、前記脳血流の分布以外の信号の変動を含まない前記分布画像を含む状態判定方法。

【請求項6】

請求項１又は２に記載の状態判定方法であって、
前記教師データは、前記脳血流の分布以外の信号の変動を含む前記分布画像を含む状態判定方法。

【請求項7】

請求項１又は２に記載の状態判定方法であって、
前記教師データは、前記脳血流の分布以外の信号の変動を含まない前記分布画像である処理前分布画像と、前記処理前分布画像に対してノイズを生じさせる処理をした前記分布画像とを含む状態判定方法。

【請求項8】

請求項１又は２に記載の状態判定方法であって、
前記教師データは、外乱によるノイズが発生する条件で検出した前記運転者の前記脳血流の分布を含む前記分布画像を含む状態判定方法。

【請求項9】

請求項１又は２に記載の状態判定方法であって、
前記状態判定装置は、ノイズを除去する処理をした前記分布画像を含む前記入力データを前記状態判定用学習済みモデルに入力する状態判定方法。

【請求項10】

車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を取得する取得部と、
状態判定用学習済みモデルに前記分布画像を含む入力データを入力し、前記状態判定用学習済みモデルから、前記入力データに対応する出力データとして、前記運転者の状態を出力させることで、前記運転者の状態を判定する判定部と、を備え、
前記状態判定用学習済みモデルは、前記分布画像と前記運転者の状態とを含む教師データに基づいて、前記運転者の状態を判定するための学習がされた学習済みモデルである状態判定装置。

【請求項11】

車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を含む入力データが入力される入力層と、
前記運転者の状態を含む出力データを出力する出力層とを含むニューラルネットワークにより構成された状態判定用学習済みモデルであって、
前記入力データと前記出力データとを対応付けた教師データを用いて、前記運転者の状態を判定するための学習がされていて、
前記入力層に前記入力データが入力されると、前記出力層から、前記入力データに対応する前記出力データを出力するように、コンピュータを機能させるための状態判定用学習済みモデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、状態判定方法、状態判定装置及び状態判定用学習済みモデルに関するものである。

【背景技術】

【0002】

車両の運転者の脳内部の活性化した部位を検出可能な脳活動センサの検出結果を用いて、運転者の不安度合いが閾値を超えているか否かを判定し、閾値を超えていると判定した場合、運転者の不安度合いが高いことに対応するよう車両を制御する技術が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－６４７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、例えば、運転者の体動などのノイズによって、脳内のうち脳活動を正確に検出できない部分がある場合に、運転者の状態を判定できないという問題がある。

【0005】

本発明が解決しようとする課題は、運転者の脳内のうち脳活動を正確に検出できない部分がある場合であっても、運転者の状態を判定できる状態判定方法、状態判定装置及び状態判定用学習済みモデルを提供することである。

【課題を解決するための手段】

【0006】

本発明は、状態判定用学習済みモデルに、車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を入力し、状態判定用学習済みモデルから運転者の状態を出力させることで、運転者の状態を判定し、状態判定用学習済みモデルは、分布画像と運転者の状態とを含む教師データに基づいて運転者の状態を判定するための学習がされた学習済みモデルであることによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、運転者の脳内のうち脳活動を正確に検出できない部分がある場合であっても、運転者の状態を判定できる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係る状態判定装置を含む運転支援システムのブロック構成を示す図である。

【図2】図２は、本実施形態に係る状態判定装置によって実行される状態判定方法の制御処理のフローチャートの一例を示す図である。

【図3】図３は、本実施形態にかかる状態判定用学習済みモデルを生成するための制御処理のフローチャートの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。本発明の実施形態に係る状態判定装置を、運転支援システムに適用した場合を例にして説明する。なお、状態判定装置は、運転支援システムに適用することに限らず、他のシステム等に適用されることとしてもよい。

【0010】

図１は、本実施形態に係る状態判定装置を含む運転支援システムのブロック構成を示す図である。運転支援システム１は、脳血流センサ２０と、状態判定装置１００と、車両コントローラ２００と、出力装置３００と、を備える。各装置は、車両に搭載されている装置であって、有線又は無線により相互に情報の授受が可能に接続されている。例えば、各装置は、ＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。運転支援システム１は、車両の走行を制御することにより、車両の運転を支援する。運転支援システム１は、自律走行制御による車両の走行のみならず、運転者の手動運転による車両の走行を支援する場合にも適用できる。また、車両の自律走行制御に適用する場合、運転支援システム１は、速度制御と操舵制御の両方を自律制御するほか、速度制御と操舵制御の一方を自律制御し、他方を手動制御する場合にも適用することができる。

【0011】

本実施形態では、運転支援システム１は、状態判定装置１００による運転者の状態の判定結果に基づいて、車両の運転を支援する。状態判定装置１００は、運転者の状態を判定し、運転者の状態の判定結果を車両コントローラ２００及び／又は出力装置３００に送信する。車両コントローラ２００は、運転者の状態の判定結果に応じて、車両の自律走行制御を実行する。出力装置３００は、運転者の状態の判定結果に応じて、車両の運転者を含む乗員に通知情報を出力する。

【0012】

自律走行制御の場合には、運転の一部又は全部をシステムが実行するが、運転者は周囲の交通状況やシステムの動作を監視する必要がある。そのため、状態判定装置１００は、運転者がどのような状態で自律運転を監視しているか判定する。例えば、運転者が車両の走行中に手動運転に集中していないような場合には、運転支援システム１は、車両の運転を自律制御に切り替える。また、運転者が自律運転を監視している場合に、運転者が覚醒していないときには、運転支援システム１は、運転者を目覚めさせるように通知情報を出力する。本実施形態では、脳血流センサを用いて、運転者が運転以外の考え事のような脳活動を測定することで、脳活動から運転者の状態を判定する。以下、具体的な方法について説明する。

【0013】

脳血流センサ２０は、運転者の頭部に装着されるセンサであって、運転者の脳血流を検出する。例えば、脳血流センサ２０は、機能的近赤外分光装置（ｆＮＩＲＳ：ｆｕｎｃｔｉｏｎａｌ ｎｅａｒ ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓｃｏｐｙ）である。機能的近赤外分光装置は、生体透過性の高い近赤外光を頭皮上から照射し、脳組織を透過した光を受光することで脳内の酸素化ヘモグロビン濃度（Ｏｘｙ－Ｈｂ）及び脱酸素化ヘモグロビン濃度（ｄｅＯｘｙ－Ｈｂ）の変化を同時に検出する。本実施形態では、脳血流センサ２０は、神経活動にカップリングした脳血流変化の最も良い指標と言われるＯｘ－Ｈｂ信号を用いて、脳血流の変化を検出する。脳血流センサ２０は、前頭額部などの運転者の頭部の所定位置における脳血流量を検出する。所定位置は複数の位置であって、各所定位置が所定の間隔で配置される。各所定位置にプローブセンサが設置される。すなわち、プローブセンサが、運転者の頭部の複数位置に所定の間隔で配置されて、信号を検出する。

【0014】

脳血流センサ２０は、所定時間において脳血流量を時系列順に一定の周期で検出し、所定時間における脳血流量の変化を示す時系列データを取得する。例えば、脳血流センサ２０は、車両が走行している間、脳血流量の変化を示す時系列データを検出する。また、脳血流センサ２０は、同一の時点で検出された各所定位置の脳血流量に基づいて、当該時点における脳血流の分布を含む分布画像を取得する。分布画像として、時系列順に複数の画像が取得される。分布画像は、脳内の各領域における脳血流量の増減を示す２次元マトリクスである。分布画像は、脳血流量が増加している領域及び脳血流量が減少している領域の分布を含む。例えば、分布画像では、脳血流量が増加している領域は暖色系の色で示され、脳血流量が減少している領域は寒色系の色で示される。また、分布画像では、各領域における脳血流の変化量が示される。例えば、変化量が大きいほど、より濃い色で示される。脳血流の分布は、頭部の少なくとも一部、すなわち、全部又は一部の所定位置における脳血流を含む分布である。

【0015】

以下、本実施形態に係る状態判定装置１００について説明する。状態判定装置１００は、車両の運転者の状態を判定する。運転者の状態の判定は、運転者が運転支援を必要とする状態か否かの判定である。運転者が運転支援を必要とする状態とは、運転者が運転の操作及び／又は運転の監視をすることができない状態であって、例えば、運転者が運転の操作及び／又は運転の監視に集中していない状態、運転者が覚醒していない状態、不安を感じている状態である。また、運転者が運転支援を必要としない状態とは、運転者が運転の操作及び／又は運転の監視をすることができる状態であって、例えば、運転者が運転の操作及び／又は運転の監視に集中している状態、運転者が覚醒している状態、不安を感じていない状態である。状態判定装置１００は、脳血流センサ２０から運転者の脳血流の分布を含む分布画像を取得し、分布画像に基づいて、運転者の状態を判定する。状態判定装置１００は、プロセッサ１０と、記憶装置３０とを備える。

【0016】

プロセッサ１０は、運転者の状態を判定する状態判定処理を実行させるプログラムが格納されたＲＯＭ１２と、このＲＯＭ１２に格納されたプログラムを実行することで、状態判定装置１００として機能する動作回路としてのＣＰＵ１１と、アクセス可能な記憶装置として機能するＲＡＭ１３と、を備えるコンピュータである。プロセッサ１０は、脳血流センサ２０、車両コントローラ２００及び出力装置３００と相互に情報の授受を行う。

【0017】

プロセッサ１０は、機能ブロックとして、取得部１１０と、判定部１１１と、制御指示部１１２と、学習部１１３とを備える。本実施形態のプロセッサ１０は、上記各機能を実現する又は各処理を実行するためのソフトウェアと、上述したハードウェアとの協働により各機能を実行する。なお、本実施形態では、プロセッサ１０が有する機能を４つのブロックとして分けた上で、各機能ブロックの機能を説明するが、プロセッサ１０の機能は必ずしも４つのブロックに分ける必要はなく、３つ以下の機能ブロック、あるいは、５つ以上の機能ブロックで分けてもよい。また、これらの機能ブロックは、プロセッサ１０に備えられることとしているが、これに限らず、他の装置に備えられることとしてもよい。例えば、プロセッサ１０は学習部１１３を備えることとしているが、これに限らず、学習部１１３は、プロセッサ１０の外部の装置に備えられることとしてもよい。このような場合には、プロセッサ１０は、外部で学習された状態判定用学習済みモデルを外部の装置から取得し、記憶装置３０に格納することとしてもよい。

【0018】

取得部１１０は、運転者の少なくとも一部の脳血流の分布を含む分布画像を取得する画像取得処理を実行する。例えば、取得部１１０は、車両が走行を開始する場合に、画像取得処理を開始する。すなわち、取得部１１０は、車両が走行している間、一定の周期で、脳血流センサ２０から、運転者の脳血流の分布を含む分布画像を取得する。取得部１１０は、脳血流センサ２０から、脳血流量の変化を示す時系列データを取得することとしてもよい。

【0019】

また、取得部１１０は、ノイズを除去する処理をした分布画像を取得してもよい。取得部１１０は、脳血流センサ２０から取得した時系列データにノイズを除去する処理を行って、ノイズを除去する処理をした後の時系列データに基づく分布画像を取得する。例えば、取得部１１０は、脳血流量の時系列データに対して、体動フィルターを用いて、運転者の体動によって生じるノイズを除去する処理をする。また、取得部１１０は、脳血流量の時系列データに対して、光対策フィルターを用いて、光外乱によって生じるノイズを除去する処理をする。具体的には、取得部１１０は、体動の周波数、光の周波数、脳血流の周波数をそれぞれ算出し、バンドパスフィルターを用いて、体動によって生じるノイズ及び／又は光外乱によって生じるノイズを除去する。取得部１１０は、複数位置におけるノイズを除去する処理をした各脳血流量の時系列データから、同一の時点で検出した脳血流の分布を含む分布画像を生成することで分布画像を取得する。

【0020】

また、取得部１１０は、分布画像と運転者の状態とを含む教師データを取得してもよい。例えば、取得部１１０は、ユーザによって教師データが入力された場合に、教師データを取得する。教師データについては後述する。

【0021】

判定部１１１は、運転者の状態を判定する判定処理を実行する。判定処理では、判定部１１１は、取得部１１０によって取得された分布画像を含む入力データを状態判定用学習済みモデルに入力し、状態判定用学習済みモデルから、入力データに対応する出力データとして運転者の状態を出力させることで、運転者の状態を判定する。また、判定部１１１は、ノイズを除去する処理をした分布画像を含む入力データを状態判定用学習済みモデルに入力してもよい。状態判定用学習済みモデルについては後述する。

【0022】

運転者の状態は、運転者が運転に集中している状態、運転者が覚醒している状態、不安を感じている状態を含む。状態判定用学習済みモデルは、運転者の各状態に対して分布画像が対応づけられるように学習されている。これにより、状態判定用学習済みモデルは、分布画像が入力されると、運転者の各状態のうち、分布画像に対応する運転者の状態を含む出力データを出力する。

【0023】

本実施形態では、判定部１１１は、状態判定用学習済みモデルから出力される運転者の状態に基づいて、運転者が運転支援を必要とする状態か否かを判定する。例えば、判定部１１１は、状態判定用学習済みモデルから、運転者が運転に集中していない状態、運転者が覚醒していない状態、及び／又は、不安を感じている状態であるとの出力データが出力された場合に、運転者が運転支援を必要とする状態であると判定する。また、判定部１１１は、状態判定用学習済みモデルから、運転者が運転に集中している状態、運転者が覚醒している状態、及び／又は、不安を感じていない状態であるとの出力データが出力された場合に、運転者が運転支援を必要としない状態であると判定する。

【0024】

制御指示部１１２は、判定部１１１によって判定された判定結果に応じて、車両の運転支援制御及び乗員への通知のうちの少なくともいずれか一方を実行させる。制御指示部１１２は、判定結果に応じて、制御指示を車両コントローラ２００及び／又は出力装置３００に送信する。本実施形態では、制御指示部１１２は、運転者が運転支援を必要とする状態である場合に、制御指示を車両コントローラ２００及び／又は出力装置３００に送信する。制御指示は、例えば、車両コントローラ２００に対する、車両の自律制御を実行させる制御指示である。また、制御指示は、例えば、出力装置３００に対する、運転者の状態を含む通知情報を乗員に通知させる制御指示である。

【0025】

また、制御指示部１１２は、判定結果に応じて、運転支援制御に係る支援レベルを変更して、変更後の支援レベルによって運転支援制御を実行することとしてもよい。例えば、制御指示部１１２は、運転者が運転支援を必要とする状態であると判定した場合には、運転者が運転支援を必要としない状態であると判定した場合よりも、支援レベルを高く変更する。制御指示部１１２は、変更後の支援レベルで運転支援制御を実行するための制御指示を生成し、車両コントローラ２００に出力する。支援レベルは、車両の走行動作の制御に対して、運転支援システム１がどの程度介入するのか、換言すれば、運転者の手動操作がどの程度介入するのか、が定められている。運転支援システム１は、自律速度制御機能を用いた走行速度の自律制御と、自律操舵制御機能を用いた操舵操作の自律制御とを組み合わせて、車両の走行を自律制御するにあたり、各支援レベルで定められた運転操作の支援を実現する。

【0026】

本実施形態の支援レベルは、たとえば、米国自動車技術会（SAE：Society of Automotive Engineers）から公開されているSAE J3016: SEP2016, Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehiclesにおいて定義された運転自動化レベルに基づいて設定することができる。

【0027】

また、制御指示部１１２は、運転者への通知を実行させることとしてもよい。例えば、制御指示部１１２は、運転者が運転支援を必要とする状態であると判定した場合には、運転者が運転支援を必要とする状態であることを示す画像情報及び／又は音声情報を乗員に出力させる制御指示を出力装置３００に出力する。

【0028】

なお、本実施形態では、運転者が運転支援を必要とする状態か否かを判定した判定結果に応じて、車両の運転支援制御及び乗員への通知のうちの少なくともいずれか一方を実行させることとしているが、運転者の状態に応じて、車両の運転支援制御及び乗員への通知のうちの少なくともいずれか一方を実行させる構成であれば、これに限らない。例えば、運転者が運転に集中していない状態、運転者が覚醒していない状態、及び／又は、不安を感じている状態それぞれの判定結果に応じて、車両の運転支援制御及び乗員への通知のうちの少なくともいずれか一方を実行させてもよい。例えば、運転者が覚醒していない状態である場合には、制御指示部１１２は、運転者を目覚めさせるための通知情報を出力させてもよい。また、本実施形態では、制御指示部１１２は、必須の構成ではなく、必要に応じて適宜適用されることとしてもよい。例えば、プロセッサ１０は、機能として、制御指示部１１２を備えることに限らず、判定部１１１による判定結果のみを車両コントローラ２００及び／又は出力装置３００に送信することとしてもよい。この場合、車両コントローラ２００及び／又は出力装置３００は、判定結果に応じて、各機能を実行する。

【0029】

学習部１１３は、分布画像と運転者の状態とを含む教師データを用いて、ニューラルネットワークの学習を行い、運転者の状態を判定するための状態判定用学習済みモデルを生成する。例えば、学習部１１３は、オープンソースの機会学習ライブラリＰｙＴｏｒｃｈを使い、畳み込みニューラルネットワーク（ＣＮＮ）によって学習を行う。教師データは、分布画像と運転者の状態とを対応付けたデータである。教師データに含まれる分布画像は、学習用の分布画像とも称する。学習用の分布画像は、状態判定用学習済みモデルを生成するために取得される分布画像であって、シミュレーション及び／又は実験で取得される分布画像である。例えば、学習用の分布画像は、実験参加者の頭部に装着された脳血流センサによって取得した脳血流の分布を含む。学習用の分布画像としては、実験等において所定時間（例えば、１分間）に複数の分布画像が取得される。学習用の分布画像は、人間の頭部における少なくとも一部の脳血流の分布を含む分布画像である。

【0030】

ここで、運転者の状態として、運転者が集中しているか否かを判定することを例に、教師データの取得について説明する。例えば、教師データを取得するための実験では、参加者が運転の監視のみを行う時間（参加者が運転の監視に集中している時間）と、参加者が運転の監視と他の作業とを行う時間（参加者が運転の監視に集中していない時間）とを設けて、それぞれの時間（各時間は例えば１分）における参加者の脳血流量の変化を示す学習用の時系列データが取得される。また、それぞれの時間において、各時点における脳血流量の分布を含む分布画像が取得される。例えば、１秒ごとに１枚、すなわち、６０枚の学習用の分布画像が取得される。そして、各分布画像が、監視に集中している状態又は監視に集中していない状態にそれぞれ対応付けられる。

【0031】

本実施形態では、例えば、学習に用いられる畳み込みニューラルネットワークにおいて、畳み込み層はカーネルを３×３のマトリクスとし、活性化関数はＲｅ－ＬＵが用いられる。プーリング層では、ｍａｘプーリングを用いて特徴量と計算コストの削減が行われる。畳み込みニューラルネットワークの構成は、畳み込み層を３度適用し、最後に全結合を行う構成とする。損失関数は交差エントロピー誤差が用いられる。また、畳み込みニューラルネットワークの構成は、入力層の分布画像から、出力層の運転者の状態に関する２値データ（例えば、運転者が運転の監視に集中している状態か、運転者が運転の監視に集中していない状態か）までを一括で学習するＥｎｄ－ｔｏ－Ｅｎｄ学習の構成とする。なお、畳み込みニューラルネットワークの構成は、これらの構成に限定されず、必要に応じて適宜他の構成が適用されてもよい。

【0032】

本実施形態では、学習に畳み込みニューラルネットワークを用いることで、分布画像にノイズやズレなどの脳血流を正確に検出できていない部分があっても、運転者の状態をより正確に判定できるように学習済みモデルを生成できる。畳み込みニューラルネットワークは、畳み込み層とプーリング層とから構成されるため、畳み込み演算とプーリング処理によって、判定のロバスト性を高めることができる。畳み込み演算は、移動不変性を与えるため、局所的な数値のズレに対してロバスト性を高める。また、プーリング処理は、ｍａｘプーリングを用いることで、一部の信号にノイズが生じていても、最大値のプーリングが変化しないため、局所的なノイズに対してロバスト性を高める。

【0033】

本実施形態では、学習部１１３は、分布画像における活性化している領域と運転者の状態とを対応付けて学習させることに限らず、活性化している領域及び活性化していない領域を含む脳内全体の分布画像と運転者の状態とを対応付けて学習させる。これにより、活性化している領域の分布の特徴を用いて学習を行うよりも、活性化している領域及び活性化していない領域の両方の領域における脳血流の分布の特徴を用いて学習を行うことで、状態判定用学習済みモデルは、運転者の状態の判定をより正確に行うことができるようになる。

【0034】

また、学習部１１３は、脳血流の時系列データと運転者の状態とを対応付けた教師データを用いて、ニューラルネットワークの学習を行い、運転者の状態を判定するための状態判定用学習済みモデルを生成してもよい。教師データに含まれる時系列データは、学習用の時系列データである。例えば、学習用の時系列データは、所定時間における脳血流量の変化を含むデータである。所定時間は、例えば、１分間である。本実施形態では、学習部１１３は、線形判別分析（ＬＤＡ：Ｌｉｎｅｒ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ａｎａｌｙｓｉｓ）を用いて、時系列データに基づく学習を行う。以上により、学習部１１３は、分布画像及び／又は時系列データに基づいて、状態判定用学習済みモデルを生成する。学習部１１３は、生成した状態判定用学習済みモデルを記憶装置３０に記憶させる。

【0035】

また、本実施形態では、学習部１１３は、活性化している領域における時系列データを用いて学習を行うことに限らず、活性化していない領域における時系列データを含めて学習を行うこととしてもよい。これにより、活性化している領域における時系列データを用いて学習を行うよりも、活性化している領域及び活性化していない領域の両方の領域における時系列データを含めて学習を行うほうが、運転者の状態の判定をより正確に行うことができる。

【0036】

以上のように、本実施形態では、学習部１１３は、脳血流の時系列データ及び脳血流の分布画像を用いて学習を行う。すなわち、脳内の時間的変化及び空間的変化の二面性のデータを用いて学習が行われる。機械学習による判定では、特定の脳活動とは関係がない領域も含め特徴量が抽出され、判定の精度を高めることができる。例えば、特定の脳活動と関係のある領域など、運転者の脳内に脳活動を正確に検出できない部分があっても、特定の脳活動と関係のない他の領域を含む特徴量に基づく学習により状態判定用学習済みモデルの判定精度が高まるため、状態判定装置１００は、状態判定用学習済みモデルを用いて運転者の状態を判定できる。

【0037】

記憶装置３０は、各種情報を記憶する記憶媒体である。記憶装置３０は、状態判定用学習済みモデル３１を記憶する。状態判定用学習済みモデル３１は、学習部１１３により、分布画像と運転者の状態とを含む教師データに基づいて、運転者の状態を判定するための学習がされた学習済みモデルである。具体的な学習方法は前述の学習部１１３の機能の説明が適宜援用される。

【0038】

状態判定用学習済みモデルは、車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を含む入力データが入力される入力層と、運転者の状態を含む出力データを出力する出力層とを含むニューラルネットワークにより構成される。状態判定用学習済みモデルは、入力データと出力データとを対応付けた教師データを用いて、運転者の状態を判定するための学習がされている。状態判定用学習済みモデルは、入力層に入力データが入力されると、出力層から、入力データに対応する出力データを出力するように、コンピュータを機能させる。

【0039】

また、状態判定用学習済みモデルは、教師データに含まれる分布画像（学習用の分布画像）から抽出された脳血流の分布の特徴に基づいて学習がされた学習済みモデルであってもよい。例えば、学習部１１３は、分布画像を所定数の領域（メッシュ）に分割して、各領域の間の比率又は相関係数を特徴量として抽出してもよい。ふたつの領域が相関している場合には、当該領域が相関していない場合よりも、ふたつの領域の間の比率又は相関係数は高く算出される。例えば、ふたつの領域において脳血流量がともに増加又は減少している場合には、ふたつの領域は相関している。ふたつの領域においていずれか一方の脳血流量が増加し、他方が減少している場合には、ふたつの領域は相関していない。また、学習部１１３は、ＣＮＮアルゴリズムを用いて、分布画像から脳血流の分布の特徴を抽出してもよい。分布画像から特徴を抽出する方法は、これに限らず、その他公知の方法を用いることとしてもよい。

【0040】

教師データは、脳血流の分布の特徴を強調する処理をした分布画像を含むこととしてもよい。例えば、教師データに含まれる分布画像は、安定条件下での運転者の脳血流の分布を基準（ベースライン）として、運転者のその他の状態の脳血流の分布の、基準との差を示す分布画像である。安定条件とは、例えば、ＤＭＮ（Ｄｅｆａｕｌｔ Ｍｏｄｅ Ｎｅｔｗｏｒｋ）状態である。運転者のその他の状態とは、例えば、運転者が運転に集中している状態、運転者が覚醒している状態、不安を感じている状態を含む。本実施形態では、学習部１１３は、例えば、実験等において、運転者の頭部に装着された脳血流センサから、安定条件下での運転者の脳血流の分布を含む分布画像と、運転者が運転に集中している状態の脳血流の分布を含む分布画像とを取得する。学習部１１３は、取得した分布画像に基づいて、運転者が運転に集中している状態の分布の、安定条件下での分布との差を示す分布画像を学習用の分布画像として取得する。

【0041】

ここで、脳血流の分布の特徴を強調する処理をした分布画像の取得方法の一例について説明する。学習部１１３は、例えば、安定条件下以外の所定の状態の運転者の脳血流の分布画像Ａと、安定条件下での運転者の脳血流の分布画像Ｂとを取得する。例えば、分布画像Ａでは、左右の外側部が中央部よりも活性化していて、脳血流の変化量が大きいが、分布画像Ｂにおいても、左右の外側部が中央部よりも活性化していて、脳血流の変化量が大きい場合、両分布画像の差を示す分布画像Ｃでは、安定条件下の状態における脳血流の変化量との比較になるため、左右の外側部は脳血流の変化量が小さくなる。

【0042】

また、脳血流の分布の特徴を強調する処理をした分布画像は、所定の時点よりも前の所定時間で取得された複数の分布の平均値を基準（ベースライン）として、所定の時点における脳血流の分布の、基準との差を示す分布画像であってもよい。所定時間は、例えば、３０秒間である。

【0043】

また、脳血流の分布の特徴を強調する処理をした分布画像は、所定数の領域（メッシュ）に分割されて、各領域に所定の重みづけがされた分布画像であってもよい。本実施形態では、脳内の各領域のうち、特定の領域に予め重みづけが設定されている。例えば、運転者の状態ごとに脳内の活性化する領域が推測されているため、運転者が所定の状態である場合に脳内で活性化する領域が特定の領域として設定される。この場合には、脳血流の分布の特徴を強調する処理をした分布画像は、脳内の領域ごとに、当該領域に対応する重みづけを積算した脳血流量の分布を含む画像である。

【0044】

教師データは、脳血流の分布以外の信号の変動を含まない分布画像を含むこととしてもよい。当該分布画像は、処理前分布画像とも称する。脳血流の分布以外の信号の変動を含まない分布画像は、脳血流の分布以外のノイズを除去した分布画像であってもよいし、外乱によるノイズが発生しない条件で検出した運転者の脳血流の分布を含む分布画像であってもよい。脳血流の分布以外のノイズを除去した分布画像は、例えば、血圧性変動、呼吸性変動、体動などによって生じるノイズを除去するためにトレンド除去を行って、０．１Ｈｚのローパスフィルタを適用した分布画像である。これにより、分布画像にノイズがないため、分布の特徴をより正確に抽出しやすく、学習速度を高めることができる。

【0045】

教師データは、脳血流の分布以外の信号の変動を含む分布画像を含むこととしてもよい。例えば、学習用の分布画像は、ノイズを生じさせる処理をした分布画像である。学習用の分布画像は、脳血流の分布の一部の信号が小さい、又は、脳血流の分布の一部の信号を含まない分布画像であってもよい。例えば、当該分布画像は、脳血流の分布の一部にマスキング処理をした分布画像、又は、脳血流の分布の一部にエラーを含む分布画像である。具体的には、学習部１１３は、頭部の各所定位置で検出される脳血流信号のうち、一部の脳血流信号にガウシアンノイズを付与した分布画像を用いて学習を行う。また、教師データは、処理前分布画像と、処理前分布画像に対してノイズを生じさせる処理をした分布画像とを含むこととしてもよい。ノイズを含む分布画像を学習に用いることで、学習モデルの過学習を抑えて、ロバスト性を高めて、判定の精度を高くすることができる。

【0046】

また、学習用の分布画像は、脳血流の分布の一部においてノイズがある分布画像であってもよい。脳血流の分布の一部においてノイズがある分布画像は、例えば、脳血流の分布の一部に対して幾何学的な変換処理を行ってノイズを生じさせた分布画像である。幾何学的な変換処理は、画像の拡大、縮小、回転などの変換処理である。また、脳血流の分布の一部においてノイズがある分布画像は、脳血流の分布の一部にホワイトノイズを含む分布画像であってもよい。

【0047】

また、脳血流の分布以外の信号の変動を含む分布画像は、外乱によるノイズが発生する条件で検出した運転者の脳血流の分布を含む分布画像であってもよい。外乱によるノイズが発生する条件は、例えば、日射があるという条件、運転者の体動があるという条件、及び／又は、運転者の髪の毛の上から脳血流を検出するという条件である。

【0048】

車両コントローラ２００は、電子コントロールユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ)などの車載コンピュータであり、車両の運転を律する駆動機構を電子的に制御する。車両コントローラ２００は、駆動機構に含まれる駆動装置、制動装置、および操舵装置を制御して、車両を走行させる。

【0049】

駆動機構には、走行駆動源である電動モータ及び／又は内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、動力伝達装置を制御する駆動装置、及び車輪を制動する制動装置などが含まれる。車両コントローラ２００は、これら駆動機構の各制御信号を生成し、車両の加減速を含む運転制御を実行させる。駆動機構に制御情報を送出することにより、車両の加減速を含む運転制御を自動的に行うことができる。駆動装置及び制動装置は、車両コントローラ２００から取得した制御信号、又は運転者のアクセル操作及びブレーキ操作による入力信号に基づいて、車両の加減速制御を実行する。

【0050】

また、車両コントローラ２００は、車両が走行経路（軌跡）に対して所定の横位置を維持しながら走行するように操舵装置の制御を行う。本明細書における走行経路は、車両が走行する軌跡に対応する経路であり、道路、道路の上り／下り、道路の車線ごとに識別可能である。操舵装置は、ステアリングアクチュエータを備える。ステアリングアクチュエータは、ステアリングのコラムシャフトに取り付けられるモータ等を含む。操舵装置は、車両コントローラ２００から取得した制御信号、又は運転者のステアリング操作による入力信号に基づいて車両の操舵制御を実行する。

【0051】

本実施形態では、車両コントローラ２００は、状態判定装置１００によって判定された運転者の状態に応じて、自律走行制御を実行する。例えば、車両コントローラ２００は、状態判定装置１００から送信される制御指示に基づいて、車両の加減速制御及び操舵制御を含む自律走行制御を実行する。

【0052】

出力装置３００は、情報を出力し、運転者に情報を提供するための装置である。出力装置３００は、車載の装置であってもよいし、運転者に利用される携帯電話やタブレット端末等の可搬の携帯端末に搭載された装置であってもよい。例えば、出力装置３００は、画像情報を表示する装置であって、液晶ディスプレイ、プロジェクターなどによって構成される。また、出力装置３００は、音声情報を出力する装置であってもよい。例えば、出力装置３００は、スピーカーによって構成される。

【0053】

本実施形態では、出力装置３００は、状態判定装置１００によって判定された運転者の状態に応じて、運転者に通知情報を出力する。例えば、出力装置３００は、状態判定装置１００から送信される制御指示に基づいて、画像情報及び／又は音声情報を運転者に通知する。

【0054】

次に、図２を用いて、本実施形態にかかる状態判定方法を実行するための制御手順を示す一例を説明する。図２は、本実施形態に係る状態判定装置によって実行される状態判定方法の制御処理のフローチャートの一例を示す図である。本実施形態では、車両が走行を開始すると、ステップＳ１から制御フローを開始する。また、車両が走行している間、図２に記載の制御フローが一定の周期で繰り返し実行される。これにより、車両が走行中、状態判定装置１００によって運転者の状態が監視される。

【0055】

ステップＳ１０１では、状態判定装置１００は、車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を取得する。例えば、状態判定装置１００は、脳血流センサ２０から分布画像を取得する。脳血流センサ２０は、運転者の頭部に装着されているセンサである。ステップＳ１０２では、状態判定装置１００は、ステップＳ１０１で取得した分布画像を含む入力データを状態判定用学習済みモデル３１に入力する。ステップＳ１０３では、状態判定装置１００は、運転者の状態を判定する。例えば、状態判定装置１００は、状態判定用学習済みモデルから、入力データに対応する出力データとして、運転者の状態を出力させることで、運転者の状態を判定する。

【0056】

また、図２では、ステップＳ１０３で運転者の状態を判定した後、制御フローを終了することとしているが、これに限らず、ステップＳ１０３の後、状態判定装置１００は、判定結果、すなわち、運転者の状態に応じて、車両の運転支援制御及び乗員への通知のうちの少なくともいずれか一方を実行させてもよい。例えば、状態判定装置１００は、運転者が運転支援を必要とする状態である場合には、車両コントローラ２００に車両の自律走行制御を実行させる制御指示、及び／又は、出力装置３００に運転者が運転支援を必要とする状態であることを示す通知情報を出力させる制御指示を送信する。また、状態判定装置１００は、制御指示を送信することに限らず、判定結果のみを車両コントローラ２００及び／又は出力装置３００に送信してもよいし、車両コントローラ２００及び／又は出力装置３００を制御する別の制御装置に判定結果を送信してもよい。

【0057】

また、状態判定装置１００は、運転者が運転支援を必要としない状態である場合には、制御フローを終了させることとしてもよいし、例えば、運転支援システム１による運転支援が実行されている状態であれば、当該運転支援を中止させてもよい。具体的には、状態判定装置１００は、自律走行制御が実行されている場合には、運転者による手動運転に切り替えるよう制御指示を出力してもよい。

【0058】

次に、図３を用いて、本実施形態にかかる状態判定用学習済みモデルを生成するための制御手順を示す一例を説明する。図３は、本実施形態にかかる状態判定用学習済みモデルを生成するための制御処理のフローチャートの一例を示す図である。本実施形態では、例えば、ユーザによって、状態判定装置１００に教師データが入力された場合に、ステップＳ２０１から制御フローを開始する。なお、図３では、状態判定装置１００によって畳み込みニューラルネットワークの学習を行うこととしているが、これに限らず、状態判定装置１００は、状態判定装置１００の外部で学習された状態判定用学習済みモデルを取得することとしてもよい。また、ニューラルネットワークは、入力層の分布画像から、出力層の運転者の状態に関する２値データまでを一括で学習するＥｎｄ－ｔｏ－Ｅｎｄ学習の構成としてもよい。

【0059】

ステップＳ２０１では、状態判定装置１００は、車両の運転者の少なくとも一部の脳血流の分布を含む分布画像（学習用の分布画像）と、運転者の状態とを含む教師データを取得する。学習用の分布画像は、シミュレーション及び／又は実験で取得した脳血流の分布画像である。シミュレーション及び／又は実験で取得した分布画像は、外乱によるノイズが発生する条件で取得した分布画像であってもよいし、外乱によるノイズが発生しない条件で取得した分布画像であってもよい。また、学習用の分布画像は、前処理をした分布画像であってもよい。前処理は、例えば、ノイズを除去する処理であってもよいし、ノイズを生じさせる処理であってもよい。

【0060】

ステップＳ２０２では、状態判定装置１００は、学習用の分布画像における脳血流の分布の特徴を強調する処理を実行する。脳血流の分布の特徴を強調する処理は、例えば、実験で取得した脳血流の分布画像の、安定条件下で取得した脳血流の分布画像との差を示す分布画像を生成する処理である。実験で取得した脳血流の分布画像は、安定条件下以外の運転者の状態における脳血流の分布画像である。安定条件下以外の運転者の状態は、例えば、運転者が運転に集中している状態、運転者が覚醒している状態、不安を感じている状態を含む。

【0061】

ステップＳ２０３では、ニューラルネットワークは、脳血流の分布の特徴を強調した分布画像から脳血流の分布の特徴を抽出する処理を実行する。例えば、ニューラルネットワークは、ＣＮＮアルゴリズムを用いて、脳血流の分布の特徴を抽出する。ステップＳ２０４では、ニューラルネットワークは、運転者の状態を判定するための機械学習を実行する。例えば、ニューラルネットワークは、脳血流の分布の特徴から推定される推定値と、教師データによって与えられる真値との誤差が小さくなるように学習する。学習されたニューラルネットワークは状態判定用学習済みモデルとして記憶装置３０に記憶される。

【0062】

以上のように、本実施形態に係る状態判定装置及び状態判定方法は、車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を取得し、状態判定用学習済みモデルに分布画像を含む入力データを入力し、状態判定用学習済みモデルから、入力データに対応する出力データとして、運転者の状態を出力させることで、運転者の状態を判定し、状態判定用学習済みモデルは、分布画像と運転者の状態とを含む教師データに基づいて、運転者の状態を判定するための学習がされた学習済みモデルである。これにより、運転者の脳内のうち脳活動を正確に検出できない部分がある場合であっても、運転者の状態を判定できる。

【0063】

また、本実施形態に係る状態判定装置及び状態判定方法では、教師データは、脳血流の分布の特徴を強調する処理をした分布画像を含む。これにより、状態判定用学習済みモデルを用いて運転者の状態を判定する判定精度を高めることができる。

【0064】

また、本実施形態に係る状態判定装置及び状態判定方法では、状態判定用学習済みモデルは、教師データに含まれる分布画像から抽出された脳血流の分布の特徴に基づいて学習がされた学習済みモデルである。これにより、状態判定用学習済みモデルを用いて運転者の状態を判定する判定精度を高めることができる。

【0065】

また、本実施形態に係る状態判定装置及び状態判定方法では、教師データは、ノイズを生じさせる処理をした分布画像を含む。これにより、ノイズを入れて、状態判定用学習済みモデルの過学習を抑えることで、ロバスト性を高めて、運転者の状態を判定する判定精度を高めることができる。

【0066】

また、本実施形態に係る状態判定装置及び状態判定方法では、教師データは、脳血流の分布以外の信号の変動を含まない分布画像を含む。これにより、分布画像に外乱がないため、脳血流の分布の特徴が抽出しやすく、学習速度が速くなる。

【0067】

また、本実施形態に係る状態判定装置及び状態判定方法では、教師データは、脳血流の分布以外の信号の変動を含む分布画像を含む。これにより、ノイズを入れて、状態判定用学習済みモデルの過学習を抑えることで、ロバスト性を高めて、運転者の状態を判定する判定精度を高めることができる。

【0068】

また、本実施形態に係る状態判定装置及び状態判定方法では、教師データは、脳血流の分布以外の信号の変動を含まない分布画像である処理前分布画像と、処理前分布画像に対してノイズを生じさせる処理をした分布画像とを含む。これにより、ノイズを入れて、状態判定用学習済みモデルの過学習を抑えることで、ロバスト性を高めて、運転者の状態を判定する判定精度を高めることができる。

【0069】

また、本実施形態に係る状態判定装置及び状態判定方法では、教師データは、外乱によるノイズが発生する条件で検出した運転者の脳血流の分布を含む分布画像を含む。これにより、ノイズを入れて、状態判定用学習済みモデルの過学習を抑えることで、ロバスト性を高めて、運転者の状態を判定する判定精度を高めることができる。

【0070】

また、本実施形態に係る状態判定装置及び状態判定方法は、ノイズを除去する処理をした分布画像を含む入力データを状態判定用学習済みモデルに入力する。これにより、状態判定用学習済みモデルを用いて運転者の状態を判定する判定精度を高めることができる。

【0071】

また、本実施形態に係る状態判定用学習済みモデルは、車両の運転者の少なくとも一部の脳血流の分布を含む分布画像を含む入力データが入力される入力層と、運転者の状態を含む出力データを出力する出力層とを含むニューラルネットワークにより構成された状態判定用学習済みモデルであって、入力データと出力データとを対応付けた教師データを用いて、運転者の状態を判定するための学習がされていて、入力層に入力データが入力されると、出力層から、入力データに対応する出力データを出力するように、コンピュータを機能させるための状態判定用学習済みモデルである。これにより、運転者の脳内のうち脳活動を正確に検出できない部分がある場合であっても、運転者の状態を判定できる。

【0072】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0073】

１…運転支援システム
１００…状態判定装置
１０…プロセッサ
１１０…取得部
１１１…判定部
１１２…制御指示部
１１３…学習部
３０…記憶装置
３１…状態判定用学習済みモデル
２０…脳血流センサ
２００…車両コントローラ
３００…出力装置

【図1】

【図2】

【図3】