特許 7292606 操縦者支援制御方法、及び操縦者支援制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-09

(45)【発行日】2023-06-19

(54)【発明の名称】操縦者支援制御方法、及び操縦者支援制御装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230612BHJP

   A61B 5/18 20060101ALI20230612BHJP

   A61B 5/026 20060101ALI20230612BHJP

   A61B 5/1455 20060101ALI20230612BHJP

   A61B 5/05 20210101ALI20230612BHJP

   A61B 5/107 20060101ALI20230612BHJP

   A61B 5/11 20060101ALI20230612BHJP

【ＦＩ】

G08G1/16 F

A61B5/18

A61B5/026 120

A61B5/1455

A61B5/05

A61B5/107 110

A61B5/11

【請求項の数】 8

(21)【出願番号】P 2019106146

(22)【出願日】2019-06-06

(65)【公開番号】P2020201565

(43)【公開日】2020-12-17

【審査請求日】2022-04-05

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100102141

【弁理士】

【氏名又は名称】的場 基憲

(74)【代理人】

【識別番号】100137316

【弁理士】

【氏名又は名称】鈴木 宏

(72)【発明者】

【氏名】島田 真紀

(72)【発明者】

【氏名】中島 靖志

(72)【発明者】

【氏名】太田 最実

(72)【発明者】

【氏名】有働 正隆

【審査官】高島 壮基

(56)【参考文献】

【文献】特表２０１９－５１７８４７（ＪＰ，Ａ）

【文献】特開２０１６－０６４７７３（ＪＰ，Ａ）

【文献】特開２００８－２８４１６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０２６

５／０５

５／１０７

５／１１

５／１４５５

５／１８

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

操縦者の頭部の位置及び形状データを取得し、該位置及び形状データを車室内の位置を示す車室空間座標系にプロットする頭部座標取得ステップと、
上記頭部座標と脳のデータベースとから、上記車室空間座標系における脳の座標を算出する脳座標取得ステップと、
上記操縦者の脳の特定位置に由来する信号を取得し、該信号の発生座標をセンサから見たセンサ空間座標系にプロットして、脳からの信号分布を検出する信号取得ステップと、
上記センサ空間座標系の信号分布を上記車室空間座標系に対応させ、上記脳座標を参照して活性化及び／又は不活性化した脳の部位を検出する活性化部位取得ステップと、
上記活性化した部位及び／又は不活性化した部位に基いて、上記操縦者が支援の必要な状態であるか否かを判定する判定ステップと、
上記操縦者が支援の必要な状態であるとき、上記操縦者を支援する命令を発する命令ステップと、を含むことを特徴とする操縦者支援制御方法。

【請求項2】

上記判定ステップが、さらに取得した信号の特性に基いて上記操縦者の状態を判定するステップであることを特徴とする請求項１に記載の操縦者支援制御方法。

【請求項3】

操縦者の頭部が動いたことを検知した際、操縦者の頭部の位置データから脳座標を取得し、該脳座標と活性・不活性の分布とから活性化した脳の部位を検出し直すことを特徴とする請求項１又は２に記載の操縦者支援制御方法。

【請求項4】

操縦者に特定刺激を与え、該特定刺激に反応した脳の活性・不活性の分布とから、上記脳座標を補正する補正ステップを有することを特徴とする請求項１～３のいずれか１つの項に記載の操縦者支援制御方法。

【請求項5】

操縦者の頭部の位置及び形状データを取得する頭部情報センサと、
上記操縦者の脳からの信号を取得する脳情報センサと、
演算装置と、を備え、
上記演算装置が、上記頭部情報センサからの位置及び形状データを車室内の位置を表す車室空間座標系にプロットし、
上記プロットした頭部の座標と脳のデータベースとから上記車室空間座標系における脳の座標を算出し、
上記脳情報センサからの脳の特定位置に由来する信号の発生位置を、上記脳情報センサから見たセンサ空間座標系にプロットして脳からの信号分布を検出し、
上記センサ空間座標系の信号分布を上記車室空間座標系に対応させて、上記脳座標を参照して活性化及び／又は不活性化した脳の部位を検出し、
上記活性化した部位及び／又は不活性化した部位に基いて上記操縦者が支援の必要な状態であるか否かを判定し、
上記操縦者が支援の必要な状態であると判定したとき、操縦者を支援する命令を発する処理を行う装置であることを特徴とする操縦者支援制御装置。

【請求項6】

上記演算装置が、さらに、上記脳情報センサが取得した信号の特性に基いて、上記支援の必要な状態であるか否かを判定する処理を行うことを特徴とする請求項５に記載の操縦者支援制御装置。

【請求項7】

上記演算装置は、操縦者の頭部が動いたことを検出したとき、
上記操縦者の頭部の位置データを取得して脳座標を算出し、
上記脳座標と活性・不活性の分布とから活性化した脳の部位を検出し直すことを特徴とする請求項５又は６に記載の操縦者支援制御装置。

【請求項8】

さらに、操縦者に特定刺激を与える装置を備え、
上記演算装置が、特定刺激に反応した脳の活性・不活性の分布とから、上記脳座標を補正することを特徴とする請求項５～７のいずれか１つの項に記載の操縦者支援制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操縦者支援制御方法に係り、更に詳細には、操縦者の脳に由来する信号から操縦者の状態を判定し操縦支援制御を行う方法、及び該方法を用いた操縦者支援制御装置に関する。

【背景技術】

【0002】

自動車などの乗り物を運転する運転者が、極度に疲労した状態での運転、居眠り運転、酒気帯び運転又は飲酒運転等を行うことは非常に危険である。

【0003】

このため、運転者の覚醒度や集中度等の状態を検知し、警告音の出力、その他の運転者支援を行う装置について研究が進められている。

【0004】

運転者の状態は、運転者の体に測定器を装着して直接的に取得した生体情報により判定することができる。

【0005】

例えば、頭部を覆うヘッドギアを運転者に装着させ、該ヘッドギアに搭載された発光素子から近赤外線を頭部に照射し、その反射光を受光素子にて検出することによって、血中のヘモグロビン量を計測することで運転者の生理的情報を取得することが知られている。

【0006】

この他にも脳波計、心電計、脈波計、筋電計等を運転者に装着させることによって生理的情報を取得することも可能である。

【0007】

しかし、かかる測定器は、運転者に密着させるものであるため、運転者の心理的、身体的な負担が大きく、運転者が測定器を装着しない虞がある。

【0008】

特許文献１の特開２００８－２８４１６５号公報には、運転席のヘッドレストに測定器を設け、運転者の頭部に血液成分に吸収される波長の光成分を含む光を照射してその反射光を受光することで運転者頭部の血流に関する情報を取得し、運転者が運転に適した生理的状態であるか否かを判定することが開示されている。

【0009】

そして、レーザ光や超音波等により運転者の頭部位置情報を得て、測定器を設けたヘッドレストを運転者の頭部に近づけることで、取得できる生理的情報の精度が高まる旨が記載されている。

【先行技術文献】

【特許文献】

【0010】

【文献】特開２００８－２８４１６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、脳の大きさや脳を構成する器官同士の位置関係は、運転者の頭部の形状や大きさ、例えば、丸顔であるか又は面長であるか、後頭部の膨らみの大小等によって個人差がある。したがって、運転者の頭部位置を把握するだけでは、脳の中で活性化している部位・器官等を正確に把握できず運転者の精神状態や生理的状態を誤って判定する虞がある。

【0012】

本発明は、このような従来技術の有する課題に鑑みてなされたものであり、その目的とするところは、操縦者の精神状態や生理的状態の判定精度を向上させた操縦者支援制御方法を提供することにある。

【課題を解決するための手段】

【0013】

本発明者は、上記目的を達成すべく鋭意検討を重ねた結果、操縦者の頭部の大きさ形状を測定し、大きさ形状の情報を含む脳のデータベースを参照して操縦者の頭部内の脳の大きさ形状を推測することで、脳の中で活性化している部位・器官等を正確に把握できることを見出し、本発明を完成するに至った。

【0014】

即ち、本発明の操縦者支援制御方法は、操縦者の頭部の位置及び形状データを取得し、該位置及び形状データを車室内の位置を示す車室空間座標系にプロットする頭部座標取得ステップと、
上記頭部座標と脳のデータベースとから、上記車室空間座標系における脳の座標を算出する脳座標取得ステップと、
上記操縦者の脳の特定位置に由来する信号を取得し、該信号の発生座標をセンサから見たセンサ空間座標系にプロットして、脳からの信号分布を検出する信号取得ステップと、
上記センサ空間座標系の信号分布を上記車室空間座標系に対応させ、上記脳座標を参照して活性化及び／又は不活性化した脳の部位を検出する活性化部位取得ステップと、
上記活性化した部位及び／又は不活性化した部位に基いて、上記操縦者が支援の必要な状態であるか否かを判定する判定ステップと、
上記操縦者が支援の必要な状態であるとき、上記操縦者を支援する命令を発する命令ステップと、を含むことを特徴とする。

【0015】

また、本発明の操縦者支援制御装置は、操縦者の頭部の位置及び形状データを取得する頭部情報センサと、
上記操縦者の脳からの信号を取得する脳情報センサと、
演算装置と、を備え、
上記演算装置が、上記頭部情報センサからの位置及び形状データを車室内の位置を表す車室空間座標系にプロットし、
上記プロットした頭部の座標と脳のデータベースとから上記車室空間座標系における脳の座標を算出し、
上記脳情報センサからの脳の特定位置に由来する信号の発生位置を、上記脳情報センサから見たセンサ空間座標系にプロットして脳からの信号分布を検出し、
上記センサ空間座標系の信号分布を上記車室空間座標系に対応させて、上記脳座標を参照して活性化及び／又は不活性化した脳の部位を検出し、
上記活性化した部位及び／又は不活性化した部位に基いて上記操縦者が支援の必要な状態であるか否かを判定し、
上記操縦者が支援の必要な状態であると判定したとき、操縦者を支援する命令を発する処理を行う装置であることを特徴とする。

【発明の効果】

【0016】

本発明によれば、脳のデータベースを参照し、操縦者の頭部の大きさ・形状から操縦者の脳の位置や脳を構成する器官の位置を推測することとしたため、脳の中で活性化している部位・器官等を正確に把握でき、操縦者の精神状態や生理的状態の判定精度を向上させることができる。

【図面の簡単な説明】

【0017】

【図1】本発明の操縦者支援制御方法の第１の実施形態のフロー図である。

【図2】本発明の操縦者支援制御方法の第２の実施形態のフロー図である。

【図3】本発明の操縦者支援制御方法の第３の実施形態のフロー図である。

【発明を実施するための形態】

【0018】

本発明の操縦者支援制御方法及び操縦者支援制御装置を、自動車を運転する場合を例に説明する。
操縦者支援制御装置は、操縦者の頭部の位置及び形状データを取得する頭部情報センサと、上記操縦者の脳からの信号を取得する脳情報センサと、演算装置と、を備える。

【0019】

上記演算装置は、頭部情報センサ及び脳情報センサからの情報に基いて、下記操縦者支援制御方法を実行する。

【0020】

上記演算装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、プログラムメモリ、ワーキングメモリ、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器その他、通信ポート等を備えるコンピュータである。

【0021】

＜第１の実施形態＞
操縦者支援制御方法は、頭部座標取得ステップと、脳座標取得ステップと、信号取得ステップと、脳活性化部位取得ステップと、判定ステップと、命令ステップと、を含む。
図１にフロー図を示す。

【0022】

（頭部座標取得ステップ）
上記頭部座標取得ステップは、操縦者の頭部の位置及び形状データを取得し、該位置及び形状データを車室内の位置を表す３次元の車室空間座標系にプロットするステップである。

【0023】

上記頭部座標取得ステップは、操縦者の頭部の中心点や鼻の位置などの座標の一点のみをプロットするのではなく、操縦者の頭高、頭幅、頭長等、頭部の外形を把握できる複数点を車室空間座標系にプロットする。上記頭部座標取得ステップにより車室空間座標系における操縦者の頭部の外形、位置が特定される。

【0024】

頭部の外形を把握できる測定点としては、例えば、頭頂部と顎（頭高）、左右の側頭部（頭幅）、後頭部と前頭部（頭長）の位置等の頭蓋骨の外形の他、目、鼻、耳の位置等を挙げることができる。

【0025】

頭部の位置及び形状データを取得する頭部情報センサとしては、超音波センサ、赤外線センサ、レーザセンサ、マイクロ波センサ、ステレオカメラ、荷重センサ等を挙げることができ、これらのセンサは複数種を併用することが好ましい。
なかでも、超音波センサは、頭髪の影響を排除して頭蓋骨の外形を正確に測定できるため、好ましく使用できる。

【0026】

また、これらのセンサは、リニア状又はマトリックス状に配置して、頭部の形状の３次元データを得ることが好ましい。

【0027】

上記頭部情報センサは、車室ルーフ、シートのヘッドレスト、ピラー等に設置することが好ましい。

【0028】

上記３次元の車室空間座標系は、予めＸ軸，Ｙ軸，Ｚ軸を設定し車室内の座標を決めておいてもよく、可動するヘッドレスト等に設けられた頭部情報センサの座標を中心（０，０，０）にＸ軸，Ｙ軸，Ｚ軸を設定してもよい。

【0029】

なお、頭部情報センサの座標を中心にＸ軸，Ｙ軸，Ｚ軸を設定した場合は、車室空間座標系とセンサ空間座標系とは同一の座標系となる。

【0030】

（脳座標取得ステップ）
上記脳座標取得ステップは、上記頭部座標取得ステップでプロットされた頭部の外形を示す座標と脳のデータベースとを用いて、上記車室空間座標系における頭蓋骨内の脳の位置（座標）や脳を構成する部位・器官の位置（座標）を算出するステップである。

【0031】

上記脳のデータベースは、頭部の大きさや形状と、その頭部に応じた脳の大きさ形状や、その脳を構成する器官、例えば、扁桃体、視床下部、脳下垂体、頭頂葉等の相対的な位置関係のデータを含む。

【0032】

また、上記脳のデータベースは、操縦者の精神状態や生理的状態と、脳の活性化又は不活性化の分布や、活性化又は不活性化する脳の部位・器官との関係を示すデータを含んでいることが好ましい。

【0033】

上記脳のデータベースを参照することで、個人差による脳の大きさや脳を構成する器官の同士の位置関係等のズレが修正され、車室空間座標系における脳全体の外形や脳を構成する器官の位置精度が向上する。

【0034】

（信号取得ステップ）
上記信号取得ステップは、脳血流、脳波、脳磁など、操縦者の脳の所定の位置に由来する信号を取得し、該信号の発生座標をセンサから見たセンサ空間座標系にプロットし、脳からの信号分布を検出するステップである。

【0035】

操縦者の脳に由来する信号には、通常時に比べて活性化した部位・器官からは増幅された信号が発せられ、通常時よりも不活性化した部位・器官からは抑制された信号が発せられる。

【0036】

これらの活性化した部位・器官や不活性化した部位・器官が発する信号を、後述する脳情報センサ得られる情報に応じて２次元（Ｘ軸，Ｙ軸）又は３次元（Ｘ軸，Ｙ軸，Ｚ軸）にプロットし、脳からの信号分布を検出することで、脳全体の活性部位・不活性部位の分布を把握することができる。

【0037】

操縦者の脳の特定位置に由来する信号を取得する脳情報センサとしては、非接触式のセンサを使用できる。

【0038】

非接触式のセンサとしては、近赤外光式血流計、静電容量式脳波計、光ポンピング磁力計などを挙げることができる。

【0039】

上記近赤外光式血流計は、血液成分に吸収される波長の光成分を含む光を照射し、その反射光を受光することで血流量や血中酸素濃度等を測定するものであり、活性化している脳の部位・器官等から血行動態変化を観測して、操縦者の精神的・生理的状態などに関する情報を得ることができる。

【0040】

上記静電容量式脳波計は、神経細胞の活動に伴う脳の電気的活動を複数の静電結合型電極で計測するものであり、アルファ波、ベータ波、シータ波等の脳波を分析することにより操縦者の精神的・生理的状態に関する情報を得ることができる。

【0041】

光ポンピング磁力計は、神経細胞の活動に伴う脳の電気的活動によって生じた磁場（脳磁場）を測定するものである。

【0042】

磁場の通りやすさ（透磁率）は、脳、髄液、骨、皮膚および空気でほぼ一定のため、神経細胞から生じた磁場を直接記録することができ、脳の磁場分布（脳磁場）から、神経細胞が活動し活性化している部位を高い精度で測定（電流源推定）できる。

【0043】

なかでも、光ポンピング磁力計は、計測空間の磁気ノイズを検出し逆向きの磁界（補償磁界）を生成し磁気ノイズ低減を行う能動的磁気遮蔽法を施すことで、強磁性体を用いたシールドルームが不要であり、脳の表面近傍だけでなく、脳幹など脳の中心部の神経活動に伴う信号を３次元的に取得でき、操縦者の精神的・生理的状態の判定精度が向上するため好ましく使用できる。

【0044】

上記非接触式の脳情報センサは、シートのヘッドレスト、車室ルーフ等、操縦者の頭部近傍に設置することが好ましい。

【0045】

（活性化部位取得ステップ）
上記活性化部位取得ステップは、センサ空間座標系で特定された脳の活性・不活性の分布を車室空間座標系に対応させ、算出した脳の部位・器官の位置関係を示す上記脳座標を参照することで脳の活性位置・不活性位置が、脳のどの部位・器官であるかを検出するステップである。

【0046】

（判定ステップ）
上記判定ステップは、活性化及び／又は不活性化した脳の部位・器官から上記操縦者の状態を判定するステップである。

【0047】

操縦者の精神状態や生理的状態と活性化及び／又は不活性化する脳の部位・器官との間には一定の関係があるため、活性化又は不活性化した脳の部位・器官から操縦者の状態を判定することができる。
例えば、操縦者が眠いときは、前頭連合野や内側前頭前野等の活性状態が低下し、怒っているときは扁桃体が活性化すると言われている。

【0048】

また、上記判定ステップは、上記脳の活性化及び／又は不活性化した部位・器官だけでなく、脳が発生した信号特性から脳の活性程度、活性状況等をも併せて操縦者の状態を判定することが好ましい。
脳が発生した信号特性をも併せて判定することで操縦者の精神的・生理的状態の判定精度が向上する。
操縦者の状態判定は、予め演算装置に記憶させた脳の活性化部位や不活性化部位と操縦者の状態との関係を示すデータに基づいて行ってもよく、また、上記脳のデータベースに記憶された情報を参照して行ってもよい。

【0049】

（命令ステップ）
上記命令ステップは、上記操縦者が支援の必要な状態であると判定したとき、操縦支援装置に操縦者を支援させる命令を発するステップである。

【0050】

操縦者を支援する命令には、警告音を鳴らすことや警告ランプの点灯だけでなく、ハンドル操作やブレーキ操作等、操縦者が状態に応じて必要な支援の内容が含まれ、該命令を受け取った操縦支援装置は必要な操縦支援を行う。

【0051】

＜第２の実施形態＞
また、上記操縦者支援制御方法は、信号取得中に操縦者の頭部が動いたことを検知した際、活性化及び／又は不活性化した脳の部位・器官を検出し直すことが好ましい。

【0052】

脳の活性化及び／又は不活性化した脳の部位・器官を検出し直す場合のフロー図を図２に示す。
なお、図２のフロー図においては、頭部の位置ずれの検出を、信号取得後、活性化部位取得前に行っているが、信号取得前に頭部の位置ずれを検出したときは、信号取得を行わずに頭部位置データ脳座標を取得してもよい。

【0053】

上記活性化及び／又は不活性化した脳の部位・器官の検出し直しは、頭部情報センサから操縦者の頭部の位置データから脳座標を取得し、該脳座標と信号発生座標とから行う。

【0054】

ここで、操縦者の頭部形状が操縦中に変わることはないため、上記脳の部位・器官を検出し直すために頭部の形状データは必要なく、頭部の位置データを得るだけでよい。

【0055】

具体的には、先に算出した脳の座標と、新たに測定した頭部の位置を特定できる一点の座標測定することで、再度、頭部の形状データ取得し脳のデータベースを参照する必要がなく、脳座標を取得することができ、活性化及び／又は不活性化した脳の部位・器官の検出を迅速に行うことができる。

【0056】

例えば、操縦者の頭部が動いたことは、上記頭部情報センサの他、シートに設けた荷重センサ等によって検知することができる。また、頭部の位置座標は、ステレオカメラなどにより、例えば、操縦者の鼻などの顔の特徴的なパーツの車室空間座標系における座標を取得することで、簡単に頭部の座標を取得することができる。

【0057】

＜第３の実施形態＞
さらに、上記操縦者支援制御方法は、上記脳座標を補正する補正ステップを有することが好ましい。
脳座標を補正する場合のフロー図を図３に示す。

【0058】

上記脳座標の補正は、操縦者に特定刺激を与え、該特定刺激に反応した脳の活性・不活性の分布から、脳のデータベースから算出した脳座標を補正する。

【0059】

特定刺激、例えば、視覚的刺激、聴覚的刺激、電気的刺激（痛み）、嗅覚的刺激等に対して特に反応する脳の部位・器官が決まっていることから、操縦者に特定刺激を与え、反応した脳の位置から、上記脳座標取得ステップで算出した脳座標を補正する。

【0060】

特定刺激により算出した脳の座標を補正することで、操縦者の実際の脳の位置や脳を構成する部位・器官の位置が分かり、活性化した部位及び／又は不活性化した部位の検出精度が向上する。

【0061】

本発明の操縦者支援制御方法、操縦者支援制御装置によれば、操縦者の精神的生理的状態を正確に判定できるため、適切な操縦者支援を行うことができる。
また、本発明の操縦者支援制御方法、操縦者支援制御装置は、脳のモニタ方法やモニタ装置にも適用できる。
以上、本発明の操縦者支援制御方法、操縦者支援制御装置を、自動車を運転する場合を例に説明したが、本発明の操縦者支援制御方法、操縦者支援制御装置は、自動車以外の輸送機等にも適用できる。

【図1】

【図2】

【図3】