特許 7405030 状態判定装置、状態判定システム、および制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】状態判定装置、状態判定システム、および制御方法

(51)【国際特許分類】

   A61B 5/18 20060101AFI20231219BHJP

   A61B 5/16 20060101ALI20231219BHJP

【ＦＩ】

A61B5/18

A61B5/16 130

【請求項の数】 10

(21)【出願番号】P 2020121560

(22)【出願日】2020-07-15

(65)【公開番号】P2022018450

(43)【公開日】2022-01-27

【審査請求日】2022-12-13

(73)【特許権者】

【識別番号】000241500

【氏名又は名称】トヨタ紡織株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】中村 崇

【審査官】北島 拓馬

(56)【参考文献】

【文献】特開２０１８－１５２０３４（ＪＰ，Ａ）

【文献】特開２０１５－０２１９１２（ＪＰ，Ａ）

【文献】特開２０１０－１３４６０８（ＪＰ，Ａ）

【文献】特開２０１９－０６３３３５（ＪＰ，Ａ）

【文献】特開２００６－０６８４５８（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／００８０８１６（ＵＳ，Ａ１）

【文献】特開２００８－１８６２６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０６ － ５／２２

(57)【特許請求の範囲】

【請求項1】

移動体の内部空間に配置された１つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を継続的に取得する取得部と、
前記センサ情報の少なくとも一部に基づいて、前記乗員の状態を示す状態指標値を算出する指標値算出部と、
管理装置から収集データを受信する受信部と、
前記収集データに基づいて、前記状態指標値が示す前記乗員の状態が、特定の状態であるか否かを判定するための閾値である状態閾値を算出する状態閾値算出部と、
前記状態指標値が前記状態閾値以上である場合、前記乗員の状態が前記特定の状態であると判定する状態判定部と、を備える状態判定装置であり、
前記収集データは、他の移動体において算出された前記他の移動体の乗員の前記状態指標値と、該他の移動体において判定された前記他の移動体の乗員の状態とを対応付けたデータを複数含んでおり、
前記センサ情報は、生体拍数を示すデータであって、
前記状態判定装置は、前記指標値算出部が前記状態指標値を算出する前に、前記センサ情報の少なくとも一部に基づいて、前記乗員の状態が、特定の状態であるか否かを判定する副状態判定部を更に備え、
前記指標値算出部は、所定の第１期間の前記センサ情報を用いて、前記状態指標値を特定することを特徴とする、状態判定装置。

【請求項2】

前記状態指標値、または、前記センサ情報から前記状態指標値を算出する際の中間結果の値に基づいて、前記乗員が特定の状態であるか否かを判定する平均判定部を備え、
前記平均判定部は、前記状態指標値または前記中間結果の値が、過去の第２期間における前記乗員の状態指標値の平均値以上である場合、または、過去の第２期間における前記乗員の前記中間結果の値の平均値以上である場合に、前記乗員が特定の状態であると判定することを特徴とする、請求項１に記載の状態判定装置。

【請求項3】

前記状態閾値算出部は、
前記他の移動体において算出された状態指標値の中央値以上の値であって、かつ、
前記複数のデータのうち、乗員が特定の状態であると判定されたデータが半数以上となる値を、前記移動体における前記状態指標値とすることを特徴とする、請求項１または２に記載の状態判定装置。

【請求項4】

前記状態判定装置は、
識別された前記乗員の前記特定の状態への変化に相関が高い状態指標値を説明変数として選択する説明変数選択部と、
前記説明変数選択部が選択した前記状態指標値を算出する複数の前記指標値算出部と、
複数の前記指標値算出部それぞれが算出した前記状態指標値について、前記乗員が特定の状態である可能性を示すスコアを算出するスコア算出部と、
前記スコアを合計した合計スコアが、所定のスコア閾値以上である場合に、前記乗員が特定の状態であると判定するスコア判定部と、を備えることを特徴とする、請求項１～３のいずれか１項に記載の状態判定装置。

【請求項5】

移動体の内部空間に配置された１つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を継続的に取得する取得部と、
前記センサ情報の少なくとも一部に基づいて、前記乗員の状態を示す状態指標値を算出する指標値算出部と、
管理装置から収集データを受信する受信部と、
前記収集データに基づいて、前記状態指標値が示す前記乗員の状態が、特定の状態であるか否かを判定するための閾値である状態閾値を算出する状態閾値算出部と、
前記状態指標値が前記状態閾値以上である場合、前記乗員の状態が前記特定の状態であると判定する状態判定部と、を備える状態判定装置であり、
前記収集データは、他の移動体において算出された前記他の移動体の乗員の前記状態指標値と、該他の移動体において判定された前記他の移動体の乗員の状態とを対応付けたデータを複数含んでおり、
前記状態判定装置は、
識別された前記乗員の前記特定の状態への変化に相関が高い状態指標値を説明変数として選択する説明変数選択部と、
前記説明変数選択部が選択した前記状態指標値を算出する複数の前記指標値算出部と、
複数の前記指標値算出部それぞれが算出した前記状態指標値について、前記乗員が特定の状態である可能性を示すスコアを算出するスコア算出部と、
前記スコアを合計した合計スコアが、所定のスコア閾値以上である場合に、前記乗員が特定の状態であると判定するスコア判定部と、を更に備えることを特徴とする、状態判定装置。

【請求項6】

前記スコア算出部は、識別された前記乗員の前記状態指標値と、前記特定の状態である確率との相関関係を示す数式に基づいて、前記スコアを算出することを特徴とする、請求項４または５に記載の状態判定装置。

【請求項7】

前記乗員の状態が特定の状態であると判定された場合に、出力装置を介して前記乗員に対する警告を通知する通知部を備えることを特徴とする、請求項１～６のいずれか１項に記載の状態判定装置。

【請求項8】

請求項１～７のいずれか１項に記載の状態判定装置と、
前記センサ装置と、
前記管理装置と、を含むことを特徴とする、状態判定システム。

【請求項9】

プロセッサを備える状態判定装置によって実行される制御方法であって、
前記プロセッサは、
移動体の内部空間に配置された１つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を継続的に取得し、
前記センサ情報の少なくとも一部に基づいて、前記乗員の状態を示す状態指標値を算出し、
管理装置から収集データを受信し、
前記収集データに基づいて、前記状態指標値が示す前記乗員の状態が、特定の状態であるか否かを判定するための閾値である状態閾値を算出し、
前記状態指標値が前記状態閾値以上である場合、前記乗員の状態が前記特定の状態であると判定し、
前記収集データは、他の移動体において算出された前記他の移動体の乗員の前記状態指標値と、該他の移動体において判定された前記他の移動体の乗員の状態とを対応付けたデータを複数含み、
前記センサ情報は、生体拍数を示すデータであって、
前記プロセッサは、
前記状態指標値を算出する前に、前記センサ情報の少なくとも一部に基づいて、前記乗員の状態が、特定の状態であるか否かを判定し、
所定の第１期間の前記センサ情報を用いて、前記状態指標値を特定する、制御方法。

【請求項10】

プロセッサを備える状態判定装置によって実行される制御方法であって、
前記プロセッサは、
移動体の内部空間に配置された１つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を継続的に取得し、
前記センサ情報の少なくとも一部に基づいて、前記乗員の状態を示す状態指標値を算出し、
管理装置から収集データを受信し、
前記収集データに基づいて、前記状態指標値が示す前記乗員の状態が、特定の状態であるか否かを判定するための閾値である状態閾値を算出し、
前記状態指標値が前記状態閾値以上である場合、前記乗員の状態が前記特定の状態であると判定し、
前記収集データは、他の移動体において算出された前記他の移動体の乗員の前記状態指標値と、該他の移動体において判定された前記他の移動体の乗員の状態とを対応付けたデータを複数含み、
前記プロセッサは、
識別された前記乗員の前記特定の状態への変化に相関が高い状態指標値を説明変数として選択し、
選択した前記状態指標値を複数算出し、
算出した複数の前記状態指標値について、前記乗員が特定の状態である可能性を示すスコアを算出し、
前記スコアを合計した合計スコアが、所定のスコア閾値以上である場合に、前記乗員が特定の状態であると判定する、制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、状態判定装置、状態判定システム、および制御方法に関する。

【背景技術】

【0002】

脈拍等の生体情報から、人間の状態を判定する技術が従来存在する。例えば、特許文献１には、心拍または脈拍等の生体拍数を指標値として、ある人間が眠気を催しているか否かを判定する技術が記載されている。該技術では、事前に計測しておいた、ある人間の覚醒時の脈拍数と、リアルタイムで測定した脈拍数との差が閾値を超えた場合に、該ある人間が眠気を催した、と判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１９５９８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、人間の体調、または測定時間帯および気温等の環境データ等、事前に生体拍数を計測した時の条件が、リアルタイムで生体拍数を計測する時の条件と異なる場合、正確な判定ができない虞があった。また、事前に計測した生体拍数を使用するため、該計測から長い期間が経過した場合も、判定精度が落ちる虞があった。

【0005】

本開示の一態様は、前記の問題点に鑑みたものであり、人間の状態を正確に判定することを目的とする。

【課題を解決するための手段】

【0006】

前記の課題を解決するために、本発明の一態様に係る状態判定装置は、移動体の内部空間に配置された１つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を継続的に取得する取得部と、前記センサ情報の少なくとも一部に基づいて、前記乗員の状態を示す状態指標値を算出する指標値算出部と、管理装置から収集データを受信する受信部と、前記収集データに基づいて、前記状態指標値が示す前記乗員の状態が、特定の状態であるか否かを判定するための閾値である状態閾値を算出する状態閾値算出部と、前記状態指標値が前記状態閾値以上である場合、前記乗員の状態が前記特定の状態であると判定する状態判定部と、を備え、前記収集データは、他の移動体において算出された前記他の移動体の乗員の前記状態指標値と、該他の移動体において判定された前記他の移動体の乗員の状態とを対応付けたデータを複数含んでいることを特徴とする。

【0007】

前記の構成によれば、状態判定装置は、他の移動体で算出された他の乗員の状態指標値と、該状態指標値での他の乗員の状態判定の結果と、に応じて、今から行う状態判定の基準となる状態閾値を算出する。したがって、人間の状態を正確に判定することができる。

【0008】

前記状態判定装置において、前記センサ情報は、生体拍数を示すデータであってもよく、前記指標値算出部は、所定の第１期間の前記センサ情報を用いて、前記状態指標値を特定してもよい。

【0009】

前記の構成によれば、所定の第１期間の生体拍数のデータに基づいて、より正確に人間の状態を判定することができる。

【0010】

前記状態判定装置は、前記指標値算出部が前記状態指標値を算出する前に、前記センサ情報の少なくとも一部に基づいて、前記乗員の状態が、特定の状態であるか否かを判定する副状態判定部を備えていてもよい。

【0011】

前記の構成によれば、指標値算出部が、状態指標値を算出できる程度の期間（すなわち、所定の第１期間）の生体拍数のデータが得られるまでの間は、副状態判定部によって乗員の状態を判定することができる。したがって、より迅速に人間の状態を判定することができる。

【0012】

前記状態判定装置は、前記状態指標値、または、前記センサ情報から前記状態指標値を算出する際の中間結果の値に基づいて、前記乗員が特定の状態であるか否かを判定する平均判定部を備えていてもよく、前記平均判定部は、前記状態指標値または前記中間結果の値が、過去の第２期間における前記乗員の状態指標値の平均値以上である場合、または、過去の第２期間における前記乗員の前記中間結果の値の平均値以上である場合に、前記乗員が特定の状態であると判定してもよい。

【0013】

指標値算出部によって算出された状態指標値が、過去の第２期間において算出された乗員自身の状態指標値の平均値または中間結果の平均値以上である場合、乗員の状態が、過去の平均的な状態、すなわち通常の状態と異なっている可能性が高い。前記の構成によれば、状態判定装置は、乗員の状態が通常と異なっている可能性が高い場合に、乗員が特定の状態になったと判定することができる。

【0014】

前記状態判定装置において、前記状態閾値算出部は、前記他の移動体において算出された状態指標値の中央値以上の値であって、かつ、前記複数のデータのうち、乗員が特定の状態であると判定されたデータが半数以上となる値を、前記移動体における前記状態指標値としてもよい。前記の構成によれば、より正確に人間の状態を判定することができる。

【0015】

前記状態判定装置は、識別された前記乗員の前記特定の状態への変化に相関が高い状態指標値を説明変数として選択する説明変数選択部と、前記説明変数選択部が選択した前記状態指標値を算出する複数の前記指標値算出部と、複数の前記指標値算出部それぞれが算出した前記状態指標値について、前記乗員が特定の状態である可能性を示すスコアを算出するスコア算出部と、前記スコアを合計した合計スコアが、所定のスコア閾値以上である場合に、前記乗員が特定の状態であると判定するスコア判定部と、を備えていてもよい。

【0016】

前記の構成によれば、乗員の特定の状態への変化に相関が高い状態指標値を選択して、その状態指標値のスコアを算出して、該スコアに基づいて最終的な状態判定の結果を下すことができる。したがって、より正確に人間の状態を判定することができる。

【0017】

前記状態判定装置において、前記スコア算出部は、識別された前記乗員の前記状態指標値と、前記特定の状態である確率との相関関係を示す数式に基づいて、前記スコアを算出してもよい。前記の構成によれば、より正確に人間の状態を判定することができる。

【0018】

前記状態判定装置は、前記乗員が特定の状態であると判定された場合に、出力装置を介して前記乗員に対する警告を通知する通知部を備えていてもよい。前記の構成によれば、乗員に該乗員が特定の状態であることを通知することができる。

【0019】

前記の課題を解決するために、本発明の一態様に係る状態判定システムは、前記状態判定装置と、前記センサ装置と、前記管理装置と、を含む。前記の構成によれば、前記状態判定装置と同様の効果を奏する。

【0020】

前記の課題を解決するために、本発明の一態様に係る状態判定装置の制御方法は、移動体の内部空間に配置された１つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を継続的に取得する取得ステップと、前記センサ情報の少なくとも一部に基づいて、前記乗員の状態を示す状態指標値を算出する指標値算出ステップと、管理装置から収集データを受信する受信ステップと、前記収集データに基づいて、前記状態指標値が示す前記乗員の状態が、特定の状態であるか否かを判定するための閾値である状態閾値を算出する状態閾値算出ステップと、前記状態指標値が前記状態閾値以上である場合、前記乗員の状態が前記特定の状態であると判定する状態判定ステップと、を含み、前記収集データは、他の移動体において算出された前記他の移動体の乗員の前記状態指標値と、該他の移動体において判定された前記他の移動体の乗員の状態とを対応付けたデータを複数含んでいる。前記の構成によれば、前記状態判定装置と同様の効果を奏する。

【発明の効果】

【0021】

本開示の一態様によれば、人間の状態を正確に判定することができる。

【図面の簡単な説明】

【0022】

【図1】実施形態１に係る状態判定システムの要部構成を示すブロック図である。

【図2】第２閾値の算出方法をグラフで模式的に示した図である。

【図3】状態ログのデータ構造を示す図である。

【図4】実施形態１に係る状態判定装置における処理の流れを示すフローチャートである。

【図5】第１判定の処理の流れを示すフローチャートである。

【図6】第２判定の処理の流れを示すフローチャートである。

【図7】実施形態２に係る状態判定システムの要部構成を示すブロック図である。

【図8】実施形態２に係る状態判定装置における処理の流れを示すフローチャートである。

【図9】第３判定の処理の流れを示すフローチャートである。

【図10】第２期間におけるある乗員のＲＲＩ差の出現頻度を示したグラフである。

【図11】実施形態３に係る状態判定システムの要部構成を示すブロック図である。

【図12】説明変数データのデータ構造を示す図である。

【図13】乗員の状態変化に相関関係が無い説明変数の、全体閾値、個人閾値、およびスコア式を示すグラフである。

【図14】乗員の状態変化に相関関係が有る説明変数の全体閾値、個人閾値、およびスコア式を示すグラフである。

【図15】実施形態３に係る状態判定装置における処理の流れを示すフローチャートである。

【図16】ある乗員の状態判定に使用する説明変数の選択と、該説明変数を用いた状態判定の結果とを模式的に示した図である。

【図17】実施形態４に係る状態判定システムの要部構成を示すブロック図である。

【発明を実施するための形態】

【0023】

〔実施形態１〕
≪システム概要≫
本実施形態に係る状態判定システム１００は、移動体の内部空間に滞在している乗員の状態を判定するためのシステムである。ここで「状態」とは、人間の生理的または感情的な状態のことを示す。例えば、状態判定システム１００は、乗員の「状態」として、該乗員の眠気の有無、怒りの有無、興奮状態か否か、等を判定することができる。本実施形態では、一例として、乗員の眠気の有無を判定する状態判定システム１００について、図１～６を参照して説明する。

【0024】

≪要部構成≫
図１は、本実施形態に係る状態判定システム１００の要部構成を示すブロック図である。状態判定システム１００は、状態判定装置１Ａと、センサ群２と、記憶装置３と、サーバ（管理装置）４と、出力装置５と、を含む。なお、記憶装置３は必須の構成ではない。

【0025】

図１の例では、状態判定装置１Ａ、センサ群２、記憶装置３、および出力装置５は、移動体６に搭載されている。なお、図１では簡略化のため、１台の移動体６の内部構造のみを詳述しているが、図１に示す移動体６はいずれも同様の構成を有している。センサ群２に含まれる各センサと状態判定装置１Ａは、通信可能に接続されている。記憶装置３と状態判定装置１Ａは、通信可能に接続されている。状態判定装置１Ａとサーバ４は、通信可能に接続されている。なお、図１に示す通り、サーバ４は、複数の移動体６と通信する。

【0026】

（移動体６）
移動体６は、自動車、電車、航空機等、内部に空間を有する移動体である。以降、単に「内部空間」と称する場合は、移動体６の内部の空間のことを示すこととする。また、内部空間に滞在する人間のことを、単に「乗員」と称する。

【0027】

（センサ群２）
センサ群２は、センサ情報を測定するためのセンサの一群である。ここで、「センサ情報」とは、センサ群２で取得可能な、乗員に関するあらゆる情報を示す。例えば、センサ情報とは、乗員の全身または体の一部の動作、ならびに表情等、乗員の外見に関するデータであってもよい。また、センサ情報とは、脈拍、呼吸、体温、血圧、意識、および反射等、乗員のバイタルデータを示す情報であってもよい。本実施形態では、センサ情報とは、カメラ（センサ装置）２１の撮影画像のデータと、脈拍センサ（センサ装置）２２の測定データとを示す。

【0028】

センサ群２は、移動体６内部の空間に配置された１つ以上のセンサから成る。各種センサは状態判定装置１Ａと有線または無線で接続しており、それぞれが取得したセンサ情報を状態判定装置１Ａに送信する。センサ群２に含まれるセンサの種類は特に限定されない。例えば、センサ群２は出力装置として、カメラ２１と、脈拍センサ２２と、を含む。

【0029】

カメラ２１は、乗員の身体の少なくとも一部を撮影する。なお、ここで言う身体には、乗員の顔も含まれる。カメラ２１の撮影画像は、センサ情報として状態判定装置１Ａに送信される。なお、カメラ２１の撮影画像は静止画であっても、動画であってもよい。以降、「画像」および「撮影画像」とは、静止画と動画の両方を指す。カメラ２１が静止画を撮影する場合、撮影の時間間隔は特に限定されないが、乗員の動作をリアルタイムで追跡可能な程度の時間間隔で撮影を行うことが好ましい。カメラ２１は、所定のタイミングで撮影を開始し、以降、継続的に乗員を撮影する。所定のタイミングとは、例えば、移動体６の座席に乗員が着席したタイミング等であってよい。

【0030】

また、カメラ２１の具体的構成および所定空間内での配置位置は、特に限定されない。例えば、移動体６が乗用車の場合、カメラ２１は、乗用車の座席の正面に、該座席に座った人間の顔が映るような位置および角度で配置されてもよい。これにより、カメラ２１は、乗用車の運転手または乗客の顔を正面から捉えた画像を取得することができる。換言すると、カメラ２１は、運転手または乗客の眼球の動き、瞼の動き、および表情等を特定可能な画像を撮影することができる。

【0031】

脈拍センサ２２は、人間の脈拍数を測定するセンサである。脈拍センサ２２は、例えば、移動体６の座席シートのアームレストの部分等に配置された電極式の脈拍センサであってもよい。また、脈拍センサ２２は、移動体６の座席シートに内蔵された、電波式の脈拍センサであってもよい。より具体的には、例えば脈拍センサ２２は、ミリ波レーダーの信号から心拍信号を検出するバイタルセンサであってもよい。脈拍センサ２２の測定データは、センサ情報として状態判定装置１Ａに送信される。脈拍センサ２２は、所定のタイミングで脈拍の測定を開始し、以降、継続的に乗員の脈拍を測定する。所定のタイミングとは、例えば、移動体６の座席に乗員が着席したタイミング等であってよい。

【0032】

なお、センサ群２は心拍等、脈拍以外の生体拍数を測定するセンサを含んでいてもよい。また、センサ群２はこの他にも、呼吸・体温・血圧・意識・反射等のバイタルデータを測定するセンサを含んでいてもよい。該センサの測定データも、センサ情報として状態判定装置１Ａに送信される。

【0033】

なお、移動体６の内部空間には、同種の複数個のセンサが、それぞれ異なる位置に配置されていてもよい。例えば、移動体６が乗用車である場合、カメラ２１は、乗用車の各座席の正面にそれぞれ１つ以上配置されていてもよい。これにより、例えば各座席に人間が座ったときに、各人についての画像を取得することができる。また、脈拍センサ２２も、乗用車の各座席に、それぞれ１つ以上配置されていてもよい。これにより、座席毎、すなわち各人の脈拍を測定することができる。

【0034】

（状態判定装置１Ａ）
状態判定装置１Ａは、センサ群２から取得したセンサ情報と、サーバ４から取得した収集データに基づいて、乗員の状態を判定する。収集データの詳細については後述する。状態判定装置１Ａは、データ取得部（取得部）１１と、第１判定部（副状態判定部）１２と、通信部（受信部）１３と、第２判定部１４と、通知部１５と、を有する。

【0035】

本実施形態に係る状態判定装置１Ａは、脈拍センサ２２の測定データを用いて主たる状態判定を行う。しかしながら、乗員の脈拍の推移から乗員の状態を精度良く特定するためには、脈拍センサ２２を用いてある程度の期間（例えば、５分）脈拍の測定を行うことが望ましい。

【0036】

そのため、本実施形態に係る状態判定装置１Ａでは、脈拍センサ２２の測定開始から脈拍センサ２２の測定データが十分に貯まるまでの期間は、脈拍センサ２２に比べて短時間の測定時間で状態判定が可能な、別の判定方法で状態判定を行う。具体的には、状態判定装置１Ａは、カメラ２１の撮影画像を用いて、乗員の眠気の有無を判定する。

【0037】

以降、状態判定装置１Ａにおいて、センサ群２の測定（または撮影）開始後に最初に行う状態判定を第１判定と称する。また、以降、状態判定装置１Ａにおいて、第１判定の後に行われる状態判定を第２判定と称する。なお、第１判定はあくまでも、より早期に状態判定を行うための追加構成である。したがって、第１判定に係る構成は、本実施形態において必須の構成ではない。

【0038】

データ取得部１１は、センサ群２から、移動体６のセンサ情報を取得する。データ取得部１１は、取得したセンサ情報の少なくとも一部を第１判定部１２へ出力する。また、データ取得部１１は、取得したセンサ情報の少なくとも一部を第２判定部１４へ出力する。本実施形態では、データ取得部１１は、カメラ２１の撮影画像を第１判定部１２へ、脈拍センサ２２の脈拍の測定データを第２判定部１４へ出力する。なお、データ取得部１１は、センサ群２から所定の時間間隔、またはリアルタイムで継続的にセンサ情報を取得してよい。

【0039】

通信部１３は、状態判定装置１Ａとサーバ４との通信を行う。例えば、通信部１３は、サーバ４から収集データを受信し、第２判定部１４に出力する。また例えば、通信部１３は、第２判定部１４から入力された状態ログ３２をサーバ４に送信する。

【0040】

第１判定部１２は、センサ情報に基づいて第１判定を実行する。第１判定部１２はまず、カメラ２１の撮影画像に基づき、第１指標値を算出する。

【0041】

本実施形態では、第１判定部１２は第１指標値として、ＮＥＤＯ（New Energy and Industrial Technology Development Organization）の眠気評価方法に基づく眠気レベルを算出することとする。ＮＥＤＯの眠気評価方法によれば、眠気レベルは１から５までのレベルとして算出される。眠気レベル１は全く眠くない状態、眠気レベル２はやや眠そうな状態、眠気レベル３は眠そうな状態、眠気レベル４はかなり眠そうな状態、眠気レベル５は非常に眠そう、または眠り始めている状態を示す。

【0042】

次に、第１判定部１２は、算出した第１指標値が第１閾値以上であるか否かを判定する。第１指標値が第１閾値以上である場合、第１判定部１２は、乗員の状態が特定の状態であると判定する。一方、第１指標値が第１閾値未満である場合、第１判定部１２は、乗員の状態が特定の状態でないと判定する。

【0043】

本実施形態では、一例として、第１判定部１２は、眠気レベルの第１閾値を３とする。そして、算出した眠気レベルが３以上の場合は乗員に眠気有り、３未満の場合は乗員に眠気無しと判定する。眠気レベルの閾値は、どの程度の眠気の強さまでを「眠気無し」として許容するかに応じて、適宜定められてよい。

【0044】

第１判定部１２は、通知部１５に状態判定の結果を通知する。本実施形態の場合、第１判定部１２は、乗員の眠気有りと判定したか、乗員の眠気無しと判定したかを、通知部１５に通知する。

【0045】

第２判定部１４は、脈拍センサ２２の測定データを用いて、第２判定を実行する。第２判定部１４は、第２指標値算出部（指標値算出部）１４１と、閾値算出部（状態閾値算出部）１４２と、比較判定部（状態判定部）１４３と、を含む。

【0046】

第２指標値算出部１４１は、脈拍センサ２２の測定データに基づいて、状態判定のための第２指標値（状態指標値）を算出する。第２指標値算出部１４１は、算出した第２指標値を比較判定部１４３に出力する。

【0047】

センサ群２のいずれかの情報から算出することが可能な指標値であって、乗員の状態判定に用いることが可能な指標値であれば、第２指標値の種類、算出方法、および値の単位は特に限定されない。例えば、第２指標値算出部１４１は、脈拍センサ２２の測定データからＲＲＩ（脈拍間隔時間,R－R Interval）を算出し、ＲＲＩに基づいて第２指標値を算出してもよい。

【0048】

例えば、第２指標値算出部１４１は第２指標値としてＲＲＩ差を算出してもよい。「ＲＲＩ差」とは、一般的には、あるＲＲＩの値と、時系列における、該あるＲＲＩの１つ前のＲＲＩの値との差の値を示す。緊張が緩むとＲＲＩは大きくなるため、ＲＲＩ差も大きくなるといえる。ゆえに、眠気が強まった場合もＲＲＩ差が大きくなるといえる。

【0049】

本実施形態では、第２指標値算出部１４１は、以下の方法で第２指標値を算出することとする。第２指標値算出部１４１は、脈拍センサ２２の測定データからＲＲＩを算出する。ＲＲＩの算出は、測定データの取得が続く間、継続的に実行される。ＲＲＩの算出と並行して、第２指標値算出部１４１は、測定データを単位時間で区切り、該区分毎のＲＲＩの平均値を随時算出する。以降、単位時間当たりのＲＲＩの平均値のことを、「平均ＲＲＩ」と称する。ここで言う単位時間は、例えば３分程度であってよい。

【0050】

そして、第２指標値算出部１４１は、最新の平均ＲＲＩと、１つ前の平均ＲＲＩとの差を求めることで、ＲＲＩ差を算出する。したがって、本実施形態における「ＲＲＩ差」とは、第２指標値算出部１４１が算出した最新の平均ＲＲＩと、該平均ＲＲＩの直前の平均ＲＲＩとの差を示す。

【0051】

なお、第２指標値算出部１４１は、データ取得部１１からのセンサ情報の供給が続く間、所定の時間間隔で、継続的にＲＲＩ差を算出する。そして、第２指標値算出部１４１は算出したＲＲＩ差を、逐次比較判定部１４３に出力する。第２指標値算出部１４１がＲＲＩ差を算出する時間間隔は特に限定されないが、乗員の眠気の有無を第２判定部１４が遅滞なく特定できる程度の時間間隔であることが望ましい。

【0052】

閾値算出部１４２は、サーバ４から受信した収集データの状態ログから、第２判定における判定基準となる第２閾値（状態閾値）を算出する。閾値算出部１４２は、算出した第２閾値を比較判定部１４３に出力する。なお、第２指標値算出部１４１が第２指標値を算出する時間間隔と、閾値算出部１４２が第２閾値を算出する時間間隔とは、同じであってもよいし、異なっていてもよい。

【0053】

より詳しくは、閾値算出部１４２はまず、ユーザ情報３１を参照して、第２判定部１４が受信した収集データに含まれる状態ログのうち、第２閾値の算出に使用する状態ログを抽出する。なお、記憶装置３がユーザ情報３１を記憶していない場合、状態ログが乗員の属性情報を含まない場合、または、状態判定装置１Ａが乗員個人を識別しない場合、閾値算出部１４２は状態ログの抽出を実行しなくてよい。すなわち、閾値算出部１４２は、収集データに含まれる状態ログを全て、第２閾値の算出に用いてよい。

【0054】

閾値算出部１４２は続いて、抽出した状態ログそれぞれの第２指標値（すなわち、他人の第２指標値）を集計して、該他人の第２指標値の中央値を算出する。さらに、閾値算出部１４２は、抽出した状態ログそれぞれの判定結果を参照し、抽出した状態ログのうち、眠気有りと判定されたログの割合が半数（５０％）以上になる第２指標値の範囲を特定する。最後に、閾値算出部１４２は、算出した中央値以上であって、かつ、眠気有りと判定された状態ログの割合が５０％以上になる最小の第２指標値を、第２閾値と決定する。なお、閾値算出部１４２は他人の第２指標値の中央値ではなく最頻値を算出して、該最頻値以上、かつ、眠気有りと判定された状態ログの割合が５０％以上になる最小の第２指標値を、第２閾値と決定してもよい。

【0055】

（閾値の算出方法）
図２は、閾値算出部１４２における第２閾値の算出方法を、グラフで模式的に示した図である。なお、図２のグラフは、閾値算出部１４２における第２閾値の算出方法を視覚的に説明するためのものであって、実際に閾値算出部１４２が図示のグラフを作成する必要は無い。

【0056】

グラフのｘ軸は第２指標値、すなわちＲＲＩ差を示している。グラフの縦軸は、各ＲＲＩ差を示す状態ログの件数（すなわち、収集データに含まれる第２指標値の分布）を示している。また、図２の例では、白抜きで表示された棒グラフは抽出した状態ログのＲＲＩ差の分布を示しており、灰色で表示された棒グラフは、抽出した状態ログのうち第２判定で「眠気有り」と判定された状態ログの、ＲＲＩ差の分布を示している。

【0057】

図示の例では、抽出した状態ログが示すＲＲＩ差の中央値は０．１００である。そして、判定結果が「眠気有り」であった状態ログの割合が、抽出した状態ログ全体の５０％以上になるのは、ＲＲＩ差が０．１２５以上のときである。換言すると、灰色の棒グラフの総面積が、白い棒グラフの総面積の５０％を超えるのは、ＲＲＩ差が０．１２５以上のときである。したがって、閾値算出部１４２は、第２閾値を０．１２５と決定する。

【0058】

比較判定部１４３は、第２指標値と第２閾値との大小関係から、乗員の状態を判定する。比較判定部１４３は、入力された第２指標値が、入力された第２閾値以上であるか否かを判定する。第２指標値が第２閾値以上である場合、比較判定部１４３は、乗員が特定の状態であると判定する。一方、第２指標値が第２閾値以下である場合、比較判定部１４３は、乗員の状態が正常であると判定する。比較判定部１４３は判定結果を通知部１５に出力する。

【0059】

通知部１５は、第１判定部１２によって、乗員が特定の状態であると判定された場合、出力装置５に第１通知を出力させる。また、通知部１５は、第２判定部１４（より詳細には、比較判定部１４３）によって乗員が特定の状態であると判定された場合、出力装置５に第２通知を出力させる。第１通知および第２通知の内容は特に限定されない。例えば、第１通知および第２通知は、乗員に対する警告であってよい。

【0060】

（出力装置５）
出力装置５は、通知部１５の制御指示に基づいて、各種通知を音声または映像等の態様で出力する。出力装置５は、例えば、スピーカまたはディスプレイ等で実現される。なお、出力装置５は複数台であってもよい。例えば、移動体６は出力装置５として２台以上のスピーカを備えていてもよい。また例えば、移動体６は出力装置５として、スピーカと、ディスプレイの両方を備えていてもよい。

【0061】

（記憶装置３）
記憶装置３は、状態判定装置１Ａの動作に必要なデータを記憶する。例えば、記憶装置３は、ユーザ情報３１と、状態ログ３２とを記憶している。なお、本実施形態において、ユーザ情報３１は必須の情報ではない。

【0062】

ユーザ情報３１は、移動体６の乗員の個人情報を示す。ユーザ情報３１は、例えば、乗員の性別、年齢、居住地域等の情報であってもよい。

【0063】

図３は、状態ログ３２のデータ構造を示す図である。状態ログ３２は、第２指標値算出部１４１が算出した第２指標値と、該第２指標値の、第２判定における判定結果と、の履歴を示すログデータである。また、状態ログ３２は、乗員を一意に特定するための識別情報を有していてもよい。

【0064】

図３の例では、状態ログ３２は、「時刻」列と、「識別情報」列と、「ＲＲＩ差」列と、「判定結果」列とを有する。図３の状態ログ３２の１レコードは、ある時刻の、ある乗員についての第２指標値および第２判定の結果を示す。

【0065】

「時刻」列には、第２判定部１４が各レコードを生成した時刻が格納される。なお、時刻は状態判定装置１Ａに内蔵されたタイマー（図示せず）等で測定してよい。また、「時刻」列には、第２指標値の算出時刻、または、第２判定が下された時刻が格納されてもよい。

【0066】

「識別情報」列には、乗員の識別情報（例えば、乗員ＩＤ）が格納される。なお、乗員個人の特定方法は特に限定されない。例えば、状態判定装置１Ａは、カメラ２１の撮影画像を解析することで乗員を特定してもよい。もしくは、状態判定装置１Ａは、図示しない入力装置を介して、乗員自身に、該乗員の識別情報を入力させ、該識別情報から乗員個人を特定してもよい。

【0067】

「ＲＲＩ差」列には、第２指標値算出部１４１が算出したＲＲＩ差（すなわち、第２指標値）が格納される。「判定結果」列には、比較判定部１４３が下した第２判定の結果が格納される。図３の例では、比較判定部１４３が「乗員に眠気無し」と判定したＲＲＩ差に対応するレコードには「眠気無し」、「乗員に眠気有り」と判定したＲＲＩ差に対応するレコードには「眠気有り」という情報が格納される。

【0068】

なお、前述の通り、第２判定の基準となる第２閾値は、閾値算出部１４２が都度算出するものである。そのため、図３の３行目のレコードと４行目のレコードのように、ＲＲＩ差が同じ値であっても、第２判定の結果が異なる場合もある。

【0069】

（サーバ４）
サーバ４は、複数の状態判定装置１Ａから状態ログを収集して管理する。サーバ４は、サーバ通信部４１と、サーバ制御部４２と、サーバ記憶部４３と、を備える。

【0070】

サーバ通信部４１は、サーバ４と状態判定装置１Ａとの通信を行う。サーバ記憶部４３は、サーバ４の動作に必要な各種データを記憶する。サーバ記憶部４３は、収集データ４３１を記憶している。収集データ４３１は、複数の移動体６の状態判定装置１Ａから収集された状態ログをまとめたデータである。

【0071】

なお、サーバ制御部４２は、収集データ４３１に含まれる状態ログのレコードのうち、所定期間が経過したレコードを削除してもよい。例えば、各レコードが示す時刻から１時間が経過したレコードは、削除してもよい。

【0072】

これにより、収集データ４３１の容量を削減することができる。また、これにより、収集データ４３１は、常に直近の所定期間における状態ログのみを含むこととなる。「直近の所定期間」の具体的な長さは特に限定されないが、例えば１時間程度であってもよい。

【0073】

これにより、第２閾値を算出する場合に、常に、現在時刻から遡った所定期間内に集められた状態ログに基づいて、第２閾値を算出することができる。そのため、所定期間を適切に設定することで、例えば天候および気温等、時間に応じて変化する環境条件が変化した場合でも、ほぼ同条件下で、他の移動体６で生成された状態ログを用いて、第２閾値を算出することができる。したがって、第２判定において環境条件の違いによる誤判定が起きる可能性を低下させることができる。したがって、第２判定の精度が向上する。

【0074】

サーバ制御部４２は、サーバ４を統括的に管理する。例えば、サーバ制御部４２は、サーバ通信部４１を介して、状態判定装置１Ａから状態ログのレコードを受信する。サーバ記憶部４３は受信した１レコード分の状態ログを、収集データ４３１に加える。図１に示す通り、サーバ４は複数台の移動体６の状態判定装置１Ａから、同様に状態ログのレコードをリアルタイムで収集している。これにより、サーバ４の収集データ４３１には、各状態判定装置１ＡにおけるＲＲＩ差の算出結果と眠気の有無の判定結果が、リアルタイムで収集および蓄積される。

【0075】

≪処理の流れ≫
図４は、状態判定装置１Ａにおける処理の流れを示すフローチャートである。図４では、センサ群２における各種情報の測定が開始された時点を、処理のスタートとして示している。

【0076】

センサ群２の各種センサによる各種情報の測定および取得が開始されると、データ取得部１１は、センサ群２から各種センサ情報を取得する（Ｓ１１）。例えば、データ取得部１１は、カメラ２１から撮影画像を、脈拍センサ２２から脈拍の測定データをそれぞれ取得する。データ取得部１１は取得したこれらのデータのうち、カメラ２１の撮影画像を第１判定部１２に、脈拍センサ２２の測定データを第２判定部１４に出力する。第２判定部１４は、第２判定に用いるセンサ情報（本実施形態では、脈拍センサ２２の測定データ）が入力されると、第２判定部１４が第２判定を行うために十分なセンサ情報を取得したか否かを判定する（Ｓ１２）。

【0077】

ここで、「第２判定を行うために十分なセンサ情報」とは、第２指標値算出部１４１において第２指標値を算出可能な程度の所定期間（第１期間）分の、センサ情報である。本実施形態では、第２指標値算出部１４１が平均ＲＲＩを少なくとも２回算出可能な程度の期間分のセンサ情報を取得できれば、ＲＲＩ差を算出することができる。したがって、第２判定を行うために十分なセンサ情報とは、少なくとも、平均ＲＲＩの算出時間間隔の２倍の期間分の脈拍センサ２２の測定データである。

【0078】

第２判定部１４は、第２判定を行うために十分なセンサ情報を取得していない場合（Ｓ１２でＮＯ）、第１判定を実行するよう第１判定部１２に指示する。第１判定部１２は該指示を受けると、データ取得部１１から入力された撮影画像に基づいて、第１判定を実行する（Ｓ１３）。一方、第２判定部１４は、第２判定に十分なセンサ情報を取得済である場合（Ｓ１２でＹＥＳ）、第２判定を実行する（Ｓ１６）。

【0079】

例えば、状態判定装置１の起動後に、データ取得部１１が初めてセンサ情報を取得した場合、第２判定部１４は初回のセンサ情報しか取得していないため、Ｓ１２の判定はＮＯとなり、第１判定部１２による第１判定が実行される。

【0080】

（第１判定）
図５は、第１判定の処理の流れを示すフローチャートである。第１判定部１２はまず、カメラ２１の撮影画像に基づき、眠気レベルを算出する（Ｓ１３１）。次に、第１判定部１２は、算出した眠気レベルが３以上であるか否かを判定する（Ｓ１３２）。眠気レベルが３以上である場合（Ｓ１３２でＹＥＳ）、第１判定部１２は、乗員の眠気有りと判定する（Ｓ１３３）。一方、眠気レベルが３未満である場合（Ｓ１３２でＮＯ）、第１判定部１２は、乗員の眠気無しと判定する（Ｓ１３４）。

【0081】

再び図４を参照して説明する。第１判定が終了すると（Ｓ１３）、第１判定部１２は判定結果を通知部１５に通知する。

【0082】

通知部１５は、第１判定部１２の判定結果に基づいて、出力装置５に第１通知を出力させるか否かを決定する（Ｓ１４）。第１判定において、乗員に眠気有りと判定されていた場合（Ｓ１４でＹＥＳ）、通知部１５は出力装置５に、第１通知を出力させる（Ｓ１５）。一方、乗員に眠気無しと判定されていた場合（Ｓ１４でＮＯ）、通知部１５は出力装置５に第１通知を出力させずに処理を終了する。状態判定装置１Ａは、次にデータ取得部１１が各種センサ情報を取得すると、再びＳ１１から処理を実行する。第２判定部１４において、第２判定に十分なセンサ情報を取得できた場合（Ｓ１２でＹＥＳ）、第２判定を実行する（Ｓ１６）。

【0083】

（第２判定）
図６は、第２判定の処理の流れを示すフローチャートである。第２判定部１４の第２指標値算出部１４１は、脈拍センサ２２の測定データに基づいて、第２指標値、すなわちＲＲＩ差を算出する（Ｓ１６１）。第２指標値算出部１４１はＲＲＩ差を比較判定部１４３に出力する。

【0084】

一方、第２判定部１４は、通信部１３を介してサーバ４から収集データを受信する（Ｓ１６２）。第２判定部１４の閾値算出部１４２は、ユーザ情報３１を参照して、第２判定部１４が受信した収集データに含まれる状態ログのうち、第２閾値の算出に使用する状態ログを抽出する（Ｓ１６３）。なお、Ｓ１６３の処理は必須ではない。状態ログの抽出を実行しない場合、閾値算出部１４２は、以降の処理において、収集データに含まれる全ての状態ログを用いてよい。

【0085】

閾値算出部１４２は続いて、抽出した状態ログそれぞれの第２指標値（すなわち、他人の第２指標値）を集計して、該他人の第２指標値の中央値を算出する（Ｓ１６４）。さらに、閾値算出部１４２は、抽出した状態ログそれぞれの判定結果を参照し、抽出した状態ログのうち、眠気有りと判定されたログの割合が５０％以上になる第２指標値の値を特定する（Ｓ１６５）。最後に、閾値算出部１４２は、算出した中央値以上であって、かつ、眠気ありと判定されたログの割合が５０％以上になる最小の第２指標値を、第２閾値と決定する（Ｓ１６６）。閾値算出部１４２は決定した第２閾値を比較判定部１４３に出力する。

【0086】

比較判定部１４３は、第２指標値算出部１４１が算出したＲＲＩ差が第２閾値以上であるか否かを判定する（Ｓ１６７）。ＲＲＩ差が第２閾値以上である場合（Ｓ１６７でＹＥＳ）、比較判定部１４３は、乗員に眠気有りと判定する（Ｓ１６８）。一方、ＲＲＩ差が第２閾値未満である場合（Ｓ１６７でＮＯ）、比較判定部１４３は、乗員に眠気無しと判定する（Ｓ１６９）。

【0087】

再び図４を参照して説明する。第２判定が終了すると（Ｓ１６）、比較判定部１４３は判定結果を通知部１５に通知する。通知部１５は、比較判定部１４３の判定結果に基づいて、出力装置５に第２通知を出力させるか否かを決定する（Ｓ１７）。第２判定において、乗員に眠気有りと判定されていた場合（Ｓ１７でＹＥＳ）、通知部１５は出力装置５に、第２通知を出力させる（Ｓ１８）。一方、乗員に眠気無しと判定されていた場合（Ｓ１７でＮＯ）、通知部１５は出力装置５に第２通知を出力させずに処理を終了する。

【0088】

状態判定装置１Ａは、次にデータ取得部１１が各種センサ情報を取得すると、再びＳ１１から処理を実行する。脈拍センサ２２の測定データは逐次データ取得部１１に供給されるため、以降、第２判定部１４は、第２判定に十分なセンサ情報が蓄積された状態となる。したがって、第２判定部１４は、データ取得部１１からセンサ情報を取得する度に、第２判定（Ｓ１６）を繰り返し実行することとなる。

【0089】

なお、第２判定部１４は、第２判定（Ｓ１６）を行った後、状態ログを作成して、状態ログ３２の１レコードとして記憶装置３に記憶させてもよい。また、第２判定部１４は作成した状態ログ（すなわち、１レコード分の状態ログ）を、通信部１３を介してサーバ４に送信してもよい。サーバ４のサーバ記憶部４３は、サーバ通信部４１を介して１レコード分の状態ログを受信する。サーバ記憶部４３は受信した１レコード分の状態ログを、収集データ４３１に加える。

【0090】

なお、第１判定を実行しない場合、状態判定装置１Ａは、図４のＳ１３～Ｓ１５の処理は実行せず、第２判定を行うために十分な測定データが得られるまで（Ｓ１２でＹＥＳ）、待機していてもよい。もしくは、第２判定を行うために十分な期間分のセンサ情報を得られていない場合であっても、第２判定を実行するようにしてもよい（Ｓ１６）。例えば、第２判定を行うために十分な期間分のセンサ情報を得られていない場合、第２判定部１４は、第２指標値が０であるとみなして第２判定を実行してもよい。

【0091】

（変形例）
本実施形態において、第１指標値および第２指標値の種類および値の算出方法は、センサ群２から取得可能なデータに応じて、適宜定められてよい。すなわち、第１判定部１２および第２判定部１４はそれぞれ、センサ群２から得られる情報で算出可能な指標値を、第１指標値または第２指標値として算出してよい。そして、データ取得部１１は、第１判定部１２および第２判定部１４が必要とする情報を、適宜第１判定部１２および第２判定部１４に供給してよい。

【0092】

また例えば、第２判定部１４の閾値算出部１４２は、第２指標値として、以下の値を算出してもよい。すなわち、閾値算出部１４２は、単位時間当たりの脈拍数を第２指標値として算出してもよい。また、閾値算出部１４２は、単位時間当たりのＲＲＩの最大変化幅、単位時間当たりのＲＲＩの平均値、単位時間当たりのＲＲＩの中央値の少なくともいずれかを第２指標値として算出してもよい。また、閾値算出部１４２は、単位時間当たりのＲＲＩの高周波成分、低周波成分、超低周波成分、および超々低周波成分の積分値のいずれかを、第２指標値として算出してもよい。また、閾値算出部１４２は、ＲＲＩの高周波成分と低周波成分の積分値の比等、ＲＲＩの異なる周波数成分の積分値の比を第２指標値として算出してもよい。また、閾値算出部１４２は、ＲＲＩの単回帰の係数を第２指標値として算出してもよい。

【0093】

また例えば、第２判定部１４はカメラ２１の撮影画像を解析して、解析結果に基づいて第２指標値を算出してもよい。例えば、閾値算出部１４２は、撮影画像から、乗員の瞼の動きを特定してもよい。具体的には、閾値算出部１４２は、閉眼時間、単位時間当たりの閉眼またはまばたきの回数等を、第２指標値として算出してもよい。

【0094】

〔実施形態２〕
状態判定システム１００は、乗員の状態を判定する際に、該乗員の過去の第２指標値を考慮してもよい。以下、本開示の第２の実施形態について説明する。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を繰り返さないこととする。

【0095】

≪要部構成≫
図７は、本実施形態に係る状態判定システム２００の要部構成を示すブロック図である。状態判定システム２００は、状態判定装置１Ｂを含む点で状態判定システム１００と異なる。状態判定装置１Ｂは、第３判定部（平均判定部）１６を有する点で、状態判定装置１Ａと異なる。

【0096】

本実施形態に係る第２判定部１４の第２指標値算出部１４１は、第２指標値を算出すると、該第２指標値を第３判定部１６に出力する。本実施形態に係る通知部１５は、第３判定部１６によって乗員が特定の状態であると判定された場合、出力装置５に第３通知を出力させる。第３通知の内容は、第１通知および第２通知と同様に、乗員に対する警告であってよい。

【0097】

第３判定部１６は、第２指標値に基づいて第３判定を実行する。第３判定とは、移動体６の乗員の過去の第２指標値の大きさの平均値と、第２指標値算出部１４１から取得した最新の第２指標値とを比較することで、乗員が特定の状態か否かを判定する判定方法である。第３判定の詳細については後述する。第３判定部１６は、判定結果を通知部１５に通知する。

【0098】

≪処理の流れ≫
図８は、本実施形態に係る状態判定装置１Ｂにおける処理の流れを示すフローチャートである。なお、図８において図４と同様のステップ番号を付した箇所は、図４と同様の処理であるため、説明を繰り返さない。

【0099】

状態判定装置１Ｂは、第２判定と並行して、第３判定を実行する（Ｓ１９）。なお、前述の通り、第３判定には第２指標値を用いる。そのため、第３判定部１６は、第２指標値算出部１４１から少なくとも１回、第２指標値を取得してから、第３判定を実行する。そのため、初回に第２判定が行われるときは、第３判定は並行して実行されなくてもよい。

【0100】

図９は、第３判定の処理の流れを示すフローチャートである。第３判定部１６は、第２指標値、すなわちＲＲＩ差を取得すると（Ｓ１９１）、所定の第２期間分の乗員の状態ログを読み出す。ここで言う、「第２期間」とは、例えば、現在時刻から遡って１０時間程度である。次に、第３判定部１６は、読み出した状態ログの各レコードが示すＲＲＩ差の平均値を算出する（Ｓ１９２）。続いて、第３判定部１６は、第２指標値算出部１４１が算出したＲＲＩ差（すなわち、乗員の現在のＲＲＩ差）と、第２期間分の状態ログのＲＲＩ差の平均値＋３σとの大小を比較する（Ｓ１９３）。なお、「３σ」は平均値からの誤差の許容範囲を定める値である。

【0101】

第２指標値算出部１４１が算出したＲＲＩ差が、第２期間分の状態ログのＲＲＩ差の平均値＋３σ以上である場合（Ｓ１９３でＹＥＳ）、第３判定部１６は、乗員に眠気有り、と判定する（Ｓ１９４）。第２指標値算出部１４１が算出したＲＲＩ差が、第２期間分の状態ログのＲＲＩ差の平均値＋３σ未満である場合（Ｓ１９３でＮＯ）、第３判定部１６は、乗員に眠気無し、と判定する（Ｓ１９５）。

【0102】

なお、平均値への誤差３σの加算は必須ではない。すなわち、第３判定部１６は、Ｓ１９３において、第２指標値算出部１４１が算出したＲＲＩ差と平均値＋３σではなく、該ＲＲＩ差と平均値とを比較判定してもよい。そして、ＲＲＩ差が平均値以上であれば乗員に眠気有り、平均値未満であれば乗員に眠気無し、と判定してもよい。

【0103】

再び図８に戻り説明する。第３判定が終了すると（Ｓ１９）、第３判定部１６は判定結果を通知部１５に通知する。通知部１５は、第３判定部１６の判定結果に基づいて、出力装置５に第３通知を出力させるか否かを決定する（Ｓ２０）。第３判定において、乗員に眠気有りと判定されていた場合（Ｓ２０でＹＥＳ）、通知部１５は出力装置５に、第３通知を出力させる（Ｓ２１）。一方、乗員に眠気無しと判定されていた場合（Ｓ２０でＮＯ）、通知部１５は出力装置５に第３通知を出力させずに、処理を終了する。

【0104】

乗員自身の第２指標値の平均値、すなわち、通常時の乗員の第２指標値と推定される値よりも、現在算出された第２指標値の方が大きい場合、乗員の状態が通常と異なっている可能性が高い。前記の構成によれば、状態判定装置は、乗員の状態が通常と異なっている可能性が高い場合に、乗員が特定の状態になったと判定することができる。

【0105】

≪ＲＲＩ差の出現頻度と第３判定≫
図１０は、第２期間におけるある乗員のＲＲＩ差の出現頻度を示したグラフである。なお、図１０のグラフは、第３判定部１６における判定処理を視覚的に説明するためのものであって、実際に第３判定部１６が図示のグラフを作成する必要は無い。

【0106】

個人のＲＲＩ差の出現頻度は、通常、図１０のように正規分布に類似する形に収束する。図１０に示す通り、グラフにおいて平均値から離れた値ほど、出現頻度が低い。そのため、現在の乗員のＲＲＩ差が、図１０に示す平均値から離れた値であるほど、該乗員が通常と異なる状態である可能性が高いといえる。

【0107】

したがって、誤差３σの値を調整することで、ある乗員のＲＲＩ差を「通常」と判定するか、「異常」と判定するかの、出現頻度の閾値を調整することができる。例えば、図１０において、ＲＲＩ差の平均値＋３σの値を、縦軸に示す出現頻度が５％になる値に設定したと仮定する。この仮定において、第２指標値算出部１４１が算出した、乗員の現在のＲＲＩ差が、ＲＲＩ差の平均値＋３σ以上の場合、該現在のＲＲＩ差の出現頻度は５％以下（図１０のグラフの斜線領域内の値）となる。そのため、乗員にとって現在のＲＲＩ差は、通常算出され難い異常な値であると判定することができる。

【0108】

第３判定部１６はこのように、乗員個人にとってＲＲＩ差が異常な値を示したか否かを判定する第３判定を行うことで、乗員の眠気の有無を判定する。この第３判定によれば、平均値に加算する「３σ」の値の大きさによって、ＲＲＩ差が平均値からどの程度離れた場合に異常と判定するかを、調整することができる。

【0109】

本実施形態に係る第３判定部１６は、第２指標値算出部１４１が算出した第２指標値が異常な値を示した回数をカウントしてもよい。そして、第３判定部１６は、第２指標値が異常な値を示した回数が所定回数未満の場合は、乗員が特定の状態でないと判定し、該異常な値を示した回数が所定回数以上の場合は、乗員が特定の状態であると判定してもよい。なお、この回数のカウントは、第３判定部１６が一度判定を下した場合は０にリセットされてよい。

【0110】

「所定回数」の具体的な数は限定されない。例えば、前記所定回数とは、１０回であってもよい。このように、ある回数以上、異常な値を検出した場合に、乗員が特定の状態になったと判定することにより、一時的に値が大きく上昇した場合等に、第３判定部１６において誤った判定を下すことを防止することができる。よって、第３判定の精度を向上させることができる。

【0111】

なお、第３判定部１６は、前述の「異常な値を示した回数」をカウントする場合に、カウントリセットまでの制限時間を設けてもよい。すなわち、第３判定部１６は、所定時間内に所定回数以上、第２指標値が平均値＋３σ以上であった場合は、乗員の状態が異常であると判定してもよい。そして、前記所定時間が経過した場合は、第２指標値が平均値＋３σであった回数のカウントをリセットしてもよい。これにより、さらに第３判定の精度を向上させることができる。

【0112】

本実施形態に係る第３判定部１６は、乗員の第２指標値ではなく、センサ情報から第２指標値を算出する際の中間結果の値を、第３判定に使用してもよい。なお、該中間結果の値を第３判定に用いる場合、第２判定部１４は、第２指標値の代わりに、または第２指標値とともに前記中間結果の値の履歴を含んだ、状態ログ３２を作成する。

【0113】

具体的には、例えば、第３判定部１６は、ＲＲＩ差ではなく平均ＲＲＩを用いて第３判定を実行してもよい。平均ＲＲＩを用いて第３判定を実行する場合、第２判定部１４は平均ＲＲＩの履歴を含んだ状態ログ３２を作成し、記憶装置３に記憶させる。また、平均ＲＲＩを用いて第３判定を実行する場合、第２指標値算出部１４１は第３判定部１６に平均ＲＲＩを出力する。以降の処理は、本実施形態で説明した処理における「ＲＲＩ差」を「平均ＲＲＩ」に替えて実行すればよい。

【0114】

〔実施形態３〕
本実施形態に係る状態判定システム３００は、状態判定システム１００および２００と同様に、移動体の内部空間に滞在している乗員の状態を判定するためのシステムである。人間が眠気等の特定の状態であるか否かを、該状態を示す指標値を用いて判定する方法は種々存在する。しかしながら、効果的な判定方法、すなわち、前述の「特定の状態」と相関が高い指標値は、各人によって異なる。

【0115】

本実施形態に係る状態判定システム３００は、上述の個人差を考慮した状態判定を行う。具体的には、状態判定システム３００は、乗員の状態を特定するための指標値を、複数の方法で複数種類算出する。次に、状態判定システム３００は、乗員個々人において相関の高い指標値を選択して、該指標値の値に応じて、乗員が特定の状態である可能性を示すスコアを算出する。そして、状態判定システム３００は、算出したスコアの合計が、所定の第３閾値（スコア閾値）以上であるか否かを判定する。スコアの合計が第３閾値以上である場合、状態判定システム３００は、乗員が特定の状態であると最終的な判定結果を下す。

【0116】

以下、本開示の第３の実施形態について、図１１～図１６を用いて詳細に説明する。なお、実施形態１または２で説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を繰り返さない。

【0117】

≪要部構成≫
図１１は、本実施形態に係る状態判定システム３００の要部構成を示すブロック図である。状態判定システム３００は、状態判定システム１００および２００と異なり、サーバ４を含まなくてもよい。

【0118】

状態判定システム３００は状態判定装置１Ｃを含む。また、状態判定システム３００に係る記憶装置３は、ユーザ情報３１と、状態ログ３２と、説明変数データ３３とを記憶している。なお、本実施形態において、ユーザ情報３１と、状態ログ３２とは必須のデータではない。

【0119】

（状態判定装置１Ｃ）
状態判定装置１Ｃは、通信部１３を有していなくてもよい。また、状態判定装置１Ｃは、第２判定部１４ではなく、複数の説明変数算出部１７と、該説明変数算出部１７に対応する複数のスコア算出部１８と、を有する点で、状態判定装置１Ａおよび１Ｂと異なる。なお、図１１の例では含んでいないが、状態判定装置１Ｃは、第１判定部１２を含んでいてもよい。図１１の例では、状態判定装置１Ｃは、複数の説明変数算出部１７の一例として、３つの説明変数算出部１７Ａ～１７Ｃを含む。また、図１１の例では、状態判定装置１Ｃは、複数のスコア算出部１８の一例として、説明変数算出部１７Ａ～１７Ｃにそれぞれ対応するスコア算出部１８Ａ～１８Ｃを含む。以降、説明変数算出部１７Ａ～１７Ｃを総称する場合には、説明変数算出部１７とも記載する。また、以降、スコア算出部１８Ａ～１８Ｃを総称する場合には、スコア算出部１８とも記載する。また、状態判定装置１Ｃは、スコア判定部１９と、識別部７０と、説明変数選択部７１と、を含む。本実施形態に係るデータ取得部１１は、識別部７０と、説明変数算出部１７それぞれに、センサ情報を出力する。

【0120】

識別部７０は、センサ群２のセンサ情報を取得し、該センサ情報から、乗員を識別する。例えば、識別部７０は、カメラ２１の撮影画像から乗員を識別してもよい。また、センサ群２がマイクを含んでいる場合、識別部７０は、マイクが取得した乗員の発話音声を音声認識することで、乗員を識別してもよい。識別部７０は、乗員の識別結果を、説明変数選択部７１に出力する。

【0121】

説明変数選択部７１は、識別部７０が識別した乗員に応じた説明変数データ３３を読み出して、該乗員の状態判定に使用する説明変数を選択する。説明変数の選択方法の詳細については後述する。説明変数選択部７１は、乗員の状態判定に使用する説明変数に対応する説明変数算出部１７に、説明変数の算出を指示する。

【0122】

説明変数算出部１７Ａ～１７Ｃはそれぞれ、センサ群２から得たセンサ情報に基づいて、異なる方法を用いて、乗員が特定の状態であるか否かを示す指標値を算出する。すなわち、本実施形態では、説明変数算出部１７Ａ～１７Ｃはそれぞれ、乗員の眠気の有無を示す指標値を算出する。説明変数算出部１７Ａ～１７Ｃが算出する指標値はそれぞれ、「乗員が特定の状態であるか否か」を示す目的変数を最終的に求めるための、説明変数である。以降、説明変数算出部１７それぞれが算出する指標値のことを、説明変数とも称する。

【0123】

各説明変数の具体的な算出方法は限定されない。例えば、説明変数算出部１７Ａ～１７Ｃのいずれかは、第１判定部１２と同様に、説明変数として眠気レベルを算出してもよい。また、状態判定装置１Ｃにおいて、説明変数算出部１７およびスコア算出部１８の数は、複数であればその数は特に限定されない。説明変数算出部１７Ａ～１７Ｃはそれぞれ、算出した説明変数をスコア算出部１８Ａ～１８Ｃに出力する。

【0124】

スコア算出部１８Ａ～１８Ｃはそれぞれ、対応する説明変数算出部１７Ａ～１７Ｃから入力された説明変数に基づいて、スコアを算出する。具体的には、説明変数が入力されると、スコア算出部１８Ａ～１８Ｃは説明変数データ３３を参照して、各説明変数が、全体閾値以上、かつ個人閾値以上であるか否かを判定する。指標値が、全体閾値以上、かつ個人閾値以上である場合、スコア算出部１８Ａ～１８Ｃは、それぞれ説明変数データ３３に記憶された、各指標値のスコア式に指標値を代入することで、該指標値のスコアを算出する。スコア算出部１８Ａ～１８Ｃは、算出したスコアをそれぞれスコア判定部１９に出力する。なお、全体閾値、個人閾値、およびスコア式については後で詳述する。

【0125】

スコア判定部１９は、各スコアを合計した値である合計スコアを算出し、合計スコアに基づいて、乗員が特定の状態であるか否か判定する。本実施形態においては、スコア判定部１９の判定結果が、乗員の状態判定の最終結果であるといえる。

【0126】

具体的には、スコア判定部１９は、合計スコアが所定の第３閾値以上である場合、乗員が特定の状態であると判定し、合計スコアが所定の第３閾値未満である場合、乗員が特定の状態ではないと判定する。すなわち、本実施形態では、スコア判定部１９は、合計スコアが第３閾値以上である場合、乗員に眠気有りと判定し、合計スコアが第３閾値未満の場合、乗員に眠気無しと判定する。なお、スコア判定部１９は、眠気の有無を判定する前に、合計スコアの値を正規化してもよい。第３閾値の具体的な値は、説明変数の値の範囲に応じて適宜決定されてよい。例えば、第３閾値は、各説明変数の値が０～１の範囲内である場合、０．５程度であってもよい。スコア判定部１９は、判定結果を通知部１５に出力する。

【0127】

本実施形態に係る通知部１５は、スコア判定部１９によって乗員が特定の状態であると判定された場合、出力装置５に第４通知を出力させる。第４通知の内容は、例えば、第１通知～第３通知と同様に、乗員に対する警告であってよい。

【0128】

（説明変数データ３３）
説明変数データ３３は、各説明変数における判定基準となる全体閾値および個人閾値を記録したデータである。また、説明変数データ３３は、乗員個々人が特定の状態であるか否かと、各説明変数との相関の強さを示すデータである。説明変数データ３３は、状態判定装置１Ｃまたは他の装置を用いて、予め乗員毎に作成され、記憶装置３に記憶される。

【0129】

図１２は、説明変数データ３３のデータ構造を示す図である。説明変数データ３３は、説明変数名に、該説明変数の全体閾値、個人閾値、および、スコア式を対応付けたデータである。説明変数データ３３の１レコードは、１つの説明変数についての説明変数データを示す。図１２において、「説明変数」列には、説明変数名を示す情報が格納される。「全体閾値」列には、全体閾値が格納される。「個人閾値」列には、個人閾値が格納される。「スコア式」には、スコア式を示す情報が格納される。図１２の例では、説明変数データ３３はさらに、各説明変数の優先順位を示す情報も含んでいる。

【0130】

（説明変数データ３３の作成方法）
説明変数データ３３は、乗員個人のサンプルデータ（以降、個人データと称する）と、複数人のサンプルデータ（以降、全体データと称する）と、に基づいて作成される。なお、全体データに個人データが含まれていてもよい。また、全体データを構成する人数は多いほど好ましい。

【0131】

個人データおよび全体データはいずれも、説明変数算出部１７それぞれと同様の方法で算出した説明変数の値（すなわち、指標値）と、該指標値において、「眠気有り」と判定される確率と、を対応付けたデータである。「眠気有り」と判定される確率は、全体データまたは個人データに含まれる各指標値において、乗員が実際に特定の状態であったか否かを測定し、該測定データをロジスティック回帰等の手法で２値分類することで算出することができる。例えば、個人データおよび全体データは、実施形態１において説明した眠気レベルと、該眠気レベルにおいて被験者が実際に眠気を催す確率と、を対応付けたデータであってもよい。

【0132】

図１３は、ある説明変数と乗員の特定の状態への変化との間に相関関係が無い場合の、全体閾値、個人閾値、およびスコア式を示すグラフである。図１４は、図１３と同じ説明変数と乗員の特定の状態への変化との間に相関関係が有る場合の、全体閾値、個人閾値、およびスコア式を示すグラフである。図１３および図１４の横軸は、指標値を示している。

【0133】

図１３および図１４の縦軸は、横軸が示す指標値において、「眠気有り」と判定される確率を示している。また、図１３および図１４の実線の棒グラフは、個人データの分布を示している。一方、図１３の点線の棒グラフは、全体データの分布を示している。なお、図１３および図１４のグラフは、説明変数データ３３における各値の算出方法を視覚的に説明するためのものであり、実際に状態判定装置１Ｃが図示のグラフを作成する必要は無い。

【0134】

「全体閾値」とは、全体データの全サンプルにおける、乗員が特定の状態（本実施形態では、眠気有り）であると判定された確率の、平均値である。「個人閾値」とは、個人データの全サンプルにおける、乗員が特定の状態であると判定された確率の、平均値である。「スコア式」とは、説明変数と、乗員が特定の状態である確率との相関関係を示す数式である。図示のように、スコア式は、例えば、個人データを平滑化した平滑化曲線の変数式である。後述するが、スコア式に、説明変数の値を代入して得た値が、該説明変数のスコアになる。つまり、本実施形態における「スコア」とは、説明変数毎に算出される数値であって、乗員が特定の状態である可能性を示す値である。

【0135】

図１３に示すように、一般的には特定の状態と相関関係がある説明変数であっても、ある乗員の特定の状態への変化には相関関係が無い場合、個人データの説明変数の値が変動しても、「眠気有り」と判定される確率は大きくは変動しない。一方、全体データの説明変数の値が変動すると、「眠気有り」と判定される確率は上昇する。したがって、図１３に示すように、全体閾値よりも個人閾値の方が低くなる。

【0136】

一方、図１４に示すように、ある乗員の特定の状態への変化に相関関係が有る説明変数の場合、個人データの説明変数の値が変動すると、「眠気有り」と判定される確率が上昇する。個人データの説明変数の方が全体データの説明変数よりも相関度が高い場合は、図１４に示すように、全体閾値よりも個人閾値の方が高くなる。

【0137】

状態判定装置１Ｃまたは他の装置は、このように各説明変数について、全体閾値、ならびに、乗員毎の個人閾値およびスコア式を予め算出しておき、説明変数データ３３に記録しておく。これにより、状態判定装置１Ｃの説明変数算出部１７（後述）は、算出した説明変数の値から、スコアを算出することができる。

【0138】

≪処理の流れ≫
図１５は、状態判定装置１Ｃにおける処理の流れを示すフローチャートである。図１５では、センサ群２における各種情報の測定が開始された時点を、処理のスタートとして示している。カメラ２１における画像の撮影、および脈拍センサ２２における脈拍の測定が開始されると（Ｓ２１）、データ取得部１１はセンサ群２から種々のセンサ情報を遂次取得する。データ取得部１１は取得したセンサ情報を、識別部７０と、説明変数算出部１７Ａ～１７Ｃそれぞれに出力する。なお、データ取得部１１は、全てのセンサ情報を、全ての説明変数算出部１７にそれぞれ出力する必要は無い。データ取得部１１は少なくとも、説明変数算出部１７Ａ～１７Ｃそれぞれにおいて説明変数の算出に必要なセンサ情報を説明変数算出部１７Ａ～１７Ｃそれぞれに出力すればよい。

【0139】

識別部７０はセンサ情報に基づいて乗員を識別し、識別結果を説明変数選択部７１に出力する。説明変数選択部７１は、識別部７０が識別した乗員に応じた説明変数データ３３を読み出して、該乗員の状態判定に使用する説明変数を選択する（Ｓ２２）。説明変数選択部７１は、乗員の状態判定に使用する説明変数に対応する説明変数算出部１７に、説明変数の算出を指示する。

【0140】

以降、説明変数選択部７１から指示を受けた各説明変数算出部１７と、これらに対応するスコア算出部１８によって、各説明変数の算出およびスコア算出が行われる。なお、Ｓ２２以降であれば、各説明変数の算出およびスコア算出の順序およびタイミングは、特に限定されない。

【0141】

まず、各説明変数算出部１７はそれぞれ、説明変数となる指標値を算出する（Ｓ２３）。説明変数算出部１７はそれぞれ、算出した説明変数を、対応するスコア算出部１８に出力する。スコア算出部１８はそれぞれ、説明変数が入力されると、説明変数データ３３を参照して、入力された説明変数の全体閾値および個人閾値を特定する。スコア算出部１８はそれぞれ、説明変数が、該説明変数に対応する全体閾値以上かつ個人閾値以上であるか否かを判定する（Ｓ２４）。

【0142】

説明変数が全体閾値以上かつ個人閾値以上である場合（Ｓ２４でＹＥＳ）、該判定を行ったスコア算出部１８は、説明変数の値に応じてスコアを決定する（Ｓ２５）。例えば、Ｓ２３でＹＥＳであったスコア算出部１８は、説明変数の値を、説明変数データ３３に記憶された、該説明変数のスコア式に代入することによって、スコアを求める。

【0143】

一方、説明変数が全体閾値未満、または説明変数が個人閾値未満の少なくとも一方であった場合（Ｓ２４でＮＯ）、該判定を行ったスコア算出部１８は、該説明変数のスコアを０とする（Ｓ２６）。

【0144】

いずれの場合も、各スコア算出部１８は、スコア判定部１９に算出したスコアを出力する。全説明変数の算出および全説明変数のスコア算出が終了すると、スコア判定部１９は入力されたスコアを合計することで、合計スコアを算出する（Ｓ２７）。スコア判定部１９はさらに、合計スコアが第３閾値以上であるか否かを判定する（Ｓ２８）。合計スコアが第３閾値以上である場合（Ｓ２８でＹＥＳ）、スコア判定部１９は、乗員に眠気有りと判定する（Ｓ２９）。通知部１５は該判定結果を受けると、出力装置５に第４通知を出力させる（Ｓ３０）。一方、合計スコアが第３閾値未満である場合（Ｓ２８でＮＯ）、スコア判定部１９は、乗員に眠気無しと判定する（Ｓ３１）。この場合、通知部１５は出力装置５に第４通知を出力させず、処理を終了する。

【0145】

≪説明変数の選択≫
最後に、説明変数選択部７１による説明変数の選択について説明する。図１６は、ある乗員の状態判定に使用する説明変数の選択と、該説明変数を用いた状態判定の結果とを模式的に示した図である。便宜上、図１６の例では、識別部７０が識別した乗員を乗員Ａと称する。また、図１６においては、第３閾値は０．５であることとする。

【0146】

図１６の１行目は、説明変数の種類を示している。図１６の例では、状態判定装置１Ｃは、６種類の説明変数Ｘ１～Ｘ６に対応する、６つの説明変数算出部１７と、６つのスコア算出部１８と、を有することとする。説明変数選択部７１は、乗員Ａの説明変数データ３３を参照することで、乗員Ａの状態判定に使用する説明変数を選択する。図示の例では、説明変数選択部７１は、説明変数データ３３に記憶された優先順位の上から順に、４つの説明変数Ｘ１～Ｘ４を、乗員の状態判定に使用する説明変数として選択している。

【0147】

選択する説明変数の個数は特に限定されない。また、説明変数の選択方法も、上述の方法に限定されない。例えば、説明変数選択部７１は、乗員Ａの説明変数データ３３における個人閾値の高い順に、所定の個数の説明変数を、乗員の状態判定に使用することとしてもよい。または、状態判定装置１Ｃは、乗員Ａの説明変数データ３３における各説明変数のスコア式を参照し、該スコア式の最大値が高い順、に所定の個数の説明変数を、乗員の状態判定に使用することとしてもよい。

【0148】

図１６の２行目は、各説明変数の値と、全体閾値および個人閾値との比較結果を示している。また、図１６の３行目は、各説明変数のスコアを示している。なお、図１６において「閾値」とは、全体閾値および個人閾値のうち、値が大きい方の閾値を示している。すなわち、図１６において説明変数の値が閾値以上である場合とは、該説明変数の値が全体閾値以上かつ個人閾値以上であることを示す。図示の例では、説明変数Ｘ１～Ｘ３については、説明変数の値が閾値以上であるため、各スコア算出部１８は、各説明変数のスコア式に説明変数Ｘ１～Ｘ３の値をそれぞれ代入することで、スコアを求める。一方、説明変数Ｘ４については、値が閾値以下である。したがって、説明変数Ｘ４に対応するスコア算出部１８は、説明変数Ｘ４のスコアを０とする。

【0149】

これにより、説明変数の値から、乗員Ａが眠気を感じている可能性が低いと推定される場合は、該説明変数のスコアを０とし、合計スコアに寄与させないようにすることができる。よって、状態判定の精度を向上させることができる。

【0150】

図１６の場合、スコア判定部１９は図示のように、説明変数Ｘ１、Ｘ２、およびＸ３に由来するスコアを合計して、合計スコアを算出する。そして、合計スコアが第３閾値である０．５以上であるため、乗員Ａに眠気有りと判定する。

【0151】

本実施形態に係る処理によれば、乗員の特定の状態への変化に相関が高い説明変数を選択して、その説明変数のスコアを合計して最終的な状態判定の結果を下すことができる。したがって、より正確に乗員の状態を判定することができる。

【0152】

換言すると、本実施形態に係る処理によれば、乗員の特定の状態への変化に相関が低い説明変数を、状態判定に用いないようにすることができる。よって、乗員が特定の状態であるか否かを正確に判定することができる。

【0153】

〔実施形態４〕
実施形態１または２に係る状態判定方法と、実施形態３に係る状態判定方法とは、併用してもよい。以下、本開示の第４の実施形態について説明する。なお、実施形態１～３のいずれかで説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を繰り返さない。

【0154】

図１７は、本実施形態に係る状態判定システム４００の要部構成を示すブロック図である。状態判定システム４００は、実施形態１に係る状態判定システム１００と、実施形態３に係る状態判定システム３００とを組み合わせた構成をしている。なお、図１７では、図面の簡略化のため、サーバ４の内部構成を記載していないが、サーバ４は実施形態１および２に記載のサーバ４と同様の構成である。

【0155】

本実施形態に係る記憶装置３は、ユーザ情報３１と、状態ログ３２と、説明変数データ３３とを記憶している。また、本実施形態に係る状態判定装置１Ｄは、状態判定装置１Ｃの説明変数算出部１７に代えて、複数の第２判定部１４を備えている。図１７の例では、状態判定装置１Ｄは、３つの第２判定部１４Ａ～１４Ｃを備えている。

【0156】

以下、状態判定装置１Ｄにおける乗員の状態判定の処理手順を説明する。第２判定部１４Ａ～１４Ｃは、実施形態１および２において説明した第２判定部１４と同様の構成を有している。第２判定部１４Ａ～１４Ｃはそれぞれ、実施形態１において説明した第２判定を実行する。なお、第２判定の開始タイミングについては、図４と同様である。第２判定部１４Ａ～１４Ｃは、乗員が特定の状態である、すなわち、「眠気有り」であると判定した場合、それぞれ対応するスコア算出部１８Ａ～１８Ｃに、第２判定に使った第２指標値を出力する。なお、第２判定部１４Ａ～１４Ｃは、通知部１５に判定結果を出力しなくてよい。また、通知部１５は、第２通知を出力しなくてよい。

【0157】

スコア算出部１８Ａ～１８Ｃはそれぞれ、入力された第２指標値を説明変数として、実施形態３と同様に、各説明変数のスコアを算出する。スコア算出部１８Ａ～１８Ｃは、算出したスコアをそれぞれスコア判定部１９に出力する。以降の処理は、実施形態３に係る状態判定装置１Ｃと同様である。

【0158】

なお、本実施形態に係る状態判定装置１Ｄが上述のように第２判定を実施する場合、説明変数データ３３は、全体閾値および個人閾値を示す情報を含んでいなくてもよい。また、この場合、状態判定装置１Ｄは、複数の第２判定のうち、説明変数データ３３において、優先順位の高い方から所定数分の第２指標値の算出に係る第２判定のみを実行してもよい。例えば、６種類の第２判定を実行可能な状態判定装置１Ｄにおいて、優先順位の上位４つまでの判定のみを実行してもよい。

【0159】

また、本実施形態に係る状態判定装置１Ｄは、以下のような処理手順で乗員の状態を判定してもよい。第２判定部１４Ａ～１４Ｃは、少なくとも、実施形態１および２において説明した、第２指標値算出部１４１と比較判定部１４３をそれぞれ含んでいる。第２判定部１４Ａ～１４Ｃはそれぞれ、実施形態１において説明した第２判定を実行する。ただし、第２判定部１４Ａ～１４Ｃは、図６のＳ１６２～Ｓ１６６に示した第２閾値の決定、および、Ｓ１６７に示した第２指標値と第２閾値との比較判定は実行しない。

【0160】

第２判定部１４Ａ～１４Ｃは、図６のＳ１６２～Ｓ１６６およびＳ１６７の代わりに、説明変数データ３３を参照して、図１５のＳ２４の処理を実行する。すなわち、第２判定部１４Ａ～１４Ｃは、算出した第２指標値が、全体閾値以上、かつ、個人閾値以上である場合、乗員が特定の状態である、すなわち、「眠気有り」であると判定する。そして、特定の状態であると判定した場合、第２判定部１４Ａ～１４Ｃは、それぞれ対応するスコア算出部１８Ａ～１８Ｃに第２指標値を、説明変数として出力する。

【0161】

スコア算出部１８Ａ～１８Ｃはそれぞれ、入力された第２指標値を説明変数として、実施形態３と同様に、各説明変数のスコアを算出する。スコア算出部１８Ａ～１８Ｃは、算出したスコアをそれぞれスコア判定部１９に出力する。以降の処理は、実施形態３に係る状態判定装置１Ｃと同様である。

【0162】

本実施形態に係る状態判定システム４００は、実施形態２に係る状態判定システム２００と、実施形態３に係る状態判定システム３００とを組み合わせた構成であってもよい。すなわち、状態判定装置１Ｄは、第３判定部１６を備えていてもよい。第３判定部１６の機能については、実施形態２において説明したものと同様である。この場合、上述した第２判定部１４Ａ～１４Ｃ、スコア算出部１８Ａ～１８Ｃ、およびスコア判定部１９における種々の処理と、第３判定部１６における第３判定とは、並行して実施されてよい。

【0163】

〔変形例〕
本開示の各実施形態に係る状態判定装置１Ａ～１Ｄにおける各種処理の一部または全部は、サーバ４で実行されてもよい。例えば、実施形態１に係る状態判定装置１Ａ～１Ｄは、データ取得部１１と、通信部１３と、通知部１５を有しており、状態判定装置１Ａ～１Ｄのその他の部材が担う処理は、サーバ４のサーバ制御部４２が実行してもよい。この場合、状態判定装置１Ａ～１Ｄは、データ取得部１１が取得したセンサ情報を、通信部１３を介してサーバ４に送信する。また、状態判定装置１Ａ～１Ｄの通信部１３は、サーバ４から、第１判定、第２判定、第３判定、および、合計スコアを用いた状態判定の少なくともいずれかの判定結果を受信し、該判定結果を通知部１５に出力する。通知部１５は、前述の各実施形態で説明した通り、判定結果に応じて、出力装置５に各種通知を出力させるか否か判定し、出力させる場合は、第１～第４通知のいずれかを出力装置５に出力させる。

【0164】

また、本開示の各実施形態に係る状態判定装置１Ａ～１Ｄは、乗員の眠気の有無に限らず、乗員の種々の状態を判定する装置であってよい。例えば、状態判定装置１Ａ～１Ｄは、乗員が、運転またはコミュニケーションの少なくとも一方に不適切な状態であるか否かを判定する装置であってもよい。ここで、「運転またはコミュニケーションの少なくとも一方に不適切な状態」とは、例えば、怒り状態、または漫然状態等である。また、センサ群２に含まれる各種センサは、状態判定装置１Ａ～１Ｄが判定対象とする状態を特定するために必要な情報を取得可能なセンサであってよい。例えば、状態判定装置１Ａ～１Ｄが、乗員が怒り状態であるか否かを判定する装置である場合、センサ群２は、カメラ２１と、座席シートに設置された圧力センサとを含んでいてもよい。そして、各種判定に使用する、状態を特定するための指標値は、カメラ２１の撮影画像における、乗員の表情から特定されてもよい。また、該指標値は、圧力センサの測定データが示す、乗員の着座時の動きから特定されてもよい。

【0165】

〔ソフトウェアによる実現例〕
状態判定装置１Ａ、１Ｂ、１Ｃ、１Ｄ、およびサーバ４の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0166】

後者の場合、状態判定装置１Ａ、１Ｂ、１Ｃ、１Ｄ、およびサーバ４は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0167】

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

【符号の説明】

【0168】

１００、２００、３００、４００ 状態判定システム
１Ａ、１Ｂ、１Ｃ、１Ｄ 状態判定装置
１１ データ取得部
１２ 第１判定部
１３ 通信部
１４ 第２判定部
１４１ 第２指標値算出部
１４２ 閾値算出部
１４３ 比較判定部
１５ 通知部
１６ 第３判定部
１７ 説明変数算出部
１８ スコア算出部
１９ スコア判定部
７０ 識別部
７１ 説明変数選択部
２ センサ群
２１ カメラ
２２ 脈拍センサ
３ 記憶装置
３１ ユーザ情報
３２ 状態ログ
３３ 説明変数データ
４ サーバ
４１ サーバ通信部
４２ サーバ制御部
４３ サーバ記憶部
４３１ 収集データ
５ 出力装置
６ 移動体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】