知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-26
(45)【発行日】2025-01-10
(54)【発明の名称】異常状態推定装置および異常状態推定方法
(51)【国際特許分類】
A61B 5/18 20060101AFI20241227BHJP
【ＦＩ】
A61B5/18
【請求項の数】
13
(21)【出願番号】P 2021550920
(86)(22)【出願日】2019-10-04
(86)【国際出願番号】 JP2019039305
(87)【国際公開番号】W WO2021064985
(87)【国際公開日】2021-04-08
【審査請求日】2021-09-09
【審判番号】
【審判請求日】2023-02-01
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】田原 奈津季
(72)【発明者】
【氏名】吉村 玄太
【合議体】
【審判長】南 宏輔
【審判官】北島 拓馬
【審判官】藏田 敦之
(56)【参考文献】
【文献】国際公開第２０１９／１８８３９８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１５／０３１４６８１（ＵＳ，Ａ１）
【文献】特開２００８－３５９６４（ＪＰ，Ａ）
【文献】特開２０１０－１２８６４９（ＪＰ，Ａ）
【文献】特開２０１０－１３４４９０（ＪＰ，Ａ）
【文献】特開２００８－２０４０５６（ＪＰ，Ａ）
【文献】特開２０１８－１７１１２４（ＪＰ，Ａ）
【文献】特開２０１６－１６５３４９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
A61B 5/00-5/398
(57)【特許請求の範囲】
【請求項1】
車両の乗員に関する情報と、機械学習モデルとに基づいて、前記乗員の異常状態を推定する異常状態推定装置において、前記乗員に関する情報を取得する情報取得部と、
前記乗員が正常状態であると仮定する時間である第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を、前記乗員に関する情報を入力とし前記乗員の異常状態の推定に用いられる異常状態スコアを出力する前記機械学習モデルに入力して前記異常状態スコアを取得し、取得した前記異常状態スコアに基づき、前記乗員の異常状態の推定において前記異常状態スコアとの比較に用いられる異常状態判定用閾値を設定する閾値設定部を備え、
前記閾値設定部は、前記第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を前記機械学習モデルに入力して取得した前記異常状態スコアのうちの最大値にバッファを持たせた値を、前記異常状態判定用閾値に設定する
ことを特徴とする異常状態推定装置。
【請求項2】
前記閾値設定部は、１つ以上の前記異常状態スコアを得て、当該１つ以上の前記異常状態スコアのうちの最大値にバッファを持たせた値を前記異常状態判定用閾値に設定することを特徴とする請求項１記載の異常状態推定装置。
【請求項3】
前記情報取得部が取得した前記乗員に関する情報を前記機械学習モデルに入力して得られた前記異常状態スコアが、前記閾値設定部が設定した前記異常状態判定用閾値より大きい場合、前記乗員は異常状態であると推定する推定部を備えた請求項１記載の異常状態推定装置。
【請求項4】
前記乗員個人の認証を行い、前記乗員を識別する個人識別情報を取得する認証部を備え、前記閾値設定部は、設定した前記異常状態判定用閾値を、前記認証部が取得した前記個人識別情報と紐づけて記憶させ、
前記推定部は、前記認証部が前記個人識別情報を取得し、前記閾値設定部が当該個人識別情報と紐づけて前記異常状態判定用閾値を記憶させると、前記乗員の異常状態を推定する
ことを特徴とする請求項３記載の異常状態推定装置。
【請求項5】
車両の乗員に関する情報と、複数の機械学習モデルとに基づいて、前記乗員の異常状態を推定する異常状態推定装置において、前記乗員に関する情報を取得する情報取得部と、
前記乗員が正常状態であると仮定する時間である第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を、前記乗員に関する情報を入力とし前記乗員の異常状態の推定に用いられる異常状態スコアを出力する前記複数の前記機械学習モデルにそれぞれ入力して前記異常状態スコアを取得し、取得した前記異常状態スコアに基づき、前記乗員の異常状態の推定において前記複数の前記機械学習モデルのうち前記乗員に関する情報を入力して得られた前記異常状態スコアがモデル別閾値より大きいと判定された前記機械学習モデルの数との比較に用いられる異常状態判定用閾値を設定する閾値設定部を備え、
前記閾値設定部は、
前記複数の前記機械学習モデル毎に、前記第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアに基づき、前記モデル別閾値を設定するモデル別閾値設定部と、
前記モデル別閾値設定部が前記モデル別閾値を設定後、前記複数の前記機械学習モデル毎に、第２閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアは前記モデル別閾値設定部が設定した前記モデル別閾値より大きいか否かを判定するモデル別判定部を備え、
前記モデル別判定部が、前記異常状態スコアは前記モデル別閾値より大きいと判定した前記機械学習モデルの数を、前記異常状態判定用閾値に設定する
ことを特徴とする異常状態推定装置。
【請求項6】
前記複数の前記機械学習モデルのうち、前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアが、前記モデル別閾値設定部が設定した前記モデル別閾値より大きい前記機械学習モデルの数を算出するモデル数算出部と、前記モデル数算出部が算出した前記機械学習モデルの数が、前記閾値設定部が設定した前記異常状態判定用閾値より大きい場合、前記乗員は異常状態であると推定する推定部
を備えた請求項５記載の異常状態推定装置。
【請求項7】
車両の乗員に関する情報と、複数の機械学習モデルとに基づいて、前記乗員の異常状態を推定する異常状態推定装置において、前記乗員に関する情報を取得する情報取得部と、
前記乗員が正常状態であると仮定する時間である第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を、前記乗員に関する情報を入力とし前記乗員の異常状態の推定に用いられる異常状態スコアを出力する前記複数の前記機械学習モデルにそれぞれ入力して前記異常状態スコアを取得し、取得した前記異常状態スコアに基づき、前記乗員の異常状態の推定において前記複数の前記機械学習モデルのうち前記乗員に関する情報を入力して得られた前記異常状態スコアが関連モデル別閾値より大きいと判定された前記機械学習モデルの数との比較に用いられる異常状態判定用閾値を設定する閾値設定部と、
前記乗員の属性に関する属性情報を取得する属性情報取得部と、
前記属性情報取得部が取得した前記属性情報に基づき、前記複数の前記機械学習モデルのうち、前記乗員の属性に関連する、１つ以上の関連機械学習モデルを選択するモデル選択部とを備え、
前記閾値設定部は、
前記モデル選択部が選択した１つ以上の前記関連機械学習モデル毎に、前記第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアに基づき、前記関連モデル別閾値を設定する関連モデル別閾値設定部と、
前記関連モデル別閾値設定部が前記関連モデル別閾値を設定後、１つ以上の前記関連機械学習モデル毎に、第３閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアは、前記関連モデル別閾値設定部が設定した前記関連モデル別閾値より大きいか否かを判定する関連モデル別判定部を備え、
前記関連モデル別判定部が前記異常状態スコアは前記関連モデル別閾値より大きいと判定した前記関連機械学習モデルの数を、前記異常状態判定用閾値に設定する
ことを特徴とする異常状態推定装置。
【請求項8】
前記乗員の属性は、前記乗員の年齢であることを特徴とする請求項７記載の異常状態推定装置。
【請求項9】
前記複数の前記関連機械学習モデルのうち、前記情報取得部が取得した前記乗員に関する情報を前記関連機械学習モデルに入力して得られた前記異常状態スコアが、前記関連モデル別閾値設定部が設定した前記関連モデル別閾値より大きい前記関連機械学習モデルの数をカウントする関連モデル数算出部と、前記関連モデル数算出部が算出した前記関連機械学習モデルの数が、前記閾値設定部が設定した前記異常状態判定用閾値より大きい場合、前記乗員は異常状態であると推定する推定部
を備えた請求項７記載の異常状態推定装置。
【請求項10】
前記情報取得部が取得した前記乗員に関する情報に基づき、前記乗員に関する特徴量を算出する特徴量算出部を備え、前記閾値設定部は、
前記第１閾値設定用時間以内に、前記特徴量算出部が算出した特徴量を前記機械学習モデルに入力して得られた前記異常状態スコアに基づき、前記異常状態判定用閾値を設定する
ことを特徴とする請求項１記載の異常状態推定装置。
【請求項11】
車両の乗員に関する情報と、機械学習モデルとに基づいて、前記乗員の異常状態を推定する異常状態推定方法において、情報取得部が、前記乗員に関する情報を取得するステップと、
閾値設定部が、前記乗員が正常状態であると仮定する時間である第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を、前記乗員に関する情報を入力とし前記乗員の異常状態の推定に用いられる異常状態スコアを出力する前記機械学習モデルに入力して前記異常状態スコアを取得し、取得した前記異常状態スコアに基づき、前記乗員の異常状態の推定において前記異常状態スコアとの比較に用いられる異常状態判定用閾値を設定するステップを備え、
前記閾値設定部は、前記第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を前記機械学習モデルに入力して取得した前記異常状態スコアのうちの最大値にバッファを持たせた値を、前記異常状態判定用閾値に設定する
ことを特徴とする異常状態推定方法。
【請求項12】
車両の乗員に関する情報と、複数の機械学習モデルとに基づいて、前記乗員の異常状態を推定する異常状態推定方法において、情報取得部が、前記乗員に関する情報を取得するステップと、
閾値設定部が、前記乗員が正常状態であると仮定する時間である第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を、前記乗員に関する情報を入力とし前記乗員の異常状態の推定に用いられる異常状態スコアを出力する前記複数の前記機械学習モデルにそれぞれ入力して前記異常状態スコアを取得し、取得した前記異常状態スコアに基づき、前記乗員の異常状態の推定において前記複数の前記機械学習モデルのうち前記乗員に関する情報を入力して得られた前記異常状態スコアがモデル別閾値より大きいと判定された前記機械学習モデルの数との比較に用いられる異常状態判定用閾値を設定するステップを備え、
前記閾値設定部は、
モデル別閾値設定部が、前記複数の前記機械学習モデル毎に、前記第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアに基づき、前記モデル別閾値を設定するステップと、
モデル別判定部が、前記モデル別閾値設定部が前記モデル別閾値を設定後、前記複数の前記機械学習モデル毎に、第２閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアは前記モデル別閾値設定部が設定した前記モデル別閾値より大きいか否かを判定するステップを備え、
前記モデル別判定部が、前記異常状態スコアは前記モデル別閾値より大きいと判定した前記機械学習モデルの数を、前記異常状態判定用閾値に設定する
ことを特徴とする異常状態推定方法。
【請求項13】
車両の乗員に関する情報と、複数の機械学習モデルとに基づいて、前記乗員の異常状態を推定する異常状態推定方法において、情報取得部が、前記乗員に関する情報を取得するステップと、
閾値設定部が、前記乗員が正常状態であると仮定する時間である第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を、前記乗員に関する情報を入力とし前記乗員の異常状態の推定に用いられる異常状態スコアを出力する前記複数の前記機械学習モデルにそれぞれ入力して前記異常状態スコアを取得し、取得した前記異常状態スコアに基づき、前記乗員の異常状態の推定において前記複数の前記機械学習モデルのうち前記乗員に関する情報を入力して得られた前記異常状態スコアが関連モデル別閾値より大きいと判定された前記機械学習モデルの数との比較に用いられる異常状態判定用閾値を設定するステップと、
属性情報取得部が、前記乗員の属性に関する属性情報を取得するステップと、
モデル選択部が、前記属性情報取得部が取得した前記属性情報に基づき、前記複数の前記機械学習モデルのうち、前記乗員の属性に関連する、１つ以上の関連機械学習モデルを選択するステップとを備え、
前記閾値設定部は、
関連モデル別閾値設定部が、前記モデル選択部が選択した１つ以上の前記関連機械学習モデル毎に、前記第１閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアに基づき、前記関連モデル別閾値を設定するステップと、
関連モデル別判定部が、前記関連モデル別閾値設定部が前記関連モデル別閾値を設定後、１つ以上の前記関連機械学習モデル毎に、第３閾値設定用時間以内に前記情報取得部が取得した前記乗員に関する情報を入力して得られた前記異常状態スコアは、前記関連モデル別閾値設定部が設定した前記関連モデル別閾値より大きいか否かを判定するステップを備え、
前記関連モデル別判定部が前記異常状態スコアは前記関連モデル別閾値より大きいと判定した前記関連機械学習モデルの数を、前記異常状態判定用閾値に設定する
ことを特徴とする異常状態推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車両の乗員の異常状態を推定する異常状態推定装置および異常状態推定方法に関する。
【背景技術】
【0002】
従来、車両の乗員に関する情報と、機械学習済みモデル（以下「機械学習モデル」という。）とに基づいて、乗員が異常状態であるか否かを推定する技術が知られている。
その際、乗員の異常状態が誤推定されてしまうことを防ぐため、乗員に関する情報の個人差を考慮することが求められる。
ここで、例えば、特許文献１には、車両を使用するユーザの、時間帯毎の生体信号の平均値と、当該ユーザの計測中の生体信号との差を生体変動量として算出し、算出した生体変動量が、予め設定されている不調閾値を超えた場合に、当該ユーザが体調不良であると判定する技術が開示されている。
その際、乗員の異常状態が誤推定されてしまうことを防ぐため、乗員に関する情報の個人差を考慮することが求められる。
ここで、例えば、特許文献１には、車両を使用するユーザの、時間帯毎の生体信号の平均値と、当該ユーザの計測中の生体信号との差を生体変動量として算出し、算出した生体変動量が、予め設定されている不調閾値を超えた場合に、当該ユーザが体調不良であると判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－６１５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示されているような従来技術は、上述のとおり、ユーザの生体変動量が不調閾値を超えた場合に、当該ユーザが体調不良であると判定する。この不調閾値は、固定的に決められた範囲である。しかし、ユーザの体調が良好であると言える生体情報の範囲は、ユーザ毎に異なる。したがって、ユーザの生体変動量が不調閾値を超えた場合も、必ずしも当該ユーザが実際に体調不良であるわけではない。
したがって、特許文献１に開示されているような従来技術を、車両の乗員に関する情報と機械学習モデルとに基づいて乗員の異常状態を推定する技術に適用させたとしても、依然として、乗員の異常状態を誤推定してしまうことがあるという課題があった。
したがって、特許文献１に開示されているような従来技術を、車両の乗員に関する情報と機械学習モデルとに基づいて乗員の異常状態を推定する技術に適用させたとしても、依然として、乗員の異常状態を誤推定してしまうことがあるという課題があった。
【0005】
この発明は、上記のような課題を解決するためになされたもので、車両の乗員に関する情報と、機械学習モデルとに基づいて、乗員の異常状態を推定する異常状態推定装置において、当該乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことが可能な異常状態推定装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る異常状態推定装置は、車両の乗員に関する情報と、機械学習モデルとに基づいて、乗員の異常状態を推定する異常状態推定装置において、乗員に関する情報を取得する情報取得部と、乗員が正常状態であると仮定する時間である第１閾値設定用時間以内に情報取得部が取得した乗員に関する情報を、乗員に関する情報を入力とし乗員の異常状態の推定に用いられる異常状態スコアを出力する機械学習モデルに入力して異常状態スコアを取得し、取得した異常状態スコアに基づき、乗員の異常状態の推定において異常状態スコアとの比較に用いられる異常状態判定用閾値を設定する閾値設定部を備え、閾値設定部は、第１閾値設定用時間以内に情報取得部が取得した乗員に関する情報を機械学習モデルに入力して取得した異常状態スコアのうちの最大値にバッファを持たせた値を、異常状態判定用閾値に設定することを特徴とするものである。
【発明の効果】
【0007】
この発明によれば、車両の乗員に関する情報と、機械学習モデルとに基づいて、乗員の異常状態を推定する異常状態推定装置において、当該乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る異常状態推定装置の構成例を示す図である。
【図2】実施の形態１において、学習装置が学習処理を行って機械学習モデルを生成する過程のイメージを説明するための図である。
【図3】実施の形態１に係る異常状態推定装置の動作を説明するためのフローチャートである。
【図8】実施の形態２に係る異常状態推定装置の構成例を示す図である。
【図9】実施の形態２において、学習装置が学習処理を行って機械学習モデルを生成する過程のイメージを説明するための図である。
【図10】実施の形態２に係る異常状態推定装置の動作について説明するためのフローチャートである。
【図14】実施の形態３に係る異常状態推定装置の構成例を示す図である。
【図15】実施の形態３に係る異常状態推定装置の動作について説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る異常状態推定装置１の構成例を示す図である。
実施の形態１に係る異常状態推定装置１は、車両に搭載される。
異常状態推定装置１は、車両の乗員に関する情報と、機械学習済みのモデル（以下「機械学習モデル」という。）１７とに基づいて、車両の乗員の異常状態を推定する。具体的には、異常状態推定装置１は、車両の乗員に関する情報を機械学習モデル１７に入力して得られた異常状態スコアに基づいて、車両の乗員が異常状態であるか否かを推定する。異常状態推定装置１は、異常状態スコアが閾値（以下「異常状態判定用閾値」という。）より大きい場合に、車両の乗員が異常状態であると推定する。
異常状態推定装置１は、車両の乗員の異常状態を推定するにあたり、当該推定に先立ち、予め決められた時間（以下「第１閾値設定用時間」）以内に取得した乗員に関する情報を上記機械学習モデル１７に入力して得られた異常状態スコアに基づき、上記異常状態判定用閾値を設定する。異常状態推定装置１は、異常状態判定用閾値を設定後、設定した異常状態判定用閾値を用いて、上述の推定処理を行う。
異常状態推定装置１における、異常状態判定用閾値の設定、または、異常状態の推定処理の詳細については、後述する。
実施の形態１．
図１は、実施の形態１に係る異常状態推定装置１の構成例を示す図である。
実施の形態１に係る異常状態推定装置１は、車両に搭載される。
異常状態推定装置１は、車両の乗員に関する情報と、機械学習済みのモデル（以下「機械学習モデル」という。）１７とに基づいて、車両の乗員の異常状態を推定する。具体的には、異常状態推定装置１は、車両の乗員に関する情報を機械学習モデル１７に入力して得られた異常状態スコアに基づいて、車両の乗員が異常状態であるか否かを推定する。異常状態推定装置１は、異常状態スコアが閾値（以下「異常状態判定用閾値」という。）より大きい場合に、車両の乗員が異常状態であると推定する。
異常状態推定装置１は、車両の乗員の異常状態を推定するにあたり、当該推定に先立ち、予め決められた時間（以下「第１閾値設定用時間」）以内に取得した乗員に関する情報を上記機械学習モデル１７に入力して得られた異常状態スコアに基づき、上記異常状態判定用閾値を設定する。異常状態推定装置１は、異常状態判定用閾値を設定後、設定した異常状態判定用閾値を用いて、上述の推定処理を行う。
異常状態推定装置１における、異常状態判定用閾値の設定、または、異常状態の推定処理の詳細については、後述する。
【0010】
実施の形態１において、車両の乗員とは、例えば、ドライバを想定している。以下、車両の乗員を、単に「乗員」という。実施の形態１において、異常状態推定装置１が推定する乗員の異常状態は、乗員が適切に運転できない状態をいう。具体的には、乗員の異常状態とは、例えば、乗員が眠気を引き起こしている状態、乗員が飲酒している状態、乗員が疲労している状態、または、乗員が漫然としている状態をいう。
また、実施の形態１において、乗員に関する情報とは、例えば、乗員の顔を撮像した撮像画像、乗員の生体情報、または、車両に対して乗員が行う車両操作に関する車両情報である。異常状態推定装置１は、撮像画像、生体情報、または、車両情報のうちの少なくとも１つと、機械学習モデルとに基づいて、乗員の異常状態を推定する。撮像画像、生体情報、および、車両情報の詳細については、後述する。
また、実施の形態１において、乗員に関する情報とは、例えば、乗員の顔を撮像した撮像画像、乗員の生体情報、または、車両に対して乗員が行う車両操作に関する車両情報である。異常状態推定装置１は、撮像画像、生体情報、または、車両情報のうちの少なくとも１つと、機械学習モデルとに基づいて、乗員の異常状態を推定する。撮像画像、生体情報、および、車両情報の詳細については、後述する。
【0011】
異常状態推定装置１は、乗員に関する情報を、撮像装置２、生体センサ３、および、車両情報取得装置（図示省略）から取得する。異常状態推定装置１は、撮像装置２、生体センサ３、および、車両情報取得装置と、ネットワークを介して接続されている。
撮像装置２は、車両に設置され、乗員の顔を撮像する。撮像装置２は、例えば、１個の可視光カメラであってもよいし、複数個の可視光カメラであってもよい。また、撮像装置２は、例えば、１個の赤外線カメラであってもよいし、複数個の赤外線カメラであってもよい。また、撮像装置２は、車両内の運転者の状態を監視するために車両に搭載される、いわゆる「ドライバモニタリングシステム」が有する撮像装置と共用のものであってもよい。撮像装置２は、少なくとも、乗員の顔が存在すべき範囲を含む車両内の範囲を撮像可能に設置されているものであればよい。
なお、撮像装置２が赤外線カメラである場合、撮像装置２には、乗員の顔を含む範囲に対して撮像用の赤外線を照射するための光源（図示省略）が設けられている。当該光源は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）から成る。
撮像装置２は、車両に設置され、乗員の顔を撮像する。撮像装置２は、例えば、１個の可視光カメラであってもよいし、複数個の可視光カメラであってもよい。また、撮像装置２は、例えば、１個の赤外線カメラであってもよいし、複数個の赤外線カメラであってもよい。また、撮像装置２は、車両内の運転者の状態を監視するために車両に搭載される、いわゆる「ドライバモニタリングシステム」が有する撮像装置と共用のものであってもよい。撮像装置２は、少なくとも、乗員の顔が存在すべき範囲を含む車両内の範囲を撮像可能に設置されているものであればよい。
なお、撮像装置２が赤外線カメラである場合、撮像装置２には、乗員の顔を含む範囲に対して撮像用の赤外線を照射するための光源（図示省略）が設けられている。当該光源は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）から成る。
【0012】
生体センサ３は、例えば、車両に設置されている。具体的には、生体センサ３は、例えば、マイクロ波ドップラセンサ、座席シートまたはステアリングに埋め込まれた心電計、または、温度センサである。また、生体センサ３は、例えば、乗員装着型の生体センサであってもよい。乗員装着型の生体センサとは、例えば、腕時計型の脈波計である。
生体センサ３は、乗員の生体情報を、リアルタイムで取得する。生体センサ３が取得する生体情報とは、具体的には、例えば、脈拍、心拍、呼吸、虹彩、または、身体の表面温度に関する情報である。
生体センサ３は、乗員の生体情報を、リアルタイムで取得する。生体センサ３が取得する生体情報とは、具体的には、例えば、脈拍、心拍、呼吸、虹彩、または、身体の表面温度に関する情報である。
【0013】
車両情報取得装置は、例えば、車両に関する情報を取得する各種センサである。具体的には、車両情報取得装置は、例えば、車両に搭載されている車速センサ、操舵角センサ、アクセル開度センサ、または、ブレーキ開度センサである。
車両情報取得装置は、例えば、車速、ハンドル舵角、アクセル開度、または、ブレーキ開度に関する情報を、車両情報として取得する。
車両情報取得装置は、例えば、車速、ハンドル舵角、アクセル開度、または、ブレーキ開度に関する情報を、車両情報として取得する。
【0014】
図１に示すように、異常状態推定装置１は、情報取得部１１、認証部１２、特徴量算出部１３、閾値設定部１４、推定部１５、個人認証用データベース（以下「個人認証用ＤＢ」という。）１６、および、機械学習モデル１７を備える。
情報取得部１１は、顔画像取得部１１１、生体情報取得部１１２、および、車両情報取得部１１３を備える。顔画像取得部１１１は、顔検出部１１１１を備える。特徴量算出部１３は、顔特徴量算出部１３１、生体特徴量算出部１３２、および、車両操作特徴量算出部１３３を備える。
情報取得部１１は、顔画像取得部１１１、生体情報取得部１１２、および、車両情報取得部１１３を備える。顔画像取得部１１１は、顔検出部１１１１を備える。特徴量算出部１３は、顔特徴量算出部１３１、生体特徴量算出部１３２、および、車両操作特徴量算出部１３３を備える。
【0015】
情報取得部１１は、車両の乗員に関する情報を取得する。すなわち、情報取得部１１は、ドライバに関する情報を取得する。
情報取得部１１の顔画像取得部１１１は、撮像装置２から、乗員の顔を撮像した撮像画像（以下「顔画像」という。）を取得する。その際、顔画像取得部１１１の顔検出部１１１１は、顔画像に基づいて、乗員の顔の領域、乗員の顔のパーツ、乗員の顔向き、乗員の眼の開眼度、乗員の視線、または、乗員の開口度等を検出する。顔検出部１１１１は、例えば、周知の画像認識技術を用いて、乗員の顔の領域、乗員の顔のパーツ、乗員の顔向き、乗員の開眼度、乗員の視線、または、乗員の開口度等を検出すればよい。顔のパーツとは、例えば、目尻、目頭、口角、または、鼻をいう。
情報取得部１１の顔画像取得部１１１は、撮像装置２から、乗員の顔を撮像した撮像画像（以下「顔画像」という。）を取得する。その際、顔画像取得部１１１の顔検出部１１１１は、顔画像に基づいて、乗員の顔の領域、乗員の顔のパーツ、乗員の顔向き、乗員の眼の開眼度、乗員の視線、または、乗員の開口度等を検出する。顔検出部１１１１は、例えば、周知の画像認識技術を用いて、乗員の顔の領域、乗員の顔のパーツ、乗員の顔向き、乗員の開眼度、乗員の視線、または、乗員の開口度等を検出すればよい。顔のパーツとは、例えば、目尻、目頭、口角、または、鼻をいう。
【0016】
情報取得部１１の生体情報取得部１１２は、生体センサ３から、乗員の生体情報を取得する。
なお、ここでは、生体情報取得部１１２は、生体センサ３から、乗員の生体情報を取得するものとするが、これは一例に過ぎない。例えば、生体情報取得部１１２は、撮像装置２から顔画像を取得し、取得した顔画像から、既存の生体認証技術を用いて、生体情報を取得するようにしてもよい。
なお、ここでは、生体情報取得部１１２は、生体センサ３から、乗員の生体情報を取得するものとするが、これは一例に過ぎない。例えば、生体情報取得部１１２は、撮像装置２から顔画像を取得し、取得した顔画像から、既存の生体認証技術を用いて、生体情報を取得するようにしてもよい。
【0017】
情報取得部１１の車両情報取得部１１３は、各種センサから、車両情報を取得する。
車両情報取得部１１３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、各種センサから、車両情報を取得する。
車両情報取得部１１３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、各種センサから、車両情報を取得する。
【0018】
情報取得部１１は、取得した、乗員に関する情報を、認証部１２および特徴量算出部１３に出力する。具体的には、情報取得部１１は、顔画像取得部１１１が取得した顔画像、生体情報取得部１１２が取得した生体情報、または、車両情報取得部１１３が取得した車両情報を、認証部１２および特徴量算出部１３に出力する。情報取得部１１は、顔画像と対応付けて、顔検出部１１１１が検出した、乗員の顔の領域に関する情報、乗員の顔のパーツに関する情報、乗員の顔向きに関する情報、乗員の開眼度に関する情報、乗員の視線に関する情報、または、乗員の開口度に関する情報等を出力する。なお、乗員の顔の領域に関する情報とは、例えば、乗員の顔の領域を示す、顔画像上の座標である。また、乗員の顔のパーツに関する情報とは、例えば、乗員の顔のパーツの位置を示す、顔画像上の座標である。
【0019】
認証部１２は、乗員個人の認証を行い、乗員を識別するための情報（以下「個人識別情報」という。）を取得する。実施の形態１において、個人識別情報は、例えば、ＩＤとする。
具体的には、認証部１２は、認証用情報を取得し、個人認証用ＤＢ１６を参照して、乗員個人の認証を行う。認証用情報とは、例えば、情報取得部１１から出力される、乗員に関する情報である。この場合、認証部１２は、情報取得部１１から、乗員に関する情報が出力されると、個人認証用ＤＢ１６を参照して、乗員個人の認証を行う。なお、個人認証方法は、画像認証または生体認証等があげられる。
個人認証用ＤＢ１６には、予め登録された、個人を特定できる情報（以下「個人特定用情報」という。）が記憶されている。個人特定用情報とは、具体的には、例えば、顔の画像等、画像認証を行うための情報、または、指紋、掌形、静脈パターン、虹彩等、生体認証を行うための情報をいう。その他、個人特定用情報は、乗員に関する情報と突き合わせて、乗員を特定できる情報となっていればよい。個人特定用情報は、それが誰であるかの情報と紐付けられて記憶されている。ここでは、それが誰であるかの情報は、ＩＤとする。
具体的には、認証部１２は、認証用情報を取得し、個人認証用ＤＢ１６を参照して、乗員個人の認証を行う。認証用情報とは、例えば、情報取得部１１から出力される、乗員に関する情報である。この場合、認証部１２は、情報取得部１１から、乗員に関する情報が出力されると、個人認証用ＤＢ１６を参照して、乗員個人の認証を行う。なお、個人認証方法は、画像認証または生体認証等があげられる。
個人認証用ＤＢ１６には、予め登録された、個人を特定できる情報（以下「個人特定用情報」という。）が記憶されている。個人特定用情報とは、具体的には、例えば、顔の画像等、画像認証を行うための情報、または、指紋、掌形、静脈パターン、虹彩等、生体認証を行うための情報をいう。その他、個人特定用情報は、乗員に関する情報と突き合わせて、乗員を特定できる情報となっていればよい。個人特定用情報は、それが誰であるかの情報と紐付けられて記憶されている。ここでは、それが誰であるかの情報は、ＩＤとする。
【0020】
例えば、認証部１２は、画像認証により、乗員個人の認証を行うとする。この場合、例えば、認証部１２は、情報取得部１１から出力された、顔画像、および、乗員の顔のパーツに関する情報が、個人特定用情報に登録されているかどうかの顔認証を行う。
認証部１２は、情報取得部１１から出力された、顔画像、および、乗員の顔のパーツに関する情報が、個人特定用情報に登録されている顔の画像、および、顔のパーツに関する情報に一致すれば、乗員個人を特定できたとし、対応する個人識別情報、言い換えれば、ＩＤを取得する。
一方、認証部１２は、情報取得部１１から出力された、顔画像、および、乗員の顔のパーツに関する情報が、個人特定用情報に登録されている顔の画像、および、顔のパーツに関する情報に一致しなければ、乗員個人を特定不可とする。
認証部１２は、情報取得部１１から出力された、顔画像、および、乗員の顔のパーツに関する情報が、個人特定用情報に登録されている顔の画像、および、顔のパーツに関する情報に一致すれば、乗員個人を特定できたとし、対応する個人識別情報、言い換えれば、ＩＤを取得する。
一方、認証部１２は、情報取得部１１から出力された、顔画像、および、乗員の顔のパーツに関する情報が、個人特定用情報に登録されている顔の画像、および、顔のパーツに関する情報に一致しなければ、乗員個人を特定不可とする。
【0021】
なお、上述の例では、認証部１２は画像認証により乗員個人の認証を行う例を挙げたが、例えば、認証部１２は、情報取得部１１から出力された生体情報が、個人特定用情報に登録されている生体情報に一致するかどうかの生体認証を行ってもよい。
また、例えば、認証部１２は、ＩＤカード認証、または、指紋認証等によって、乗員個人の認証を行うものとしてもよい。認証部１２がＩＤカード認証を行う場合、認証部１２は、例えば、カードリーダー（図示省略）から、読み取られたＩＤカードに関する情報を、認証用情報として取得し、当該ＩＤカードに関する情報と、個人特定用情報とを突き合わせる。認証部１２が指紋認証を行う場合、認証部１２は、例えば、指紋センサ（図示省略）から、指紋情報を、認証用情報として取得し、当該指紋情報と、個人特定用情報とを突き合わせる。
認証部１２は、乗員個人を特定できた場合、取得した個人識別情報を、閾値設定部１４および推定部１５に出力する。
また、例えば、認証部１２は、ＩＤカード認証、または、指紋認証等によって、乗員個人の認証を行うものとしてもよい。認証部１２がＩＤカード認証を行う場合、認証部１２は、例えば、カードリーダー（図示省略）から、読み取られたＩＤカードに関する情報を、認証用情報として取得し、当該ＩＤカードに関する情報と、個人特定用情報とを突き合わせる。認証部１２が指紋認証を行う場合、認証部１２は、例えば、指紋センサ（図示省略）から、指紋情報を、認証用情報として取得し、当該指紋情報と、個人特定用情報とを突き合わせる。
認証部１２は、乗員個人を特定できた場合、取得した個人識別情報を、閾値設定部１４および推定部１５に出力する。
【0022】
特徴量算出部１３は、情報取得部１１が取得した、乗員に関する情報に基づき、乗員に関する特徴量を算出する。実施の形態１において、特徴量算出部１３が算出する、乗員に関する特徴量とは、乗員の異常状態を推定する際に有効な指標である。
特徴量算出部１３の顔特徴量算出部１３１は、情報取得部１１の顔画像取得部１１１が取得した、乗員の顔画像、および、乗員の顔のパーツに関する情報に基づき、乗員に関する特徴量を算出する。以下、顔特徴量算出部１３１が算出する特徴量を「顔特徴量」という。
特徴量算出部１３の顔特徴量算出部１３１は、情報取得部１１の顔画像取得部１１１が取得した、乗員の顔画像、および、乗員の顔のパーツに関する情報に基づき、乗員に関する特徴量を算出する。以下、顔特徴量算出部１３１が算出する特徴量を「顔特徴量」という。
【0023】
例えば、顔特徴量算出部１３１は、顔画像取得部１１１が取得した、時系列の開眼度の情報に基づき、予め決められた時間（以下「顔特徴量判定用時間」という。）内の開眼度の情報のうち、乗員の眼が開いていることを示す開眼度の情報の割合、言い換えれば、開眼率を、顔特徴量として算出する。顔特徴量算出部１３１は、開眼度の時系列データに基づき、顔特徴量判定用時間内の開閉眼速度、または、瞬き間隔を、顔特徴量として算出してもよい。
また、例えば、顔特徴量算出部１３１は、顔画像取得部１１１が取得した、時系列の視線情報に基づき、視線のふらつき具合を、顔特徴量として算出するようにしてもよい。
また、例えば、顔特徴量算出部１３１は、顔画像取得部１１１が取得した、時系列の視線情報に基づき、視線のふらつき具合を、顔特徴量として算出するようにしてもよい。
【0024】
なお、情報取得部１１は、取得した乗員に関する情報を、取得する都度、取得日時と紐づけて、時系列で、記憶部（図示省略）に記憶させるようにしている。記憶部は、異常状態推定装置１に備えられるものとしてもよいし、異常状態推定装置１の外部の、異常状態推定装置１が参照可能な場所に備えられるものとしてもよい。顔特徴量算出部１３１は、記憶部から、時系列の開眼度の情報、または、時系列の視線情報を取得すればよい。
顔特徴量算出部１３１は、例えば、開眼率および視線のふらつき具合、というように、複数種類の顔特徴量を算出するようにしてもよい。顔特徴量算出部１３１は、乗員の異常状態の推定に有効な顔特徴量を算出するようになっていればよい。
顔特徴量算出部１３１は、例えば、開眼率および視線のふらつき具合、というように、複数種類の顔特徴量を算出するようにしてもよい。顔特徴量算出部１３１は、乗員の異常状態の推定に有効な顔特徴量を算出するようになっていればよい。
【0025】
特徴量算出部１３の生体特徴量算出部１３２は、情報取得部１１の生体情報取得部１１２が取得した、生体情報に基づき、乗員に関する特徴量を算出する。以下、生体特徴量算出部１３２が算出する特徴量を「生体特徴量」という。
例えば、生体特徴量算出部１３２は、生体情報取得部１１２が取得した、乗員の呼吸数に基づき、予め決められた時間（以下「生体特徴量判定用時間」という。）の平均呼吸間隔を、生体特徴量として算出する。
例えば、生体特徴量算出部１３２は、生体情報取得部１１２が取得した、乗員の呼吸数に基づき、予め決められた時間（以下「生体特徴量判定用時間」という。）の平均呼吸間隔を、生体特徴量として算出する。
【0026】
また、例えば、生体特徴量算出部１３２は、心拍数に基づき、生体特徴量判定用時間の心拍数の平均値または標準偏差を、生体特徴量として算出するようにしてもよい。
なお、生体特徴量算出部１３２は、記憶部から、過去の乗員の呼吸数、または、過去の乗員の心拍数を取得すればよい。
生体特徴量算出部１３２は、例えば、生体特徴量判定用時間の平均呼吸間隔および心拍数、というように、複数種類の生体特徴量を算出するようにしてもよい。生体特徴量算出部１３２は、乗員の異常状態の推定に有効な生体特徴量を算出するようになっていればよい。
なお、生体特徴量算出部１３２は、記憶部から、過去の乗員の呼吸数、または、過去の乗員の心拍数を取得すればよい。
生体特徴量算出部１３２は、例えば、生体特徴量判定用時間の平均呼吸間隔および心拍数、というように、複数種類の生体特徴量を算出するようにしてもよい。生体特徴量算出部１３２は、乗員の異常状態の推定に有効な生体特徴量を算出するようになっていればよい。
【0027】
特徴量算出部１３の車両操作特徴量算出部１３３は、車両情報取得部１１３が取得した車両情報に基づき、乗員に関する特徴量を算出する。以下、車両操作特徴量算出部１３３が算出する特徴量を「車両操作特徴量」という。
例えば、車両操作特徴量算出部１３３は、車両情報取得部１１３が取得した、ブレーキ開度に関する情報に基づき、予め決められた時間（以下「車両操作特徴量判定用時間」という。）におけるブレーキ開度の変化量を、車両操作特徴量として算出する。
また、例えば、車両操作特徴量算出部１３３は、車両情報取得部１１３が取得した、ハンドル舵角に関する情報に基づき、車両操作特徴量判定用時間におけるハンドル舵角の変化量を、車両操作特徴量として算出してもよい。
なお、車両操作特徴量算出部１３３は、記憶部から、過去のブレーキ開度に関する情報、または、過去のハンドル舵角に関する情報を取得すればよい。
車両操作特徴量算出部１３３は、例えば、ブレーキ開度の変化量、および、ハンドル舵角の変化量というように、複数種類の車両操作特徴量を算出するようにしてもよい。車両操作特徴量算出部１３３は、乗員の異常状態の推定に有効な車両操作特徴量を算出するようになっていればよい。
特徴量算出部１３は、算出した、乗員に関する特徴量を、閾値設定部１４および推定部１５に出力する。
例えば、車両操作特徴量算出部１３３は、車両情報取得部１１３が取得した、ブレーキ開度に関する情報に基づき、予め決められた時間（以下「車両操作特徴量判定用時間」という。）におけるブレーキ開度の変化量を、車両操作特徴量として算出する。
また、例えば、車両操作特徴量算出部１３３は、車両情報取得部１１３が取得した、ハンドル舵角に関する情報に基づき、車両操作特徴量判定用時間におけるハンドル舵角の変化量を、車両操作特徴量として算出してもよい。
なお、車両操作特徴量算出部１３３は、記憶部から、過去のブレーキ開度に関する情報、または、過去のハンドル舵角に関する情報を取得すればよい。
車両操作特徴量算出部１３３は、例えば、ブレーキ開度の変化量、および、ハンドル舵角の変化量というように、複数種類の車両操作特徴量を算出するようにしてもよい。車両操作特徴量算出部１３３は、乗員の異常状態の推定に有効な車両操作特徴量を算出するようになっていればよい。
特徴量算出部１３は、算出した、乗員に関する特徴量を、閾値設定部１４および推定部１５に出力する。
【0028】
閾値設定部１４は、予め設定された時間（以下「第１閾値設定用時間」という。）以内に、特徴量算出部１３が算出した特徴量を機械学習モデル１７に入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
第１閾値設定用時間は、異常状態推定装置１において、異常状態判定用閾値を設定する処理を行うために設定される、乗員が正常状態であると仮定する時間である。異常状態判定用閾値を設定する処理は、異常状態推定装置１において、乗員の異常状態を推定する前に行う処理である。
当該第１閾値設定用時間は、予め設定されている。実施の形態１において、第１閾値設定用時間は、車両の運転開始時を起点とし、予め定められた一定時間が経過した時点を終点とする時間とする。一例を挙げると、例えば、第１閾値設定用時間は、車両の運転開始時から１０分間である。実施の形態１において、車両の運転開始時は、異常状態を推定する対象となるある乗員が、車両の運転を開始させたときをいうものであり、単に、車両のエンジンが駆動されたとき等をいうものではない。例えば、当該ある乗員が車両を運転して一定時間が経過した後、エンジンは駆動されたままで、当該ある乗員が別の乗員へ運転を交代したことで、異常状態を推定する対象となる乗員が変わったとする。この場合、運転を交代した後の上記別の乗員が車両の運転を開始させた時点は、車両の運転開始時とみなされるものとする。上記別の乗員が車両の運転を開始させた、車両の運転開始時を起点として、第１閾値設定用時間が設定される。
なお、閾値設定部１４は、車両が運転開始されたことを、周知の種々の方法で検知すればよい。例えば、閾値設定部１４は、車両のエンジンが始動したことで車両が運転開始されたことを検知してもよいし、撮像装置２から取得された顔画像に基づいて、車両が運転開始されたことを検知してもよい。
第１閾値設定用時間は、異常状態推定装置１において、異常状態判定用閾値を設定する処理を行うために設定される、乗員が正常状態であると仮定する時間である。異常状態判定用閾値を設定する処理は、異常状態推定装置１において、乗員の異常状態を推定する前に行う処理である。
当該第１閾値設定用時間は、予め設定されている。実施の形態１において、第１閾値設定用時間は、車両の運転開始時を起点とし、予め定められた一定時間が経過した時点を終点とする時間とする。一例を挙げると、例えば、第１閾値設定用時間は、車両の運転開始時から１０分間である。実施の形態１において、車両の運転開始時は、異常状態を推定する対象となるある乗員が、車両の運転を開始させたときをいうものであり、単に、車両のエンジンが駆動されたとき等をいうものではない。例えば、当該ある乗員が車両を運転して一定時間が経過した後、エンジンは駆動されたままで、当該ある乗員が別の乗員へ運転を交代したことで、異常状態を推定する対象となる乗員が変わったとする。この場合、運転を交代した後の上記別の乗員が車両の運転を開始させた時点は、車両の運転開始時とみなされるものとする。上記別の乗員が車両の運転を開始させた、車両の運転開始時を起点として、第１閾値設定用時間が設定される。
なお、閾値設定部１４は、車両が運転開始されたことを、周知の種々の方法で検知すればよい。例えば、閾値設定部１４は、車両のエンジンが始動したことで車両が運転開始されたことを検知してもよいし、撮像装置２から取得された顔画像に基づいて、車両が運転開始されたことを検知してもよい。
【0029】
ここで、機械学習モデル１７について説明する。
機械学習モデル１７は、乗員に関する情報を入力すると、乗員の異常状態を推定する際に用いる異常状態スコアを出力する機械学習モデルである。
機械学習モデル１７は、例えば、機械学習における学習を実行する学習装置（図示省略）によって、予め、生成されている。
学習装置は、教師データと、異常状態の正解ラベルとを用いて学習を実行する学習処理を行う。なお、異常状態の正解ラベルは、異常状態であることを示すラベル、または、正常状態であることを示すラベルである。
機械学習モデル１７は、乗員に関する情報を入力すると、乗員の異常状態を推定する際に用いる異常状態スコアを出力する機械学習モデルである。
機械学習モデル１７は、例えば、機械学習における学習を実行する学習装置（図示省略）によって、予め、生成されている。
学習装置は、教師データと、異常状態の正解ラベルとを用いて学習を実行する学習処理を行う。なお、異常状態の正解ラベルは、異常状態であることを示すラベル、または、正常状態であることを示すラベルである。
【0030】
学習装置は、予め収集された、複数の乗員に関する情報を取得する。具体的には、例えば、予め、管理者等が、複数の被験者を車両に乗車させ、テスト走行させた際の、当該被験者に関する情報を収集する。学習装置は、管理者等によって収集された、複数の被験者に関する情報を、複数の乗員に関する情報として取得する。なお、学習装置が取得する乗員に関する情報は、上述の、情報取得部１１が取得する、乗員に関する情報と同じ種類の情報である。すなわち、学習装置が取得する乗員に関する情報は、乗員の顔画像、生体情報、または、車両情報のうちのいずれか１つ以上である。
学習装置は、複数人の乗員に関する情報を取得し、取得した、複数人の乗員に関する情報に基づき、複数人の乗員に関する特徴量を、それぞれ、算出する。学習装置が算出する乗員に関する特徴量は、上述の、特徴量算出部１３が算出する、乗員に関する特徴量と同じ種類の特徴量である。すなわち、学習装置が算出する特徴量は、顔特徴量、生体特徴量、または、車両操作特徴量のうちのいずれか１つ以上である。学習装置は、算出した特徴量を教師データとする。
学習装置は、複数人の乗員に関する情報を取得し、取得した、複数人の乗員に関する情報に基づき、複数人の乗員に関する特徴量を、それぞれ、算出する。学習装置が算出する乗員に関する特徴量は、上述の、特徴量算出部１３が算出する、乗員に関する特徴量と同じ種類の特徴量である。すなわち、学習装置が算出する特徴量は、顔特徴量、生体特徴量、または、車両操作特徴量のうちのいずれか１つ以上である。学習装置は、算出した特徴量を教師データとする。
【0031】
図２は、実施の形態１において、学習装置が学習処理を行って機械学習モデル１７を生成する過程のイメージを説明するための図である。
図２に示すように、学習装置は、予め収集された複数人の乗員に関する情報について、それぞれ、異常状態の正解ラベルとともに、学習処理を実施し、機械学習モデル１７を生成する。図２では、学習装置は、Ｎ人の乗員に関する情報に基づき、機械学習モデル１７を生成するものとしている。Ｎ人の乗員には、正常状態の乗員および異常状態の乗員が含まれる。
乗員の数「Ｎ」は、多ければ多いほど、好ましい。機械学習モデル１７が、多くの乗員に関する情報に基づいて生成されるほど、異常状態推定装置１において当該機械学習モデル１７に基づいて異常状態の推定が行われた際の、当該推定の精度は、向上する。
また、Ｎ人の乗員の属性は、様々な属性であることが望ましい。実施の形態１において、乗員の属性とは、例えば、性別または年齢である。
図２に示すように、学習装置は、予め収集された複数人の乗員に関する情報について、それぞれ、異常状態の正解ラベルとともに、学習処理を実施し、機械学習モデル１７を生成する。図２では、学習装置は、Ｎ人の乗員に関する情報に基づき、機械学習モデル１７を生成するものとしている。Ｎ人の乗員には、正常状態の乗員および異常状態の乗員が含まれる。
乗員の数「Ｎ」は、多ければ多いほど、好ましい。機械学習モデル１７が、多くの乗員に関する情報に基づいて生成されるほど、異常状態推定装置１において当該機械学習モデル１７に基づいて異常状態の推定が行われた際の、当該推定の精度は、向上する。
また、Ｎ人の乗員の属性は、様々な属性であることが望ましい。実施の形態１において、乗員の属性とは、例えば、性別または年齢である。
【0032】
学習装置が行う学習処理における学習方法の技法は、問わない。例えば、学習装置は、深層学習によって学習処理を行ってもよいし、決定木学習によって学習処理を行ってもよい。
また、ここでは、学習装置は、正解ラベルとともに学習を実行する教師あり学習によって機械学習モデル１７を生成するものとしたが、これは一例に過ぎない。学習装置は、教師なし学習によって機械学習モデル１７を生成してもよい。
また、ここでは、学習装置は、正解ラベルとともに学習を実行する教師あり学習によって機械学習モデル１７を生成するものとしたが、これは一例に過ぎない。学習装置は、教師なし学習によって機械学習モデル１７を生成してもよい。
【0033】
また、ここでは、機械学習モデル１７は、異常状態推定装置１が備えるものとしたが、これは一例に過ぎない。機械学習モデル１７は、異常状態推定装置１の外部の、異常状態推定装置１が参照可能な場所に備えられるようになっていてもよい。
【0034】
図１の説明に戻る。
上述のとおり、閾値設定部１４は、第１閾値設定用時間以内に、特徴量算出部１３が算出した特徴量を機械学習モデル１７に入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
実施の形態１では、閾値設定部１４は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうち、最大値を、異常状態判定用閾値に設定する。このとき、閾値設定部１４は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうちの最大値に、バッファを持たせて、異常状態判定用閾値を設定してもよい。具体的には、閾値設定部１４は、異常状態スコアの最大値＋αを、異常状態判定用閾値に設定してもよい。αは、０より大きい値とする。また、例えば、閾値設定部１４は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうちの最大値を係数倍した値を、異常状態判定用閾値としてもよい。
第１閾値設定用時間は、乗員が正常状態であると仮定する時間であるので、当該第１閾値設定用時間以内に得られた異常状態スコアは、乗員が正常状態である場合に得られる異常状態スコアとみなされる。言い換えれば、第１閾値設定用時間以内に得られた異常状態スコアの最大値以内であれば、乗員は正常状態であるとみなすことができる。閾値設定部１４は、乗員が正常状態である場合に得られる異常状態スコアのうち最大値を異常状態判定用閾値に設定することで、乗員の異常状態を適切に推定可能な異常状態判定用閾値を設定することができる。
但し、第１閾値設定用時間以内に得られた異常状態スコアの最大値が、乗員が正常状態である場合に得られ得る異常状態スコアの最大値とは限らない。例えば、第１閾値設定用時間以内に得られた異常状態スコアを多少超えていた場合に、乗員が正常状態であることもあり得る。閾値設定部１４は、例えば、異常状態スコアの最大値＋αを異常状態判定用閾値に設定する等、異常状態スコアに余裕を持たせて異常状態判定用閾値を設定することで、乗員が正常状態であるにもかかわらず、当該乗員は異常状態と判定する可能性を低減することができる。
閾値設定部１４は、設定した異常状態判定用閾値を、認証部１２から出力された個人識別情報と紐づけて記憶部に記憶させる。
上述のとおり、閾値設定部１４は、第１閾値設定用時間以内に、特徴量算出部１３が算出した特徴量を機械学習モデル１７に入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
実施の形態１では、閾値設定部１４は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうち、最大値を、異常状態判定用閾値に設定する。このとき、閾値設定部１４は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうちの最大値に、バッファを持たせて、異常状態判定用閾値を設定してもよい。具体的には、閾値設定部１４は、異常状態スコアの最大値＋αを、異常状態判定用閾値に設定してもよい。αは、０より大きい値とする。また、例えば、閾値設定部１４は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうちの最大値を係数倍した値を、異常状態判定用閾値としてもよい。
第１閾値設定用時間は、乗員が正常状態であると仮定する時間であるので、当該第１閾値設定用時間以内に得られた異常状態スコアは、乗員が正常状態である場合に得られる異常状態スコアとみなされる。言い換えれば、第１閾値設定用時間以内に得られた異常状態スコアの最大値以内であれば、乗員は正常状態であるとみなすことができる。閾値設定部１４は、乗員が正常状態である場合に得られる異常状態スコアのうち最大値を異常状態判定用閾値に設定することで、乗員の異常状態を適切に推定可能な異常状態判定用閾値を設定することができる。
但し、第１閾値設定用時間以内に得られた異常状態スコアの最大値が、乗員が正常状態である場合に得られ得る異常状態スコアの最大値とは限らない。例えば、第１閾値設定用時間以内に得られた異常状態スコアを多少超えていた場合に、乗員が正常状態であることもあり得る。閾値設定部１４は、例えば、異常状態スコアの最大値＋αを異常状態判定用閾値に設定する等、異常状態スコアに余裕を持たせて異常状態判定用閾値を設定することで、乗員が正常状態であるにもかかわらず、当該乗員は異常状態と判定する可能性を低減することができる。
閾値設定部１４は、設定した異常状態判定用閾値を、認証部１２から出力された個人識別情報と紐づけて記憶部に記憶させる。
【0035】
このように、実施の形態１において、閾値設定部１４は、第１閾値設定用時間、乗員は異常状態ではない、言い換えれば、乗員は正常状態であると仮定する。閾値設定部１４は、その間の乗員に関する特徴量を機械学習モデル１７に入力して、１つ以上の異常状態スコアを取得する。そして、閾値設定部１４は、取得した１つ以上の異常状態スコアの最大値に基づき、乗員にとっての異常状態判定用閾値を設定する。
なお、上述のとおり、閾値設定部１４が異常状態判定用閾値を設定する処理を行っている第１閾値設定用時間、機械学習モデル１７から異常状態スコアは出力される。しかし、異常状態推定装置１は、閾値設定部１４が異常状態判定用閾値を設定する処理を行っている第１閾値設定用時間、当該異常状態スコアに基づく乗員の異常状態の推定は行わないようにする。例えば、異常状態推定装置１は、乗員の異常状態の推定を行うかどうかを、推定可能フラグが「１」か「０」かによって判定する。異常状態推定装置１は、推定可能フラグが「１」の場合、乗員の異常状態の推定を行うと判定する。逆に、推定可能フラグが「０」の場合、異常状態推定装置１は、乗員の異常状態の推定を行わないと判定する。当該判定は、例えば、異常状態推定装置１の制御部によって行われる。なお、異常状態推定装置１において、乗員の異常状態の推定は、後述の推定部１５が行う。
なお、上述のとおり、閾値設定部１４が異常状態判定用閾値を設定する処理を行っている第１閾値設定用時間、機械学習モデル１７から異常状態スコアは出力される。しかし、異常状態推定装置１は、閾値設定部１４が異常状態判定用閾値を設定する処理を行っている第１閾値設定用時間、当該異常状態スコアに基づく乗員の異常状態の推定は行わないようにする。例えば、異常状態推定装置１は、乗員の異常状態の推定を行うかどうかを、推定可能フラグが「１」か「０」かによって判定する。異常状態推定装置１は、推定可能フラグが「１」の場合、乗員の異常状態の推定を行うと判定する。逆に、推定可能フラグが「０」の場合、異常状態推定装置１は、乗員の異常状態の推定を行わないと判定する。当該判定は、例えば、異常状態推定装置１の制御部によって行われる。なお、異常状態推定装置１において、乗員の異常状態の推定は、後述の推定部１５が行う。
【0036】
閾値設定部１４は、異常状態判定用閾値の設定を完了すると、推定可能フラグ「１」の設定を行う。具体的には、制御部が、推定可能フラグ「０」である場合に、閾値設定部１４に対して、異常状態判定用閾値を設定する処理を行わせる。閾値設定部１４は、上述のように、異常状態判定用閾値を設定する処理を行って異常状態判定用閾値を設定し、個人認証用ＤＢ１６に、当該異常状態判定用閾値をＩＤと紐づけて記憶させるとともに、推定可能フラグを「１」とする。
閾値設定部１４は、異常状態判定用閾値の設定を完了すると、推定可能フラグを「１」にするため、異常状態推定装置１において、閾値設定部１４が異常状態判定用閾値を設定できていない間は、推定可能フラグは、「０」となっている。
異常状態推定装置１の制御部は、推定可能フラグが「０」の場合は、推定部１５に対して、乗員の異常状態の推定を行わせないようにする。これにより、異常状態推定装置１において、第１閾値設定用時間、機械学習モデル１７から異常状態スコアが出力されても、異常状態推定装置１は、乗員の異常状態の推定を行わないようにすることができる。
制御部は、閾値設定部１４が推定可能フラグ「１」を設定した後、当該推定可能フラグが「１」であると判定すると、推定部１５に対して、乗員の異常状態の推定を行わせる。つまり、異常状態推定装置１において、閾値設定部１４によって異常状態判定用閾値が設定された後、乗員の異常状態の推定が行われることになる。
閾値設定部１４は、異常状態判定用閾値の設定を完了すると、推定可能フラグを「１」にするため、異常状態推定装置１において、閾値設定部１４が異常状態判定用閾値を設定できていない間は、推定可能フラグは、「０」となっている。
異常状態推定装置１の制御部は、推定可能フラグが「０」の場合は、推定部１５に対して、乗員の異常状態の推定を行わせないようにする。これにより、異常状態推定装置１において、第１閾値設定用時間、機械学習モデル１７から異常状態スコアが出力されても、異常状態推定装置１は、乗員の異常状態の推定を行わないようにすることができる。
制御部は、閾値設定部１４が推定可能フラグ「１」を設定した後、当該推定可能フラグが「１」であると判定すると、推定部１５に対して、乗員の異常状態の推定を行わせる。つまり、異常状態推定装置１において、閾値設定部１４によって異常状態判定用閾値が設定された後、乗員の異常状態の推定が行われることになる。
【0037】
また、閾値設定部１４は、上述のとおり、制御部の制御に基づき、推定可能フラグが「０」である場合に、異常状態判定用閾値を設定する処理を行う。このように、閾値設定部１４は、車両の運転開始時に一度、異常状態判定用閾値を設定する処理を行えばよい。
なお、推定可能フラグは、例えば、車両の運転が停止したタイミング、または、異常状態を推定する対象となる乗員が変わったタイミングで、初期化され、「０」となる。例えば、制御部が、推定可能フラグの初期化を行う。
なお、推定可能フラグは、例えば、車両の運転が停止したタイミング、または、異常状態を推定する対象となる乗員が変わったタイミングで、初期化され、「０」となる。例えば、制御部が、推定可能フラグの初期化を行う。
【0038】
推定部１５は、特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して得られた異常状態スコアが、閾値設定部１４が設定した異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。
具体的には、推定部１５は、特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力し、出力された異常状態スコアを取得する。推定部１５は、取得した異常状態スコアと、閾値設定部１４が記憶部に記憶させた異常状態判定用閾値とを比較する。その際、推定部１５は、認証部１２から出力された個人識別情報を、記憶部にて異常状態判定用閾値と紐づけられている個人識別情報と突き合わせ、一致した個人識別情報に紐づけられている異常状態判定用閾値を、乗員の異常状態を推定するための異常状態判定用閾値として記憶部から取得する。
推定部１５は、異常状態スコアが異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。一方、推定部１５は、異常状態スコアが異常状態判定用閾値以下である場合、乗員は正常状態であると推定する。
具体的には、推定部１５は、特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力し、出力された異常状態スコアを取得する。推定部１５は、取得した異常状態スコアと、閾値設定部１４が記憶部に記憶させた異常状態判定用閾値とを比較する。その際、推定部１５は、認証部１２から出力された個人識別情報を、記憶部にて異常状態判定用閾値と紐づけられている個人識別情報と突き合わせ、一致した個人識別情報に紐づけられている異常状態判定用閾値を、乗員の異常状態を推定するための異常状態判定用閾値として記憶部から取得する。
推定部１５は、異常状態スコアが異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。一方、推定部１５は、異常状態スコアが異常状態判定用閾値以下である場合、乗員は正常状態であると推定する。
【0039】
個人認証用ＤＢ１６は、上述の個人特定用情報を記憶する。
個人認証用ＤＢ１６は、例えば、記憶部に備えられる。
個人認証用ＤＢ１６は、例えば、記憶部に備えられる。
【0040】
実施の形態１に係る異常状態推定装置１の動作について説明する。
図３は、実施の形態１に係る異常状態推定装置１の動作を説明するためのフローチャートである。
情報取得部１１は、乗員に関する情報を取得する（ステップＳＴ３０１）。
図３は、実施の形態１に係る異常状態推定装置１の動作を説明するためのフローチャートである。
情報取得部１１は、乗員に関する情報を取得する（ステップＳＴ３０１）。
【0041】
ここで、図４は、図３のステップＳＴ３０１の具体的な動作を説明するためのフローチャートである。
情報取得部１１の顔画像取得部１１１は、撮像装置２から、顔画像を取得する（ステップＳＴ４０１）。
情報取得部１１の生体情報取得部１１２は、生体センサ３から、乗員の生体情報を取得する（ステップＳＴ４０２）。
情報取得部１１の車両情報取得部１１３は、各種センサから、車両情報を取得する（ステップＳＴ４０３）。
情報取得部１１は、取得した、乗員に関する情報を、認証部１２および特徴量算出部１３に出力する。
情報取得部１１の顔画像取得部１１１は、撮像装置２から、顔画像を取得する（ステップＳＴ４０１）。
情報取得部１１の生体情報取得部１１２は、生体センサ３から、乗員の生体情報を取得する（ステップＳＴ４０２）。
情報取得部１１の車両情報取得部１１３は、各種センサから、車両情報を取得する（ステップＳＴ４０３）。
情報取得部１１は、取得した、乗員に関する情報を、認証部１２および特徴量算出部１３に出力する。
【0042】
図３のフローチャートの説明に戻る。
認証部１２は、乗員個人の認証を行い、個人識別情報を取得する（ステップＳＴ３０２）。認証部１２は、乗員個人を特定できた場合、取得した個人識別情報を、閾値設定部１４および推定部１５に出力する。
認証部１２は、乗員個人の認証を行い、個人識別情報を取得する（ステップＳＴ３０２）。認証部１２は、乗員個人を特定できた場合、取得した個人識別情報を、閾値設定部１４および推定部１５に出力する。
【0043】
特徴量算出部１３は、情報取得部１１が取得した、乗員に関する情報に基づき、乗員に関する特徴量を算出する（ステップＳＴ３０３）。
【0044】
ここで、図５は、図３のステップＳＴ３０３の具体的な動作を説明するフローチャートである。
特徴量算出部１３の顔特徴量算出部１３１は、図４のステップＳＴ４０１にて情報取得部１１の顔画像取得部１１１が取得した、乗員の顔画像、および、乗員の顔のパーツに関する情報に基づき、乗員の顔特徴量を算出する（ステップＳＴ５０１）。
特徴量算出部１３の生体特徴量算出部１３２は、図４のステップＳＴ４０２にて情報取得部１１の生体情報取得部１１２が取得した生体情報に基づき、生体特徴量を算出する（ステップＳＴ５０２）。
特徴量算出部１３の車両操作特徴量算出部１３３は、図４のステップＳＴ４０３にて車両情報取得部１１３が取得した車両情報に基づき、車両操作特徴量を算出する（ステップＳＴ５０３）。
特徴量算出部１３は、算出した、乗員に関する特徴量を、閾値設定部１４および推定部１５に出力する。
特徴量算出部１３の顔特徴量算出部１３１は、図４のステップＳＴ４０１にて情報取得部１１の顔画像取得部１１１が取得した、乗員の顔画像、および、乗員の顔のパーツに関する情報に基づき、乗員の顔特徴量を算出する（ステップＳＴ５０１）。
特徴量算出部１３の生体特徴量算出部１３２は、図４のステップＳＴ４０２にて情報取得部１１の生体情報取得部１１２が取得した生体情報に基づき、生体特徴量を算出する（ステップＳＴ５０２）。
特徴量算出部１３の車両操作特徴量算出部１３３は、図４のステップＳＴ４０３にて車両情報取得部１１３が取得した車両情報に基づき、車両操作特徴量を算出する（ステップＳＴ５０３）。
特徴量算出部１３は、算出した、乗員に関する特徴量を、閾値設定部１４および推定部１５に出力する。
【0045】
図３のフローチャートの説明に戻る。
制御部は、異常状態判定用閾値が設定済であるか否かを判定する（ステップＳＴ３０４）。具体的には、制御部は、推定可能フラグが「１」であるか否かを判定する。なお、後述の図６で説明する動作を行う前は、異常状態判定用閾値は設定されていないため、制御部は、異常状態判定用閾値は設定済ではないと判定する。後述の図６で説明する動作が行われた後は、異常状態判定用閾値は設定されているため、制御部は、異常状態判定用閾値は設定済と判定する。
ステップＳＴ３０４において、制御部が、異常状態判定用閾値が設定済ではないと判定した場合、言い換えれば、推定可能フラグが「０」であると判定した場合（ステップＳＴ３０４の“ＮＯ”の場合）、図３のフローチャートの動作は、ステップＳＴ３０５に進む。
そして、閾値設定部１４は、第１閾値設定用時間以内に、ステップＳＴ３０３にて特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する（ステップＳＴ３０５）。
制御部は、異常状態判定用閾値が設定済であるか否かを判定する（ステップＳＴ３０４）。具体的には、制御部は、推定可能フラグが「１」であるか否かを判定する。なお、後述の図６で説明する動作を行う前は、異常状態判定用閾値は設定されていないため、制御部は、異常状態判定用閾値は設定済ではないと判定する。後述の図６で説明する動作が行われた後は、異常状態判定用閾値は設定されているため、制御部は、異常状態判定用閾値は設定済と判定する。
ステップＳＴ３０４において、制御部が、異常状態判定用閾値が設定済ではないと判定した場合、言い換えれば、推定可能フラグが「０」であると判定した場合（ステップＳＴ３０４の“ＮＯ”の場合）、図３のフローチャートの動作は、ステップＳＴ３０５に進む。
そして、閾値設定部１４は、第１閾値設定用時間以内に、ステップＳＴ３０３にて特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する（ステップＳＴ３０５）。
【0046】
ここで、図６は、図３のステップＳＴ３０５の具体的な動作を説明するためのフローチャートである。
まず、閾値設定部１４は、第１閾値設定用時間以内であるか否かを判定する（ステップＳＴ６０１）。
ステップＳＴ６０１にて、閾値設定部１４は、第１閾値設定用時間以内であると判定した場合（ステップＳＴ６０１の“ＹＥＳ”の場合）、直近の図３のステップＳＴ３０３にて特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して、出力された異常状態スコアを取得する。そして、閾値設定部１４は、取得した異常状態スコアを記憶部に記憶させる（ステップＳＴ６０２）。その後、図６のフローチャートの動作は、図３のステップＳＴ３０１に戻り、当該ステップＳＴ３０１の動作を行うと、再び、当該ステップＳＴ３０１以降の動作に進む。以降、第１閾値設定用時間が経過する（ステップＳＴ６０１の“ＮＯ”の場合）まで、閾値設定部１４は、上記ステップＳＴ６０２の動作を行うことになる。その結果、閾値設定部１４が第１閾値設定用時間以内に得た、１つ以上の異常状態スコアが、記憶部に記憶される。
まず、閾値設定部１４は、第１閾値設定用時間以内であるか否かを判定する（ステップＳＴ６０１）。
ステップＳＴ６０１にて、閾値設定部１４は、第１閾値設定用時間以内であると判定した場合（ステップＳＴ６０１の“ＹＥＳ”の場合）、直近の図３のステップＳＴ３０３にて特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して、出力された異常状態スコアを取得する。そして、閾値設定部１４は、取得した異常状態スコアを記憶部に記憶させる（ステップＳＴ６０２）。その後、図６のフローチャートの動作は、図３のステップＳＴ３０１に戻り、当該ステップＳＴ３０１の動作を行うと、再び、当該ステップＳＴ３０１以降の動作に進む。以降、第１閾値設定用時間が経過する（ステップＳＴ６０１の“ＮＯ”の場合）まで、閾値設定部１４は、上記ステップＳＴ６０２の動作を行うことになる。その結果、閾値設定部１４が第１閾値設定用時間以内に得た、１つ以上の異常状態スコアが、記憶部に記憶される。
【0047】
閾値設定部１４は、第１閾値設定用時間が経過すると（ステップＳＴ６０１の“ＮＯ”の場合）、記憶部に記憶した異常状態スコアに基づき、異常状態判定用閾値を設定する。具体的には、閾値設定部１４は、記憶部に記憶した異常状態スコア、言い換えれば、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうち、最大値を、異常状態判定用閾値に設定する（ステップＳＴ６０３）。
閾値設定部１４は、設定した異常状態判定用閾値を、認証部１２から出力された個人識別情報と紐づけて記憶部に記憶させる。
閾値設定部１４は、設定した異常状態判定用閾値を、認証部１２から出力された個人識別情報と紐づけて記憶部に記憶させる。
【0048】
図３のフローチャートの説明に戻る。
ステップＳＴ３０４において、制御部は、異常状態判定用閾値が設定済であると判定した場合、言い換えれば、推定可能フラグが「１」であると判定した場合（ステップＳＴ３０４の“ＹＥＳ”の場合）、図３のフローチャートの動作は、ステップＳＴ３０６に進む。
そして、推定部１５は、ステップＳＴ３０３にて特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う（ステップＳＴ３０６）。
ステップＳＴ３０４において、制御部は、異常状態判定用閾値が設定済であると判定した場合、言い換えれば、推定可能フラグが「１」であると判定した場合（ステップＳＴ３０４の“ＹＥＳ”の場合）、図３のフローチャートの動作は、ステップＳＴ３０６に進む。
そして、推定部１５は、ステップＳＴ３０３にて特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う（ステップＳＴ３０６）。
【0049】
ここで、図７は、図３のステップＳＴ３０６の具体的な動作を説明するためのフローチャートである。
推定部１５は、直近の図３のステップＳＴ３０３にて特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して、出力された異常状態スコアを取得する。そして、推定部１５は、取得した異常状態スコアが、図３のステップＳＴ３０５にて閾値設定部１４が設定した異常状態判定用閾値より大きいか否かを判定する（ステップＳＴ７０１）。
推定部１５は、直近の図３のステップＳＴ３０３にて特徴量算出部１３が算出した乗員に関する特徴量を機械学習モデル１７に入力して、出力された異常状態スコアを取得する。そして、推定部１５は、取得した異常状態スコアが、図３のステップＳＴ３０５にて閾値設定部１４が設定した異常状態判定用閾値より大きいか否かを判定する（ステップＳＴ７０１）。
【0050】
ステップＳＴ７０１にて、異常状態スコアが異常状態判定用閾値より大きいと判定した場合（ステップＳＴ７０１の“ＹＥＳ”の場合）、推定部１５は、乗員は異常状態であると判定する（ステップＳＴ７０２）。
一方、ステップＳＴ７０１にて、異常状態スコアが異常状態判定用閾値以下であると判定した場合（ステップＳＴ７０１の“ＮＯ”の場合）、推定部１５は、乗員は異常状態ではない、言い換えれば、乗員は正常状態であると推定する（ステップＳＴ７０３）。
一方、ステップＳＴ７０１にて、異常状態スコアが異常状態判定用閾値以下であると判定した場合（ステップＳＴ７０１の“ＮＯ”の場合）、推定部１５は、乗員は異常状態ではない、言い換えれば、乗員は正常状態であると推定する（ステップＳＴ７０３）。
【0051】
このように、実施の形態１に係る異常状態推定装置１は、第１閾値設定用時間、乗員は正常状態であると仮定し、当該第１閾値設定用時間、機械学習モデル１７に、乗員に関する特徴量を入力して得られた異常状態スコアの最大値に基づき、異常状態判定用閾値に設定する。
そして、異常状態推定装置１は、異常状態判定用閾値を設定後、機械学習モデル１７に乗員に関する特徴量を入力して異常状態スコアを取得する。異常状態推定装置１は、取得した異常状態スコアが異常状態判定用閾値より大きい場合、乗員は、異常状態であると推定する。異常状態推定装置１は、固定的な閾値を用いて乗員が異常状態であるか否かを推定するのではなく、乗員毎に異常状態判定用閾値を設定し、当該異常状態判定用閾値を用いて、乗員が異常状態であるか否かを推定する。そのため、異常状態推定装置１は、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
そして、異常状態推定装置１は、異常状態判定用閾値を設定後、機械学習モデル１７に乗員に関する特徴量を入力して異常状態スコアを取得する。異常状態推定装置１は、取得した異常状態スコアが異常状態判定用閾値より大きい場合、乗員は、異常状態であると推定する。異常状態推定装置１は、固定的な閾値を用いて乗員が異常状態であるか否かを推定するのではなく、乗員毎に異常状態判定用閾値を設定し、当該異常状態判定用閾値を用いて、乗員が異常状態であるか否かを推定する。そのため、異常状態推定装置１は、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
【0052】
なお、図３のフローチャートで説明した動作について、図３のステップＳＴ３０２にて認証部１２が乗員個人を特定できなかった場合も、認証部１２が乗員個人を特定できた場合と同様に、異常状態推定装置１の動作は、図３のステップＳＴ３０４以降の動作に進む。但し、認証部１２が乗員個人を特定できなかった場合、閾値設定部１４は、設定した異常状態判定用閾値を記憶部に記憶させる際、個人識別情報と紐づけることができない。推定部１５は、異常状態判定用閾値を記憶部から取得する際は、例えば、記憶部に記憶されている、最新の異常状態判定用閾値を取得するようにする。
異常状態推定装置１は、以上のように、図３のフローチャートで説明した動作を、車両の運転開始後、当該車両の運転が終了されるまで、例えば、顔画像取得部１１１が撮像装置２から顔画像を１フレーム取得するタイミングで行うものとする。車両の運転が終了するとは、例えば、車両の運転が停止することの他、異常状態を推定する対象となる乗員が変わったことを含む。
この場合、推定部１５は、頻繁に、乗員の異常状態を推定することになる。しかし、乗員の異常状態は、上述のとおり、例えば、乗員が眠気を引き起こしている状態、乗員が飲酒している状態、乗員が疲労している状態、または、乗員が漫然としている状態であり、当該異常状態は、頻繁に変化するものではない。
そこで、例えば、推定部１５は、予め決められた時間（以下「異常状態推定時間」という。）において、乗員が異常状態であると推定された割合が閾値以上であれば、当該乗員は異常状態であると推定し、以降、車両の運転が終了されるまで、乗員の異常状態の推定を行わないようにしてもよい。異常状態推定時間は、５分間または１０分間等である。
異常状態推定装置１は、以上のように、図３のフローチャートで説明した動作を、車両の運転開始後、当該車両の運転が終了されるまで、例えば、顔画像取得部１１１が撮像装置２から顔画像を１フレーム取得するタイミングで行うものとする。車両の運転が終了するとは、例えば、車両の運転が停止することの他、異常状態を推定する対象となる乗員が変わったことを含む。
この場合、推定部１５は、頻繁に、乗員の異常状態を推定することになる。しかし、乗員の異常状態は、上述のとおり、例えば、乗員が眠気を引き起こしている状態、乗員が飲酒している状態、乗員が疲労している状態、または、乗員が漫然としている状態であり、当該異常状態は、頻繁に変化するものではない。
そこで、例えば、推定部１５は、予め決められた時間（以下「異常状態推定時間」という。）において、乗員が異常状態であると推定された割合が閾値以上であれば、当該乗員は異常状態であると推定し、以降、車両の運転が終了されるまで、乗員の異常状態の推定を行わないようにしてもよい。異常状態推定時間は、５分間または１０分間等である。
【0053】
以上の実施の形態１では、異常状態推定装置１において、機械学習モデル１７に入力する情報は、特徴量算出部１３が算出した、乗員に関する特徴量としたが、これは一例に過ぎない。例えば、異常状態推定装置１において、機械学習モデル１７に入力する情報は、情報取得部１１が取得した、乗員に関する情報としてもよい。この場合、異常状態推定装置１は、特徴量算出部１３を備えない構成とすることができる。
ただし、異常状態推定装置１は、特徴量算出部１３を備え、異常状態の推定と相関が大きい、乗員に関する特徴量を、機械学習モデル１７に入力するようにしたほうが、乗員に関する情報を直接機械学習モデル１７に入力する場合よりも、乗員の異常状態を推定する際の推定の精度を、向上させることができる。
なお、異常状態推定装置１において、機械学習モデル１７に入力する情報を、乗員に関する情報とする場合、学習装置は、乗員に関する情報を、教師データとする。
ただし、異常状態推定装置１は、特徴量算出部１３を備え、異常状態の推定と相関が大きい、乗員に関する特徴量を、機械学習モデル１７に入力するようにしたほうが、乗員に関する情報を直接機械学習モデル１７に入力する場合よりも、乗員の異常状態を推定する際の推定の精度を、向上させることができる。
なお、異常状態推定装置１において、機械学習モデル１７に入力する情報を、乗員に関する情報とする場合、学習装置は、乗員に関する情報を、教師データとする。
【0054】
以上のように、実施の形態１によれば、車両の乗員に関する情報と、機械学習モデル１７とに基づいて、乗員の異常状態を推定する異常状態推定装置１において、乗員に関する情報を取得する情報取得部１１と、第１閾値設定用時間以内に情報取得部１１が取得した乗員に関する情報を機械学習モデル１７に入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する閾値設定部１４を備えるように構成した。
そのため、異常状態推定装置１は、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
そのため、異常状態推定装置１は、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
【0055】
実施の形態２．
実施の形態１では、機械学習モデル１７は、予め、複数人の乗員に関する情報に基づき、１つ生成されているものとしていた。
しかし、乗員が正常状態または異常状態である場合の、乗員の顔特徴量または生体特徴量等は、乗員毎に異なる。例えば、乗員の中には、眠気を引き起こしていても異常状態とは言えない乗員もいれば、脈拍数が大きく減ったからといって異常状態とは言えない乗員もいる。また、乗員の中には、ハンドル舵角の変化が大きいからといって、異常状態とは言えない乗員もいる。このように、例えば、同じ異常状態であっても、複数の乗員の顔特徴量または生体特徴量等は、様々なバリエーションを有している。そうすると、学習装置において、複数の乗員に関する情報に基づく複数の乗員に関する特徴量を機械学習モデル１７に入力して学習を実行する際に、入力する特徴量の端数処理等が行われる可能性がある。特徴量の端数処理等が行われて生成された機械学習モデル１７は、当該機械学習モデル１７に基づいて乗員の異常状態を推定する際に異常状態を適切に推定できない機械学習モデルとなり得る。異常状態推定装置１は、異常状態を適切に推定できない機械学習モデルからでは、異常状態を適切に推定するための異常状態判定用閾値を、適切に設定できない可能性がある。
そこで、実施の形態２では、機械学習モデル１７が、予め、複数の乗員に関する情報に基づき複数、生成されているものとする。具体的には、予め、Ｎ人の乗員に関する情報に基づき、Ｎ個の機械学習モデル（１～Ｎ）１７が、生成されているものとする。異常状態推定装置１ａは、Ｎ個の機械学習モデル（１～Ｎ）１７に基づいて、異常状態判定用閾値を設定し、設定した異常状態判定用閾値を用いて、乗員の異常状態を推定する。
実施の形態１では、機械学習モデル１７は、予め、複数人の乗員に関する情報に基づき、１つ生成されているものとしていた。
しかし、乗員が正常状態または異常状態である場合の、乗員の顔特徴量または生体特徴量等は、乗員毎に異なる。例えば、乗員の中には、眠気を引き起こしていても異常状態とは言えない乗員もいれば、脈拍数が大きく減ったからといって異常状態とは言えない乗員もいる。また、乗員の中には、ハンドル舵角の変化が大きいからといって、異常状態とは言えない乗員もいる。このように、例えば、同じ異常状態であっても、複数の乗員の顔特徴量または生体特徴量等は、様々なバリエーションを有している。そうすると、学習装置において、複数の乗員に関する情報に基づく複数の乗員に関する特徴量を機械学習モデル１７に入力して学習を実行する際に、入力する特徴量の端数処理等が行われる可能性がある。特徴量の端数処理等が行われて生成された機械学習モデル１７は、当該機械学習モデル１７に基づいて乗員の異常状態を推定する際に異常状態を適切に推定できない機械学習モデルとなり得る。異常状態推定装置１は、異常状態を適切に推定できない機械学習モデルからでは、異常状態を適切に推定するための異常状態判定用閾値を、適切に設定できない可能性がある。
そこで、実施の形態２では、機械学習モデル１７が、予め、複数の乗員に関する情報に基づき複数、生成されているものとする。具体的には、予め、Ｎ人の乗員に関する情報に基づき、Ｎ個の機械学習モデル（１～Ｎ）１７が、生成されているものとする。異常状態推定装置１ａは、Ｎ個の機械学習モデル（１～Ｎ）１７に基づいて、異常状態判定用閾値を設定し、設定した異常状態判定用閾値を用いて、乗員の異常状態を推定する。
【0056】
実施の形態２に係る異常状態推定装置１ａは、実施の形態１に係る異常状態推定装置１同様、車両に搭載されることを想定している。
図８は、実施の形態２に係る異常状態推定装置１ａの構成例を示す図である。
実施の形態２に係る異常状態推定装置１ａの構成例について、実施の形態１にて図１を用いて説明した異常状態推定装置１と同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態２に係る異常状態推定装置１ａは、実施の形態１に係る異常状態推定装置１とは、閾値設定部１４ａが、モデル別閾値設定部１４１およびモデル別判定部１４２を備える点が異なる。
また、実施の形態２に係る異常状態推定装置１ａは、実施の形態１に係る異常状態推定装置１とは、推定部１５ａがモデル数算出部１５１を備える点が異なる。
また、実施の形態２に係る異常状態推定装置１ａは、実施の形態１に係る異常状態推定装置１とは、複数の機械学習モデル（１～Ｎ）１７を備える点が異なる。なお、ここでは、複数の機械学習モデル（１～Ｎ）１７は、異常状態推定装置１ａに備えられるものとするが、これは一例に過ぎない。複数の機械学習モデル（１～Ｎ）１７は、異常状態推定装置１ａの外部の、異常状態推定装置１ａが参照可能な場所に備えられるようにしてもよい。
図８は、実施の形態２に係る異常状態推定装置１ａの構成例を示す図である。
実施の形態２に係る異常状態推定装置１ａの構成例について、実施の形態１にて図１を用いて説明した異常状態推定装置１と同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態２に係る異常状態推定装置１ａは、実施の形態１に係る異常状態推定装置１とは、閾値設定部１４ａが、モデル別閾値設定部１４１およびモデル別判定部１４２を備える点が異なる。
また、実施の形態２に係る異常状態推定装置１ａは、実施の形態１に係る異常状態推定装置１とは、推定部１５ａがモデル数算出部１５１を備える点が異なる。
また、実施の形態２に係る異常状態推定装置１ａは、実施の形態１に係る異常状態推定装置１とは、複数の機械学習モデル（１～Ｎ）１７を備える点が異なる。なお、ここでは、複数の機械学習モデル（１～Ｎ）１７は、異常状態推定装置１ａに備えられるものとするが、これは一例に過ぎない。複数の機械学習モデル（１～Ｎ）１７は、異常状態推定装置１ａの外部の、異常状態推定装置１ａが参照可能な場所に備えられるようにしてもよい。
【0057】
ここで、機械学習モデル（１～Ｎ）１７について説明する。
機械学習モデル（１～Ｎ）１７は、実施の形態１同様、予め、学習装置によって、生成されている。
図９は、実施の形態２において、学習装置が学習処理を行って機械学習モデル（１～Ｎ）１７を生成する過程のイメージを説明するための図である。
実施の形態１では、学習装置は、予め収集された複数の乗員に関する情報について、異常状態の正解ラベルとともに、まとめて学習処理を実施し、１つの機械学習モデル１７を生成していた（図２参照）。
これに対し、実施の形態２では、学習装置は、予め収集された複数の乗員に関する情報について、複数の乗員に関する情報毎に、異常状態の正解ラベルとともに、学習処理を実施し、各乗員に対応する機械学習モデル（１～Ｎ）１７を生成する。学習装置が行う学習処理の具体的な内容は、実施の形態１において学習装置が行う学習処理の具体的な内容と同様であるため、重複した説明を省略する。
機械学習モデル（１～Ｎ）１７は、実施の形態１同様、予め、学習装置によって、生成されている。
図９は、実施の形態２において、学習装置が学習処理を行って機械学習モデル（１～Ｎ）１７を生成する過程のイメージを説明するための図である。
実施の形態１では、学習装置は、予め収集された複数の乗員に関する情報について、異常状態の正解ラベルとともに、まとめて学習処理を実施し、１つの機械学習モデル１７を生成していた（図２参照）。
これに対し、実施の形態２では、学習装置は、予め収集された複数の乗員に関する情報について、複数の乗員に関する情報毎に、異常状態の正解ラベルとともに、学習処理を実施し、各乗員に対応する機械学習モデル（１～Ｎ）１７を生成する。学習装置が行う学習処理の具体的な内容は、実施の形態１において学習装置が行う学習処理の具体的な内容と同様であるため、重複した説明を省略する。
【0058】
閾値設定部１４ａは、実施の形態１に係る異常状態推定装置１の閾値設定部１４同様、乗員の異常状態を推定するための異常状態判定用閾値を設定する。ただし、閾値設定部１４ａが設定する異常状態判定用閾値の内容、および、閾値設定部１４ａによる異常状態判定用閾値の具体的な設定方法が、実施の形態１に係る異常状態推定装置１の閾値設定部１４が設定する異常状態判定用閾値の内容、および、閾値設定部１４による異常状態判定用閾値の具体的な設定方法とは異なるので、以下説明する。
【0059】
実施の形態２において、閾値設定部１４ａは、「モデル別閾値設定処理」を行った上で、「異常状態判定用閾値設定処理」を行い、異常状態判定用閾値を設定する。閾値設定部１４ａは、制御部の制御に基づき、「モデル別閾値設定処理」および「異常状態判定用閾値設定処理」を、行う。
具体的には、制御部は、まず、閾値設定部１４ａに対して、「モデル別閾値設定処理」を行わせる。閾値設定部１４ａは、「モデル別閾値設定処理」を行い、機械学習モデル（１～Ｎ）１７毎に、異常状態判定用閾値を設定する際に用いる閾値（以下「モデル別閾値」という。）を設定する。「モデル別閾値設定処理」の詳細については後述する。
制御部は、「モデル別閾値設定処理」が行われたと判定すると、閾値設定部１４ａに対して、「異常状態判定用閾値設定処理」を行わせる。閾値設定部１４ａは、「異常状態判定用閾値設定処理」を行い、異常状態判定用閾値を設定する。「異常状態判定用閾値設定処理」の詳細については後述する。
具体的には、制御部は、まず、閾値設定部１４ａに対して、「モデル別閾値設定処理」を行わせる。閾値設定部１４ａは、「モデル別閾値設定処理」を行い、機械学習モデル（１～Ｎ）１７毎に、異常状態判定用閾値を設定する際に用いる閾値（以下「モデル別閾値」という。）を設定する。「モデル別閾値設定処理」の詳細については後述する。
制御部は、「モデル別閾値設定処理」が行われたと判定すると、閾値設定部１４ａに対して、「異常状態判定用閾値設定処理」を行わせる。閾値設定部１４ａは、「異常状態判定用閾値設定処理」を行い、異常状態判定用閾値を設定する。「異常状態判定用閾値設定処理」の詳細については後述する。
【0060】
以下、閾値設定部１４ａによる、「モデル別閾値設定処理」および「異常状態判定用閾値設定処理」について、詳細に説明する。
まず、閾値設定部１４ａによる、「モデル別閾値設定処理」について説明する。
閾値設定部１４ａにおいて、当該閾値設定部１４ａのモデル別閾値設定部１４１は、複数の機械学習モデル（１～Ｎ）１７毎に、第１閾値設定用時間以内に特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアに基づき、モデル別閾値を設定する。第１閾値設定用時間については、実施の形態１にて説明済みであるため、重複した説明を省略する。但し、実施の形態２における第１閾値設定用時間は、実施の形態１における第１閾値設定用時間と、同じ長さの時間であってもよいし、異なる長さの時間であってもよい。
まず、閾値設定部１４ａによる、「モデル別閾値設定処理」について説明する。
閾値設定部１４ａにおいて、当該閾値設定部１４ａのモデル別閾値設定部１４１は、複数の機械学習モデル（１～Ｎ）１７毎に、第１閾値設定用時間以内に特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアに基づき、モデル別閾値を設定する。第１閾値設定用時間については、実施の形態１にて説明済みであるため、重複した説明を省略する。但し、実施の形態２における第１閾値設定用時間は、実施の形態１における第１閾値設定用時間と、同じ長さの時間であってもよいし、異なる長さの時間であってもよい。
【0061】
具体的には、モデル別閾値設定部１４１は、まず、特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して、異常状態スコアを取得する。モデル別閾値設定部１４１は、上述した、異常状態スコアの取得を、全ての機械学習モデル（１～Ｎ）１７に対して行い、各機械学習モデル（１～Ｎ）１７に対応する、異常状態スコアを取得する。モデル別閾値設定部１４１は、取得した、各機械学習モデル（１～Ｎ）１７に対応する異常状態スコア、機械学習モデル（１～Ｎ）１７を特定可能な情報、および、異常状態スコアの取得日時を紐づけた情報（以下「第１スコア情報」という。）を生成し、記憶部に記憶させる。モデル別閾値設定部１４１は、当該異常状態スコアの取得および記憶を、第１閾値設定用時間、行う。
【0062】
そして、第１閾値設定用時間が経過すると、モデル別閾値設定部１４１は、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７について、第１閾値設定用時間において記憶部に記憶させた１つ以上の異常状態スコアのうち、最大値を、モデル別閾値に設定する。モデル別閾値設定部１４１は、第１閾値設定用時間に記憶部に記憶させた、当該ある機械学習モデル（１～Ｎ）１７の１つ以上の異常状態スコアを、第１スコア情報から特定すればよい。このとき、モデル別閾値設定部１４１は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうちの最大値に、バッファを持たせて、モデル別閾値を設定してもよい。また、モデル別閾値設定部１４１は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうちの最大値を係数倍した値を、モデル別閾値に設定してもよい。モデル別閾値設定部１４１は、上述した、モデル別閾値の設定を、全ての機械学習モデル（１～Ｎ）１７に対して行い、各機械学習モデル（１～Ｎ）１７に対応する、モデル別閾値を設定する。モデル別閾値設定部１４１は、設定した、各機械学習モデル（１～Ｎ）１７のモデル別閾値を機械学習モデル（１～Ｎ）１７を特定可能な情報と紐づけた情報（以下「モデル別閾値情報」という。）を生成し、当該モデル別閾値情報を、記憶部に記憶させる。
モデル別閾値設定部１４１が全ての機械学習モデル（１～Ｎ）１７に対応するモデル別閾値情報を生成し、記憶部に記憶させると、制御部は、「モデル別閾値設定処理」が完了したと判定する。
モデル別閾値設定部１４１が全ての機械学習モデル（１～Ｎ）１７に対応するモデル別閾値情報を生成し、記憶部に記憶させると、制御部は、「モデル別閾値設定処理」が完了したと判定する。
【0063】
次に、閾値設定部１４ａによる、「異常状態判定用閾値設定処理」について説明する。
閾値設定部１４ａは、「異常状態判定用閾値設定処理」において、複数の機械学習モデル（１～Ｎ）１７毎に、予め設定された時間（以下「第２閾値設定用時間」という。）以内に特徴量算出部１３が算出した乗員に関する特徴量を入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
実施の形態２において、第２閾値設定用時間は、第１閾値設定用時間同様、乗員の異常状態を推定する前の処理としての異常状態判定用閾値を設定する処理を行うために設定される、乗員が正常状態であると仮定する時間である。第２閾値設定用時間は、第１閾値設定用時間経過後の時間とする。第２閾値設定用時間の長さは、５分間または１０分間等、適宜設定されている。第２閾値設定用時間の長さは、第１閾値設定用時間の長さと同じ長さであってもよい。
閾値設定部１４ａは、「異常状態判定用閾値設定処理」において、複数の機械学習モデル（１～Ｎ）１７毎に、予め設定された時間（以下「第２閾値設定用時間」という。）以内に特徴量算出部１３が算出した乗員に関する特徴量を入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
実施の形態２において、第２閾値設定用時間は、第１閾値設定用時間同様、乗員の異常状態を推定する前の処理としての異常状態判定用閾値を設定する処理を行うために設定される、乗員が正常状態であると仮定する時間である。第２閾値設定用時間は、第１閾値設定用時間経過後の時間とする。第２閾値設定用時間の長さは、５分間または１０分間等、適宜設定されている。第２閾値設定用時間の長さは、第１閾値設定用時間の長さと同じ長さであってもよい。
【0064】
まず、閾値設定部１４ａにおいて、閾値設定部１４ａのモデル別判定部１４２は、複数の機械学習モデル（１～Ｎ）１７毎に、第２閾値設定用時間以内に特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアは、モデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かを判定する。なお、モデル別判定部１４２は、モデル別閾値設定部１４１が記憶部に記憶させたモデル別閾値情報から、各機械学習モデル（１～Ｎ）１７に対応するモデル別閾値を特定すればよい。
【0065】
具体的には、モデル別判定部１４２は、まず、特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して、異常状態スコアを取得する。モデル別判定部１４２は、上述した、異常状態スコアの取得を、全ての機械学習モデル（１～Ｎ）１７に対して行い、各機械学習モデル（１～Ｎ）１７に対応する、異常状態スコアを取得する。モデル別判定部１４２は、取得した、各機械学習モデル（１～Ｎ）１７に対応する異常状態スコア、機械学習モデル（１～Ｎ）１７を特定可能な情報、および、異常状態スコアの取得日時を紐づけた情報（以下「第２スコア情報」という。）を生成し、当該判定閾値設定用スコア情報を、記憶部に記憶させる。モデル別判定部１４２は、異常状態スコアの取得および記憶を、第２閾値設定用時間、行う。
【0066】
そして、第２閾値設定用時間が経過すると、モデル別判定部１４２は、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７について、第２閾値設定用時間に記憶部に記憶させた、当該ある機械学習モデル（１～Ｎ）１７から得られた１つ以上の異常状態スコアのいずれかが、モデル別閾値設定部１４１が設定したモデル別閾値より大きい機械学習モデル（１～Ｎ）１７、に該当するか否かを判定する。以下、機械学習モデル（１～Ｎ）１７から得られた１つ以上の異常状態スコアのいずれかが、モデル別閾値設定部１４１が設定したモデル別閾値より大きい機械学習モデル（１～Ｎ）１７、を、「カウント対象モデル」という。
モデル別判定部１４２は、第２閾値設定用時間に記憶部に記憶させた、当該ある機械学習モデル（１～Ｎ）１７から得られた１つ以上の異常状態スコアを、第２スコア情報から特定すればよい。
モデル別判定部１４２は、第２閾値設定用時間に記憶部に記憶させた、当該ある機械学習モデル（１～Ｎ）１７から得られた１つ以上の異常状態スコアを、第２スコア情報から特定すればよい。
【0067】
モデル別判定部１４２は、ある機械学習モデル（１～Ｎ）１７について、「カウント対象モデル」に該当するか否かを判定する。具体的には、モデル別判定部１４２は、当該ある機械学習モデル（１～Ｎ）１７から得られた１つ以上の異常状態スコアのうち１つでもモデル別閾値より大きい場合、当該ある機械学習モデル（１～Ｎ）１７は、「カウント対象モデル」に該当すると判定する。なお、ここでは、モデル別判定部１４２は、機械学習モデル（１～Ｎ）１７について、１つ以上の異常状態スコアのうち、１つでもモデル別閾値より大きい場合、当該機械学習モデル（１～Ｎ）１７を、カウント対象モデルに該当すると判定するものとするが、これは一例に過ぎない。モデル別判定部１４２は、例えば、機械学習モデル（１～Ｎ）１７について、１つ以上の異常状態スコアのうち、モデル別閾値より大きい異常状態スコアが、予め設定された閾値以上ある場合に、当該機械学習モデル（１～Ｎ）１７を、カウント対象モデルに該当すると判定するようにしてもよい。
モデル別判定部１４２は、上述した、カウント対象モデルに該当するか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。
モデル別判定部１４２は、機械学習モデル（１～Ｎ）１７毎に、カウント対象モデルに該当するか否かの判定結果と、機械学習モデル（１～Ｎ）１７を特定可能な情報とを紐づけた情報（以下「モデル別カウント要否判定結果情報」という。）を生成し、当該モデル別カウント要否判定結果情報を、閾値設定部１４ａに出力する。
モデル別判定部１４２は、上述した、カウント対象モデルに該当するか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。
モデル別判定部１４２は、機械学習モデル（１～Ｎ）１７毎に、カウント対象モデルに該当するか否かの判定結果と、機械学習モデル（１～Ｎ）１７を特定可能な情報とを紐づけた情報（以下「モデル別カウント要否判定結果情報」という。）を生成し、当該モデル別カウント要否判定結果情報を、閾値設定部１４ａに出力する。
【0068】
閾値設定部１４ａは、モデル別判定部１４２から出力されたモデル別カウント要否判定結果情報に基づき、カウント対象モデルの数を、異常状態判定用閾値に設定する。このとき、閾値設定部１４ａは、カウント対象モデルの数にバッファを持たせて、異常状態判定用閾値を設定してもよい。具体的には、閾値設定部１４ａは、カウント対象モデルの数＋αを、異常状態判定用閾値に設定してもよい。αは、０より大きい値とする。
閾値設定部１４ａは、設定した異常状態判定用閾値を、認証部１２から出力された個人識別情報と紐づけて記憶部に記憶させるとともに、推定可能フラグを「１」とする。
閾値設定部１４ａは、設定した異常状態判定用閾値を、認証部１２から出力された個人識別情報と紐づけて記憶部に記憶させるとともに、推定可能フラグを「１」とする。
【0069】
実施の形態２において、閾値設定部１４ａが異常状態判定用閾値を設定する処理を行っている第１閾値設定用時間および第２閾値設定用時間、機械学習モデル（１～Ｎ）１７から異常状態スコアは出力される。しかし、この間、異常状態推定装置１ａは、当該異常状態スコアに基づく乗員の異常状態の推定は行わないようにする。例えば、異常状態推定装置１ａは、乗員の異常状態の推定を行うかどうかを、推定可能フラグが「１」か「０」かによって判定する。異常状態推定装置１ａは、推定可能フラグが「１」の場合、乗員の異常状態の推定を行うと判定する。逆に、推定可能フラグが「０」の場合、異常状態推定装置１ａは、乗員の異常状態の推定を行わないと判定する。当該推定可能フラグに基づく制御は、制御部が行う。制御部による、推定可能フラグに基づく制御については、実施の形態１にて説明済みであるため、重複した説明を省略する。異常状態推定装置１ａにおいて、閾値設定部１４ａは、制御部による、推定可能フラグに基づく制御に従って、「モデル別閾値設定処理」および「異常状態判定用閾値設定処理」を行う。制御部は、モデル別閾値が設定されていない場合は、閾値設定部１４ａに対して、「モデル別閾値設定処理」を行わせる。制御部は、モデル別閾値が設定済であり、かつ、推定可能フラグが「０」の場合は、閾値設定部１４ａに対して、「異常状態判定用閾値設定処理」を行わせる。なお、「モデル別閾値設定処理」は、「異常状態判定用閾値設定処理」よりも前に行われる処理であるため、「モデル別閾値設定処理」の実行時点において、推定可能フラグは、「０」である。
また、異常状態推定装置１ａにおいて、後述の推定部１５ａは、制御部による、推定可能フラグに基づく制御に従って、乗員の異常状態を推定する処理を行う。制御部は、推定可能フラグが「１」の場合、推定部１５ａに対して、乗員の異常状態を推定する処理を行わせる。
また、異常状態推定装置１ａにおいて、後述の推定部１５ａは、制御部による、推定可能フラグに基づく制御に従って、乗員の異常状態を推定する処理を行う。制御部は、推定可能フラグが「１」の場合、推定部１５ａに対して、乗員の異常状態を推定する処理を行わせる。
【0070】
推定部１５ａは、実施の形態１に係る異常状態推定装置１の推定部１５同様、乗員の異常状態の推定を行う。ただし、推定部１５ａにおいて、乗員の異常状態を推定する具体的な方法が、実施の形態１に係る異常状態推定装置１の推定部１５とは異なるので、以下説明する。
実施の形態２において、推定部１５ａは、特徴量算出部１３が算出した乗員に関する特徴量を各機械学習モデル（１～Ｎ）１７に入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う。
推定部１５ａについて、以下、詳細に説明する。
実施の形態２において、推定部１５ａは、特徴量算出部１３が算出した乗員に関する特徴量を各機械学習モデル（１～Ｎ）１７に入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う。
推定部１５ａについて、以下、詳細に説明する。
【0071】
推定部１５ａにおいて、推定部１５ａのモデル数算出部１５１は、機械学習モデル（１～Ｎ）１７のうち、特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアが、モデル別閾値より大きいと判定された、機械学習モデルの数（以下「異常判定用モデル数」という。）を算出する。
具体的には、モデル数算出部１５１は、まず、特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して異常状態スコアを取得する。そして、モデル数算出部１５１は、取得した異常状態スコアが、閾値設定部１４ａのモデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かを判定する。なお、モデル数算出部１５１は、記憶部に記憶されているモデル別閾値情報から、異常状態スコアと比較する、ある機械学習モデル（１～Ｎ）１７に対応するモデル別閾値を特定すればよい。
モデル数算出部１５１は、上述した、異常状態スコアがモデル別閾値より大きいか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。そして、モデル数算出部１５１は、異常判定用モデル数を算出する。
モデル数算出部１５１は、算出した異常判定用モデル数を、推定部１５ａに出力する。
具体的には、モデル数算出部１５１は、まず、特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して異常状態スコアを取得する。そして、モデル数算出部１５１は、取得した異常状態スコアが、閾値設定部１４ａのモデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かを判定する。なお、モデル数算出部１５１は、記憶部に記憶されているモデル別閾値情報から、異常状態スコアと比較する、ある機械学習モデル（１～Ｎ）１７に対応するモデル別閾値を特定すればよい。
モデル数算出部１５１は、上述した、異常状態スコアがモデル別閾値より大きいか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。そして、モデル数算出部１５１は、異常判定用モデル数を算出する。
モデル数算出部１５１は、算出した異常判定用モデル数を、推定部１５ａに出力する。
【0072】
推定部１５ａは、モデル数算出部１５１が算出した異常判定用モデル数が、閾値設定部１４ａが設定した異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。
具体的には、推定部１５ａは、モデル数算出部１５１が算出した異常判定用モデル数と、閾値設定部１４ａが記憶部に記憶させた、異常状態判定用閾値とを比較する。その際、推定部１５ａは、認証部１２から出力された個人識別情報を、記憶部にて異常状態判定用閾値と紐づけられている個人識別情報と突き合わせ、一致した個人識別情報に紐づけられている異常状態判定用閾値を、異常判定用モデル数と比較する異常状態判定用閾値として記憶部から取得する。推定部１５ａは、異常判定用モデル数が異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。一方、推定部１５ａは、異常判定用モデル数が異常状態判定用閾値以下である場合、乗員は正常状態であると推定する。
具体的には、推定部１５ａは、モデル数算出部１５１が算出した異常判定用モデル数と、閾値設定部１４ａが記憶部に記憶させた、異常状態判定用閾値とを比較する。その際、推定部１５ａは、認証部１２から出力された個人識別情報を、記憶部にて異常状態判定用閾値と紐づけられている個人識別情報と突き合わせ、一致した個人識別情報に紐づけられている異常状態判定用閾値を、異常判定用モデル数と比較する異常状態判定用閾値として記憶部から取得する。推定部１５ａは、異常判定用モデル数が異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。一方、推定部１５ａは、異常判定用モデル数が異常状態判定用閾値以下である場合、乗員は正常状態であると推定する。
【0073】
実施の形態２に係る異常状態推定装置１ａの動作について説明する。
図１０は、実施の形態２に係る異常状態推定装置１ａの動作について説明するためのフローチャートである。
図１０のステップＳＴ１００１～ステップＳＴ１００３の具体的な動作は、実施の形態１にて説明した、図３のステップＳＴ３０１～ステップＳＴ３０３の具体的な動作と同様であるため、重複した説明を省略する。
図１０は、実施の形態２に係る異常状態推定装置１ａの動作について説明するためのフローチャートである。
図１０のステップＳＴ１００１～ステップＳＴ１００３の具体的な動作は、実施の形態１にて説明した、図３のステップＳＴ３０１～ステップＳＴ３０３の具体的な動作と同様であるため、重複した説明を省略する。
【0074】
ステップＳＴ１００４において、制御部は、モデル別閾値が設定済であるか否かを判定する（ステップＳＴ１００４）。具体的には、制御部は、記憶部に、全ての機械学習モデル（１～Ｎ）１７に対応するモデル別閾値情報が記憶されているか否かを判定する。
ステップＳＴ１００４にて、モデル別閾値が設定済ではないと判定した場合（ステップＳＴ１００４の“ＮＯ”の場合）、図１０のフローチャートの動作は、ステップＳＴ１００５に進む。なお、後述の図１１で説明する動作を行う前は、モデル別閾値は設定されていないため、制御部は、モデル別閾値は設定済ではないと判定する。後述の図１１で説明する動作が行われた後は、モデル別閾値は設定されているため、制御部は、モデル別閾値は設定済と判定する。
そして、閾値設定部１４ａは、「モデル別閾値設定処理」を行う（ステップＳＴ１００５）
ステップＳＴ１００４にて、モデル別閾値が設定済ではないと判定した場合（ステップＳＴ１００４の“ＮＯ”の場合）、図１０のフローチャートの動作は、ステップＳＴ１００５に進む。なお、後述の図１１で説明する動作を行う前は、モデル別閾値は設定されていないため、制御部は、モデル別閾値は設定済ではないと判定する。後述の図１１で説明する動作が行われた後は、モデル別閾値は設定されているため、制御部は、モデル別閾値は設定済と判定する。
そして、閾値設定部１４ａは、「モデル別閾値設定処理」を行う（ステップＳＴ１００５）
【0075】
ここで、図１１は、図１０のステップＳＴ１００５の具体的な動作を説明するためのフローチャートである。
モデル別閾値設定部１４１は、第１閾値設定用時間以内であるか否かを判定する（ステップＳＴ１１０１）。
ステップＳＴ１１０１にて、モデル別閾値設定部１４１は、第１閾値設定用時間以内であると判定した場合（ステップＳＴ１１０１の“ＹＥＳ”の場合）、直近の図１０のステップＳＴ１００３にて特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して、異常状態スコアを取得する。モデル別閾値設定部１４１は、上述した、異常状態スコアの取得を、全ての機械学習モデル（１～Ｎ）１７に対して行い、各機械学習モデル（１～Ｎ）１７に対応する、異常状態スコアを取得する。モデル別閾値設定部１４１は、第１スコア情報を生成し、当該第１スコア情報を、記憶部に記憶させる（ステップＳＴ１１０２）。その後、図１１のフローチャートの動作は、図１０のステップＳＴ１００１に戻り、当該ステップＴ１００１の動作を行うと、再び、当該ステップＳＴ１００１以降の動作に進む。以降、第１閾値設定用時間が経過する（ステップＳＴ１１０１の“ＮＯ”の場合）まで、モデル別閾値設定部１４１は、当該ステップＳＴ１１０２の動作を行うことになる。その結果、モデル別閾値設定部１４１が第１閾値設定用時間以内に生成した第１スコア情報が、記憶部に記憶される。
モデル別閾値設定部１４１は、第１閾値設定用時間以内であるか否かを判定する（ステップＳＴ１１０１）。
ステップＳＴ１１０１にて、モデル別閾値設定部１４１は、第１閾値設定用時間以内であると判定した場合（ステップＳＴ１１０１の“ＹＥＳ”の場合）、直近の図１０のステップＳＴ１００３にて特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して、異常状態スコアを取得する。モデル別閾値設定部１４１は、上述した、異常状態スコアの取得を、全ての機械学習モデル（１～Ｎ）１７に対して行い、各機械学習モデル（１～Ｎ）１７に対応する、異常状態スコアを取得する。モデル別閾値設定部１４１は、第１スコア情報を生成し、当該第１スコア情報を、記憶部に記憶させる（ステップＳＴ１１０２）。その後、図１１のフローチャートの動作は、図１０のステップＳＴ１００１に戻り、当該ステップＴ１００１の動作を行うと、再び、当該ステップＳＴ１００１以降の動作に進む。以降、第１閾値設定用時間が経過する（ステップＳＴ１１０１の“ＮＯ”の場合）まで、モデル別閾値設定部１４１は、当該ステップＳＴ１１０２の動作を行うことになる。その結果、モデル別閾値設定部１４１が第１閾値設定用時間以内に生成した第１スコア情報が、記憶部に記憶される。
【0076】
ステップＳＴ１１０１にて、モデル別閾値設定部１４１は、第１閾値設定用時間以内ではないと判定した場合、すなわち、第１閾値設定用時間が経過すると（ステップＳＴ１１０１の“ＮＯ”の場合）、モデル別閾値設定部１４１は、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７について、第１閾値設定用時間において記憶部に記憶させた１つ以上の異常状態スコアのうち、最大値を、モデル別閾値に設定する（ステップＳＴ１１０３）。モデル別閾値設定部１４１は、上述した、モデル別閾値の設定を、全ての機械学習モデル（１～Ｎ）１７に対して行い、各機械学習モデル（１～Ｎ）１７に対応する、モデル別閾値を設定する。モデル別閾値設定部１４１は、モデル別閾値情報を生成し、当該モデル別閾値情報を、記憶部に記憶させる。その後、図１１のフローチャートの動作は、図１０のステップＳＴ１００１に戻り、当該ステップＴ１００１の動作を行うと、再び、当該ステップＳＴ１００１以降の動作に進む。
【0077】
図１０のフローチャートの説明に戻る。
ステップＳＴ１００４において、制御部が、モデル別閾値は設定済であると判定した場合（ステップＳＴ１００４の“ＹＥＳ”の場合）、図１０のフローチャートの動作は、ステップＳＴ１００６に進む。
ステップＳＴ１００６にて、制御部は、異常状態判定用閾値が設定済であるか否かを判定する。具体的には、制御部は、推定可能フラグが「１」であるか否かを判定する（ステップＳＴ１００６）。
ステップＳＴ１００６において、制御部は、異常状態判定用閾値が設定済ではないと判定した場合、言い換えれば、推定可能フラグが「０」であると判定した場合（ステップＳＴ１００６の“ＮＯ”の場合）、図１０のフローチャートの動作は、ステップＳＴ１００７に進む。なお、後述の図１２で説明する動作を行う前は、異常状態判定用閾値は設定されていないため、制御部は、異常状態判定用閾値は設定済ではないと判定する。後述の図１２で説明する動作を行った後は、異常状態判定用閾値は設定済であるため、制御部は、異常状態判定用閾値は設定済であると判定する。
そして、閾値設定部１４ａは、「異常状態判定用閾値設定処理」を行う（ステップＳＴ１００７）。
ステップＳＴ１００４において、制御部が、モデル別閾値は設定済であると判定した場合（ステップＳＴ１００４の“ＹＥＳ”の場合）、図１０のフローチャートの動作は、ステップＳＴ１００６に進む。
ステップＳＴ１００６にて、制御部は、異常状態判定用閾値が設定済であるか否かを判定する。具体的には、制御部は、推定可能フラグが「１」であるか否かを判定する（ステップＳＴ１００６）。
ステップＳＴ１００６において、制御部は、異常状態判定用閾値が設定済ではないと判定した場合、言い換えれば、推定可能フラグが「０」であると判定した場合（ステップＳＴ１００６の“ＮＯ”の場合）、図１０のフローチャートの動作は、ステップＳＴ１００７に進む。なお、後述の図１２で説明する動作を行う前は、異常状態判定用閾値は設定されていないため、制御部は、異常状態判定用閾値は設定済ではないと判定する。後述の図１２で説明する動作を行った後は、異常状態判定用閾値は設定済であるため、制御部は、異常状態判定用閾値は設定済であると判定する。
そして、閾値設定部１４ａは、「異常状態判定用閾値設定処理」を行う（ステップＳＴ１００７）。
【0078】
ここで、図１２は、図１０のステップＳＴ１００７の具体的な動作を説明するためのフローチャートである。
閾値設定部１４ａのモデル別判定部１４２は、第２閾値設定用時間以内であるか否かを判定する（ステップＳＴ１２０１）。
ステップＳＴ１２０１にて、第２閾値設定用時間以内であると判定した場合（ステップＳＴ１２０１の“ＹＥＳ”の場合）、モデル別判定部１４２は、まず、直近の図１０のステップＳＴ１００３にて特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して、異常状態スコアを取得する。モデル別判定部１４２は、上述した、異常状態スコアの取得を、全ての機械学習モデル（１～Ｎ）１７に対して行い、各機械学習モデル（１～Ｎ）１７に対応する、異常状態スコアを取得する。モデル別判定部１４２は、第２スコア情報を生成し、当該第２スコア情報を、記憶部に記憶させる（ステップＳＴ１２０２）。その後、図１２のフローチャートの動作は、図１０のステップＳＴ１００１に戻り、当該ステップＴ１００１の動作を行うと、再び、当該ステップＳＴ１００１以降の動作に進む。以降、第２閾値設定用時間が経過する（ステップＳＴ１２０１の“ＮＯ”の場合）まで、モデル別判定部１４２は、当該ステップＳＴ１２０２の動作を行うことになる。その結果、モデル別判定部１４２が第２閾値設定用時間以内に生成した第２スコア情報が、記憶部に記憶される。
閾値設定部１４ａのモデル別判定部１４２は、第２閾値設定用時間以内であるか否かを判定する（ステップＳＴ１２０１）。
ステップＳＴ１２０１にて、第２閾値設定用時間以内であると判定した場合（ステップＳＴ１２０１の“ＹＥＳ”の場合）、モデル別判定部１４２は、まず、直近の図１０のステップＳＴ１００３にて特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して、異常状態スコアを取得する。モデル別判定部１４２は、上述した、異常状態スコアの取得を、全ての機械学習モデル（１～Ｎ）１７に対して行い、各機械学習モデル（１～Ｎ）１７に対応する、異常状態スコアを取得する。モデル別判定部１４２は、第２スコア情報を生成し、当該第２スコア情報を、記憶部に記憶させる（ステップＳＴ１２０２）。その後、図１２のフローチャートの動作は、図１０のステップＳＴ１００１に戻り、当該ステップＴ１００１の動作を行うと、再び、当該ステップＳＴ１００１以降の動作に進む。以降、第２閾値設定用時間が経過する（ステップＳＴ１２０１の“ＮＯ”の場合）まで、モデル別判定部１４２は、当該ステップＳＴ１２０２の動作を行うことになる。その結果、モデル別判定部１４２が第２閾値設定用時間以内に生成した第２スコア情報が、記憶部に記憶される。
【0079】
ステップＳＴ１２０１にて、モデル別判定部１４２は、第２閾値設定用時間以内ではないと判定した場合、すなわち、第２閾値設定用時間が経過すると（ステップＳＴ１２０１の“ＮＯ”の場合）、モデル別判定部１４２は、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７について、第２閾値設定用時間に記憶部に記憶させた、当該ある機械学習モデル（１～Ｎ）１７の１つ以上の異常状態スコアのいずれかが、図１１のステップＳＴ１１０３にてモデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かを判定する。
ある機械学習モデル（１～Ｎ）１７が、当該ある機械学習モデル（１～Ｎ）１７から得られた１つ以上の異常状態スコアのうち１つでもモデル別閾値より大きい機械学習モデル（１～Ｎ）１７である場合、モデル別判定部１４２は、当該ある機械学習モデル（１～Ｎ）１７を、カウント対象モデルに該当する機械学習モデル（１～Ｎ）１７と判定する（ステップＳＴ１２０３）。モデル別判定部１４２は、上述した、カウント対象モデルに該当するか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。
モデル別判定部１４２は、モデル別カウント要否判定結果情報を生成し、当該モデル別カウント要否判定結果情報を、閾値設定部１４ａに出力する。
ある機械学習モデル（１～Ｎ）１７が、当該ある機械学習モデル（１～Ｎ）１７から得られた１つ以上の異常状態スコアのうち１つでもモデル別閾値より大きい機械学習モデル（１～Ｎ）１７である場合、モデル別判定部１４２は、当該ある機械学習モデル（１～Ｎ）１７を、カウント対象モデルに該当する機械学習モデル（１～Ｎ）１７と判定する（ステップＳＴ１２０３）。モデル別判定部１４２は、上述した、カウント対象モデルに該当するか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。
モデル別判定部１４２は、モデル別カウント要否判定結果情報を生成し、当該モデル別カウント要否判定結果情報を、閾値設定部１４ａに出力する。
【0080】
閾値設定部１４ａは、ステップＳＴ１２０３にてモデル別判定部１４２から出力されたモデル別カウント要否判定結果情報に基づき、カウント対象モデルの数を、異常状態判定用閾値に設定する（ステップＳＴ１２０４）。
閾値設定部１４ａは、設定した異常状態判定用閾値を、認証部１２から出力された個人識別情報と紐づけて記憶部に記憶させるとともに、推定可能フラグを「１」とする。その後、図１２のフローチャートの動作は、図１０のステップＳＴ１００１に戻り、当該ステップＴ１００１の動作を行うと、再び、当該ステップＳＴ１００１以降の動作に進む。
閾値設定部１４ａは、設定した異常状態判定用閾値を、認証部１２から出力された個人識別情報と紐づけて記憶部に記憶させるとともに、推定可能フラグを「１」とする。その後、図１２のフローチャートの動作は、図１０のステップＳＴ１００１に戻り、当該ステップＴ１００１の動作を行うと、再び、当該ステップＳＴ１００１以降の動作に進む。
【0081】
図１０のフローチャートの説明に戻る。
ステップＳＴ１００６において、制御部は、異常状態判定用閾値が設定済であると判定した場合、言い換えれば、推定可能フラグが「１」であると判定した場合（ステップＳＴ１００６の“ＹＥＳ”の場合）、図１０のフローチャートの動作は、ステップＳＴ１００８に進む。
そして、推定部１５ａは、ステップＳＴ１００３にて特徴量算出部１３が算出した乗員に関する特徴量を各機械学習モデル（１～Ｎ）１７に入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う（ステップＳＴ１００８）。
ステップＳＴ１００６において、制御部は、異常状態判定用閾値が設定済であると判定した場合、言い換えれば、推定可能フラグが「１」であると判定した場合（ステップＳＴ１００６の“ＹＥＳ”の場合）、図１０のフローチャートの動作は、ステップＳＴ１００８に進む。
そして、推定部１５ａは、ステップＳＴ１００３にて特徴量算出部１３が算出した乗員に関する特徴量を各機械学習モデル（１～Ｎ）１７に入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う（ステップＳＴ１００８）。
【0082】
ここで、図１３は、図１０のステップＳＴ１００８の具体的な動作を説明するためのフローチャートである。
推定部１５ａのモデル数算出部１５１は、まず、直近の図１０のステップＳＴ１００３にて特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して異常状態スコアを取得する。そして、モデル数算出部１５１は、取得した異常状態スコアが、図１１のステップＳＴ１１０３にてモデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かを判定する。
モデル数算出部１５１は、上述した、異常状態スコアがモデル別閾値より大きいか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。そして、モデル数算出部１５１は、異常判定用モデル数を算出する（ステップＳＴ１３０１）。
モデル数算出部１５１は、算出した異常判定用モデル数を、推定部１５ａに出力する。
推定部１５ａのモデル数算出部１５１は、まず、直近の図１０のステップＳＴ１００３にて特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して異常状態スコアを取得する。そして、モデル数算出部１５１は、取得した異常状態スコアが、図１１のステップＳＴ１１０３にてモデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かを判定する。
モデル数算出部１５１は、上述した、異常状態スコアがモデル別閾値より大きいか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。そして、モデル数算出部１５１は、異常判定用モデル数を算出する（ステップＳＴ１３０１）。
モデル数算出部１５１は、算出した異常判定用モデル数を、推定部１５ａに出力する。
【0083】
推定部１５ａは、ステップＳＴ１３０１にてモデル数算出部１５１が算出した異常判定用モデル数と、図１２のステップＳＴ１２０４にて閾値設定部１４ａが設定した異常状態判定用閾値とを比較する（ステップＳＴ１３０２）。
ステップＳＴ１３０２にて、異常判定用モデル数が異常状態判定用閾値より大きい場合（ステップＳＴ１３０２の“ＹＥＳ”の場合）、推定部１５ａは、乗員は異常状態であると推定する（ステップＳＴ１３０３）。
一方、ステップＳＴ１３０２にて、異常判定用モデル数が異常状態判定用閾値以下である場合（ステップＳＴ１３０２の“ＮＯ”の場合）、推定部１５ａは、乗員は正常状態であると推定する（ステップＳＴ１３０４）。
ステップＳＴ１３０２にて、異常判定用モデル数が異常状態判定用閾値より大きい場合（ステップＳＴ１３０２の“ＹＥＳ”の場合）、推定部１５ａは、乗員は異常状態であると推定する（ステップＳＴ１３０３）。
一方、ステップＳＴ１３０２にて、異常判定用モデル数が異常状態判定用閾値以下である場合（ステップＳＴ１３０２の“ＮＯ”の場合）、推定部１５ａは、乗員は正常状態であると推定する（ステップＳＴ１３０４）。
【0084】
なお、以上の動作説明では、「異常状態判定用閾値設定処理」において、閾値設定部１４ａは、図１２のフローチャートで説明したような動作を行い、異常状態判定用閾値を設定するものとしたが、これは一例に過ぎない。閾値設定部１４ａは、例えば、以下に説明するような動作を行って、異常状態判定用閾値を設定するようにしてもよい。
閾値設定部１４ａのモデル別判定部１４２は、第２閾値設定用時間以内である場合に、直近の図１０のステップＳＴ１００３にて特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して異常状態スコアを取得する。続けて、モデル別判定部１４２は、取得した異常状態スコアが、図１１のステップＳＴ１１０３にてモデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かによって、当該ある機械学習モデル（１～Ｎ）１７がカウント対象モデルに該当するか否かを判定する。モデル別判定部１４２は、当該ある機械学習モデル（１～Ｎ）１７から得られた異常状態スコアが、モデル別閾値設定部１４１が設定したモデル別閾値より大きい場合、当該ある機械学習モデル（１～Ｎ）１７は、カウント対象モデルに該当すると判定する。
モデル別判定部１４２は、上述した、異常状態スコアの取得、および、カウント対象モデルに該当するか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。そして、モデル別判定部１４２は、全ての機械学習モデル（１～Ｎ）１７に対して、異常状態スコアの取得、および、カウント対象モデルに該当するか否かの判定、を行った後、全ての機械学習モデル（１～Ｎ）１７のうち、カウント対象モデルに該当する機械学習モデル（１～Ｎ）１７の数を算出する。モデル別判定部１４２は、算出したカウント対象モデルの数を、例えば、当該数を算出した時間と紐づけて記憶部に記憶させる。
モデル別判定部１４２は、以上の動作を、第２閾値設定用時間、特徴量算出部１３が特徴量を算出する都度、行う。
第２閾値設定用時間を経過すると、閾値設定部１４ａは、第２閾値設定用時間以内にモデル別判定部１４２が算出したカウント対象モデルの数のうち、最大値を、異常状態判定用閾値に設定する。このとき、閾値設定部１４ａは、第２閾値設定用時間以内に算出されたカウント対象モデルの数の最大値にバッファを持たせて、異常状態判定用閾値を設定してもよい。具体的には、閾値設定部１４ａは、第２閾値設定用時間以内に算出されたカウント対象モデルの数の最大値＋αを、異常状態判定用閾値に設定してもよい。αは、０より大きい値とする。
閾値設定部１４ａのモデル別判定部１４２は、第２閾値設定用時間以内である場合に、直近の図１０のステップＳＴ１００３にて特徴量算出部１３が算出した特徴量を、複数の機械学習モデル（１～Ｎ）１７のうちのある機械学習モデル（１～Ｎ）１７に入力して異常状態スコアを取得する。続けて、モデル別判定部１４２は、取得した異常状態スコアが、図１１のステップＳＴ１１０３にてモデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かによって、当該ある機械学習モデル（１～Ｎ）１７がカウント対象モデルに該当するか否かを判定する。モデル別判定部１４２は、当該ある機械学習モデル（１～Ｎ）１７から得られた異常状態スコアが、モデル別閾値設定部１４１が設定したモデル別閾値より大きい場合、当該ある機械学習モデル（１～Ｎ）１７は、カウント対象モデルに該当すると判定する。
モデル別判定部１４２は、上述した、異常状態スコアの取得、および、カウント対象モデルに該当するか否かの判定を、全ての機械学習モデル（１～Ｎ）１７に対して行う。そして、モデル別判定部１４２は、全ての機械学習モデル（１～Ｎ）１７に対して、異常状態スコアの取得、および、カウント対象モデルに該当するか否かの判定、を行った後、全ての機械学習モデル（１～Ｎ）１７のうち、カウント対象モデルに該当する機械学習モデル（１～Ｎ）１７の数を算出する。モデル別判定部１４２は、算出したカウント対象モデルの数を、例えば、当該数を算出した時間と紐づけて記憶部に記憶させる。
モデル別判定部１４２は、以上の動作を、第２閾値設定用時間、特徴量算出部１３が特徴量を算出する都度、行う。
第２閾値設定用時間を経過すると、閾値設定部１４ａは、第２閾値設定用時間以内にモデル別判定部１４２が算出したカウント対象モデルの数のうち、最大値を、異常状態判定用閾値に設定する。このとき、閾値設定部１４ａは、第２閾値設定用時間以内に算出されたカウント対象モデルの数の最大値にバッファを持たせて、異常状態判定用閾値を設定してもよい。具体的には、閾値設定部１４ａは、第２閾値設定用時間以内に算出されたカウント対象モデルの数の最大値＋αを、異常状態判定用閾値に設定してもよい。αは、０より大きい値とする。
【0085】
このように、実施の形態２に係る異常状態推定装置１ａは、第１閾値設定用時間、乗員は正常状態であると仮定し、機械学習モデル（１～Ｎ）１７毎に、当該第１閾値設定用時間に乗員に関する特徴量を入力して得られた異常状態スコアの最大値に基づき、モデル別閾値を設定する。
さらに、異常状態推定装置１ａは、モデル別閾値を設定後、第２閾値設定用時間、乗員は正常状態であると仮定し、機械学習モデル（１～Ｎ）１７毎に、当該第２閾値設定用時間に乗員に関する特徴量を入力して得られた異常状態スコアとモデル別閾値とを比較して、機械学習モデル（１～Ｎ）１７のうち、カウント対象モデルに該当する機械学習モデル（１～Ｎ）１７の数を算出する。そして、異常状態推定装置１ａは、算出したカウント対象モデルの数を、異常状態判定用閾値に設定する。
さらに、異常状態推定装置１ａは、モデル別閾値を設定後、第２閾値設定用時間、乗員は正常状態であると仮定し、機械学習モデル（１～Ｎ）１７毎に、当該第２閾値設定用時間に乗員に関する特徴量を入力して得られた異常状態スコアとモデル別閾値とを比較して、機械学習モデル（１～Ｎ）１７のうち、カウント対象モデルに該当する機械学習モデル（１～Ｎ）１７の数を算出する。そして、異常状態推定装置１ａは、算出したカウント対象モデルの数を、異常状態判定用閾値に設定する。
【0086】
異常状態推定装置１ａは、異常状態判定用閾値を設定後、機械学習モデル（１～Ｎ）１７毎に乗員に関する特徴量を入力して、機械学習モデル（１～Ｎ）１７毎の異常状態スコアを取得する。異常状態推定装置１ａは、各機械学習モデル（１～Ｎ）１７について、得られた異常状態スコアがモデル別閾値より大きい異常判定用モデルであるか否かを判定する。そして、異常状態推定装置１ａは、異常判定用モデル数を算出する。
異常状態推定装置１ａは、異常判定用モデル数を算出すると、当該異常判定用モデル数と異常状態判定用閾値とを比較し、異常判定用モデル数が異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。
異常状態推定装置１ａは、異常判定用モデル数を算出すると、当該異常判定用モデル数と異常状態判定用閾値とを比較し、異常判定用モデル数が異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。
【0087】
異常状態推定装置１ａは、固定的な閾値を用いて、乗員が異常状態であるか否かを推定するのではなく、乗員毎に異常状態判定用閾値を設定し、当該異常状態判定用閾値を用いて、乗員が異常状態であるか否かを推定する。そのため、異常状態推定装置１ａは、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
また、異常状態推定装置１ａは、様々な属性を有する複数の乗員の属性に応じて予め個別に生成された複数の機械学習モデル（１～Ｎ）１７に基づいて、異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う。そのため、異常状態推定装置１ａは、様々な属性を有する複数の乗員に関する情報から生成された１つの機械学習モデルを用いて異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う場合に比べて、乗員の異常状態の推定精度を向上させることができる。
また、異常状態推定装置１ａは、様々な属性を有する複数の乗員の属性に応じて予め個別に生成された複数の機械学習モデル（１～Ｎ）１７に基づいて、異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う。そのため、異常状態推定装置１ａは、様々な属性を有する複数の乗員に関する情報から生成された１つの機械学習モデルを用いて異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う場合に比べて、乗員の異常状態の推定精度を向上させることができる。
【0088】
なお、実施の形態２に係る異常状態推定装置１ａにおいても、実施の形態１に係る異常状態推定装置１同様、推定部１５ａは、例えば、異常状態推定時間において、乗員が異常状態であると推定された割合が閾値以上であれば、当該乗員は異常状態であると推定し、以降、車両の運転が終了されるまで、乗員の異常状態の推定を行わないようにしてもよい。
【0089】
また、以上の実施の形態２では、異常状態推定装置１ａにおいて、機械学習モデル（１～Ｎ）１７に入力する情報は、特徴量算出部１３が算出した、乗員に関する特徴量としたが、これは一例に過ぎない。例えば、異常状態推定装置１ａにおいて、機械学習モデル（１～Ｎ）１７に入力する情報は、情報取得部１１が取得した、乗員に関する情報としてもよい。この場合、異常状態推定装置１ａは、特徴量算出部１３を備えない構成とすることができる。
ただし、異常状態推定装置１ａは、特徴量算出部１３を備え、異常状態の推定と相関が大きい、乗員に関する特徴量を機械学習モデル（１～Ｎ）１７に入力するようにしたほうが、乗員に関する情報を直接、機械学習モデル（１～Ｎ）１７に入力する場合よりも、乗員の異常状態を推定する際の、推定精度を向上させることができる。
なお、異常状態推定装置１ａにおいて、機械学習モデル（１～Ｎ）１７に入力する情報を乗員に関する情報とする場合、学習装置は、乗員に関する情報を教師データとする。
ただし、異常状態推定装置１ａは、特徴量算出部１３を備え、異常状態の推定と相関が大きい、乗員に関する特徴量を機械学習モデル（１～Ｎ）１７に入力するようにしたほうが、乗員に関する情報を直接、機械学習モデル（１～Ｎ）１７に入力する場合よりも、乗員の異常状態を推定する際の、推定精度を向上させることができる。
なお、異常状態推定装置１ａにおいて、機械学習モデル（１～Ｎ）１７に入力する情報を乗員に関する情報とする場合、学習装置は、乗員に関する情報を教師データとする。
【0090】
以上のように、実施の形態２によれば、車両の乗員に関する情報と、機械学習モデル（１～Ｎ）１７とに基づいて、乗員の異常状態を推定する異常状態推定装置１ａにおいて、乗員に関する情報を取得する情報取得部１１と、第１閾値設定用時間以内に情報取得部１１が取得した乗員に関する情報を機械学習モデル（１～Ｎ）１７に入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する閾値設定部１４ａを備えるように構成した。
そのため、異常状態推定装置１ａは、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
そのため、異常状態推定装置１ａは、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
【0091】
特に、実施の形態２では、機械学習モデル（１～Ｎ）１７が複数存在し、異常状態推定装置１ａは、複数の機械学習モデル（１～Ｎ）毎に、第１閾値設定用時間以内に情報取得部１１が取得した乗員に関する情報を入力して得られた異常状態スコアに基づきモデル別閾値を設定するモデル別閾値設定部１４１と、モデル別閾値設定部１４１がモデル別閾値を設定後、複数の機械学習モデル（１～Ｎ）１７毎に、第２閾値設定用時間以内に情報取得部が取得した乗員に関する情報を入力して得られた異常状態スコアはモデル別閾値設定部１４１が設定したモデル別閾値より大きいか否かを判定するモデル別判定部１４２を備え、閾値設定部１４ａは、モデル別判定部１４２が、異常状態スコアはモデル別閾値より大きいと判定した機械学習モデル（１～Ｎ）１７の数を、異常状態判定用閾値に設定するようにした。
これにより、異常状態推定装置１ａは、様々な属性を有する複数の乗員に関する情報から生成された１つの機械学習モデルを用いて異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う場合に比べて、乗員の異常状態の推定精度を向上させることができる。
これにより、異常状態推定装置１ａは、様々な属性を有する複数の乗員に関する情報から生成された１つの機械学習モデルを用いて異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う場合に比べて、乗員の異常状態の推定精度を向上させることができる。
【0092】
実施の形態３．
実施の形態２では、機械学習モデル（１～Ｎ）１７が、予め、複数の乗員に関する情報に基づき複数、生成されているものとした。なお、機械学習モデル（１～Ｎ）１７は、様々な属性を有する、複数の乗員に関する情報に基づいて生成される。
そして、異常状態推定装置１ａは、生成されている複数の機械学習モデル（１～Ｎ）１７全てを用いて、異常状態判定用閾値を設定し、乗員の異常状態を推定するものとした。
ここで、乗員の異常状態は、当該乗員が有する属性によって、傾向が異なる可能性がある。例えば、年配層に属する乗員は、異常状態になると生体特徴量に差が出やすい場合があるのに対し、若年層に属する乗員は、異常状態になると顔特徴量に差が出やすい場合がある。その結果、例えば、年配層に属する乗員と若年層に属する乗員とでは、異常状態の傾向が異なる可能性がある。また、例えば、男性と女性とでも、異常状態の傾向が異なる可能性がある。
そこで、実施の形態３では、異常状態推定装置１ｂが、複数の機械学習モデル（１～Ｎ）１７のうち、異常状態を推定する対象となる乗員が有する属性に関連する、１つ以上の機械学習モデル（以下「関連機械学習モデル」という。）を選択して、選択した、１つ以上の関連機械学習モデルを用いて、異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う実施の形態について説明する。
実施の形態２では、機械学習モデル（１～Ｎ）１７が、予め、複数の乗員に関する情報に基づき複数、生成されているものとした。なお、機械学習モデル（１～Ｎ）１７は、様々な属性を有する、複数の乗員に関する情報に基づいて生成される。
そして、異常状態推定装置１ａは、生成されている複数の機械学習モデル（１～Ｎ）１７全てを用いて、異常状態判定用閾値を設定し、乗員の異常状態を推定するものとした。
ここで、乗員の異常状態は、当該乗員が有する属性によって、傾向が異なる可能性がある。例えば、年配層に属する乗員は、異常状態になると生体特徴量に差が出やすい場合があるのに対し、若年層に属する乗員は、異常状態になると顔特徴量に差が出やすい場合がある。その結果、例えば、年配層に属する乗員と若年層に属する乗員とでは、異常状態の傾向が異なる可能性がある。また、例えば、男性と女性とでも、異常状態の傾向が異なる可能性がある。
そこで、実施の形態３では、異常状態推定装置１ｂが、複数の機械学習モデル（１～Ｎ）１７のうち、異常状態を推定する対象となる乗員が有する属性に関連する、１つ以上の機械学習モデル（以下「関連機械学習モデル」という。）を選択して、選択した、１つ以上の関連機械学習モデルを用いて、異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う実施の形態について説明する。
【0093】
実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａ同様、車両に搭載されることを想定している。
図１４は、実施の形態３に係る異常状態推定装置１ｂの構成例を示す図である。
実施の形態３に係る異常状態推定装置１ｂの構成例について、実施の形態２にて図８を用いて説明した異常状態推定装置１ａと同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａとは、認証部１２ｂが、属性情報取得部１２１を備える点が異なる。
また、実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａとは、モデル選択部１８を備える点が異なる。
また、実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａとは、閾値設定部１４ｂが、モデル別閾値設定部１４１およびモデル別判定部１４２に代えて、関連モデル別閾値設定部１４３および関連モデル別判定部１４４を備える点が異なる。
また、実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａとは、推定部１５ｂが、モデル数算出部１５１に代えて、関連モデル数算出部１５２を備える点が異なる。
図１４は、実施の形態３に係る異常状態推定装置１ｂの構成例を示す図である。
実施の形態３に係る異常状態推定装置１ｂの構成例について、実施の形態２にて図８を用いて説明した異常状態推定装置１ａと同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａとは、認証部１２ｂが、属性情報取得部１２１を備える点が異なる。
また、実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａとは、モデル選択部１８を備える点が異なる。
また、実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａとは、閾値設定部１４ｂが、モデル別閾値設定部１４１およびモデル別判定部１４２に代えて、関連モデル別閾値設定部１４３および関連モデル別判定部１４４を備える点が異なる。
また、実施の形態３に係る異常状態推定装置１ｂは、実施の形態２に係る異常状態推定装置１ａとは、推定部１５ｂが、モデル数算出部１５１に代えて、関連モデル数算出部１５２を備える点が異なる。
【0094】
実施の形態３においても、実施の形態２同様、予め、複数の機械学習モデル（１～Ｎ）１７が生成されているものとする。
複数の機械学習モデル（１～Ｎ）１７は、実施の形態２同様、予め、学習装置によって、生成されている（図９参照）。ただし、実施の形態３では、学習装置は、乗員の属性に関する属性情報を取得し、生成した機械学習モデル（１～Ｎ）１７に、当該属性情報を付与するものとする。
複数の機械学習モデル（１～Ｎ）１７は、実施の形態２同様、予め、学習装置によって、生成されている（図９参照）。ただし、実施の形態３では、学習装置は、乗員の属性に関する属性情報を取得し、生成した機械学習モデル（１～Ｎ）１７に、当該属性情報を付与するものとする。
【0095】
認証部１２ｂの属性情報取得部１２１は、乗員の属性に関する属性情報を取得する。乗員の属性とは、例えば、性別または年齢である。
認証部１２ｂは、乗員個人の認証を行い、個人識別情報を取得する。認証部１２ｂが個人識別情報を取得する具体的な方法は、実施の形態１において説明した、認証部１２が個人識別情報を取得する具体的な方法と同様であるため、重複した説明を省略する。
実施の形態３では、認証部１２ｂが個人識別情報を取得する際、認証部１２ｂにおいて、属性情報取得部１２１が、乗員の属性に関する属性情報を取得する。
認証部１２ｂは、乗員個人の認証を行い、個人識別情報を取得する。認証部１２ｂが個人識別情報を取得する具体的な方法は、実施の形態１において説明した、認証部１２が個人識別情報を取得する具体的な方法と同様であるため、重複した説明を省略する。
実施の形態３では、認証部１２ｂが個人識別情報を取得する際、認証部１２ｂにおいて、属性情報取得部１２１が、乗員の属性に関する属性情報を取得する。
【0096】
具体的には、属性情報取得部１２１は、個人認証用ＤＢ１６に記憶されている、個人特定用情報から、乗員の属性情報を取得する。なお、実施の形態３では、例えば、個人特定用情報には、属性情報が設定されているものとする。これは一例に過ぎず、例えば、属性情報取得部１２１は、入力装置（図示省略）から入力された、乗員の属性情報を受け付け可能としてもよい。具体的には、例えば、乗員が、車両に搭載されているナビゲーション装置（図示省略）、または、乗員が携帯している携帯端末を入力装置として、自身の属性情報を入力する。属性情報取得部１２１は、乗員が入力した属性情報を受け付けるようにしてもよい。
認証部１２ｂは、乗員個人を特定できた場合、取得した個人識別情報、および、乗員の属性情報を、閾値設定部１４ｂ、推定部１５ｂ、および、モデル選択部１８に出力する。
認証部１２ｂは、乗員個人を特定できた場合、取得した個人識別情報、および、乗員の属性情報を、閾値設定部１４ｂ、推定部１５ｂ、および、モデル選択部１８に出力する。
【0097】
モデル選択部１８は、認証部１２ｂの属性情報取得部１２１が取得した属性情報に基づき、複数の機械学習モデル（１～Ｎ）１７のうち、乗員の属性に関連する、１つ以上の関連機械学習モデルを選択する。
具体的には、モデル選択部１８は、属性情報取得部１２１が取得した属性情報と、複数の機械学習モデル（１～Ｎ）１７に付与されている属性情報とを比較し、１つ以上の関連機械学習モデルを選択する。モデル選択部１８は、予め決められたモデル選択ルールに従って、１つ以上の関連機械学習モデルを選択する。
具体的には、モデル選択部１８は、属性情報取得部１２１が取得した属性情報と、複数の機械学習モデル（１～Ｎ）１７に付与されている属性情報とを比較し、１つ以上の関連機械学習モデルを選択する。モデル選択部１８は、予め決められたモデル選択ルールに従って、１つ以上の関連機械学習モデルを選択する。
【0098】
例えば、属性情報取得部１２１から取得した属性情報が、乗員の年齢および性別を示す情報であり、当該乗員が６０歳の男性であるとする。一方、機械学習モデル（１～Ｎ）１７に付与されている属性情報は、年齢および性別であるとする。そして、モデル選択ルールには、「乗員と同じ年代および性別であること」が設定されているとする。
この場合、モデル選択部１８は、６０代男性を示す属性情報が付与されている機械学習モデル（１～Ｎ）１７を選択する。
また、例えば、属性情報取得部１２１から取得した属性情報が生年月日であるとする。一方、機械学習モデル（１～Ｎ）１７に付与されている属性情報は、年代であるとする。そして、モデル選択ルールには、「乗員と同じ年代および性別であること」が設定されているとする。
この場合、モデル選択部１８は、例えば、生年月日から乗員の年齢を算出し、算出した年齢から、乗員の属性に関連する機械学習モデル（１～Ｎ）１７を選択するようにすることもできる。
この場合、モデル選択部１８は、６０代男性を示す属性情報が付与されている機械学習モデル（１～Ｎ）１７を選択する。
また、例えば、属性情報取得部１２１から取得した属性情報が生年月日であるとする。一方、機械学習モデル（１～Ｎ）１７に付与されている属性情報は、年代であるとする。そして、モデル選択ルールには、「乗員と同じ年代および性別であること」が設定されているとする。
この場合、モデル選択部１８は、例えば、生年月日から乗員の年齢を算出し、算出した年齢から、乗員の属性に関連する機械学習モデル（１～Ｎ）１７を選択するようにすることもできる。
【0099】
モデル選択部１８は、選択した関連機械学習モデルの情報を、閾値設定部１４ｂおよび推定部１５ｂに出力する。
モデル選択部１８が選択した関連機械学習モデルは、閾値設定部１４ｂにおける異常状態判定用閾値の設定、および、推定部１５ｂにおける異常状態の推定において、用いられる。
モデル選択部１８は、上述のとおり、機械学習モデル（１～Ｎ）１７から、１つ以上の関連機械学習モデルを選択する。しかし、モデル選択部１８が選択する関連機械学習モデルの数が少なすぎると、閾値設定部１４ｂは適切に異常状態判定用閾値を設定できない可能性がある。その結果、推定部１５ｂは、異常状態の推定を適切に行えない可能性がある。よって、モデル選択部１８は、１００個以上等、予め設定された、ある程度の数の関連機械学習モデルを選択することが好ましい。
モデル選択部１８が選択した関連機械学習モデルは、閾値設定部１４ｂにおける異常状態判定用閾値の設定、および、推定部１５ｂにおける異常状態の推定において、用いられる。
モデル選択部１８は、上述のとおり、機械学習モデル（１～Ｎ）１７から、１つ以上の関連機械学習モデルを選択する。しかし、モデル選択部１８が選択する関連機械学習モデルの数が少なすぎると、閾値設定部１４ｂは適切に異常状態判定用閾値を設定できない可能性がある。その結果、推定部１５ｂは、異常状態の推定を適切に行えない可能性がある。よって、モデル選択部１８は、１００個以上等、予め設定された、ある程度の数の関連機械学習モデルを選択することが好ましい。
【0100】
そこで、例えば、モデル選択ルールには、優先順位が付与された、複数のルールが設定されているものとしてもよい。そして、モデル選択部１８は、優先順位の高いルールから順番に、当該ルールに従って、予め設定された数以上となるよう、関連機械学習モデルを選択するようにする。
例えば、モデル選択ルールには、優先順位が第１位のルールとして、「乗員と同じ年代および性別であること」が設定され、優先順位が第２位のルールとして、「「乗員と同じ年代±５歳、かつ、乗員と同じ性別であること」または「乗員と同じ年代であること」」が設定されているものとする。
そして、属性情報取得部１２１から取得した属性情報が、乗員の年齢および性別を示す情報であり、当該乗員が６０歳の男性であるとする。また、機械学習モデル（１～Ｎ）１７に付与されている属性情報は、年齢および性別であるとする。
この場合、まず、モデル選択部１８は、優先順位が第１位のルールに従い、６０代男性を示す属性情報が付与されている機械学習モデル（１～Ｎ）１７を、関連機械学習モデルとして選択する。
例えば、モデル選択ルールには、優先順位が第１位のルールとして、「乗員と同じ年代および性別であること」が設定され、優先順位が第２位のルールとして、「「乗員と同じ年代±５歳、かつ、乗員と同じ性別であること」または「乗員と同じ年代であること」」が設定されているものとする。
そして、属性情報取得部１２１から取得した属性情報が、乗員の年齢および性別を示す情報であり、当該乗員が６０歳の男性であるとする。また、機械学習モデル（１～Ｎ）１７に付与されている属性情報は、年齢および性別であるとする。
この場合、まず、モデル選択部１８は、優先順位が第１位のルールに従い、６０代男性を示す属性情報が付与されている機械学習モデル（１～Ｎ）１７を、関連機械学習モデルとして選択する。
【0101】
ここで、モデル選択部１８は、関連機械学習モデルが、予め設定された数以上であるか否かを判定する。
関連機械学習モデルが、予め設定された数未満である場合、モデル選択部１８は、次に、優先順位が第２位のルールに従い、５５～７５歳男性を示す属性情報が付与されている機械学習モデル（１～Ｎ）１７、および、６０代女性を示す属性情報が付与されている機械学習モデル（１～Ｎ）１７を、関連機械学習モデルとして選択する。
モデル選択部１８は、優先順位が第１位のルールに従い選択した関連機械学習モデル、および、優先順位が第２位のルールに従い選択した関連機械学習モデルの合計が、予め設定された数以上であれば、関連機械学習モデルの選択を終了する。
モデル選択部１８は、優先順位が第１位のルールに従い選択した関連機械学習モデル、および、優先順位が第２位のルールに従い選択した関連機械学習モデルの合計が、予め設定された数未満であれば、引き続き、優先順位が第３位のルールに従い、関連機械学習モデルの選択を行う。
関連機械学習モデルが、予め設定された数未満である場合、モデル選択部１８は、次に、優先順位が第２位のルールに従い、５５～７５歳男性を示す属性情報が付与されている機械学習モデル（１～Ｎ）１７、および、６０代女性を示す属性情報が付与されている機械学習モデル（１～Ｎ）１７を、関連機械学習モデルとして選択する。
モデル選択部１８は、優先順位が第１位のルールに従い選択した関連機械学習モデル、および、優先順位が第２位のルールに従い選択した関連機械学習モデルの合計が、予め設定された数以上であれば、関連機械学習モデルの選択を終了する。
モデル選択部１８は、優先順位が第１位のルールに従い選択した関連機械学習モデル、および、優先順位が第２位のルールに従い選択した関連機械学習モデルの合計が、予め設定された数未満であれば、引き続き、優先順位が第３位のルールに従い、関連機械学習モデルの選択を行う。
【0102】
図１４の説明に戻る。
閾値設定部１４ｂは、実施の形態２に係る異常状態推定装置１ａの閾値設定部１４ａ同様、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
閾値設定部１４ｂは、実施の形態２に係る閾値設定部１４ａとは、異常状態判定用閾値を設定する際に用いる機械学習モデルを、モデル選択部１８が選択した関連機械学習モデルとした点が異なる。
閾値設定部１４ｂは、「関連モデル別閾値設定処理」を行った上で、「異常状態判定用閾値設定処理」を行い、異常状態判定用閾値を設定する。閾値設定部１４ｂは、制御部の制御に基づき、「関連モデル別閾値設定処理」および「異常状態判定用閾値設定処置」を、行う。
具体的には、制御部は、まず、閾値設定部１４ｂに対して、「関連モデル別閾値設定処理」を行わせる。閾値設定部１４ｂは、「関連モデル別閾値設定処理」を行い、関連機械学習モデル毎に、異常状態判定用閾値を設定する際に用いる閾値（以下「関連モデル別閾値」という。）を設定する。当該「関連モデル別閾値設定処理」の詳細については後述する。
制御部は、「関連モデル別閾値設定処理」が行われたと判定すると、閾値設定部１４ｂに対して「異常状態判定用閾値設定処理」を行わせる。閾値設定部１４ｂは、「異常状態判定用閾値設定処理」を行い、異常状態判定用閾値を設定する。当該「異常状態判定用閾値設定処理」の詳細については後述する。
以下、閾値設定部１４ｂによる、「関連モデル別閾値設定処理」、および、「異常状態判定用閾値設定処理」について、詳細に説明する。
閾値設定部１４ｂは、実施の形態２に係る異常状態推定装置１ａの閾値設定部１４ａ同様、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
閾値設定部１４ｂは、実施の形態２に係る閾値設定部１４ａとは、異常状態判定用閾値を設定する際に用いる機械学習モデルを、モデル選択部１８が選択した関連機械学習モデルとした点が異なる。
閾値設定部１４ｂは、「関連モデル別閾値設定処理」を行った上で、「異常状態判定用閾値設定処理」を行い、異常状態判定用閾値を設定する。閾値設定部１４ｂは、制御部の制御に基づき、「関連モデル別閾値設定処理」および「異常状態判定用閾値設定処置」を、行う。
具体的には、制御部は、まず、閾値設定部１４ｂに対して、「関連モデル別閾値設定処理」を行わせる。閾値設定部１４ｂは、「関連モデル別閾値設定処理」を行い、関連機械学習モデル毎に、異常状態判定用閾値を設定する際に用いる閾値（以下「関連モデル別閾値」という。）を設定する。当該「関連モデル別閾値設定処理」の詳細については後述する。
制御部は、「関連モデル別閾値設定処理」が行われたと判定すると、閾値設定部１４ｂに対して「異常状態判定用閾値設定処理」を行わせる。閾値設定部１４ｂは、「異常状態判定用閾値設定処理」を行い、異常状態判定用閾値を設定する。当該「異常状態判定用閾値設定処理」の詳細については後述する。
以下、閾値設定部１４ｂによる、「関連モデル別閾値設定処理」、および、「異常状態判定用閾値設定処理」について、詳細に説明する。
【0103】
まず、閾値設定部１４ｂによる、「関連モデル別閾値設定処理」について説明する。
閾値設定部１４ｂにおいて、当該閾値設定部１４ｂの関連モデル別閾値設定部１４３は、モデル選択部１８が選択した１つ以上の関連機械学習モデル毎に、第１閾値設定用時間以内に特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアに基づき、関連モデル別閾値を設定する。第１閾値設定用時間については、実施の形態１にて説明済みであるため、重複した説明を省略する。但し、実施の形態３における第１閾値設定用時間は、実施の形態１における第１閾値設定用時間と、同じ長さの時間であってもよいし、異なる長さの時間であってもよい。
閾値設定部１４ｂにおいて、当該閾値設定部１４ｂの関連モデル別閾値設定部１４３は、モデル選択部１８が選択した１つ以上の関連機械学習モデル毎に、第１閾値設定用時間以内に特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアに基づき、関連モデル別閾値を設定する。第１閾値設定用時間については、実施の形態１にて説明済みであるため、重複した説明を省略する。但し、実施の形態３における第１閾値設定用時間は、実施の形態１における第１閾値設定用時間と、同じ長さの時間であってもよいし、異なる長さの時間であってもよい。
【0104】
具体的には、関連モデル別閾値設定部１４３は、まず、特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して、異常状態スコアを取得する。関連モデル別閾値設定部１４３は、上述した、異常状態スコアの取得を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、異常状態スコアを取得する。関連モデル別閾値設定部１４３は、取得した、各関連機械学習モデルに対応する異常状態スコア、関連機械学習モデルを特定可能な情報、および、異常状態スコアの取得日時を紐づけた情報（以下「第３スコア情報」という。）、を生成し、当該第３スコア情報を、記憶部に記憶させる。関連モデル別閾値設定部１４３は、当該異常状態スコアの取得および記憶を、第１閾値設定用時間、行う。
【0105】
そして、第１閾値設定用時間が経過すると、関連モデル別閾値設定部１４３は、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルについて、第１閾値設定用時間において記憶部に記憶させた１つ以上の異常状態スコアのうち、最大値を、関連モデル別閾値に設定する。関連モデル別閾値設定部１４３は、第１閾値設定用時間に記憶部に記憶させた、ある関連機械学習モデルの１つ以上の異常状態スコアを、第３スコア情報から特定すればよい。このとき、関連モデル別閾値設定部１４３は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうちの最大値に、バッファを持たせて、関連モデル別閾値を設定してもよい。また、関連モデル別閾値設定部１４３は、第１閾値設定用時間以内に得られた１つ以上の異常状態スコアのうちの最大値を係数倍した値を、関連モデル別閾値に設定してもよい。関連モデル別閾値設定部１４３は、上述した、関連モデル別閾値の設定を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、関連モデル別閾値を設定する。関連モデル別閾値設定部１４３は、設定した、関連機械学習モデル毎の関連モデル別閾値を、関連機械学習モデルを特定可能な情報と紐づけた情報（以下「関連モデル別閾値情報」という。）を生成し、当該関連モデル別閾値情報を記憶部に記憶させる。
関連モデル別閾値設定部１４３が関連モデル別閾値情報を生成し、記憶部に記憶させると、制御部は、関連モデル別閾値設定処理が完了したと判定する。
関連モデル別閾値設定部１４３が関連モデル別閾値情報を生成し、記憶部に記憶させると、制御部は、関連モデル別閾値設定処理が完了したと判定する。
【0106】
次に、閾値設定部１４ｂによる、「異常状態判定用閾値設定処理」について説明する。
閾値設定部１４ｂは、「異常状態判定用閾値設定処理」において、１つ以上の関連機械学習モデル毎に、予め設定された時間（以下「第３閾値設定用時間」という。）以内に特徴量算出部１３が算出した乗員に関する特徴量を入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
実施の形態３において、第３閾値設定用時間は、第１閾値設定用時間同様、乗員の異常状態を推定する前の処理としての異常状態判定用閾値を設定する処理を行うために設定される、乗員が正常状態であると仮定する時間である。第３閾値設定用時間は、第１閾値設定用時間経過後の時間とする。第３閾値設定用時間の長さは、５分間または１０分間等、適宜設定されている。第３閾値設定用時間の長さは、第１閾値設定用時間の長さと同じ長さであってもよい。また、第３閾値設定用時間の長さは、実施の形態２において説明した第２閾値設定用時間の長さと同じ長さであってもよい。
閾値設定部１４ｂは、「異常状態判定用閾値設定処理」において、１つ以上の関連機械学習モデル毎に、予め設定された時間（以下「第３閾値設定用時間」という。）以内に特徴量算出部１３が算出した乗員に関する特徴量を入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する。
実施の形態３において、第３閾値設定用時間は、第１閾値設定用時間同様、乗員の異常状態を推定する前の処理としての異常状態判定用閾値を設定する処理を行うために設定される、乗員が正常状態であると仮定する時間である。第３閾値設定用時間は、第１閾値設定用時間経過後の時間とする。第３閾値設定用時間の長さは、５分間または１０分間等、適宜設定されている。第３閾値設定用時間の長さは、第１閾値設定用時間の長さと同じ長さであってもよい。また、第３閾値設定用時間の長さは、実施の形態２において説明した第２閾値設定用時間の長さと同じ長さであってもよい。
【0107】
まず、閾値設定部１４ｂにおいて、閾値設定部１４ｂの関連モデル別判定部１４４は、１つ以上の関連機械学習モデル毎に、第３閾値設定用時間以内に特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアは、関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かを判定する。なお、関連モデル別判定部１４４は、関連モデル別閾値設定部１４３が記憶部に記憶させた関連モデル別閾値情報から、各関連機械学習モデルに対応する関連モデル別閾値を特定すればよい。
具体的には、関連モデル別判定部１４４は、まず、特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して、異常状態スコアを取得する。関連モデル別判定部１４４は、上述した、異常状態スコアの取得を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、関連異常状態スコアを取得する。関連モデル別判定部１４４は、取得した、各関連機械学習モデルに対応する異常状態スコア、関連機械学習モデルを特定可能な情報、および、異常状態スコアの取得日時を紐づけた情報（以下「第４スコア情報」という。）を生成し、当該第４スコア情報を、記憶部に記憶させる。関連モデル別判定部１４４は、当該異常状態スコアの取得および記憶を、第３閾値設定用時間、行う。
具体的には、関連モデル別判定部１４４は、まず、特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して、異常状態スコアを取得する。関連モデル別判定部１４４は、上述した、異常状態スコアの取得を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、関連異常状態スコアを取得する。関連モデル別判定部１４４は、取得した、各関連機械学習モデルに対応する異常状態スコア、関連機械学習モデルを特定可能な情報、および、異常状態スコアの取得日時を紐づけた情報（以下「第４スコア情報」という。）を生成し、当該第４スコア情報を、記憶部に記憶させる。関連モデル別判定部１４４は、当該異常状態スコアの取得および記憶を、第３閾値設定用時間、行う。
【0108】
そして、第３閾値設定用時間が経過すると、関連モデル別判定部１４４は、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルについて、第３閾値設定用時間に記憶部に記憶させた、当該ある関連機械学習モデルから得られた１つ以上の異常状態スコアのいずれかが、関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きい関連機械学習モデル、に該当するか否かを判定する。以下、実施の形態３では、関連機械学習モデルから得られた１つ以上の異常状態スコアのいずれかが、関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きい関連機械学習モデル、を、「カウント対象モデル」という。
関連モデル別判定部１４４は、第３閾値設定用時間に記憶部に記憶させた、当該ある関連機械学習モデルから得られた１つ以上の異常状態スコアを、第４スコア情報から特定すればよい。
関連モデル別判定部１４４は、ある関連機械学習モデルについて、「カウント対象モデル」に該当するか否かを判定する。具体的には、関連モデル別判定部１４４は、当該ある関連機械学習モデルから得られた１つ以上の異常状態スコアのうち１つでも関連モデル別閾値より大きい場合、当該ある関連機械学習モデルは、「カウント対象モデル」に該当すると判定する。なお、ここでは、関連モデル別判定部１４４は、関連機械学習モデルについて、１つ以上の異常状態スコアのうち、１つでも関連モデル別閾値より大きい場合、当該関連機械学習モデルを、カウント対象モデルに該当すると判定するものとするが、これは一例に過ぎない。関連モデル別判定部１４４は、例えば、関連機械学習モデルについて、１つ以上の関連異常状態スコアのうち、関連モデル別閾値より大きい異常状態スコアが、予め設定された閾値以上ある場合に、当該関連機械学習モデルを、カウント対象モデルに該当すると判定するようにしてもよい。
関連モデル別判定部１４４は、第３閾値設定用時間に記憶部に記憶させた、当該ある関連機械学習モデルから得られた１つ以上の異常状態スコアを、第４スコア情報から特定すればよい。
関連モデル別判定部１４４は、ある関連機械学習モデルについて、「カウント対象モデル」に該当するか否かを判定する。具体的には、関連モデル別判定部１４４は、当該ある関連機械学習モデルから得られた１つ以上の異常状態スコアのうち１つでも関連モデル別閾値より大きい場合、当該ある関連機械学習モデルは、「カウント対象モデル」に該当すると判定する。なお、ここでは、関連モデル別判定部１４４は、関連機械学習モデルについて、１つ以上の異常状態スコアのうち、１つでも関連モデル別閾値より大きい場合、当該関連機械学習モデルを、カウント対象モデルに該当すると判定するものとするが、これは一例に過ぎない。関連モデル別判定部１４４は、例えば、関連機械学習モデルについて、１つ以上の関連異常状態スコアのうち、関連モデル別閾値より大きい異常状態スコアが、予め設定された閾値以上ある場合に、当該関連機械学習モデルを、カウント対象モデルに該当すると判定するようにしてもよい。
【0109】
関連モデル別判定部１４４は、上述した、カウント対象モデルに該当するか否かの判定を、全ての関連機械学習モデルに対して行う。
関連モデル別判定部１４４は、関連機械学習モデル毎に、カウント対象モデルに該当するか否かの判定結果と、関連機械学習モデルを特定可能な情報とを紐づけた情報（以下「関連モデル別カウント要否判定結果情報」という。）を生成し、当該関連モデル別カウント要否判定結果情報を、閾値設定部１４ｂに出力する。
関連モデル別判定部１４４は、関連機械学習モデル毎に、カウント対象モデルに該当するか否かの判定結果と、関連機械学習モデルを特定可能な情報とを紐づけた情報（以下「関連モデル別カウント要否判定結果情報」という。）を生成し、当該関連モデル別カウント要否判定結果情報を、閾値設定部１４ｂに出力する。
【0110】
閾値設定部１４ｂは、関連モデル別判定部１４４から出力された関連モデル別カウント要否判定結果情報に基づき、カウント対象モデルの数を、異常状態判定用閾値に設定する。このとき、閾値設定部１４ｂは、カウント対象モデルの数にバッファを持たせて、異常状態判定用閾値を設定してもよい。具体的には、閾値設定部１４ｂは、カウント対象モデルの数＋αを、異常状態判定用閾値に設定してもよい。αは、０より大きい値とする。
閾値設定部１４ｂは、設定した異常状態判定用閾値を、認証部１２ｂから出力された個人識別情報と紐づけて記憶部に記憶させるとともに、推定可能フラグを「１」とする。
閾値設定部１４ｂは、設定した異常状態判定用閾値を、認証部１２ｂから出力された個人識別情報と紐づけて記憶部に記憶させるとともに、推定可能フラグを「１」とする。
【0111】
実施の形態３において、閾値設定部１４ｂが異常状態判定用閾値を設定する処理を行っている第１閾値設定用時間および第３閾値設定用時間、関連機械学習モデルから異常状態スコアは出力される。しかし、この間、異常状態推定装置１ｂにおいて、当該異常状態スコアに基づく乗員の異常状態の推定は行わないようにする。例えば、異常状態推定装置１ｂは、乗員の異常状態の推定を行うかどうかを、推定可能フラグが「１」か「０」かによって判定する。異常状態推定装置１ｂは、推定可能フラグが「１」の場合、乗員の異常状態の推定を行うと判定する。逆に、推定可能フラグが「０」の場合、異常状態推定装置１ｂは、乗員の異常状態の推定を行わないと判定する。当該推定可能フラグに基づく制御は、制御部が行う。制御部による、推定可能フラグに基づく制御については、実施の形態１にて説明済みであるため、重複した説明を省略する。異常状態推定装置１ｂにおいて、閾値設定部１４ｂは、制御部による、推定可能フラグに基づく制御に従って、「関連モデル別閾値設定処理」および「異常状態判定用閾値設定処理」を行う。制御部は、関連モデル別閾値が設定されていない場合は、閾値設定部１４ｂに対して、「関連モデル別閾値設定処理」を行わせる。制御部は、関連モデル別閾値が設定済であり、かつ、推定可能フラグが「０」の場合は、閾値設定部１４ｂに対して、「異常状態判定用閾値設定処理」を行わせる。なお、「関連モデル別閾値設定処理」は、「異常状態判定用閾値設定処理」よりも前に行われる処理であるため、関連モデル別閾値設定処理の実行時点において、推定可能フラグは、「０」である。
また、異常状態推定装置１ｂにおいて、後述の推定部１５ｂは、制御部による、推定可能フラグに基づく制御に従って、乗員の異常状態を推定する処理を行う。制御部は、推定可能フラグが「１」の場合、推定部１５ｂに対して、乗員の異常状態を推定する処理を行わせる。
また、異常状態推定装置１ｂにおいて、後述の推定部１５ｂは、制御部による、推定可能フラグに基づく制御に従って、乗員の異常状態を推定する処理を行う。制御部は、推定可能フラグが「１」の場合、推定部１５ｂに対して、乗員の異常状態を推定する処理を行わせる。
【0112】
推定部１５ｂは、実施の形態２に係る異常状態推定装置１ａの推定部１５ａ同様、乗員の異常状態の推定を行う。
推定部１５ｂは、実施の形態２に係る推定部１５ａとは、乗員の異常状態を推定する際に用いる機械学習モデルを、モデル選択部１８が選択した、１つ以上の関連機械学習モデルとした点が異なる。
推定部１５ｂは、特徴量算出部１３が算出した乗員に関する特徴量を、モデル選択部１８が選択した、１つ以上の関連機械学習モデルに入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う。
推定部１５ｂは、実施の形態２に係る推定部１５ａとは、乗員の異常状態を推定する際に用いる機械学習モデルを、モデル選択部１８が選択した、１つ以上の関連機械学習モデルとした点が異なる。
推定部１５ｂは、特徴量算出部１３が算出した乗員に関する特徴量を、モデル選択部１８が選択した、１つ以上の関連機械学習モデルに入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う。
【0113】
推定部１５ｂについて、以下、詳細に説明する。
推定部１５ｂにおいて、推定部１５ｂの関連モデル数算出部１５２は、１つ以上の関連機械学習モデルのうち、特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアが、関連モデル別閾値より大きいと判定された、関連機械学習モデルの数（以下「異常判定用関連モデル数」という。）を算出する。
具体的には、関連モデル数算出部１５２は、まず、特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して異常状態スコアを取得する。そして、関連モデル数算出部１５２は、取得した異常状態スコアが、閾値設定部１４ｂの関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かを判定する。なお、関連モデル数算出部１５２は、記憶部に記憶されている関連モデル別閾値情報から、異常状態スコアと比較する、ある関連機械学習モデルに対応する関連モデル別閾値を特定すればよい。
関連モデル数算出部１５２は、上述した、異常状態スコアが関連モデル別閾値より大きいか否かの判定を、全ての関連機械学習モデルに対して行う。そして、関連モデル数算出部１５２は、異常判定用関連モデル数を算出する。
関連モデル数算出部１５２は、算出した異常判定用関連モデル数を、推定部１５ｂに出力する。
推定部１５ｂにおいて、推定部１５ｂの関連モデル数算出部１５２は、１つ以上の関連機械学習モデルのうち、特徴量算出部１３が算出した特徴量を入力して得られた異常状態スコアが、関連モデル別閾値より大きいと判定された、関連機械学習モデルの数（以下「異常判定用関連モデル数」という。）を算出する。
具体的には、関連モデル数算出部１５２は、まず、特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して異常状態スコアを取得する。そして、関連モデル数算出部１５２は、取得した異常状態スコアが、閾値設定部１４ｂの関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かを判定する。なお、関連モデル数算出部１５２は、記憶部に記憶されている関連モデル別閾値情報から、異常状態スコアと比較する、ある関連機械学習モデルに対応する関連モデル別閾値を特定すればよい。
関連モデル数算出部１５２は、上述した、異常状態スコアが関連モデル別閾値より大きいか否かの判定を、全ての関連機械学習モデルに対して行う。そして、関連モデル数算出部１５２は、異常判定用関連モデル数を算出する。
関連モデル数算出部１５２は、算出した異常判定用関連モデル数を、推定部１５ｂに出力する。
【0114】
推定部１５ｂは、関連モデル数算出部１５２が算出した異常判定用関連モデル数が、閾値設定部１４ｂが設定した異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。
具体的には、推定部１５ｂは、関連モデル数算出部１５２が算出した異常判定用関連モデル数と、閾値設定部１４ｂが記憶部に記憶させた、異常状態判定用閾値とを比較する。その際、推定部１５ｂは、認証部１２ｂから出力された個人識別情報を、記憶部にて異常状態判定用閾値と紐づけられている個人識別情報と突き合わせ、一致した個人識別情報に紐づけられている異常状態判定用閾値を、異常判定用関連モデル数と比較する異常状態判定用閾値として、記憶部から取得する。推定部１５ｂは、異常判定用関連モデル数が異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。一方、推定部１５ｂは、異常判定用関連モデル数が異常状態判定用閾値以下である場合、乗員は正常状態であると推定する。
具体的には、推定部１５ｂは、関連モデル数算出部１５２が算出した異常判定用関連モデル数と、閾値設定部１４ｂが記憶部に記憶させた、異常状態判定用閾値とを比較する。その際、推定部１５ｂは、認証部１２ｂから出力された個人識別情報を、記憶部にて異常状態判定用閾値と紐づけられている個人識別情報と突き合わせ、一致した個人識別情報に紐づけられている異常状態判定用閾値を、異常判定用関連モデル数と比較する異常状態判定用閾値として、記憶部から取得する。推定部１５ｂは、異常判定用関連モデル数が異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。一方、推定部１５ｂは、異常判定用関連モデル数が異常状態判定用閾値以下である場合、乗員は正常状態であると推定する。
【0115】
実施の形態３に係る異常状態推定装置１ｂの動作について説明する。
図１５は、実施の形態３に係る異常状態推定装置１ｂの動作について説明するためのフローチャートである。
図１５のステップＳＴ１５０１，ステップＳＴ１５０３の具体的な動作は、実施の形態２にて説明した、図１０のステップＳＴ１００１，ステップＳＴ１００３の具体的な動作と同様であるため、重複した説明を省略する。
ステップＳＴ１５０２において、認証部１２ｂは、乗員個人の認証を行う（ステップＳＴ１５０２）。
認証部１２ｂは、乗員個人が認証できると、個人識別情報を取得する。その際、認証部１２ｂの属性情報取得部１２１は、乗員の属性情報を取得する。
認証部１２ｂは、乗員個人を特定できた場合、取得した個人識別情報、および、乗員の属性情報を、閾値設定部１４ｂ、推定部１５ｂ、および、モデル選択部１８に出力する。
なお、認証部１２ｂが乗員個人を特定できなかった場合、異常状態推定装置１ｂは、図１５のフローチャートの動作を終了する。
図１５は、実施の形態３に係る異常状態推定装置１ｂの動作について説明するためのフローチャートである。
図１５のステップＳＴ１５０１，ステップＳＴ１５０３の具体的な動作は、実施の形態２にて説明した、図１０のステップＳＴ１００１，ステップＳＴ１００３の具体的な動作と同様であるため、重複した説明を省略する。
ステップＳＴ１５０２において、認証部１２ｂは、乗員個人の認証を行う（ステップＳＴ１５０２）。
認証部１２ｂは、乗員個人が認証できると、個人識別情報を取得する。その際、認証部１２ｂの属性情報取得部１２１は、乗員の属性情報を取得する。
認証部１２ｂは、乗員個人を特定できた場合、取得した個人識別情報、および、乗員の属性情報を、閾値設定部１４ｂ、推定部１５ｂ、および、モデル選択部１８に出力する。
なお、認証部１２ｂが乗員個人を特定できなかった場合、異常状態推定装置１ｂは、図１５のフローチャートの動作を終了する。
【0116】
モデル選択部１８は、ステップＳＴ１５０２にて認証部１２ｂの属性情報取得部１２１が取得した属性情報に基づき、複数の機械学習モデル（１～Ｎ）１７のうち、乗員の属性に関連する、１つ以上の関連機械学習モデルを選択する（ステップＳＴ１５０４）。
モデル選択部１８は、選択した、１つ以上の関連機械学習モデルの情報を、閾値設定部１４ｂおよび推定部１５ｂに出力する。
モデル選択部１８は、選択した、１つ以上の関連機械学習モデルの情報を、閾値設定部１４ｂおよび推定部１５ｂに出力する。
【0117】
制御部は、関連モデル別閾値が設定済であるか否かを判定する（ステップＳＴ１５０５）。具体的には、制御部は、記憶部に、全ての関連機械学習モデルに対応する関連モデル別閾値情報が記憶されているか否かを判定する。
ステップＳＴ１５０５にて、関連モデル別閾値が設定済ではないと判定した場合（ステップＳＴ１５０５の“ＮＯ”の場合）、図１５のフローチャートの動作は、ステップＳＴ１５０６に進む。なお、後述の図１６で説明する動作を行う前は、関連モデル別閾値は設定されていないため、制御部は、関連モデル別閾値は設定済ではないと判定する。後述の図１６で説明する動作が行われた後は、関連モデル別閾値は設定されているため、制御部は、関連モデル別閾値は設定済と判定する。
そして、閾値設定部１４ｂは、「関連モデル別閾値設定処理」を行う（ステップＳＴ１５０６）。
ステップＳＴ１５０５にて、関連モデル別閾値が設定済ではないと判定した場合（ステップＳＴ１５０５の“ＮＯ”の場合）、図１５のフローチャートの動作は、ステップＳＴ１５０６に進む。なお、後述の図１６で説明する動作を行う前は、関連モデル別閾値は設定されていないため、制御部は、関連モデル別閾値は設定済ではないと判定する。後述の図１６で説明する動作が行われた後は、関連モデル別閾値は設定されているため、制御部は、関連モデル別閾値は設定済と判定する。
そして、閾値設定部１４ｂは、「関連モデル別閾値設定処理」を行う（ステップＳＴ１５０６）。
【0118】
ここで、図１６は、図１５のステップＳＴ１５０６の具体的な動作を説明するためのフローチャートである。
関連モデル別閾値設定部１４３は、第１閾値設定用時間以内であるか否かを判定する（ステップＳＴ１６０１）。
ステップＳＴ１６０１にて、関連モデル別閾値設定部１４３は、第１閾値設定用時間以内であると判定した場合（ステップＳＴ１６０１の“ＹＥＳ”の場合）、直近の図１５のステップＳＴ１５０３にて特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して、異常状態スコアを取得する。関連モデル別閾値設定部１４３は、上述した、異常状態スコアの取得を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、異常状態スコアを取得する。関連モデル別閾値設定部１４３は、第３スコア情報を生成し、当該第３スコア情報を記憶部に記憶させる（ステップＳＴ１６０２）。その後、図１６のフローチャートの動作は、図１５のステップＳＴ１５０１に戻り、当該ステップＳＴ１５０１の動作を行うと、再び、当該ステップＳＴ１５０１以降の動作に進む。以降、第１閾値設定用時間が経過する（ステップＳＴ１６０１の“ＮＯ”の場合）まで、関連モデル別閾値設定部１４３は、当該ステップＳＴ１６０２の動作を行うことになる。その結果、関連モデル別閾値設定部１４３が第１閾値設定用時間以内に生成した第３スコア情報が、記憶部に記憶される。
関連モデル別閾値設定部１４３は、第１閾値設定用時間以内であるか否かを判定する（ステップＳＴ１６０１）。
ステップＳＴ１６０１にて、関連モデル別閾値設定部１４３は、第１閾値設定用時間以内であると判定した場合（ステップＳＴ１６０１の“ＹＥＳ”の場合）、直近の図１５のステップＳＴ１５０３にて特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して、異常状態スコアを取得する。関連モデル別閾値設定部１４３は、上述した、異常状態スコアの取得を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、異常状態スコアを取得する。関連モデル別閾値設定部１４３は、第３スコア情報を生成し、当該第３スコア情報を記憶部に記憶させる（ステップＳＴ１６０２）。その後、図１６のフローチャートの動作は、図１５のステップＳＴ１５０１に戻り、当該ステップＳＴ１５０１の動作を行うと、再び、当該ステップＳＴ１５０１以降の動作に進む。以降、第１閾値設定用時間が経過する（ステップＳＴ１６０１の“ＮＯ”の場合）まで、関連モデル別閾値設定部１４３は、当該ステップＳＴ１６０２の動作を行うことになる。その結果、関連モデル別閾値設定部１４３が第１閾値設定用時間以内に生成した第３スコア情報が、記憶部に記憶される。
【0119】
ステップＳＴ１６０１にて、関連モデル別閾値設定部１４３は、第１閾値設定用時間以内ではないと判定した場合、すなわち、第１閾値設定用時間が経過すると（ステップＳＴ１６０１の“ＮＯ”の場合）、関連モデル別閾値設定部１４３は、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルについて、第１閾値設定用時間において記憶部に記憶させた１つ以上の異常状態スコアのうち、最大値を、関連モデル別閾値に設定する（ステップＳＴ１６０３）。関連モデル別閾値設定部１４３は、上述した、関連モデル別閾値の設定を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、関連モデル別閾値を設定する。関連モデル別閾値設定部１４３は、関連モデル別閾値情報を生成し、記憶部に記憶させる。その後、図１６のフローチャートの動作は、図１５のステップＳＴ１５０１に戻り、当該ステップＳＴ１５０１の動作を行うと、再び、当該ステップＳＴ１５０１以降の動作に進む。
【0120】
図１５のフローチャートの説明に戻る。
ステップＳＴ１５０５において、制御部が、関連モデル別閾値は設定済であると判定した場合（ステップＳＴ１５０５の“ＹＥＳ”の場合）、図１５のフローチャートの動作は、ステップＳＴ１５０７に進む。
ステップＳＴ１５０７にて、制御部は、異常状態判定用閾値が設定済であるか否かを判定する。具体的には、制御部は、推定可能フラグが「１」であるか否かを判定する（ステップＳＴ１５０７）。
ステップＳＴ１５０７において、制御部は、異常状態判定用閾値が設定済ではないと判定した場合、言い換えれば、推定可能フラグが「０」であると判定した場合（ステップＳＴ１５０７の“ＮＯ”の場合）、図１５のフローチャートの動作は、ステップＳＴ１５０８に進む。なお、後述の図１７で説明する動作を行う前は、異常状態判定用閾値は設定されていないため、制御部は、異常状態判定用閾値は設定済ではないと判定する。図１７で説明する動作を行った後は、異常状態判定用閾値は設定済であるので、制御部は、異常状態判定用閾値は設定済であると判定する。
そして、閾値設定部１４ｂは、「異常状態判定用閾値設定処理」を行う（ステップＳＴ１５０８）。
ステップＳＴ１５０５において、制御部が、関連モデル別閾値は設定済であると判定した場合（ステップＳＴ１５０５の“ＹＥＳ”の場合）、図１５のフローチャートの動作は、ステップＳＴ１５０７に進む。
ステップＳＴ１５０７にて、制御部は、異常状態判定用閾値が設定済であるか否かを判定する。具体的には、制御部は、推定可能フラグが「１」であるか否かを判定する（ステップＳＴ１５０７）。
ステップＳＴ１５０７において、制御部は、異常状態判定用閾値が設定済ではないと判定した場合、言い換えれば、推定可能フラグが「０」であると判定した場合（ステップＳＴ１５０７の“ＮＯ”の場合）、図１５のフローチャートの動作は、ステップＳＴ１５０８に進む。なお、後述の図１７で説明する動作を行う前は、異常状態判定用閾値は設定されていないため、制御部は、異常状態判定用閾値は設定済ではないと判定する。図１７で説明する動作を行った後は、異常状態判定用閾値は設定済であるので、制御部は、異常状態判定用閾値は設定済であると判定する。
そして、閾値設定部１４ｂは、「異常状態判定用閾値設定処理」を行う（ステップＳＴ１５０８）。
【0121】
ここで、図１７は、図１５のステップＳＴ１５０８の具体的な動作を説明するためのフローチャートである。
閾値設定部１４ｂの関連モデル別判定部１４４は、第３閾値設定用時間以内であるか否かを判定する（ステップＳＴ１７０１）。
ステップＳＴ１７０１にて、第３閾値設定用時間以内であると判定した場合（ステップＳＴ１７０１の“ＹＥＳ”の場合）、関連モデル別判定部１４４は、まず、直近の図１５のステップＳＴ１５０３にて特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して、異常状態スコアを取得する。関連モデル別判定部１４４は、上述した、異常状態スコアの取得を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、異常状態スコアを取得する。関連モデル別判定部１４４は、第４スコア情報を生成し、当該第４スコア情報を記憶部に記憶させる（ステップＳＴ１７０２）。その後、図１７のフローチャートの動作は、図１５のステップＳＴ１５０１に戻り、当該ステップＳＴ１５０１の動作を行うと、再び、当該ステップＳＴ１５０１以降の動作に進む。以降、第３閾値設定用時間が経過する（ステップＳＴ１７０１の“ＮＯ”の場合）まで、関連モデル別判定部１４４は、当該ステップＳＴ１７０２の動作を行うことになる。その結果、関連モデル別判定部１４４が第３閾値設定用時間以内に生成した第４スコア情報が、記憶部に記憶される。
閾値設定部１４ｂの関連モデル別判定部１４４は、第３閾値設定用時間以内であるか否かを判定する（ステップＳＴ１７０１）。
ステップＳＴ１７０１にて、第３閾値設定用時間以内であると判定した場合（ステップＳＴ１７０１の“ＹＥＳ”の場合）、関連モデル別判定部１４４は、まず、直近の図１５のステップＳＴ１５０３にて特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して、異常状態スコアを取得する。関連モデル別判定部１４４は、上述した、異常状態スコアの取得を、全ての関連機械学習モデルに対して行い、各関連機械学習モデルに対応する、異常状態スコアを取得する。関連モデル別判定部１４４は、第４スコア情報を生成し、当該第４スコア情報を記憶部に記憶させる（ステップＳＴ１７０２）。その後、図１７のフローチャートの動作は、図１５のステップＳＴ１５０１に戻り、当該ステップＳＴ１５０１の動作を行うと、再び、当該ステップＳＴ１５０１以降の動作に進む。以降、第３閾値設定用時間が経過する（ステップＳＴ１７０１の“ＮＯ”の場合）まで、関連モデル別判定部１４４は、当該ステップＳＴ１７０２の動作を行うことになる。その結果、関連モデル別判定部１４４が第３閾値設定用時間以内に生成した第４スコア情報が、記憶部に記憶される。
【0122】
ステップＳＴ１７０１にて、関連モデル別判定部１４４は、第３閾値設定用時間以内ではないと判定した場合、すなわち、第３閾値設定用時間が経過すると（ステップＳＴ１７０１の“ＮＯ”の場合）、関連モデル別判定部１４４は、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルについて、第３閾値設定用時間に記憶部に記憶させた、当該ある関連機械学習モデルの１つ以上の異常状態スコアのいずれかが、関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かを判定する。
ある関連機械学習モデルについて、当該ある関連機械学習モデルから得られた１つ以上の異常状態スコアのうち１つでも関連モデル別閾値より大きい場合、関連モデル別判定部１４４は、当該ある関連機械学習モデルを、カウント対象モデルに該当する関連機械学習モデルであると判定する（ステップＳＴ１７０３）。関連モデル別判定部１４４は、上述した、カウント対象モデルに該当するか否かの判定を、全ての関連機械学習モデルに対して行う。
関連モデル別判定部１４４は、関連モデル別カウント要否判定結果情報を生成し、当該関連モデル別カウント要否判定結果情報を、閾値設定部１４ｂに出力する。
ある関連機械学習モデルについて、当該ある関連機械学習モデルから得られた１つ以上の異常状態スコアのうち１つでも関連モデル別閾値より大きい場合、関連モデル別判定部１４４は、当該ある関連機械学習モデルを、カウント対象モデルに該当する関連機械学習モデルであると判定する（ステップＳＴ１７０３）。関連モデル別判定部１４４は、上述した、カウント対象モデルに該当するか否かの判定を、全ての関連機械学習モデルに対して行う。
関連モデル別判定部１４４は、関連モデル別カウント要否判定結果情報を生成し、当該関連モデル別カウント要否判定結果情報を、閾値設定部１４ｂに出力する。
【0123】
閾値設定部１４ｂは、ステップＳＴ１７０３にて関連モデル別判定部１４４から出力された関連モデル別カウント要否判定結果情報に基づき、カウント対象モデルの数を、異常状態判定用閾値に設定する（ステップＳＴ１７０４）。
閾値設定部１４ｂは、設定した異常状態判定用閾値を、認証部１２ｂから出力された個人識別情報と紐づけて記憶部に記憶させるとともに、推定可能フラグを「１」とする。その後、図１７のフローチャートの動作は、図１５のステップＳＴ１５０１に戻り、当該ステップＳＴ１５０１の動作を行うと、再び、当該ステップＳＴ１５０１以降の動作に進む。
閾値設定部１４ｂは、設定した異常状態判定用閾値を、認証部１２ｂから出力された個人識別情報と紐づけて記憶部に記憶させるとともに、推定可能フラグを「１」とする。その後、図１７のフローチャートの動作は、図１５のステップＳＴ１５０１に戻り、当該ステップＳＴ１５０１の動作を行うと、再び、当該ステップＳＴ１５０１以降の動作に進む。
【0124】
図１５のフローチャートの説明に戻る。
ステップＳＴ１５０７において、制御部は、異常状態判定用閾値が設定済であると判定した場合、言い換えれば、推定可能フラグが「１」であると判定した場合（ステップＳＴ１５０７の“ＹＥＳ”の場合）、図１５のフローチャートの動作は、ステップＳＴ１５０９に進む。
そして、推定部１５ｂは、ステップＳＴ１５０３にて特徴量算出部１３が算出した乗員に関する特徴量を各関連機械学習モデルに入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う（ステップＳＴ１５０９）。
ステップＳＴ１５０７において、制御部は、異常状態判定用閾値が設定済であると判定した場合、言い換えれば、推定可能フラグが「１」であると判定した場合（ステップＳＴ１５０７の“ＹＥＳ”の場合）、図１５のフローチャートの動作は、ステップＳＴ１５０９に進む。
そして、推定部１５ｂは、ステップＳＴ１５０３にて特徴量算出部１３が算出した乗員に関する特徴量を各関連機械学習モデルに入力して得られた異常状態スコアに基づき、乗員の異常状態の推定を行う（ステップＳＴ１５０９）。
【0125】
ここで、図１８は、図１５のステップＳＴ１５０９の具体的な動作を説明するためのフローチャートである。
推定部１５ｂの関連モデル数算出部１５２は、まず、直近の図１５のステップＳＴ１５０３にて特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して異常状態スコアを取得する。そして、関連モデル数算出部１５２は、取得した異常状態スコアが、図１６のステップＳＴ１６０３にて関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かを判定する。
関連モデル数算出部１５２は、上述した、異常状態スコアが関連モデル別閾値より大きいか否かの判定を、全ての関連機械学習モデルに対して行う。そして、関連モデル数算出部１５２は、異常判定用関連モデル数を算出する（ステップＳＴ１８０１）。
関連モデル数算出部１５２は、算出した異常判定用関連モデル数を、推定部１５ｂに出力する。
推定部１５ｂの関連モデル数算出部１５２は、まず、直近の図１５のステップＳＴ１５０３にて特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して異常状態スコアを取得する。そして、関連モデル数算出部１５２は、取得した異常状態スコアが、図１６のステップＳＴ１６０３にて関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かを判定する。
関連モデル数算出部１５２は、上述した、異常状態スコアが関連モデル別閾値より大きいか否かの判定を、全ての関連機械学習モデルに対して行う。そして、関連モデル数算出部１５２は、異常判定用関連モデル数を算出する（ステップＳＴ１８０１）。
関連モデル数算出部１５２は、算出した異常判定用関連モデル数を、推定部１５ｂに出力する。
【0126】
推定部１５ｂは、ステップＳＴ１８０１にて関連モデル数算出部１５２が算出した異常判定用関連モデル数と、図１７のステップＳＴ１７０４にて閾値設定部１４ｂが設定した異常状態判定用閾値とを比較する（ステップＳＴ１８０２）。
ステップＳＴ１８０２にて、異常判定用関連モデル数が異常状態判定用閾値より大きい場合（ステップＳＴ１８０２の“ＹＥＳ”の場合）、推定部１５ｂは、乗員は異常状態であると推定する（ステップＳＴ１８０３）。
一方、ステップＳＴ１８０２にて、異常判定用関連モデル数が異常状態判定用閾値以下である場合（ステップＳＴ１８０２の“ＮＯ”の場合）、推定部１５ｂは、乗員は正常状態であると推定する（ステップＳＴ１８０４）。
ステップＳＴ１８０２にて、異常判定用関連モデル数が異常状態判定用閾値より大きい場合（ステップＳＴ１８０２の“ＹＥＳ”の場合）、推定部１５ｂは、乗員は異常状態であると推定する（ステップＳＴ１８０３）。
一方、ステップＳＴ１８０２にて、異常判定用関連モデル数が異常状態判定用閾値以下である場合（ステップＳＴ１８０２の“ＮＯ”の場合）、推定部１５ｂは、乗員は正常状態であると推定する（ステップＳＴ１８０４）。
【0127】
なお、以上の動作説明では、「異常状態判定用閾値設定処理」において、閾値設定部１４ｂは、図１７のフローチャートで説明したような動作を行い、異常状態判定用閾値を設定するものとしたが、これは一例に過ぎない。閾値設定部１４ｂは、例えば、以下に説明するような動作を行って、異常状態判定用閾値を設定するようにしてもよい。
閾値設定部１４ｂの関連モデル別判定部１４４は、第３閾値設定用時間以内である場合に、直近の図１５のステップＳＴ１５０３にて特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して異常状態スコアを取得する。続けて、関連モデル別判定部１４４は、取得した異常状態スコアが、図１６のステップＳＴ１６０３にて関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かによって、当該ある関連機械学習モデルが「カウント対象モデル」に該当するか否かを判定する。関連モデル別判定部１４４は、当該ある関連機械学習モデルから得られた異常状態スコアが、関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きい場合、当該ある関連機械学習モデルは、「カウント対象モデル」に該当すると判定する。
関連モデル別判定部１４４は、上述した、異常状態スコアの取得、および、カウント対象モデルに該当するか否かの判定を、全ての関連機械学習モデルに対して行う。そして、関連モデル別判定部１４４は、全ての関連機械学習モデルに対して、異常状態スコアの取得、および、カウント対象モデルに該当するか否かの判定、を行った後、全ての関連機械学習モデルのうち、カウント対象モデルに該当する関連機械学習モデルの数を算出する。関連モデル別判定部１４４は、算出したカウント対象モデルの数を、例えば、当該数を算出した時間と紐づけて記憶部に記憶させる。
関連モデル別判定部１４４は、以上の動作を、第３閾値設定用時間、特徴量算出部１３が特徴量を算出する都度、行う。
第３閾値設定用時間を経過すると、閾値設定部１４ｂは、第３閾値設定用時間以内に関連モデル別判定部１４４が算出したカウント対象モデルの数のうち、最大値を、異常状態判定用閾値に設定する。このとき、閾値設定部１４ｂは、第３閾値設定用時間以内に算出されたカウント対象モデルの数の最大値にバッファを持たせて、異常状態判定用閾値を設定してもよい。具体的には、閾値設定部１４ｂは、第３閾値設定用時間以内に算出されたカウント対象モデルの数の最大値＋αを、異常状態判定用閾値に設定してもよい。αは、０より大きい値とする。
閾値設定部１４ｂの関連モデル別判定部１４４は、第３閾値設定用時間以内である場合に、直近の図１５のステップＳＴ１５０３にて特徴量算出部１３が算出した特徴量を、１つ以上の関連機械学習モデルのうちのある関連機械学習モデルに入力して異常状態スコアを取得する。続けて、関連モデル別判定部１４４は、取得した異常状態スコアが、図１６のステップＳＴ１６０３にて関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かによって、当該ある関連機械学習モデルが「カウント対象モデル」に該当するか否かを判定する。関連モデル別判定部１４４は、当該ある関連機械学習モデルから得られた異常状態スコアが、関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きい場合、当該ある関連機械学習モデルは、「カウント対象モデル」に該当すると判定する。
関連モデル別判定部１４４は、上述した、異常状態スコアの取得、および、カウント対象モデルに該当するか否かの判定を、全ての関連機械学習モデルに対して行う。そして、関連モデル別判定部１４４は、全ての関連機械学習モデルに対して、異常状態スコアの取得、および、カウント対象モデルに該当するか否かの判定、を行った後、全ての関連機械学習モデルのうち、カウント対象モデルに該当する関連機械学習モデルの数を算出する。関連モデル別判定部１４４は、算出したカウント対象モデルの数を、例えば、当該数を算出した時間と紐づけて記憶部に記憶させる。
関連モデル別判定部１４４は、以上の動作を、第３閾値設定用時間、特徴量算出部１３が特徴量を算出する都度、行う。
第３閾値設定用時間を経過すると、閾値設定部１４ｂは、第３閾値設定用時間以内に関連モデル別判定部１４４が算出したカウント対象モデルの数のうち、最大値を、異常状態判定用閾値に設定する。このとき、閾値設定部１４ｂは、第３閾値設定用時間以内に算出されたカウント対象モデルの数の最大値にバッファを持たせて、異常状態判定用閾値を設定してもよい。具体的には、閾値設定部１４ｂは、第３閾値設定用時間以内に算出されたカウント対象モデルの数の最大値＋αを、異常状態判定用閾値に設定してもよい。αは、０より大きい値とする。
【0128】
このように、実施の形態３に係る異常状態推定装置１ｂは、機械学習モデル（１～Ｎ）１７のうちから、乗員の属性に関連する１つ以上の関連機械学習モデルを選択する。異常状態推定装置１ｂは、第１閾値設定用時間、乗員は正常状態であると仮定し、関連機械学習モデル毎に、当該第１閾値設定用時間に乗員に関する特徴量を入力して得られた異常状態スコアの最大値に基づき、関連モデル別閾値を設定する。
さらに、異常状態推定装置１ｂは、関連モデル別閾値を設定後、第３閾値設定用時間、乗員は正常状態であると仮定し、関連機械学習モデル毎に、当該第３閾値設定用時間に乗員に関する特徴量を入力して得られた異常状態スコアと関連モデル別閾値とを比較して、関連機械学習モデルのうち、カウント対象モデルに該当する関連機械学習モデルの数を算出する。そして、異常状態推定装置１ｂは、算出したカウント対象モデルの数を、異常状態判定用閾値に設定する。
異常状態推定装置１ｂは、異常状態判定用閾値を設定後、関連機械学習モデル毎に乗員に関する特徴量を入力して、関連機械学習モデル毎の異常状態スコアを取得する。異常状態推定装置１ｂは、各関連機械学習モデルについて、得られた異常状態スコアが関連モデル別閾値より大きいか否かを判定する。そして、異常状態推定装置１ｂは、異常判定用関連モデル数を算出する。
さらに、異常状態推定装置１ｂは、関連モデル別閾値を設定後、第３閾値設定用時間、乗員は正常状態であると仮定し、関連機械学習モデル毎に、当該第３閾値設定用時間に乗員に関する特徴量を入力して得られた異常状態スコアと関連モデル別閾値とを比較して、関連機械学習モデルのうち、カウント対象モデルに該当する関連機械学習モデルの数を算出する。そして、異常状態推定装置１ｂは、算出したカウント対象モデルの数を、異常状態判定用閾値に設定する。
異常状態推定装置１ｂは、異常状態判定用閾値を設定後、関連機械学習モデル毎に乗員に関する特徴量を入力して、関連機械学習モデル毎の異常状態スコアを取得する。異常状態推定装置１ｂは、各関連機械学習モデルについて、得られた異常状態スコアが関連モデル別閾値より大きいか否かを判定する。そして、異常状態推定装置１ｂは、異常判定用関連モデル数を算出する。
【0129】
異常状態推定装置１ｂは、異常判定用関連モデル数を算出すると、当該異常判定用関連モデル数と異常状態判定用閾値とを比較し、異常判定用関連モデル数が異常状態判定用閾値より大きい場合、乗員は異常状態であると推定する。
異常状態推定装置１ｂは、固定的な閾値を用いて、乗員が異常状態であるか否かを推定するのではなく、乗員毎に異常状態判定用閾値を設定し、当該異常状態判定用閾値を用いて、乗員が異常状態であるか否かを推定する。そのため、異常状態推定装置１ｂは、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
また、異常状態推定装置１ｂは、様々な属性を有する複数の乗員の属性に応じて予め個別に生成された複数の機械学習モデルのうち、関連機械学習モデルに基づいて、異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う。そのため、異常状態推定装置１ｂは、様々な属性を有する複数の乗員に関する情報から生成された複数の機械学習モデルを全て用いて異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う場合に比べて、乗員の異常状態の推定精度をさらに向上させることができる。
異常状態推定装置１ｂは、固定的な閾値を用いて、乗員が異常状態であるか否かを推定するのではなく、乗員毎に異常状態判定用閾値を設定し、当該異常状態判定用閾値を用いて、乗員が異常状態であるか否かを推定する。そのため、異常状態推定装置１ｂは、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
また、異常状態推定装置１ｂは、様々な属性を有する複数の乗員の属性に応じて予め個別に生成された複数の機械学習モデルのうち、関連機械学習モデルに基づいて、異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う。そのため、異常状態推定装置１ｂは、様々な属性を有する複数の乗員に関する情報から生成された複数の機械学習モデルを全て用いて異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う場合に比べて、乗員の異常状態の推定精度をさらに向上させることができる。
【0130】
なお、実施の形態３に係る異常状態推定装置１ｂにおいても、実施の形態１に係る異常状態推定装置１同様、推定部１５ｂは、例えば、異常状態推定時間において、乗員が異常状態であると推定された割合が閾値以上であれば、当該乗員は異常状態であると推定し、以降、車両の運転が終了されるまで、乗員の異常状態の推定を行わないようにしてもよい。
【0131】
また、以上の実施の形態３では、異常状態推定装置１ｂにおいて、関連機械学習モデルに入力する情報は、特徴量算出部１３が算出した、乗員に関する特徴量としたが、これは一例に過ぎない。例えば、異常状態推定装置１ｂにおいて、関連機械学習モデルに入力する情報は、情報取得部１１が取得した、乗員に関する情報としてもよい。この場合、異常状態推定装置１ｂは、特徴量算出部１３を備えない構成とすることができる。
ただし、異常状態推定装置１ｂは、特徴量算出部１３を備え、異常状態の推定と相関が大きい、乗員に関する特徴量を関連機械学習モデルに入力するようにしたほうが、乗員に関する情報を直接、関連機械学習モデルに入力する場合よりも、乗員の異常状態を推定する際の、推定の精度向上が期待できる。
なお、異常状態推定装置１ｂにおいて、関連機械学習モデルに入力する情報を乗員に関する情報とする場合、学習装置は、乗員に関する情報を教師データとする。
ただし、異常状態推定装置１ｂは、特徴量算出部１３を備え、異常状態の推定と相関が大きい、乗員に関する特徴量を関連機械学習モデルに入力するようにしたほうが、乗員に関する情報を直接、関連機械学習モデルに入力する場合よりも、乗員の異常状態を推定する際の、推定の精度向上が期待できる。
なお、異常状態推定装置１ｂにおいて、関連機械学習モデルに入力する情報を乗員に関する情報とする場合、学習装置は、乗員に関する情報を教師データとする。
【0132】
以上のように、実施の形態３によれば、車両の乗員に関する情報と、機械学習モデル（１～Ｎ）１７とに基づいて、乗員の異常状態を推定する異常状態推定装置１ｂにおいて、異常状態推定装置１ｂは、乗員に関する情報を取得する情報取得部１１と、第１閾値設定用時間以内に情報取得部が取得した乗員に関する情報を機械学習モデル（１～Ｎ）１７に入力して得られた異常状態スコアに基づき、乗員の異常状態を推定するための異常状態判定用閾値を設定する閾値設定部１４ｂを備えるように構成した。
そのため、異常状態推定装置１ｂは、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
そのため、異常状態推定装置１ｂは、乗員が異常状態であるか否かを推定する際、当該乗員の異常状態の誤推定を防ぐことができる。
【0133】
特に、実施の形態３では、機械学習モデル（１～Ｎ）１７は複数存在し、異常状態推定装置１ｂは、乗員の属性に関する属性情報を取得する属性情報取得部１２１と、属性情報取得部１２１が取得した属性情報に基づき、複数の機械学習モデル（１～Ｎ）１７のうち、乗員の属性に関連する、１つ以上の関連機械学習モデルを選択するモデル選択部１８と、モデル選択部１８が選択した１つ以上の関連機械学習モデル毎に、第１閾値設定用時間以内に情報取得部１１が取得した乗員に関する情報を入力して得られた異常状態スコアに基づき、関連モデル別閾値を設定する関連モデル別閾値設定部１４３と、関連モデル別閾値設定部１４３が関連モデル別閾値を設定後、１つ以上の関連機械学習モデル毎に、第３閾値設定用時間以内に情報取得部１１が取得した乗員に関する情報を入力して得られた異常状態スコアは、関連モデル別閾値設定部１４３が設定した関連モデル別閾値より大きいか否かを判定する関連モデル別判定部１４４を備え、閾値設定部１４ｂは、関連モデル別判定部１４４が異常状態スコアは関連モデル別閾値より大きいと判定した関連機械学習モデルの数を、異常状態判定用閾値に設定するようにした。
これにより、異常状態推定装置１ｂは、様々な属性を有する複数の乗員に関する情報から生成された複数の機械学習モデルを全て用いて異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う場合に比べて、乗員の異常状態の推定精度をさらに向上させることができる。
これにより、異常状態推定装置１ｂは、様々な属性を有する複数の乗員に関する情報から生成された複数の機械学習モデルを全て用いて異常状態判定用閾値の設定、および、乗員の異常状態の推定を行う場合に比べて、乗員の異常状態の推定精度をさらに向上させることができる。
【0134】
以上の実施の形態１～３では、車両の乗員とは、ドライバを想定し、異常状態推定装置１～１ｂは、ドライバが異常状態であるか否かを推定することを前提としたが、これは一例に過ぎない。
実施の形態１～３において、車両の乗員とは、例えば、助手席または後部座席に着座している同乗者としてもよい。この場合、異常状態推定装置１～１ｂが推定する、乗員の異常状態とは、乗員が体調不良である状態をいう。具体的には、乗員の異常状態とは、例えば、乗員が飲酒している状態、または、乗員が疲労している状態をいう。また、この場合、車両の運転開始時とは、例えば、ドライバが、車両の運転を開始させたときをいう。
実施の形態１～３において、車両の乗員とは、例えば、助手席または後部座席に着座している同乗者としてもよい。この場合、異常状態推定装置１～１ｂが推定する、乗員の異常状態とは、乗員が体調不良である状態をいう。具体的には、乗員の異常状態とは、例えば、乗員が飲酒している状態、または、乗員が疲労している状態をいう。また、この場合、車両の運転開始時とは、例えば、ドライバが、車両の運転を開始させたときをいう。
【0135】
また、以上の実施の形態１～３では、異常状態推定装置１～１ｂにおいて、情報取得部１１は、顔画像、生体情報、および、車両情報を取得するものとしたが、これは一例に過ぎない。情報取得部１１は、顔画像、生体情報、または、車両情報のうちの少なくとも１つを、乗員に関する情報として取得するようになっていればよい。特徴量算出部１３は、情報取得部１１が取得した、乗員に関する情報に応じた、乗員に関する特徴量を算出する。
【0136】
また、以上の実施の形態１～３において、異常状態推定装置１～１ｂが推定した、乗員が異常状態であるか否かの推定結果は、様々な場面で用いられる。
例えば、異常状態推定装置１～１ｂが搭載される車両が自動運転車両であり、異常状態推定装置１～１ｂは、ドライバが異常状態であるか否かを推定するとする。この場合、例えば、異常状態推定装置１～１ｂは、ドライバが異常状態であると推定すると、ドライバが異常状態である旨の推定結果を、車両に搭載された自動運転制御部（図示省略）に出力する。自動運転制御部は、異常状態推定装置１～１ｂから、ドライバが異常状態である旨の推定結果が出力されると、自動ブレーキをかけるタイミングを早める制御を行う。また、例えば、自動運転制御部は、異常状態推定装置１～１ｂから、ドライバが異常状態である旨の推定結果が出力されると、手動運転への切替を禁止し、車両を路肩に寄せる制御を行う。
また、例えば、異常状態推定装置１～１ｂは、同乗者の異常状態を推定するものとする。この場合、例えば、異常状態推定装置１～１ｂは、同乗者が異常状態であると推定すると、同乗者が異常状態である旨の推定結果を、異常状態推定装置１～１ｂの外部の通信装置（図示省略）に出力する。通信装置は、異常状態推定装置１～１ｂから、同乗者が異常状態である旨の推定結果が出力されると、救急センターに通報する。
例えば、異常状態推定装置１～１ｂが搭載される車両が自動運転車両であり、異常状態推定装置１～１ｂは、ドライバが異常状態であるか否かを推定するとする。この場合、例えば、異常状態推定装置１～１ｂは、ドライバが異常状態であると推定すると、ドライバが異常状態である旨の推定結果を、車両に搭載された自動運転制御部（図示省略）に出力する。自動運転制御部は、異常状態推定装置１～１ｂから、ドライバが異常状態である旨の推定結果が出力されると、自動ブレーキをかけるタイミングを早める制御を行う。また、例えば、自動運転制御部は、異常状態推定装置１～１ｂから、ドライバが異常状態である旨の推定結果が出力されると、手動運転への切替を禁止し、車両を路肩に寄せる制御を行う。
また、例えば、異常状態推定装置１～１ｂは、同乗者の異常状態を推定するものとする。この場合、例えば、異常状態推定装置１～１ｂは、同乗者が異常状態であると推定すると、同乗者が異常状態である旨の推定結果を、異常状態推定装置１～１ｂの外部の通信装置（図示省略）に出力する。通信装置は、異常状態推定装置１～１ｂから、同乗者が異常状態である旨の推定結果が出力されると、救急センターに通報する。
【0137】
図１９Ａ，図１９Ｂは、実施の形態１～実施の形態３に係る異常状態推定装置１～１ｂのハードウェア構成の一例を示す図である。
実施の形態１～３において、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８の機能は、処理回路１９０１により実現される。すなわち、異常状態推定装置１～１ｂは、車両の乗員の異常状態を推定する際に用いる異常状態判定用閾値の設定を制御するための処理回路１９０１を備える。
処理回路１９０１は、図１９Ａに示すように専用のハードウェアであっても、図１９Ｂに示すようにメモリ１９０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９０５であってもよい。
実施の形態１～３において、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８の機能は、処理回路１９０１により実現される。すなわち、異常状態推定装置１～１ｂは、車両の乗員の異常状態を推定する際に用いる異常状態判定用閾値の設定を制御するための処理回路１９０１を備える。
処理回路１９０１は、図１９Ａに示すように専用のハードウェアであっても、図１９Ｂに示すようにメモリ１９０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９０５であってもよい。
【0138】
処理回路１９０１が専用のハードウェアである場合、処理回路１９０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【0139】
処理回路１９０１がＣＰＵ１９０５の場合、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１９０２またはメモリ１９０６等に記憶されたプログラムを実行するＣＰＵ１９０５、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ１９０２、メモリ１９０６等に記憶されたプログラムは、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１９０６とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ならびに、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0140】
なお、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、認証部１２，１２ｂについては専用のハードウェアとしての処理回路１９０１でその機能を実現し、情報取得部１１と、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８については処理回路１９０１がメモリ１９０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、個人認証用ＤＢ１６と、図示しない記憶部は、メモリ１９０６を使用する。なお、これは一例であって、個人認証用ＤＢ１６と、図示しない記憶部は、ＨＤＤ１９０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、異常状態推定装置１～１ｂは、撮像装置２または生体センサ３等の装置と、有線通信または無線通信を行う入力インタフェース装置１９０３および出力インタフェース装置１９０４を備える。
また、個人認証用ＤＢ１６と、図示しない記憶部は、メモリ１９０６を使用する。なお、これは一例であって、個人認証用ＤＢ１６と、図示しない記憶部は、ＨＤＤ１９０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、異常状態推定装置１～１ｂは、撮像装置２または生体センサ３等の装置と、有線通信または無線通信を行う入力インタフェース装置１９０３および出力インタフェース装置１９０４を備える。
【0141】
なお、以上の実施の形態１～３では、異常状態推定装置１～１ｂは、車両に搭載される車載装置とし、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８は、異常状態推定装置１～１ｂに備えられているものとした。
これに限らず、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８のうち、一部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで異常状態推定システムを構成するようにしてもよい。
これに限らず、情報取得部１１と、認証部１２，１２ｂと、特徴量算出部１３と、閾値設定部１４，１４ａ，１４ｂと、推定部１５，１５ａ，１５ｂと、モデル選択部１８のうち、一部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで異常状態推定システムを構成するようにしてもよい。
【0142】
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0143】
この発明に係る異常状態推定装置は、車両の乗員に関する情報と、機械学習モデルとに基づいて、乗員が異常状態であるか否かを推定する異常状態推定装置に適用することができる。
【符号の説明】
【0144】
１，１ａ，１ｂ 異常状態推定装置、２ 撮像装置、３ 生体センサ、１１ 情報取得部、１１１ 顔画像取得部、１１１１ 顔検出部、１１２ 生体情報取得部、１１３ 車両情報取得部、１２，１２ｂ 認証部、１３ 特徴量算出部、１３１ 顔特徴量算出部、１３２ 生体特徴量算出部、１３３ 車両操作特徴量算出部、１４，１４ａ，１４ｂ 閾値設定部、１４１ モデル別閾値設定部、１４２ モデル別判定部、１４３ 関連モデル別閾値設定部、１４４ 関連モデル別判定部、１５，１５ａ，１５ｂ 推定部、１５１ モデル数算出部、１５２ 関連モデル数算出部、１６ 個人認証用ＤＢ、１７ 機械学習モデル、１９０１ 処理回路、１９０２ ＨＤＤ、１９０３ 入力インタフェース装置、１９０４ 出力インタフェース装置、１９０５ ＣＰＵ、１９０６ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】