(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-07
(45)【発行日】2023-12-15
(54)【発明の名称】調整装置、調整システム、および、調整方法
(51)【国際特許分類】
B60W 40/08 20120101AFI20231208BHJP
G08G 1/16 20060101ALI20231208BHJP
【ＦＩ】
B60W40/08
G08G1/16 F
【請求項の数】
4
(21)【出願番号】P 2022579202
(86)(22)【出願日】2021-02-03
(86)【国際出願番号】 JP2021003813
(87)【国際公開番号】W WO2022168187
(87)【国際公開日】2022-08-11
【審査請求日】2023-02-02
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】田中 堅人
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開２００７－２６９２６８（ＪＰ，Ａ）
【文献】特開２０１６－０４５７１４（ＪＰ，Ａ）
【文献】特開２０１２－２４５０９１（ＪＰ，Ａ）
【文献】特開２０２０－１５４９７６（ＪＰ，Ａ）
【文献】国際公開第２０１０／０３２４９１（ＷＯ，Ａ１）
【文献】特開２０１９－１３１０９６（ＪＰ，Ａ）
【文献】特開２０１６－２２１９９７（ＪＰ，Ａ）
【文献】特開２０１８－１８９９００（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
Ｂ６０Ｗ ３０／００ － ６０／００
Ｂ６０Ｋ ２８／０６
(57)【特許請求の範囲】
【請求項1】
乗員の状態を推定する乗員状態推定装置における前記乗員の状態の推定方法を調整する調整装置であって、複数の前記乗員状態推定装置によってそれぞれ推定された、前記乗員の状態の推定結果を収集する推定情報収集部と、
車両内の環境を判定するための車内環境判定用情報、および、前記乗員が異常状態である場合に行いがちな動作を判定するための異常時動作判定用情報のうちの少なくとも一方を参考情報として収集する参考情報収集部と、
前記推定情報収集部が収集した前記推定結果と、前記参考情報収集部が収集した前記参考情報と、前記推定結果および前記参考情報を入力とし前記乗員の状態を確認する必要があるか否かを示す確認要否情報を出力する機械学習モデルとに基づいて、前記乗員の状態を確認する必要があるか否かを判定する判定部と、
前記判定部が、前記乗員の状態を確認する必要があると判定した場合、前記乗員の挙動を判定するための挙動判定用情報に基づき前記乗員の挙動を判定して前記乗員の状態を設定する状態確認部と、
前記乗員状態推定装置に対して、前記乗員の状態を前記状態確認部が設定した前記乗員の状態と推定するよう、前記乗員の状態の推定に用いる状態推定用条件を調整させる調整用情報を出力する調整用情報出力部
とを備えた調整装置。
【請求項2】
前記推定情報収集部が収集した前記推定結果と前記参考情報収集部が収集した前記参考情報と前記判定部が判定した前記乗員の状態を確認するか否かの結果とに基づいて、前記推定結果と前記参考情報と前記確認要否情報とを含む学習用データを生成する学習用データ生成部と、前記学習用データ生成部が生成した学習用データに基づいて、前記機械学習モデルを生成するモデル生成部とを備え、
前記判定部は、前記機械学習モデルが生成されていない場合は、前記推定情報収集部が収集した前記推定結果のうちの少なくとも１つが異常状態を示し、その他の前記推定結果の中に正常状態を示す前記推定結果が存在するか否かによって、前記乗員の状態を確認する必要があるか否かを判定し、
前記モデル生成部によって前記機械学習モデルが生成された後は、前記推定結果と前記参考情報と前記機械学習モデルとに基づいて、前記乗員の状態を確認する必要があるか否かを判定する
ことを特徴とする請求項１記載の調整装置。
【請求項3】
請求項１または請求項２記載の調整装置と、前記調整用情報出力部が出力した調整用情報に基づいて、前記乗員の状態の推定に用いる前記状態推定用条件を調整する前記乗員状態推定装置
とを備えた調整システム。
【請求項4】
乗員の状態を推定する乗員状態推定装置における前記乗員の状態の推定方法を調整する調整方法であって、推定情報収集部が、複数の前記乗員状態推定装置によってそれぞれ推定された、前記乗員の状態の推定結果を収集するステップと、
参考情報収集部が、車両内の環境を判定するための車内環境判定用情報、および、前記乗員が異常状態である場合に行いがちな動作を判定するための異常時動作判定用情報のうちの少なくとも一方を参考情報として収集するステップと、
判定部が、前記推定情報収集部が収集した前記推定結果と、前記参考情報収集部が収集した前記参考情報と、前記推定結果および前記参考情報を入力とし前記乗員の状態を確認する必要があるか否かを示す確認要否情報を出力する機械学習モデルとに基づいて、前記乗員の状態を確認する必要があるか否かを判定するステップと、
状態確認部が、前記判定部が、前記乗員の状態を確認する必要があると判定した場合、前記乗員の挙動を判定するための挙動判定用情報に基づき前記乗員の挙動を判定して前記乗員の状態を設定するステップと、
調整用情報出力部が、前記乗員状態推定装置に対して、前記乗員の状態を前記状態確認部が設定した前記乗員の状態と推定するよう、前記乗員の状態の推定に用いる状態推定用条件を調整させる調整用情報を出力するステップ
とを備えた調整方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、乗員の状態を推定する乗員状態推定装置における乗員の状態の推定方法を調整する調整装置、調整システム、および、調整方法に関するものである。
【背景技術】
【0002】
従来、車両の走行中において、乗員の状態が正常状態であるか異常状態であるかを推定する乗員状態推定装置が知られている。乗員状態推定装置において採用される乗員の状態の推定方法には、種々の推定方法がある。
ところで、乗員の状態がどのような場合に正常状態であるか異常状態であるかは、乗員の個人特性等によって異なる。そのため、乗員の状態を推定する種々の推定方法の中には、ある乗員を推定対象とした場合に、例えば、その乗員が異常状態であると推定されやすい方法と推定されにくい方法とが存在し得る。その結果、推定方法によっては、異常状態の過検知または未検知となることがある。
一方、例えば、推定した乗員の状態について、乗員が実際にその推定した状態であるか否かを乗員に確認する技術が知られている。
例えば、特許文献１には、フレームアウト判定、姿勢崩れ判定、向き崩れ判定、揺れ判定、または、白目判定のいずれかにより、ドライバが運転不能状態になったことの判定を実施し、ドライバが運転不能状態であると判定した場合にドライバに対して運転不能状態であるか否かを確認する技術が開示されている。
ところで、乗員の状態がどのような場合に正常状態であるか異常状態であるかは、乗員の個人特性等によって異なる。そのため、乗員の状態を推定する種々の推定方法の中には、ある乗員を推定対象とした場合に、例えば、その乗員が異常状態であると推定されやすい方法と推定されにくい方法とが存在し得る。その結果、推定方法によっては、異常状態の過検知または未検知となることがある。
一方、例えば、推定した乗員の状態について、乗員が実際にその推定した状態であるか否かを乗員に確認する技術が知られている。
例えば、特許文献１には、フレームアウト判定、姿勢崩れ判定、向き崩れ判定、揺れ判定、または、白目判定のいずれかにより、ドライバが運転不能状態になったことの判定を実施し、ドライバが運転不能状態であると判定した場合にドライバに対して運転不能状態であるか否かを確認する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－４５７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示されているような従来技術は、ドライバが運転不能状態であると判定した場合にドライバに対して運転不能状態であるか否かを一旦確認しても、それ以降の、ドライバが運転不能状態になったことの判定に、確認結果を活かせていないという課題があった。その結果、従来技術は、例えば、ドライバの運転不能状態を適切に判定できていない場合に、当該適切でない判定を繰り返すことになる可能性があった。
【0005】
本開示は上記のような課題を解決するためになされたもので、乗員の状態を推定する乗員状態推定装置における乗員の状態の推定方法を調整することが可能な調整装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る調整装置は、乗員の状態を推定する乗員状態推定装置における前記乗員の状態の推定方法を調整する調整装置であって、複数の乗員状態推定装置によってそれぞれ推定された、乗員の状態の推定結果を収集する推定情報収集部と、車両内の環境を判定するための車内環境判定用情報、および、乗員が異常状態である場合に行いがちな動作を判定するための異常時動作判定用情報のうちの少なくとも一方を参考情報として収集する参考情報収集部と、推定情報収集部が収集した推定結果と、参考情報収集部が収集した参考情報と、推定結果および参考情報を入力とし乗員の状態を確認する必要があるか否かを示す確認要否情報を出力する機械学習モデルとに基づいて、乗員の状態を確認する必要があるか否かを判定する判定部と、判定部が、乗員の状態を確認する必要があると判定した場合、乗員の挙動を判定するための挙動判定用情報に基づき乗員の挙動を判定して乗員の状態を設定する状態確認部と、乗員状態推定装置に対して、乗員の状態を状態確認部が設定した乗員の状態と推定するよう、乗員の状態の推定に用いる状態推定用条件を調整させる調整用情報を出力する調整用情報出力部とを備えたものである。
【発明の効果】
【0007】
本開示によれば、乗員の状態を推定する乗員状態推定装置における乗員の状態の推定方法を調整することができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る調整装置の構成例を示す図である。
【図2】実施の形態１に係る調整装置の動作を説明するためのフローチャートである。
【図4】実施の形態１において、状態確認部が、乗員に対して応答を求めることで収集した挙動判定用情報に基づいて乗員の状態を設定する場合の「乗員状態確認処理」の詳細を説明するためのフローチャートである。図３のステップＳＴ３０２の具体的な動作を説明するためのフローチャートである。
【図5】実施の形態１において、状態確認部が、乗員に対して応答を求めることなく収集した挙動判定用情報に基づいて乗員の状態を設定する場合の「乗員状態確認処理」の詳細を説明するためのフローチャートである。
【図7】実施の形態２に係る調整装置の構成例を示す図である。
【図8】実施の形態２に係る調整装置の動作を説明するためのフローチャートである。
【図10】実施の形態３に係る調整装置の構成例を示す図である。
【図11】ニューラルネットワークについて説明するための図である。
【図12】実施の形態３に係る調整装置の動作を説明するためのフローチャートである。
【図14】実施の形態３に係る学習装置の動作を説明するためのフローチャートである。
【図16】実施の形態３を実施の形態２に係る調整装置に適用した場合の調整装置の構成例を示す図である。
【発明を実施するための形態】
【0009】
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る調整装置は、車両に搭載される。調整装置は、複数の乗員状態推定装置と接続され、調整装置と複数の乗員状態推定装置とで調整システムを構成する。複数の乗員状態推定装置も、車両に搭載される。
乗員状態推定装置は、車室内に存在している乗員の状態を推定する。具体的には、乗員状態推定装置は、車両の乗員に関する情報（以下「乗員関連情報」という。）を用いて、乗員の状態が「正常状態」であるか「異常状態」であるかを推定する。実施の形態１では、車両の乗員はドライバとし、乗員状態推定装置は、例えば、ドライバが適切に運転可能な「正常状態」であるか、ドライバが運転に支障をきたす「異常状態」であるかを推定するものとする。「正常状態」とは、より詳細には、例えば、乗員が運転に集中できている状態、乗員が覚醒している状態、乗員が疲弊していない状態、または、イライラしていない状態をいう。「異常状態」とは、乗員が上述したような「正常状態」ではない状態である。
実施の形態１．
実施の形態１に係る調整装置は、車両に搭載される。調整装置は、複数の乗員状態推定装置と接続され、調整装置と複数の乗員状態推定装置とで調整システムを構成する。複数の乗員状態推定装置も、車両に搭載される。
乗員状態推定装置は、車室内に存在している乗員の状態を推定する。具体的には、乗員状態推定装置は、車両の乗員に関する情報（以下「乗員関連情報」という。）を用いて、乗員の状態が「正常状態」であるか「異常状態」であるかを推定する。実施の形態１では、車両の乗員はドライバとし、乗員状態推定装置は、例えば、ドライバが適切に運転可能な「正常状態」であるか、ドライバが運転に支障をきたす「異常状態」であるかを推定するものとする。「正常状態」とは、より詳細には、例えば、乗員が運転に集中できている状態、乗員が覚醒している状態、乗員が疲弊していない状態、または、イライラしていない状態をいう。「異常状態」とは、乗員が上述したような「正常状態」ではない状態である。
【0010】
乗員関連情報は、例えば、乗員の生体情報、乗員を撮像した撮像画像（以下「車内撮像画像」という。）、乗員の発話音声、または、乗員による車両の操作に関する情報（以下「車両操作情報」という。）である。実施の形態１では、乗員による車両の操作によって変化した車両の状態に関する情報（以下「車両状態情報」という。）、および、乗員が乗車している車両の周辺の情報（以下「車両周辺情報」という。）も、乗員関連情報に含まれるものとする。
【0011】
乗員の生体情報は、例えば、乗員の体温、発汗度、または、心拍に関する情報を含む。
車両操作情報は、例えば、ハンドル操作量、アクセル操作量、ブレーキ操作量、ボタン操作の有無、または、ウィンカー操作の有無に関する情報を含む。
車両状態情報は、例えば、車速、車両の加速度、または、車両の位置情報を含む。
車両周辺情報は、例えば、車両周辺を撮像した撮像画像（以下「車外撮像画像」という。）、車両外の物体との距離情報、または、車両の周辺に存在する他車両に関する情報を含む。
車両操作情報は、例えば、ハンドル操作量、アクセル操作量、ブレーキ操作量、ボタン操作の有無、または、ウィンカー操作の有無に関する情報を含む。
車両状態情報は、例えば、車速、車両の加速度、または、車両の位置情報を含む。
車両周辺情報は、例えば、車両周辺を撮像した撮像画像（以下「車外撮像画像」という。）、車両外の物体との距離情報、または、車両の周辺に存在する他車両に関する情報を含む。
【0012】
乗員状態推定装置は、例えば、車両内に搭載されている生体センサから乗員の生体情報を取得し、乗員の生体情報と、予め設定されている、乗員の状態を推定するための条件（以下「状態推定用条件」という。）との比較によって、乗員が正常状態であるか異常状態であるかを推定する。
【0013】
また、例えば、乗員状態推定装置は、車両内を撮像するカメラ（以下「車内カメラ」という。）から車内撮像画像を取得し、既知の画像認識技術を用いて、乗員の顔の表情、感情、視線、開眼度、瞳孔の大きさ、顔の向き、または、体の姿勢を認識する。なお、車内カメラは、例えば、いわゆる「ドライバーモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」と共用のものであってもよい。そして、乗員状態推定装置は、乗員の顔の表情、感情、視線、開眼度、瞳孔の大きさ、顔の向き、または、体の姿勢と状態推定用条件との比較によって、乗員が正常状態であるか異常状態であるかを推定する。
【0014】
また、例えば、乗員状態推定装置は、車両内の音声を収集するマイクから乗員の発話音声を収集し、既知の音声認識技術を用いて乗員の発話を認識する。そして、乗員状態推定装置は、認識した発話と状態推定用条件との比較によって、乗員が正常状態であるか異常状態であるかを推定する。
【0015】
また、例えば、乗員状態推定装置は、車両操作情報を、車両に搭載されている操舵角センサまたはブレーキセンサ等の各種センサから取得する。そして、乗員状態推定装置は、車両操作情報と状態推定用条件との比較によって、乗員が正常状態であるか異常状態であるかを推定する。
【0016】
また、例えば、乗員状態推定装置は、車速センサもしくは加速度センサ等、車両に搭載されているセンサ、または、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から車両状態情報を取得する。そして、乗員状態推定装置は、車両状態情報と状態推定用条件との比較によって、乗員が正常状態であるか異常状態であるかを推定する。
また、例えば、乗員状態推定装置は、車両に搭載されている、車両の周囲を撮像するカメラ（以下「車外撮像カメラ」という。）、距離センサもしくはＬｉＤＡＲ、または、他車両から車車間通信、または、車両の外部に設置されたいわゆるインフラ（ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）との通信によって車両周辺情報を取得する。そして、乗員状態推定装置は、車両周辺情報に対して既知の画像認識技術等を用いて判定した、前方車両との車間距離、または、白線と車両との位置関係と、状態推定用条件との比較によって、乗員が正常状態であるか異常状態であるかを推定する。なお、白線と車両との位置関係とは、例えば、車線に対して車両がどこを走行しているかを示す位置関係である。
また、例えば、乗員状態推定装置は、車両に搭載されている、車両の周囲を撮像するカメラ（以下「車外撮像カメラ」という。）、距離センサもしくはＬｉＤＡＲ、または、他車両から車車間通信、または、車両の外部に設置されたいわゆるインフラ（ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）との通信によって車両周辺情報を取得する。そして、乗員状態推定装置は、車両周辺情報に対して既知の画像認識技術等を用いて判定した、前方車両との車間距離、または、白線と車両との位置関係と、状態推定用条件との比較によって、乗員が正常状態であるか異常状態であるかを推定する。なお、白線と車両との位置関係とは、例えば、車線に対して車両がどこを走行しているかを示す位置関係である。
【0017】
状態推定用条件には、例えば、閾値が設定されている。
例えば、乗員状態推定装置は、乗員の体温と状態推定用条件にて設定されている閾値との比較によって、乗員の状態を推定する。例えば、乗員状態推定装置は、乗員の体温が閾値以上であれば異常状態と推定し、乗員の体温が閾値未満であれば正常状態と推定する。
また、例えば、乗員状態推定装置は、乗員の開眼度と状態推定用条件にて設定されている閾値との比較によって、乗員の状態を推定する。例えば、乗員状態推定装置は、乗員の開眼度が閾値未満であれば異常状態と推定し、乗員の開眼度が閾値以上であれば正常状態と推定する。
状態推定用条件には、例えば、何等かの条件が設定されていてもよい。例えば、状態推定用条件には、乗員の怒りの感情を認識した場合に異常状態と推定するとの条件が設定されていてもよい。この場合、例えば、乗員状態推定装置は、車内撮像画像に基づいて乗員の怒りの感情を認識した場合、異常状態と推定し、乗員の怒りの感情を認識しない場合、正常状態と推定する。
例えば、乗員状態推定装置は、乗員の体温と状態推定用条件にて設定されている閾値との比較によって、乗員の状態を推定する。例えば、乗員状態推定装置は、乗員の体温が閾値以上であれば異常状態と推定し、乗員の体温が閾値未満であれば正常状態と推定する。
また、例えば、乗員状態推定装置は、乗員の開眼度と状態推定用条件にて設定されている閾値との比較によって、乗員の状態を推定する。例えば、乗員状態推定装置は、乗員の開眼度が閾値未満であれば異常状態と推定し、乗員の開眼度が閾値以上であれば正常状態と推定する。
状態推定用条件には、例えば、何等かの条件が設定されていてもよい。例えば、状態推定用条件には、乗員の怒りの感情を認識した場合に異常状態と推定するとの条件が設定されていてもよい。この場合、例えば、乗員状態推定装置は、車内撮像画像に基づいて乗員の怒りの感情を認識した場合、異常状態と推定し、乗員の怒りの感情を認識しない場合、正常状態と推定する。
【0018】
乗員状態推定装置は、例えば、生体情報と車内撮像画像等、複数の種類の乗員関連情報を組み合わせて乗員の状態を推定してもよい。
複数の乗員状態推定装置は、それぞれ、上述したような方法で、乗員の状態を推定する。
複数の乗員状態推定装置は、それぞれ、上述したような方法で、乗員の状態を推定する。
【0019】
調整装置は、複数の乗員状態推定装置から、乗員の状態の推定結果を収集する。乗員の推定結果とは、具体的には、乗員が正常状態であるか異常状態であるかを示す情報である。そして、調整装置は、乗員状態推定装置による乗員の状態の推定結果に基づいて、乗員状態推定装置における乗員の状態の推定方法を調整する。具体的には、調整装置は、乗員状態推定装置による推定結果について、必要に応じて、現在の乗員の状態を確認する。調整装置は、乗員の状態を確認すると、乗員状態推定装置に対して、乗員状態推定装置が収集した推定結果のように推定されていた乗員の状態の推定方法において、乗員の状態が調整装置にて確認した乗員の状態と推定されるよう、状態推定用条件を調整させるための情報（以下「調整用情報」という。）を出力する。乗員状態推定装置は、調整装置から調整用情報を取得すると、調整用情報に基づいて、状態推定用条件を調整する。
【0020】
乗員状態推定装置は、上述のとおり、種々の方法で乗員の状態を推定する。ここで、乗員の状態がどのような場合に正常状態であるか異常状態であるかは、乗員の個人特性等によって異なる。具体例を挙げると、例えば、ある乗員が眠気を感じているとき、すなわち、異常状態であるとき、当該乗員はほぼまっすぐに車両を走行させることができるが、閉眼する傾向があるとする。この場合、例えば、乗員状態推定装置は、乗員の開眼度に基づいて乗員の状態を推定すれば異常状態であると推定し、ハンドル操作量に基づいて乗員の状態を推定すると異常状態であると推定しない可能性がある。
【0021】
一方で、例えば、別のある乗員が眠気を感じているとき、当該乗員はある程度開眼していられるが車両をまっすぐ走行させることができない傾向があるとする。この場合、例えば、乗員状態推定装置は、ハンドル操作量に基づいて乗員の状態を推定すれば異常状態であると推定し、開眼度に基づいて乗員の状態を推定すると異常状態であると推定しない可能性がある。
このように、ある乗員とその他のある乗員とでは、眠気のあらわれ方が異なるため、乗員状態推定装置が、乗員関連情報に対して一律に設定された状態判定用条件を用いて乗員の状態を推定するようになっていると、例えば、眠気を感じている状態、言い換えれば、異常状態の過検知または未検知に繋がるという問題がある。
このように、ある乗員とその他のある乗員とでは、眠気のあらわれ方が異なるため、乗員状態推定装置が、乗員関連情報に対して一律に設定された状態判定用条件を用いて乗員の状態を推定するようになっていると、例えば、眠気を感じている状態、言い換えれば、異常状態の過検知または未検知に繋がるという問題がある。
【0022】
そこで、調整装置は、必要に応じて、現在の乗員の状態を確認する。そして、調整装置は、乗員状態推定装置に対して、当該乗員状態推定装置における乗員の状態の推定方法を調整させる。これにより、調整装置は、乗員状態推定装置が乗員の個人特性等に合わせて当該乗員の状態を推定するように調整する。調整装置が行う乗員状態推定装置における乗員の状態の推定方法の調整の詳細については、後述する。
【0023】
なお、乗員状態推定装置は、乗員の状態の推定結果を、調整装置だけでなく、車両の運転制御を行う運転支援装置にも出力する。運転支援装置は、乗員状態推定装置から出力された乗員の状態の推定結果に基づいて、警報の出力または車両の制御等を行う。
【0024】
図１は、実施の形態１に係る調整装置１の構成例を示す図である。
図１に示すように、調整装置１と複数の乗員状態推定装置（２－１～２－ｎ）とで調整システム１００が構成される。
図１では、複数の乗員状態推定装置（２－１～２－ｎ）をそれぞれ別個の装置としているが、複数の乗員状態推定装置（２－１～２－ｎ）が１つの装置に備えられてもよい。以下の実施の形態１において、複数の乗員状態推定装置（２－１～２－ｎ）を、まとめて乗員状態推定装置２ともいう。
図１に示すように、調整装置１と複数の乗員状態推定装置（２－１～２－ｎ）とで調整システム１００が構成される。
図１では、複数の乗員状態推定装置（２－１～２－ｎ）をそれぞれ別個の装置としているが、複数の乗員状態推定装置（２－１～２－ｎ）が１つの装置に備えられてもよい。以下の実施の形態１において、複数の乗員状態推定装置（２－１～２－ｎ）を、まとめて乗員状態推定装置２ともいう。
【0025】
調整装置１は、推定情報収集部１１、判定部１２、状態確認部１３、および、調整用情報出力部１４を備える。状態確認部１３は、挙動判定用情報収集部１３１および設定部１３２を備える。
【0026】
推定情報収集部１１は、乗員状態推定装置２によってそれぞれ推定された、乗員の状態の推定結果を収集する。なお、乗員状態推定装置２から出力される乗員の状態の推定結果には、当該推定結果を推定した乗員状態推定装置２を特定可能な情報が付与されているものとする。推定結果には、さらに、乗員の状態を推定した時刻（以下「推定時刻」という。）が付与されてもよい。
推定情報収集部１１は、収集した複数の推定結果を判定部１２に出力する。
このとき、推定情報収集部１１は、収集した複数の推定結果を、当該推定結果を収集した時刻と対応付けて、記憶部（図示省略）に記憶する。例えば、推定情報収集部１１は、推定結果に推定時刻が付与されていない場合、推定結果を収集した時刻を推定時刻として付与する。推定情報収集部１１は、予め設定された期間（以下「推定結果蓄積期間」という。）の推定結果が記憶部に記憶されるようにする。
推定情報収集部１１は、収集した複数の推定結果を判定部１２に出力する。
このとき、推定情報収集部１１は、収集した複数の推定結果を、当該推定結果を収集した時刻と対応付けて、記憶部（図示省略）に記憶する。例えば、推定情報収集部１１は、推定結果に推定時刻が付与されていない場合、推定結果を収集した時刻を推定時刻として付与する。推定情報収集部１１は、予め設定された期間（以下「推定結果蓄積期間」という。）の推定結果が記憶部に記憶されるようにする。
【0027】
判定部１２は、推定情報収集部１１が収集した複数の推定結果に基づいて、乗員の状態を確認する必要があるか否かを判定する。実施の形態１において、判定部１２が行う、乗員の状態を確認する必要があるか否かの判定を、「判定処理」ともいう。
具体的には、判定部１２は、推定情報収集部１１が収集した複数の推定結果のうちのいずれか１つが異常状態を示し、その他の推定結果の中に正常状態を示す推定結果が存在する場合、乗員の状態を確認する必要があると判定する。より詳細には、判定部１２は、推定情報収集部１１が収集した複数の推定結果のうちの少なくとも１つが異常状態を示し、その他の推定結果の中に正常状態を示す推定結果が存在する場合であって、かつ、異常状態を示している推定結果の中に予め設定された期間（以下「判定用期間」という。）継続して異常状態を示している推定結果が存在する場合、乗員の状態を確認する必要があると判定する。
判定部１２は、記憶部に記憶されている推定結果から、判定用期間継続して異常状態が示されているか否かを判定することができる。なお、実施の形態１において、上記推定結果蓄積期間は、判定用期間よりも長い期間とする。例えば、判定用期間は、固定値としてもよいし、変動値としてもよい。例えば、判定部１２は、乗員によって判定用期間の長さを変更してもよい。例えば、乗員が乗車時に判定用期間を設定し、判定部１２は、乗員によって設定された判定用期間を用いて上記判定処理を行う。
具体的には、判定部１２は、推定情報収集部１１が収集した複数の推定結果のうちのいずれか１つが異常状態を示し、その他の推定結果の中に正常状態を示す推定結果が存在する場合、乗員の状態を確認する必要があると判定する。より詳細には、判定部１２は、推定情報収集部１１が収集した複数の推定結果のうちの少なくとも１つが異常状態を示し、その他の推定結果の中に正常状態を示す推定結果が存在する場合であって、かつ、異常状態を示している推定結果の中に予め設定された期間（以下「判定用期間」という。）継続して異常状態を示している推定結果が存在する場合、乗員の状態を確認する必要があると判定する。
判定部１２は、記憶部に記憶されている推定結果から、判定用期間継続して異常状態が示されているか否かを判定することができる。なお、実施の形態１において、上記推定結果蓄積期間は、判定用期間よりも長い期間とする。例えば、判定用期間は、固定値としてもよいし、変動値としてもよい。例えば、判定部１２は、乗員によって判定用期間の長さを変更してもよい。例えば、乗員が乗車時に判定用期間を設定し、判定部１２は、乗員によって設定された判定用期間を用いて上記判定処理を行う。
【0028】
判定部１２は、異常状態を示している推定結果の中に判定用期間継続して異常状態を示している推定結果が存在しない場合は、乗員の状態を確認する必要はないと判定する。判定用期間継続して異常状態を示していないということは、例えば、乗員状態推定装置２で推定された異常状態が一時的な異常状態であった、または、判定用期間の間に乗員の状態が異常状態から正常状態に戻ったと考えられる。
また、判定部１２は、推定情報収集部１１が収集した複数の推定結果の全てが異常状態を示している場合、および、推定情報収集部１１が収集した複数の推定結果の全てが正常状態を示している場合は、乗員の状態を確認する必要はないと判定する。
また、判定部１２は、推定情報収集部１１が収集した複数の推定結果の全てが異常状態を示している場合、および、推定情報収集部１１が収集した複数の推定結果の全てが正常状態を示している場合は、乗員の状態を確認する必要はないと判定する。
【0029】
判定部１２は、乗員の状態を確認する必要があると判定した場合、状態確認部１３に、乗員の状態を確認させるための情報（以下「状態確認指示情報」という。）を出力する。判定部１２は、状態確認指示情報とともに、乗員状態推定装置２による乗員の状態の推定結果を出力する。
【0030】
また、実施の形態１において、判定部１２は、推定情報収集部１１が収集した複数の推定結果を示す情報（以下「総合結果情報」という。）を生成し、生成した総合結果情報を、運転支援装置３に出力する。総合結果情報は、例えば、乗員状態推定装置２のうち、異常状態と推定した乗員状態推定装置２の割合を示す情報である。
運転支援装置３は、車両に搭載される。運転支援装置３は、判定部１２から出力された総合結果情報を取得すると、総合結果情報に基づいて、乗員が完全に異常状態となり車両を退避させる必要が生じる前に、前方に緊急退避が行えるスペースがあるか否かを確認しておくことができる。
なお、運転支援装置３は、乗員状態推定装置２が推定した乗員の状態の推定結果に基づいて、運転支援を行う。具体的には、運転支援装置３は、例えば、乗員の状態の推定結果に基づいて、全ての推定結果のうち、予め決められた数以上の推定結果が異常状態を示している場合、乗員に対して警報を出力する。また、運転支援装置３は、例えば、全ての推定結果が異常状態を示している場合、車両を緊急停止させる。なお、図１では、乗員状態推定装置２から運転支援装置３へ推定結果が出力されることを示す矢印の図示は省略している。
実施の形態１では、上述のとおり、判定部１２は、運転支援装置３に対して総合結果情報を出力する機能を有するものとするが、これは一例に過ぎない。判定部１２が運転支援装置３に対して総合結果情報を出力する機能を有することは必須ではない。
運転支援装置３は、車両に搭載される。運転支援装置３は、判定部１２から出力された総合結果情報を取得すると、総合結果情報に基づいて、乗員が完全に異常状態となり車両を退避させる必要が生じる前に、前方に緊急退避が行えるスペースがあるか否かを確認しておくことができる。
なお、運転支援装置３は、乗員状態推定装置２が推定した乗員の状態の推定結果に基づいて、運転支援を行う。具体的には、運転支援装置３は、例えば、乗員の状態の推定結果に基づいて、全ての推定結果のうち、予め決められた数以上の推定結果が異常状態を示している場合、乗員に対して警報を出力する。また、運転支援装置３は、例えば、全ての推定結果が異常状態を示している場合、車両を緊急停止させる。なお、図１では、乗員状態推定装置２から運転支援装置３へ推定結果が出力されることを示す矢印の図示は省略している。
実施の形態１では、上述のとおり、判定部１２は、運転支援装置３に対して総合結果情報を出力する機能を有するものとするが、これは一例に過ぎない。判定部１２が運転支援装置３に対して総合結果情報を出力する機能を有することは必須ではない。
【0031】
状態確認部１３は、判定部１２が、乗員の状態を確認する必要があると判定した場合、言い換えれば、判定部１２から状態確認指示情報が出力された場合、現在の乗員の状態を確認する。具体的には、状態確認部１３は、乗員の挙動を判定するための情報（以下「挙動判定用情報」という。）に基づいて乗員の挙動を判定して、乗員の状態を設定する。実施の形態１において、状態確認部１３が行う、挙動判定用情報に基づく乗員の状態の設定を、「乗員状態確認処理」ともいう。
【0032】
状態確認部１３による「乗員状態確認処理」について、詳細に説明する。
まず、状態確認部１３の挙動判定用情報収集部１３１は、挙動判定用情報収集装置４から挙動情報を収集する。
挙動判定用情報収集装置４は、例えば、車内撮像カメラ、車両に搭載されているマイク、または、車両に搭載されているカーナビゲーション装置であり、挙動判定用情報は、例えば、車内撮像カメラが撮像した車内撮像画像、マイクが収集した発話音声、または、カーナビゲーション装置に備えられているボタン等の機器の操作情報である。
なお、上述した挙動判定用情報収集装置４の具体例は一例に過ぎない。挙動判定用情報収集装置４は、乗員の挙動を判定可能な情報を収集する種々の装置を含む。
まず、状態確認部１３の挙動判定用情報収集部１３１は、挙動判定用情報収集装置４から挙動情報を収集する。
挙動判定用情報収集装置４は、例えば、車内撮像カメラ、車両に搭載されているマイク、または、車両に搭載されているカーナビゲーション装置であり、挙動判定用情報は、例えば、車内撮像カメラが撮像した車内撮像画像、マイクが収集した発話音声、または、カーナビゲーション装置に備えられているボタン等の機器の操作情報である。
なお、上述した挙動判定用情報収集装置４の具体例は一例に過ぎない。挙動判定用情報収集装置４は、乗員の挙動を判定可能な情報を収集する種々の装置を含む。
【0033】
挙動判定用情報収集部１３１は、乗員に対して応答を求めることで乗員の挙動判定用情報を収集してもよいし、乗員に対して応答を求めることなく乗員の挙動判定用情報を収集してもよい。
例えば、乗員に対して応答を求めることで乗員の挙動判定用情報を収集する場合、挙動判定用情報収集部１３１は、挙動判定用情報収集装置４等の装置に対し、乗員に対する問合せを行わせる情報（以下「問合せ情報」という。）を出力して、挙動判定用情報を収集する。具体的には、例えば、挙動判定用情報収集部１３１は、カーナビゲーション装置に対し、当該カーナビゲーション装置が備えるスピーカから「元気ですか」という音声を出力させる問合せ情報を出力する。挙動判定用情報収集部１３１は、問合せ情報出力後、乗員がカーナビゲーション装置からの問合せに対して応答した発話音声を、挙動判定用情報として収集する。また、例えば、挙動判定用情報収集部１３１は、カーナビゲーション装置に対し、当該カーナビゲーション装置が備える表示部に「体調に問題がなければＯＫボタンを押してください」とのメッセージとＯＫボタンとを表示させる問合せ情報を出力する。挙動判定用情報収集部１３１は、問合せ情報出力後、カーナビゲーション装置からの問合せに対して応答した、ＯＫボタンの操作情報を、挙動判定用情報として収集する。
例えば、乗員に対して応答を求めることで乗員の挙動判定用情報を収集する場合、挙動判定用情報収集部１３１は、挙動判定用情報収集装置４等の装置に対し、乗員に対する問合せを行わせる情報（以下「問合せ情報」という。）を出力して、挙動判定用情報を収集する。具体的には、例えば、挙動判定用情報収集部１３１は、カーナビゲーション装置に対し、当該カーナビゲーション装置が備えるスピーカから「元気ですか」という音声を出力させる問合せ情報を出力する。挙動判定用情報収集部１３１は、問合せ情報出力後、乗員がカーナビゲーション装置からの問合せに対して応答した発話音声を、挙動判定用情報として収集する。また、例えば、挙動判定用情報収集部１３１は、カーナビゲーション装置に対し、当該カーナビゲーション装置が備える表示部に「体調に問題がなければＯＫボタンを押してください」とのメッセージとＯＫボタンとを表示させる問合せ情報を出力する。挙動判定用情報収集部１３１は、問合せ情報出力後、カーナビゲーション装置からの問合せに対して応答した、ＯＫボタンの操作情報を、挙動判定用情報として収集する。
【0034】
一方、挙動判定用情報収集部１３１は、乗員に対して応答を求めることなく乗員の挙動判定用情報を収集する場合、挙動判定用情報収集装置４から常時出力される車内撮像画像または発話音声等を、挙動判定用情報として収集する。
【0035】
挙動判定用情報収集部１３１が挙動判定用情報を収集すると、次に、状態確認部１３の設定部１３２は、挙動判定用情報収集部１３１が収集した挙動判定用情報に基づき乗員の挙動を判定し、判定した挙動に基づき、乗員の状態が正常状態であるか異常状態であるかを設定する。
【0036】
設定部１３２が乗員の状態を設定する方法について、具体例を挙げて説明する。
設定部１３２は、まず、挙動判定用情報収集部１３１が収集した挙動判定用情報に基づき、乗員の挙動を判定する。実施の形態１において、乗員の挙動とは、例えば、乗員の顔の動き、および、乗員の動作を含む。乗員の顔の動きは、例えば、表情、うなずき、視線の方向、開眼度、または、顔の向きを含む。乗員の動作は、例えば、挙動判定用情報収集装置４等の装置からの問合せに対する応答、発話、または、覚醒を維持するための動作である。装置からの問合せに対する応答は、例えば、発話による応答、または、車両に搭載されている機器を操作することによる応答を含む。発話とは、例えば、カーナビゲーション装置等の装置への発話、同乗者との会話、独り言、または、つぶやきを含む。覚醒を維持するための動作とは、例えば、乗員が自分の体をつねる動作、または、乗員が自分の頬を叩く動作である。
設定部１３２は、まず、挙動判定用情報収集部１３１が収集した挙動判定用情報に基づき、乗員の挙動を判定する。実施の形態１において、乗員の挙動とは、例えば、乗員の顔の動き、および、乗員の動作を含む。乗員の顔の動きは、例えば、表情、うなずき、視線の方向、開眼度、または、顔の向きを含む。乗員の動作は、例えば、挙動判定用情報収集装置４等の装置からの問合せに対する応答、発話、または、覚醒を維持するための動作である。装置からの問合せに対する応答は、例えば、発話による応答、または、車両に搭載されている機器を操作することによる応答を含む。発話とは、例えば、カーナビゲーション装置等の装置への発話、同乗者との会話、独り言、または、つぶやきを含む。覚醒を維持するための動作とは、例えば、乗員が自分の体をつねる動作、または、乗員が自分の頬を叩く動作である。
【0037】
設定部１３２は、挙動判定用情報に基づき、既知の技術を用いて、上述したような乗員の挙動を判定する。具体的には、例えば、設定部１３２は、車内撮像画像に対して既知の画像認識技術を用いて、乗員の挙動を判定する。また、例えば、設定部１３２は、発話音声に対して既知の音声認識技術を用いて、乗員の挙動を判定する。また、例えば、設定部１３２は、カーナビゲーション装置からボタンの操作情報に基づいて、乗員の挙動を判定する。設定部１３２は、例えば、ボタンの操作情報と車内撮像画像とを組み合わせて、乗員の挙動を判定してもよい。
【0038】
設定部１３２は、乗員の挙動を判定すると、判定した乗員の挙動に基づき、乗員の状態を設定する。設定部１３２が設定する乗員の状態は、正常状態または異常状態である。
設定部１３２は、例えば、判定した乗員の挙動と、予め設定されている、乗員が正常状態と認められる条件（以下「正常条件」という。）とによって、乗員の状態を設定する。設定部１３２は、乗員の挙動が正常条件を満たす場合、乗員の状態は正常状態と設定する。一方、設定部１３２は、乗員の挙動が正常条件を満たさない場合、乗員の状態は異常状態と設定する。
設定部１３２は、例えば、判定した乗員の挙動と、予め設定されている、乗員が正常状態と認められる条件（以下「正常条件」という。）とによって、乗員の状態を設定する。設定部１３２は、乗員の挙動が正常条件を満たす場合、乗員の状態は正常状態と設定する。一方、設定部１３２は、乗員の挙動が正常条件を満たさない場合、乗員の状態は異常状態と設定する。
【0039】
正常条件には、例えば、以下の（１）～（６）のような条件が設定されている。
（１）挙動が、挙動判定用情報収集部１３１が出力した問合せ情報に対応する応答、言い換えれば、装置から出力された問合せに対する応答であること
（２）挙動が、挙動判定用情報収集部１３１が出力した問合せ情報に対応する応答ではなくても、同乗者との会話であること（挙動が、装置から出力された問合せに対する応答ではなくても、同乗者の発話に対する応答であること）
（３）挙動が、装置から出力された問合せに対する応答または同乗者の発話に対する応答であり、かつ、予め設定された時間以内の応答であること
（４）挙動が、装置から出力された問合せに対する応答または同乗者の発話に対する応答であり、かつ、声質に変化がないこと
（５）挙動が、予め設定されている、異常状態とみなす行動（例えば、乗員が自分の体をつねる動作、または、乗員が自分の頬を叩く動作、独り言、または、つぶやき）でないこと
（６）挙動が、発話であり、発話内容に、予め設定されている、異常に関する単語（例えば、「しんどい」または「眠い」）が含まれていないこと
（１）挙動が、挙動判定用情報収集部１３１が出力した問合せ情報に対応する応答、言い換えれば、装置から出力された問合せに対する応答であること
（２）挙動が、挙動判定用情報収集部１３１が出力した問合せ情報に対応する応答ではなくても、同乗者との会話であること（挙動が、装置から出力された問合せに対する応答ではなくても、同乗者の発話に対する応答であること）
（３）挙動が、装置から出力された問合せに対する応答または同乗者の発話に対する応答であり、かつ、予め設定された時間以内の応答であること
（４）挙動が、装置から出力された問合せに対する応答または同乗者の発話に対する応答であり、かつ、声質に変化がないこと
（５）挙動が、予め設定されている、異常状態とみなす行動（例えば、乗員が自分の体をつねる動作、または、乗員が自分の頬を叩く動作、独り言、または、つぶやき）でないこと
（６）挙動が、発話であり、発話内容に、予め設定されている、異常に関する単語（例えば、「しんどい」または「眠い」）が含まれていないこと
【0040】
設定部１３２は、上記（１）～（６）の条件を組み合わせて正常条件を満たすか否かを判定してもよい。例えば、設定部１３２は、（２）と（３）を組み合わせ、判定した挙動が、装置からの問合せに対する応答ではなくても、同乗者の発話に対する応答であって、かつ、予め設定された時間以内に同乗者との会話に応答している場合、正常条件を満たすと判定してもよい。また、例えば、設定部１３２は、（５）と（６）を組み合わせ、判定した挙動が、異常状態とみなす行動ではなく、かつ、当該挙動は発話であり、発話内容に異常に関する単語が含まれていない場合、正常条件を満たすと判定してもよい。
【0041】
なお、上記（１）～（６）の正常条件は一例に過ぎない。正常条件には、適宜の条件が設定され得る。但し、設定部１３２が乗員の状態を設定する際に用いる正常条件は、乗員状態推定装置２が乗員の状態を推定する際に用いる状態推定用条件と重複しないようにする。
【0042】
状態確認部１３は、設定部１３２が設定した乗員の状態と、判定部１２から出力された、乗員状態推定装置２による乗員の状態の推定結果とを、調整用情報出力部１４に出力する。
以上のように、状態確認部１３は、「乗員状態確認処理」を行う。以下の実施の形態１では、「乗員状態確認処理」において、状態確認部１３が設定した乗員の状態を「設定乗員状態」ともいう。
以上のように、状態確認部１３は、「乗員状態確認処理」を行う。以下の実施の形態１では、「乗員状態確認処理」において、状態確認部１３が設定した乗員の状態を「設定乗員状態」ともいう。
【0043】
調整用情報出力部１４は、乗員状態推定装置２に対して、乗員の状態の推定結果が設定乗員状態となるよう、乗員の状態の推定に用いた状態推定用条件を調整させる調整用情報を出力する。
具体的には、調整用情報出力部１４は、各乗員状態推定装置２に対して、各乗員状態推定装置２が推定した乗員の状態の推定結果と、設定乗員状態とを対応付けた調整用情報を出力する。各乗員状態推定装置２が推定した乗員の状態の推定結果とは、状態確認部１３から出力された、各乗員状態推定装置２による乗員の状態の推定結果である。
例えば、調整用情報出力部１４は、乗員状態推定装置２－１に対しては、乗員状態推定装置２－１が推定した乗員の状態の推定結果と、設定乗員とを対応付けた調整用情報を出力し、乗員状態推定装置２－２に対しては、乗員状態推定装置２－２が推定した乗員の状態の推定結果と、設定乗員状態とを対応付けた調整用情報を出力する。
具体的には、調整用情報出力部１４は、各乗員状態推定装置２に対して、各乗員状態推定装置２が推定した乗員の状態の推定結果と、設定乗員状態とを対応付けた調整用情報を出力する。各乗員状態推定装置２が推定した乗員の状態の推定結果とは、状態確認部１３から出力された、各乗員状態推定装置２による乗員の状態の推定結果である。
例えば、調整用情報出力部１４は、乗員状態推定装置２－１に対しては、乗員状態推定装置２－１が推定した乗員の状態の推定結果と、設定乗員とを対応付けた調整用情報を出力し、乗員状態推定装置２－２に対しては、乗員状態推定装置２－２が推定した乗員の状態の推定結果と、設定乗員状態とを対応付けた調整用情報を出力する。
【0044】
なお、実施の形態１では、調整用情報出力部１４は、全ての乗員状態推定装置２に対して調整用情報を出力するものとするが、これは一例に過ぎない。
例えば、調整用情報出力部１４は、推定結果が設定乗員状態と異なる乗員状態推定装置２に対してのみ、調整用情報を出力するようにしてもよい。推定結果が設定乗員状態と異なる乗員状態推定装置２は、推定結果に付与されている乗員状態推定装置２を特定可能な情報に基づいて特定できる。
例えば、調整用情報出力部１４は、推定結果が設定乗員状態と異なる乗員状態推定装置２に対してのみ、調整用情報を出力するようにしてもよい。推定結果が設定乗員状態と異なる乗員状態推定装置２は、推定結果に付与されている乗員状態推定装置２を特定可能な情報に基づいて特定できる。
【0045】
乗員状態推定装置２は、調整用情報を取得すると、調整用情報に基づいて、状態推定用条件を調整する。具体的には、乗員状態推定装置２は、調整用情報に含まれる推定結果のように推定されていた乗員の状態の推定方法において、乗員の状態が調整用情報に含まれる設定乗員状態と推定されるよう、状態推定用条件を調整する。
例えば、乗員状態推定装置２は、乗員の開眼度に基づいて乗員は正常状態であると推定していたところ、調整装置１から、当該正常状態を示す推定結果と、異常状態を示す設定乗員状態が含まれる調整用情報を取得したとする。この場合、乗員状態推定装置２は、乗員の開眼度に基づいて乗員の状態を推定する際に用いる閾値を、異常状態を推定しやすくなるよう調整する。
例えば、乗員状態推定装置２は、乗員の開眼度に基づいて乗員は正常状態であると推定していたところ、調整装置１から、当該正常状態を示す推定結果と、異常状態を示す設定乗員状態が含まれる調整用情報を取得したとする。この場合、乗員状態推定装置２は、乗員の開眼度に基づいて乗員の状態を推定する際に用いる閾値を、異常状態を推定しやすくなるよう調整する。
【0046】
実施の形態１に係る調整装置１の動作について説明する。
図２は、実施の形態１に係る調整装置１の動作を説明するためのフローチャートである。車両が走行している間、図２のフローチャートで示す動作が繰り返される。
図２は、実施の形態１に係る調整装置１の動作を説明するためのフローチャートである。車両が走行している間、図２のフローチャートで示す動作が繰り返される。
【0047】
推定情報収集部１１は、乗員状態推定装置２によってそれぞれ推定された、乗員の状態の推定結果を収集する（ステップＳＴ１）。
推定情報収集部１１は、収集した複数の推定結果を判定部１２に出力する。
推定情報収集部１１は、収集した複数の推定結果を判定部１２に出力する。
【0048】
判定部１２は、ステップＳＴ１にて推定情報収集部１１が収集した複数の推定結果に基づいて、判定処理を行う（ステップＳＴ２）。
【0049】
状態確認部１３は、ステップＳＴ２にて、判定部１２が、乗員の状態を確認する必要があると判定した場合、言い換えれば、判定部１２から状態確認指示情報が出力された場合、「乗員状態確認処理」を行う（ステップＳＴ３）。
【0050】
調整用情報出力部１４は、ステップＳＴ３にて状態確認部１３が乗員状態設定処理を行うと、乗員状態推定装置２に対して調整用情報を出力する（ステップＳＴ４）。
【0051】
図３は、図２のステップＳＴ２における判定部１２の判定処理の詳細を説明するためのフローチャートである。
判定部１２は、図２のステップＳＴ１にて推定情報収集部１１が収集した複数の推定結果のうちのいずれか１つが異常状態を示すか否かを判定する（ステップＳＴ２０１）。
ステップＳＴ２０１にて、判定部１２が、複数の推定結果のうち１つも異常状態を示す推定結果がない、言い換えれば、複数の推定結果の全てが正常状態を示すと判定した場合（ステップＳＴ２０１の“ＮＯ”の場合）、調整装置１は、図２のフローチャートで示す動作を終了する。
判定部１２は、図２のステップＳＴ１にて推定情報収集部１１が収集した複数の推定結果のうちのいずれか１つが異常状態を示すか否かを判定する（ステップＳＴ２０１）。
ステップＳＴ２０１にて、判定部１２が、複数の推定結果のうち１つも異常状態を示す推定結果がない、言い換えれば、複数の推定結果の全てが正常状態を示すと判定した場合（ステップＳＴ２０１の“ＮＯ”の場合）、調整装置１は、図２のフローチャートで示す動作を終了する。
【0052】
ステップＳＴ２０１にて、複数の推定結果のうちのいずれか１つが異常状態を示す場合（ステップＳＴ２０１の“ＹＥＳ”の場合）、判定部１２は、全ての推定結果が異常状態を示す推定結果であるか否かを判定する（ステップＳＴ２０２）。
ステップＳＴ２０２にて、判定部１２が、全ての推定結果が異常状態を示すと判定した場合（ステップＳＴ２０２の“ＹＥＳ”の場合）、調整装置１は、図２のフローチャートで示す動作を終了する。
ステップＳＴ２０２にて、判定部１２が、全ての推定結果が異常状態を示すと判定した場合（ステップＳＴ２０２の“ＹＥＳ”の場合）、調整装置１は、図２のフローチャートで示す動作を終了する。
【0053】
ステップＳＴ２０２にて、推定結果の全てが異常状態を示す推定結果ではないと判定した場合、言い換えれば、その他の推定結果の中に正常状態を示す推定結果が存在する場合（ステップＳＴ２０２の“ＮＯ”の場合）、判定部１２は、図２のステップＳＴ１にて推定情報収集部１１が収集した複数の推定結果のうち、異常状態を示している推定結果の中に、判定用期間継続して異常状態を示している推定結果が存在するか否かを判定する（ステップＳＴ２０３）。
ステップＳＴ２０３にて、判定部１２が、判定用期間継続して異常状態を示している推定結果が存在しないと判定した場合（ステップＳＴ２０３の“ＮＯ”の場合）、調整装置１は、図２のフローチャートで示す動作を終了する。
ステップＳＴ２０３にて、判定部１２が、判定用期間継続して異常状態を示している推定結果が存在しないと判定した場合（ステップＳＴ２０３の“ＮＯ”の場合）、調整装置１は、図２のフローチャートで示す動作を終了する。
【0054】
ステップＳＴ２０３にて、判定用期間継続して異常状態を示している推定結果が存在していると判定した場合（ステップＳＴ２０３の“ＹＥＳ”の場合）、判定部１２は、乗員の状態を確認する必要があると判定し、状態確認部１３に状態確認指示情報を出力する（ステップＳＴ２０４）。
また、判定部１２は、総合結果情報を生成し、生成した総合結果情報を、運転支援装置３に出力する。
また、判定部１２は、総合結果情報を生成し、生成した総合結果情報を、運転支援装置３に出力する。
【0055】
図４および図５は、図２のステップＳＴ３における状態確認部１３の「乗員状態確認処理」の詳細を説明するためのフローチャートである。
図４は、状態確認部１３が、乗員に対して応答を求めることで収集した挙動判定用情報に基づいて乗員の状態を設定する場合の「乗員状態確認処理」の詳細を説明するためのフローチャートであり、図５は、状態確認部１３が、乗員に対して応答を求めることなく収集した挙動判定用情報に基づいて乗員の状態を設定する場合の「乗員状態確認処理」の詳細を説明するためのフローチャートである。
状態確認部１３は、図４に示す「乗員状態確認処理」または図５に示す「乗員状態確認処理」を行う。
図４は、状態確認部１３が、乗員に対して応答を求めることで収集した挙動判定用情報に基づいて乗員の状態を設定する場合の「乗員状態確認処理」の詳細を説明するためのフローチャートであり、図５は、状態確認部１３が、乗員に対して応答を求めることなく収集した挙動判定用情報に基づいて乗員の状態を設定する場合の「乗員状態確認処理」の詳細を説明するためのフローチャートである。
状態確認部１３は、図４に示す「乗員状態確認処理」または図５に示す「乗員状態確認処理」を行う。
【0056】
まず、図４のフローチャートについて説明する。
状態確認部１３の挙動判定用情報収集部１３１は、挙動判定用情報収集装置４等の装置に対し、乗員に対し問合せ情報を出力して（ステップＳＴ３０１）、挙動判定用情報収集装置４から挙動判定用情報を収集する（ステップＳＴ３０２）。
状態確認部１３の挙動判定用情報収集部１３１は、挙動判定用情報収集装置４等の装置に対し、乗員に対し問合せ情報を出力して（ステップＳＴ３０１）、挙動判定用情報収集装置４から挙動判定用情報を収集する（ステップＳＴ３０２）。
【0057】
ステップＳＴ３０２にて挙動判定用情報収集部１３１が挙動情報を収集すると、状態確認部１３の設定部１３２は、挙動判定用情報収集部１３１が収集した挙動判定用情報に基づき、乗員の挙動を判定する。そして、設定部１３２は、判定した乗員の挙動が正常条件を満たすか否かを判定する（ステップＳＴ３０３）。
ここで、正常条件は、例えば、上述した（１）～（４）の正常条件のいずれかである。設定部１３２は、例えば、これらの（１）～（４）の正常条件を組み合わせて、正常条件を満たすか否かを判定してもよい。
ここで、正常条件は、例えば、上述した（１）～（４）の正常条件のいずれかである。設定部１３２は、例えば、これらの（１）～（４）の正常条件を組み合わせて、正常条件を満たすか否かを判定してもよい。
【0058】
判定した乗員の挙動が正常条件を満たす場合（ステップＳＴ３０３の“ＹＥＳ”の場合）、設定部１３２は、乗員の状態は正常状態と設定する（ステップＳＴ３０４）。
一方、判定した乗員の挙動が正常条件を満たさない場合（ステップＳＴ３０３の“ＮＯ”の場合）、設定部１３２は、乗員の状態は異常状態と設定する（ステップＳＴ３０５）。
一方、判定した乗員の挙動が正常条件を満たさない場合（ステップＳＴ３０３の“ＮＯ”の場合）、設定部１３２は、乗員の状態は異常状態と設定する（ステップＳＴ３０５）。
【0059】
次に、図５のフローチャートについて説明する。
状態確認部１３の挙動判定用情報収集部１３１は、挙動判定用情報収集装置４から挙動判定用情報を収集する（ステップＳＴ３１１）。
状態確認部１３の挙動判定用情報収集部１３１は、挙動判定用情報収集装置４から挙動判定用情報を収集する（ステップＳＴ３１１）。
【0060】
ステップＳＴ３１１にて挙動判定用情報収集部１３１が挙動判定用情報を収集すると、状態確認部１３の設定部１３２は、挙動判定用情報収集部１３１が収集した挙動判定用情報に基づき、乗員の挙動を判定する。そして、設定部１３２は、判定した乗員の挙動が正常条件を満たすか否かを判定する（ステップＳＴ３１２）。
ここで、正常条件は、例えば、上述した（５）～（６）の正常条件のいずれかである。設定部１３２は、例えば、これらの（５）～（６）の正常条件を組み合わせて、正常条件を満たすか否かを判定してもよい。
ここで、正常条件は、例えば、上述した（５）～（６）の正常条件のいずれかである。設定部１３２は、例えば、これらの（５）～（６）の正常条件を組み合わせて、正常条件を満たすか否かを判定してもよい。
【0061】
判定した乗員の挙動が正常条件を満たす場合（ステップＳＴ３１２の“ＹＥＳ”の場合）、設定部１３２は、乗員の状態は正常状態と設定する（ステップＳＴ３１３）。
一方、判定した乗員の挙動が正常条件を満たさない場合（ステップＳＴ３１２の“ＮＯ”の場合）、設定部１３２は、乗員の状態は異常状態と設定する（ステップＳＴ３１４）。
一方、判定した乗員の挙動が正常条件を満たさない場合（ステップＳＴ３１２の“ＮＯ”の場合）、設定部１３２は、乗員の状態は異常状態と設定する（ステップＳＴ３１４）。
【0062】
このように、調整装置１は、乗員状態推定装置２から収集した複数の乗員の状態の推定結果に基づいて、乗員の状態を確認する必要があると判定すると、乗員の挙動を判定して、設定乗員状態を設定する。そして、調整装置１は、乗員状態推定装置２に対して、調整用情報を出力する。乗員状態推定装置２は、調整装置１から調整用情報が出力されると、当該調整用情報に基づいて、調整用情報に含まれる推定結果のように推定されていた乗員の状態の推定方法において、乗員の状態が調整用情報に含まれる設定乗員状態と推定されるよう、状態推定用条件を調整する。
これにより、調整装置１は、乗員に応じて、乗員状態推定装置２における乗員の状態の推定方法を調整することができる。
これにより、調整装置１は、乗員に応じて、乗員状態推定装置２における乗員の状態の推定方法を調整することができる。
【0063】
図６Ａ，図６Ｂは、実施の形態１に係る調整装置１のハードウェア構成の一例を示す図である。
実施の形態１において、推定情報収集部１１と、判定部１２と、状態確認部１３と、調整用情報出力部１４の機能は、処理回路６０１により実現される。すなわち、調整装置１は、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路６０１を備える。
処理回路６０１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリ６０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０４であってもよい。
実施の形態１において、推定情報収集部１１と、判定部１２と、状態確認部１３と、調整用情報出力部１４の機能は、処理回路６０１により実現される。すなわち、調整装置１は、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路６０１を備える。
処理回路６０１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリ６０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０４であってもよい。
【0064】
処理回路６０１が専用のハードウェアである場合、処理回路６０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【0065】
処理回路６０１がＣＰＵ６０４の場合、推定情報収集部１１と、判定部１２と、状態確認部１３と、調整用情報出力部１４の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ６０５に記憶される。処理回路６０１は、メモリ６０５に記憶されたプログラムを読み出して実行することにより、推定情報収集部１１と、判定部１２と、状態確認部１３と、調整用情報出力部１４の機能を実行する。すなわち、調整装置１は、処理回路６０１により実行されるときに、上述の図２のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ６０５を備える。また、メモリ６０５に記憶されたプログラムは、推定情報収集部１１と、判定部１２と、状態確認部１３と、調整用情報出力部１４の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ６０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0066】
なお、推定情報収集部１１と、判定部１２と、状態確認部１３と、調整用情報出力部１４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、推定情報収集部１１と調整用情報出力部１４については専用のハードウェアとしての処理回路６０１でその機能を実現し、判定部１２と、状態確認部１３については処理回路６０１がメモリ６０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、図示しない記憶部は、メモリ６０５を使用する。なお、これは一例であって、記憶部は、ＨＤＤ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されてもよい。
また、調整装置１は、乗員状態推定装置２、運転支援装置３、または、挙動判定用情報収集装置４等の装置と、有線通信または無線通信を行う入力インタフェース装置６０２および出力インタフェース装置６０３を備える。
また、図示しない記憶部は、メモリ６０５を使用する。なお、これは一例であって、記憶部は、ＨＤＤ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されてもよい。
また、調整装置１は、乗員状態推定装置２、運転支援装置３、または、挙動判定用情報収集装置４等の装置と、有線通信または無線通信を行う入力インタフェース装置６０２および出力インタフェース装置６０３を備える。
【0067】
以上の実施の形態１では、調整装置１は、車両に搭載される車載装置とし、推定情報収集部１１と、判定部１２と、状態確認部１３と、調整用情報出力部１４とは、調整装置１に備えられていた。これに限らず、推定情報収集部１１と、判定部１２と、状態確認部１３と、調整用情報出力部１４のうち、一部が車両の車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられるようにしてもよい。また、乗員状態推定装置２がサーバに搭載されてもよい。
【0068】
また、以上の実施の形態１では、乗員とは車両のドライバとしたが、これは一例に過ぎない。乗員とは、例えば、車両のドライバ以外の乗員としてもよい。例えば、乗員とは、ドライバの同乗者としてもよいし、車両が自動運転可能な車両である場合、自動運転から手動運転への運転を引き継ぐ可能性のある乗員としてもよい。
この場合、乗員状態推定装置２は、例えば、乗員の体調が良好な「正常状態」であるか、体調不良または酩酊状態等の「異常状態」であるかを推定する。
この場合、乗員状態推定装置２は、例えば、乗員の体調が良好な「正常状態」であるか、体調不良または酩酊状態等の「異常状態」であるかを推定する。
【0069】
以上のように、実施の形態１によれば、調整装置１は、複数の乗員状態推定装置２によってそれぞれ推定された、乗員の状態の推定結果を収集する推定情報収集部１１と、推定情報収集部１１が収集した推定結果に基づいて、乗員の状態を確認する必要があるか否かを判定する判定部１２と、判定部１２が、乗員の状態を確認する必要があると判定した場合、乗員の挙動を判定するための挙動判定用情報に基づき乗員の挙動を判定して乗員の状態を設定する状態確認部１３と、乗員状態推定装置２に対して、乗員の状態の推定結果が、状態確認部１３が設定した乗員の状態となるよう、乗員の状態の推定に用いた状態推定用条件を調整させる調整用情報を出力する調整用情報出力部１４とを備えるように構成した。そのため、調整装置１は、乗員の状態を推定する乗員状態推定装置における乗員の状態の推定方法を調整することができる。
【0070】
実施の形態２．
実施の形態１では、調整装置は、判定処理において、収集した複数の推定結果のうちの少なくとも１つが異常状態を示し、その他の推定結果の中に正常状態を示す推定結果が存在する場合であって、かつ、異常状態を示している推定結果の中に判定用期間継続して異常状態を示している推定結果が存在する場合、乗員の状態を確認する必要があると判定していた。
実施の形態２では、状況に応じて判定用期間を短縮する実施の形態について説明する。
実施の形態１では、調整装置は、判定処理において、収集した複数の推定結果のうちの少なくとも１つが異常状態を示し、その他の推定結果の中に正常状態を示す推定結果が存在する場合であって、かつ、異常状態を示している推定結果の中に判定用期間継続して異常状態を示している推定結果が存在する場合、乗員の状態を確認する必要があると判定していた。
実施の形態２では、状況に応じて判定用期間を短縮する実施の形態について説明する。
【0071】
図７は、実施の形態２に係る調整装置１ａの構成例を示す図である。
実施の形態２に係る調整装置１ａの構成について、実施の形態１にて図１を用いて説明した調整装置１と同様の構成には、同じ符号を付して重複した説明を省略する。
実施の形態２に係る調整装置１ａは、実施の形態１に係る調整装置１とは、参考情報収集部１５を備えるようにした点が異なる。また、実施の形態２に係る調整装置１ａにおける判定部１２ａの具体的な動作が、実施の形態１に係る調整装置１における判定部１２の具体的な動作とは異なる。
実施の形態２において、調整装置１ａと乗員状態推定装置２とで調整システム１００ａが構成される。
実施の形態２に係る調整装置１ａの構成について、実施の形態１にて図１を用いて説明した調整装置１と同様の構成には、同じ符号を付して重複した説明を省略する。
実施の形態２に係る調整装置１ａは、実施の形態１に係る調整装置１とは、参考情報収集部１５を備えるようにした点が異なる。また、実施の形態２に係る調整装置１ａにおける判定部１２ａの具体的な動作が、実施の形態１に係る調整装置１における判定部１２の具体的な動作とは異なる。
実施の形態２において、調整装置１ａと乗員状態推定装置２とで調整システム１００ａが構成される。
【0072】
また、実施の形態２では、調整装置１ａは、参考情報収集装置５と接続される。
参考情報収集装置５は、調整装置１ａによる「判定処理」において、推定結果が示す異常状態の継続時間を判定するための判定用期間を短縮する必要があるかを判定する参考となる情報（以下「参考情報」という。）を収集する。
例えば異常状態が確からしい場合、判定用期間、異常状態であることを待つことなく、速やかに乗員の状態を確認することで、調整用情報を出力するまでの時間を短くすることができる。調整用情報を出力するまでの時間を短くすることができれば、結果的に、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができる。
すなわち、参考情報は、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができるかを判定するために参考とする、推定結果が示す異常状態であることの確からしさを推定するための情報である。
参考情報収集装置５は、調整装置１ａによる「判定処理」において、推定結果が示す異常状態の継続時間を判定するための判定用期間を短縮する必要があるかを判定する参考となる情報（以下「参考情報」という。）を収集する。
例えば異常状態が確からしい場合、判定用期間、異常状態であることを待つことなく、速やかに乗員の状態を確認することで、調整用情報を出力するまでの時間を短くすることができる。調整用情報を出力するまでの時間を短くすることができれば、結果的に、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができる。
すなわち、参考情報は、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができるかを判定するために参考とする、推定結果が示す異常状態であることの確からしさを推定するための情報である。
【0073】
乗員の状態は、車両内の環境に左右される。例えば、車両内の環境が乗員に対して異常をきたす環境である場合、乗員は異常状態となりやすい。車両内の環境が乗員に異常をきたす環境とは、例えば、車両内の空気中の酸素濃度が低い、または、二酸化炭素濃度が高い環境である。
また、例えば、乗員が異常状態である場合に行いがちな動作（以下「異常時動作」という。）がある。例えば、乗員は、覚醒していない状態であるとき、覚醒するために体をつねる等、覚醒を維持するための動作を行う。
従って、乗員の異常状態の確からしさは、車両内の環境、または、乗員が異常時動作を行っているか否か、から推定することができる。
そこで、実施の形態２において、参考情報は、車両内の環境を判定するための情報（以下「車内環境判定用情報」という。）、または、乗員の異常時動作を判定するための情報（以下「異常時動作判定用情報」という。）とする。
車内環境判定用情報としては、具体的には、例えば、車両内の空気中の物質濃度、車両内の温度、車両内の湿度、または、連続運転時間を示す情報が挙げられる。車両内の空気中の物質濃度とは、例えば、酸素濃度または二酸化炭素濃度である。
異常時動作判定用情報としては、具体的には、例えば、車内撮像画像、ハンドル操作量、ハンドルに係る圧力、座席の座圧、または、シートベルトの着用情報が挙げられる。
また、例えば、乗員が異常状態である場合に行いがちな動作（以下「異常時動作」という。）がある。例えば、乗員は、覚醒していない状態であるとき、覚醒するために体をつねる等、覚醒を維持するための動作を行う。
従って、乗員の異常状態の確からしさは、車両内の環境、または、乗員が異常時動作を行っているか否か、から推定することができる。
そこで、実施の形態２において、参考情報は、車両内の環境を判定するための情報（以下「車内環境判定用情報」という。）、または、乗員の異常時動作を判定するための情報（以下「異常時動作判定用情報」という。）とする。
車内環境判定用情報としては、具体的には、例えば、車両内の空気中の物質濃度、車両内の温度、車両内の湿度、または、連続運転時間を示す情報が挙げられる。車両内の空気中の物質濃度とは、例えば、酸素濃度または二酸化炭素濃度である。
異常時動作判定用情報としては、具体的には、例えば、車内撮像画像、ハンドル操作量、ハンドルに係る圧力、座席の座圧、または、シートベルトの着用情報が挙げられる。
【0074】
参考情報収集装置５は、参考情報を収集することが可能な種々の装置である。
参考情報収集装置５は、車内環境情報収集装置５１と乗員動作情報収集装置５２を含む。車内環境情報収集装置５１は、車内環境判定用情報を収集する。車内環境情報収集装置５１は、例えば、車両に搭載されている濃度測定器、温度センサ、湿度センサ、または、ナビゲーション装置である。
乗員動作情報収集装置５２は、異常時動作判定用情報を収集する。乗員動作情報収集装置５２は、例えば、車両に搭載されている車内カメラ、操舵角センサ、ハンドルに設けられた圧力センサ、座圧センサ、または、シートベルトセンサである。
なお、参考情報収集装置５は、挙動判定用情報収集装置４と共通の装置としてもよい。
参考情報収集装置５は、車内環境情報収集装置５１と乗員動作情報収集装置５２を含む。車内環境情報収集装置５１は、車内環境判定用情報を収集する。車内環境情報収集装置５１は、例えば、車両に搭載されている濃度測定器、温度センサ、湿度センサ、または、ナビゲーション装置である。
乗員動作情報収集装置５２は、異常時動作判定用情報を収集する。乗員動作情報収集装置５２は、例えば、車両に搭載されている車内カメラ、操舵角センサ、ハンドルに設けられた圧力センサ、座圧センサ、または、シートベルトセンサである。
なお、参考情報収集装置５は、挙動判定用情報収集装置４と共通の装置としてもよい。
【0075】
調整装置１ａにおいて、参考情報収集部１５は、参考情報収集装置５から参考情報を収集する。具体的には、参考情報収集部１５は、車内環境情報収集装置５１から車内環境判定用情報を収集する。また、参考情報収集部１５は、乗員動作情報収集装置５２から異常時動作判定用情報を収集する。
なお、参考情報収集部１５が、車内環境判定用情報と異常時動作判定用情報の両方を収集することは必須ではない。参考情報収集部１５は、車内環境判定用情報または異常時動作判定用情報のいずれか一方のみを収集するようにしてもよい。
参考情報収集装置５が挙動判定用情報収集装置４と共通の装置である場合、参考情報収集部１５は、挙動判定用情報収集装置４から車内環境判定用情報または異常時動作判定用情報を収集する。
参考情報収集部１５は、収集した参考情報、言い換えれば、車内環境判定用情報または異常時動作判定用情報を、判定部１２ａに出力する。
なお、参考情報収集部１５が、車内環境判定用情報と異常時動作判定用情報の両方を収集することは必須ではない。参考情報収集部１５は、車内環境判定用情報または異常時動作判定用情報のいずれか一方のみを収集するようにしてもよい。
参考情報収集装置５が挙動判定用情報収集装置４と共通の装置である場合、参考情報収集部１５は、挙動判定用情報収集装置４から車内環境判定用情報または異常時動作判定用情報を収集する。
参考情報収集部１５は、収集した参考情報、言い換えれば、車内環境判定用情報または異常時動作判定用情報を、判定部１２ａに出力する。
【0076】
判定部１２ａは、推定情報収集部１１が収集した複数の推定結果に基づいて、「判定処理」を行う。その際、判定部１２ａは、参考情報収集部１５が収集した参考情報に基づき、判定用期間を短縮するか否かの判定を行う。判定部１２ａは、判定用期間を短縮すると判定した場合は、判定用期間を短縮し、短縮した判定用期間を用いて、「判定処理」を行う。判定部１２ａが行う「判定処理」について、判定用期間を短縮する点以外は、実施の形態１にて説明済みの、判定部１２が行う「判定処理」と同様であるため、重複した説明を省略する。
【0077】
判定部１２ａが判定用期間を短縮する動作について、具体例を挙げて説明する。
例えば、判定部１２ａは、車内環境判定用情報に基づき、車両内の環境が乗員に対して異常をきたす環境であるかによって、判定用期間を短縮する。判定部１２ａは、車両内の環境が乗員に対して異常をきたす環境であると判定した場合、判定用期間を短縮する。例えば、判定部１２ａは、車両に対して低周波振動が継続して発生していると判定した場合、判定用期間を短縮する。また、例えば、判定部１２ａは、車両内の酸素濃度が予め設定された閾値よりも低い場合、判定用期間を短縮する。また、例えば、判定部１２ａは、車両内の湿度が予め設定された閾値よりも高い場合、判定用期間を短縮する。
例えば、判定部１２ａは、車内環境判定用情報に基づき、車両内の環境が乗員に対して異常をきたす環境であるかによって、判定用期間を短縮する。判定部１２ａは、車両内の環境が乗員に対して異常をきたす環境であると判定した場合、判定用期間を短縮する。例えば、判定部１２ａは、車両に対して低周波振動が継続して発生していると判定した場合、判定用期間を短縮する。また、例えば、判定部１２ａは、車両内の酸素濃度が予め設定された閾値よりも低い場合、判定用期間を短縮する。また、例えば、判定部１２ａは、車両内の湿度が予め設定された閾値よりも高い場合、判定用期間を短縮する。
【0078】
また、例えば、判定部１２ａは、異常時動作判定用情報に基づき、乗員が覚醒を維持するための動作を行っているか否か、または、体動に変化があるか否かによって、判定用期間を短縮する。判定部１２ａは、乗員が覚醒を維持するための動作を行っている、または、体動に変化があると判定した場合、判定用期間を短縮する。例えば、異常時動作判定用情報が車内撮像画像である場合、判定部１２ａは、既知の画像認識技術を用いて、乗員が覚醒を維持するための動作を行っていることを判定できる。また、例えば、異常時動作判定用情報が座圧またはシートベルトの引き出し量であれば、判定部１２ａは、当該座圧またはシートベルトの引き出し量から、乗員の体動に変化があるか否かを判定できる。
【0079】
なお、判定部１２ａがどれぐらい判定用期間を短縮するかは、予め決められている。
判定部１２ａは、車両内の環境が乗員に対して異常をきたす環境である度合い、または、乗員が行っている異常時動作の内容によって、短縮する期間を変えるようにしてもよい。車両内の環境が乗員に対して異常をきたす環境である度合いがどれぐらいである場合に、どれぐらい判定用期間を短縮するか、および、乗員が行っている異常時動作の内容がどのような内容である場合にどれぐらい判定用期間を短縮するかは、予め決められているものとする。
車両内の環境が乗員に対して異常をきたす環境である度合い、または、乗員が行っている異常時動作の内容によって、短縮する期間を変えることで、調整装置１ａは、短縮する期間を変えない場合と比べ、異常状態がより確からしい場合に、より速やかに乗員の状態を確認し、調整用情報を出力するまでの時間をより短くすることができる。その結果、調整装置１ａは、乗員状態推定装置２における乗員の状態の推定方法の調整をよりはやく行うことができる。
判定部１２ａは、車両内の環境が乗員に対して異常をきたす環境である度合い、または、乗員が行っている異常時動作の内容によって、短縮する期間を変えるようにしてもよい。車両内の環境が乗員に対して異常をきたす環境である度合いがどれぐらいである場合に、どれぐらい判定用期間を短縮するか、および、乗員が行っている異常時動作の内容がどのような内容である場合にどれぐらい判定用期間を短縮するかは、予め決められているものとする。
車両内の環境が乗員に対して異常をきたす環境である度合い、または、乗員が行っている異常時動作の内容によって、短縮する期間を変えることで、調整装置１ａは、短縮する期間を変えない場合と比べ、異常状態がより確からしい場合に、より速やかに乗員の状態を確認し、調整用情報を出力するまでの時間をより短くすることができる。その結果、調整装置１ａは、乗員状態推定装置２における乗員の状態の推定方法の調整をよりはやく行うことができる。
【0080】
実施の形態２に係る調整装置１ａの動作について説明する。
図８は、実施の形態２に係る調整装置１ａの動作を説明するためのフローチャートである。
図８のステップＳＴ１、ステップＳＴ３～ステップＳＴ４の具体的な動作は、それぞれ、実施の形態１にて説明済みの、実施の形態１に係る調整装置１による図２のステップＳＴ１、ステップＳＴ３～ステップＳＴ４の具体的な動作と同様であるため、重複した説明を省略する。
図８は、実施の形態２に係る調整装置１ａの動作を説明するためのフローチャートである。
図８のステップＳＴ１、ステップＳＴ３～ステップＳＴ４の具体的な動作は、それぞれ、実施の形態１にて説明済みの、実施の形態１に係る調整装置１による図２のステップＳＴ１、ステップＳＴ３～ステップＳＴ４の具体的な動作と同様であるため、重複した説明を省略する。
【0081】
判定部１２ａは、図８のステップＳＴ１にて推定情報収集部１１が収集した複数の推定結果に基づいて、「判定処理」を行う（ステップＳＴ２ａ）。
【0082】
図９は、図８のステップＳＴ２ａにおける判定部１２ａによる「判定処理」の詳細を説明するためのフローチャートである。
図９において、ステップＳＴ２１１～ステップＳＴ２１２、ステップＳＴ２１６～ステップＳＴ２１７の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図３のステップＳＴ２０１～ステップＳＴ２０４の具体的な動作と同様であるため、重複した説明を省略する。
図９において、ステップＳＴ２１１～ステップＳＴ２１２、ステップＳＴ２１６～ステップＳＴ２１７の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図３のステップＳＴ２０１～ステップＳＴ２０４の具体的な動作と同様であるため、重複した説明を省略する。
【0083】
ステップＳＴ２１２にて、推定結果の全てが異常状態を示す推定結果ではないと判定した場合、言い換えれば、その他の推定結果の中に正常状態を示す推定結果が存在する場合（ステップＳＴ２１２の“ＮＯ”の場合）、参考情報収集部１５は、参考情報収集装置５から参考情報を収集する。そして、判定部１２ａは、参考情報収集部１５が収集した参考情報、より詳細には、車内環境判定用情報に基づき、車両内の環境が良好か否か、言い換えれば、車両内の環境が乗員に対して異常をきたす環境であるか否かを判定する（ステップＳＴ２１３）。
ステップＳＴ２１３にて、車両内の環境が良好であると判定した場合、言い換えれば、車両内の環境が乗員に対して異常をきたす環境ではないと判定した場合（ステップＳＴ２１３の“ＹＥＳ”の場合）、判定部１２ａは、参考情報、より詳細には、異常時動作判定用情報に基づき、乗員が覚醒を維持するための動作を行っているか否かを判定する（ステップＳＴ２１４）。
ステップＳＴ２１４にて、乗員が覚醒を維持するための動作を行っていないと判定した場合（ステップＳＴ２１４の“ＮＯ”の場合）、判定部１２ａの動作は、ステップＳＴ２１６の動作に進む。
ステップＳＴ２１３にて、車両内の環境が良好であると判定した場合、言い換えれば、車両内の環境が乗員に対して異常をきたす環境ではないと判定した場合（ステップＳＴ２１３の“ＹＥＳ”の場合）、判定部１２ａは、参考情報、より詳細には、異常時動作判定用情報に基づき、乗員が覚醒を維持するための動作を行っているか否かを判定する（ステップＳＴ２１４）。
ステップＳＴ２１４にて、乗員が覚醒を維持するための動作を行っていないと判定した場合（ステップＳＴ２１４の“ＮＯ”の場合）、判定部１２ａの動作は、ステップＳＴ２１６の動作に進む。
【0084】
一方、ステップＳＴ２１３にて、車両内の環境が良好ではないと判定した場合、言い換えれば、車両内の環境が乗員に対して異常をきたす環境であると判定した場合（ステップＳＴ２１３の“ＮＯ”の場合）、および、ステップＳＴ２１４にて、乗員が覚醒を維持するための動作を行っていると判定した場合（ステップＳＴ２１４の“ＹＥＳ”の場合）、判定部１２ａは、判定用期間を短縮する。そして、判定部１２ａの動作は、ステップＳＴ２１６の動作に進む。
【0085】
なお、ここでは、判定部１２ａは、ステップＳＴ２１４にて、乗員が覚醒を維持するための動作を行っているか否かを判定するようにしたが、これは一例に過ぎない。ステップＳＴ２１４において、判定部１２ａは、例えば、乗員の体動に変化があるか否かを判定してもよい。判定部１２ａは、ステップＳＴ２１４にて、乗員が異常時動作を行っているか否かを判定するようになっていればよい。
【0086】
また、ここでは、ステップＳＴ２１３、ステップＳＴ２１４の順番で動作が行われるようにしたが、ステップＳＴ２１３とステップＳＴ２１４の順番は入れ替わってもよい。
【0087】
また、例えば、参考情報収集部１５が車内環境判定用情報を収集しない場合、判定部１２ａは、ステップＳＴ２１３の動作を省略することができる。また、例えば、参考情報収集部１５が異常時動作判定用情報を収集しない場合、判定部１２ａは、ステップＳＴ２１４の動作を省略することができる。
【0088】
このように、調整装置１ａは、乗員状態推定装置２が推定した異常状態が確からしい場合、判定用期間を短縮する。これにより、調整装置１ａは、速やかに乗員の状態を確認することで、調整用情報を出力するまでの時間を短くすることができる。その結果、調整装置１ａは、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができる。
【0089】
実施の形態２に係る調整装置１ａのハードウェア構成は、図６Ａおよび図６Ｂを用いて説明した、実施の形態１に係る調整装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態２において、推定情報収集部１１と、判定部１２ａと、状態確認部１３と、調整用情報出力部１４と、参考情報収集部１５の機能は、処理回路６０１により実現される。すなわち、調整装置１ａは、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路６０１を備える。
処理回路６０１は、メモリ６０５に記憶されたプログラムを読み出して実行することにより、推定情報収集部１１と、判定部１２ａと、状態確認部１３と、調整用情報出力部１４と、参考情報収集部１５の機能を実行する。すなわち、調整装置１ａは、処理回路６０１により実行されるときに、上述の図８のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ６０５を備える。また、メモリ６０５に記憶されたプログラムは、推定情報収集部１１と、判定部１２ａと、状態確認部１３と、調整用情報出力部１４と、参考情報収集部１５の手順または方法をコンピュータに実行させるものであるとも言える。
調整装置１ａは、乗員状態推定装置２、運転支援装置３、挙動判定用情報収集装置４、または、参考情報収集装置等の装置と、有線通信または無線通信を行う入力インタフェース装置６０２および出力インタフェース装置６０３を備える。
実施の形態２において、推定情報収集部１１と、判定部１２ａと、状態確認部１３と、調整用情報出力部１４と、参考情報収集部１５の機能は、処理回路６０１により実現される。すなわち、調整装置１ａは、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路６０１を備える。
処理回路６０１は、メモリ６０５に記憶されたプログラムを読み出して実行することにより、推定情報収集部１１と、判定部１２ａと、状態確認部１３と、調整用情報出力部１４と、参考情報収集部１５の機能を実行する。すなわち、調整装置１ａは、処理回路６０１により実行されるときに、上述の図８のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ６０５を備える。また、メモリ６０５に記憶されたプログラムは、推定情報収集部１１と、判定部１２ａと、状態確認部１３と、調整用情報出力部１４と、参考情報収集部１５の手順または方法をコンピュータに実行させるものであるとも言える。
調整装置１ａは、乗員状態推定装置２、運転支援装置３、挙動判定用情報収集装置４、または、参考情報収集装置等の装置と、有線通信または無線通信を行う入力インタフェース装置６０２および出力インタフェース装置６０３を備える。
【0090】
以上の実施の形態２に係る調整装置１ａにおいて、推定情報収集部１１と、判定部１２ａと、状態確認部１３と、調整用情報出力部１４と、参考情報収集部１５のうち、一部が車両の車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられるようにしてもよい。また、乗員状態推定装置２がサーバに搭載されてもよい。
【0091】
また、以上の実施の形態２でも、実施の形態１同様、乗員とは、例えば、車両のドライバ以外の乗員としてもよい。
【0092】
以上のように、実施の形態２によれば、調整装置１ａは、車両内の環境を判定するための車内環境判定用情報、および、乗員が異常状態である場合に行いがちな動作を判定するための異常時動作判定用情報のうちの少なくとも一方を参考情報として収集する参考情報収集部１５を備え、判定部１２ａは、参考情報収集部１５が収集した参考情報に基づき、判定用期間を短縮するように構成した。そのため、調整装置１ａは、乗員の状態を推定する乗員状態推定装置における乗員の状態の推定方法を調整できるとともに、乗員状態推定装置２が推定した異常状態が確からしい場合、判定用期間を短縮することで、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができる。
【0093】
実施の形態３．
実施の形態１では、調整装置は、「判定処理」において、異常状態を示している推定結果の中に判定用期間継続して異常状態を示している推定結果が存在する場合、乗員の状態を確認する必要があると判定していた。
実施の形態３では、乗員の状態を確認する必要があるか否かを、機械学習における学習済みのモデル（以下「機械学習モデル」という。）に基づいて判定する実施の形態について説明する。
実施の形態１では、調整装置は、「判定処理」において、異常状態を示している推定結果の中に判定用期間継続して異常状態を示している推定結果が存在する場合、乗員の状態を確認する必要があると判定していた。
実施の形態３では、乗員の状態を確認する必要があるか否かを、機械学習における学習済みのモデル（以下「機械学習モデル」という。）に基づいて判定する実施の形態について説明する。
【0094】
図１０は、実施の形態３に係る調整装置１ｂの構成例を示す図である。
実施の形態３に係る調整装置１ｂの構成について、実施の形態１にて図１を用いて説明した調整装置１と同様の構成には、同じ符号を付して重複した説明を省略する。
実施の形態３に係る調整装置１ｂは、実施の形態１に係る調整装置１とは、学習装置６を搭載し、モデル記憶部１６を備えるようにした点が異なる。また、実施の形態３に係る調整装置１ｂにおける判定部１２ｂの具体的な動作が、実施の形態１に係る調整装置１における判定部１２の具体的な動作とは異なる。
実施の形態３において、調整装置１ｂと乗員状態推定装置２とで調整システム１００ｂが構成される。
実施の形態３に係る調整装置１ｂの構成について、実施の形態１にて図１を用いて説明した調整装置１と同様の構成には、同じ符号を付して重複した説明を省略する。
実施の形態３に係る調整装置１ｂは、実施の形態１に係る調整装置１とは、学習装置６を搭載し、モデル記憶部１６を備えるようにした点が異なる。また、実施の形態３に係る調整装置１ｂにおける判定部１２ｂの具体的な動作が、実施の形態１に係る調整装置１における判定部１２の具体的な動作とは異なる。
実施の形態３において、調整装置１ｂと乗員状態推定装置２とで調整システム１００ｂが構成される。
【0095】
判定部１２ｂは、「判定処理」において、推定情報収集部１１が収集した推定結果と機械学習モデルとに基づいて、乗員の状態を確認する必要があるか否かを判定する。
機械学習モデルは、乗員の状態の推定結果を入力とし、乗員の状態を確認する必要があるか否かを示す情報（以下「確認要否情報」という。）を出力する機械学習モデルである。確認要否情報は、例えば、「１（確認要）」または「０（確認不要）」であらわされる。
機械学習モデルは、学習装置６によって、いわゆる教師あり学習にて生成され、モデル記憶部１６に記憶されている。
機械学習モデルは、乗員の状態の推定結果を入力とし、乗員の状態を確認する必要があるか否かを示す情報（以下「確認要否情報」という。）を出力する機械学習モデルである。確認要否情報は、例えば、「１（確認要）」または「０（確認不要）」であらわされる。
機械学習モデルは、学習装置６によって、いわゆる教師あり学習にて生成され、モデル記憶部１６に記憶されている。
【0096】
判定部１２ｂは、モデル記憶部１６から機械学習モデルを取得し、推定情報収集部１１が収集した推定結果と機械学習モデルとに基づき、「判定処理」を行う。具体的には、判定部１２ｂは、推定情報収集部１１が収集した推定結果を機械学習モデルの入力として、機械学習モデルから出力される確認要否情報を得る。
判定部１２ｂは、確認要との確認要否情報を得た場合、乗員の状態を確認する必要があると判定する。一方、判定部１２ｂは、確認不要との確認要否情報を得た場合、乗員の状態を確認する必要がないと判定する。
判定部１２ｂは、確認要との確認要否情報を得た場合、乗員の状態を確認する必要があると判定する。一方、判定部１２ｂは、確認不要との確認要否情報を得た場合、乗員の状態を確認する必要がないと判定する。
【0097】
なお、判定部１２ｂは、モデル記憶部１６に機械学習モデルが記憶されていない場合は、実施の形態１と同様の方法で、具体的には、異常状態を示している推定結果の中に判定用期間継続して異常状態を示している推定結果が存在するか否かによって、乗員の状態を確認する必要があるか否かを判定する。
【0098】
学習装置６の構成例について説明する。
学習装置６は、学習用データ生成部６１およびモデル生成部６２を備える。
学習用データ生成部６１は、機械学習モデルを生成するための学習用データを生成する。具体的には、学習用データ生成部６１は、乗員の状態の推定結果と確認要否情報とを含む学習用データを生成する。確認要否情報は教師ラベルである。
学習装置６は、学習用データ生成部６１およびモデル生成部６２を備える。
学習用データ生成部６１は、機械学習モデルを生成するための学習用データを生成する。具体的には、学習用データ生成部６１は、乗員の状態の推定結果と確認要否情報とを含む学習用データを生成する。確認要否情報は教師ラベルである。
【0099】
実施の形態３に係る調整装置１ｂにおいて、推定情報収集部１１は、収集した複数の推定結果を記憶部（図示省略）に記憶する。また、判定部１２ｂは、「判定処理」を行った際に、乗員の状態を確認する必要があると判定したか否かの結果に基づいて確認要否情報を設定し、設定した確認要否情報を記憶部に記憶する。例えば、判定部１２ｂは、乗員の状態を確認する必要があると判定した場合、「１（確認要）」との確認要否情報を設定して記憶し、乗員の状態を確認する必要がないと判定した場合、「０（確認不要）」との確認要否情報を設定して記憶する。判定部１２ｂは、確認要否情報を、対応する複数の推定結果、すなわち、「判定処理」に用いられた複数の推定結果と対応付けて記憶する。
【0100】
学習用データ生成部６１は、記憶部に対応付けて記憶されている、推定情報収集部１１が乗員状態推定装置２から収集した乗員の状態の推定結果と、判定部１２ｂが設定した確認要否情報とを取得し、取得した推定結果と確認要否情報とが対応付けられた学習用データを生成する。
なお、学習用データ生成部６１は、対応付けられた推定結果および設定乗員状態が、予め設定された数記憶されている場合に、学習用データを生成する。
学習用データ生成部６１は、生成した学習用データを、モデル生成部６２に出力する。
なお、学習用データ生成部６１は、対応付けられた推定結果および設定乗員状態が、予め設定された数記憶されている場合に、学習用データを生成する。
学習用データ生成部６１は、生成した学習用データを、モデル生成部６２に出力する。
【0101】
モデル生成部６２は、学習用データ生成部６１が生成した学習用データに基づいて、機械学習モデルを生成する。
【0102】
モデル生成部６２が用いる学習アルゴリズムは、教師あり学習の公知のアルゴリズムを用いることができる。一例として、学習アルゴリズムにニューラルネットワークを適用した場合について説明する。
モデル生成部６２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、乗員の状態を確認する必要があるか否かを学習する。ここで、教師あり学習とは、入力と結果（教師ラベル）のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、および、複数のニューロンからなる出力層で構成される。中間層は、１層、または、２層以上でもよい。
モデル生成部６２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、乗員の状態を確認する必要があるか否かを学習する。ここで、教師あり学習とは、入力と結果（教師ラベル）のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、および、複数のニューロンからなる出力層で構成される。中間層は、１層、または、２層以上でもよい。
【0103】
ここで、図１１は、ニューラルネットワークについて説明するための図である。
例えば、図１１に示すような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１－Ｘ３）に入力されると、その値に重みＷ１（ｗ１１－ｗ１６）を掛けて中間層（Ｙ１－Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１－ｗ２６）を掛けて出力層（Ｚ１－Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２の値によって変わる。
例えば、図１１に示すような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１－Ｘ３）に入力されると、その値に重みＷ１（ｗ１１－ｗ１６）を掛けて中間層（Ｙ１－Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１－ｗ２６）を掛けて出力層（Ｚ１－Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２の値によって変わる。
【0104】
モデル生成部６２は、推定情報収集部１１および確認要否情報の組み合わせに基づいて生成される学習用データに従って、いわゆる教師あり学習により、ニューラルネットワークで構成された機械学習モデルを学習させる。
モデル生成部６２は、生成した機械学習モデルをモデル記憶部１６に記憶させる。
モデル生成部６２は、生成した機械学習モデルをモデル記憶部１６に記憶させる。
【0105】
なお、上述のとおり、対応付けられた推定結果および設定乗員状態が、予め設定された数記憶されるまでの間は、学習用データは生成されない。そのため、対応付けられた推定結果および設定乗員状態が、予め設定された数記憶されるまでの間、機械学習モデルは生成されていない。この間、判定部１２ｂは、異常状態を示している推定結果の中に判定用期間継続して異常状態を示している推定結果が存在するか否かによって、乗員の状態を確認する必要があるか否かを判定する。
【0106】
モデル記憶部１６は、モデル生成部６２が生成した機械学習モデルを記憶する。
なお、ここでは、モデル記憶部１６は、調整装置１ｂに備えられているが、これは一例に過ぎない。モデル記憶部１６は、調整装置１ｂの外部の、調整装置１ｂが参照可能な場所に備えられていてもよい。
なお、ここでは、モデル記憶部１６は、調整装置１ｂに備えられているが、これは一例に過ぎない。モデル記憶部１６は、調整装置１ｂの外部の、調整装置１ｂが参照可能な場所に備えられていてもよい。
【0107】
実施の形態３に係る調整装置１ｂの動作について説明する。
図１２は、実施の形態３に係る調整装置１ｂの動作を説明するためのフローチャートである。
なお、図１２のフローチャートにて説明する調整装置１ｂの動作は、学習装置６によって機械学習モデルが生成され、当該機械学習モデルがモデル記憶部１６に記憶されていることを前提としている。機械学習モデルが生成されていない場合、調整装置１ｂは、実施の形態１にて図２のフローチャートを用いて説明した調整装置１の動作と同様の動作を行う。
図１２のステップＳＴ１、ステップＳＴ３～ステップＳＴ４の具体的な動作は、それぞれ、実施の形態１にて説明済みの、実施の形態１に係る調整装置１による図２のステップＳＴ１、ステップＳＴ３～ステップＳＴ４の具体的な動作と同様であるため、重複した説明を省略する。
図１２は、実施の形態３に係る調整装置１ｂの動作を説明するためのフローチャートである。
なお、図１２のフローチャートにて説明する調整装置１ｂの動作は、学習装置６によって機械学習モデルが生成され、当該機械学習モデルがモデル記憶部１６に記憶されていることを前提としている。機械学習モデルが生成されていない場合、調整装置１ｂは、実施の形態１にて図２のフローチャートを用いて説明した調整装置１の動作と同様の動作を行う。
図１２のステップＳＴ１、ステップＳＴ３～ステップＳＴ４の具体的な動作は、それぞれ、実施の形態１にて説明済みの、実施の形態１に係る調整装置１による図２のステップＳＴ１、ステップＳＴ３～ステップＳＴ４の具体的な動作と同様であるため、重複した説明を省略する。
【0108】
判定部１２ｂは、ステップＳＴ１にて推定情報収集部１１が収集した複数の推定結果と機械学習モデルとに基づいて、「判定処理」を行う（ステップＳＴ２ｂ）。
【0109】
図１３は、図１２のステップＳＴ２ｂにおける判定部１２ｂによる「判定処理」の詳細を説明するためのフローチャートである。
図１３において、ステップＳＴ２２１～ステップＳＴ２２２、ステップＳＴ２２４の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図３のステップＳＴ２０１～ステップＳＴ２０２、ステップＳＴ２０４の具体的な動作と同様であるため、重複した説明を省略する。
図１３において、ステップＳＴ２２１～ステップＳＴ２２２、ステップＳＴ２２４の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図３のステップＳＴ２０１～ステップＳＴ２０２、ステップＳＴ２０４の具体的な動作と同様であるため、重複した説明を省略する。
【0110】
ステップＳＴ２２２にて、推定結果の全てが異常状態を示す推定結果ではないと判定した場合、言い換えれば、その他の推定結果の中に正常状態を示す推定結果が存在する場合（ステップＳＴ２２２の“ＮＯ”の場合）、判定部１２ｂは、図１２のＳＴ１にて推定情報収集部１１が収集した推定結果を機械学習モデルの入力として、機械学習モデルから出力される確認要否情報を得る。
判定部１２ｂは、確認要との確認要否情報を得た場合（ステップＳＴ２２３の“ＹＥＳ”の場合）、乗員の状態を確認する必要があると判定する。そして、判定部１２ｂの動作は、ステップＳＴ２２４に進む。
一方、判定部１２ｂは、確認不要との確認要否情報を得た場合（ステップＳＴ２２３の“ＮＯ”の場合）、乗員の状態を確認する必要がないと判定する。そして、調整装置１ｂは、図１２のフローチャートで示す動作を終了する。
判定部１２ｂは、確認要との確認要否情報を得た場合（ステップＳＴ２２３の“ＹＥＳ”の場合）、乗員の状態を確認する必要があると判定する。そして、判定部１２ｂの動作は、ステップＳＴ２２４に進む。
一方、判定部１２ｂは、確認不要との確認要否情報を得た場合（ステップＳＴ２２３の“ＮＯ”の場合）、乗員の状態を確認する必要がないと判定する。そして、調整装置１ｂは、図１２のフローチャートで示す動作を終了する。
【0111】
このように、調整装置１ｂは、乗員状態推定装置２から収集した複数の乗員の状態の推定結果と機械学習モデルとに基づいて、乗員の状態を確認する必要があるか否かを判定する。
これにより、調整装置１ｂは、乗員の状態を確認するか否かの判定を行う際に、判定用期間待つ必要がないため、実施の形態１に係る調整装置１と比べ、「判定処理」にかかる時間を短縮することができる。その結果、調整装置１ｂは、実施の形態１に係る調整装置１と比べ、言い換えれば、乗員の状態を確認するか否かの判定を行う際に判定用期間待つ場合と比べ、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができる。
これにより、調整装置１ｂは、乗員の状態を確認するか否かの判定を行う際に、判定用期間待つ必要がないため、実施の形態１に係る調整装置１と比べ、「判定処理」にかかる時間を短縮することができる。その結果、調整装置１ｂは、実施の形態１に係る調整装置１と比べ、言い換えれば、乗員の状態を確認するか否かの判定を行う際に判定用期間待つ場合と比べ、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができる。
【0112】
実施の形態３に係る学習装置６の動作について説明する。
図１４は、実施の形態３に係る学習装置６の動作を説明するためのフローチャートである。車両が走行している間、図１４のフローチャートで示す動作が繰り返される。
図１４は、実施の形態３に係る学習装置６の動作を説明するためのフローチャートである。車両が走行している間、図１４のフローチャートで示す動作が繰り返される。
【0113】
学習用データ生成部６１は、推定結果と確認要否情報とが対応付けられた学習用データを生成する（ステップＳＴ６１）。
学習用データ生成部６１は、生成した学習用データを、モデル生成部６２に出力する。
学習用データ生成部６１は、生成した学習用データを、モデル生成部６２に出力する。
【0114】
モデル生成部６２は、ステップＳＴ６１にて学習用データ生成部６１が生成した学習用データに基づいて、機械学習モデルを生成する（ステップＳＴ６２）。
モデル生成部６２は、生成した機械学習モデルをモデル記憶部１６に記憶させる。
モデル生成部６２は、生成した機械学習モデルをモデル記憶部１６に記憶させる。
【0115】
上述のとおり、学習装置６は、車両が走行している間、図１４のフローチャートで示す動作を繰り返す。すなわち、学習装置６は、車両が走行している間、機械学習モデルを更新し続ける。これにより、学習装置６は、機械学習モデルの精度を向上させることができる。
また、調整装置１ｂは、車両が走行している間、精度を向上させた機械学習モデルに基づいて判定処理を行うことで、乗員の状態を確認する必要があるか否かの判定の精度を向上させることができる。
また、調整装置１ｂは、車両が走行している間、精度を向上させた機械学習モデルに基づいて判定処理を行うことで、乗員の状態を確認する必要があるか否かの判定の精度を向上させることができる。
【0116】
なお、実施の形態３では、学習装置６は、調整装置１ｂに搭載されているものとするが、これは一例に過ぎない。学習装置６は、調整装置１ｂの外部の、調整装置１ｂが参照可能な場所に備えられてもよい。
【0117】
また、以上の実施の形態３では、学習装置６は、車両が走行している間に収集された複数の推定結果と、車両が走行している間に設定された確認要否情報とから、機械学習モデルを生成していた。これに限らず、例えば、初期値とする機械学習モデルが、予め、または、車両の運転が開始された時点で生成され、モデル記憶部１６に記憶されていてもよい。この場合、学習装置６は、例えば、予め、シミュレーション走行等によって収集された複数の乗員の状態の推定結果と、当該推定結果と対応付けられた確認要否情報とに基づいて生成された学習用データに基づいて機械学習モデルを生成し、モデル生成部６２に記憶しておくようにする。なお、この場合、学習用データ生成部６１は、予め生成された学習用データを取得してもよいし、シミュレーション走行等によって収集された複数の乗員の状態の推定結果と、当該推定結果と対応付けられた確認要否情報とから学習用データを生成してもよい。
【0118】
実施の形態３に係る調整装置１ｂのハードウェア構成は、図６Ａおよび図６Ｂを用いて説明した、実施の形態１に係る調整装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態３において、推定情報収集部１１と、判定部１２ｂと、状態確認部１３と、調整用情報出力部１４の機能は、処理回路６０１により実現される。すなわち、調整装置１ｂは、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路６０１を備える。
処理回路６０１は、メモリ６０５に記憶されたプログラムを読み出して実行することにより、推定情報収集部１１と、判定部１２ｂと、状態確認部１３と、調整用情報出力部１４の機能を実行する。すなわち、調整装置１ｂは、処理回路６０１により実行されるときに、上述の図１２のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ６０５を備える。また、メモリ６０５に記憶されたプログラムは、推定情報収集部１１と、判定部１２ｂと、状態確認部１３と、調整用情報出力部１４の手順または方法をコンピュータに実行させるものであるとも言える。
また、モデル記憶部１６は、メモリ６０５を使用する。なお、これは一例であって、モデル記憶部１６は、ＨＤＤ、ＳＳＤ、または、ＤＶＤ等によって構成されてもよい。
調整装置１ｂは、乗員状態推定装置２、運転支援装置３、または、挙動判定用情報収集装置４等の装置と、有線通信または無線通信を行う入力インタフェース装置６０２および出力インタフェース装置６０３を備える。
実施の形態３において、推定情報収集部１１と、判定部１２ｂと、状態確認部１３と、調整用情報出力部１４の機能は、処理回路６０１により実現される。すなわち、調整装置１ｂは、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路６０１を備える。
処理回路６０１は、メモリ６０５に記憶されたプログラムを読み出して実行することにより、推定情報収集部１１と、判定部１２ｂと、状態確認部１３と、調整用情報出力部１４の機能を実行する。すなわち、調整装置１ｂは、処理回路６０１により実行されるときに、上述の図１２のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ６０５を備える。また、メモリ６０５に記憶されたプログラムは、推定情報収集部１１と、判定部１２ｂと、状態確認部１３と、調整用情報出力部１４の手順または方法をコンピュータに実行させるものであるとも言える。
また、モデル記憶部１６は、メモリ６０５を使用する。なお、これは一例であって、モデル記憶部１６は、ＨＤＤ、ＳＳＤ、または、ＤＶＤ等によって構成されてもよい。
調整装置１ｂは、乗員状態推定装置２、運転支援装置３、または、挙動判定用情報収集装置４等の装置と、有線通信または無線通信を行う入力インタフェース装置６０２および出力インタフェース装置６０３を備える。
【0119】
図１５Ａ，図１５Ｂは、実施の形態３に係る学習装置６のハードウェア構成の一例を示す図である。
実施の形態３において、学習用データ生成部６１と、モデル生成部６２の機能は、処理回路１５０１により実現される。すなわち、学習装置６は、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路１５０１を備える。
処理回路１５０１は、図１５Ａに示すように専用のハードウェアであっても、図１５Ｂに示すようにメモリ１５０５に格納されるプログラムを実行するＣＰＵ１５０４であってもよい。
実施の形態３において、学習用データ生成部６１と、モデル生成部６２の機能は、処理回路１５０１により実現される。すなわち、学習装置６は、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路１５０１を備える。
処理回路１５０１は、図１５Ａに示すように専用のハードウェアであっても、図１５Ｂに示すようにメモリ１５０５に格納されるプログラムを実行するＣＰＵ１５０４であってもよい。
【0120】
処理回路１５０１が専用のハードウェアである場合、処理回路１５０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものが該当する。
【0121】
処理回路１５０１がＣＰＵ１５０４の場合、学習用データ生成部６１と、モデル生成部６２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１５０５に記憶される。処理回路１５０１は、メモリ１５０５に記憶されたプログラムを読み出して実行することにより、学習用データ生成部６１と、モデル生成部６２の機能を実行する。すなわち、学習装置６は、処理回路１５０１により実行されるときに、上述の図１４のステップＳＴ６１～ステップＳＴ６２が結果的に実行されることになるプログラムを格納するためのメモリ１５０５を備える。また、メモリ１５０５に記憶されたプログラムは、学習用データ生成部６１と、モデル生成部６２の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１５０５とは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
【0122】
なお、学習用データ生成部６１と、モデル生成部６２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、学習用データ生成部６１については専用のハードウェアとしての処理回路１５０１でその機能を実現し、モデル生成部６２については処理回路１５０１がメモリ１５０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、図示しない記憶部は、メモリ１５０５を使用する。なお、これは一例であって、記憶部は、ＨＤＤ、ＳＳＤ、または、ＤＶＤ等によって構成されてもよい。
また、学習装置６は、調整装置１ｂ等の装置と、有線通信または無線通信を行う入力インタフェース装置１５０２および出力インタフェース装置１５０３を備える。
また、図示しない記憶部は、メモリ１５０５を使用する。なお、これは一例であって、記憶部は、ＨＤＤ、ＳＳＤ、または、ＤＶＤ等によって構成されてもよい。
また、学習装置６は、調整装置１ｂ等の装置と、有線通信または無線通信を行う入力インタフェース装置１５０２および出力インタフェース装置１５０３を備える。
【0123】
以上の実施の形態３に係る調整装置１ｂにおいて、推定情報収集部１１と、判定部１２ｂと、状態確認部１３と、調整用情報出力部１４のうち、一部が車両の車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられてもよい。また、学習装置６において、学習用データ生成部６１と、モデル生成部６２のうち、一部が車両の車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられるようにしてもよい。
乗員状態推定装置２がサーバに搭載されてもよい。
乗員状態推定装置２がサーバに搭載されてもよい。
【0124】
また、以上の実施の形態３でも、実施の形態１同様、乗員とは、例えば、車両のドライバ以外の乗員としてもよい。
【0125】
以上の実施の形態３を、実施の形態２に係る調整装置に適用してもよい。
図１６は、実施の形態３を実施の形態２に係る調整装置に適用した場合の調整装置１ｃの構成例を示す図である。
図１６に示す調整装置１ｃの構成について、実施の形態２にて図７を用いて説明した調整装置１ａと同様の構成には、同じ符号を付して重複した説明を省略する。
調整装置１ｃは、実施の形態２に係る調整装置１ａとは、学習装置６を搭載し、モデル記憶部１６を備えるようにした点が異なる。また、調整装置１ｃにおける判定部１２ｃの具体的な動作が、実施の形態２に係る調整装置１ａにおける判定部１２ａの具体的な動作とは異なる。
調整装置１ｃと乗員状態推定装置２とで調整システム１００ｃが構成される。
図１６は、実施の形態３を実施の形態２に係る調整装置に適用した場合の調整装置１ｃの構成例を示す図である。
図１６に示す調整装置１ｃの構成について、実施の形態２にて図７を用いて説明した調整装置１ａと同様の構成には、同じ符号を付して重複した説明を省略する。
調整装置１ｃは、実施の形態２に係る調整装置１ａとは、学習装置６を搭載し、モデル記憶部１６を備えるようにした点が異なる。また、調整装置１ｃにおける判定部１２ｃの具体的な動作が、実施の形態２に係る調整装置１ａにおける判定部１２ａの具体的な動作とは異なる。
調整装置１ｃと乗員状態推定装置２とで調整システム１００ｃが構成される。
【0126】
判定部１２ｃは、「判定処理」において、推定情報収集部１１が収集した推定結果と、参考情報収集部１５が収集した参考情報と、機械学習モデルとに基づいて、乗員の状態を確認する必要があるか否かを判定する。参考情報とは、車内環境判定用情報および異常時動作判定用情報である。参考情報は、車内環境判定用情報または異常時動作判定用情報のいずれか一方であってもよい。
この場合、機械学習モデルは、乗員の状態の推定結果と参考情報とを入力とし、確認要否情報を出力する機械学習モデルである。
機械学習モデルは、学習装置６によって生成され、モデル記憶部１６に記憶されている。
この場合、機械学習モデルは、乗員の状態の推定結果と参考情報とを入力とし、確認要否情報を出力する機械学習モデルである。
機械学習モデルは、学習装置６によって生成され、モデル記憶部１６に記憶されている。
【0127】
判定部１２ｃは、モデル記憶部１６から機械学習モデルを取得し、推定情報収集部１１が収集した推定結果と、参考情報収集部１５が収集した参考情報と、機械学習モデルとに基づき、「判定処理」を行う。具体的には、判定部１２ｃは、推定情報収集部１１が収集した推定結果と、参考情報収集部１５が収集した参考情報とを機械学習モデルの入力として、機械学習モデルから出力される確認要否情報を得る。
判定部１２ｃは、確認要との確認要否情報を得た場合、乗員の状態を確認する必要があると判定する。一方、判定部１２ｃは、確認不要との確認要否情報を得た場合、乗員の状態を確認する必要がないと判定する。
判定部１２ｃは、確認要との確認要否情報を得た場合、乗員の状態を確認する必要があると判定する。一方、判定部１２ｃは、確認不要との確認要否情報を得た場合、乗員の状態を確認する必要がないと判定する。
【0128】
なお、判定部１２ｃは、モデル記憶部１６に機械学習モデルが記憶されていない場合は、実施の形態２と同様の方法で、具体的には、異常状態を示している推定結果の中に判定用期間継続して異常状態を示している推定結果が存在するか否かによって、乗員の状態を確認する必要があるか否かを判定する。判定部１２ｃは、参考情報に基づき、必要に応じて判定用期間を短縮する。
【0129】
実施の形態３を実施の形態２に適用した調整装置１ｃでは、学習装置６において、学習用データ生成部６１は、乗員の状態の推定結果と、参考情報と、確認要否情報とを含む学習用データを生成する。
【0130】
調整装置１ｃにおいて、推定情報収集部１１は、収集した複数の推定結果を記憶部に記憶する。また、判定部１２ｃは、「判定処理」を行った際に、参考情報収集部１５が収集した参考情報と、乗員の状態を確認する必要があると判定したか否かの結果に基づいて設定した確認要否情報とを、記憶部に記憶する。判定部１２ｃは、参考情報と確認要否情報とを、対応する複数の推定結果、すなわち、「判定処理」に用いられた複数の推定結果と対応付けて記憶する。
学習用データ生成部６１は、記憶部に対応付けて記憶されている、推定情報収集部１１が乗員状態推定装置２から収集した乗員の状態の推定結果と、参考情報収集部１５が収集した参考情報と、判定部１２ｃが設定した確認要否情報とを取得し、取得した推定結果と参考情報と確認要否情報とが対応付けられた学習用データを生成する。
なお、学習用データ生成部６１は、対応付けられた推定結果と参考情報と設定乗員状態とが予め設定された数記憶されている場合に、学習用データを生成する。
学習用データ生成部６１は、生成した学習用データを、モデル生成部６２に出力する。
学習用データ生成部６１は、記憶部に対応付けて記憶されている、推定情報収集部１１が乗員状態推定装置２から収集した乗員の状態の推定結果と、参考情報収集部１５が収集した参考情報と、判定部１２ｃが設定した確認要否情報とを取得し、取得した推定結果と参考情報と確認要否情報とが対応付けられた学習用データを生成する。
なお、学習用データ生成部６１は、対応付けられた推定結果と参考情報と設定乗員状態とが予め設定された数記憶されている場合に、学習用データを生成する。
学習用データ生成部６１は、生成した学習用データを、モデル生成部６２に出力する。
【0131】
モデル生成部６２は、学習用データ生成部６１が生成した学習用データに基づいて、機械学習モデルを生成する。
モデル生成部６２は、複数の推定結果、参考情報、および、確認要否情報の組み合わせに基づいて生成される学習用データに従って、いわゆる教師あり学習により、ニューラルネットワークで構成された機械学習モデルを学習させる。
モデル生成部６２は、生成した機械学習モデルをモデル記憶部１６に記憶させる。
モデル生成部６２は、複数の推定結果、参考情報、および、確認要否情報の組み合わせに基づいて生成される学習用データに従って、いわゆる教師あり学習により、ニューラルネットワークで構成された機械学習モデルを学習させる。
モデル生成部６２は、生成した機械学習モデルをモデル記憶部１６に記憶させる。
【0132】
機械学習モデルが生成されていることを前提とした場合の調整装置１ｃの動作は、図１２を用いて説明した調整装置１ｂの動作と、ステップＳＴ２ｂの具体的な動作を除き、同様である。
調整装置１ｃでは、ステップＳＴ２ｂにおいて、判定部１２ｃが、推定情報収集部１１が収集した複数の推定結果と、参考情報収集部１５が収集した参考情報と、機械学習モデルとに基づいて、「判定処理」を行う。
具体的には、判定部１２ｃは、推定情報収集部１１が収集した推定結果と、参考情報収集部１５が収集した参考情報を機械学習モデルの入力として、機械学習モデルから出力される確認要否情報を得る。
判定部１２ｃは、確認要との確認要否情報を得た場合、乗員の状態を確認する必要があると判定する。一方、判定部１２ｃは、確認不要との確認要否情報を得た場合、乗員の状態を確認する必要がないと判定する。
調整装置１ｃでは、ステップＳＴ２ｂにおいて、判定部１２ｃが、推定情報収集部１１が収集した複数の推定結果と、参考情報収集部１５が収集した参考情報と、機械学習モデルとに基づいて、「判定処理」を行う。
具体的には、判定部１２ｃは、推定情報収集部１１が収集した推定結果と、参考情報収集部１５が収集した参考情報を機械学習モデルの入力として、機械学習モデルから出力される確認要否情報を得る。
判定部１２ｃは、確認要との確認要否情報を得た場合、乗員の状態を確認する必要があると判定する。一方、判定部１２ｃは、確認不要との確認要否情報を得た場合、乗員の状態を確認する必要がないと判定する。
【0133】
なお、機械学習モデルが生成されていない場合、調整装置１ｃは、実施の形態２にて図８のフローチャートを用いて説明した調整装置１ａの動作と同様の動作を行う。
【0134】
調整装置１ｃに搭載されている学習装置６の動作は、図１４のフローチャートを用いて説明した学習装置６の動作と同様である。
但し、学習用データ生成部６１は、ステップＳＴ６１において、推定結果と参考情報と確認要否情報とが対応付けられた学習用データを生成する。
但し、学習用データ生成部６１は、ステップＳＴ６１において、推定結果と参考情報と確認要否情報とが対応付けられた学習用データを生成する。
【0135】
調整装置１ｃのハードウェア構成は、図６Ａおよび図６Ｂを用いて説明した、実施の形態１に係る調整装置１のハードウェア構成と同様であるため、図示を省略する。
推定情報収集部１１と、判定部１２ｃと、状態確認部１３と、調整用情報出力部１４と参考情報収集部１５の機能は、処理回路６０１により実現される。すなわち、調整装置１ｃは、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路６０１を備える。
処理回路６０１は、メモリ６０５に記憶されたプログラムを読み出して実行することにより、判定部１２ｃと、状態確認部１３と、調整用情報出力部１４と参考情報収集部１５の機能を実行する。すなわち、調整装置１ｃは、処理回路６０１により実行されるときに、上述の図１２のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ６０５を備える。また、メモリ６０５に記憶されたプログラムは、判定部１２ｃと、状態確認部１３と、調整用情報出力部１４と参考情報収集部１５の手順または方法をコンピュータに実行させるものであるとも言える。
また、モデル記憶部１６は、メモリ６０５を使用する。なお、これは一例であって、モデル記憶部１６は、ＨＤＤ、ＳＳＤ、または、ＤＶＤ等によって構成されてもよい。
調整装置１ｃは、乗員状態推定装置２、運転支援装置３、挙動判定用情報収集装置４、または、参考情報収集装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置６０２および出力インタフェース装置６０３を備える。
推定情報収集部１１と、判定部１２ｃと、状態確認部１３と、調整用情報出力部１４と参考情報収集部１５の機能は、処理回路６０１により実現される。すなわち、調整装置１ｃは、乗員状態推定装置２によって推定された乗員の状態の推定結果に基づいて、乗員状態推定装置２における乗員の状態の推定方法の調整を行うための処理回路６０１を備える。
処理回路６０１は、メモリ６０５に記憶されたプログラムを読み出して実行することにより、判定部１２ｃと、状態確認部１３と、調整用情報出力部１４と参考情報収集部１５の機能を実行する。すなわち、調整装置１ｃは、処理回路６０１により実行されるときに、上述の図１２のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ６０５を備える。また、メモリ６０５に記憶されたプログラムは、判定部１２ｃと、状態確認部１３と、調整用情報出力部１４と参考情報収集部１５の手順または方法をコンピュータに実行させるものであるとも言える。
また、モデル記憶部１６は、メモリ６０５を使用する。なお、これは一例であって、モデル記憶部１６は、ＨＤＤ、ＳＳＤ、または、ＤＶＤ等によって構成されてもよい。
調整装置１ｃは、乗員状態推定装置２、運転支援装置３、挙動判定用情報収集装置４、または、参考情報収集装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置６０２および出力インタフェース装置６０３を備える。
【0136】
以上のように、実施の形態３によれば、調整装置１ｂは、複数の乗員状態推定装置２によってそれぞれ推定された、乗員の状態の推定結果を収集する推定情報収集部１１と、推定情報収集部１１が収集した推定結果と、推定結果を入力とし乗員の状態を確認する必要があるか否かを示す確認要否情報を出力する機械学習モデルとに基づいて、乗員の状態を確認する必要があるか否かを判定する判定部１２ｂと、判定部１２ｂが、乗員の状態を確認する必要があると判定した場合、乗員の挙動を判定するための挙動判定用情報に基づき乗員の挙動を判定して乗員の状態を設定する状態確認部１３と、乗員状態推定装置２に対して、乗員の状態を状態確認部１３が設定した乗員の状態と推定するよう、乗員の状態の推定に用いる状態推定用条件を調整させる調整用情報を出力する調整用情報出力部１４とを備えるように構成した。そのため、調整装置１ｂは、乗員の状態を推定する乗員状態推定装置における乗員の状態の推定方法を調整することができる。また、調整装置１ｂは、乗員の状態を確認するか否かの判定を行う際に判定用期間待つ場合と比べ、乗員状態推定装置２における乗員の状態の推定方法の調整をはやく行うことができる。
【0137】
また、調整装置１ｃのように、車両内の環境を判定するための車内環境判定用情報、および、乗員が異常状態である場合に行いがちな動作を判定するための異常時動作判定用情報のうちの少なくとも一方を参考情報として収集する参考情報収集部１５を備え、判定部１２ｃは、推定情報収集部１１が収集した推定結果と、参考情報収集部１５が収集した参考情報と、推定結果および参考情報を入力とし確認要否情報を出力する機械学習モデルとに基づいて、乗員の状態を確認する必要があるか否かを判定するようにしてもよい。
これにより、調整装置１ｃは、乗員の状態を確認するか否かの判定を行う際に判定用期間待つ場合と比べ、より精度高く乗員の状態の確認が必要か否かを判定することができる。
これにより、調整装置１ｃは、乗員の状態を確認するか否かの判定を行う際に判定用期間待つ場合と比べ、より精度高く乗員の状態の確認が必要か否かを判定することができる。
【0138】
なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0139】
本開示に係る調整装置は、乗員の状態を推定する乗員状態推定装置における乗員の状態の推定方法を調整することができる。
【符号の説明】
【0140】
１，１ａ，１ｂ，１ｃ 調整装置、１１ 推定情報収集部、１２，１２ａ，１２ｂ，１２ｃ 判定部、１３ 状態確認部、１３１ 挙動判定用情報収集部、１３２ 設定部、１４ 調整用情報出力部、１５ 参考情報収集部、１６ モデル記憶部、２ 乗員状態推定装置、３ 運転支援装置、４ 挙動判定用情報収集装置、５ 参考情報収集装置、５１ 車内環境情報収集装置、５２ 乗員動作情報収集装置、１００，１００ａ，１００ｂ，１００ｃ 調整システム、６ 学習装置、６１ 学習用データ生成部、６２ モデル生成部、６０１，１５０１ 処理回路、６０２，１５０２ 入力インタフェース装置、６０３，１５０３ 出力インタフェース装置、６０４，１５０４ ＣＰＵ、６０５，１５０５ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】