ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141439
(43)【公開日】2024-10-10
(54)【発明の名称】情報処理システム、及び、情報処理方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20241003BHJP
B60W 40/08 20120101ALI20241003BHJP
A61B 5/18 20060101ALI20241003BHJP
【ＦＩ】
G08G1/16 F
B60W40/08
A61B5/18
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023053093
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】村松 雄介
(72)【発明者】
【氏名】坂本 直宏
(72)【発明者】
【氏名】安達 紘子
【テーマコード（参考）】
3D241
4C038
5H181
【Ｆターム（参考）】
3D241BA60
3D241BA70
3D241CE02
3D241CE03
3D241CE04
3D241DA12Z
3D241DA39Z
3D241DA52Z
3D241DD04Z
4C038PP01
4C038PQ03
4C038PS00
5H181AA01
5H181AA02
5H181AA05
5H181AA06
5H181AA07
5H181AA25
5H181AA26
5H181BB04
5H181BB05
5H181BB20
5H181CC04
5H181FF22
5H181FF25
5H181FF27
5H181FF33
5H181LL20
(57)【要約】
【課題】車両等の移動体を操縦する操縦者の状態をより高精度で判定する技術を実現する。
【解決手段】移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、所定の観測タイミングで観測された観測値を含む状態変数に基づいて、操縦者の観測情報を生成する観測情報生成部と、複数の操縦者のそれぞれの観測値を含む状態変数に基づいて生成された複数の観測情報を取得する観測情報収集部と、観測情報収集部により取得された複数の観測情報を、複数のクラスタにクラスタリングするクラスタリング処理部と、を備える、情報処理システム。
【選択図】図４
【解決手段】移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、所定の観測タイミングで観測された観測値を含む状態変数に基づいて、操縦者の観測情報を生成する観測情報生成部と、複数の操縦者のそれぞれの観測値を含む状態変数に基づいて生成された複数の観測情報を取得する観測情報収集部と、観測情報収集部により取得された複数の観測情報を、複数のクラスタにクラスタリングするクラスタリング処理部と、を備える、情報処理システム。
【選択図】図４
【特許請求の範囲】
【請求項1】
移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、
所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、
複数の前記操縦者のそれぞれの前記観測値を含む前記状態変数に基づいて生成された複数の前記観測情報を取得する観測情報収集部と、
前記観測情報収集部により取得された複数の前記観測情報を、複数のクラスタにクラスタリングするクラスタリング処理部と、
を備える、情報処理システム。
所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、
複数の前記操縦者のそれぞれの前記観測値を含む前記状態変数に基づいて生成された複数の前記観測情報を取得する観測情報収集部と、
前記観測情報収集部により取得された複数の前記観測情報を、複数のクラスタにクラスタリングするクラスタリング処理部と、
を備える、情報処理システム。
【請求項2】
複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行うクラスタ割当部を備える、請求項１に記載の情報処理システム。
【請求項3】
前記クラスタ割当部は、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷の高さに対応する意味づけを行う、請求項２に記載の情報処理システム。
【請求項4】
前記取得部は前記移動体に搭載され、
前記観測情報収集部は、前記移動体において前記取得部が取得した前記状態変数に基づいて前記観測情報生成部が生成する前記観測情報を、複数の前記移動体から取得する、請求項１に記載の情報処理システム。
前記観測情報収集部は、前記移動体において前記取得部が取得した前記状態変数に基づいて前記観測情報生成部が生成する前記観測情報を、複数の前記移動体から取得する、請求項１に記載の情報処理システム。
【請求項5】
前記観測値は、前記操縦者の心拍間隔、呼吸間隔、及び、瞳孔径の少なくともいずれかを含む、請求項１に記載の情報処理システム。
【請求項6】
前記状態変数は、前記観測値と、前記移動体が備える操作部の操作量とを含む、請求項１に記載の情報処理システム。
【請求項7】
コンピュータにより、
移動体を操縦する操縦者を観測した観測値を含む状態変数を取得し、
所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成し、
複数の前記操縦者のそれぞれの前記観測値を含む前記状態変数に基づいて生成された複数の前記観測情報を取得し、
取得した複数の前記観測情報を複数のクラスタにクラスタリングする、
情報処理方法。
移動体を操縦する操縦者を観測した観測値を含む状態変数を取得し、
所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成し、
複数の前記操縦者のそれぞれの前記観測値を含む前記状態変数に基づいて生成された複数の前記観測情報を取得し、
取得した複数の前記観測情報を複数のクラスタにクラスタリングする、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、及び、情報処理方法に関する。
【背景技術】
【0002】
近年、交通参加者の中でも高齢者や障がい者や子供といった脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて運転支援技術を通して交通の安全性や利便性をより一層改善する研究開発に注力している。
例えば、特許文献１は、車両の運転に係るアクセルペダル、ブレーキペダル、ハンドルなどの操作量を解析することにより、車両の運転を行うドライバーの緊張度を判定する構成を開示する。また、特許文献２は、車両のドライバーの顔を撮影した画像を用いて、ドライバーの眠気レベルを判定する構成を開示する。
例えば、特許文献１は、車両の運転に係るアクセルペダル、ブレーキペダル、ハンドルなどの操作量を解析することにより、車両の運転を行うドライバーの緊張度を判定する構成を開示する。また、特許文献２は、車両のドライバーの顔を撮影した画像を用いて、ドライバーの眠気レベルを判定する構成を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７―１９７００２号公報
【特許文献2】特開２０２１―０９６７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、車両のドライバー等の操縦者を支援する支援技術においては、操縦者の状態を、より高い精度で判定することが望まれている。
本願は上記課題の解決のため、車両等の移動体を操縦する操縦者の状態をより高精度で判定する技術の実現を目的としたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
本願は上記課題の解決のため、車両等の移動体を操縦する操縦者の状態をより高精度で判定する技術の実現を目的としたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0005】
本発明の一態様は、移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、複数の前記操縦者のそれぞれの前記観測値を含む前記状態変数に基づいて生成された複数の前記観測情報を取得する観測情報収集部と、前記観測情報収集部により取得された複数の前記観測情報を、複数のクラスタにクラスタリングするクラスタリング処理部と、を備える、情報処理システムである。
【発明の効果】
【0006】
本発明の一態様によれば、移動体を操縦する複数の操縦者について生成された観測情報をクラスタリングすることにより、複数の操縦者に関する情報をもとに、操縦者の状態を判定するための情報を得ることができる。このため、移動体を操縦する操縦者の状態を、より高精度で判定する技術の実現を可能とし、延いては持続可能な輸送システムの発展に寄与できる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
［１．情報処理システムの構成］
図１は、情報処理システム１０００の構成を示す図である。
情報処理システム１０００は、車両１に搭載された情報処理装置１０と、車両２に搭載された状態推定装置２０と、サーバ５と、を含む。サーバ５は、通信ネットワークＮＷを介して、情報処理装置１０及び状態推定装置２０と相互にデータ通信可能に接続される。図１には、２台の車両１Ａ、１Ｂに搭載された情報処理装置１０、及び、２台の車両２Ａ、２Ｂに搭載された状態推定装置２０が情報処理システム１０００に含まれる構成を一例として示しているが、情報処理システム１０００に含まれる情報処理装置１０及び状態推定装置２０の数に制限はない。以下の説明では、車両１Ａ、１Ｂを区別しない場合に車両１と記載し、車両２Ａ、２Ｂを区別しない場合に車両２と記載する。
図１は、情報処理システム１０００の構成を示す図である。
情報処理システム１０００は、車両１に搭載された情報処理装置１０と、車両２に搭載された状態推定装置２０と、サーバ５と、を含む。サーバ５は、通信ネットワークＮＷを介して、情報処理装置１０及び状態推定装置２０と相互にデータ通信可能に接続される。図１には、２台の車両１Ａ、１Ｂに搭載された情報処理装置１０、及び、２台の車両２Ａ、２Ｂに搭載された状態推定装置２０が情報処理システム１０００に含まれる構成を一例として示しているが、情報処理システム１０００に含まれる情報処理装置１０及び状態推定装置２０の数に制限はない。以下の説明では、車両１Ａ、１Ｂを区別しない場合に車両１と記載し、車両２Ａ、２Ｂを区別しない場合に車両２と記載する。
【0009】
車両１及び車両２は移動体の一例である。車両１、２は、ユーザＵが搭乗するキャビン（乗員室）を備えていればよく、移動体は、４輪の車両に限定されず、５輪以上の車両でもよく、３輪以下の車両でもよい。また、移動体としての車両は、バス等の大型車両、商用車両、或いは作業用車両等であってもよい。また、移動体としては、上記の自動車のような陸上移動体のほか、船舶、潜水艇等の海洋移動体、ｅＶＴＯＬ（Ｅｌｅｃｔｒｉｃ Ｖｅｒｔｉｃａｌ Ｔａｋｅ－Ｏｆｆ ａｎｄ Ｌａｎｄｉｎｇ ａｉｒｃｒａｆｔ）を含む航空機、飛行船等の空中移動体、あるいは、宇宙船、人工衛星などの宇宙移動体であってもよい。
【0010】
車両１ＡにはユーザＵ１Ａが乗車し、車両１ＢにはユーザＵ１Ｂが乗車する。車両２ＡにはユーザＵ２Ａが乗車し、車両２ＢにはユーザＵ２Ｂが乗車する。ユーザＵ１Ａ、Ｕ１Ｂを区別しない場合にユーザＵ１と記載し、ユーザＵ２Ａ、Ｕ２Ｂを区別しない場合にユーザＵ２と記載する。ユーザＵ１及びユーザＵ２は、移動体を操縦する操縦者の一例である。ユーザＵ１、Ｕ２が車両１または車両２を運転することは、操縦の一例である。
【0011】
通信ネットワークＮＷは、公衆回線網や、専用線、その他の通信回路などで構成される通信ネットワークである。
【0012】
サーバ５は、各々の情報処理装置１０及び状態推定装置２０とデータを送受信するコンピュータである。サーバ５は、単一のサーバコンピュータであってもよいし、複数のサーバコンピュータにより構成されてもよいし、クラウドサーバであってもよい。サーバ５は、管理装置の一例に対応する。
【0013】
［２．情報処理装置の構成］
図２は、車両１に搭載される情報処理装置１０の構成例を示すブロック図である。図３は、車両１の構成例を示す図である。
情報処理装置１０は、車両１に搭載される装置であり、プロセッサ１００を有するコンピュータである。情報処理装置１０は、車両１に固定された装置であってもよいし、携帯可能な装置であって車両１に一時的に設置される装置であってもよい。例えば、情報処理装置１０として、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置を採用できる。
図２は、車両１に搭載される情報処理装置１０の構成例を示すブロック図である。図３は、車両１の構成例を示す図である。
情報処理装置１０は、車両１に搭載される装置であり、プロセッサ１００を有するコンピュータである。情報処理装置１０は、車両１に固定された装置であってもよいし、携帯可能な装置であって車両１に一時的に設置される装置であってもよい。例えば、情報処理装置１０として、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置を採用できる。
【0014】
情報処理装置１０には、車両１に搭載された通信装置３０１、ディスプレイ３０２、スピーカ３０３、及び、メーターパネル３０４が接続される。これらの装置を情報処理装置１０が内蔵する構成であってもよい。
【0015】
通信装置３０１は、データを送信するトランスミッタ、及び、データを受信するレシーバを備える無線通信装置であり、セルラー通信を実行する。通信装置３０１は、プロセッサ１００の制御に従って通信ネットワークＮＷに接続し、通信ネットワークＮＷを通じてサーバ５との間でデータ通信を実行する。
【0016】
ディスプレイ３０２は、液晶表示パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルで構成される表示画面を有し、情報処理装置１０が出力する表示信号またはデジタル表示データに基づいて、表示画面に文字や画像を表示する。ディスプレイ３０２は、例えば、図３に示すように、車両１のダッシュボード３５０、或いは、インストゥルメントパネルに設置され、ユーザＵ１から良好に視認される位置にある。
【0017】
スピーカ３０３は、情報処理装置１０が出力する音声信号、または、デジタル音声データに基づいて音を出力する。
【0018】
メーターパネル３０４は、図３に示すように、ユーザＵ１が着座する位置の正面、或いは、その近傍に設置される。メーターパネル３０４は、車両１の車速、エンジン回転数、バッテリの残容量等の情報を表示する。メーターパネル３０４は液晶表示パネル等の表示画面を用いて構成されてもよいし、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を有するインジケータランプで構成されてもよい。ディスプレイ３０２、スピーカ３０３及びメーターパネル３０４は、車両１が備える出力装置の一例である。出力装置は、音声、映像、画像、光、その他の刺激により情報をユーザＵ１に出力する装置を含む。ディスプレイ３０２及びメーターパネル３０４は表示部の一例である。
【0019】
情報処理装置１０には、カメラ３１１、及び、心拍センサ３１２が接続される。
カメラ３１１は、ユーザＵ１の顔を含む撮影範囲を撮影するデジタルカメラであり、撮影画像データを情報処理装置１０に出力する。カメラ３１１の撮影画像データは、後述するように、ユーザＵ１の瞳孔径の観測、及び、ユーザＵ１の呼吸の検出の少なくともいずれかに利用される。
カメラ３１１は、ユーザＵ１の顔を含む撮影範囲を撮影するデジタルカメラであり、撮影画像データを情報処理装置１０に出力する。カメラ３１１の撮影画像データは、後述するように、ユーザＵ１の瞳孔径の観測、及び、ユーザＵ１の呼吸の検出の少なくともいずれかに利用される。
【0020】
心拍センサ３１２は、ユーザＵ１の単位時間あたりの心拍を計測するセンサである。心拍センサ３１２は、例えば、図３に示すように、車両１のステアリングホイール３５１に設置された一対の電極３５４に接続される。この例で、心拍センサ３１２は、ユーザＵ１の手が電極３５４に接触している状態で、ユーザＵ１の脈の拍動に伴う身体表面の電位変化を検出することにより、ユーザＵ１の心拍を検出する。心拍センサ３１２は、ユーザＵ１の心拍間隔を算出する。心拍センサ３１２は、例えば、電極３５４を用いて心拍を検出するセンサと、心拍間隔を算出する制御回路とを含むセンサユニットである。心拍センサ３１２は、計測値として心拍間隔を出力する。心拍間隔は、例えば秒またはミリ秒を単位とする時間の値である。心拍センサ３１２が心拍を検出するための構成は電極３５４に制限されず、例えば、ユーザＵ１の身体に装着される光センサ等によりユーザＵ１の心拍を検出してもよい。また、心拍センサ３１２が検出した心拍に基づいて、プロセッサ１００が心拍間隔を算出する構成であってもよい。
【0021】
カメラ３１１及び心拍センサ３１２は、ユーザＵ１の身体に関する観測を行う構成であり、観測部と呼ぶこともできる。情報処理装置１０が観測部を用いて観測する対象は、ユーザＵ１の瞳孔径、呼吸間隔、心拍間隔に制限されず、その他の生体情報を計測するものであってもよい。
【0022】
情報処理装置１０は、センサＩ／Ｆ（インターフェイス）１３１を備える。センサＩ／Ｆ１３１は、カメラ３１１及び心拍センサ３１２に有線で接続される接続部であり、ケーブルを接続するコネクターとインターフェイス回路とを備える。センサＩ／Ｆ１３１は、カメラ３１１が出力する撮影画像データ、及び、心拍センサ３１２が出力する心拍間隔の計測データを取得する。
【0023】
情報処理装置１０は、操作部Ｉ／Ｆ１３２を備える。操作部Ｉ／Ｆ１３２には、車両１が備えるアクセルペダルセンサ３２１、ブレーキペダルセンサ３２２、及び、舵角センサ３２３の少なくともいずれかが接続される。アクセルペダルセンサ３２１は、車両１を発進および増速させる操作部であるアクセルペダルの踏み込み量、或いは、アクセルペダルの操作に対応するスロットル開度を検出する。ブレーキペダルセンサ３２２は、車両１を減速および停止させる操作部であるブレーキペダルの踏み込み量を検出する。舵角センサ３２３は、操作部であるステアリングホイール３５１の操作量、或いは、ステアリングホイール３５１の操作に伴う車両１の舵角を検出する。アクセルペダルセンサ３２１、ブレーキペダルセンサ３２２、及び、舵角センサ３２３は、検出値を情報処理装置１０に出力する。操作部Ｉ／Ｆ１３２は、アクセルペダルセンサ３２１、ブレーキペダルセンサ３２２、及び、舵角センサ３２３が出力する操作量のデータを取得する。操作部Ｉ／Ｆ１３２は、例えば、車両１に設置されたＣＡＮ（Ｃｏｎｔｒｔｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続される通信装置であり、ＣＡＮを介して各操作部の操作量を取得してもよい。
【0024】
また、情報処理装置１０には、車両１が搭載する車両機能部３３０が接続される。車両機能部３３０は、車両１において情報処理装置１０とは異なる機能を有する装置である。車両機能部３３０は、情報処理装置１０とは別に機能を実行し、車両機能部３３０の機能に基づく音声を出力する装置である。車両機能部３３０は、例えば、ダッシュボード３５０に設置されてもよいし、情報処理装置１０と一体の筐体に収容されてもよい。車両機能部３３０の具体的な構成は、車両１の仕様等に応じて適宜に変更可能である。本実施形態では、車両機能部３３０としてナビゲーションシステム３３１を例示する。
【0025】
ナビゲーションシステム３３１は、例えば、プロセッサ１００とは異なるプロセッサを有するハードウェアであり、例えば、情報処理装置１０とは別に車両１に設置されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を備える。ナビゲーションシステム３３１は、車両１が移動する移動経路の探索、及び、車両１の移動中における移動経路の案内を行う。ナビゲーションシステム３３１は、探索した経路に沿って経路案内の実行するため、地図、及び、車両１の現在位置を示す画像を含むナビゲーション用の画面をディスプレイ３０２に表示させる。また、ナビゲーションシステム３３１は、車両１の進行方向や、車両１を右折または左折させる場所を知らせる音声を、スピーカ３０３から出力させる。
【0026】
情報処理装置１０は、プロセッサ１００、及び、メモリ１２０を備える。プロセッサ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、或いはその他の集積回路で構成されるコンピュータである。メモリ１２０は、プログラムやデータを記憶する記憶装置である。プロセッサ１００は、揮発性のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）をワークエリアとして利用してもよい。ＲＡＭは、プロセッサ１００に統合して実装されてもよいし、メモリ１２０がＲＡＭを備える構成であってもよい。
【0027】
メモリ１２０は、書き換え可能な不揮発性の記憶装置であり、プロセッサ１００が実行するプログラム、及び、プロセッサ１００により処理されるデータを記憶する。メモリ１２０は、例えば、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の半導体記憶デバイス、或いは、磁気的記憶デバイスで構成される。メモリ１２０は、制御プログラム１２１、アプリ１２２、及び、観測情報１２３を記憶する。
【0028】
制御プログラム１２１、及びアプリ１２２はプロセッサ１００が実行するプログラムであり、プロセッサ１００により読み取り可能にメモリ１２０に記憶される。制御プログラム１２１は、プロセッサ１００が情報処理装置１０の各部を制御するための基本制御プログラムであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）である。アプリ１２２は、ＯＳ上で実行されるアプリケーションプログラムである。
【0029】
プロセッサ１００は、機能部として、取得部１０１、観測情報生成部１０２、観測情報送信部１０３、状態モデル取得部１０４、推定部１１０、及び、出力制御部１１２を有する。これらの機能部は、プロセッサ１００がアプリ１２２を実行することにより、実現される。アプリ１２２は、プログラムの一例である。情報処理装置１０は、状態モデル取得部１０４、推定部１１０、及び出力制御部１１２に係る機能に関して、状態推定装置の一例に対応する。
【0030】
取得部１０１は、ユーザＵ１が車両１を運転している間にユーザＵ１を観測した観測値を含む状態変数を取得する。状態変数は、少なくとも観測値を含む。観測値とは、具体的には、ユーザＵ１の心拍間隔、呼吸間隔、及び、瞳孔径の少なくともいずれかを含む。呼吸間隔は、ユーザＵ１の呼吸の間隔であり、例えば秒またはミリ秒を単位とする時間の値である。例えば、取得部１０１は、センサＩ／Ｆ１３１によって取得したカメラ３１１の撮影画像データから、ユーザＵ１の瞳孔径の算出、及び、ユーザＵ１の呼吸の検出の少なくともいずれかを実行する。取得部１０１は、ユーザＵ１の呼吸を検出した場合、呼吸間隔を算出する。また、例えば、取得部１０１は、心拍センサ３１２の計測値である心拍間隔を観測値として取得する。これらの瞳孔径、呼吸間隔、心拍間隔の少なくともいずれかが状態変数に含まれる。また、状態変数は車両１の操作部の操作量を含んでもよい。例えば、取得部１０１が操作部Ｉ／Ｆ１３２によって操作量を取得し、観測値と操作量とを含む状態変数を取得または生成してもよい。
【0031】
観測情報生成部１０２は、取得部１０１が取得した状態変数に基づいて、ユーザＵ１の観測情報を生成する。観測情報は、状態変数を含む情報であって、状態変数を取得した車両１、情報処理装置１０、或いは状態変数の取得の対象となったユーザＵ１を特定する情報を含む。観測情報生成部１０２は、状態変数を生成する処理を、予め設定された周期で繰り返し実行する。観測情報送信部１０３は、観測情報生成部１０２により生成した観測情報を、通信装置３０１によってサーバ５に送信する。
【0032】
状態モデル取得部１０４は、後述するように、サーバ５から状態モデル１１１を取得する。状態モデル１１１は、取得部１０１が取得する状態変数から、ユーザＵ１の運転中における認知負荷を求めるモデルである。
【0033】
推定部１１０は、状態モデル１１１を有する。状態モデル１１１は、取得部１０１が取得する状態変数、或いは、状態変数を含む観測情報を状態モデル１１１に与えることにより、ユーザＵ１の状態を推定する。推定部１１０は、例えば、取得部１０１が状態変数を取得する毎に、或いは、観測情報生成部１０２が観測情報を生成する毎に、状態変数からユーザＵ１の状態を推定する。
【0034】
推定部１１０が推定するユーザＵ１の状態とは、運転に対するユーザＵ１の集中度ということができる。後述する例では、推定部１１０が、ユーザＵ１の状態を、適度な認知負荷状態と、高認知負荷状態と、低認知負荷状態とのいずれであるかを推定する。
【0035】
発明者らは、車両１等の移動体を操縦するときの人間の集中状態は、人間の認知負荷あるいは認知的負荷に影響を受けることに着目した。認知負荷は、人間の知覚、視覚や聴覚により受ける刺激、人間の動作等に起因して認知機能に加わる負荷をいう。認知負荷状態は、ユーザＵ１の脳が処理するタスクの処理量ということができる。適度な認知負荷状態では、タスク処理量も適度である。これに対し、高認知負荷状態はタスク処理量が多い状態であり、低認知負荷状態はタスク処理量が少ない状態である。
【0036】
ユーザＵ１が車両１を運転中のユーザＵ１の認知負荷が適度である場合、運転に対するユーザＵ１の集中度が適度な状態となる。運転中のユーザＵ１の認知負荷が高認知負荷状態である場合、ユーザＵ１が焦りを感じるような状態となるため、運転に対するユーザＵ１の集中度が低下する。また、運転中のユーザＵ１の認知負荷が低認知負荷状態である場合、ユーザＵ１は刺激の少ない漫然とした状態であるため、運転に対するユーザＵ１の集中度が低下する。
【0037】
従って、推定部１１０がユーザＵ１の状態を推定した結果が、適度な認知負荷状態と、高認知負荷状態と、低認知負荷状態とのいずれであるかをもとに、運転に対するユーザＵ１の集中度が適度な状態であるか、より集中度が低い状態であるかを判断できる。推定部１１０は、ユーザＵ１の観測情報からユーザＵ１の認知負荷状態を推定し、推定された認知負荷状態から運転に対するユーザＵ１の集中度を特定できる。つまり、推定部１１０は、運転に対するユーザＵ１の集中度を推定するといえる。
【0038】
出力制御部１１２は、推定部１１０の推定結果に基づく出力処理を実行する。出力制御部１１２が実行する出力処理は、推定部１１０の推定結果を、ディスプレイ３０２及びメーターパネル３０４の少なくともいずれかに表示させる処理を含む。また、出力制御部１１２が実行する出力処理は、ユーザＵ１への出力を調整する処理を含む。具体的には、出力制御部１１２は、スピーカ３０３から出力される音の音量、及び、ディスプレイ３０２またはメーターパネル３０４に表示される情報量を調整する。例えば、ユーザＵ１が高認知負荷状態であると推定された場合、出力制御部１１２は、ユーザＵ１の認知負荷を軽減するように、ディスプレイ３０２、スピーカ３０３、及びメーターパネル３０４等からの出力を調整する。出力制御部１１２は、ユーザＵ１が低認知負荷状態であると推定された場合、ユーザＵ１の認知負荷を増加させるように、ディスプレイ３０２、スピーカ３０３、及びメーターパネル３０４等からの出力を調整する。出力の調整に関する具体的な例は、出力制御部１１２と同様に構成される出力制御部２１２の動作として、後述する。
【0039】
【0040】
通信装置５３０は、データを送信するトランスミッタ、及び、データを受信するレシーバを備える無線通信装置であり、セルラー通信を実行する。通信装置５３０は、プロセッサ５００の制御に従って通信ネットワークＮＷに接続し、通信ネットワークＮＷを通じてサーバ５及び状態推定装置２０との間でデータ通信を実行する。
【0041】
サーバ５は、プロセッサ５００、及び、メモリ５２０を備える。プロセッサ５００は、ＣＰＵ、ＭＰＵ、或いはその他の集積回路で構成されるコンピュータである。メモリ５２０は、プログラムやデータを記憶する記憶装置である。プロセッサ５００は、揮発性のＲＡＭをワークエリアとして利用してもよい。ＲＡＭは、プロセッサ５００に統合して実装されてもよいし、メモリ５２０がＲＡＭを備える構成であってもよい。
【0042】
メモリ５２０は、書き換え可能な不揮発性の記憶装置であり、プロセッサ５００が実行するプログラム、及び、プロセッサ５００により処理されるデータを記憶する。メモリ５２０は、例えば、フラッシュＲＯＭやＳＳＤ等の半導体記憶デバイス、或いは、磁気的記憶デバイスで構成される。メモリ５２０は、制御プログラム５２１、アプリ５２２、観測情報５２３、及び、状態モデル５２４を記憶する。
【0043】
制御プログラム５２１、及びアプリ５２２はプロセッサ５００が実行するプログラムであり、プロセッサ５００により読み取り可能にメモリ５２０に記憶される。制御プログラム５２１は、プロセッサ５００がサーバ５の各部を制御するための基本制御プログラムであり、ＯＳである。アプリ５２２は、ＯＳ上で実行されるアプリケーションプログラムである。
【0044】
プロセッサ５００は、機能部として、観測情報収集部５０１、送信処理部５０２、及び、状態モデル生成部５１０を有する。これらの機能部は、プロセッサ５００がアプリ５２２を実行することにより、実現される。アプリ５２２は、プログラムの一例である。
【0045】
観測情報収集部５０１は、情報処理装置１０から観測情報を取得する。観測情報収集部５０１は、情報処理システム１０００に含まれる複数の情報処理装置１０から観測情報を取得することによって、複数のユーザＵ１のそれぞれの観測値を含む状態変数を得ることができる。
【0046】
状態モデル生成部５１０は、クラスタリング処理部５１１、クラスタ割当部５１２、及び、状態モデル５１３を有する。クラスタリング処理部５１１は、観測情報収集部５０１によって取得された複数の観測情報を、複数のクラスタにクラスタリングする処理を実行する。クラスタ割当部５１２は、クラスタリング処理部５１１によりクラスタリングされた複数のクラスタの各々に、ユーザＵ１の操縦中における認知負荷に対応する意味づけを行う処理を実行する。
【0047】
クラスタリング処理部５１１は、例えば、ｋ平均法（ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）、階層法、その他の公知のクラスタ解析の手法を用いて、複数の観測情報を予め指定された数のクラスタに分類する。本実施形態では、観測情報を３つのクラスタに分類する。クラスタ割当部５１２は、３つのクラスタの各々に、ユーザＵ１の高認知負荷状態、低認知負荷状態、及び、適度な認知負荷状態を対応付ける。クラスタリング処理部５１１及びクラスタ割当部５１２の処理によって、状態モデル５１３が生成される。状態モデル５１３は、観測情報が取得された場合に、取得された観測情報を３つのクラスタのいずれかに分類し、分類されたクラスタに対し意味づけされた認知負荷状態を求める。つまり、状態モデル５１３は、観測情報からユーザＵ１の認知負荷状態を推定できる。
【0048】
状態モデル５１３は、観測情報からユーザＵ１の認知負荷を求めるモデルであり、機械学習済みの学習モデル、観測情報に含まれる観測値からユーザＵ１の認知負荷を判定するプログラム、関数、或いは、パラメータである。状態モデル生成部５１０は、クラスタリング処理部５１１及びクラスタ割当部５１２の処理結果を反映した状態モデル５１３を生成する。状態モデル生成部５１０は、状態モデル５１３を情報処理装置１０及び状態推定装置２０に送信するための状態モデル５２４を生成し、メモリ５２０に記憶させる。
【0049】
送信処理部５０２は、状態モデル生成部５１０により生成された状態モデル５２４を、通信装置５３０を用いて、情報処理装置１０及び状態推定装置２０に送信する。送信処理部５０２は、送信処理部の一例に対応する。
【0050】
［４．状態推定装置の構成］
図５は、車両２に搭載される状態推定装置２０の構成例を示すブロック図である。
状態推定装置２０は、車両２に搭載される装置であり、プロセッサ２００を有するコンピュータである。状態推定装置２０は、車両２に固定された装置であってもよいし、携帯可能な装置であって車両２に一時的に設置される装置であってもよい。例えば、状態推定装置２０として、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置を採用できる。
図５は、車両２に搭載される状態推定装置２０の構成例を示すブロック図である。
状態推定装置２０は、車両２に搭載される装置であり、プロセッサ２００を有するコンピュータである。状態推定装置２０は、車両２に固定された装置であってもよいし、携帯可能な装置であって車両２に一時的に設置される装置であってもよい。例えば、状態推定装置２０として、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置を採用できる。
【0051】
状態推定装置２０が搭載される車両２は、車両１と共通の構成を有する。このため、車両２の構成において車両１と共通する各部には同符号を付して説明を省略する。
【0052】
状態推定装置２０には、車両２に搭載された通信装置３０１、ディスプレイ３０２、スピーカ３０３、及び、メーターパネル３０４が接続される。
【0053】
状態推定装置２０は、センサＩ／Ｆ２３１、及び、操作部Ｉ／Ｆ２３２を備える。センサＩ／Ｆ２３１の構成および機能はセンサＩ／Ｆ１３１と同様であり、操作部Ｉ／Ｆ２３２の構成および機能は操作部Ｉ／Ｆ１３２と同様である。センサＩ／Ｆ２３１にはカメラ３１１、及び、心拍センサ３１２が接続される。操作部Ｉ／Ｆ２３２にはアクセルペダルセンサ３２１、ブレーキペダルセンサ３２２、及び、舵角センサ３２３が接続される。
【0054】
状態推定装置２０には、車両２が搭載する車両機能部３３０が接続される。車両機能部３３０は、車両２において状態推定装置２０とは異なる機能を有する装置である。ここでは、車両機能部３３０としてナビゲーションシステム３３１を例示する。
【0055】
状態推定装置２０は、プロセッサ２００、及び、メモリ２２０を備える。プロセッサ２００は、ＣＰＵ、ＭＰＵ、或いはその他の集積回路で構成されるコンピュータである。メモリ２２０は、プログラムやデータを記憶する記憶装置である。プロセッサ２００は、揮発性のＲＡＭをワークエリアとして利用してもよい。ＲＡＭは、プロセッサ２００に統合して実装されてもよいし、メモリ２２０がＲＡＭを備える構成であってもよい。
【0056】
メモリ２２０は、書き換え可能な不揮発性の記憶装置であり、プロセッサ２００が実行するプログラム、及び、プロセッサ２００により処理されるデータを記憶する。メモリ２２０は、例えば、フラッシュＲＯＭやＳＳＤ等の半導体記憶デバイス、或いは、磁気的記憶デバイスで構成される。メモリ２２０は、制御プログラム２２１、及び、アプリ２２２を記憶する。
【0057】
制御プログラム２２１、及びアプリ２２２はプロセッサ２００が実行するプログラムであり、プロセッサ２００により読み取り可能にメモリ２２０に記憶される。制御プログラム２２１は、プロセッサ２００が状態推定装置２０の各部を制御するための基本制御プログラムであり、ＯＳである。アプリ２２２は、ＯＳ上で実行されるアプリケーションプログラムである。
【0058】
プロセッサ２００は、機能部として、取得部２０１、観測情報生成部２０２、状態モデル取得部２０４、推定部２１０、及び、出力制御部２１２を有する。これらの機能部は、プロセッサ２００がアプリ２２２を実行することにより、実現される。アプリ２２２は、プログラムの一例である。
【0059】
取得部２０１の機能は取得部１０１に対応し、観測情報生成部２０２の機能は観測情報生成部１０２に対応し、推定部２１０の機能は推定部１１０に対応する。状態モデル２１１は状態モデル１１１と同様に、サーバ５から取得される状態モデルである。出力制御部２１２は、出力制御部１１２と同様の処理を実行する。つまり、状態推定装置２０は、情報処理装置１０から観測情報送信部１０３の機能を省いた構成であり、サーバ５に観測情報を送信しない。
【0060】
取得部２０１は、ユーザＵ２が車両２を運転している間にユーザＵ２を観測した観測値を含む状態変数を取得する。観測情報生成部２０２は、生成処理を実行することにより、取得部２０１が取得した状態変数に基づいて、ユーザＵ２の観測情報を生成する。観測情報生成部２０２は、生成処理を、予め設定された周期で繰り返し実行する。
【0061】
状態モデル取得部２０４は、サーバ５から状態モデル２１１を取得する。状態モデル２１１は、状態モデル１１１と同様のものであり、取得部２０１が取得する状態変数と、ユーザＵ２の運転中における認知負荷との相関を有するモデルである。
【0062】
推定部２１０は、状態モデル２１１を有し、状態モデル２１１によって、取得部２０１が取得する状態変数からユーザＵ２の状態を推定する。推定部２１０は、取得部２０１が状態変数を取得する毎にユーザＵ２の状態を推定する。例えば、推定部２１０は、ユーザＵ２の状態を、適度な認知負荷状態と、高認知負荷状態と、低認知負荷状態とのいずれであるかを推定する。
【0063】
出力制御部２１２は、推定部２１０の推定結果に基づく出力処理を実行する。出力制御部２１２が実行する出力処理は、推定部２１０の推定結果を、ディスプレイ３０２及びメーターパネル３０４の少なくともいずれかに表示させる処理を含む。また、出力制御部２１２が実行する出力処理は、ユーザＵ２への出力を調整する処理を含む。具体的には、出力制御部２１２は、スピーカ３０３から出力される音の音量、及び、ディスプレイ３０２またはメーターパネル３０４に表示される情報量を調整する。
【0064】
［５．情報処理システムの動作］
［５－１．全体の動作］
図６は、情報処理システム１０００の動作例を示すシーケンス図である。
ステップＳＡ１～ＳＡ４は情報処理装置１０の動作であり、ステップＳＢ１～ＳＢ３はサーバ５の動作であり、ステップＳＣ１～ＳＣ２は状態推定装置２０の動作である。
［５－１．全体の動作］
図６は、情報処理システム１０００の動作例を示すシーケンス図である。
ステップＳＡ１～ＳＡ４は情報処理装置１０の動作であり、ステップＳＢ１～ＳＢ３はサーバ５の動作であり、ステップＳＣ１～ＳＣ２は状態推定装置２０の動作である。
【0065】
情報処理装置１０は、取得部１０１及び観測情報生成部１０２により観測情報生成処理を実行する（ステップＳＡ１）。情報処理装置１０は、観測情報生成処理によって生成した観測情報を、観測情報送信部１０３によりサーバ５に送信する（ステップＳＡ２）。ステップＳＡ１～ＳＡ２の動作を、複数の情報処理装置１０が並行して実行してもよい。例えば、車両１Ａに搭載された情報処理装置１０、及び、車両１Ｂに搭載された情報処理装置１０が、それぞれステップＳＡ１～ＳＡ２を実行できる。
【0066】
サーバ５は、情報処理装置１０が送信した観測情報を観測情報収集部５０１によって受信し（ステップＳＢ１）、状態モデル生成部５１０によって状態モデル生成処理を実行する（ステップＳＢ２）。ここで、サーバ５は、状態モデル生成処理を実行するために十分な数の観測情報を受信するまで、ステップＳＢ１の動作を繰り返し行いながら待機してもよい。
【0067】
サーバ５は、状態モデル生成部５１０により生成した状態モデル５２４を、送信処理部５０２によって情報処理装置１０及び状態推定装置２０に送信する（ステップＳＢ３）。
【0068】
状態推定装置２０は、サーバ５が送信した状態モデルを状態モデル取得部２０４により取得する（ステップＳＣ１）。状態推定装置２０は、取得した状態モデル２１１を推定部２１０に搭載し、推定部２１０によって推定処理を実行する（ステップＳＣ２）。
【0069】
情報処理装置１０は、サーバ５が送信した状態モデルを状態モデル取得部１０４により取得する（ステップＳＡ３）。情報処理装置１０は、取得した状態モデル１１１を推定部１１０に搭載し、推定部１１０によって推定処理を実行する（ステップＳＡ４）。
【0070】
以下に、観測情報生成処理（ステップＳＡ１）、状態モデル生成処理（ステップＳＢ２）、及び、推定処理（ステップＳＡ４、ＳＣ２）について詳細に説明する。
【0071】
［５－２．観測情報の生成］
図７は、情報処理装置１０の動作例を示すフローチャートであり、観測情報生成処理の詳細を示す。図７のステップＳＡ１１～ＳＡ１４は取得部１０１により実行され、ステップＳＡ１５～ＳＡ１７は観測情報生成部１０２により実行される。
図７は、情報処理装置１０の動作例を示すフローチャートであり、観測情報生成処理の詳細を示す。図７のステップＳＡ１１～ＳＡ１４は取得部１０１により実行され、ステップＳＡ１５～ＳＡ１７は観測情報生成部１０２により実行される。
【0072】
情報処理装置１０は、車両１の始動を検知すると（ステップＳＡ１１）、心拍観測処理を開始し（ステップＳＡ１２）、瞳孔径観測処理を開始する（ステップＳＡ１３）。ステップＳＡ１２、ＳＡ１３は逆の順序であっても同時に行われてもよい。車両１の始動とは、車両１の制御系の装置が停止している状態から起動することを指し、例えば、車両１のイグニッションスイッチがオンにされること、或いは、車両１のシステム電源がオンにされることである。
【0073】
図８は、情報処理装置１０の動作例を示すフローチャートであり、心拍観測処理を示す。ステップＳＡ２１～ＳＡ２８は取得部１０１により実行される。
心拍センサ３１２は、上述したように、予め設定された計測周期でユーザＵ１の心拍を検出し、心拍を検出する毎に心拍間隔を算出し、心拍間隔を計測結果として出力する。心拍センサ３１２は、予め設定された所定時間における心拍間隔の平均値を算出し、心拍間隔の平均値を、計測値として出力してもよい。情報処理装置１０は、車両１の始動を検知してから心拍センサ３１２の計測値を取得し、取得した計測値を心拍間隔ＲＲＩ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ２１）。心拍間隔ＲＲＩ（ｔ）は心拍センサ３１２の計測値を時刻に対応付けたデータである。この時刻は、心拍センサ３１２が計測をした計測時刻または情報処理装置１０が計測値を取得した時刻であり、観測時刻といえる。情報処理装置１０は、車両１の始動から６０秒が経過したか否かを判定し（ステップＳＡ２２；ＹＥＳ）、６０秒が経過する前であれば（ステップＳＡ２２；ＮＯ）、ステップＳＡ２１に戻る。情報処理装置１０は、車両１の始動から６０秒が経過すると（ステップＳＡ２２）、ステップＳＡ２３に移行する。ステップＳＡ２３で、情報処理装置１０は、車両１の始動から６０秒間の心拍間隔ＲＲＩ（ｔ）の平均値である値Ｒ６０を算出する（ステップＳＡ２３）。
心拍センサ３１２は、上述したように、予め設定された計測周期でユーザＵ１の心拍を検出し、心拍を検出する毎に心拍間隔を算出し、心拍間隔を計測結果として出力する。心拍センサ３１２は、予め設定された所定時間における心拍間隔の平均値を算出し、心拍間隔の平均値を、計測値として出力してもよい。情報処理装置１０は、車両１の始動を検知してから心拍センサ３１２の計測値を取得し、取得した計測値を心拍間隔ＲＲＩ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ２１）。心拍間隔ＲＲＩ（ｔ）は心拍センサ３１２の計測値を時刻に対応付けたデータである。この時刻は、心拍センサ３１２が計測をした計測時刻または情報処理装置１０が計測値を取得した時刻であり、観測時刻といえる。情報処理装置１０は、車両１の始動から６０秒が経過したか否かを判定し（ステップＳＡ２２；ＹＥＳ）、６０秒が経過する前であれば（ステップＳＡ２２；ＮＯ）、ステップＳＡ２１に戻る。情報処理装置１０は、車両１の始動から６０秒が経過すると（ステップＳＡ２２）、ステップＳＡ２３に移行する。ステップＳＡ２３で、情報処理装置１０は、車両１の始動から６０秒間の心拍間隔ＲＲＩ（ｔ）の平均値である値Ｒ６０を算出する（ステップＳＡ２３）。
【0074】
続いて、情報処理装置１０は、ステップＳＡ２１と同様に心拍センサ３１２の計測値を取得し、取得した計測値を心拍間隔ＲＲＩ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ２４）。ステップＳＡ２４の動作はステップＳＡ２２の直後に開始されてもよい。情報処理装置１０は、心拍間隔ＲＲＩ（ｔ）の取得開始から３０秒が経過したか否かを判定し（ステップＳＡ２５）、３０秒が経過する前であれば（ステップＳＡ２５；ＮＯ）、ステップＳＡ２４に戻る。情報処理装置１０は、心拍間隔ＲＲＩ（ｔ）の取得開始から３０秒が経過すると（ステップＳＡ２５；ＹＥＳ）、ステップＳＡ２６に移行する。
【0075】
ステップＳＡ２６で、情報処理装置１０は、メモリ１２０に一時記憶した３０秒間の心拍間隔ＲＲＩ（ｔ）の平均値である値Ｒ３０を算出する（ステップＳＡ２６）。情報処理装置１０は、値Ｒ３０から値Ｒ６０を除算することにより差を算出し、求めた値を観測値Ｒとしてメモリ１２０に記憶させる（ステップＳＡ２７）。
【0076】
このように、ステップＳＡ２１～ＳＡ２３では、車両１の始動後の最初の６０秒間におけるユーザＵ１の心拍間隔の平均値Ｒ６０が算出される。ステップＳＡ２４～ＳＡ２６では、車両１の始動から６０秒間を経過した後に、３０秒毎に、ユーザＵ１の心拍間隔の平均値Ｒ３０が算出される。そして、情報処理装置１０は、平均値Ｒ３０を算出する毎に、値Ｒ３０と値Ｒ６０の差を求め、求めた差を観測値Ｒとする。従って、車両１の始動から９０秒が経過したときから、３０秒毎に観測値Ｒが算出され、算出された観測値Ｒが順次、メモリ１２０に蓄積される。
【0077】
情報処理装置１０は心拍観測処理を終了するか否かを判定する（ステップＳＡ２８）。車両１の制御系が停止した場合や、心拍観測処理の終了に関する操作がユーザＵ１により行われた場合など、心拍観測処理を終了する条件が成立した場合には（ステップＳＡ２８；ＹＥＳ）、情報処理装置１０は図８の処理を終了する。処理を終了しない場合（ステップＳＡ２８；ＮＯ）、情報処理装置１０はステップＳＡ２４に戻る。
【0078】
図９は、情報処理装置１０の動作例を示すフローチャートであり、瞳孔径観測処理を示す。ステップＳＡ３１～ＳＡ３８は取得部１０１により実行される。
取得部１０１は、カメラ３１１の撮影画像データを解析することにより、ユーザＵ１の瞳孔径の計測を実行する。例えば、取得部１０１は、カメラ３１１の撮影画像データからユーザＵ１の目の画像を抽出し、抽出した画像における目の輪郭と瞳孔の大きさとを比較することにより、瞳孔径を算出する。取得部１０１は、瞳孔径の計測を、予め設定された計測周期で実行し、計測を行う毎に瞳孔径の計測結果を出力する。
取得部１０１は、カメラ３１１の撮影画像データを解析することにより、ユーザＵ１の瞳孔径の計測を実行する。例えば、取得部１０１は、カメラ３１１の撮影画像データからユーザＵ１の目の画像を抽出し、抽出した画像における目の輪郭と瞳孔の大きさとを比較することにより、瞳孔径を算出する。取得部１０１は、瞳孔径の計測を、予め設定された計測周期で実行し、計測を行う毎に瞳孔径の計測結果を出力する。
【0079】
情報処理装置１０は、車両１の始動を検知してから瞳孔径の計測値を取得し、取得した計測値を瞳孔径Ｐｕｐｉｌ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ３１）。瞳孔径Ｐｕｐｉｌ（ｔ）は瞳孔径の計測値を時刻に対応付けたデータである。この時刻は、瞳孔径を計測した計測時刻または情報処理装置１０が計測値を取得した時刻であり、観測時刻といえる。情報処理装置１０は、車両１の始動から６０秒が経過したか否かを判定し（ステップＳＡ３２；ＹＥＳ）、６０秒が経過する前であれば（ステップＳＡ３２；ＮＯ）、ステップＳＡ３１に戻る。情報処理装置１０は、車両１の始動から６０秒が経過すると（ステップＳＡ３２）、ステップＳＡ３３に移行する。ステップＳＡ３３で、情報処理装置１０は、車両１の始動から６０秒間の瞳孔径Ｐｕｐｉｌ（ｔ）の平均値である値Ｐ６０を算出する（ステップＳＡ３３）。
【0080】
続いて、情報処理装置１０は、ステップＳＡ３１と同様に瞳孔径の計測値を取得し、取得した計測値を瞳孔径Ｐｕｐｉｌ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ３４）。ステップＳＡ３４の動作はステップＳＡ３２の直後に開始されてもよい。情報処理装置１０は、瞳孔径Ｐｕｐｉｌ（ｔ）の取得開始から３０秒が経過したか否かを判定し（ステップＳＡ３５）、３０秒が経過する前であれば（ステップＳＡ３５；ＮＯ）、ステップＳＡ３４に戻る。情報処理装置１０は、瞳孔径Ｐｕｐｉｌ（ｔ）の取得開始から３０秒が経過すると（ステップＳＡ３５；ＹＥＳ）、ステップＳＡ３６に移行する。
【0081】
ステップＳＡ３６で、情報処理装置１０は、メモリ１２０に一時記憶した３０秒間の瞳孔径Ｐｕｐｉｌ（ｔ）の平均値である値Ｐ３０を算出する（ステップＳＡ３６）。情報処理装置１０は、値Ｐ３０から値Ｐ６０を除算することにより差を算出し、求めた値を観測値Ｐとしてメモリ１２０に記憶させる（ステップＳＡ３７）。
【0082】
このように、ステップＳＡ３１～ＳＡ３３では、車両１の始動後の最初の６０秒間におけるユーザＵ１の瞳孔径の平均値Ｐ６０が算出される。ステップＳＡ３４～ＳＡ３６では、車両１の始動から６０秒間を経過した後に、３０秒毎に、ユーザＵ１の瞳孔径の平均値Ｐ３０が算出される。そして、情報処理装置１０は、平均値Ｐ３０を算出する毎に、値Ｐ３０と値Ｐ６０の差を求め、求めた差を観測値Ｐとする。従って、車両１の始動から９０秒が経過したときから、３０秒毎に観測値Ｐが算出され、算出された観測値Ｐが順次、メモリ１２０に蓄積される。
【0083】
情報処理装置１０は瞳孔径観測処理を終了するか否かを判定する（ステップＳＡ３８）。車両１の制御系が停止した場合や、瞳孔径観測処理の終了に関する操作がユーザＵ１により行われた場合など、瞳孔径観測処理を終了する条件が成立した場合には（ステップＳＡ３８；ＹＥＳ）、情報処理装置１０は図９の処理を終了する。処理を終了しない場合（ステップＳＡ３８；ＮＯ）、情報処理装置１０はステップＳＡ３４に戻る。
【0084】
情報処理装置１０は、図７において、観測値Ｒ及び観測値Ｐを取得する（ステップＳＡ１４）。ステップＳＡ１４で、情報処理装置１０は、メモリ１２０に記憶されている観測値Ｒ及び観測値Ｐを取得するので、心拍観測処理（図８）及び瞳孔径観測処理（図９）のいずれかが実行中であってもステップＳＡ１４を実行可能である。
【0085】
情報処理装置１０は、ステップＳＡ１４で取得した観測値Ｒ及び観測値Ｐを状態変数として含む観測情報を生成する（ステップＳＡ１５）。本実施形態では状態変数が２つの観測値Ｒ、Ｐを含むが、状態変数は３以上の観測値を含んでもよい。情報処理装置１０は、生成した観測情報を、観測値Ｒ及び観測値Ｐのいずれか、或いは両方が生成された時刻に対応付けてメモリ１２０に記憶する（ステップＳＡ１６）。ステップＳＡ１６で、情報処理装置１０は、観測情報を生成した時刻に対応付けて、観測情報を記憶してもよい。情報処理装置１０は、観測情報生成処理を終了するか否かを判定する（ステップＳＡ１７）。車両１の制御系が停止した場合など、観測情報生成処理を終了する条件が成立した場合には（ステップＳＡ１７；ＹＥＳ）、情報処理装置１０は図７の処理を終了する。処理を終了しない場合（ステップＳＡ１７；ＮＯ）、情報処理装置１０はステップＳＡ１４に戻る。
【0086】
図７、図８及び図９の動作により、１台の車両１において、ユーザＵ１の観測情報が生成される。この動作を複数の車両１において情報処理装置１０が実行することにより、複数のユーザＵ１を対象として、観測情報が生成される。生成された観測情報は、時刻に対応付けてメモリ１２０に記憶される。従って、１人のユーザＵ１に対して、時刻の異なる複数の観測情報が生成され、メモリ１２０に蓄積される。
【0087】
［５－３．状態モデルの生成］
図１０は、サーバ５の動作例を示すフローチャートであり、状態モデル生成処理の詳細を示す。図１０のステップＳＢ１１は観測情報収集部５０１により実行され、ステップＳＢ１２～ＳＢ１３はクラスタリング処理部５１１により実行され、ステップＳＢ１３～ＳＢ１９はクラスタ割当部５１２により実行される。図１１は、状態モデル生成処理におけるヒト状態マップ５４０の例を示す模式図である。
図１０は、サーバ５の動作例を示すフローチャートであり、状態モデル生成処理の詳細を示す。図１０のステップＳＢ１１は観測情報収集部５０１により実行され、ステップＳＢ１２～ＳＢ１３はクラスタリング処理部５１１により実行され、ステップＳＢ１３～ＳＢ１９はクラスタ割当部５１２により実行される。図１１は、状態モデル生成処理におけるヒト状態マップ５４０の例を示す模式図である。
【0088】
サーバ５は、各々の車両１から、車両毎に観測情報を取得する（ステップＳＢ１１）。例えば、サーバ５は、車両１Ａから観測情報を取得する処理、及び、車両１Ｂから観測情報を取得する処理を実行する。サーバ５は、取得した観測情報から観測値Ｒ及び観測値Ｐを抽出し、観測値Ｒと観測値Ｐとをヒト状態マップ５４０上にプロットする（ステップＳＢ１２）。ヒト状態マップ５４０はクラスタリング処理部５１１の動作を模式的に示すマップであり、実際にはヒト状態マップ５４０に相当するデータがメモリ５２０に記憶される。
【0089】
ヒト状態マップ５４０は、図１１に例として示すように、観測情報に含まれる状態変数が２つの観測値Ｒ、Ｐを含むことに対応する２次元のマップである。図１１の例では、横軸が観測値Ｐであり、縦軸が観測値Ｒであり、１つの観測情報が１つのプロット５４１として配置される。例えば、２台の車両１Ａ、１Ｂのそれぞれから、時刻の異なる１０個の観測情報をサーバ５が取得した場合、ヒト状態マップ５４０には２０個の観測情報がプロットされる。
【0090】
サーバ５は、ヒト状態マップ５４０上のプロット５４１を対象としてクラスタリング処理を実行し、指定された数のクラスタに分類する（ステップＳＢ１３）。本実施形態ではクラスタの数として３が指定される。分類の具体的な手法としては、上述したように、ｋ平均法、階層法、その他の公知のクラスタ解析の手法を用いることができる。
【0091】
サーバ５は、ステップＳＢ１３で分類された各クラスタに含まれる観測情報の観測値Ｒ、及び、観測値Ｐを取得する（ステップＳＢ１４）。サーバ５は、クラスタ毎に、ステップＳＢ１４で取得した観測値Ｒの平均値、及び、観測値Ｐの平均値を算出する（ステップＳＢ１５）。
【0092】
サーバ５は、観測値Ｒの平均値が最も小さいクラスタを、適度な認知負荷状態に対応付ける（ステップＳＢ１６）。これにより、１つのクラスタに対し、認知負荷状態の意味づけが行われる。
【0093】
続いて、サーバ５は、意味づけがされていない残りのクラスタのうち観測値Ｐの平均値が最も大きいクラスタを、高認知負荷状態に対応付ける（ステップＳＢ１７）。さらに、サーバ５は、意味づけがされていない残りのクラスタを、低認知負荷状態に対応付ける（ステップＳＢ１８）。ステップＳＢ１６～ＳＢ１８により、３つのクラスタに対し、認知負荷状態の意味づけが行われる。
【0094】
図１１には、クラスタリング処理部５１１により分類された３つのクラスタＣ１、Ｃ２、Ｃ３を示す。クラスタＣ１は適度な認知負荷状態に対応付けられ、クラスタＣ２は低認知負荷状態に対応付けられ、クラスタＣ３は高認知負荷状態に対応付けられる。
【0095】
サーバ５は、状態モデル５１３を生成する（ステップＳＢ１９）。状態モデル５１３は、新たな観測情報が状態モデル５１３に入力された場合に、入力された観測情報がクラスタＣ１、Ｃ２、Ｃ３のいずれに属するかを判定し、判定したクラスタに対して意味づけがなされた認知負荷状態を、判定結果として出力する。従って、状態モデル５１３の出力は、適度な認知負荷状態、高認知負荷状態、低認知負荷状態のいずれかである。
【0096】
状態モデル５１３は、例えば、クラスタＣ１、Ｃ２、Ｃ３と、各クラスタに含まれる観測値Ｒ及び観測値Ｐの値との相関を機械学習した学習済みモデルであり、いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）である。この場合、ステップＳＢ１２～ＳＢ１３のクラスタリング処理部５１１によるクラスタリング処理は、機械学習の一種である教師なし学習に相当する。ステップＳＢ１４～ＳＢ１８の処理は、学習済みモデルの出力データの設定を行うことに相当する。また、状態モデル５１３は、観測値Ｒ及び観測値Ｐから認知負荷状態を判定するプログラム、関数、或いは、閾値等のパラメータであってもよい。
【0097】
ステップＳＢ１９で生成された状態モデル５１３は、サーバ５が情報処理装置１０及び状態推定装置２０への送信を行うため、メモリ５２０に状態モデル５２４として記憶される。状態モデル５２４は、状態モデル５１３それ自体、または、情報処理装置１０及び状態推定装置２０が状態モデル５１３と同様のモデルを生成するためのプログラムやデータである。そして、図６のステップＳＢ３において、状態モデル５２４は情報処理装置１０、及び、状態推定装置２０に送信され、情報処理装置１０及び状態推定装置２０が推定処理を実行可能となる。
【0098】
サーバ５は、図１０の状態モデル生成処理を所定のタイミングで実行する。例えば、サーバ５は、情報処理装置１０から受信した観測情報の数が予め設定された閾値以上となった場合に、状態モデル生成処理を実行する。また、サーバ５は、設定された数の観測情報を情報処理装置１０から受信する毎、或いは、状態モデル５１３を生成してから設定された時間が経過する毎に、状態モデル生成処理を実行する。この場合、サーバ５は、既に生成した状態モデル５１３を更新し、更新した状態モデル５１３に対応する状態モデル５２４を、情報処理装置１０及び状態推定装置２０に送信する。
【0099】
［５－４．推定処理］
図１２は、状態推定装置２０の動作例を示すフローチャートであり、推定処理の詳細を示す。推定処理は、図６に示したように、情報処理装置１０及び状態推定装置２０の両方が実行可能である。ここでは、ステップＳＣ２で状態推定装置２０が実行する推定処理を説明するが、情報処理装置１０が実行する推定処理も同様である。
ステップＳＣ１１～ＳＣ１４は取得部２０１により実行され、ステップＳＣ１５は観測情報生成部２０２により実行され、ステップＳＣ１６は推定部２１０により実行される。ステップＳＣ１７～ＳＣ１９は出力制御部２１２により実行される。
図１２は、状態推定装置２０の動作例を示すフローチャートであり、推定処理の詳細を示す。推定処理は、図６に示したように、情報処理装置１０及び状態推定装置２０の両方が実行可能である。ここでは、ステップＳＣ２で状態推定装置２０が実行する推定処理を説明するが、情報処理装置１０が実行する推定処理も同様である。
ステップＳＣ１１～ＳＣ１４は取得部２０１により実行され、ステップＳＣ１５は観測情報生成部２０２により実行され、ステップＳＣ１６は推定部２１０により実行される。ステップＳＣ１７～ＳＣ１９は出力制御部２１２により実行される。
【0100】
状態推定装置２０は、車両２の始動を検知すると（ステップＳＣ１１）、心拍観測処理を開始し（ステップＳＣ１２）、瞳孔径観測処理を開始する（ステップＳＣ１３）。ステップＳＣ１２、ＳＣ１３は逆の順序であっても同時に行われてもよい。ステップＳＣ１１～ＳＣ１３は、図７に示したステップＳＡ１１～ＳＡ１３と同様の動作である。
【0101】
状態推定装置２０は、観測値Ｒ及び観測値Ｐを取得する（ステップＳＣ１４）。ステップＳＣ１４で、状態推定装置２０は、メモリ２２０に記憶されている観測値Ｒ及び観測値Ｐを取得するので、心拍観測処理（図８）及び瞳孔径観測処理（図９）のいずれかが実行中であってもステップＳＣ１４を実行可能である。
【0102】
状態推定装置２０は、ステップＳＣ１４で取得した観測値Ｒ及び観測値Ｐを状態変数として含む観測情報を生成する（ステップＳＣ１５）。状態推定装置２０は、ステップＳＣ１５で生成した観測情報を状態モデル２１１に入力することにより、観測情報が属するクラスタを特定する（ステップＳＣ１６）。状態推定装置２０は、特定したクラスタに対応付けられた認知負荷状態を取得する（ステップＳＣ１７）。具体的には、状態推定装置２０は、適度な認知負荷状態、高認知負荷状態、及び低認知負荷状態のいずれかの推定結果を取得する。
【0103】
状態推定装置２０は、ステップＳＣ１７で取得した認知負荷状態を表示する（ステップＳＣ１８）。ステップＳＣ１８では、認知負荷状態から特定されるユーザＵ２の集中度を表示してもよい。例えば、状態推定装置２０は、ディスプレイ３０２、及び、メーターパネル３０４のいずれか又は両方に、ユーザＵ２の認知負荷状態または運転に対する集中度を示す文字や画像を表示する。
【0104】
図１３は、出力制御部２１２がメーターパネル３０４に表示させる状態表示部３６１の例を示す図である。状態表示部３６１は、例えば、メーターパネル３０４に設けられる液晶表示パネルに表示される。
【0105】
状態表示部３６１は、針形状のインジケータ３６３と、インジケータ３６３の移動範囲に配置されたゲージ３６２とを有する。ゲージ３６２は円弧状の形状であり、インジケータ３６３はゲージ３６２に沿って回動する。ゲージ３６２及びインジケータ３６３は、例えば液晶表示パネルに表示される画像である。
【0106】
ゲージ３６２は、３つの領域３６２Ａ、３６２Ｂ、３６２Ｃに区分され、各領域３６２Ａ、３６２Ｂ、３６２Ｃは異なる色で塗り分けられる。領域３６２ＡはユーザＵ２の認知負荷状態が低いこと、すなわち低認知負荷状態であることを示す。領域３６２ＢはユーザＵ２が適度な認知負荷状態であることを示し、領域３６２ＣはユーザＵ２が高認知負荷状態であることを示す。領域３６２Ａ、３６２Ｂ、３６２Ｃの色は、各々の領域が対応する認知負荷状態を連想させる色で塗り分けられてもよい。また、領域３６２Ａ、３６２Ｂ、３６２Ｃに、各領域が対応する認知負荷状態を示す文字、或いは、各領域の認知負荷状態に対応するタスク処理量を示す文字が付加されてもよい。
【0107】
出力制御部２１２は、状態表示部３６１を表示させることにより、ゲージ３６２におけるインジケータ３６３の位置によってユーザＵ２の認知負荷状態、タスク処理量、或いは、運転への集中度を表示できる。
【0108】
状態推定装置２０は、ステップＳＣ１８の後、或いはステップＳＣ１８と並行して、認知負荷状態に対応して状態推定装置２０の出力を調整する（ステップＳＣ１９）。ステップＳＣ１９では、車両２が備える装置からユーザＵ２に対する出力を調整する。具体的には、状態推定装置２０は、出力制御部２１２によって、スピーカ３０３から出力される音の音量、ディスプレイ３０２またはメーターパネル３０４の表示輝度、及び、表示される情報量を調整する。
【0109】
ユーザＵ２が高認知負荷状態である場合、出力制御部２１２は、ユーザＵ２の認知負荷を軽減するように、出力を調整する。例えば、出力制御部２１２は、スピーカ３０３から出力される音の音量を低下させる処理、ディスプレイ３０２の表示輝度（明るさ）を低下させる処理、メーターパネル３０４の表示輝度（明るさ）を低下させる処理を実行する。これらの処理によってユーザＵ２に加わる外的刺激の強度を低下させることができ、ユーザＵ２の認知負荷の増大の抑制、或いは、認知負荷の低減を実現できる。
【0110】
また、例えば、出力制御部２１２は、ユーザＵ２の認知負荷を軽減させるため、ユーザＵ２に対して車両１が出力する情報量を低減させる。具体的には、出力制御部２１２は、スピーカ３０３から音を出力する機会を減少させる。状態推定装置２０が、ナビゲーションシステム３３１から入力されるデータに基づいてスピーカ３０３から音声を出力させる制御を行う場合、出力制御部２１２は、音声の出力に用いるデータを間引くことにより、スピーカ３０３から音声を出力する回数や頻度を低下させる。出力制御部２１２は、ナビゲーションシステム３３１に対して、音声出力の回数や頻度を低下させることの指示を出力してもよい。
【0111】
また、例えば、出力制御部２１２は、ユーザＵ２の認知負荷を軽減させるため、ディスプレイ３０２やメーターパネル３０４に表示される情報の量を減少させる。状態推定装置２０が、ナビゲーションシステム３３１から入力されるデータに基づいてディスプレイ３０２に情報を表示させる制御を行う場合、出力制御部２１２は、表示に用いるデータを間引くことにより、表示される情報量を低減させる。また、出力制御部２１２は、ナビゲーションシステム３３１に対して、表示する情報量を低減させることの指示を出力してもよい。また、出力制御部２１２は、メーターパネル３０４において、車両１の走行に関する重要度の低い表示を停止させてもよい。
【0112】
ユーザＵ２が低認知負荷状態であると推定された場合、出力制御部２１２は、ユーザＵ２の認知負荷を増加させるように、出力処理を実行する。例えば、出力制御部２１２は、スピーカ３０３から出力される音の音量を大きくする処理、ディスプレイ３０２の表示輝度（明るさ）を増大させる処理、メーターパネル３０４の表示輝度（明るさ）を増大させる処理を実行する。これらの処理によってユーザＵ２に加わる外的刺激の強度を増大させることができ、ユーザＵ２の認知負荷の低下の抑制、或いは、認知負荷の増加を実現できる。また、例えば、出力制御部２１２は、ユーザＵ２に対して車両１が出力する情報量を増加させる。具体的には、出力制御部２１２は、スピーカ３０３から音を出力する機会を増加させる。この場合、出力制御部２１２は、ナビゲーションシステム３３１に対して、音声出力の回数や頻度を増加させることの指示を出力してもよい。また、出力制御部２１２は、ディスプレイ３０２やメーターパネル３０４に表示される情報の量を増加させてもよい。具体的には、出力制御部２１２は、ナビゲーションシステム３３１に対して、表示する情報量を増加させることの指示を出力してもよい。また、出力制御部２１２は、メーターパネル３０４において、車両１の走行に関する重要度の低い表示を多く表示させてもよい。
【0113】
ユーザＵ２が適度な認知負荷状態であると推定された場合、出力制御部２１２は、ユーザＵ２の認知負荷の変動を抑制するように、出力処理を実行する。例えば、出力制御部２１２は、スピーカ３０３から出力される音の音量の変化を抑制する処理、ディスプレイ３０２の表示輝度（明るさ）の変化を抑制する処理、メーターパネル３０４の表示輝度（明るさ）の変化を抑制する処理を実行する。具体的には、出力制御部２１２は、スピーカ３０３から出力される音の音量を、予め設定された範囲を超えて増大または低減させる処理または操作がなされた場合に、音量の変化量を、当該処理または操作に対応する変化量よりも小さくする。これらの処理によってユーザＵ２に加わる外的刺激の変化を抑制させ、ユーザＵ２の認知負荷を、適度な認知負荷状態に維持できる。この場合において、出力制御部２１２は、例えば、スピーカ３０３から音を出力する機会の増加及び減少、ディスプレイ３０２やメーターパネル３０４に表示される情報量の変化を抑制してもよい。
【0114】
状態推定装置２０は、推定処理を終了するか否かを判定する（ステップＳＣ２０）。車両１の制御系が停止した場合など、推定処理を終了する条件が成立した場合には（ステップＳＣ２０；ＹＥＳ）、状態推定装置２０は図１２の処理を終了する。処理を終了しない場合（ステップＳＣ２０；ＮＯ）、状態推定装置２０はステップＳＣ１４に戻る。
【0115】
状態推定装置２０は、ステップＳＣ１４～ＳＣ２０を繰り返し実行することにより、例えば３０秒毎に新しい観測値Ｒ及び観測値Ｐが取得される。このため、ユーザＵ２の認知負荷状態の推定結果が、３０秒毎に更新され、更新された推定結果に基づいて、認知負荷状態の表示（ステップＳＣ１８）、及び、出力の調整（ステップＳＣ１９）が行われる。
【0116】
上述したように、図１２及び図１３を参照して説明した推定処理は、状態推定装置２０に限定されず、情報処理装置１０が、推定部１１０及び出力制御部１１２によって実行できる。これにより、ユーザＵ１の状態の推定、ユーザＵ１に関する推定結果に応じた認知負荷状態の表示、及び、ユーザＵ１の認知負荷状態に対応する出力の調整を実行可能である。そして、出力制御部１１２、２１２を含むことにより、情報処理装置１０及び状態推定装置２０は、制御装置の一例に対応する。
【0117】
［６．他の実施形態］
上述した実施形態は、あくまでも一態様を示すものであり任意に変形及び応用が可能である。
例えば、上記実施形態では、ユーザの状態情報として、瞳孔径の観測値、及び、心拍間隔の観測値を利用する例を説明した。これは一例であり、ユーザの単位時間あたりの呼吸間隔を観測値として含む状態情報を用いてもよい。また、観測情報は、観測値のほか、操作量を含んでもよい。これらの場合、状態モデル生成部５１０は、観測情報に含まれる観測値及び操作量をクラスタリングし、指定された数のクラスタを特定する。
上述した実施形態は、あくまでも一態様を示すものであり任意に変形及び応用が可能である。
例えば、上記実施形態では、ユーザの状態情報として、瞳孔径の観測値、及び、心拍間隔の観測値を利用する例を説明した。これは一例であり、ユーザの単位時間あたりの呼吸間隔を観測値として含む状態情報を用いてもよい。また、観測情報は、観測値のほか、操作量を含んでもよい。これらの場合、状態モデル生成部５１０は、観測情報に含まれる観測値及び操作量をクラスタリングし、指定された数のクラスタを特定する。
【0118】
上記実施形態では、状態モデル生成部５１０が処理する観測情報が、２つの観測値を含む２次元のデータセットであり、２次元のヒト状態マップ５４０によりクラスタリング処理を実行する例を説明した。これは一例であり、例えば、より多くの次元のデータセットをクラスタリング処理してもよい。すなわち、観測情報に含まれる観測値と操作量とが合わせて３以上である場合に、３次元、或いはより多次元のデータセットに対するクラスタリング処理を実行してもよい。
【0119】
上記実施形態では、車両１、２が備える車両機能部３３０の例としてナビゲーションシステム３３１を説明したが、車両機能部３３０は、表示や音声出力を行う他の装置であってもよい。具体的には、車両機能部３３０は、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）、音楽プレイヤー、その他のインフォテイメントシステムを含んでもよい。
【0120】
また、情報処理装置１０は、状態モデル取得部１０４、推定部１１０、及び、出力制御部１１２を備えていない構成であってもよい。すなわち、情報処理装置１０は、観測情報を生成してサーバ５に送信する機能のみを備える装置であってもよい。
【0121】
状態モデル５１３を生成する処理をサーバ５が実行する構成は一例である。例えば、情報処理装置１０または状態推定装置２０が、状態モデル生成部５１０と同様の構成を備え、状態モデルを生成する処理を行ってもよい。この場合、状態モデルを生成した情報処理装置１０または状態推定装置２０は、他の情報処理装置１０及び状態推定装置２０に状態モデルを送信してもよい。
【0122】
プロセッサ１００、２００、５００は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。プロセッサ１００、２００、５００は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、プロセッサ１００は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で構成されてもよい。
【0123】
また、図２、図４、図５に示した各部の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、情報処理システム１０００の各部の具体的な細部構成についても任意に変更可能である。
【0124】
また、図６～図１０、図１２に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。
【0125】
また、上述した情報処理システム１０００における情報処理方法を、プロセッサ１００、２００、５００を用いて実現する場合、これらの各プロセッサが実行するプログラムを非一時的な記録媒体に記憶する態様としてもよいし、このプログラムを伝送する伝送媒体の態様で構成することも可能である。例えば、アプリ１２２、２２２、５２２は、可搬型の情報記録媒体にアプリ１２２を記録した状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
【0126】
［７．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成をサポートする。
上記実施形態は、以下の構成をサポートする。
【0127】
（構成１）移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、複数の前記操縦者のそれぞれの前記観測値を含む前記状態変数に基づいて生成された複数の前記観測情報を取得する観測情報収集部と、前記観測情報収集部により取得された複数の前記観測情報を、複数のクラスタにクラスタリングするクラスタリング処理部と、を備える、情報処理システム。
構成１の情報処理システムによれば、移動体を操縦する複数の操縦者について生成された観測情報をクラスタリングすることにより、複数の操縦者に関する情報をもとに、操縦者の状態を判定するための情報を得ることができる。このため、移動体を操縦する操縦者の状態を、より高精度で判定する技術の実現を可能とし、延いては持続可能な輸送システムの発展に寄与できる。
構成１の情報処理システムによれば、移動体を操縦する複数の操縦者について生成された観測情報をクラスタリングすることにより、複数の操縦者に関する情報をもとに、操縦者の状態を判定するための情報を得ることができる。このため、移動体を操縦する操縦者の状態を、より高精度で判定する技術の実現を可能とし、延いては持続可能な輸送システムの発展に寄与できる。
【0128】
（構成２）複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行うクラスタ割当部を備える、構成１に記載の情報処理システム。
構成２の情報処理システムによれば、操縦者に関する観測値を含む状態変数を、操縦中における認知負荷に対応付けられたクラスタに分類することにより、観測値と認知負荷との相関を示す情報を得ることができる。これにより、移動体を操縦する操縦者の状態を、より高精度で判定する技術を実現できる。
構成２の情報処理システムによれば、操縦者に関する観測値を含む状態変数を、操縦中における認知負荷に対応付けられたクラスタに分類することにより、観測値と認知負荷との相関を示す情報を得ることができる。これにより、移動体を操縦する操縦者の状態を、より高精度で判定する技術を実現できる。
【0129】
（構成３）前記クラスタ割当部は、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷の高さに対応する意味づけを行う、構成２に記載の情報処理システム。
構成３の情報処理システムによれば、操縦者に関する観測値を用いて、観測値と認知負荷の高さとの相関を示す情報を得ることができる。これにより、移動体を操縦する操縦者の状態を、より高精度で判定する技術を実現できる。
構成３の情報処理システムによれば、操縦者に関する観測値を用いて、観測値と認知負荷の高さとの相関を示す情報を得ることができる。これにより、移動体を操縦する操縦者の状態を、より高精度で判定する技術を実現できる。
【0130】
（構成４）前記取得部は前記移動体に搭載され、前記観測情報収集部は、前記移動体において前記取得部が取得した前記状態変数に基づいて前記観測情報生成部が生成する前記観測情報を、複数の前記移動体から取得する、構成１から構成３のいずれか１項に記載の情報処理システム。
構成４の情報処理システムによれば、複数の移動体から操縦者の観測値に関する情報を収集することによって、より多くの情報に基づいて、観測値と操縦者の状態との相関に関する情報を得ることができる。このため、操縦者の状態を、より高い精度で判定する技術を実現できる。
構成４の情報処理システムによれば、複数の移動体から操縦者の観測値に関する情報を収集することによって、より多くの情報に基づいて、観測値と操縦者の状態との相関に関する情報を得ることができる。このため、操縦者の状態を、より高い精度で判定する技術を実現できる。
【0131】
（構成５）前記観測値は、前記操縦者の心拍間隔、呼吸間隔、及び、瞳孔径の少なくともいずれかを含む、構成１から構成４のいずれか１項に記載の情報処理システム。
構成５の情報処理システムによれば、操縦者の身体に関する観測値から、操縦者の状態を、より高い精度で判定できる。
構成５の情報処理システムによれば、操縦者の身体に関する観測値から、操縦者の状態を、より高い精度で判定できる。
【0132】
（構成６）前記状態変数は、前記観測値と、前記移動体が備える操作部の操作量とを含む、構成１から構成５のいずれか１項に記載の情報処理システム。
構成６の情報処理システムによれば、移動体の操作部に対する操縦者の操作を反映して、操縦者の状態を、より高精度で判定できる。
構成６の情報処理システムによれば、移動体の操作部に対する操縦者の操作を反映して、操縦者の状態を、より高精度で判定できる。
【0133】
（構成７）コンピュータにより、移動体を操縦する操縦者を観測した観測値を含む状態変数を取得し、所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成し、複数の前記操縦者のそれぞれの前記観測値を含む前記状態変数に基づいて生成された複数の前記観測情報を取得し、取得した複数の前記観測情報を複数のクラスタにクラスタリングする、情報処理方法。
構成７の情報処理方法によれば、移動体を操縦する複数の操縦者について生成された観測情報をクラスタリングすることにより、複数の操縦者に関する情報をもとに、操縦者の状態を判定するための情報を得ることができる。このため、移動体を操縦する操縦者の状態を、より高精度で判定する技術の実現を可能とし、延いては持続可能な輸送システムの発展に寄与できる。
構成７の情報処理方法によれば、移動体を操縦する複数の操縦者について生成された観測情報をクラスタリングすることにより、複数の操縦者に関する情報をもとに、操縦者の状態を判定するための情報を得ることができる。このため、移動体を操縦する操縦者の状態を、より高精度で判定する技術の実現を可能とし、延いては持続可能な輸送システムの発展に寄与できる。
【符号の説明】
【0134】
１、２…車両（移動体）、５…サーバ、１０…情報処理装置（状態推定装置）、２０…状態推定装置、１００…プロセッサ、１０１…取得部、１０２…観測情報生成部、１０３…観測情報送信部、１０４…状態モデル取得部、１１０…推定部、１１１…状態モデル、１１２…出力制御部、１２０…メモリ、１２１…制御プログラム、１２２…アプリ、１２３…観測情報、１３１、２３１…センサＩ／Ｆ、１３２、２３２…操作部Ｉ／Ｆ、２００…プロセッサ、２０１…取得部、２０２…観測情報生成部、２０４…状態モデル取得部、２１０…推定部、２１１…状態モデル、２１２…出力制御部、２２１…制御プログラム、２２２…アプリ、３０１…通信装置、３０２…ディスプレイ、３０３…スピーカ、３０４…メーターパネル、３１１…カメラ、３１２…心拍センサ、３２１…アクセルペダルセンサ、３２２…ブレーキペダルセンサ、３２３…舵角センサ、３３０…車両機能部、３３１…ナビゲーションシステム、３６１…状態表示部、５００…プロセッサ、５０１…観測情報収集部、５０２…送信処理部、５１０…状態モデル生成部、５１１…クラスタリング処理部、５１２…クラスタ割当部、５１３…状態モデル、５２０…メモリ、５２１…制御プログラム、５２２…アプリ、５２３…観測情報、５２４…状態モデル、５３０…通信装置、１０００…情報処理システム、ＮＷ…通信ネットワーク、Ｒ、Ｐ…観測値、Ｕ１、Ｕ１Ａ、Ｕ１Ｂ、Ｕ２、Ｕ２Ａ、Ｕ２Ｂ…ユーザ（操縦者）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】