ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141442
(43)【公開日】2024-10-10
(54)【発明の名称】情報処理システム、情報処理方法、及び、プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20241003BHJP
G08G 1/00 20060101ALI20241003BHJP
【ＦＩ】
G08G1/16 F
G08G1/00 D
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023053100
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】村松 雄介
(72)【発明者】
【氏名】坂本 直宏
(72)【発明者】
【氏名】安達 紘子
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181CC04
5H181CC27
5H181FF10
5H181LL07
5H181LL08
5H181LL20
(57)【要約】
【課題】車両等の移動体を操縦する操縦者の状態を、より高精度で推定する技術を実現する。
【解決手段】移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、移動体において観測された観測値を含む状態変数に基づいて、操縦者の観測情報を生成する観測情報生成部と、１人の操縦者の観測情報を蓄積し、蓄積した複数の観測情報を複数のクラスタにクラスタリングする処理、及び、複数のクラスタの各々に、操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、状態変数と操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、状態モデルを用いることにより、状態変数または観測情報から操縦者の状態を推定する推定部と、を備える、情報処理システム。
【選択図】図１
【解決手段】移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、移動体において観測された観測値を含む状態変数に基づいて、操縦者の観測情報を生成する観測情報生成部と、１人の操縦者の観測情報を蓄積し、蓄積した複数の観測情報を複数のクラスタにクラスタリングする処理、及び、複数のクラスタの各々に、操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、状態変数と操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、状態モデルを用いることにより、状態変数または観測情報から操縦者の状態を推定する推定部と、を備える、情報処理システム。
【選択図】図１
【特許請求の範囲】
【請求項1】
移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、
前記移動体において観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、
１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、
前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する推定部と、を備える、情報処理システム。
前記移動体において観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、
１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、
前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する推定部と、を備える、情報処理システム。
【請求項2】
前記観測値は、前記操縦者の心拍間隔、呼吸間隔、及び、瞳孔径の少なくともいずれかを含む、請求項１に記載の情報処理システム。
【請求項3】
前記取得部は、前記状態変数を所定の周期で取得し、
前記推定部は、前記取得部が前記状態変数を取得する毎に、取得された前記状態変数から前記操縦者の状態を推定する、請求項１に記載の情報処理システム。
前記推定部は、前記取得部が前記状態変数を取得する毎に、取得された前記状態変数から前記操縦者の状態を推定する、請求項１に記載の情報処理システム。
【請求項4】
前記推定部が推定する前記操縦者の状態は、前記操縦者の操縦に対する集中度に対応する、請求項１に記載の情報処理システム。
【請求項5】
前記状態変数は、前記観測値と、前記移動体が備える操作部の操作量とを含む、請求項１に記載の情報処理システム。
【請求項6】
前記推定部の推定結果を、前記移動体に設けられた表示部に表示させる、請求項１に記載の情報処理システム。
【請求項7】
コンピュータにより、
移動体を操縦する操縦者を観測した観測値を含む状態変数を取得し、
所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成し、
１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成し、
前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する、情報処理方法。
移動体を操縦する操縦者を観測した観測値を含む状態変数を取得し、
所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成し、
１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成し、
前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する、情報処理方法。
【請求項8】
コンピュータを、
移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、
前記移動体において観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、
１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、
前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する推定部と、
して機能させる、プログラム。
移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、
前記移動体において観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、
１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、
前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する推定部と、
して機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法、及び、プログラムに関する。
【背景技術】
【0002】
近年、交通参加者の中でも高齢者や障がい者や子供といった脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて運転支援技術を通して交通の安全性や利便性をより一層改善する研究開発に注力している。
例えば、特許文献１は、車両の運転に係るアクセルペダル、ブレーキペダル、ハンドルなどの操作量を解析することにより、車両の運転を行うドライバーの緊張度を判定する構成を開示する。また、特許文献２は、車両のドライバーの顔を撮影した画像を用いて、ドライバーの眠気レベルを判定する構成を開示する。
例えば、特許文献１は、車両の運転に係るアクセルペダル、ブレーキペダル、ハンドルなどの操作量を解析することにより、車両の運転を行うドライバーの緊張度を判定する構成を開示する。また、特許文献２は、車両のドライバーの顔を撮影した画像を用いて、ドライバーの眠気レベルを判定する構成を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７―１９７００２号公報
【特許文献2】特開２０２１―０９６７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、車両のドライバー等の操縦者を支援する支援技術においては、操縦者の状態に合わせて適切な支援を行うことが求められるが、そのためには操縦者の状態を、より高い精度で推定する必要があった。
本願は上記課題の解決のため、車両等の移動体を操縦する操縦者の状態をより高精度で推定する技術の実現を目的としたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
本願は上記課題の解決のため、車両等の移動体を操縦する操縦者の状態をより高精度で推定する技術の実現を目的としたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0005】
本発明の一態様は、移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、前記移動体において観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する推定部と、を備える、情報処理システムである。
【発明の効果】
【0006】
本発明の一態様によれば、１人の操縦者を観測した観測値から生成される状態モデルを利用して、この操縦者の状態を推定する。このため、操縦者の状態をより高い精度で推定することが可能となり、延いては持続可能な輸送システムの発展に寄与できる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
［１．情報処理システムの構成］
図１は、情報処理システム１０００の構成を示す図である。
情報処理システム１０００は、車両１に搭載された情報処理装置１０と、サーバ５と、を含む。サーバ５は、通信ネットワークＮＷを介して、情報処理装置１０と相互にデータ通信可能に接続される。図１には、２台の車両１Ａ、１Ｂに搭載された情報処理装置１０が情報処理システム１０００に含まれる構成を一例として示しているが、情報処理システム１０００に含まれる情報処理装置１０の数に制限はない。以下の説明では、車両１Ａ、１Ｂを区別しない場合に車両１と記載する。
図１は、情報処理システム１０００の構成を示す図である。
情報処理システム１０００は、車両１に搭載された情報処理装置１０と、サーバ５と、を含む。サーバ５は、通信ネットワークＮＷを介して、情報処理装置１０と相互にデータ通信可能に接続される。図１には、２台の車両１Ａ、１Ｂに搭載された情報処理装置１０が情報処理システム１０００に含まれる構成を一例として示しているが、情報処理システム１０００に含まれる情報処理装置１０の数に制限はない。以下の説明では、車両１Ａ、１Ｂを区別しない場合に車両１と記載する。
【0009】
車両１は移動体の一例である。車両１は、ユーザＵが搭乗するキャビン（乗員室）を備えていればよく、移動体は、４輪の車両に限定されず、５輪以上の車両でもよく、３輪以下の車両でもよい。また、移動体としての車両は、バス等の大型車両、商用車両、或いは作業用車両等であってもよい。また、移動体としては、上記の自動車のような陸上移動体のほか、船舶、潜水艇等の海洋移動体、ｅＶＴＯＬ（Ｅｌｅｃｔｒｉｃ Ｖｅｒｔｉｃａｌ Ｔａｋｅ－Ｏｆｆ ａｎｄ Ｌａｎｄｉｎｇ ａｉｒｃｒａｆｔ）を含む航空機、飛行船等の空中移動体、あるいは、宇宙船、人工衛星などの宇宙移動体であってもよい。
【0010】
車両１ＡにはユーザＵ１Ａが乗車し、車両１ＢにはユーザＵ１Ｂが乗車する。ユーザＵ１Ａ、Ｕ１Ｂを区別しない場合にユーザＵ１と記載する。ユーザＵ１は、移動体を操縦する操縦者の一例である。ユーザＵ１が車両１を運転することは、操縦の一例である。
【0011】
通信ネットワークＮＷは、公衆回線網や、専用線、その他の通信回路などで構成される通信ネットワークである。
【0012】
サーバ５は、各々の情報処理装置１０とデータを送受信するコンピュータである。サーバ５は、単一のサーバコンピュータであってもよいし、複数のサーバコンピュータにより構成されてもよいし、クラウドサーバであってもよい。サーバ５は、管理装置の一例に対応する。
【0013】
［２．情報処理装置の構成］
図２は、車両１に搭載される情報処理装置１０の構成例を示すブロック図である。図３は、車両１の構成例を示す図である。
情報処理装置１０は、車両１に搭載される装置であり、プロセッサ１００を有するコンピュータである。情報処理装置１０は、車両１に固定された装置であってもよいし、携帯可能な装置であって車両１に一時的に設置される装置であってもよい。例えば、情報処理装置１０として、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置を採用できる。
図２は、車両１に搭載される情報処理装置１０の構成例を示すブロック図である。図３は、車両１の構成例を示す図である。
情報処理装置１０は、車両１に搭載される装置であり、プロセッサ１００を有するコンピュータである。情報処理装置１０は、車両１に固定された装置であってもよいし、携帯可能な装置であって車両１に一時的に設置される装置であってもよい。例えば、情報処理装置１０として、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置を採用できる。
【0014】
情報処理装置１０には、車両１に搭載された通信装置３０１、ディスプレイ３０２、スピーカ３０３、及び、メーターパネル３０４が接続される。これらの装置を情報処理装置１０が内蔵する構成であってもよい。
【0015】
通信装置３０１は、データを送信するトランスミッタ、及び、データを受信するレシーバを備える無線通信装置であり、セルラー通信を実行する。通信装置３０１は、プロセッサ１００の制御に従って通信ネットワークＮＷに接続し、通信ネットワークＮＷを通じてサーバ５との間でデータ通信を実行する。
【0016】
ディスプレイ３０２は、液晶表示パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルで構成される表示画面を有し、情報処理装置１０が出力する表示信号またはデジタル表示データに基づいて、表示画面に文字や画像を表示する。ディスプレイ３０２は、例えば、図３に示すように、車両１のダッシュボード３５０、或いは、インストゥルメントパネルに設置され、ユーザＵ１から良好に視認される位置にある。
【0017】
スピーカ３０３は、情報処理装置１０が出力する音声信号、または、デジタル音声データに基づいて音を出力する。
【0018】
メーターパネル３０４は、図３に示すように、ユーザＵ１が着座する位置の正面、或いは、その近傍に設置される。メーターパネル３０４は、車両１の車速、エンジン回転数、バッテリの残容量等の情報を表示する。メーターパネル３０４は液晶表示パネル等の表示画面を用いて構成されてもよいし、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を有するインジケータランプで構成されてもよい。ディスプレイ３０２、スピーカ３０３及びメーターパネル３０４は、車両１が備える出力装置の一例である。出力装置は、音声、映像、画像、光、その他の刺激により情報をユーザＵ１に出力する装置を含む。ディスプレイ３０２及びメーターパネル３０４は表示部の一例である。
【0019】
情報処理装置１０には、カメラ３１１、及び、心拍センサ３１２が接続される。
カメラ３１１は、ユーザＵ１の顔を含む撮影範囲を撮影するデジタルカメラであり、撮影画像データを情報処理装置１０に出力する。カメラ３１１の撮影画像データは、後述するように、ユーザＵ１の瞳孔径の観測、及び、ユーザＵ１の呼吸の検出の少なくともいずれかに利用される。
カメラ３１１は、ユーザＵ１の顔を含む撮影範囲を撮影するデジタルカメラであり、撮影画像データを情報処理装置１０に出力する。カメラ３１１の撮影画像データは、後述するように、ユーザＵ１の瞳孔径の観測、及び、ユーザＵ１の呼吸の検出の少なくともいずれかに利用される。
【0020】
心拍センサ３１２は、ユーザＵ１の単位時間あたりの心拍を計測するセンサである。心拍センサ３１２は、例えば、図３に示すように、車両１のステアリングホイール３５１に設置された一対の電極３５４に接続される。この例で、心拍センサ３１２は、ユーザＵ１の手が電極３５４に接触している状態で、ユーザＵ１の脈の拍動に伴う身体表面の電位変化を検出することにより、ユーザＵ１の心拍を検出する。心拍センサ３１２は、ユーザＵ１の心拍間隔を算出する。心拍センサ３１２は、例えば、電極３５４を用いて心拍を検出するセンサと、心拍間隔を算出する制御回路とを含むセンサユニットである。心拍センサ３１２は、計測値として心拍間隔を出力する。心拍間隔は、例えば秒またはミリ秒を単位とする時間の値である。心拍センサ３１２が心拍を検出するための構成は電極３５４に制限されず、例えば、ユーザＵ１の身体に装着される光センサ等によりユーザＵ１の心拍を検出してもよい。また、心拍センサ３１２が検出した心拍に基づいて、プロセッサ１００が心拍間隔を算出する構成であってもよい。
【0021】
カメラ３１１及び心拍センサ３１２は、ユーザＵ１の身体に関する観測を行う構成であり、観測部と呼ぶこともできる。情報処理装置１０が観測部を用いて観測する対象は、ユーザＵ１の瞳孔径、呼吸間隔、心拍間隔に制限されず、その他の生体情報を計測するものであってもよい。
【0022】
情報処理装置１０は、センサＩ／Ｆ（インターフェイス）１３１を備える。センサＩ／Ｆ１３１は、カメラ３１１及び心拍センサ３１２に有線で接続される接続部であり、ケーブルを接続するコネクターとインターフェイス回路とを備える。センサＩ／Ｆ１３１は、カメラ３１１が出力する撮影画像データ、及び、心拍センサ３１２が出力する心拍間隔の計測データを取得する。
【0023】
情報処理装置１０は、操作部Ｉ／Ｆ１３２を備える。操作部Ｉ／Ｆ１３２には、車両１が備えるアクセルペダルセンサ３２１、ブレーキペダルセンサ３２２、及び、舵角センサ３２３の少なくともいずれかが接続される。アクセルペダルセンサ３２１は、車両１を発進および増速させる操作部であるアクセルペダルの踏み込み量、或いは、アクセルペダルの操作に対応するスロットル開度を検出する。ブレーキペダルセンサ３２２は、車両１を減速および停止させる操作部であるブレーキペダルの踏み込み量を検出する。舵角センサ３２３は、操作部であるステアリングホイール３５１の操作量、或いは、ステアリングホイール３５１の操作に伴う車両１の舵角を検出する。アクセルペダルセンサ３２１、ブレーキペダルセンサ３２２、及び、舵角センサ３２３は、検出値を情報処理装置１０に出力する。操作部Ｉ／Ｆ１３２は、アクセルペダルセンサ３２１、ブレーキペダルセンサ３２２、及び、舵角センサ３２３が出力する操作量のデータを取得する。操作部Ｉ／Ｆ１３２は、例えば、車両１に設置されたＣＡＮ（Ｃｏｎｔｒｔｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続される通信装置であり、ＣＡＮを介して各操作部の操作量を取得してもよい。
【0024】
また、情報処理装置１０には、車両１が搭載する車両機能部３３０が接続される。車両機能部３３０は、車両１において情報処理装置１０とは異なる機能を有する装置である。車両機能部３３０は、情報処理装置１０とは別に機能を実行し、車両機能部３３０の機能に基づく音声を出力する装置である。車両機能部３３０は、例えば、ダッシュボード３５０に設置されてもよいし、情報処理装置１０と一体の筐体に収容されてもよい。車両機能部３３０の具体的な構成は、車両１の仕様等に応じて適宜に変更可能である。本実施形態では、車両機能部３３０としてナビゲーションシステム３３１を例示する。
【0025】
ナビゲーションシステム３３１は、例えば、プロセッサ１００とは異なるプロセッサを有するハードウェアであり、例えば、情報処理装置１０とは別に車両１に設置されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を備える。ナビゲーションシステム３３１は、車両１が移動する移動経路の探索、及び、車両１の移動中における移動経路の案内を行う。ナビゲーションシステム３３１は、探索した経路に沿って経路案内の実行するため、地図、及び、車両１の現在位置を示す画像を含むナビゲーション用の画面をディスプレイ３０２に表示させる。また、ナビゲーションシステム３３１は、車両１の進行方向や、車両１を右折または左折させる場所を知らせる音声を、スピーカ３０３から出力させる。
【0026】
情報処理装置１０は、プロセッサ１００、及び、メモリ１２０を備える。プロセッサ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、或いはその他の集積回路で構成されるコンピュータである。メモリ１２０は、プログラムやデータを記憶する記憶装置である。プロセッサ１００は、揮発性のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）をワークエリアとして利用してもよい。ＲＡＭは、プロセッサ１００に統合して実装されてもよいし、メモリ１２０がＲＡＭを備える構成であってもよい。
【0027】
メモリ１２０は、書き換え可能な不揮発性の記憶装置であり、プロセッサ１００が実行するプログラム、及び、プロセッサ１００により処理されるデータを記憶する。メモリ１２０は、例えば、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の半導体記憶デバイス、或いは、磁気的記憶デバイスで構成される。メモリ１２０は、制御プログラム１２１、アプリ１２２、及び、観測情報１２３を記憶する。
【0028】
制御プログラム１２１、及びアプリ１２２はプロセッサ１００が実行するプログラムであり、プロセッサ１００により読み取り可能にメモリ１２０に記憶される。制御プログラム１２１は、プロセッサ１００が情報処理装置１０の各部を制御するための基本制御プログラムであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）である。アプリ１２２は、ＯＳ上で実行されるアプリケーションプログラムである。
【0029】
プロセッサ１００は、機能部として、取得部１０１、観測情報生成部１０２、観測情報送信部１０３、状態モデル取得部１０４、推定部１１０、及び、出力制御部１１２を有する。これらの機能部は、プロセッサ１００がアプリ１２２を実行することにより、実現される。アプリ１２２は、プログラムの一例である。情報処理装置１０は、状態モデル取得部１０４、推定部１１０、及び出力制御部１１２に係る機能に関して、状態推定装置の一例に対応する。
【0030】
取得部１０１は、ユーザＵ１が車両１を運転している間にユーザＵ１を観測した観測値を含む状態変数を取得する。状態変数は、少なくとも観測値を含む。観測値とは、具体的には、ユーザＵ１の心拍間隔、呼吸間隔、及び、瞳孔径の少なくともいずれかを含む。呼吸間隔は、ユーザＵ１の呼吸の間隔であり、例えば秒またはミリ秒を単位とする時間の値である。例えば、取得部１０１は、センサＩ／Ｆ１３１によって取得したカメラ３１１の撮影画像データから、ユーザＵ１の瞳孔径の算出、及び、ユーザＵ１の呼吸の検出の少なくともいずれかを実行する。取得部１０１は、ユーザＵ１の呼吸を検出した場合、呼吸間隔を算出する。また、例えば、取得部１０１は、心拍センサ３１２の計測値である心拍間隔を観測値として取得する。これらの瞳孔径、呼吸間隔、心拍間隔の少なくともいずれかが状態変数に含まれる。また、状態変数は車両１の操作部の操作量を含んでもよい。例えば、取得部１０１が操作部Ｉ／Ｆ１３２によって操作量を取得し、観測値と操作量とを含む状態変数を取得または生成してもよい。
【0031】
観測情報生成部１０２は、取得部１０１が取得した状態変数に基づいて、ユーザＵ１の観測情報を生成する。観測情報は、状態変数を含む情報であって、状態変数を取得した車両１、情報処理装置１０、或いは状態変数の取得の対象となったユーザＵ１を特定する情報を含む。観測情報生成部１０２は、状態変数を生成する処理を、予め設定された周期で繰り返し実行する。観測情報送信部１０３は、観測情報生成部１０２により生成した観測情報を、通信装置３０１によってサーバ５に送信する。
【0032】
状態モデル取得部１０４は、後述するように、サーバ５から状態モデル１１１を取得する。状態モデル１１１は、取得部１０１が取得する状態変数から、ユーザＵ１の運転中における認知負荷を求めるモデルである。
【0033】
推定部１１０は、状態モデル１１１を有する。状態モデル１１１は、取得部１０１が取得する状態変数、或いは、状態変数を含む観測情報を状態モデル１１１に与えることにより、ユーザＵ１の状態を推定する。推定部１１０は、例えば、取得部１０１が状態変数を取得する毎に、或いは、観測情報生成部１０２が観測情報を生成する毎に、状態変数からユーザＵ１の状態を推定する。
【0034】
推定部１１０が推定するユーザＵ１の状態とは、運転に対するユーザＵ１の集中度ということができる。後述する例では、推定部１１０が、ユーザＵ１の状態を、適度な認知負荷状態と、高認知負荷状態と、低認知負荷状態とのいずれであるかを推定する。
【0035】
発明者らは、車両１等の移動体を操縦するときの人間の集中状態は、人間の認知負荷あるいは認知的負荷に影響を受けることに着目した。認知負荷は、人間の知覚、視覚や聴覚により受ける刺激、人間の動作等に起因して認知機能に加わる負荷をいう。認知負荷状態は、ユーザＵ１の脳が処理するタスクの処理量ということができる。適度な認知負荷状態では、タスク処理量も適度である。これに対し、高認知負荷状態はタスク処理量が多い状態であり、低認知負荷状態はタスク処理量が少ない状態である。
【0036】
ユーザＵ１が車両１を運転中のユーザＵ１の認知負荷が適度である場合、運転に対するユーザＵ１の集中度が適度な状態となる。運転中のユーザＵ１の認知負荷が高認知負荷状態である場合、ユーザＵ１が焦りを感じるような状態となるため、運転に対するユーザＵ１の集中度が低下する。また、運転中のユーザＵ１の認知負荷が低認知負荷状態である場合、ユーザＵ１は刺激の少ない漫然とした状態であるため、運転に対するユーザＵ１の集中度が低下する。
【0037】
従って、推定部１１０がユーザＵ１の状態を推定した結果が、適度な認知負荷状態と、高認知負荷状態と、低認知負荷状態とのいずれであるかをもとに、運転に対するユーザＵ１の集中度が適度な状態であるか、より集中度が低い状態であるかを判断できる。推定部１１０は、ユーザＵ１の観測情報からユーザＵ１の認知負荷状態を推定し、推定された認知負荷状態から運転に対するユーザＵ１の集中度を特定できる。つまり、推定部１１０は、運転に対するユーザＵ１の集中度を推定するといえる。
【0038】
出力制御部１１２は、推定部１１０の推定結果に基づく出力処理を実行する。出力制御部１１２が実行する出力処理は、推定部１１０の推定結果を、ディスプレイ３０２及びメーターパネル３０４の少なくともいずれかに表示させる処理を含む。また、出力制御部１１２が実行する出力処理は、ユーザＵ１への出力を調整する処理を含む。具体的には、出力制御部１１２は、スピーカ３０３から出力される音の音量、及び、ディスプレイ３０２またはメーターパネル３０４に表示される情報量を調整する。例えば、ユーザＵ１が高認知負荷状態であると推定された場合、出力制御部１１２は、ユーザＵ１の認知負荷を軽減するように、ディスプレイ３０２、スピーカ３０３、及びメーターパネル３０４等からの出力を調整する。出力制御部１１２は、ユーザＵ１が低認知負荷状態であると推定された場合、ユーザＵ１の認知負荷を増加させるように、ディスプレイ３０２、スピーカ３０３、及びメーターパネル３０４等からの出力を調整する。出力の調整に関する具体的な例は後述する。
【0039】
【0040】
通信装置５３０は、データを送信するトランスミッタ、及び、データを受信するレシーバを備える無線通信装置であり、セルラー通信を実行する。通信装置５３０は、プロセッサ５００の制御に従って通信ネットワークＮＷに接続し、通信ネットワークＮＷを通じてサーバ５との間でデータ通信を実行する。
【0041】
サーバ５は、プロセッサ５００、及び、メモリ５２０を備える。プロセッサ５００は、ＣＰＵ、ＭＰＵ、或いはその他の集積回路で構成されるコンピュータである。メモリ５２０は、プログラムやデータを記憶する記憶装置である。プロセッサ５００は、揮発性のＲＡＭをワークエリアとして利用してもよい。ＲＡＭは、プロセッサ５００に統合して実装されてもよいし、メモリ５２０がＲＡＭを備える構成であってもよい。
【0042】
メモリ５２０は、書き換え可能な不揮発性の記憶装置であり、プロセッサ５００が実行するプログラム、及び、プロセッサ５００により処理されるデータを記憶する。メモリ５２０は、例えば、フラッシュＲＯＭやＳＳＤ等の半導体記憶デバイス、或いは、磁気的記憶デバイスで構成される。メモリ５２０は、制御プログラム５２１、アプリ５２２、観測情報５２３、及び、状態モデル５２４を記憶する。
【0043】
制御プログラム５２１、及びアプリ５２２はプロセッサ５００が実行するプログラムであり、プロセッサ５００により読み取り可能にメモリ５２０に記憶される。制御プログラム５２１は、プロセッサ５００がサーバ５の各部を制御するための基本制御プログラムであり、ＯＳである。アプリ５２２は、ＯＳ上で実行されるアプリケーションプログラムである。
【0044】
プロセッサ５００は、機能部として、観測情報収集部５０１、送信処理部５０２、及び、状態モデル生成部５１０を有する。これらの機能部は、プロセッサ５００がアプリ５２２を実行することにより、実現される。アプリ５２２は、プログラムの一例である。
【0045】
観測情報収集部５０１は、情報処理装置１０から観測情報を取得する。観測情報収集部５０１は、情報処理システム１０００に含まれる複数の情報処理装置１０から観測情報を取得することによって、複数のユーザＵ１のそれぞれの観測値を含む状態変数を得ることができる。観測情報収集部５０１は、情報処理装置１０から取得した観測情報をメモリ５２０に観測情報５２３として記憶させる。メモリ５２０には、後述するように、ユーザ毎に観測情報５２３が記憶される。例えば、メモリ５２０には、ユーザＵ１Ａを観測した観測値を含む観測情報５２３Ａと、ユーザＵ１Ｂを観測した観測値を含む観測情報５２３Ｂとが、それぞれ記憶される。
【0046】
状態モデル生成部５１０は、クラスタリング処理部５１１、クラスタ割当部５１２、及び、状態モデル５１３を有する。クラスタリング処理部５１１は、観測情報収集部５０１によって取得された複数の観測情報を、複数のクラスタにクラスタリングする処理を実行する。クラスタ割当部５１２は、クラスタリング処理部５１１によりクラスタリングされた複数のクラスタの各々に、ユーザＵ１の操縦中における認知負荷に対応する意味づけを行う処理を実行する。
【0047】
クラスタリング処理部５１１は、例えば、ｋ平均法（ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）、階層法、その他の公知のクラスタ解析の手法を用いて、複数の観測情報を予め指定された数のクラスタに分類する。本実施形態では、観測情報を３つのクラスタに分類する。クラスタ割当部５１２は、３つのクラスタの各々に、ユーザＵ１の高認知負荷状態、低認知負荷状態、及び、適度な認知負荷状態を対応付ける。クラスタリング処理部５１１及びクラスタ割当部５１２の処理によって、状態モデル５１３が生成される。状態モデル５１３は、観測情報が取得された場合に、取得された観測情報を３つのクラスタのいずれかに分類し、分類されたクラスタに対し意味づけされた認知負荷状態を求める。つまり、状態モデル５１３は、観測情報からユーザＵ１の認知負荷状態を推定できる。
【0048】
状態モデル５１３は、観測情報からユーザＵ１の認知負荷を求めるモデルであり、機械学習済みの学習モデル、観測情報に含まれる観測値からユーザＵ１の認知負荷を判定するプログラム、関数、或いは、パラメータである。状態モデル生成部５１０は、クラスタリング処理部５１１及びクラスタ割当部５１２の処理結果を反映した状態モデル５１３を生成する。状態モデル生成部５１０は、状態モデル５１３を情報処理装置１０に送信するための状態モデル５２４を生成し、メモリ５２０に記憶させる。状態モデル５１３は、後述するように、情報処理システム１０００を利用する複数のユーザＵ１の各々に対応して生成される。例えば、メモリ５２０が記憶する状態モデル５２４Ａは、ユーザＵ１Ａに対応し、状態モデル５２４ＢはユーザＵ１Ｂに対応する。なお、サーバ５は、より多数のユーザＵ１に対応する状態モデル５２４を生成してもよく、メモリ５２０には状態モデル５２４Ａ、５２４Ｂ以外の状態モデル５２４を格納できる。
【0049】
送信処理部５０２は、状態モデル生成部５１０により生成された状態モデル５２４を、通信装置５３０を用いて、情報処理装置１０に送信する。送信処理部５０２は、送信処理部の一例に対応する。
【0050】
［４．情報処理システムの動作］
［４－１．全体の動作］
図５は、情報処理システム１０００の動作例を示すシーケンス図である。
ステップＳＡ１～ＳＡ４は情報処理装置１０の動作であり、ステップＳＢ１～ＳＢ３はサーバ５の動作である。
［４－１．全体の動作］
図５は、情報処理システム１０００の動作例を示すシーケンス図である。
ステップＳＡ１～ＳＡ４は情報処理装置１０の動作であり、ステップＳＢ１～ＳＢ３はサーバ５の動作である。
【0051】
情報処理装置１０は、取得部１０１及び観測情報生成部１０２により観測情報生成処理を実行する（ステップＳＡ１）。情報処理装置１０は、観測情報生成処理によって生成した観測情報を、観測情報送信部１０３によりサーバ５に送信する（ステップＳＡ２）。ステップＳＡ１～ＳＡ２の動作を、複数の情報処理装置１０が並行して実行してもよい。例えば、車両１Ａに搭載された情報処理装置１０、及び、車両１Ｂに搭載された情報処理装置１０が、それぞれステップＳＡ１～ＳＡ２を実行できる。
【0052】
サーバ５は、情報処理装置１０が送信した観測情報を観測情報収集部５０１によって受信し（ステップＳＢ１）、状態モデル生成部５１０によって状態モデル生成処理を実行する（ステップＳＢ２）。ここで、サーバ５は、状態モデル生成処理を実行するために十分な数の観測情報を受信するまで、ステップＳＢ１の動作を繰り返し行いながら待機してもよい。
【0053】
サーバ５は、状態モデル生成部５１０により生成した状態モデル５２４を、送信処理部５０２によって情報処理装置１０に送信する（ステップＳＢ３）。
【0054】
情報処理装置１０は、サーバ５が送信した状態モデルを状態モデル取得部１０４により取得する（ステップＳＡ３）。情報処理装置１０は、取得した状態モデル１１１を推定部１１０に搭載し、推定部１１０によって推定処理を実行する（ステップＳＡ４）。
車両１Ａが搭載する情報処理装置１０、及び、車両１Ｂが搭載する情報処理装置１０は、それぞれ、図５のステップＳＡ１～ＳＡ４を実行する。この場合、サーバ５は、各々の情報処理装置１０に対応してステップＳＢ１～ＳＢ３を実行する。
車両１Ａが搭載する情報処理装置１０、及び、車両１Ｂが搭載する情報処理装置１０は、それぞれ、図５のステップＳＡ１～ＳＡ４を実行する。この場合、サーバ５は、各々の情報処理装置１０に対応してステップＳＢ１～ＳＢ３を実行する。
【0055】
上記のように、サーバ５は、各々のユーザＵ１に対応する状態モデル５２４を有する。例えば、サーバ５はユーザＵ１Ａに対応する状態モデル５２４Ａと、ユーザＵ１Ｂに対応する状態モデル５２４Ｂとを有する。サーバ５は、ステップＳＢ３で、情報処理装置１０に送信する状態モデル５２４を選択する処理を行ってもよい。例えば、サーバ５は、情報処理装置１０に状態モデル５２４を送信する前に、送信先の情報処理装置１０を利用するユーザＵ１を特定する処理を行ってもよい。具体的には、サーバ５は、情報処理装置１０に対し、利用者である情報処理装置１０の識別用の情報を送信するよう要求し、要求に応じて情報処理装置１０が送信する情報に基づいて、状態モデル５２４を選択する。また、情報処理装置１０は、ステップＳＡ３に先立ち、サーバ５に対して、状態モデル５２４を指定して要求する処理を行ってもよい。この場合、情報処理装置１０は、ユーザＵ１の識別用の情報をサーバ５に送信し、この識別用の情報に対応する状態モデル５２４を要求する。
【0056】
以下に、観測情報生成処理（ステップＳＡ１）、状態モデル生成処理（ステップＳＢ２）、及び、推定処理（ステップＳＡ４）について詳細に説明する。
【0057】
［４－２．観測情報の生成］
図６は、情報処理装置１０の動作例を示すフローチャートであり、観測情報生成処理の詳細を示す。図６のステップＳＡ１１～ＳＡ１４は取得部１０１により実行され、ステップＳＡ１５～ＳＡ１７は観測情報生成部１０２により実行される。
図６は、情報処理装置１０の動作例を示すフローチャートであり、観測情報生成処理の詳細を示す。図６のステップＳＡ１１～ＳＡ１４は取得部１０１により実行され、ステップＳＡ１５～ＳＡ１７は観測情報生成部１０２により実行される。
【0058】
情報処理装置１０は、車両１の始動を検知すると（ステップＳＡ１１）、心拍観測処理を開始し（ステップＳＡ１２）、瞳孔径観測処理を開始する（ステップＳＡ１３）。ステップＳＡ１２、ＳＡ１３は逆の順序であっても同時に行われてもよい。車両１の始動とは、車両１の制御系の装置が停止している状態から起動することを指し、例えば、車両１のイグニッションスイッチがオンにされること、或いは、車両１のシステム電源がオンにされることである。
【0059】
図７は、情報処理装置１０の動作例を示すフローチャートであり、心拍観測処理を示す。ステップＳＡ２１～ＳＡ２８は取得部１０１により実行される。
心拍センサ３１２は、上述したように、予め設定された計測周期でユーザＵ１の心拍を検出し、心拍を検出する毎に心拍間隔を算出し、心拍間隔を計測結果として出力する。心拍センサ３１２は、予め設定された所定時間における心拍間隔の平均値を算出し、心拍間隔の平均値を、計測値として出力してもよい。情報処理装置１０は、車両１の始動を検知してから心拍センサ３１２の計測値を取得し、取得した計測値を心拍間隔ＲＲＩ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ２１）。心拍間隔ＲＲＩ（ｔ）は心拍センサ３１２の計測値を時刻に対応付けたデータである。この時刻は、心拍センサ３１２が計測をした計測時刻または情報処理装置１０が計測値を取得した時刻であり、観測時刻といえる。情報処理装置１０は、車両１の始動から６０秒が経過したか否かを判定し（ステップＳＡ２２；ＹＥＳ）、６０秒が経過する前であれば（ステップＳＡ２２；ＮＯ）、ステップＳＡ２１に戻る。情報処理装置１０は、車両１の始動から６０秒が経過すると（ステップＳＡ２２）、ステップＳＡ２３に移行する。ステップＳＡ２３で、情報処理装置１０は、車両１の始動から６０秒間の心拍間隔ＲＲＩ（ｔ）の平均値である値Ｒ６０を算出する（ステップＳＡ２３）。
心拍センサ３１２は、上述したように、予め設定された計測周期でユーザＵ１の心拍を検出し、心拍を検出する毎に心拍間隔を算出し、心拍間隔を計測結果として出力する。心拍センサ３１２は、予め設定された所定時間における心拍間隔の平均値を算出し、心拍間隔の平均値を、計測値として出力してもよい。情報処理装置１０は、車両１の始動を検知してから心拍センサ３１２の計測値を取得し、取得した計測値を心拍間隔ＲＲＩ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ２１）。心拍間隔ＲＲＩ（ｔ）は心拍センサ３１２の計測値を時刻に対応付けたデータである。この時刻は、心拍センサ３１２が計測をした計測時刻または情報処理装置１０が計測値を取得した時刻であり、観測時刻といえる。情報処理装置１０は、車両１の始動から６０秒が経過したか否かを判定し（ステップＳＡ２２；ＹＥＳ）、６０秒が経過する前であれば（ステップＳＡ２２；ＮＯ）、ステップＳＡ２１に戻る。情報処理装置１０は、車両１の始動から６０秒が経過すると（ステップＳＡ２２）、ステップＳＡ２３に移行する。ステップＳＡ２３で、情報処理装置１０は、車両１の始動から６０秒間の心拍間隔ＲＲＩ（ｔ）の平均値である値Ｒ６０を算出する（ステップＳＡ２３）。
【0060】
続いて、情報処理装置１０は、ステップＳＡ２１と同様に心拍センサ３１２の計測値を取得し、取得した計測値を心拍間隔ＲＲＩ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ２４）。ステップＳＡ２４の動作はステップＳＡ２２の直後に開始されてもよい。情報処理装置１０は、心拍間隔ＲＲＩ（ｔ）の取得開始から３０秒が経過したか否かを判定し（ステップＳＡ２５）、３０秒が経過する前であれば（ステップＳＡ２５；ＮＯ）、ステップＳＡ２４に戻る。情報処理装置１０は、心拍間隔ＲＲＩ（ｔ）の取得開始から３０秒が経過すると（ステップＳＡ２５；ＹＥＳ）、ステップＳＡ２６に移行する。
【0061】
ステップＳＡ２６で、情報処理装置１０は、メモリ１２０に一時記憶した３０秒間の心拍間隔ＲＲＩ（ｔ）の平均値である値Ｒ３０を算出する（ステップＳＡ２６）。情報処理装置１０は、値Ｒ３０から値Ｒ６０を除算することにより差を算出し、求めた値を観測値Ｒとしてメモリ１２０に記憶させる（ステップＳＡ２７）。
【0062】
このように、ステップＳＡ２１～ＳＡ２３では、車両１の始動後の最初の６０秒間におけるユーザＵ１の心拍間隔の平均値Ｒ６０が算出される。ステップＳＡ２４～ＳＡ２６では、車両１の始動から６０秒間を経過した後に、３０秒毎に、ユーザＵ１の心拍間隔の平均値Ｒ３０が算出される。そして、情報処理装置１０は、平均値Ｒ３０を算出する毎に、値Ｒ３０と値Ｒ６０の差を求め、求めた差を観測値Ｒとする。従って、車両１の始動から９０秒が経過したときから、３０秒毎に観測値Ｒが算出され、算出された観測値Ｒが順次、メモリ１２０に蓄積される。
【0063】
情報処理装置１０は心拍観測処理を終了するか否かを判定する（ステップＳＡ２８）。車両１の制御系が停止した場合や、心拍観測処理の終了に関する操作がユーザＵ１により行われた場合など、心拍観測処理を終了する条件が成立した場合には（ステップＳＡ２８；ＹＥＳ）、情報処理装置１０は図８の処理を終了する。処理を終了しない場合（ステップＳＡ２８；ＮＯ）、情報処理装置１０はステップＳＡ２４に戻る。
【0064】
図８は、情報処理装置１０の動作例を示すフローチャートであり、瞳孔径観測処理を示す。ステップＳＡ３１～ＳＡ３８は取得部１０１により実行される。
取得部１０１は、カメラ３１１の撮影画像データを解析することにより、ユーザＵ１の瞳孔径の計測を実行する。例えば、取得部１０１は、カメラ３１１の撮影画像データからユーザＵ１の目の画像を抽出し、抽出した画像における目の輪郭と瞳孔の大きさとを比較することにより、瞳孔径を算出する。取得部１０１は、瞳孔径の計測を、予め設定された計測周期で実行し、計測を行う毎に瞳孔径の計測結果を出力する。
取得部１０１は、カメラ３１１の撮影画像データを解析することにより、ユーザＵ１の瞳孔径の計測を実行する。例えば、取得部１０１は、カメラ３１１の撮影画像データからユーザＵ１の目の画像を抽出し、抽出した画像における目の輪郭と瞳孔の大きさとを比較することにより、瞳孔径を算出する。取得部１０１は、瞳孔径の計測を、予め設定された計測周期で実行し、計測を行う毎に瞳孔径の計測結果を出力する。
【0065】
情報処理装置１０は、車両１の始動を検知してから瞳孔径の計測値を取得し、取得した計測値を瞳孔径Ｐｕｐｉｌ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ３１）。瞳孔径Ｐｕｐｉｌ（ｔ）は瞳孔径の計測値を時刻に対応付けたデータである。この時刻は、瞳孔径を計測した計測時刻または情報処理装置１０が計測値を取得した時刻であり、観測時刻といえる。情報処理装置１０は、車両１の始動から６０秒が経過したか否かを判定し（ステップＳＡ３２；ＹＥＳ）、６０秒が経過する前であれば（ステップＳＡ３２；ＮＯ）、ステップＳＡ３１に戻る。情報処理装置１０は、車両１の始動から６０秒が経過すると（ステップＳＡ３２）、ステップＳＡ３３に移行する。ステップＳＡ３３で、情報処理装置１０は、車両１の始動から６０秒間の瞳孔径Ｐｕｐｉｌ（ｔ）の平均値である値Ｐ６０を算出する（ステップＳＡ３３）。
【0066】
続いて、情報処理装置１０は、ステップＳＡ３１と同様に瞳孔径の計測値を取得し、取得した計測値を瞳孔径Ｐｕｐｉｌ（ｔ）としてメモリ１２０に一時記憶する（ステップＳＡ３４）。ステップＳＡ３４の動作はステップＳＡ３２の直後に開始されてもよい。情報処理装置１０は、瞳孔径Ｐｕｐｉｌ（ｔ）の取得開始から３０秒が経過したか否かを判定し（ステップＳＡ３５）、３０秒が経過する前であれば（ステップＳＡ３５；ＮＯ）、ステップＳＡ３４に戻る。情報処理装置１０は、瞳孔径Ｐｕｐｉｌ（ｔ）の取得開始から３０秒が経過すると（ステップＳＡ３５；ＹＥＳ）、ステップＳＡ３６に移行する。
【0067】
ステップＳＡ３６で、情報処理装置１０は、メモリ１２０に一時記憶した３０秒間の瞳孔径Ｐｕｐｉｌ（ｔ）の平均値である値Ｐ３０を算出する（ステップＳＡ３６）。情報処理装置１０は、Ｐ３０からＰ６０を除算することにより差を算出し、求めた値を観測値Ｐとしてメモリ１２０に記憶させる（ステップＳＡ３７）。
【0068】
このように、ステップＳＡ３１～ＳＡ３３では、車両１の始動後の最初の６０秒間におけるユーザＵ１の瞳孔径の平均値Ｐ６０が算出される。ステップＳＡ３４～ＳＡ３６では、車両１の始動から６０秒間を経過した後に、３０秒毎に、ユーザＵ１の瞳孔径の平均値Ｐ３０が算出される。そして、情報処理装置１０は、平均値Ｐ３０を算出する毎に、値Ｐ３０と値Ｐ６０の差を求め、求めた差を観測値Ｐとする。従って、車両１の始動から９０秒が経過したときから、３０秒毎に観測値Ｐが算出され、算出された観測値Ｐが順次、メモリ１２０に蓄積される。
【0069】
情報処理装置１０は瞳孔径観測処理を終了するか否かを判定する（ステップＳＡ３８）。車両１の制御系が停止した場合や、瞳孔径観測処理の終了に関する操作がユーザＵ１により行われた場合など、瞳孔径観測処理を終了する条件が成立した場合には（ステップＳＡ３８；ＹＥＳ）、情報処理装置１０は図８の処理を終了する。処理を終了しない場合（ステップＳＡ３８；ＮＯ）、情報処理装置１０はステップＳＡ３４に戻る。
【0070】
情報処理装置１０は、図６において、観測値Ｒ及び観測値Ｐを取得する（ステップＳＡ１４）。ステップＳＡ１４で、情報処理装置１０は、メモリ１２０に記憶されている観測値Ｒ及び観測値Ｐを取得するので、心拍観測処理（図７）及び瞳孔径観測処理（図８）のいずれかが実行中であってもステップＳＡ１４を実行可能である。車両１Ａに搭載された情報処理装置１０は、ステップＳＡ１４でユーザＵ１Ａの観測値Ｒ及び観測値Ｐを取得する。また、車両１Ｂに搭載された情報処理装置１０は、ステップＳＡ１４で、ユーザＵ１Ｂの観測値Ｒ及び観測値Ｐを取得する。
【0071】
情報処理装置１０は、ステップＳＡ１４で取得した観測値Ｒ及び観測値Ｐを状態変数として含む観測情報を生成する（ステップＳＡ１５）。本実施形態では状態変数が２つの観測値Ｒ、Ｐを含むが、状態変数は３以上の観測値を含んでもよい。情報処理装置１０は、生成した観測情報を、観測値Ｒ及び観測値Ｐのいずれか、或いは両方が生成された時刻に対応付けてメモリ１２０に記憶する（ステップＳＡ１６）。ステップＳＡ１６で、情報処理装置１０は、観測情報を生成した時刻に対応付けて、観測情報を記憶してもよい。情報処理装置１０は、観測情報生成処理を終了するか否かを判定する（ステップＳＡ１７）。車両１の制御系が停止した場合など、観測情報生成処理を終了する条件が成立した場合には（ステップＳＡ１７；ＹＥＳ）、情報処理装置１０は図６の処理を終了する。処理を終了しない場合（ステップＳＡ１７；ＮＯ）、情報処理装置１０はステップＳＡ１４に戻る。
【0072】
図６、図７及び図８の動作により、例えば、車両１ＡではユーザＵ１Ａの観測情報が生成され、車両１ＢではユーザＵ１Ｂの観測情報が生成される。これらの動作を複数の車両１Ａ、１Ｂにおいて情報処理装置１０が実行することにより、複数のユーザＵ１Ａ、Ｕ１Ｂを対象として、観測情報が生成される。生成された観測情報は、各々のユーザＵ１及び時刻に対応付けて、各々の情報処理装置１０のメモリ１２０に記憶される。つまり、情報処理装置１０は、１人のユーザＵ１に対して時刻の異なる複数の観測情報を生成し、メモリ１２０に蓄積する。
【0073】
［４－３．状態モデルの生成］
図９は、サーバ５の動作例を示すフローチャートであり、状態モデル生成処理の詳細を示す。図９のステップＳＢ１１は観測情報収集部５０１により実行され、ステップＳＢ１２～ＳＢ１３はクラスタリング処理部５１１により実行され、ステップＳＢ１３～ＳＢ１９はクラスタ割当部５１２により実行される。図１０は、状態モデル生成処理におけるヒト状態マップ５４０の例を示す模式図である。
図９は、サーバ５の動作例を示すフローチャートであり、状態モデル生成処理の詳細を示す。図９のステップＳＢ１１は観測情報収集部５０１により実行され、ステップＳＢ１２～ＳＢ１３はクラスタリング処理部５１１により実行され、ステップＳＢ１３～ＳＢ１９はクラスタ割当部５１２により実行される。図１０は、状態モデル生成処理におけるヒト状態マップ５４０の例を示す模式図である。
【0074】
サーバ５は、車両１に搭載された情報処理装置１０から観測情報を取得し、ユーザ毎にメモリ５２０に記憶する（ステップＳＢ１１）。例えば、サーバ５は、ユーザＵ１Ａの観測情報を観測情報５２３Ａとして記憶し、ユーザＵ１Ｂの観測情報を観測情報５２３Ｂとして記憶する。
【0075】
図１に示すように、ユーザＵ１Ａが車両１Ａを操縦し、ユーザＵ１Ｂが車両１Ｂを操縦することが定まっている場合、観測情報収集部５０１は、車両１Ａの情報処理装置１０から取得した観測情報を観測情報５２３Ａとして記憶する。また、観測情報収集部５０１は、車両１Ｂの情報処理装置１０から取得した観測情報を観測情報５２３Ｂとして記憶する。
【0076】
また、情報処理システム１０００において、情報処理装置１０が、ユーザＵ１の識別を行う構成であってもよい。例えば、取得部１０１は、ステップＳＡ１１で車両１の始動を検知した場合に、その車両１を操縦するユーザＵ１を識別する。具体的には、ユーザＵ１が、ユーザ名やユーザＩＤ等の識別用の情報を情報処理装置１０に入力すること、取得部１０１がカメラ３１１の撮影画像を用いてユーザＵ１の顔を識別すること、等が挙げられる。この場合、情報処理装置１０は、サーバ５が、観測情報を、どのユーザＵ１の観測情報であるか識別できるように、サーバ５に観測情報を送信する。例えば、情報処理装置１０は、観測情報生成処理（図６）において、ユーザＵ１の識別用の情報を含む観測情報を生成する（ステップＳＡ１５）。この場合、観測情報にユーザＵ１の識別用の情報が含まれるため、サーバ５は、観測情報を参照することにより、観測情報に対応するユーザＵ１を特定する。また、例えば、情報処理装置１０は、サーバ５に観測情報を送信する際に（ステップＳＡ２）、観測情報に、ユーザＵ１の識別用の情報を付加してもよい。この場合、サーバ５は、情報処理装置１０が送信する観測情報に付加された識別用の情報を参照することによって、観測情報に対応するユーザＵ１を特定する。
【0077】
このように、サーバ５は、ステップＳＢ１１において、情報処理装置１０から受信した観測情報に対応するユーザＵ１を特定し、特定したユーザＵ１に対応付けて観測情報をメモリ１２０に記憶させる。サーバ５は、１人のユーザＵ１についての観測情報を、繰り返し情報処理装置１０から取得することができる。上述したように、情報処理装置１０は、周期的に観測値Ｒ及び観測値Ｐを生成し、観測情報を生成する。情報処理装置１０は、観測情報を生成する毎、あるいは、観測情報を所定数生成する毎に、サーバ５に観測情報を送信する。サーバ５は、観測情報を受信した場合に、受信した観測情報と同じユーザＵ１に対応する観測情報１２３を特定し、特定した観測情報１２３に、受信した観測情報を追加して更新する処理を行う。これにより、メモリ１２０には、ユーザ毎に、複数の観測情報が蓄積される。各々の観測情報１２３は、異なる車両１で観測された観測情報を含んでもよい。例えば、ユーザＵ１Ａの観測情報は、車両１ＡでユーザＵ１Ａを観測した観測情報と、車両１ＢでユーザＵ１Ａを観測した観測情報とを含んでもよい。
【0078】
サーバ５は、取得した観測情報から観測値Ｒ及び観測値Ｐを抽出し、観測値Ｒと観測値Ｐとを、ユーザ毎のヒト状態マップ５４０上にプロットする（ステップＳＢ１２）。ステップＳＢ１２で、サーバ５は、メモリ１２０が記憶する観測情報１２３に複数の観測情報が含まれる場合、これら複数の観測情報に含まれる観測値Ｒと観測値Ｐとの組合せをヒト状態マップ５４０上にプロットする。ヒト状態マップ５４０はクラスタリング処理部５１１の動作を模式的に示すマップであり、実際にはヒト状態マップ５４０に相当するデータがメモリ５２０に記憶される。サーバ５は、ヒト状態マップ５４０を、ユーザ毎に生成する。具体的には、サーバ５は、ユーザＵ１Ａに対応するヒト状態マップ５４０と、ユーザＵ１Ｂに対応するヒト状態マップ５４０とを有する。例えば、ユーザＵ１Ａに対応するヒト状態マップ５４０には、ユーザＵ１Ａの観測情報がプロットされる。
【0079】
ヒト状態マップ５４０は、図１０に例として示すように、観測情報に含まれる状態変数が２つの観測値Ｒ、Ｐを含むことに対応する２次元のマップである。図１０の例では、横軸が観測値Ｐであり、縦軸が観測値Ｒであり、１つの観測情報が１つのプロット５４１として配置される。例えば、サーバ５が有する観測情報１２３が、ユーザＵ１Ａの１０個の観測情報を含む場合、ヒト状態マップ５４０には１０個の観測情報がプロットされる。
【0080】
サーバ５は、ヒト状態マップ５４０上のプロット５４１を対象としてクラスタリング処理を実行し、指定された数のクラスタに分類する（ステップＳＢ１３）。本実施形態ではクラスタの数として３が指定される。分類の具体的な手法としては、上述したように、ｋ平均法、階層法、その他の公知のクラスタ解析の手法を用いることができる。
【0081】
サーバ５は、ステップＳＢ１３で分類された各クラスタに含まれる観測情報の観測値Ｒ、及び、観測値Ｐを取得する（ステップＳＢ１４）。サーバ５は、クラスタ毎に、ステップＳＢ１４で取得した観測値Ｒの平均値、及び、観測値Ｐの平均値を算出する（ステップＳＢ１５）。
【0082】
サーバ５は、観測値Ｒの平均値が最も小さいクラスタを、適度な認知負荷状態に対応付ける（ステップＳＢ１６）。これにより、１つのクラスタに対し、認知負荷状態の意味づけが行われる。
【0083】
続いて、サーバ５は、意味づけがされていない残りのクラスタのうち観測値Ｐの平均値が最も大きいクラスタを、高認知負荷状態に対応付ける（ステップＳＢ１７）。さらに、サーバ５は、意味づけがされていない残りのクラスタを、低認知負荷状態に対応付ける（ステップＳＢ１８）。ステップＳＢ１６～ＳＢ１８により、３つのクラスタに対し、認知負荷状態の意味づけが行われる。
【0084】
図１０には、クラスタリング処理部５１１により分類された３つのクラスタＣ１、Ｃ２、Ｃ３を示す。クラスタＣ１は適度な認知負荷状態に対応付けられ、クラスタＣ２は低認知負荷状態に対応付けられ、クラスタＣ３は高認知負荷状態に対応付けられる。
【0085】
サーバ５は、状態モデル５１３を生成する（ステップＳＢ１９）。状態モデル５１３は、新たな観測情報が状態モデル５１３に入力された場合に、入力された観測情報がクラスタＣ１、Ｃ２、Ｃ３のいずれに属するかを判定し、判定したクラスタに対して意味づけがなされた認知負荷状態を、判定結果として出力する。従って、状態モデル５１３の出力は、適度な認知負荷状態、高認知負荷状態、低認知負荷状態のいずれかである。
【0086】
状態モデル５１３は、例えば、クラスタＣ１、Ｃ２、Ｃ３と、各クラスタに含まれる観測値Ｒ及び観測値Ｐの値との相関を機械学習した学習済みモデルであり、いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）である。この場合、ステップＳＢ１２～ＳＢ１３のクラスタリング処理部５１１によるクラスタリング処理は、機械学習の一種である教師なし学習に相当する。ステップＳＢ１４～ＳＢ１８の処理は、学習済みモデルの出力データの設定を行うことに相当する。また、状態モデル５１３は、観測値Ｒ及び観測値Ｐから認知負荷状態を判定するプログラム、関数、或いは、閾値等のパラメータであってもよい。
【0087】
サーバ５は、ステップＳＢ１９で生成された状態モデル５１３を、状態モデル５１３の生成に用いたヒト状態マップ５４０に対応するユーザに対応付けて、メモリ５２０に状態モデル５２４として記憶させる。状態モデル５２４は、状態モデル５１３それ自体、または、情報処理装置１０が状態モデル５１３と同様のモデルを生成するためのプログラムやデータである。そして、図５のステップＳＢ３において、状態モデル５２４は情報処理装置１０に送信され、情報処理装置１０が推定処理を実行可能となる。メモリ５２０には、情報処理システム１０００を利用するユーザＵ１の各々に対応付けて状態モデル５２４が記憶される。例えば、ユーザＵ１Ａに対応する状態モデル５２４Ａは、情報処理装置１０においてユーザＵ１Ａの状態を推定する場合に、ユーザＵ１Ａの状態をより高精度で推定することができ、好適である。
【0088】
サーバ５は、図９の状態モデル生成処理を所定のタイミングで実行する。例えば、サーバ５は、情報処理装置１０から受信した観測情報の数が予め設定された閾値以上となった場合に、状態モデル生成処理を実行する。また、サーバ５は、設定された数の観測情報を情報処理装置１０から受信する毎、或いは、状態モデル５１３を生成してから設定された時間が経過する毎に、状態モデル生成処理を実行する。この場合、サーバ５は、既に生成した状態モデル５１３を更新し、更新した状態モデル５１３に対応する状態モデル５２４を、情報処理装置１０に送信する。
【0089】
［４－４．推定処理］
図１１は、情報処理装置１０の動作例を示すフローチャートであり、推定処理の詳細を示す。図１１の動作を実行する情報処理装置１０は、制御装置の一例に対応する。
ステップＳＡ１１～ＳＡ１５は図６と同様の動作である。ステップＳＡ４１は推定部１１０により実行され、ステップＳＡ４２～ＳＡ４５は出力制御部１１２により実行される。
図１１は、情報処理装置１０の動作例を示すフローチャートであり、推定処理の詳細を示す。図１１の動作を実行する情報処理装置１０は、制御装置の一例に対応する。
ステップＳＡ１１～ＳＡ１５は図６と同様の動作である。ステップＳＡ４１は推定部１１０により実行され、ステップＳＡ４２～ＳＡ４５は出力制御部１１２により実行される。
【0090】
情報処理装置１０は、車両１の始動を検知すると（ステップＳＡ１１）、心拍観測処理を開始し（ステップＳＡ１２）、瞳孔径観測処理を開始する（ステップＳＡ１３）。情報処理装置１０は、観測値Ｒ及び観測値Ｐを取得する（ステップＳＡ１４）。情報処理装置１０は、ステップＳＡ１４で取得した観測値Ｒ及び観測値Ｐを状態変数として含む観測情報を生成する（ステップＳＡ１５）。
【0091】
情報処理装置１０は、ステップＳＡ１５で生成した観測情報を状態モデル１１１に入力することにより、観測情報が属するクラスタを特定する（ステップＳＡ４１）。状態モデル１１１は、情報処理装置１０がサーバ５から受信した状態モデル５２４により形成され、情報処理装置１０を使用するユーザＵ１に対応する状態モデルである。情報処理装置１０は、特定したクラスタに対応付けられた認知負荷状態を取得する（ステップＳＡ４２）。具体的には、情報処理装置１０は、適度な認知負荷状態、高認知負荷状態、及び低認知負荷状態のいずれかの推定結果を取得する。
【0092】
情報処理装置１０は、ステップＳＡ４２で取得した認知負荷状態を表示する（ステップＳＡ４３）。ステップＳＡ４３では、認知負荷状態から特定されるユーザＵ１の集中度を表示してもよい。例えば、情報処理装置１０は、ディスプレイ３０２、及び、メーターパネル３０４のいずれか又は両方に、ユーザＵ１の認知負荷状態または運転に対する集中度を示す文字や画像を表示する。
【0093】
図１２は、出力制御部１１２がメーターパネル３０４に表示させる状態表示部３６１の例を示す図である。状態表示部３６１は、例えば、メーターパネル３０４に設けられる液晶表示パネルに表示される。
【0094】
状態表示部３６１は、針形状のインジケータ３６３と、インジケータ３６３の移動範囲に配置されたゲージ３６２とを有する。ゲージ３６２は円弧状の形状であり、インジケータ３６３はゲージ３６２に沿って回動する。ゲージ３６２及びインジケータ３６３は、例えば液晶表示パネルに表示される画像である。
【0095】
ゲージ３６２は、３つの領域３６２Ａ、３６２Ｂ、３６２Ｃに区分され、各領域３６２Ａ、３６２Ｂ、３６２Ｃは異なる色で塗り分けられる。領域３６２ＡはユーザＵ１の認知負荷状態が低いこと、すなわち低認知負荷状態であることを示す。領域３６２ＢはユーザＵ１が適度な認知負荷状態であることを示し、領域３６２ＣはユーザＵ１が高認知負荷状態であることを示す。領域３６２Ａ、３６２Ｂ、３６２Ｃの色は、各々の領域が対応する認知負荷状態を連想させる色で塗り分けられてもよい。また、領域３６２Ａ、３６２Ｂ、３６２Ｃに、各領域が対応する認知負荷状態を示す文字、或いは、各領域の認知負荷状態に対応するタスク処理量を示す文字が付加されてもよい。
【0096】
出力制御部１１２は、状態表示部３６１を表示させることにより、ゲージ３６２におけるインジケータ３６３の位置によってユーザＵ１の認知負荷状態、タスク処理量、或いは、運転への集中度を表示できる。
【0097】
情報処理装置１０は、ステップＳＡ４３の後、或いはステップＳＡ４３と並行して、認知負荷状態に対応して情報処理装置１０の出力を調整する（ステップＳＡ４４）。ステップＳＡ４４では、車両１が備える装置からユーザＵ１に対する出力を調整する。具体的には、情報処理装置１０は、出力制御部１１２によって、スピーカ３０３から出力される音の音量、ディスプレイ３０２またはメーターパネル３０４の表示輝度、及び、表示される情報量を調整する。
【0098】
ユーザＵ１が高認知負荷状態である場合、出力制御部１１２は、ユーザＵ１の認知負荷を軽減するように、出力を調整する。例えば、出力制御部１１２は、スピーカ３０３から出力される音の音量を低下させる処理、ディスプレイ３０２の表示輝度（明るさ）を低下させる処理、メーターパネル３０４の表示輝度（明るさ）を低下させる処理を実行する。これらの処理によってユーザＵ１に加わる外的刺激の強度を低下させることができ、ユーザＵ１の認知負荷の増大の抑制、或いは、認知負荷の低減を実現できる。
【0099】
また、例えば、出力制御部１１２は、ユーザＵ１の認知負荷を軽減させるため、ユーザＵ１に対して車両１が出力する情報量を低減させる。具体的には、出力制御部１１２は、スピーカ３０３から音を出力する機会を減少させる。情報処理装置１０が、ナビゲーションシステム３３１から入力されるデータに基づいてスピーカ３０３から音声を出力させる制御を行う場合、出力制御部１１２は、音声の出力に用いるデータを間引くことにより、スピーカ３０３から音声を出力する回数や頻度を低下させる。出力制御部１１２は、ナビゲーションシステム３３１に対して、音声出力の回数や頻度を低下させることの指示を出力してもよい。
【0100】
また、例えば、出力制御部１１２は、ユーザＵ１の認知負荷を軽減させるため、ディスプレイ３０２やメーターパネル３０４に表示される情報の量を減少させる。情報処理装置１０が、ナビゲーションシステム３３１から入力されるデータに基づいてディスプレイ３０２に情報を表示させる制御を行う場合、出力制御部１１２は、表示に用いるデータを間引くことにより、表示される情報量を低減させる。また、出力制御部１１２は、ナビゲーションシステム３３１に対して、表示する情報量を低減させることの指示を出力してもよい。また、出力制御部１１２は、メーターパネル３０４において、車両１の走行に関する重要度の低い表示を停止させてもよい。
【0101】
ユーザＵ１が低認知負荷状態であると推定された場合、出力制御部１１２は、ユーザＵ１の認知負荷を増加させるように、出力処理を実行する。例えば、出力制御部１１２は、スピーカ３０３から出力される音の音量を大きくする処理、ディスプレイ３０２の表示輝度（明るさ）を増大させる処理、メーターパネル３０４の表示輝度（明るさ）を増大させる処理を実行する。これらの処理によってユーザＵ１に加わる外的刺激の強度を増大させることができ、ユーザＵ１の認知負荷の低下の抑制、或いは、認知負荷の増加を実現できる。また、例えば、出力制御部１１２は、ユーザＵ１に対して車両１が出力する情報量を増加させる。具体的には、出力制御部１１２は、スピーカ３０３から音を出力する機会を増加させる。この場合、出力制御部１１２は、ナビゲーションシステム３３１に対して、音声出力の回数や頻度を増加させることの指示を出力してもよい。また、出力制御部１１２は、ディスプレイ３０２やメーターパネル３０４に表示される情報の量を増加させてもよい。具体的には、出力制御部１１２は、ナビゲーションシステム３３１に対して、表示する情報量を増加させることの指示を出力してもよい。また、出力制御部１１２は、メーターパネル３０４において、車両１の走行に関する重要度の低い表示を多く表示させてもよい。
【0102】
ユーザＵ１が適度な認知負荷状態であると推定された場合、出力制御部１１２は、ユーザＵ１の認知負荷の変動を抑制するように、出力処理を実行する。例えば、出力制御部１１２は、スピーカ３０３から出力される音の音量の変化を抑制する処理、ディスプレイ３０２の表示輝度（明るさ）の変化を抑制する処理、メーターパネル３０４の表示輝度（明るさ）の変化を抑制する処理を実行する。具体的には、出力制御部１１２は、スピーカ３０３から出力される音の音量を、予め設定された範囲を超えて増大または低減させる処理または操作がなされた場合に、音量の変化量を、当該処理または操作に対応する変化量よりも小さくする。これらの処理によってユーザＵ１に加わる外的刺激の変化を抑制させ、ユーザＵ１の認知負荷を、適度な認知負荷状態に維持できる。この場合において、出力制御部１１２は、例えば、スピーカ３０３から音を出力する機会の増加及び減少、ディスプレイ３０２やメーターパネル３０４に表示される情報量の変化を抑制してもよい。
【0103】
情報処理装置１０は、推定処理を終了するか否かを判定する（ステップＳＡ４５）。車両１の制御系が停止した場合など、推定処理を終了する条件が成立した場合には（ステップＳＡ４５；ＹＥＳ）、情報処理装置１０は図１１の処理を終了する。処理を終了しない場合（ステップＳＡ４５；ＮＯ）、情報処理装置１０はステップＳＡ１４に戻る。
【0104】
情報処理装置１０は、ステップＳＡ１４～ＳＡ４５を繰り返し実行することにより、例えば３０秒毎に新しい観測値Ｒ及び観測値Ｐが取得される。このため、ユーザＵ１の認知負荷状態の推定結果が、３０秒毎に更新され、更新された推定結果に基づいて、認知負荷状態の表示（ステップＳＡ４３）、及び、出力の調整（ステップＳＡ４４）が行われる。
【0105】
［５．他の実施形態］
上述した実施形態は、あくまでも一態様を示すものであり任意に変形及び応用が可能である。
例えば、上記実施形態では、ユーザの状態情報として、瞳孔径の観測値、及び、心拍間隔の観測値を利用する例を説明した。これは一例であり、ユーザの単位時間あたりの呼吸間隔を観測値として含む状態情報を用いてもよい。また、観測情報は、観測値のほか、操作量を含んでもよい。これらの場合、状態モデル生成部５１０は、観測情報に含まれる観測値及び操作量をクラスタリングし、指定された数のクラスタを特定する。
上述した実施形態は、あくまでも一態様を示すものであり任意に変形及び応用が可能である。
例えば、上記実施形態では、ユーザの状態情報として、瞳孔径の観測値、及び、心拍間隔の観測値を利用する例を説明した。これは一例であり、ユーザの単位時間あたりの呼吸間隔を観測値として含む状態情報を用いてもよい。また、観測情報は、観測値のほか、操作量を含んでもよい。これらの場合、状態モデル生成部５１０は、観測情報に含まれる観測値及び操作量をクラスタリングし、指定された数のクラスタを特定する。
【0106】
上記実施形態では、状態モデル生成部５１０が処理する観測情報が、２つの観測値を含む２次元のデータセットであり、２次元のヒト状態マップ５４０によりクラスタリング処理を実行する例を説明した。これは一例であり、例えば、より多くの次元のデータセットをクラスタリング処理してもよい。すなわち、観測情報に含まれる観測値と操作量とが合わせて３以上である場合に、３次元、或いはより多次元のデータセットに対するクラスタリング処理を実行してもよい。
【0107】
上記実施形態では、車両１が備える車両機能部３３０の例としてナビゲーションシステム３３１を説明したが、車両機能部３３０は、表示や音声出力を行う他の装置であってもよい。具体的には、車両機能部３３０は、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）、音楽プレイヤー、その他のインフォテイメントシステムを含んでもよい。
【0108】
また、情報処理装置１０は、状態モデル取得部１０４、推定部１１０、及び、出力制御部１１２を備えていない構成であってもよい。すなわち、情報処理装置１０は、観測情報を生成してサーバ５に送信する機能のみを備える装置であってもよい。
【0109】
状態モデル５１３を生成する処理をサーバ５が実行する構成は一例である。例えば、情報処理装置１０が、状態モデル生成部５１０と同様の構成を備え、状態モデルを生成する処理を行ってもよい。この場合、状態モデルを生成した情報処理装置１０は、他の情報処理装置１０に状態モデルを送信してもよい。
【0110】
プロセッサ１００、５００は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。プロセッサ１００、５００は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、プロセッサ１００は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で構成されてもよい。
【0111】
また、図２及び図４に示した各部の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、情報処理システム１０００の各部の具体的な細部構成についても任意に変更可能である。
【0112】
また、図５～図９、図１１に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。
【0113】
また、上述した情報処理システム１０００における情報処理方法を、プロセッサ１００、５００を用いて実現する場合、これらの各プロセッサが実行するプログラムを非一時的な記録媒体に記憶する態様としてもよいし、このプログラムを伝送する伝送媒体の態様で構成することも可能である。例えば、アプリ１２２、５２２は、可搬型の情報記録媒体にアプリ１２２を記録した状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
【0114】
［６．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成をサポートする。
上記実施形態は、以下の構成をサポートする。
【0115】
（構成１）移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、前記移動体において観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する推定部と、を備える、情報処理システム。
構成１の情報処理システムによれば、１人の操縦者を観測した観測値から生成される状態モデルを利用して、この操縦者の状態を推定する。このため、操縦者の状態をより高い精度で推定することが可能となり、延いては持続可能な輸送システムの発展に寄与できる。
構成１の情報処理システムによれば、１人の操縦者を観測した観測値から生成される状態モデルを利用して、この操縦者の状態を推定する。このため、操縦者の状態をより高い精度で推定することが可能となり、延いては持続可能な輸送システムの発展に寄与できる。
【0116】
（構成２）前記観測値は、前記操縦者の心拍間隔、呼吸間隔、及び、瞳孔径の少なくともいずれかを含む、構成１に記載の情報処理システム。
構成２の情報処理システムによれば、操縦者の身体に関する観測値を利用して、操縦者の状態を高精度で推定できる。
構成２の情報処理システムによれば、操縦者の身体に関する観測値を利用して、操縦者の状態を高精度で推定できる。
【0117】
（構成３）前記取得部は、前記状態変数を所定の周期で取得し、前記推定部は、前記取得部が前記状態変数を取得する毎に、取得された前記状態変数から前記操縦者の状態を推定する、構成１または構成２に記載の情報処理システム。
構成３の情報処理システムによれば、時間の経過に伴って変化する操縦者の状態を周期的に推定できる。
構成３の情報処理システムによれば、時間の経過に伴って変化する操縦者の状態を周期的に推定できる。
【0118】
（構成４）前記推定部が推定する前記操縦者の状態は、前記操縦者の操縦に対する集中度に対応する、構成１から構成３のいずれか１項に記載の情報処理システム。
構成４の情報処理システムによれば、操縦者の操縦に対する集中度を推定できる。このため、例えば、操縦者の集中度を高めるように働きかけを行うことによって、操縦者を効果的に支援することが可能となる。
構成４の情報処理システムによれば、操縦者の操縦に対する集中度を推定できる。このため、例えば、操縦者の集中度を高めるように働きかけを行うことによって、操縦者を効果的に支援することが可能となる。
【0119】
（構成５）前記状態変数は、前記観測値と、前記移動体が備える操作部の操作量とを含む、構成１から構成４のいずれか１項に記載の情報処理システム。
構成５の情報処理システムによれば、移動体の操作部に対する操縦者の操作を反映して、操縦者の状態をより適切に推定できる。
構成５の情報処理システムによれば、移動体の操作部に対する操縦者の操作を反映して、操縦者の状態をより適切に推定できる。
【0120】
（構成６）前記推定部の推定結果を、前記移動体に設けられた表示部に表示させる、構成１から構成５のいずれか１項に記載の状態推定システム。
構成６の状態推定システムによれば、移動体の操縦者の状態を推定した結果を、操縦者に知らせることができる。
構成６の状態推定システムによれば、移動体の操縦者の状態を推定した結果を、操縦者に知らせることができる。
【0121】
（構成７）コンピュータにより、移動体を操縦する操縦者を観測した観測値を含む状態変数を取得し、所定の観測タイミングで観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成し、１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成し、前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する、情報処理方法。
構成７の情報処理方法によれば１人の操縦者を観測した観測値から生成される状態モデルを利用して、この操縦者の状態を推定する。このため、操縦者の状態をより高い精度で推定することが可能となり、延いては持続可能な輸送システムの発展に寄与できる。
構成７の情報処理方法によれば１人の操縦者を観測した観測値から生成される状態モデルを利用して、この操縦者の状態を推定する。このため、操縦者の状態をより高い精度で推定することが可能となり、延いては持続可能な輸送システムの発展に寄与できる。
【0122】
（構成８）コンピュータを、移動体を操縦する操縦者を観測した観測値を含む状態変数を取得する取得部と、前記移動体において観測された前記観測値を含む前記状態変数に基づいて、前記操縦者の観測情報を生成する観測情報生成部と、１人の前記操縦者の前記観測情報を蓄積し、蓄積した複数の前記観測情報を複数のクラスタにクラスタリングする処理、及び、複数の前記クラスタの各々に、前記操縦者の操縦中における認知負荷に対応する意味づけを行う処理を実行することにより、前記状態変数と前記操縦者の操縦中における認知負荷との相関を有する状態モデルを生成する状態モデル生成部と、前記状態モデルを用いることにより、前記状態変数または前記観測情報から前記操縦者の状態を推定する推定部と、して機能させる、プログラム。
構成８のプログラムを実行することにより、１人の操縦者を観測した観測値から生成される状態モデルを利用して、この操縦者の状態を推定する。このため、操縦者の状態をより高い精度で推定することが可能となり、延いては持続可能な輸送システムの発展に寄与できる。
構成８のプログラムを実行することにより、１人の操縦者を観測した観測値から生成される状態モデルを利用して、この操縦者の状態を推定する。このため、操縦者の状態をより高い精度で推定することが可能となり、延いては持続可能な輸送システムの発展に寄与できる。
【符号の説明】
【0123】
１、１Ａ、１Ａ…車両（移動体）、５…サーバ、１０…情報処理装置、１００…プロセッサ、１０１…取得部、１０２…観測情報生成部、１０３…観測情報送信部、１０４…状態モデル取得部、１１０…推定部、１１１…状態モデル、１１２…出力制御部、１２０…メモリ、１２１…制御プログラム、１２２…アプリ、１２３…観測情報、１３１…センサＩ／Ｆ、１３２…操作部Ｉ／Ｆ、３０１…通信装置、３０２…ディスプレイ、３０３…スピーカ、３０４…メーターパネル、３１１…カメラ、３１２…心拍センサ、３２１…アクセルペダルセンサ、３２２…ブレーキペダルセンサ、３２３…舵角センサ、３３０…車両機能部、３３１…ナビゲーションシステム、３５０…ダッシュボード、３５１…ステアリングホイール、３５４…電極、３６１…状態表示部、５００…プロセッサ、５０１…観測情報収集部、５０２…送信処理部、５１０…状態モデル生成部、５１１…クラスタリング処理部、５１２…クラスタ割当部、５１３…状態モデル、５２０…メモリ、５２１…制御プログラム、５２２…アプリ、５２３、５２３Ａ、５２３Ｂ…観測情報、５２４、５２４Ａ、５２４Ｂ…状態モデル、５３０…通信装置、１０００…情報処理システム、ＮＷ…通信ネットワーク、Ｐ、Ｒ…観測値、Ｕ１、Ｕ１Ａ、Ｕ１Ｂ…ユーザ（操縦者）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】