(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-27
(45)【発行日】2023-10-05
(54)【発明の名称】情報処理装置、移動装置、および方法、並びにプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20230928BHJP
A61B 5/16 20060101ALI20230928BHJP
【ＦＩ】
G08G1/16 F
A61B5/16 130
【請求項の数】
16
(21)【出願番号】P 2020565705
(86)(22)【出願日】2019-12-25
(86)【国際出願番号】 JP2019050983
(87)【国際公開番号】W WO2020145161
(87)【国際公開日】2020-07-16
【審査請求日】2022-10-27
(31)【優先権主張番号】P 2019000975
(32)【優先日】2019-01-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】大場 英史
(72)【発明者】
【氏名】門下 康平
【審査官】白石 剛史
(56)【参考文献】
【文献】米国特許出願公開第２００８／０３０９６１６（ＵＳ，Ａ１）
【文献】特開２０１７－０９７５１８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ａ６１Ｂ ５／１６
(57)【特許請求の範囲】
【請求項1】
課題を生成または取得して表示部に表示する表示情報生成部と、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定部を有し、
前記表示情報生成部が生成または取得する課題は、
（ａ）前記ユーザが課題を解決するために不足情報を追加探索する作業を必要とする課題、
（ｂ）物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題、
（ｃ）文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題、
上記（ａ），（ｂ），（ｃ）いずれかの課題であることを特徴とする情報処理装置。
【請求項2】
前記課題は、前記ユーザが課題を解決するための眼球挙動として、眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を発生させる課題である請求項１に記載の情報処理装置。
【請求項3】
前記眼球挙動解析部は、前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを取得する請求項１に記載の情報処理装置。
【請求項4】
前記眼球挙動解析部は、前記ユーザが前記課題を解決するための眼球挙動として、眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを取得する請求項１に記載の情報処理装置。
【請求項5】
前記覚醒度判定部は、前記眼球挙動解析部から、前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する請求項１に記載の情報処理装置。
【請求項6】
前記覚醒度判定部は、前記眼球挙動解析部から、前記ユーザが眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する請求項１に記載の情報処理装置。
【請求項7】
前記覚醒度判定部は、前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定される場合、前記ユーザの覚醒度が高いと判定し、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定されない場合、前記ユーザの覚醒度が低いと判定する請求項１に記載の情報処理装置。
【請求項8】
前記覚醒度判定部は、前記ユーザの眼球挙動が前記課題を解決するための眼球挙動として眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行していると判定される場合、前記ユーザの覚醒度が高いと判定する請求項１に記載の情報処理装置。
【請求項9】
前記覚醒度判定部は、前記ユーザが手動運転を実行可能な覚醒度を有しているか否かを判定する請求項１に記載の情報処理装置。
【請求項10】
自動運転と手動運転の切り替えが可能な移動装置であり、前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記運転者情報取得部の取得情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理部を有し、
前記データ処理部は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察する前記運転者の眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記運転者の覚醒度を判定する覚醒度判定部を有し、
前記表示情報生成部が生成または取得する課題は、
（ａ）前記ユーザが課題を解決するために不足情報を追加探索する作業を必要とする課題、
（ｂ）物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題、
（ｃ）文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題、
上記（ａ），（ｂ），（ｃ）いずれかの課題であることを特徴とする移動装置。
【請求項11】
前記覚醒度判定部は、前記眼球挙動解析部から、前記運転者が前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する請求項１０に記載の移動装置。
【請求項12】
前記覚醒度判定部は、前記眼球挙動解析部から、前記運転者が眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する請求項１０に記載の移動装置。
【請求項13】
前記覚醒度判定部が、前記運転者が手動運転に復帰可能な覚醒度を有すると判定した場合、前記移動装置の制御部は、前記運転者による手動運転開始を許容し、前記覚醒度判定部が、前記運転者が手動運転に復帰可能な覚醒度を有しないと判定した場合、前記移動装置の制御部は、前記運転者による手動運転開始を許容せず、手動運転区間への侵入を回避する処理を実行する請求項１０に記載の移動装置。
【請求項14】
情報処理装置において実行する情報処理方法であり、表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行し、
前記表示情報生成部が生成または取得する課題は、
（ａ）前記ユーザが課題を解決するために不足情報を追加探索する作業を必要とする課題、
（ｂ）物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題、
（ｃ）文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題、
上記（ａ），（ｂ），（ｃ）いずれかの課題であることを特徴とする情報処理方法。
【請求項15】
移動装置において実行する情報処理方法であり、前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
データ処理部が、前記運転者情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理ステップを実行し、
前記データ処理ステップにおいて、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行し、
前記表示情報生成部が生成または取得する課題は、
（ａ）前記ユーザが課題を解決するために不足情報を追加探索する作業を必要とする課題、
（ｂ）物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題、
（ｃ）文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題、
上記（ａ），（ｂ），（ｃ）いずれかの課題であることを特徴とする情報処理方法。
【請求項16】
情報処理装置において情報処理を実行させるプログラムであり、表示情報生成部に、課題を生成または取得して表示部に表示させる表示情報生成ステップと、
眼球挙動解析部に、前記表示部に表示された課題を観察するユーザの眼球挙動を解析させる眼球挙動解析ステップと、
覚醒度判定部に、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定させる覚醒度判定ステップを実行させ、
前記表示情報生成ステップにおいて表示部に表示させる課題は、
（ａ）前記ユーザが課題を解決するために不足情報を追加探索する作業を必要とする課題、
（ｂ）物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題、
（ｃ）文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題、
上記（ａ），（ｂ），（ｃ）いずれかの課題であることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、車両の運転者の覚醒状態を確認する情報処理装置、移動装置、および方法、並びにプログラムに関する。
【背景技術】
【0002】
昨今、自動運転に関する技術開発が盛んに行われている。
自動運転技術は、車両（自動車）に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
自動運転技術は、車両（自動車）に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
【0003】
しかし、現状において自動運転は開発段階であり、１００％の自動運転が可能となるまでには時間を要すると考えられ、しばらくは、自動運転と、運転者（ドライバ）による手動運転とを、適宜切り替えて走行することになると予測される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者（ドライバ）の操作で走行を行うといったモード切り替えが必要となると予測される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者（ドライバ）の操作で走行を行うといったモード切り替えが必要となると予測される。
【0004】
車両が自動運転を実行している間は、運転者（ドライバ）は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。
【0005】
自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。
しかし、例えば、自動運転実行中に、運転者が居眠りをすると運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態で手動運転モードに切り替えてしまうと、正常な手動運転を行うことができず、最悪の場合、事故を起こす可能性がある。
しかし、例えば、自動運転実行中に、運転者が居眠りをすると運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態で手動運転モードに切り替えてしまうと、正常な手動運転を行うことができず、最悪の場合、事故を起こす可能性がある。
【0006】
運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
【0007】
運転者の運転復帰能力が不十分な状態のまま、自動運転走行可能区間から手動運転走行区間に侵入して自動運転機能が途切れてしまうと事故が発生する可能性があり危険である。
【0008】
このような問題を防止するためには、車両側のシステム（情報処理装置）は、自動運転から手動運転に切り替える前に、運転者が安全な手動運転を実行可能なレベルにあるか否かを判定することが必要である。
【0009】
運転者が安全な手動運転を実行可能なレベルにあるか否かを判定する一つの手法として、運転者の脳内活動状況を検証する処理がある。
運転者の脳内活動状況を検証する代表的処理として、運転者に課題を提示して、その課題に対する回答を検証する処理がある。
運転者の脳内活動状況を検証する代表的処理として、運転者に課題を提示して、その課題に対する回答を検証する処理がある。
【0010】
なお、特許文献１（特開２００８－２２５５３７号公報）は、運転者（ドライバ）にスピーカから質問を出力し、質問に対する答えがマイクで取得できたか否かを検証し、取得できない場合はアラームを出力する構成を開示している。
また、特許文献２（特開２０１５－１１５０４５号公報）は、運転者に特定のスイッチの操作指示を出力し、運転者が指示に従って正しい操作を行うまでの時間を計測して運転者の覚醒状態を判定する構成を開示している。
また、特許文献２（特開２０１５－１１５０４５号公報）は、運転者に特定のスイッチの操作指示を出力し、運転者が指示に従って正しい操作を行うまでの時間を計測して運転者の覚醒状態を判定する構成を開示している。
【0011】
しかし、これらの文献に記載の構成は、質問に対する運転者の回答や、指示に対する運転者の操作が必要であり、運転者の負担が発生する。また、これらの処理は、運転者の覚醒度の判定に時間を要する。従って、例えば自動運転から手動運転への切り替えを早急に行わなければならない場合等、緊急時に適用することは難しいという問題がある。
【先行技術文献】
【特許文献】
【0012】
【文献】特開２００８－２２５５３７号公報
【文献】特開２０１５－１１５０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、運転者の覚醒状態の判定を短時間にかつ運転者に過大な負担を発生させずに行うことを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
【0014】
本開示の第１の側面は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定部を有する情報処理装置にある。
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定部を有する情報処理装置にある。
【0015】
さらに、本開示の第２の側面は、
自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記運転者情報取得部の取得情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理部を有し、
前記データ処理部は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察する前記運転者の眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記運転者の覚醒度を判定する覚醒度判定部を有する移動装置にある。
自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記運転者情報取得部の取得情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理部を有し、
前記データ処理部は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察する前記運転者の眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記運転者の覚醒度を判定する覚醒度判定部を有する移動装置にある。
【0016】
さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法にある。
【0017】
さらに、本開示の第４の側面は、
移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
データ処理部が、前記運転者情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理ステップを実行し、
前記データ処理ステップにおいて、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法にある。
移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
データ処理部が、前記運転者情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理ステップを実行し、
前記データ処理ステップにおいて、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法にある。
【0018】
さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
表示情報生成部に、課題を生成または取得して表示部に表示させる表示情報生成ステップと、
眼球挙動解析部に、前記表示部に表示された課題を観察するユーザの眼球挙動を解析させる眼球挙動解析ステップと、
覚醒度判定部に、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定させる覚醒度判定ステップを実行させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
表示情報生成部に、課題を生成または取得して表示部に表示させる表示情報生成ステップと、
眼球挙動解析部に、前記表示部に表示された課題を観察するユーザの眼球挙動を解析させる眼球挙動解析ステップと、
覚醒度判定部に、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定させる覚醒度判定ステップを実行させるプログラムにある。
【0019】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0020】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【0021】
本開示の一実施例の構成によれば、自動運転走行モードから手動運転走行モードへ切り替える行う際に、運転者が手動運転可能な覚醒度を有するか否かを判断する手段として、表示部に表示された課題を解決しようとする運転者の視覚情報を眼で追う眼球挙動を解析して判定する構成が実現される。
具体的には、例えば、自動運転と手動運転の切り替えが可能な移動装置の運転者の眼球挙動に基づいて運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。表示部に表示された課題を観察する運転者の眼球挙動を解析する眼球挙動解析部と、眼球挙動解析部の解析結果に基づいて、運転者の覚醒度を判定する覚醒度判定部を有する。覚醒度判定部は運転者が課題を解決するための固視やマイクロサッカード等の眼球挙動を実行しているか否かを解析して運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。
本構成により、運転者が手動運転可能な覚醒度を有するか否かを、表示部に表示された課題を解決しようとする運転者の眼球挙動を解析して判定する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、自動運転と手動運転の切り替えが可能な移動装置の運転者の眼球挙動に基づいて運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。表示部に表示された課題を観察する運転者の眼球挙動を解析する眼球挙動解析部と、眼球挙動解析部の解析結果に基づいて、運転者の覚醒度を判定する覚醒度判定部を有する。覚醒度判定部は運転者が課題を解決するための固視やマイクロサッカード等の眼球挙動を実行しているか否かを解析して運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。
本構成により、運転者が手動運転可能な覚醒度を有するか否かを、表示部に表示された課題を解決しようとする運転者の眼球挙動を解析して判定する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0022】
【図1】本開示の移動装置の一構成例について説明する図である。
【図2】本開示の移動装置の表示部に表示されるデータの一例について説明する図である。
【図3】本開示の移動装置の実行する処理について説明する図である。
【図4】本開示の移動装置のセンサ構成例について説明する図である。
【図5】本開示の移動装置の実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を示す図である。
【図6】本開示の移動装置に搭載される情報処理装置の構成例について説明する図である。
【図7】ある情報を見る視覚課題を提示した際の運転者の眼球挙動の軌跡の一例について説明する図である。
【図8】情報を見る視覚課題を提示した際の運転者の眼球挙動の軌跡の一例であり、覚醒状態が異なる場合の挙動の差について説明する図である。
【図9】表示する課題の一例について説明する図である。
【図10】表示する課題の一例について説明する図である。
【図11】表示する課題の一例について説明する図である。
【図12】表示する課題の一例について説明する図である。
【図13】表示する課題の一例について説明する図である。
【図14】表示する課題の一例について説明する図である。
【図15】表示する課題の一例について説明する図である。
【図16】表示する課題の一例について説明する図である。
【図17】表示する課題の一例について説明する図である。
【図18】表示する課題の一例について説明する図である。
【図19】表示する課題の一例について説明する図である。
【図20】表示する課題の一例について説明する図である。
【図21】表示する課題の一例について説明する図である。
【図22】表示する課題の一例について説明する図である。
【図23】表示する課題の一例について説明する図である。
【図24】表示する課題の一例について説明する図である。
【図25】本開示の情報処理装置が実行する処理シーケンスの一例について説明するフローチャートを示す図である。
【図26】本開示の情報処理装置が実行する処理シーケンスの一例について説明するフローチャートを示す図である。
【図27】本開示の移動装置の構成例について説明する図である。
【図28】本開示の移動装置の構成例について説明する図である。
【図29】情報処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0023】
以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．移動装置と情報処理装置の構成と処理の概要について
２．自動運転モードから手動運転モードへのモード切り替えシーケンスについて
３．本開示の移動装置、情報処理装置が実行する運転者の覚醒度判定処理について
４．情報処理装置における覚醒度判定処理の実行構成について
５．運転者の覚醒度を判定するために運転者に提示する課題の具体例について
６．本開示の情報処理装置が実行する運転者の覚醒度判定処理のシーケンスについて
７．移動装置の具体的な構成と処理例について
８．情報処理装置の構成例について
９．本開示の構成のまとめ
１．移動装置と情報処理装置の構成と処理の概要について
２．自動運転モードから手動運転モードへのモード切り替えシーケンスについて
３．本開示の移動装置、情報処理装置が実行する運転者の覚醒度判定処理について
４．情報処理装置における覚醒度判定処理の実行構成について
５．運転者の覚醒度を判定するために運転者に提示する課題の具体例について
６．本開示の情報処理装置が実行する運転者の覚醒度判定処理のシーケンスについて
７．移動装置の具体的な構成と処理例について
８．情報処理装置の構成例について
９．本開示の構成のまとめ
【0024】
［１．移動装置と情報処理装置の構成と処理の概要について］
手動運転のみが許容される車両や、一部の運転補助をシステムが行う部分的な自動運転車両は、基本的に運転操舵の責任は運転者にある。近年、このような車両においてドライバモニタリングシステムを装着した車両が増加している。現行のドライバモニタリングシステムは基本的に運転者の運転操舵作業を観測し、運転者の操舵離脱や異常を検出するものである。
手動運転のみが許容される車両や、一部の運転補助をシステムが行う部分的な自動運転車両は、基本的に運転操舵の責任は運転者にある。近年、このような車両においてドライバモニタリングシステムを装着した車両が増加している。現行のドライバモニタリングシステムは基本的に運転者の運転操舵作業を観測し、運転者の操舵離脱や異常を検出するものである。
【0025】
今後、自動運転可能な自動運転車両が普及することが予測されるが、道路インフラ等の関係で、自動運転可能な道路区間である自動運転可能区間と、自動運転が許容されない道路区間である手動運転区間が混在する状態になると考えられる。運転者は自動運転可能区間では自動運転を行うことができるが、手動運転区間に侵入する際には手動運転へ復帰しなければならない。
【0026】
車両の運転支援や走行制御制御が高度化し、今後より多くの走行状況下で運者の車両走行制御を車両のシステムが主体的に制御するようになると、運転者は、自動運転可能区間では睡眠することも起こりえる。また、テレビやビデオの視聴、あるいはゲーム等の２次タスクに没頭することもありえる。しかし、例えば自動運転区間において睡眠に陥ると、運転者の意識レベルや判断レベルが低下した状態、すなわち覚醒度が低下した状態になる。今後、自動運転機能を使用して走行しえる区間が次第に伸びると、車両の運転操舵に介在せずとも車両は正常な安全走行をし続ける状況が生まれ、そのような自動運転機能の利用状況下であっても運転者は手動運転区間に侵入する前には正常な意識下で車両を運転できる高い覚醒状態に復帰している必要がある。
【0027】
しかし、現行のドライバモニタリングシステムは、運転者の覚醒低下など一時的な注意力の低下を検出する機能に重きが置かれている。現行のドライバモニタリングシステムは、完全に意識低下した状態の運転者がその意識低下状態から復帰した際の回復レベルの運転者の覚醒度を判定する機能を有していない。
【0028】
本開示の構成は、このような現状の課題を解決するものであり、運転者の運転操舵に必要な覚醒度の判定、とりわけ意識復帰の詳細判定を可能としたものである。本開示の構成は、例えば運転者の脳内の知覚認知活動の状態を推定する。
具体的には、運転者の眼球の挙動を解析して、運転者の覚醒度を判定する。
具体的には、運転者の眼球の挙動を解析して、運転者の覚醒度を判定する。
【0029】
まず、図１以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。
【0030】
しかし、自動運転実行中に運転者が行う処理（２次タスク）は様々である。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度（意識レベル）は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このように覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度（意識レベル）は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このように覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
【0031】
運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
すなわち、通知から実際の運転者の覚醒が十分復帰するまでの時間は異なることからその復帰特性に合わせて通知のタイミングを変更することが必要である。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
すなわち、通知から実際の運転者の覚醒が十分復帰するまでの時間は異なることからその復帰特性に合わせて通知のタイミングを変更することが必要である。
【0032】
例えば、自動運転実行中に運転者が前を向いて道路を見ているような場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
【0033】
しかし、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
【0034】
運転者の覚醒度が低い場合、早めに手動運転への切り替え通知を行い、さらに、その通知後においても、運転者の覚醒度の推移を確認する処理を行うことが必要となる。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、運転者に大きな負担を発生させることなく、かつ短時間で運転者の覚醒度を判定する処理を行う。
どの程度早めに通知を行うかは、運転者状態の定常的モニタリングにより得られる各種の可観測状態情報に基づいて決定する。可観測状態情報から復帰に要する時間等、運転者固有の復帰特性は、学習により推定することが可能である。この可観測状態からの最適な復帰通知タイミングを決定して通知や警報を実行する。運転者の覚醒状態が手動運転に復帰してよい状態であるか否かの確認が必要となるのは、通知後に実際に車両の操舵を運転者に譲渡する前の段階である。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、運転者に大きな負担を発生させることなく、かつ短時間で運転者の覚醒度を判定する処理を行う。
どの程度早めに通知を行うかは、運転者状態の定常的モニタリングにより得られる各種の可観測状態情報に基づいて決定する。可観測状態情報から復帰に要する時間等、運転者固有の復帰特性は、学習により推定することが可能である。この可観測状態からの最適な復帰通知タイミングを決定して通知や警報を実行する。運転者の覚醒状態が手動運転に復帰してよい状態であるか否かの確認が必要となるのは、通知後に実際に車両の操舵を運転者に譲渡する前の段階である。
【0035】
まず、図１以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
図１は、本開示の移動装置の一例である自動車１０の一構成例を示す図である。
図１に示す自動車１０に本開示の情報処理装置が装着されている。
図１は、本開示の移動装置の一例である自動車１０の一構成例を示す図である。
図１に示す自動車１０に本開示の情報処理装置が装着されている。
【0036】
図１に示す自動車１０は少なくとも、手動運転モードと、自動運転モードの２つの運転モードによる運転が可能な自動車である。
手動運転モードは、運転者（ドライバ）２０の操作、すなわちハンドル（ステアリング）操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者（ドライバ）２０による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばＧＰＳ受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等である。これら機器は測位センサともいう。
手動運転モードは、運転者（ドライバ）２０の操作、すなわちハンドル（ステアリング）操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者（ドライバ）２０による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばＧＰＳ受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等である。これら機器は測位センサともいう。
【0037】
なお、図１は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。
【0038】
図１に示すように、自動車１０は、データ処理部１１、運転者情報取得部１２、環境情報取得部１３、通信部１４、通知部１５を有する。
運転者情報取得部１２は、例えば、運転者の覚醒度を判定するための情報や、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔や眼球の動きを検出するためのカメラやセンサ、各操作部（ハンドル、アクセル、ブレーキ等）の操作情報取得部等によって構成される。
運転者情報取得部１２は、例えば、運転者の覚醒度を判定するための情報や、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔や眼球の動きを検出するためのカメラやセンサ、各操作部（ハンドル、アクセル、ブレーキ等）の操作情報取得部等によって構成される。
【0039】
環境情報取得部１３は、自動車１０の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、ＧＰＳによる位置情報、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からの周囲の障害物情報等である。
【0040】
データ処理部１１は、運転者情報取得部１２の取得した運転者情報や、環境情報取得部１３の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転を実行可能な状態にあるか否か、すなわち、手動運転を行うために必要な判断能力や運動能力を発揮可能な高い覚醒度を有する可か否か覚醒度判定処理等を実行する。
この覚醒度判定処理の具体例については後段で詳細に説明する。
データ処理部１１は、さらに、例えば、自動運転の許容される自動運転区間から、自動運転が許容されない手動運転区間が近づいてきた場合等、自動運転モードから手動運転モードへの切り替えの必要が発生した場合、通知部１５を介して、運転者に対して手動運転モードへの切り替えを行うように通知する処理等を実行する。
この覚醒度判定処理の具体例については後段で詳細に説明する。
データ処理部１１は、さらに、例えば、自動運転の許容される自動運転区間から、自動運転が許容されない手動運転区間が近づいてきた場合等、自動運転モードから手動運転モードへの切り替えの必要が発生した場合、通知部１５を介して、運転者に対して手動運転モードへの切り替えを行うように通知する処理等を実行する。
【0041】
この通知処理のタイミングは、例えば運転者情報取得部１２、環境情報取得部１３を入力して算出した最適なタイミングとする。
すなわち、運転者２０が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば３０秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の１２０秒前に行う等の処理を行う。
すなわち、運転者２０が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば３０秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の１２０秒前に行う等の処理を行う。
【0042】
通知部１５は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
通知部１５を構成する表示部に対する警告表示の例を図２に示す。
通知部１５を構成する表示部に対する警告表示の例を図２に示す。
【0043】
【0044】
運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。
【0045】
警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。なお、本実施例では表示画面全体を用いているが、画面の一部表示でもよい。
「手動運転に切り替えてください」
なお、この例は説明を明文化した例であるが、このようなテキスト表示に限らず、例えばピクトグラムなどシンボルによる表示を行ってもよい。
「手動運転に切り替えてください」
なお、この例は説明を明文化した例であるが、このようなテキスト表示に限らず、例えばピクトグラムなどシンボルによる表示を行ってもよい。
【0046】
なお、図１に示すように、自動車１０は通信部１４を介してサーバ３０と通信可能な構成を持つ。
例えば、データ処理部１１における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ３０において行うことが可能である。
例えば、データ処理部１１における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ３０において行うことが可能である。
【0047】
図３は、本開示の移動装置や情報処理装置が実行する処理の具体例を示す図である。
図３には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の２つの例の通知処理例を示している。
（ａ）自動運転実行中の運転者の覚醒度が高い場合の通知処理
（ｂ）自動運転実行中の運転者の覚醒度が低い場合の通知処理
図３には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の２つの例の通知処理例を示している。
（ａ）自動運転実行中の運転者の覚醒度が高い場合の通知処理
（ｂ）自動運転実行中の運転者の覚醒度が低い場合の通知処理
【0048】
（ａ）の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
【0049】
（ｂ）の例は、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
【0050】
前述したように、手動運転の開始時点において運転者は覚醒度が十分に高い状態であることが求められる。すなわち、確かな判断力に基づいて正しい運転動作が可能な状態であることが求められる。運転者の覚醒度が低い場合には手動運転を開始させることはがきない。
運転者の覚醒度が低い場合、早めに手動運転への切り替え通知を行い、さらに、その通知後においても、運転者の覚醒度の推移を確認する処理を行うことが必要となる。
運転者の覚醒度が低い場合、早めに手動運転への切り替え通知を行い、さらに、その通知後においても、運転者の覚醒度の推移を確認する処理を行うことが必要となる。
【0051】
運転者の覚醒度判定処理は、例えば自動車１０が自動運転の許容される自動運転区間を走行中に、例えば図１に示す自動車１０の運転者情報取得部１２の取得した情報等を利用してデータ処理部１１が実行する。自動車１０が手動運転区間に侵入する前までに運転者の覚醒度が手動運転開始可能レベルまで高くならないと判定した場合、データ処理部１１は、自動車１０の緊急停止処理や減速処理等の危険回避処理を走行制御部に実行させる。
【0052】
図１に示す自動車１０の運転者情報取得部１２の具体的構成例を図４に示す。
図４には、運転者情報取得部１２に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、運転者情報取得部１２は、運転者の位置、姿勢を検出するための検出器として、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Ｓｅａｔ Ｓｔｒａｉｎ Ｇａｕｇｅ）等を備える。また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、顔認識部（Ｆａｃｅ（Ｈｅａｄ） Ｒｅｃｏｇｎｉｔｉｏｎ）、運転者眼球追跡部（ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ））、運転者顔追跡部（ドライバー・フェイシャル・トラッカー（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ））等を備える。
図４には、運転者情報取得部１２に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、運転者情報取得部１２は、運転者の位置、姿勢を検出するための検出器として、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Ｓｅａｔ Ｓｔｒａｉｎ Ｇａｕｇｅ）等を備える。また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、顔認識部（Ｆａｃｅ（Ｈｅａｄ） Ｒｅｃｏｇｎｉｔｉｏｎ）、運転者眼球追跡部（ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ））、運転者顔追跡部（ドライバー・フェイシャル・トラッカー（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ））等を備える。
【0053】
運転者眼球追跡部（ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ））は、運転者の眼球の動きを検出する。
運転者顔追跡部（ドライバー・フェイシャル・トラッカー（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ））は、運転者の顔や頭部の動きを検出する。
これらは、具体的には、例えばカメラや様々なセンサによって構成される。例えば眼球の電位計測を行うＥＯＧ（Ｅｌｅｃｔｒｏ－Ｏｃｕｌｏｇｒａｍ）等のセンサを用いた構成としてもよい。
運転者顔追跡部（ドライバー・フェイシャル・トラッカー（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ））は、運転者の顔や頭部の動きを検出する。
これらは、具体的には、例えばカメラや様々なセンサによって構成される。例えば眼球の電位計測を行うＥＯＧ（Ｅｌｅｃｔｒｏ－Ｏｃｕｌｏｇｒａｍ）等のセンサを用いた構成としてもよい。
【0054】
また、運転者情報取得部１２は、運転者の生体活動可観測情報を得るための検出器として、生体信号（Ｖｉｔａｌ Ｓｉｇｎａｌ）検出器を備えている。また、運転者情報取得部１２は、運転者認証（Ｄｒｉｖｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
【0055】
［２．自動運転モードから手動運転モードへのモード切り替えシーケンスについて］
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図５は、図１に示す自動車１０のデータ処理部１１が実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図５は、図１に示す自動車１０のデータ処理部１１が実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
【0056】
ステップＳ１は、運転者が運転操舵から完全離脱の状態にある。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの２次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
【0057】
これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した２次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
【0058】
ステップＳ２は、先に図２を参照して説明したような手動運転復帰要求通知のタイミングである。運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。データ処理部１１では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜一定以上の確率で復帰成功する余裕時間を見たタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の２次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップＳ１の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。
【0059】
つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動などによる警告がなされる。
【0060】
ステップＳ３では、運転者が、着座復帰したか確認される。ステップＳ４では、顔やサッカード（眼球回転）等の眼球挙動解析により、運転者の内部覚醒度状態が確認される。ステップＳ５では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップＳ６では、自動運転から手動運転への引継ぎが完了した状態となる。
【0061】
［３．本開示の移動装置、情報処理装置が実行する運転者の覚醒度判定処理について］
次に、開示の移動装置、情報処理装置が実行する運転者の覚醒度判定処理について説明する。
前述したように、運転者は、手動運転の開始時点において覚醒度が十分に高い状態であることが必要である。すなわち、確かな判断力に基づいて正しい運転動作が可能な状態であることが求められる。運転者の覚醒度が低い場合、手動運転を開始させることはできない。運転者の覚醒度が低い場合、早めに手動運転への切り替え通知を行い、さらに、その通知後においても、運転者の覚醒度の推移を確認する処理を行うことが必要となる。
次に、開示の移動装置、情報処理装置が実行する運転者の覚醒度判定処理について説明する。
前述したように、運転者は、手動運転の開始時点において覚醒度が十分に高い状態であることが必要である。すなわち、確かな判断力に基づいて正しい運転動作が可能な状態であることが求められる。運転者の覚醒度が低い場合、手動運転を開始させることはできない。運転者の覚醒度が低い場合、早めに手動運転への切り替え通知を行い、さらに、その通知後においても、運転者の覚醒度の推移を確認する処理を行うことが必要となる。
【0062】
本開示は、運転者が運転操舵に必要な覚醒度を有するか否かの判定を可能としたものである。本開示の構成は、例えば運転者の脳内の知覚認知活動の状態を推定する。
具体的には、運転者の眼球の挙動を解析して、運転者の覚醒度を推定または判定する。
具体的には、運転者の眼球の挙動を解析して、運転者の覚醒度を推定または判定する。
【0063】
ヒトの眼球の挙動特性として、主として以下の２つの特性がある。
（ａ）自己の運動を三半規管等で捉え、その運動を打ち消すための前庭動眼運動を行う特性、
（ｂ）聴覚や臭覚や視覚刺激等の入力情報の理解のために、補足情報の探索や詳細確認を行う際に発現する眼球挙動特性
本開示の処理は、上記（ｂ）の眼球挙動特性を解析することで、運転者の覚醒度を推定または判定する。
（ａ）自己の運動を三半規管等で捉え、その運動を打ち消すための前庭動眼運動を行う特性、
（ｂ）聴覚や臭覚や視覚刺激等の入力情報の理解のために、補足情報の探索や詳細確認を行う際に発現する眼球挙動特性
本開示の処理は、上記（ｂ）の眼球挙動特性を解析することで、運転者の覚醒度を推定または判定する。
【0064】
具体的には運転者に視覚的な課題を提示し、提示した課題の理解とその課題に対する回答を運転者が行う際の運転者の眼球挙動を解析する。運転者は、課題の認知理解のために目で必要な視覚情報を捕捉する処理を行う。この際の眼球挙動として出現する中心視野を対象に向ける固視（Ｆｉｘａｔｉｏｎ）、マイクロサッカード（眼球微小回転）、ドリフト等の挙動を観測して、その挙動解析から運転者の脳内活動を推定し、運転者が車両周囲状況の認知理解が行えるレベルに復帰しているか否か、すなわち覚醒度（覚醒レベル）を判定する。
【0065】
なお、特定の対象に視線を振り向けるこれら上記の一連の動作をグランス（Ｇｌａｎｃｅ）と呼ぶ。本開示では、このグランスにおける眼球挙動を更に詳細な高分解解析を行うことで得られた異なる精神・覚醒状態での挙動特徴の差異に着目した覚醒判定を行う技術である。
【0066】
ヒトは五感により周囲環境の情報を認識している。その中でも、敵の存在など視覚手段により得る情報が極めて多い。視野経由では同時並行的に多種多様で極めて多くの情報が入り、その情報を処理する必要がある。
情報処理は、意識判断と無意識判断に大別されるが、意識判断を行う場合には、例えば、判断対象に視線の中心視野を振り向け、対象の詳細特徴を中心視野で捉え、捉えた対象物と記憶情報との照合処理を実行する。
情報処理は、意識判断と無意識判断に大別されるが、意識判断を行う場合には、例えば、判断対象に視線の中心視野を振り向け、対象の詳細特徴を中心視野で捉え、捉えた対象物と記憶情報との照合処理を実行する。
【0067】
中心視野で対象を捉えるのは、視覚的に視野に入る全ての情報を同時並行的に脳に取り入れて処理することが困難であるからである。そのため、視覚システムは視覚的外界の情報を全て同一に扱うのでは無く、生体機能的に重要となる情報を階層的にフィルタリングし、さらには最終的な行動判断に対して重要となる箇所を高精細で判別するために判断対象となる被写体を中心視野に設定し、その特徴となる局所細部詳細と記憶との照合を行う。
【0068】
この視野調整処理に際して眼球の回転挙動が発生する。なお、頭部や身体の回転移動は、視点移動が眼球挙動で間に合わない場合に補うように遅延動作として現れるに過ぎない。従って運転者の覚醒度の検出手段としては、眼球の視覚情報探索挙動の解析が最も確実でかつ遅延の無い有効な手段であると言える。
【0069】
本開示の処理では、運転者に知能的判断を要する視覚課題を提示してその課題理解と対処に伴う眼球挙動の解析を行う。この処理により、運転者の脳内活動をアクティブ検出し、運転者の覚醒度を判定する。
【0070】
前述したように、運転者は、自動運転可能区間においては仮眠やスポーツ中継の観戦やゲームに没頭することができる。しかし、例えば自動運転区間において睡眠を行うと、運転者は覚醒度が低下した状態になる。運転者は手動運転区間に侵入する前に正常な意識下で車両を運転できる高い覚醒状態に復帰している必要がある。
【0071】
本開示のシステムは、運転者の覚醒度を判定し、手動運転復帰を通知して、通知を受けて運転者が実際に操舵機器を操り操舵を開始する際の制御譲渡開始判断を決定する。その後も運転者の覚醒度を判定し、手動運転区間の侵入前に手動運転可能な覚醒度であるか否かを判定する。すなわち、運転者の眼球挙動解析により、運転者の脳内知覚認知活性度の評価を実施する。
なお、自動運転走行中においても、運転者は自動運転が安全に行われているかを注意している場合もある。その様な状況では、運転者はシステムからの手動運転復帰要請の通知前に復帰必要性を意識して、自主的に手動運転へ復帰する待機を行う場合もある。本開示のシステムは、このような状態についても解析するため、運転者の状態モニタリングの段階から運転者の眼球挙動特性を解析することを可能としている。
なお、自動運転走行中においても、運転者は自動運転が安全に行われているかを注意している場合もある。その様な状況では、運転者はシステムからの手動運転復帰要請の通知前に復帰必要性を意識して、自主的に手動運転へ復帰する待機を行う場合もある。本開示のシステムは、このような状態についても解析するため、運転者の状態モニタリングの段階から運転者の眼球挙動特性を解析することを可能としている。
【0072】
人の瞬きや顔の表情等のマクロ的な解析のみでは運転者の意識レベル、すなわち覚醒度復帰を正確に把握することが困難である。
これに対して、本開示のシステムは、時系列的なミクロ的解析である眼球の詳細挙動解析を行う。例えば、運転者が課題を目視で理解し、その課題に沿って対象を目視して取り込んだ視覚的な情報と記憶情報とを照合して判断を行う過程の眼球の詳細挙動解析を行う。この際、細部を確認するため中心視野の局所位置補正となるマイクロサカード等の挙動が観測される。他方で、脳内で判断を司るニューロンに入力される情報は多岐にわたり、判断のシナプス発火が起きるのは、それら多岐にわたる情報の入力に伴いシナプス電位が一定以上の閾値を超えた場合に起こることが知られている。つまり、脳内の覚醒状態で起こる活動には、中心視野で対象をとらえる以前から、個々のニューロンでは弱い形跡（エビデンス）情報の蓄積から始まり、発火の直前まではその判断の決め手となる追加情報の補充が該当するニューロンで進み、シナプス電位が一定以上を超えると、該当ニュウロンで判断の閾値の発火が起こり判断の伝達開始に至る。
これに対して、本開示のシステムは、時系列的なミクロ的解析である眼球の詳細挙動解析を行う。例えば、運転者が課題を目視で理解し、その課題に沿って対象を目視して取り込んだ視覚的な情報と記憶情報とを照合して判断を行う過程の眼球の詳細挙動解析を行う。この際、細部を確認するため中心視野の局所位置補正となるマイクロサカード等の挙動が観測される。他方で、脳内で判断を司るニューロンに入力される情報は多岐にわたり、判断のシナプス発火が起きるのは、それら多岐にわたる情報の入力に伴いシナプス電位が一定以上の閾値を超えた場合に起こることが知られている。つまり、脳内の覚醒状態で起こる活動には、中心視野で対象をとらえる以前から、個々のニューロンでは弱い形跡（エビデンス）情報の蓄積から始まり、発火の直前まではその判断の決め手となる追加情報の補充が該当するニューロンで進み、シナプス電位が一定以上を超えると、該当ニュウロンで判断の閾値の発火が起こり判断の伝達開始に至る。
【0073】
つまり、判断を決める情報は必ずしも一位な確実性の高い一定の情報ではなく、弱い根拠の緩やかな確からしさの情報として入力され、その総和として判断を司るニューロンのシナプス電位が一定の閾値を超えることで判断として現れ、判断を発現する。注視対象が何かを判断する過程で起きるマイクロサッカードやドリフト等の眼球挙動は、その瞬間の判断に不足する情報を補うために発現する挙動であり、脳内の内部覚醒度が低下した状態ではその探索挙動の刺激が鈍り、その発現が非顕在化する。
【0074】
課題に対する答えを見つける目視過程は、判断に必要な細部の探索やその答えの確からしさの確認といった脳内の知能的な判断プロセスを遂行する過程の一環で視覚情報の取得のために、中心視野を対処に合わせるか近づけるサッカードやマイクロサッカード、固視といった過程として発現する。なお、上記の判断の発火とは、不足情報を探索するマイクロサッカードやドリフトといった挙動発現の判断も包含するものであり、理解が完結した時点での最終な知能的理解としての判断に限定するものではない。
【0075】
眼球挙動解析は直接的に観測ができない脳内の内部活動状況の一部を間接的に観測手段であり、覚醒状態判定の有力が手掛かりとして活用ができることに着目した脳内の内部覚醒度推定手段である。視覚的な課題を提示すると、運転者は課題の回答を得るため、視線を動かす処理、すなわち眼球挙動を行う。
運転者が車両走行時に道路前方を注視した状態では、道路前方の状況により運転者の眼球挙動は大きく異なる。単調な道路区間などでは顕著な挙動が現れず、単純なパッシブな視線挙動解析では必ずしも運転者の内部覚醒状態の把握ができない。これに対して本開示の処理ではアクティブな目視課題を運転者に提示し、運転者の内部覚醒度が高い場合に発現が期待される視線挙動の解析を行う。これにより運転者の覚醒復帰状況を高精度で判定することができる。
運転者が車両走行時に道路前方を注視した状態では、道路前方の状況により運転者の眼球挙動は大きく異なる。単調な道路区間などでは顕著な挙動が現れず、単純なパッシブな視線挙動解析では必ずしも運転者の内部覚醒状態の把握ができない。これに対して本開示の処理ではアクティブな目視課題を運転者に提示し、運転者の内部覚醒度が高い場合に発現が期待される視線挙動の解析を行う。これにより運転者の覚醒復帰状況を高精度で判定することができる。
【0076】
少しわかり難いので、一つの例を用いて説明する。
特徴があまり明瞭ではない複数の動物のシルエットを提示する課題を想定する。
複数のシルエット（図柄）を同時に提示し、それらから特徴が異なる図柄を一つ選択せよという課題を提示する。
例えば、２つ以上の捕食動物をランダムに配置し、さらに一つだけ牛や羊や豚と言った家畜のシルエットを配置する。
特徴があまり明瞭ではない複数の動物のシルエットを提示する課題を想定する。
複数のシルエット（図柄）を同時に提示し、それらから特徴が異なる図柄を一つ選択せよという課題を提示する。
例えば、２つ以上の捕食動物をランダムに配置し、さらに一つだけ牛や羊や豚と言った家畜のシルエットを配置する。
【0077】
このような視覚課題に対して、運転者は特徴が異なりそうな図柄を素早く見定め、周囲に配置された他の図方との差違がどこにあり、また同時に類似特徴のある他の図柄が無いか確認する必要があるため、図柄の特徴を解析するため個々のシルエットを順次、見極める処理を行う。視線の移動により、視線の中心視野にある図柄の詳細な細部の局所的特徴が脳内に取り込まれる。
【0078】
ある図柄や事象に中心視野を向けてその図柄や事象の理解と判断の完結までどれだけ追加の特徴を取得する必要があるかは、人の記憶の参照能力や判断力等によって異なる。
そのため、観測挙動が長く続くこともあれば、短い時間で完結するケースもある。単純な色の差異を判定させる課題や、明瞭な差異がある二者択一問題などは、周辺視野で特徴を捉えれば判断が完了し、眼球の局所探索挙動が発現しない場合があり、運転者の脳内活動状態判定に用いる課題には適さない。
そのため、観測挙動が長く続くこともあれば、短い時間で完結するケースもある。単純な色の差異を判定させる課題や、明瞭な差異がある二者択一問題などは、周辺視野で特徴を捉えれば判断が完了し、眼球の局所探索挙動が発現しない場合があり、運転者の脳内活動状態判定に用いる課題には適さない。
【0079】
上記のような動物の複数のシルエットから特徴の異なるものを１つ選択するといった課題は、視覚情報の判断処理と記憶の参照処理が同時並行的に進むため、運転者の脳内知覚認知活性度の評価処理に最適である。
本開示の根幹をなす技術は、提示課題の解決を行うための思考的判断に伴い発生する運転者の挙動、具体的には眼球挙動の解析にある。
本開示の根幹をなす技術は、提示課題の解決を行うための思考的判断に伴い発生する運転者の挙動、具体的には眼球挙動の解析にある。
【0080】
なお、課題を提示する課題出力手段としては、例えば、運転席のインストルメントパネル、ＨＵＤ（ヘッドアップディスプレイ）、ポータブル端末、あるいは、音声融合提示など、様々な手段が利用可能である。これらのいずれを利用するかによっても運転者の挙動は変わるので、運転者の固有特性を各出力手段対応の学習データとして予め取得して、学習データを参照して最終的な覚醒度判定を行う構成とするのが好ましい。
【0081】
ただし、同じ課題を繰り返すと思考を伴わない反射的な動作、すなわち脳内の判断を司る活動が必要無くなり反射的動作が発生する可能性がある。従って、課題は、その都度、異なるものとして、単純な予測で回答が可能な課題の提示は避けるべきである。
【0082】
ヒトの視野は、分解能が低いが動的な変化に極めて敏感な周辺視野と、判断の重要なファクタとなる高分解の詳細情報を取得できる狭い領域の中心視野、この２つに分類される。
重要な情報については主に中心視野で観察し、この観察情報について、断片的な記憶と俯瞰的な記憶とを参照しながら処理を行う。
重要な情報については主に中心視野で観察し、この観察情報について、断片的な記憶と俯瞰的な記憶とを参照しながら処理を行う。
【0083】
自然環境の中では、視界の周辺視野で動く敵や獲物となり得る動物などの動きに刺激を受けて視線を振り向けたりする。その際に多くの場合はサッカード（眼球回転）と呼ばれる眼球挙動が発現する。そして、視覚より詳細な分解能で情報を取得するには、眼の中心視野で情報を取得する必要がある。視野角が数度となる中心視野で詳細情報を捉える。
【0084】
上記のような複数の動物シルエットから特徴の異なる１つを選択させるといった判断を要する視覚的課題のように、記憶に基づく単純な判断が出来ない場合には、確実な判断を行うために必要とする情報を補足する視線挙動が期待され、前述した眼球の固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の一定の挙動が観測される可能性が高まる。
【0085】
なお、眼球挙動に基づいて運転者の覚醒状態の推定処理を行う場合、全ての運転者が同じ挙動を示すとは限らない。つまり、運転者ごとに行動経験が異なり、同一の物を見たとしても理解に至る過程は異なる、周辺視野で輪郭を捉えた段階で判断が完結する人もいれば、対象を中心視野でとらえ、さらにその詳細を見ても判断に至らないケースもある。利用者すべてに対して同様な処理を行うより、運転者固有の学習辞書データに基づいて処理を行う構成とするのが好ましい。運転経験の豊富なドライバ、タクシーなどの業務ドライバや競技レースドライバーと、運転初心者とでは、同じ眼球挙動を示したとしても運転者の覚醒状態は異なる可能性があるからである。
従って、運転者個人単位の学習処理によって生成した学習辞書を利用して覚醒度判定を行うことが好ましい。
従って、運転者個人単位の学習処理によって生成した学習辞書を利用して覚醒度判定を行うことが好ましい。
【0086】
なお、運転者に提示した課題に対する回答は、例えば物理的なボタンの押下を検出するシステムとすることもできる。しかし、ボタン操作などは煩わしさを伴う。
本開示の処理は、このようなボタン操作等、運転者に対する操作を要求しない。運転者の眼球挙動をセンサによって解析するのみであり、運転者に回答を入力させるといった負担は発生しない。
本開示の処理は、このようなボタン操作等、運転者に対する操作を要求しない。運転者の眼球挙動をセンサによって解析するのみであり、運転者に回答を入力させるといった負担は発生しない。
【0087】
運転者は課題の提示された情報表示領域に視線を移動し、情報を知覚し、知能的認知、すなわち記憶との照合を行うことになるが、運転者は視覚情報が網膜に届く様に眼球を振り向けただけで認知作業は完了せず、判断に必要な記憶を元に理解し完了する必要がある。
これらの処理過程で不足情報を捉えたり網膜の継時変化を捉えたりする必要性から前述した眼球の固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の一定の挙動が観測される。
これらの処理過程で不足情報を捉えたり網膜の継時変化を捉えたりする必要性から前述した眼球の固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の一定の挙動が観測される。
【0088】
例えば、運転者に対する手動運転復帰通知に伴う課題提示を行う処理を繰り返した場合、運転者はシステムによる覚醒認知の過程であることが記憶されることになる。その結果、色の選択等の単純な課題では、単純に視線を対象に向けたからと言って脳内で十分な対象の把握作業が開始されたかどうかを判断することが難しい。
【0089】
これに対して、前述したような複数の動物シルエットから特徴の異なる１つを選択させるといった判断を要する視覚的課題の場合は、眼の中心視野を課題対象に振り向けただけでは必ずしも判断に必要な情報は取得しきれず、情報を補足することが必要となる。
【0090】
人の視覚挙動特性として視線を振り向けて対象を見る場合、サッカードで視線の中心視野を大まかに対処に振り向け、見た対象を理解して判断を完結させるには、判断に不足している情報を更に捉えるため、さらにマイクロサッカード（眼球微小回転）やＦｉｘａｔｉｏｎと言った特徴を捉える挙動を示す。
なお、前述したように、眼球の挙動解析を通して運転者の挙動解析を行う場合、運転者毎の固有挙動特性を学習解析した判定器を用いることが好ましい。
なお、前述したように、眼球の挙動解析を通して運転者の挙動解析を行う場合、運転者毎の固有挙動特性を学習解析した判定器を用いることが好ましい。
【0091】
本開示の処理では、視覚的な情報提示を行い、その視覚情報を人が確認する際の眼球挙動を解析するものである。視覚情報を提示して運転者が過剰に意識動作することなく、課題の目視を行うとその答えを探索するための運転者の眼球挙動が発生し、この探索挙動を直接解析するものである。すなわち、運転者は視覚的に見て別途その答えを発話したり、ボタンを操作したりする作業を行わなくとも、視線の挙動観測から思考活動の状況を解析できる。
【0092】
運転者は視線による課題の目視を開始し、運転者が理解を進めている状況における眼球挙動を解析することで覚醒レベルの推定が可能となる。このように、本開示の処理は、ボタン操作などの煩わしさを伴わずに視線の挙動観測から思考活動の状況、すなわち運転者の覚醒度を判定することを可能とするものである。
【0093】
例えば、自動運転から手動運転の復帰推移の途中で、手動運転への引き継ぎ通知を表示部に表示する際に、課題を表示部に表示する。
コンソールパネルやＨＵＤなどの目視可能な表示部（インタフェース）に表示して、運転者の眼球挙動を解析する。この処理により、短時間で運転者の覚醒度判定が可能となる。
コンソールパネルやＨＵＤなどの目視可能な表示部（インタフェース）に表示して、運転者の眼球挙動を解析する。この処理により、短時間で運転者の覚醒度判定が可能となる。
【0094】
課題例としては、例えば草むらの背景における特定の昆虫探しや、木々が生い茂る中に身を隠した鳥を探す課題、あるいは芝の中の四葉のクローバー探しなど、多種多様な課題が利用可能である。
【0095】
なお、覚醒度やその覚醒レベル判定には必ずしも課題に対する正解を得ることは必須ではない。不正解の場合でも、何かしらの回答やペダルを踏む動作等の運転者の反応が検出される可能性がある。このような反応に基づいて運転者の覚醒度を判定する処理を行ってもよい。なお、覚醒度が非常に高い場合には、提示情報から変化のありそうな箇所の理解観測を進めるために、対象となる画像群に視線を振り向けた後、固視やマイクロサッカード動作が断続的に出現し、このような観測挙動情報が得られた場合は挙動の固有解析から運転者の覚醒度が高いと判定することができる。
【0096】
この探索挙動の発現は、視覚課題がランプの色や単純な数値などであると周辺視野の輪郭でとらえた段階で既に答えが予測付き、中心視野で個別のランプや数値を見ずとも答えがわかるため、現れない。また、少し複雑化した課題であっても、同一課題の繰り返し性や強すぎる印象の特徴は記憶に強く残り、以下の項目５で説明するような多様な課題をランダムに提示したり、遠隔で定期更新して同一課題の繰り返し性を排除したりして課題提示を行うことで、探索挙動発現の低下を避けることができる。
【0097】
［４．情報処理装置における覚醒度判定処理の実行構成について］
次に、本開示の移動装置、情報処理装置の覚醒度判定処理の実行構成について説明する。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、運転者に大きな負担を発生させることなく、かつ短時間で運転者の覚醒度を判定する処理を行う。
運転者の覚醒度の判定処理は、図１に示す自動車１０の運転者情報取得部１２、およびデータ処理部１１において実行される。
次に、本開示の移動装置、情報処理装置の覚醒度判定処理の実行構成について説明する。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、運転者に大きな負担を発生させることなく、かつ短時間で運転者の覚醒度を判定する処理を行う。
運転者の覚醒度の判定処理は、図１に示す自動車１０の運転者情報取得部１２、およびデータ処理部１１において実行される。
【0098】
図６を参照して、運転者の覚醒度の判定処理を実行する具体的構成例について説明する。
図６には、データ処理部１１、運転者情報取得部１２、表示部１６、表示情報記憶部１７を示している。
なお、図６は、本開示の移動装置に搭載された情報処理装置の一部構成を示す図である。すなわち、以下において説明する本開示の処理、すなわち運転者の覚醒度判定に適用する構成要素を選択して示したブロック図である。
図６には、データ処理部１１、運転者情報取得部１２、表示部１６、表示情報記憶部１７を示している。
なお、図６は、本開示の移動装置に搭載された情報処理装置の一部構成を示す図である。すなわち、以下において説明する本開示の処理、すなわち運転者の覚醒度判定に適用する構成要素を選択して示したブロック図である。
【0099】
運転者情報取得部１２は、先に図４を参照して説明した構成を有するが、図６には、以下の２つの構成のみを示している。
運転者顔追跡部（ドライバー・フェイシャル・トラッカー（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ））５１と、運転者眼球追跡部（ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ））５２である。
これらは、例えばカメラや顔検出センサ、眼球位置検出センサ等によって構成される。
運転者顔追跡部（ドライバー・フェイシャル・トラッカー（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ））５１と、運転者眼球追跡部（ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ））５２である。
これらは、例えばカメラや顔検出センサ、眼球位置検出センサ等によって構成される。
【0100】
運転者顔追跡部（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ）５１が検出した運転者の顔や頭部の動き情報は、データ処理部１１の表示部選択部６２に入力される。
運転者眼球追跡部（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）５２の検出した運転者の眼球の動き情報は、データ処理部１１の運転者眼球挙動解析部６３に入力される。
これら、図６に示す構成では、運転者顔追跡部５１、眼球追跡部５２やそのデータ処理部６３はそれぞれ別構成として図示をしているが、その一部または全ての機能をイメージセンサ素子に一体化して取り込み、モノシリックな構成にしても良い。特に高速処理が必要な処理を、イメージセンサの裏面や近傍に配置する事で、高速な信号配線の引き回しを抑制し、ノイズ発生を抑制することに貢献する。
運転者眼球追跡部（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）５２の検出した運転者の眼球の動き情報は、データ処理部１１の運転者眼球挙動解析部６３に入力される。
これら、図６に示す構成では、運転者顔追跡部５１、眼球追跡部５２やそのデータ処理部６３はそれぞれ別構成として図示をしているが、その一部または全ての機能をイメージセンサ素子に一体化して取り込み、モノシリックな構成にしても良い。特に高速処理が必要な処理を、イメージセンサの裏面や近傍に配置する事で、高速な信号配線の引き回しを抑制し、ノイズ発生を抑制することに貢献する。
【0101】
データ処理部１１は、表示情報生成部６１、表示部選択部６２、運転者眼球挙動解析部６３、運転者眼球挙動学習器６４、運転者覚醒度判定部６５を有する。
【0102】
表示情報生成部６１は、表示部１６に表示する課題を生成する。具体的には、先に説明した複数の動物のシルエットから特徴が異なる図柄を一つ選択せよという課題等を生成する。表示情報記憶部１７には、様々な課題を生成するために利用可能なデータが格納されている。
なお、具体的な課題の例については、後段で説明する。
なお、具体的な課題の例については、後段で説明する。
【0103】
表示部選択部６２は、表示情報生成部６１が生成した課題を表示する表示部を選択する。
表示部１６には、図に示すように、表示部Ａ（インストルメントパネル）７１、表示部Ｂ（フロントウィンドウ表示部）７２、表示部Ｃ（ウェアブル／ポータブル表示部）７３、表示部Ｄ（ＨＵＤ（ヘッドアップディスプレイ））７４等、様々な形態の表示部がある。
表示部１６には、図に示すように、表示部Ａ（インストルメントパネル）７１、表示部Ｂ（フロントウィンドウ表示部）７２、表示部Ｃ（ウェアブル／ポータブル表示部）７３、表示部Ｄ（ＨＵＤ（ヘッドアップディスプレイ））７４等、様々な形態の表示部がある。
【0104】
表示部選択部６２は、運転者顔追跡部（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ）５１が検出した運転者の顔や頭部の動き情報に基づいて、運転者の視線の先にある表示部を、表示情報生成部６１が生成した課題を表示する表示部として選択して課題を表示する。
【0105】
運転者眼球挙動解析部６３は、運転者眼球追跡部（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）５２の検出した運転者の眼球の動き情報を入力して運転者の眼球の動きを解析する。
【0106】
表示情報生成部６１が生成した課題が表示部１６に表示されると、運転者は課題の回答を取得するため課題に視線を移動させる。例えば、前述したように、複数の動物シルエットから特徴の異なる１つを選択させるといった判断を要する視覚的課題が表示部１６に表示される。運転者は、この課題の回答を取得するため、必要とする情報を補足するための眼球挙動を行う。例えば眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を行う。
運転者眼球挙動解析部６３は、これら運転者の眼球挙動を解析する。
運転者眼球挙動解析部６３は、これら運転者の眼球挙動を解析する。
【0107】
運転者眼球挙動解析部６３の解析した眼球挙動情報は運転者覚醒度判定部６５に入力される。
運転者覚醒度判定部６５は、運転者眼球挙動解析部６３の解析した眼球挙動情報に基づいて、運転者の覚醒度を判定する。
運転者が、課題解決のための眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部６５は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部６５は運転者の覚醒度が低いと判定する。
運転者覚醒度判定部６５は、運転者眼球挙動解析部６３の解析した眼球挙動情報に基づいて、運転者の覚醒度を判定する。
運転者が、課題解決のための眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部６５は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部６５は運転者の覚醒度が低いと判定する。
【0108】
運転者眼球挙動解析部６３の解析する眼球挙動の具体例について図７を参照して説明する。
眼球の挙動解析は、運転者の意識復帰を確認する有効な手段である。なお、例えば視線を振り向けた方向を解析して視線を解析することが可能であることは、従来から知られている。この技術をさらに発展させ、高速で視線挙動の解析を行うことで、眼球のより詳細な挙動検出ができる。
眼球の挙動解析は、運転者の意識復帰を確認する有効な手段である。なお、例えば視線を振り向けた方向を解析して視線を解析することが可能であることは、従来から知られている。この技術をさらに発展させ、高速で視線挙動の解析を行うことで、眼球のより詳細な挙動検出ができる。
【0109】
眼球の詳細挙動解析は、生体反射的に現れる挙動が一部あるものの、その挙動には脳内の神経伝達と処理を反映して現れる多くの現象も同時に見られるため、脳の認知等の活動結果が反映され、表に見える形になる。
眼球挙動に脳内の活動が反映されることを利用して、運転者の覚醒レベルを高精度で推測することが可能となる。
眼球挙動に脳内の活動が反映されることを利用して、運転者の覚醒レベルを高精度で推測することが可能となる。
【0110】
人が行動に必要な状況判断を行う場合に取得する外界情報は、視覚的情報から得られるものが多い。人が視覚的情報を知覚し、認識し、行動に移す際に、人は情報に視線を向けて、その情報と自身の記憶（記録知識）との比較参照を行う。視線の先の情報を理解するまでの間、人は、その情報が見える部分やその近傍に視線を向けたまま細かな固視、マイクロサッカード、トレモア、ドリフトと言った視覚情報認知に必要となる特定の眼球挙動を示すことが知られている。
【0111】
この眼球挙動は、人が正常な覚醒状態にある場合と、意識・覚醒低下状態にある場合とでは、異なる振る舞いを示す。
ある情報を見るように視覚課題を提示した際の運転者の眼球挙動の軌跡の一例を図７に示す。
図７に示す例は、人がまず、領域ａ付近を注視し、その後、領域ｂ付近を注視した際の眼球挙動の軌跡を示したものである。
ある情報を見るように視覚課題を提示した際の運転者の眼球挙動の軌跡の一例を図７に示す。
図７に示す例は、人がまず、領域ａ付近を注視し、その後、領域ｂ付近を注視した際の眼球挙動の軌跡を示したものである。
【0112】
ある情報（課題）を目視して内容を理解しようとする場合、人は図７に示す挙動軌跡のように大きなサッカードと呼ばれる眼球回転を行い、所定の目視箇所に眼球を振り向け、その近傍で固視（Ｆｉｘａｔｉｏｎ（フィクセーション））と、局所領域の微小な眼球回転動作であるマイクロサッカードを伴う眼球挙動を行う。
【0113】
以上説明をしたように、人が意識をして視覚情報から必要な情報を取得し、必要な判断を行う際に、情報を得るために特徴的な眼球挙動が発現する。他方で、意識低下したりしてこの視覚的情報探索が不十分であると、情報を確定取得する固視に必要な眼球挙動に乱れが生じる。図８は、情報を見る視覚課題を提示した際の運転者の眼球挙動の軌跡の一例であり、覚醒状態が異なる場合の挙動の差について説明する図である。図８（ａ）は、課題を示す図である。
課題＝小動物を数えて下さい
この課題である。
課題＝小動物を数えて下さい
この課題である。
【0114】
視線の順番は見る人により異なる。課題である問題文面「Ｑ」に視線を最初に向ける被験者もいれば答え「Ａｎｓ」を見て問題文面「Ｑ」を見て配列の図面全体を見る被験者者もいれば、答えのシルエット情報をさっと見てから課題を見るなど様々である。脳内の活動評価に重要となるのはその評価時々で被験者である運転者がその瞬間の回答に必要となる情報取得確認を行うために必要な探索・固視を実行に移す挙動を発現しているか、その評価となる。
【0115】
図８（ｂ）と（ｃ）に示す観測データを例に説明する。（ｂ）は覚醒度の高い状態で課題に対処して際の眼球挙動を示す。他方で、視覚課題対処能力が低下した状態を眼球挙動の軌跡例を（ｃ）に示している。（ｃ）では眼は明けているものの、課題対処に不十分は状況であり、そのため眼球挙動は眼球のサッカードを含む視覚情報探索がいわゆる目の泳いだ傾向が顕著に表れている一つの例である。
これは挙動特性の斜視や効き目の影響、その日の体調にともなう視力変化など、個人に属した傾向に影響されるため、覚醒判定には個人の特性を加味した状態判別を行うのが望ましく、個人を特定した上で各個人の特性を加味して判定を行うのがよい。
これは挙動特性の斜視や効き目の影響、その日の体調にともなう視力変化など、個人に属した傾向に影響されるため、覚醒判定には個人の特性を加味した状態判別を行うのが望ましく、個人を特定した上で各個人の特性を加味して判定を行うのがよい。
【0116】
例えば、自動運転中に、運転者の意識保持が継続しているか否かを確認するためには、定期的なモニタリングを行うことが必要である。運転者を過度に煩わせることなくモニタリングを実施するため、システムは、例えば何らかの思考的判断を要するシンボルを運転者に提示し、眼球挙動を観測する。この観測結果として運転者が視線による思考的確認動作が行えていることが観測された場合、運転者は脳内の思考活動を課題対処のために優先して実行し、その他の２次タスクに没頭したままではないことが推察される。
また、システムが運転者の視線が提示情報に振り向けられたことを検出し、検出したことをさらに目視認知したことを受けて認知完了と判断する処理を行ってもよい。
また、システムが運転者の視線が提示情報に振り向けられたことを検出し、検出したことをさらに目視認知したことを受けて認知完了と判断する処理を行ってもよい。
【0117】
なお、この眼球挙動に基づく覚醒度判定処理には、運転者固有の学習データを利用することが好ましい。学習データは、運転者眼球挙動学習器６４が生成する。あるいは外部サーバにおいて生成する構成としてもよい。
運転者眼球挙動学習器６４は、運転者眼球挙動解析部６３の解析した眼球挙動情報を入力し、その眼球挙動情報に基づいて運転者覚醒度判定部６５が判定した運転者の覚醒度情報を入力し、さらに、運転者の運転操舵情報も入力する。
運転者眼球挙動学習器６４は、これらの入力情報に基づいて、運転者の眼球挙動と、その眼球挙動時の運転者の覚醒度レベルの正しい対応関係を学習して、学習データとして記憶部に格納する。これらの処理は外部サーバが実行する構成としてもよい。
また、運転者眼球挙動学習器には、後述する他の生体センサによる運転者生体信号との相関や、日中の利用時間帯などの入力影響因子と連動学習することで、状況適用型判定を行うことで判定の高精度化を図ってもよい。
運転者眼球挙動学習器６４は、運転者眼球挙動解析部６３の解析した眼球挙動情報を入力し、その眼球挙動情報に基づいて運転者覚醒度判定部６５が判定した運転者の覚醒度情報を入力し、さらに、運転者の運転操舵情報も入力する。
運転者眼球挙動学習器６４は、これらの入力情報に基づいて、運転者の眼球挙動と、その眼球挙動時の運転者の覚醒度レベルの正しい対応関係を学習して、学習データとして記憶部に格納する。これらの処理は外部サーバが実行する構成としてもよい。
また、運転者眼球挙動学習器には、後述する他の生体センサによる運転者生体信号との相関や、日中の利用時間帯などの入力影響因子と連動学習することで、状況適用型判定を行うことで判定の高精度化を図ってもよい。
【0118】
運転者覚醒度判定部６５は、運転者眼球挙動解析部６３の解析した眼球挙動情報を入力し、この入力情報と運転者眼球挙動学習器６４の生成した学習データを利用して、より精度の高い覚醒度判定を実行する。
なお、学習データが存在しない、または少ない場合は、学習データを用いることなく、一般的な眼球挙動と覚醒度との対応データ（人の平均的データ）を用いて覚醒度判定を行う構成としてもよい。
なお、学習データが存在しない、または少ない場合は、学習データを用いることなく、一般的な眼球挙動と覚醒度との対応データ（人の平均的データ）を用いて覚醒度判定を行う構成としてもよい。
【0119】
なお、運転者眼球挙動解析部６３は、前述したように、運転者による課題解決のための眼球挙動である眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）、マイクロサッカード（眼球微小回転）等の眼球挙動を取得する。運転者眼球挙動学習器６４は、運転者の運転者覚醒度に応じた挙動特性を繰り返し、入力して累計的な学習を実行して眼球挙動から覚醒度判定を行うための辞書を構築する。この辞書は、新たに観測される眼球挙動特性から観測時のユーザの覚醒状態を推定するために用いられる。
【0120】
［５．運転者の覚醒度を判定するために運転者に提示する課題の具体例について］
次に、運転者の覚醒度を判定するために運転者に提示する課題の具体例について説明する。
次に、運転者の覚醒度を判定するために運転者に提示する課題の具体例について説明する。
【0121】
上述したように、本開示の移動装置に搭載された情報処理装置は、例えば自動運転実行中の運転者に、所定の課題を提示して、課題に対する運転者の眼球挙動を解析して、眼球挙動に基づいて運転者の覚醒度を判定する。
【0122】
例えば、自動運転可能区間から手動運転区間に侵入する前の段階で、運転者に課題を提示して、課題に対する運転者の眼球挙動を解析して運転者の覚醒度を判定する。
【0123】
運転者による手動運転復帰手順に沿って実際のハンドルやブレーキ操舵を再開する際には、必ず視覚情報からの認知判断を伴う必要がある。つまり、脳の覚醒復帰は手動運転する手続き上の必須要件である。運転者は物を見て視覚によって得られた情報を用いて操作に必要な情報を取得する。
従って、操作に必要な脳内の知覚判断活動が解析できれば、運転者が手動運転可能な判断能力を備えているか否か、すなわち覚醒度が高い状態にあるか否かを判定することができる。
従って、操作に必要な脳内の知覚判断活動が解析できれば、運転者が手動運転可能な判断能力を備えているか否か、すなわち覚醒度が高い状態にあるか否かを判定することができる。
【0124】
本開示の情報処理装置は、手動運転の復帰前に、運転者に視覚的課題を提示し、この課題の解決に際して発生する運転者の眼球挙動を解析する。さらに、この眼球挙動観測結果に基づいて運転者の覚醒度を評価する。
【0125】
本開示の構成において運転者に提示する視覚課題は、運転者が視覚課題を解決するために必要となる不足情報を追加探索する作業が必要となる課題である。
このような不足情報の追加探索処理が行われると、眼球の固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動が発生する。
このような不足情報の追加探索処理が行われると、眼球の固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動が発生する。
【0126】
先に図６や図７を参照して説明したように、運転者眼球挙動解析部６３は、運転者眼球追跡部（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）５２の検出した運転者の眼球の動き情報を入力して運転者の眼球の挙動解析を行う。
運転者眼球挙動解析部６３は、運転者の眼球挙動として、眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）、マイクロサッカード（眼球微小回転）等が観測されているか否かを解析する。
運転者眼球挙動解析部６３は、運転者の眼球挙動として、眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）、マイクロサッカード（眼球微小回転）等が観測されているか否かを解析する。
【0127】
運転者眼球挙動解析部６３の解析した眼球挙動情報は運転者覚醒度判定部６５に入力され、運転者覚醒度判定部６５は、運転者眼球挙動解析部６３の解析した眼球挙動情報に基づいて、運転者の覚醒度を判定する。
運転者が、課題解決のための眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部６５は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部６５は運転者の覚醒度が低いと判定する。
運転者が、課題解決のための眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部６５は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部６５は運転者の覚醒度が低いと判定する。
【0128】
以下、本開示の情報処理装置のデータ処理部１１の表示情報生成部６１が生成、または表示情報記憶部１７から選択取得して運転者に提示する課題の具体例について説明する。
【0129】
図９は、課題の一例を示す図である。
図９に示す例は、複数の動物シルエットを並べて表示して、さらに課題文として、「尾の長い動物を見てください」という課題を提示した例である。
動物シルエットとして、
（ａ）羊
（ｂ）しか
（ｃ）熊
（ｄ）豚
（ｅ）馬
（ｆ）きりん
これら６種類の動物のシルエットが表示されている。
図９に示す例は、複数の動物シルエットを並べて表示して、さらに課題文として、「尾の長い動物を見てください」という課題を提示した例である。
動物シルエットとして、
（ａ）羊
（ｂ）しか
（ｃ）熊
（ｄ）豚
（ｅ）馬
（ｆ）きりん
これら６種類の動物のシルエットが表示されている。
【0130】
課題文である「尾の長い動物を見てください」という課題を提示した場合、運転者の覚醒度が十分高い状態にあると仮定すると、運転者は課題解決のために以下のようなステップ（Ｓ１～Ｓ３）に従った眼球挙動を行うと予測される。
（Ｓ１）課題確認のため、課題表示部に眼球の視線を振り向けるサッカード（眼球回転）と、課題を読み込む固視（フィクセーション）、
（Ｓ２）各シルエットを一通り見渡す挙動、（並んで表示されているシルエット全体をさっと見渡す処理であり、特定シルエットに注目しない全体を見渡す視線移動処理）
（Ｓ３）正解の対象となる特定のシルエットに視線を振り向けるサッカード（眼球回転）と、特定のシルエットを解析するための固視を行い、特定シルエットの尾や頭部と言った特徴部を確認する処理、
（Ｓ１）課題確認のため、課題表示部に眼球の視線を振り向けるサッカード（眼球回転）と、課題を読み込む固視（フィクセーション）、
（Ｓ２）各シルエットを一通り見渡す挙動、（並んで表示されているシルエット全体をさっと見渡す処理であり、特定シルエットに注目しない全体を見渡す視線移動処理）
（Ｓ３）正解の対象となる特定のシルエットに視線を振り向けるサッカード（眼球回転）と、特定のシルエットを解析するための固視を行い、特定シルエットの尾や頭部と言った特徴部を確認する処理、
【0131】
さらに、見落としを確認する動作が出現するケースでは、
ステップ（Ｓ４）として、運転者は、他の不正解と思われる対象も固視する眼球挙動を発生する可能性がある。
特に、課題提示の正解が一つでなく、複数の正解がある場合には、見落としの確認処理のため、多数のシルエットへの固視が発生する可能性が高い。
ステップ（Ｓ４）として、運転者は、他の不正解と思われる対象も固視する眼球挙動を発生する可能性がある。
特に、課題提示の正解が一つでなく、複数の正解がある場合には、見落としの確認処理のため、多数のシルエットへの固視が発生する可能性が高い。
【0132】
運転者が一通りのシルエットに視線を合わせ終えたら、課題終了と判定して次の課題を提示してもよい。
この場合、ステップ（Ｓ５）として、運転者の視線が次の課題提示部にサッカード移動することが予測される。
この場合、ステップ（Ｓ５）として、運転者の視線が次の課題提示部にサッカード移動することが予測される。
【0133】
運転者は、例えば、上記のステップ（Ｓ１）～（Ｓ５）の眼球挙動を行うことが想定される。ただし、これは運転者の覚醒度が十分高い状態であり、課題を解決しようとする意志が存在する場合に観察される挙動である。
【0134】
運転者は、課題解決のために必要な情報の探索、すなわち不足情報を補う追加探索のため、特定の画像表示領域に視点を合わせ、固視を行って判断に必要な視覚情報を取得し、取得情報と記億との照合処理を行う。さらに理解の完結を補うための追加付随的な特徴の探索のためにマイクロサッカード（眼球微小回転）や固視微動等の挙動を発生させる。
このような挙動が観測された場合は、運転者が課題を解決しようとしていることを示し、運転者の覚醒度が十分高い状態であると判断することができる。
このような挙動が観測された場合は、運転者が課題を解決しようとしていることを示し、運転者の覚醒度が十分高い状態であると判断することができる。
【0135】
運転者は、物理光学的に網膜に到達した視覚情報を脳内に取り込み、記憶との照合を実行して課題を解決しようとしている場合は、例えば、上記のステップ（Ｓ１）～（Ｓ３）のシーケンシャルな挙動を発生させる。一方、運転者が単に反射的に特徴箇所に視線を振り向けたるだけの挙動を行った場合は、上記のステップ（Ｓ１）～（Ｓ３）のシーケンシャルな挙動は全く観察されないか、あるいは上記のステップ（Ｓ１）のみ、あるいは（Ｓ２）のみ、あるいは（Ｓ３）のみが観察されるといった状態が発生する。
【0136】
このように観測される運転者の眼球挙動は、運転者の覚醒度が高い状態、すなわち課題を解決しようとする意思がある状態と、運転者の覚醒度が低い状態、すなわち課題を解決しようとする意思がないまたは低い状態とでは明らかに異なるものとなる。
【0137】
移動装置に搭載された本開示の情報処理装置は、図９に示すような視覚的課題を運転者に提示し、提示後の運転者の眼球挙動を解析して、運転者が課題を解決するための眼球挙動（例えば上記のステップ（Ｓ１）～（Ｓ３））を行っているか否かを判定する。行っている場合は覚醒度が高いと判定し、行っていない場合は覚醒度が低いと判定する。
【0138】
運転者の覚醒状態の判断を行う場合に重要となるのは、運転者の脳内で実行される状況判断に必要な記憶の参照とその結果としての行動計画が行えるか、関連の知能部位の復活状況を判断する事である。
【0139】
このうち、行動計画と、実際の運転操作としての操舵に必要な体を動かす神経伝達と筋力的復帰は眼球の挙動解析のみでは観測が不可能である。しかし、判断に必要な視覚情報の取得には眼球挙動を伴う視覚的確認が必要となる。
例えば、危険状況の視覚的把握や、危険を回避するための周囲状況の把握、例えば、道路の障害物や、対向車や崖等の危険物、進行可能な空き方角や空間などの把握にはこれらを視覚的に確認するための眼球挙動が必要となる。
例えば、危険状況の視覚的把握や、危険を回避するための周囲状況の把握、例えば、道路の障害物や、対向車や崖等の危険物、進行可能な空き方角や空間などの把握にはこれらを視覚的に確認するための眼球挙動が必要となる。
【0140】
眼球挙動の解析のみでは、脳内の全体の覚醒度を完全に確認することは難しいものの、例えば、手動運転において必須となる行動計画に必要な脳内活動が可能な状態であるか否かの判断は可能であり、本開示の課題提示に基づく運転者の眼球挙動解析による覚醒度判定は、運転者が手動運転可能な覚醒状態であるか否かを判定するには十分な効果を奏するものであると言える。
【0141】
ただし、眼球挙動のみから判断される運転者の手動運転復帰能力が、運転者の行動判断と神経伝達と筋力的復帰を完全に反映したものであるという断定は行えない。従って、移動装置に備えられたシステム（情報処理装置）は、運転者が手動運転を開始した後の操舵行動の評価も行う。また、運転席への着座前の運転者に対する手動運転復帰要請通知のタイミングから、運転席に着座して運転姿勢へ復帰するまでの行動についても評価を行う。移動装置に備えられたシステム（情報処理装置）は、これらの評価情報を利用して、例えば眼球挙動に基づく運転者の覚醒度判定に用いる学習データを生成する。なお、学習データは各運転者固有の学習データとして生成することが好ましい。
【0142】
なお、運転者が運転席に着座した状態、すなわち運転復帰姿勢の状態で手動運転への復帰要請通知を受けることもある。この場合、運転席へ戻る等の手動運転への復帰行動はほとんど発生しない。このような場合の運転者の覚醒度判定は、運転者の復帰行動を観測できる過程が少なく、評価が行える対象行動が限られ、眼球挙動の解析情報が運転者の覚醒状態を直接観測できる数少ない観測対象となる。
【0143】
眼球挙動解析から運転者の内部覚醒状態を推測し、運転者の脳内の覚醒度が高い状態と判断され、手動運転復帰の開始必要条件を満たすと判定されれば、運転者に手動運転を開始させることになる。
手動運転開始後は、自動運転から手動運転へ引き継ぎが完了する間、徐々に運転機器操舵をシステムから運転者に委ねる過程の運転者の操舵のモニタリングがなされる。運転者がステアリングへ負荷するトルクや操舵機器の操舵力が適切でないと判定された場合や、操舵確認ができない等の状況が確認された場合は、システム（情報処理装置）は、運転者の手動運転復帰能力が不足していると判定し、緊急減速や、徐行、あるいは退避、避難、停車等の処置を行う。
手動運転開始後は、自動運転から手動運転へ引き継ぎが完了する間、徐々に運転機器操舵をシステムから運転者に委ねる過程の運転者の操舵のモニタリングがなされる。運転者がステアリングへ負荷するトルクや操舵機器の操舵力が適切でないと判定された場合や、操舵確認ができない等の状況が確認された場合は、システム（情報処理装置）は、運転者の手動運転復帰能力が不足していると判定し、緊急減速や、徐行、あるいは退避、避難、停車等の処置を行う。
【0144】
なお、運転者の手動運転開始後の手動運転復帰品質の評価は、眼球の挙動のみから評価するものではなく、以下のような様々な処理に基づく評価も併せ行うことになる。
（１）定常時モニタリングによる状態評価
（２）復帰通知に対する応答有無評価、視差呼称等の動的行動正確性評価
（３）応答品質評価
（４）復帰姿勢推移評価
（５）着座推移、着座姿勢評価
（６）ＰＥＲＣＬＯＳ（開眼割合）評価
（７）本開示による眼球挙動解析による内部覚醒度評価
（８）操舵装置等への操舵妥当性評価
（９）操舵ノイズ修正妥当性評価
眼球挙動に基づく覚醒度評価に併せて、上記の様々な評価処理も併せて、運転者の手動運転の復帰品質価を行う。
（１）定常時モニタリングによる状態評価
（２）復帰通知に対する応答有無評価、視差呼称等の動的行動正確性評価
（３）応答品質評価
（４）復帰姿勢推移評価
（５）着座推移、着座姿勢評価
（６）ＰＥＲＣＬＯＳ（開眼割合）評価
（７）本開示による眼球挙動解析による内部覚醒度評価
（８）操舵装置等への操舵妥当性評価
（９）操舵ノイズ修正妥当性評価
眼球挙動に基づく覚醒度評価に併せて、上記の様々な評価処理も併せて、運転者の手動運転の復帰品質価を行う。
【0145】
このように本開示の情報処理装置は、運転者の脳内活動の認知段階での覚醒状態の判定のみならず、その後の手動運転開始後の手動運転復帰品質についての評価も実行する。
【0146】
なお、運転者に対して視線挙動が発現する課題を提示する場合、同じシルエットの図柄を繰り替えして表示することや、課題が単調で違いが明白な図柄を利用すると、運転者は課題を周辺視野で捉えた情報で判断に至り、細部の確認をすることとなく簡単に回答を導き出すことが可能となる。このような場合、運転者は詳細確認を行うことを目的として眼球挙動を発生させることなく回答して作業を終えてしまうことになる。
【0147】
課題が単調で違いが明白な図柄の具体例について、図１０を参照して説明する。
図１０には、２つの動物シルエットを並べて表示して、さらに課題文として、「尾の長い動物を見てください」という課題を提示した例である。
動物シルエットとして、
（ａ）馬
（ｂ）うさぎ
これら２つの動物のシルエットが表示されている。
図１０には、２つの動物シルエットを並べて表示して、さらに課題文として、「尾の長い動物を見てください」という課題を提示した例である。
動物シルエットとして、
（ａ）馬
（ｂ）うさぎ
これら２つの動物のシルエットが表示されている。
【0148】
（ａ）馬の図柄は尾が明確に現れた図柄である。
課題文である「尾の長い動物を見てください」という課題を提示した場合、ほぼ全ての回答者は馬の尾の詳細やうさぎの図柄をまじまじと視線を向けてじっくり注視するまでもなく、即座にどちらの図柄の動物の尾が長いかを判断することができる。
課題文である「尾の長い動物を見てください」という課題を提示した場合、ほぼ全ての回答者は馬の尾の詳細やうさぎの図柄をまじまじと視線を向けてじっくり注視するまでもなく、即座にどちらの図柄の動物の尾が長いかを判断することができる。
【0149】
課題を初めて見る場合には詳細に見ることもあるが、これは、回答のための判断の必要性から見るのではなく、どのような図柄が課題提示に利用されているかの興味優先の眼球挙動に過ぎない。このような興味本位の眼球挙動は、繰り返し、同じ配置で同じ動物の同じ図柄の表示が実行されると、中心視野で対象を捉えることなく周辺視野で捉えた段階で既に判断が可能となる。従って、詳細特徴の確認動作として期待されるマイクロサッカード（眼球微小回転）など固視を特徴付ける眼球挙動が観測される可能性が低下してしまう。このような状況となると、眼球挙動に基づく運転者の脳内の覚醒度判定は困難になる。
【0150】
眼球挙動解析を用いた運転者の覚醒状態を判定するためには、常に新鮮な課題を提示することが好ましい。例えば、時々刻々変化する走行風景の一部を課題として利用する構成としてもよい。
市街地など多様な風景が満ち溢れ、運転者が手動運転する際に視線移動をする対象が多数、存在する状況では、例えば、運転者の視線が向けられる運転方向の風景対応のマップ（サリエンシーマップ）に対する運転者の眼球挙動の解析を行う構成としてもよい。このような構成では恒常的に運転者の内部覚醒度判定を行うことも可能となる。
市街地など多様な風景が満ち溢れ、運転者が手動運転する際に視線移動をする対象が多数、存在する状況では、例えば、運転者の視線が向けられる運転方向の風景対応のマップ（サリエンシーマップ）に対する運転者の眼球挙動の解析を行う構成としてもよい。このような構成では恒常的に運転者の内部覚醒度判定を行うことも可能となる。
【0151】
しかしながら、単調な高速道路や特徴も前走車も信号等も現れない道路走行区間では、これら運転者の覚醒度判定に有効な眼球挙動が行われにくい。つまり、安定的に運転者の挙動解析が期待できない状況になる。
そこで重要となるのが、安定的に常に固視探索対応の眼球挙動を発生させる情報提示である。このためには、繰り返し性を抑えて、感度低下の無い情報を生成して提示することが必要となる。
そこで重要となるのが、安定的に常に固視探索対応の眼球挙動を発生させる情報提示である。このためには、繰り返し性を抑えて、感度低下の無い情報を生成して提示することが必要となる。
【0152】
繰り返し性を低下させるためには、複数の多様な課題を準備することが必要である。以下、課題の設定例を示す。
（１）複数の動物シルエットを体重順に見させる課題
（２）動物シルエットを、それぞれ様々な角度で回転して表示を行い、回転されたシルエットを見て動物種類を判断させる過程を含む課題
（３）類似する図柄を配列して表示し、各図柄の違いを判断するために個別図柄の特徴の固視確認が必要となる課題
（４）複数の料理を配列して、和食であるか洋食であるかを判断させる課題
（５）ＡＢＣ等をばらばらに表示して、文字順に見ることを要求する課題
（６）表示図柄を家畜に設定した課題
（７）表示図柄をペットに設定した課題
（８）表示図柄を家禽に設定した課題
（９）表示図柄を魚に設定した課題
（１０）表示図柄を昆虫に設定した課題
例えば、これらの多数の課題を図６に示す表示情報記憶部１７に格納し、表示情報生成部６１は、これらの課題から同じ課題が繰り返されないように選択して提示する構成とすることが好ましい。
（１）複数の動物シルエットを体重順に見させる課題
（２）動物シルエットを、それぞれ様々な角度で回転して表示を行い、回転されたシルエットを見て動物種類を判断させる過程を含む課題
（３）類似する図柄を配列して表示し、各図柄の違いを判断するために個別図柄の特徴の固視確認が必要となる課題
（４）複数の料理を配列して、和食であるか洋食であるかを判断させる課題
（５）ＡＢＣ等をばらばらに表示して、文字順に見ることを要求する課題
（６）表示図柄を家畜に設定した課題
（７）表示図柄をペットに設定した課題
（８）表示図柄を家禽に設定した課題
（９）表示図柄を魚に設定した課題
（１０）表示図柄を昆虫に設定した課題
例えば、これらの多数の課題を図６に示す表示情報記憶部１７に格納し、表示情報生成部６１は、これらの課題から同じ課題が繰り返されないように選択して提示する構成とすることが好ましい。
【0153】
図１１に課題の一例を示す。
図１１に示す例も、図９、図１０と同様、複数の動物シルエットを並べて表示しているが、課題文として、「ペットになる動物の数を選択してください」という課題を提示した例である。
動物シルエットとして、
（ａ）秋田犬
（ｂ）牛
（ｃ）熊
（ｄ）プードル
（ｅ）ライオン
これら５種類の動物のシルエットともに、上部に１～５までの選択可能な数値が表示されている。
図１１に示す例も、図９、図１０と同様、複数の動物シルエットを並べて表示しているが、課題文として、「ペットになる動物の数を選択してください」という課題を提示した例である。
動物シルエットとして、
（ａ）秋田犬
（ｂ）牛
（ｃ）熊
（ｄ）プードル
（ｅ）ライオン
これら５種類の動物のシルエットともに、上部に１～５までの選択可能な数値が表示されている。
【0154】
課題文として「ペットになる動物の数を選択してください」を提示した場合、運転者の覚醒度が十分高い状態であると仮定すると、運転者は課題解決のために以下のようなステップ（Ｓ１～）に従った眼球挙動を行うと予測される。
【0155】
（Ｓ１）課題確認
（Ｓ２）動物シルエット全体の把握
（Ｓ３）周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認し、ペットになると推定される対象シルエットを確認するための個別固視のためのサッカード（眼球回転）を開始
（Ｓ４）動物シルエット（ａ）秋田犬を固視
（Ｓ５）動物シルエット（ａ）が犬であるか否かを判断するため、頭部を中心視野で見る局所部分の特徴を確認するためのマイクロサッカード（眼球微小回転）を実行
（Ｓ６）他の動物シルエットへ視点を移動させるサッカード（眼球回転）
（Ｓ７）動物シルエット（ｅ）ライオンを固視
（Ｓ８）動物シルエット（ｅ）が犬であるか否かを判断するため、頭部や尾を中心視野で見る局所部分の特徴を確認するためのマイクロサッカード（眼球微小回転）を実行して、動物シルエット（ｅ）がライオンであると判断
（Ｓ９）他の動物シルエットへ視点を移動させるサッカード（眼球回転）
（Ｓ１０）動物シルエット（ｄ）プードルを固視
（Ｓ１１）動物シルエット（ｄ）が犬であることを、マイクロサッカード（眼球微小回転）を行うことなく即座に判断
（Ｓ１２）（Ｓ２）における動物シルエット全体の把握時に視野に入り、ペットでないことを仮判定していた動物シルエット（ｂ），（ｃ）に視線を向け、ペットでないことを再確認
（Ｓ１３）回答選択肢としての数値［２］に視線を移動させるサッカード（眼球回転）
なお、自信が無い場合にはシルエット（ｂ）や（ｃ）へ特徴確認のためのサッカード（眼球回転）を伴う視線移動を行う場合もある。
（Ｓ２）動物シルエット全体の把握
（Ｓ３）周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認し、ペットになると推定される対象シルエットを確認するための個別固視のためのサッカード（眼球回転）を開始
（Ｓ４）動物シルエット（ａ）秋田犬を固視
（Ｓ５）動物シルエット（ａ）が犬であるか否かを判断するため、頭部を中心視野で見る局所部分の特徴を確認するためのマイクロサッカード（眼球微小回転）を実行
（Ｓ６）他の動物シルエットへ視点を移動させるサッカード（眼球回転）
（Ｓ７）動物シルエット（ｅ）ライオンを固視
（Ｓ８）動物シルエット（ｅ）が犬であるか否かを判断するため、頭部や尾を中心視野で見る局所部分の特徴を確認するためのマイクロサッカード（眼球微小回転）を実行して、動物シルエット（ｅ）がライオンであると判断
（Ｓ９）他の動物シルエットへ視点を移動させるサッカード（眼球回転）
（Ｓ１０）動物シルエット（ｄ）プードルを固視
（Ｓ１１）動物シルエット（ｄ）が犬であることを、マイクロサッカード（眼球微小回転）を行うことなく即座に判断
（Ｓ１２）（Ｓ２）における動物シルエット全体の把握時に視野に入り、ペットでないことを仮判定していた動物シルエット（ｂ），（ｃ）に視線を向け、ペットでないことを再確認
（Ｓ１３）回答選択肢としての数値［２］に視線を移動させるサッカード（眼球回転）
なお、自信が無い場合にはシルエット（ｂ）や（ｃ）へ特徴確認のためのサッカード（眼球回転）を伴う視線移動を行う場合もある。
【0156】
移動装置に搭載された本開示の情報処理装置は、例えば図１１に示すような視覚的課題を運転者に提示し、提示後の運転者の眼球挙動を解析して、運転者が課題を解決するための眼球挙動（例えば上記のステップ（Ｓ１）～（Ｓ１３））を行っているか否かを判定する。例えば上記のステップ（Ｓ１）～（Ｓ１３）とほぼ同様の眼球挙動を実行していれば覚醒度が高いと判定し、行っていない場合は覚醒度が低いと判定する。
【0157】
なお、情報処理装置における覚醒度判定に際しては、運転者の眼球挙動が上記のステップ（Ｓ１）～（Ｓ１３）と完全一致するか否かを判定する必要はない。例えば、上記のステップ（Ｓ１）～（Ｓ１３）の半分（５０％）以上を実行していれば覚醒度が高いと判定し、行っていない場合は覚醒度が低いと判定するといった処理を行う。
【0158】
なお、シルエットを見る順番は上記例に制限されない。例えば、ペットかペットでないかを判別するためのマイクロサッカード（眼球微小回転）が１つ以上の動物シルエットにおいて実行されているか否かに基づいて覚醒度評価を行ってもよい。
【0159】
図１２に異なる課題の例を示す。
図１２に示す例も、複数の動物シルエットを並べて表示しているが、課題文として、「体重の重い動物順に視線を移動させてください」という課題を提示した例である。
動物シルエットとして、
（ａ）かば
（ｂ）馬
（ｃ）こうもり
（ｄ）豚
（ｅ）ねずみ
これら５種類の動物のシルエットが表示されている。
図１２に示す例も、複数の動物シルエットを並べて表示しているが、課題文として、「体重の重い動物順に視線を移動させてください」という課題を提示した例である。
動物シルエットとして、
（ａ）かば
（ｂ）馬
（ｃ）こうもり
（ｄ）豚
（ｅ）ねずみ
これら５種類の動物のシルエットが表示されている。
【0160】
課題文として「体重の重い動物順に視線を移動させてください」を提示した場合、運転者の覚醒度が十分高い状態であると仮定すると、運転者は課題解決のために以下のようなステップ（Ｓ１～）に従った眼球挙動を行うと予測される。
【0161】
（Ｓ１）課題確認
（Ｓ２）動物シルエット全体の把握
（Ｓ３）周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認する。判断が困難なシルエットについては、特徴確認のためにサッカード（眼球回転）によるシルエットに対する視線移動を行い、さらに局所的特徴を確認するための固視やマイクロサッカード（眼球微小回転）を実行する
（Ｓ４）判断の付かない対象が無くなったら大きい物から順次、サッカード（眼球回転）を行い、視線を移動させる。
（Ｓ２）動物シルエット全体の把握
（Ｓ３）周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認する。判断が困難なシルエットについては、特徴確認のためにサッカード（眼球回転）によるシルエットに対する視線移動を行い、さらに局所的特徴を確認するための固視やマイクロサッカード（眼球微小回転）を実行する
（Ｓ４）判断の付かない対象が無くなったら大きい物から順次、サッカード（眼球回転）を行い、視線を移動させる。
【0162】
なお、（Ｓ４）の視線移動の実行段階で、判断が曖昧な場合は、再確認のための固視やマイクロサッカード（眼球微小回転）が発生する可能性もある。
【0163】
移動装置に搭載された本開示の情報処理装置は、例えば図１２に示すような視覚的課題を運転者に提示し、提示後の運転者の眼球挙動を解析して、運転者が課題を解決するための眼球挙動（例えば上記のステップ（Ｓ１）～（Ｓ４））を行っているか否かを判定する。例えば上記のステップ（Ｓ１）～（Ｓ４）とほぼ同様の眼球挙動を実行していれば覚醒度が高いと判定し、行っていない場合は覚醒度が低いと判定する。
【0164】
なお、例えば、マイクロサッカード（眼球微小回転）が１つ以上の動物シルエットにおいて実行されているか否かに基づいて覚醒度評価を行ってもよい。
【0165】
図１３に別の課題例を示す。
図１３に示す例は、複数の魚や海洋生物等を並べて表示し、課題文として、「魚（Ｆｉｓｈ）は何匹いますか」という課題を提示した例である。
シルエットとして、
（ａ）かつお
（ｂ）いるか
（ｃ）金魚
（ｄ）えい
（ｅ）くじら
（ｆ）たつのおとしご
これら６種類のシルエットと選択肢１～４が表示されている。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図１３に示す例は、複数の魚や海洋生物等を並べて表示し、課題文として、「魚（Ｆｉｓｈ）は何匹いますか」という課題を提示した例である。
シルエットとして、
（ａ）かつお
（ｂ）いるか
（ｃ）金魚
（ｄ）えい
（ｅ）くじら
（ｆ）たつのおとしご
これら６種類のシルエットと選択肢１～４が表示されている。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
【0166】
課題文として「魚（Ｆｉｓｈ）は何匹いますか」を提示した場合、運転者の覚醒度が十分高い状態であると仮定すると、運転者は課題解決のための眼球挙動として、先に図１１を参照して説明した課題「ペットになる動物の数を選択してください」に対する挙動と同様の処理を行うと推定される。
【0167】
すなわち、以下のようなステップを実行する。
（Ｓ１）課題確認
（Ｓ２）シルエット全体の把握
（Ｓ３）周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認し、魚であると推定される対象シルエットを確認するための個別固視のためのサッカード（眼球回転）を開始
（Ｓ４）各シルエットを順に確認するサッカード（眼球回転）を行い、判断が困難な場合は、各シルエットの局所部分の特徴を確認するための固視やマイクロサッカード（眼球微小回転）を実行する。
（Ｓ５）回答選択肢としての数値［３］に視線を移動させるサッカード（眼球回転）
（Ｓ１）課題確認
（Ｓ２）シルエット全体の把握
（Ｓ３）周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認し、魚であると推定される対象シルエットを確認するための個別固視のためのサッカード（眼球回転）を開始
（Ｓ４）各シルエットを順に確認するサッカード（眼球回転）を行い、判断が困難な場合は、各シルエットの局所部分の特徴を確認するための固視やマイクロサッカード（眼球微小回転）を実行する。
（Ｓ５）回答選択肢としての数値［３］に視線を移動させるサッカード（眼球回転）
【0168】
本開示の情報処理装置は、例えば図１３に示すような視覚的課題を運転者に提示し、提示後の運転者の眼球挙動を解析して、運転者が課題を解決するための眼球挙動として上記のステップを行っているか否かを判定する。上記ステップとほぼ同様の眼球挙動を実行していれば覚醒度が高いと判定し、行っていない場合は覚醒度が低いと判定する。
【0169】
なお、図１３に示す課題は、魚の数を回答として求めるものであるが、例えば、この課題を繰り返し提示すると、視線挙動は変化する。
図１３に示す課題を初めて見た場合、（ａ）～（ｆ）の各シルエットは全て魚に見える可能性が高い。
あるいは、例えば（ｄ）えい、（ｆ）たつのおとしご等について、疑問を感じ詳細の確認をするため固視やマイクロサッカード（眼球微小回転）を実行すると想定される。
図１３に示す課題を初めて見た場合、（ａ）～（ｆ）の各シルエットは全て魚に見える可能性が高い。
あるいは、例えば（ｄ）えい、（ｆ）たつのおとしご等について、疑問を感じ詳細の確認をするため固視やマイクロサッカード（眼球微小回転）を実行すると想定される。
【0170】
一方、この図１３に示す課題を見た経験がある運転者に再度、この類似または同一課題を提改めて示した場合は、最初に全体の複数シルエットを周辺視野で観察した段階で詳細を見ずに判断が完結してしまう可能性がある。この場合は、局所的特徴を確認するためのめ固視やマイクロサッカード（眼球微小回転）が行われない可能性がある。つまり、特徴のある対象は、その対象に求める課題の解が記憶と即座にリンクしない場合、その詳細確認にマイクロサッカードで細部を見る挙動が観測されることが期待される一方で、タツノオトシゴ等の特徴に強すぎで記憶に強く残ることでシルエットを捉えた段階で判断が完結することになる。以降に示すその他の事例で示す多様な変化付きの課題提示は、運転者が周辺視野で概要のみ捉えた段階での予測性を抑え、脳内での判断のための中心視野確認を常に促すための工夫の一貫である。
【0171】
ただし、（ｂ）いるか、（ｅ）くじらは、輪郭は魚に見えるが魚と異なるため、尾の特徴や頭部の特徴などをじっくり見る固視やマイクロサッカード（眼球微小回転）が実行される可能性もある。
局所的特徴の確認のための挙動である固視やマイクロサッカード（眼球微小回転）は、運転者が課題となる図柄の特徴を見た経験や記憶等によって異なることになる。
局所的特徴の確認のための挙動である固視やマイクロサッカード（眼球微小回転）は、運転者が課題となる図柄の特徴を見た経験や記憶等によって異なることになる。
【0172】
図１４～図１６にその他の課題の例を示す。
図１４は、複数の動物シルエットを表示し、肉食動物の数を選択させる課題である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図１５は、複数の調理用品や食材のシルエットを表示し、和食対応のシルエットの数と洋食対応のシルエットの数を選択させる課題である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図１６は、様々な種類のシルエットを表示し、逆さに表示されたシルエットの数を選択させる課題である。
図１４は、複数の動物シルエットを表示し、肉食動物の数を選択させる課題である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図１５は、複数の調理用品や食材のシルエットを表示し、和食対応のシルエットの数と洋食対応のシルエットの数を選択させる課題である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図１６は、様々な種類のシルエットを表示し、逆さに表示されたシルエットの数を選択させる課題である。
【0173】
次に、動物や物のシルエット画像ではなく、文字を利用した課題の例について説明する。
図１７は、大文字と小文字が混在したアルファベットの文字をランダムに表示し、課題文「枠内の大文字に視線を合わせて下さい」という課題を提示した例である。
図１７は、大文字と小文字が混在したアルファベットの文字をランダムに表示し、課題文「枠内の大文字に視線を合わせて下さい」という課題を提示した例である。
【0174】
運転者は枠内に表示された複数のアルファベットから大文字のアルファベットに視線を合わせる眼球挙動としてサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等を行うことになる。
【0175】
さらに、枠を移動させて、小文字に視線合せを行う課題を追加して行わせてもよい。
このように課題を変更すると運転者に複数の判断を要求することになる。複数の異なる課題を解決するためには、運転者は判断に必要な脳内の活動領域を変更する必要がある。従って、このような複合的な課題に対する眼球挙動解析を行うことで、より精度の高い覚醒度判定が可能となる。
このように課題を変更すると運転者に複数の判断を要求することになる。複数の異なる課題を解決するためには、運転者は判断に必要な脳内の活動領域を変更する必要がある。従って、このような複合的な課題に対する眼球挙動解析を行うことで、より精度の高い覚醒度判定が可能となる。
【0176】
図１８は、大文字と小文字が混在したアルファベットの文字をランダムに表示し、課題文「枠内の文字について、アルファベット順（ＡＢＣ・・）に視線を移動させて下さい」という課題を提示した例である。
このようにアルファベット順に見る課題を提示すると、覚醒度が高い運転者は文字順を判断して視線移動を行う。
このようにアルファベット順に見る課題を提示すると、覚醒度が高い運転者は文字順を判断して視線移動を行う。
【0177】
なお、図１７、図１８を参照して説明した例では、文字数が限られ、固視による特徴判断を行うことなく記憶の参照のみで判断される場合もある。このような判断がなされると固視やマイクロサッケード等の眼球挙動が観察されにくくなるため、各文字の特徴を捉える必要のある課題を提示して、眼球挙動を誘発する課題とすることが好ましい。
【0178】
図１９以下にその他の課題例を示す。
図１９は、様々な工具と文具をシルエット表示し、「工具の数と文具の数を選択してください」という課題を提示した例である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図２０も、「工具の数と文具の数を選択してください」という課題を提示した例であるが、表示シルエットに工具と文具と、いずれにも含まれないシルエット（動物）を表示した例である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図１９は、様々な工具と文具をシルエット表示し、「工具の数と文具の数を選択してください」という課題を提示した例である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図２０も、「工具の数と文具の数を選択してください」という課題を提示した例であるが、表示シルエットに工具と文具と、いずれにも含まれないシルエット（動物）を表示した例である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
【0179】
図２１は、様々な動物シルエットを表示し、「サバンナに住む動物の数は？」という課題を提示した例である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図２２は、変形文字列を表示して、「６はいくつ含まれますか？」という課題を提示した例である。
図２２に示すように変形文字列から特定の文字や数字を選択させる処理等、奇数、偶数、母音、子音、ギリシャ文字等を選別させる処理は視線移動や眼科球挙動を誘発させるために有効な課題となる。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図２２は、変形文字列を表示して、「６はいくつ含まれますか？」という課題を提示した例である。
図２２に示すように変形文字列から特定の文字や数字を選択させる処理等、奇数、偶数、母音、子音、ギリシャ文字等を選別させる処理は視線移動や眼科球挙動を誘発させるために有効な課題となる。
【0180】
さらに、図２３は、Ｕ，Ｄ，Ｒ，Ｌの文字を表示し、「表示文字に従って視線を移動させてください（Ｕ：ｕｐ，Ｄ：ｄｏｗｎ，Ｒ：ｒｉｇｈｔ，Ｌ：ｌｅｆｔ）」という課題を提示した例である。
運転者は、この文字を１つずつ見て、その文字に従った方向に視線を移動させる処理を行う。
この処理に際して、運転者はサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動を行うことになる。
運転者は、この文字を１つずつ見て、その文字に従った方向に視線を移動させる処理を行う。
この処理に際して、運転者はサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動を行うことになる。
【0181】
さらに、図２４は、複数の異なる動物のシルエットを表示し、「馬→犬→猫→キリンの順に視線を移動させてください」という課題を提示した例である。
運転者は、馬→犬→猫→キリンの順に視線を移動させる処理を行う。
この処理に際して、運転者はサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動を行うことになる。
運転者は、馬→犬→猫→キリンの順に視線を移動させる処理を行う。
この処理に際して、運転者はサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動を行うことになる。
【0182】
図９～図２４を参照して様々な課題の例について説明したが、運転者に提示する課題は、課題を解決するための不足情報を追加探索する作業を必要とする課題であることが必要である。具体的には、課題を解決するための眼球挙動として、眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を発生させる課題とする。
【0183】
図９～図２４を参照して説明した課題例は、動物や物のシルエットを配置した課題、文字を配列した課題等であるが、これらシルエット、文字の他、シンボル、記号、ピクトグラム等、様々な表示データを利用することが可能である。
【0184】
このように、本開示の情報処理装置は、運転者に対して様々な視覚的課題を提示する。図６に示す情報処理装置のデータ処理部１１の運転者挙動解析部６３は、課題提示後の李運転者の眼球挙動を解析する。具体的には、眼球挙動として、サッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の特定の眼球挙動の有無を検出する。
【0185】
なお、これら図９～図２４で示した事例とその際に期待される回答者となる運転者が示すであろう眼球挙動例に過ぎず、回答者に依存して答えを見ずに回答の選択肢を最初に眺めてから質問文を後追いで確認するケースや設問分を繰り返し確認するケースなど人それぞれ異なる挙動を示す。重要となるのは、挙動そのもの正確性や繰り返し性や直接の正解を得るまでに時間等ではなく、その回答をするまでの間に課題対処に伴い必要情報取得のマイクロサッカードや固視の覚醒時に観測される個人的特徴の発生度合いである。
つまり、覚醒時の課題に対するサッカード、マイクロサッカードや固視といった特賞挙動の発現率等から、運転者の内部覚醒レベル推定をすることができる。
つまり、覚醒時の課題に対するサッカード、マイクロサッカードや固視といった特賞挙動の発現率等から、運転者の内部覚醒レベル推定をすることができる。
【0186】
運転者挙動解析部６３が解析したサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動観測情報は運転者覚醒度判定部６５に入力される。
運転者覚醒度判定部６５は、運転者挙動解析部６３から入力した運転者の眼球挙動観測情報に基づいて、運転者が手動運転を実行できるレベルの高い覚醒度を有しているか否かを判定する。
運転者覚醒度判定部６５は、運転者挙動解析部６３から入力した運転者の眼球挙動観測情報に基づいて、運転者が手動運転を実行できるレベルの高い覚醒度を有しているか否かを判定する。
【0187】
具体的には、運転者の眼球挙動として観測されたサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の特定の眼球挙動が、運転者に提示された課題の解決を行うシーケンスに従って発生しているか否かを判定する。発生していれば運転者は確かな課題解決能力を有する、すなわち覚醒度が高く手動運転を実行できる覚醒状態にあると判定する。一方、発生していなければ運転者の覚醒度が低く、手動運転を実行できる覚醒状態にないと判定する。
【0188】
［６．本開示の情報処理装置が実行する運転者の覚醒度判定処理のシーケンスについて］
次に、本開示の情報処理装置が実行する運転者の覚醒度判定処理のシーケンスについて説明する。
次に、本開示の情報処理装置が実行する運転者の覚醒度判定処理のシーケンスについて説明する。
【0189】
図２５、図２６は、本開示の情報処理装置が実行する運転者の覚醒度判定処理のシーケンスについて説明するフローチャートを示す図である。
なお、図２５、図２６に示すフローチャートに従った処理は、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能であり、ＣＰＵ等のプログラム実行機能を有するデータ処理部において実行される。
以下、図２５に示すフローの各ステップの処理について、順次、説明する。
なお、図２５、図２６に示すフローチャートに従った処理は、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能であり、ＣＰＵ等のプログラム実行機能を有するデータ処理部において実行される。
以下、図２５に示すフローの各ステップの処理について、順次、説明する。
【0190】
（ステップＳ１０１）
まず、情報処理装置のデータ処理部は、ステップＳ１０１において、眼球挙動特性データ（学習データ）を取得する。
まず、情報処理装置のデータ処理部は、ステップＳ１０１において、眼球挙動特性データ（学習データ）を取得する。
【0191】
この処理は、図６に示すデータ処理部１１の運転者眼球挙動解析部６３が、運転者眼球挙動学習器６４内のメモリ（記憶部）から運転者固有の眼球挙動特性データ（学習データ）を取得する処理として実行される。
なお学習データは、外部サーバが生成し保持する構成としてもよく、この場合は外部サーバから学習データを取得する。
なお学習データは、外部サーバが生成し保持する構成としてもよく、この場合は外部サーバから学習データを取得する。
【0192】
運転者固有の眼球挙動特性データ（学習データ）は、予め実行された学習処理によって取得済みのデータである。
前述したように、眼球挙動には個人差があり、全ての運転者に対して同様な処理を行うより、運転者固有のデータに基づいて処理を行う構成とするのが好ましい。
前述したように、眼球挙動には個人差があり、全ての運転者に対して同様な処理を行うより、運転者固有のデータに基づいて処理を行う構成とするのが好ましい。
【0193】
運転経験の豊富なドライバや競技レースドライバーと、運転初心者とでは、同じ眼球挙動を行ったとしても運転者の覚醒状態は異なる可能性があるからである。
従って、運転者個人単位の学習処理によって生成した学習辞書を利用して覚醒度判定を行うことが好ましい。
なお、個人固有の学習データが生成されていない場合は、予め準備されている平均的な人の眼球挙動特性データ（学習データ）を利用して処理を行う。
従って、運転者個人単位の学習処理によって生成した学習辞書を利用して覚醒度判定を行うことが好ましい。
なお、個人固有の学習データが生成されていない場合は、予め準備されている平均的な人の眼球挙動特性データ（学習データ）を利用して処理を行う。
【0194】
（ステップＳ１０２）
次に、運転者情報を取得する。処理は、図６に示す運転者情報取得部１２が実行する処理である。
このステップＳ１０２において取得する運転者情報は、主にパッシブ情報であり、図６に示す運転者顔追跡部（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ）５１による運転者の顔の動きを取得する。
取得した運転者の顔の動きに基づいて、課題を提示する表示部の選択か否かを判定して表示部の選択処理等を行う。
次に、運転者情報を取得する。処理は、図６に示す運転者情報取得部１２が実行する処理である。
このステップＳ１０２において取得する運転者情報は、主にパッシブ情報であり、図６に示す運転者顔追跡部（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ）５１による運転者の顔の動きを取得する。
取得した運転者の顔の動きに基づいて、課題を提示する表示部の選択か否かを判定して表示部の選択処理等を行う。
【0195】
（ステップＳ１０３）
次に、ステップＳ１０３において、ステップＳ１０２において取得した運転者情報に基づいて、課題を提示する表示部の選択と眼球挙動解析処理が実行可能であるか否かを判定する。
例えば、運転者が表示部のある位置にいない場合は、課題を表示部に表示しても課題を見ることができない。
この場合（ステップＳ１０３＝Ｎｏ）は、例えばアラートを出力し、運転者に表示部に課題が提示されることを通知する等の処理を行い、さらに、ステップＳ１０２に戻り運転者情報の取得処理を継続して実行する。
次に、ステップＳ１０３において、ステップＳ１０２において取得した運転者情報に基づいて、課題を提示する表示部の選択と眼球挙動解析処理が実行可能であるか否かを判定する。
例えば、運転者が表示部のある位置にいない場合は、課題を表示部に表示しても課題を見ることができない。
この場合（ステップＳ１０３＝Ｎｏ）は、例えばアラートを出力し、運転者に表示部に課題が提示されることを通知する等の処理を行い、さらに、ステップＳ１０２に戻り運転者情報の取得処理を継続して実行する。
【0196】
ステップＳ１０３において、運転者情報に基づいて課題を提示する表示部の選択と眼球挙動解析処理が実行可能であると判定した場合は、ステップＳ１０４に進む。
【0197】
（ステップＳ１０４）
ステップＳ１０４では、運転者が見ることができる表示部に表示する表示情報、すなわち課題を生成または選択する。
ステップＳ１０４では、運転者が見ることができる表示部に表示する表示情報、すなわち課題を生成または選択する。
【0198】
この処理は、図６に示すデータ処理部１１の表示情報生成部６１が実行する処理である。
表示情報生成部６１は、表示部１６に表示する課題を生成する。具体的には、先に説明した複数の動物のシルエットから特徴が異なる図柄を一つ選択せよという課題等を生成する。
なお、図６に示す表示情報記憶部１７には、様々な課題を生成するために利用可能な課題や課題生成用のデータが格納されており、表示情報生成部６１は、表示情報記憶部１７に格納された課題を選択、または格納されたデータを利用して表示部１６に表示する課題を生成する。
表示情報生成部６１は、表示部１６に表示する課題を生成する。具体的には、先に説明した複数の動物のシルエットから特徴が異なる図柄を一つ選択せよという課題等を生成する。
なお、図６に示す表示情報記憶部１７には、様々な課題を生成するために利用可能な課題や課題生成用のデータが格納されており、表示情報生成部６１は、表示情報記憶部１７に格納された課題を選択、または格納されたデータを利用して表示部１６に表示する課題を生成する。
【0199】
課題は、例えば先に図９～図２４を参照して説明したような課題であり、運転者による課題解決が行われる場合、運転者の眼球挙動としてサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の特定の眼球挙動を観測可能な課題である。
【0200】
【0201】
図６に示す表示部選択部６２は、表示情報生成部６１が生成した課題を表示する表示部を選択する。表示部１６には、図に示すように、表示部Ａ（インストルメントパネル）７１、表示部Ｂ（フロントウィンドウ表示部）７２、表示部Ｃ（ウェアブル／ポータブル表示部）７３、表示部Ｄ（ＨＵＤ（ヘッドアップディスプレイ））７４等、様々な表示部がある。
【0202】
表示部選択部６２は、運転者顔追跡部（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ）５１が検出した運転者の顔や頭部の動き情報に基づいて、運転者の視線の先にある表示部を、表示情報生成部６１が生成した課題を表示する表示部として選択して課題を表示する。
【0203】
（ステップＳ１０６）
次に、ステップＳ１０６において、眼球挙動解析による覚醒度判定処理を実行する。
次に、ステップＳ１０６において、眼球挙動解析による覚醒度判定処理を実行する。
【0204】
この処理は、図６に示す運転者眼球挙動解析部６３と、運転者覚醒度判定部６５が実行する処理である。
図６に示す運転者眼球挙動解析部６３は、図６に示す運転者眼球追跡部（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）５２の検出した運転者の眼球の動き情報を入力して運転者の眼球の動きを解析する。
図６に示す運転者眼球挙動解析部６３は、図６に示す運転者眼球追跡部（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）５２の検出した運転者の眼球の動き情報を入力して運転者の眼球の動きを解析する。
【0205】
表示情報生成部６１が生成した課題が表示部１６に表示されると、運転者は課題の回答を取得するため課題に視線を移動させる。例えば、前述したように、複数の動物シルエットから特徴の異なる１つを選択させるといった判断を要する視覚的課題が表示部１６に表示される。運転者は、この課題の回答を取得するため、必要とする情報を補足するための眼球挙動を行う。例えば眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を行う。
運転者眼球挙動解析部６３は、これら運転者の眼球挙動を解析する。
運転者眼球挙動解析部６３は、これら運転者の眼球挙動を解析する。
【0206】
運転者眼球挙動解析部６３の解析した眼球挙動情報は運転者覚醒度判定部６５に入力される。
運転者覚醒度判定部６５は、運転者眼球挙動解析部６３の解析した眼球挙動情報に基づいて、運転者の覚醒度を判定する。
運転者が、課題解決のために眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部６５は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部６５は運転者の覚醒度が低いと判定する。
運転者覚醒度判定部６５は、運転者眼球挙動解析部６３の解析した眼球挙動情報に基づいて、運転者の覚醒度を判定する。
運転者が、課題解決のために眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部６５は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部６５は運転者の覚醒度が低いと判定する。
【0207】
【0208】
（ステップＳ２０１）
まず、ステップＳ２０１において、課題提示後の運転者の眼球挙動の観測データを取得する。
まず、ステップＳ２０１において、課題提示後の運転者の眼球挙動の観測データを取得する。
【0209】
この処理は、図６に示す運転者眼球挙動解析部６３が実行する処理である。
運転者眼球挙動解析部６３は、図６に示す運転者眼球追跡部（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）５２の検出した運転者の眼球の動きの加速データを取得する。
運転者眼球挙動解析部６３は、図６に示す運転者眼球追跡部（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）５２の検出した運転者の眼球の動きの加速データを取得する。
【0210】
（ステップＳ２０２）
次に、ステップＳ２０２において、ステップＳ２０１で取得した観測データから眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報を取得する。
次に、ステップＳ２０２において、ステップＳ２０１で取得した観測データから眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報を取得する。
【0211】
この処理も、図６に示す運転者眼球挙動解析部６３が実行する処理である。
前述したようえに、課題が表示部に表示されると、運転者は課題の解決に必要となる情報を取得するための眼球挙動を行う。例えば眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を行う。運転者眼球挙動解析部６３は、これら運転者の眼球挙動情報を観測データから抽出する。
前述したようえに、課題が表示部に表示されると、運転者は課題の解決に必要となる情報を取得するための眼球挙動を行う。例えば眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を行う。運転者眼球挙動解析部６３は、これら運転者の眼球挙動情報を観測データから抽出する。
【0212】
（ステップＳ２０３）
次に、ステップＳ２０３において、運転者眼球挙動解析部６３は、覚醒度判定に十分なデータが取得できたか否かを判定する。
具体的には、運転者の観測データから抽出される眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータであるか否かを判定する。
次に、ステップＳ２０３において、運転者眼球挙動解析部６３は、覚醒度判定に十分なデータが取得できたか否かを判定する。
具体的には、運転者の観測データから抽出される眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータであるか否かを判定する。
【0213】
十分であると判定した場合は、ステップＳ２０４に進む。
一方、不十分であると判定した場合はステップＳ２０５に進む。
一方、不十分であると判定した場合はステップＳ２０５に進む。
【0214】
（ステップＳ２０４）
ステップＳ２０３において、運転者の観測データから抽出される眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータであると判定した場合は、ステップＳ２０４に進む。
ステップＳ２０３において、運転者の観測データから抽出される眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータであると判定した場合は、ステップＳ２０４に進む。
【0215】
ステップＳ２０４では、課題提示後の運転者の眼球挙動の観測データに基づいて、運転者の覚醒度を判定する。
この処理は、図６に示す運転者覚醒度判定部６５が実行する処理である。
この処理は、図６に示す運転者覚醒度判定部６５が実行する処理である。
【0216】
図６に示す運転者覚醒度判定部６５は、課題提示後の運転者の眼球挙動、すなわちサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動観測情報に基づいて、運転者の覚醒度判定を実行する。
【0217】
運転者覚醒度判定部６５は、運転者が、課題解決のために眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行しているか否かを解析する。
【0218】
運転者覚醒度判定部６５は、運転者の眼球挙動が、課題解決のためのサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）に相当すると眼球挙動であると判断した場合は、運転者の覚醒度が高いと判定する。
一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者の覚醒度が低いと判定する。
この覚醒度判定処理が完了すると、図２５のフローのステップＳ１０７に進む。
一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者の覚醒度が低いと判定する。
この覚醒度判定処理が完了すると、図２５のフローのステップＳ１０７に進む。
【0219】
（ステップＳ２０５）
一方、ステップＳ２０３において、運転者の観測データから抽出される眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータでないと判定した場合は、ステップＳ２０５に進む。
一方、ステップＳ２０３において、運転者の観測データから抽出される眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータでないと判定した場合は、ステップＳ２０５に進む。
【0220】
ステップＳ２０５では、予め規定された覚醒度判定処理のリトライ回数の上限に達しているか否かを判定する。
【0221】
達していない場合は、図２５のステップＳ１０４に進む。この場合は、新たな表示情報（課題）を提示して運転者の眼球挙動の観測処理を再度、実行することになる。
一方、達している場合は、図２５のステップＳ１１０に進む。この場合は、ステップＳ１１０において、覚醒度評価を不合格、すなわち運転者が手動運転復帰可能な覚醒度を有していることが確認できないと判定して処理を終了する。この場合、手動運転への復帰は許容されず、自動車は緊急停止等、手動運転区間への侵入を回避する処理を行う。
図２５に戻り、ステップＳ１０７以下の処理について説明する。
一方、達している場合は、図２５のステップＳ１１０に進む。この場合は、ステップＳ１１０において、覚醒度評価を不合格、すなわち運転者が手動運転復帰可能な覚醒度を有していることが確認できないと判定して処理を終了する。この場合、手動運転への復帰は許容されず、自動車は緊急停止等、手動運転区間への侵入を回避する処理を行う。
図２５に戻り、ステップＳ１０７以下の処理について説明する。
【0222】
（ステップＳ１０７）
ステップＳ１０７の処理は、ステップＳ１０６において、眼球挙動解析による覚醒度判定処理が完了した後、実行される。
ステップＳ１０７では、ステップＳ１０６における眼球挙動解析による覚醒度判定処理結果として、運転者の覚醒度が手動運転を実行可能なレベルにあるか否かを判定する。
ステップＳ１０７の処理は、ステップＳ１０６において、眼球挙動解析による覚醒度判定処理が完了した後、実行される。
ステップＳ１０７では、ステップＳ１０６における眼球挙動解析による覚醒度判定処理結果として、運転者の覚醒度が手動運転を実行可能なレベルにあるか否かを判定する。
【0223】
この処理は、図６に示す運転者覚醒度判定部６５が実行する処理である。
前述したように運転者覚醒度判定部６５は、課題提示後の運転者の眼球挙動、すなわちサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動観測情報に基づいて、運転者の覚醒度判定を実行する。
前述したように運転者覚醒度判定部６５は、課題提示後の運転者の眼球挙動、すなわちサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動観測情報に基づいて、運転者の覚醒度判定を実行する。
【0224】
運転者覚醒度判定部６５は、運転者の眼球挙動が、課題解決のためのサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）に相当すると眼球挙動であると判断した場合は、運転者の覚醒度が高い、すなわち手動運転を実行可能なレベルにあると判定する。
この場合、ステップＳ１０７の判定はＹｅｓとなり、ステップＳ１０８に進む。
この場合、ステップＳ１０７の判定はＹｅｓとなり、ステップＳ１０８に進む。
【0225】
一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者の覚醒度が低く手動運転を実行可能なレベルにないと判定する。
この場合、ステップＳ１０７の判定はＮｏとなり、ステップＳ１０９に進む。
この場合、ステップＳ１０７の判定はＮｏとなり、ステップＳ１０９に進む。
【0226】
（ステップＳ１０８）
ステップＳ１０７において、運転者の覚醒度が高く、手動運転を実行可能なレベルにあると判定した場合は、ステップＳ１０８において、覚醒度評価を合格と判定し、手動運転復帰を許容する。
ステップＳ１０７において、運転者の覚醒度が高く、手動運転を実行可能なレベルにあると判定した場合は、ステップＳ１０８において、覚醒度評価を合格と判定し、手動運転復帰を許容する。
【0227】
（ステップＳ１０９）
一方、ステップＳ１０７において、運転者の覚醒度が低く、手動運転を実行可能なレベルにないと判定した場合は、ステップＳ１０９において、予め規定された覚醒度判定処理のリトライ回数の上限に達しているか否かを判定する。
一方、ステップＳ１０７において、運転者の覚醒度が低く、手動運転を実行可能なレベルにないと判定した場合は、ステップＳ１０９において、予め規定された覚醒度判定処理のリトライ回数の上限に達しているか否かを判定する。
【0228】
達していない場合は、ステップＳ１０４に進む。この場合は、新たな表示情報（課題）を提示して運転者の眼球挙動の観測処理を再度、実行することになる。
一方、達している場合は、ステップＳ１１０に進む。
一方、達している場合は、ステップＳ１１０に進む。
【0229】
（ステップＳ１１０）
ステップＳ１０９において、予め規定された覚醒度判定処理のリトライ回数の上限に達していると判定した場合は、ステップＳ１１０の処理を実行する。
ステップＳ１０９において、予め規定された覚醒度判定処理のリトライ回数の上限に達していると判定した場合は、ステップＳ１１０の処理を実行する。
【0230】
この場合、ステップＳ１１０において、覚醒度評価を不合格、すなわち運転者が手動運転復帰可能な覚醒度を有していることが確認できないと判定して処理を終了する。この場合、手動運転への復帰は許容されず、自動車は緊急停止等、手動運転区間への侵入を回避する処理を行う。
【0231】
このように、本開示の情報処理装置は、手動運転の復帰前に、運転者に視覚的課題を提示し、この課題の解決に際して発生する運転者の眼球挙動を解析する。具体的には、運転者の眼球挙動として、課題解決のためのサッカード（眼球回転）や、固視や、マイクロサッカード（眼球微小回転）等、特有の眼球挙動を誘発することが期待される一様でない課題を生成して提示することで、運転者の課題対応時に実際に発生する眼球挙動を観測し、その運転者の学習辞書特性をもとにその都度観測された観測時の運転者の内部覚醒レベル推定を行い、手動運転復帰の開始に値する十分は脳内の内部覚醒状態にあるか否かを判定する。
【0232】
これらの眼球挙動の解析から、運転者が十分、覚醒復帰に至っていると判定した場合は、運転者が手動運転可能な高い覚醒度を有していると判定し、手動運転の開始を許容する。
一方、これらの眼球挙動が十分、発生していないと判定した場合は、運転者が手動運転可能な高い覚醒度を有していないと判定し、手動運転の開始を許容しない。この場合は、手動運転区間への侵入前に停止する等の緊急退避処理を行う。
一方、これらの眼球挙動が十分、発生していないと判定した場合は、運転者が手動運転可能な高い覚醒度を有していないと判定し、手動運転の開始を許容しない。この場合は、手動運転区間への侵入前に停止する等の緊急退避処理を行う。
【0233】
実際の課題に対する視覚情報確認から課題の解に至る過程は、運転者のその時々の状態、同一課題の繰り返し実施状況、回答選択肢を見てから設問を確認する行動特性、疲労度、該当時の視力や視力疲労度、外光妨害、心のさまよいなどなど様々な、要因の影響を受け、個人特性に大きく異なる場合がある。従って高い精度で判定を行うためには、長期の繰り返し利用から都度発生する引き継ぎ実行時の復帰品質（正常復帰、遅延復帰、復帰断念、システム緊急事対処）等の学習処理により生成した運転者固有の復帰予測辞書データを用いることが好ましい。
運転者固有の復帰予測辞書データを利用して眼球の挙動特性解析結果に基づいて正常な復帰予測を実行することが望ましい。これらの処理により、安全な手動運転を開始させることが可能となる。
運転者固有の復帰予測辞書データを利用して眼球の挙動特性解析結果に基づいて正常な復帰予測を実行することが望ましい。これらの処理により、安全な手動運転を開始させることが可能となる。
【0234】
ここでは、眼球挙動の解析についてのみ記載としているが、運転者が安全な手動運転を開始できる状態であるか否かの判定処理や、上記の学習器への入力データは、後述するデータ取得部１０２より得られる自車両、道路環境情報、運転者生体信号による状態、履歴情報を含める構成とすることが好ましい。
【0235】
上述したように、本開示の構成は、自動運転と手動運転の切り替えが可能な移動装置の運転者の眼球挙動に基づいて運転者が手動運転に復帰可能な覚醒度を有するか否かを判定可能としたものである。
なお、上述した実施例では、自動運転から手動運転の引き継ぎの際に運転者の脳内の内部覚醒復帰を判定する実施例を説明したが、眼球挙動の解析手法は、被験者の脳内活動の外的観測可能な反映を解析可能とするものであり、自動運転から手動運転の引き継ぎの際の運転者状態を判定する以外にも様々な利用が可能である。
なお、上述した実施例では、自動運転から手動運転の引き継ぎの際に運転者の脳内の内部覚醒復帰を判定する実施例を説明したが、眼球挙動の解析手法は、被験者の脳内活動の外的観測可能な反映を解析可能とするものであり、自動運転から手動運転の引き継ぎの際の運転者状態を判定する以外にも様々な利用が可能である。
【0236】
上述した眼球挙動解析手法は、課題に対する記憶情報との相関結果を観測するものであり、提示課題に対する反応を観測して判定することで、多様な利用が可能である。
被験者に提示した課題と、被験者の記憶との照合が必要となる課題であれば、その回答を得る過程は被験者の状態や心理を反映したものとなる。従って、例えば飲酒申告や過労労務申告などの申告課題の提示に際して回答者の真偽判定などに応用も可能である。
被験者に提示した課題と、被験者の記憶との照合が必要となる課題であれば、その回答を得る過程は被験者の状態や心理を反映したものとなる。従って、例えば飲酒申告や過労労務申告などの申告課題の提示に際して回答者の真偽判定などに応用も可能である。
【0237】
さらに課題提示は車両の運行に限定する必要はない。例えば航空機の運行、電車の運行、クレーン操作、航空管制官、遠隔自動運転管制官、など多種多様な事象や職業、さらにはその他、自己申告時の心理解析による真偽評価等への拡張利用も可能である。
なお、被験者が何らかの課題を解決するために必要とする視覚情報を選ぶ時は側頭葉の上側頭溝が、注意を向ける時は頭頂間溝が、眼を動かすときは前頭眼野が活動することが知られている。また、記憶しているものを思い出したりするには、側頭葉の内側にある海馬が働く。また自立神経失調など、いわゆる交感神経と副交感神経の相互バランスの変調による刺激反射の抑制が発生している場合には、眼球挙動が変化することも知られている。従って、本開示の眼球挙動解析処理は、運転者等の被験者のメンタルヘルスの検証やモニタリング処理としても利用可能である。具体的には例えばバス、タクシー等の商用車両の運転者の状態把握や健康管理に利用することで、安全な運行を可能とすることができる。
なお、被験者が何らかの課題を解決するために必要とする視覚情報を選ぶ時は側頭葉の上側頭溝が、注意を向ける時は頭頂間溝が、眼を動かすときは前頭眼野が活動することが知られている。また、記憶しているものを思い出したりするには、側頭葉の内側にある海馬が働く。また自立神経失調など、いわゆる交感神経と副交感神経の相互バランスの変調による刺激反射の抑制が発生している場合には、眼球挙動が変化することも知られている。従って、本開示の眼球挙動解析処理は、運転者等の被験者のメンタルヘルスの検証やモニタリング処理としても利用可能である。具体的には例えばバス、タクシー等の商用車両の運転者の状態把握や健康管理に利用することで、安全な運行を可能とすることができる。
【0238】
［７．移動装置の具体的な構成と処理例について］
次に、図２７以下を参照して、本開示の移動装置の具体的な構成と処理例について説明する。
図２７は、移動装置１００の構成例を示している。なお、以下、移動装置１００が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
次に、図２７以下を参照して、本開示の移動装置の具体的な構成と処理例について説明する。
図２７は、移動装置１００の構成例を示している。なお、以下、移動装置１００が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
【0239】
移動装置１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および、自動運転制御部１１２を備える。
【0240】
入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
【0241】
なお、以下、移動装置１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
【0242】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置１００の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置１００の各部に供給する。
【0243】
データ取得部１０２は、移動装置１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置１００の各部に供給する。
【0244】
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
【0245】
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。
【0246】
例えば、図２８は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
【0247】
フロントノーズに備えられる撮像装置７９１０および車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
【0248】
なお、図２８には、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパまたはバックドアに設けられた撮像装置７９１６の撮像範囲を示す。例えば、撮像装置７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
【0249】
車両７９００のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサまたはレーダであってよい。車両７９００のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２６，７９３０は、例えばＬｉＤＡＲであってよい。これらのセンサ７９２０～７９３０は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
【0250】
図２７に戻って各構成要素の説明を続ける。データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【0251】
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様な可観測データが利用可能である。
【0252】
これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部１５５で復帰通知タイミングの算出に用いる。
さらに、運転者の覚醒度判定に用いられ、覚醒度判定結果に基づいて手動運転復帰を許容するか否かの判定処理にも用いられる。
さらに、運転者の覚醒度判定に用いられ、覚醒度判定結果に基づいて手動運転復帰を許容するか否かの判定処理にも用いられる。
【0253】
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置１００の各部から供給されるデータを送信したり、受信したデータを移動装置１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
【0254】
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、または、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、または、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
【0255】
さらに、例えば、通信部１０３は、基地局またはアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバまたは制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者もしくは店舗の端末、または、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。
【0256】
さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、および、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
【0257】
車内機器１０４は、例えば、搭乗者が有するモバイル機器（タブレット、スマートフォンなど）もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報提示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
【0258】
出力制御部１０５は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【0259】
出力部１０６は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
【0260】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【0261】
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
【0262】
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
【0263】
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等）等を備える。
【0264】
記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部１１１は、移動装置１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
【0265】
自動運転制御部１１２は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。
【0266】
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。
【0267】
車外情報検出部１４１は、移動装置１００の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
【0268】
また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
【0269】
車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップ（ＬＤＭ）がインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報を構成する更新される新鮮なローカルダイナミックマップ（ＬＤＭ）はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部１４１は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
【0270】
車内情報検出部１４２は、移動装置１００の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。
【0271】
さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
【0272】
そこで、車内情報検出部１４２には主に大きな２段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
【0273】
検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速させることで引継ぎ限界に到達する到達時間を稼ぎだすことができる。引継ぎ限界に到達する到達時間を稼ぎだすことで、システムによる事象対処に時間的余裕が発生し、安全確保のための対処が可能となる。ただし、後述する通りむやみな減速や徐行は渋滞誘発要因や追突リスクを上げるため適用は制限される。
【0274】
車両状態検出部１４３は、移動装置１００の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
【0275】
自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。
【0276】
自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
【0277】
状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４および安全性判別部１５５を備える。
【0278】
マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の移動装置１００の各部からのデータまたは信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
【0279】
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
【0280】
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。
【0281】
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
【0282】
認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
【0283】
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
【0284】
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
【0285】
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
【0286】
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
【0287】
安全性判別部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
【0288】
ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【0289】
行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
【0290】
動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。
【0291】
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。
【0292】
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。
【0293】
加減速制御部１７２は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、緊急事態が発生し得るケースは主に２つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、運転者の緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
【0294】
方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【0295】
［８．情報処理装置の構成例について］
上述した処理は、図２７を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置において実行することが可能である。
図２９を参照して、このような情報処理装置のハードウェア構成例について説明する。
上述した処理は、図２７を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置において実行することが可能である。
図２９を参照して、このような情報処理装置のハードウェア構成例について説明する。
【0296】
図２９は、情報処理装置のハードウェア構成例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
【0297】
ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。
なお、入力部５０６には、センサ５２１からの入力情報も入力される。
また、出力部５０７は、移動装置の駆動部５２２に対する駆動情報も出力する。
なお、入力部５０６には、センサ５２１からの入力情報も入力される。
また、出力部５０７は、移動装置の駆動部５２２に対する駆動情報も出力する。
【0298】
ＣＰＵ５０１は、入力部５０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0299】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。
【0300】
［９．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0301】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定部を有する情報処理装置。
（１） 課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定部を有する情報処理装置。
【0302】
（２） 前記課題は、前記ユーザが課題を解決するために不足情報を追加探索する作業を必要とする課題である（１）に記載の情報処理装置。
【0303】
（３） 前記課題は、前記ユーザが課題を解決するための眼球挙動として、眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を発生させる課題である（１）または（２）に記載の情報処理装置。
【0304】
（４） 前記眼球挙動解析部は、
前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを取得する（１）～（３）いずれかに記載の情報処理装置。
前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを取得する（１）～（３）いずれかに記載の情報処理装置。
【0305】
（５） 前記眼球挙動解析部は、
前記ユーザが前記課題を解決するための眼球挙動として、眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを取得する（１）～（４）いずれかに記載の情報処理装置。
前記ユーザが前記課題を解決するための眼球挙動として、眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを取得する（１）～（４）いずれかに記載の情報処理装置。
【0306】
（６） 前記覚醒度判定部は、
前記眼球挙動解析部から、前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する（１）～（５）いずれかに記載の情報処理装置。
前記眼球挙動解析部から、前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する（１）～（５）いずれかに記載の情報処理装置。
【0307】
（７） 前記覚醒度判定部は、
前記眼球挙動解析部から、前記ユーザが眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する（１）～（６）いずれかに記載の情報処理装置。
前記眼球挙動解析部から、前記ユーザが眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する（１）～（６）いずれかに記載の情報処理装置。
【0308】
（８） 前記覚醒度判定部は、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定される場合、前記ユーザの覚醒度が高いと判定し、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定されない場合、前記ユーザの覚醒度が低いと判定する（１）～（７）いずれかに記載の情報処理装置。
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定される場合、前記ユーザの覚醒度が高いと判定し、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定されない場合、前記ユーザの覚醒度が低いと判定する（１）～（７）いずれかに記載の情報処理装置。
【0309】
（９） 前記覚醒度判定部は、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動として眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行していると判定される場合、前記ユーザの覚醒度が高いと判定する（１）～（８）いずれかに記載の情報処理装置。
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動として眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行していると判定される場合、前記ユーザの覚醒度が高いと判定する（１）～（８）いずれかに記載の情報処理装置。
【0310】
（１０） 前記覚醒度判定部は、
前記ユーザが手動運転を実行可能な覚醒度を有しているか否かを判定する（１）～（９）いずれかに記載の情報処理装置。
前記ユーザが手動運転を実行可能な覚醒度を有しているか否かを判定する（１）～（９）いずれかに記載の情報処理装置。
【0311】
（１１） 前記表示情報生成部が生成または取得する課題は、
物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題である（１）～（１０）いずれかに記載の情報処理装置。
物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題である（１）～（１０）いずれかに記載の情報処理装置。
【0312】
（１２） 前記表示情報生成部が生成または取得する課題は、
文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題である（１）～（１０）いずれかに記載の情報処理装置。
文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題である（１）～（１０）いずれかに記載の情報処理装置。
【0313】
（１３） 自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記運転者情報取得部の取得情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理部を有し、
前記データ処理部は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察する前記運転者の眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記運転者の覚醒度を判定する覚醒度判定部を有する移動装置。
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記運転者情報取得部の取得情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理部を有し、
前記データ処理部は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察する前記運転者の眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記運転者の覚醒度を判定する覚醒度判定部を有する移動装置。
【0314】
（１４） 前記覚醒度判定部は、
前記眼球挙動解析部から、前記運転者が前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する（１３）に記載の移動装置。
前記眼球挙動解析部から、前記運転者が前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する（１３）に記載の移動装置。
【0315】
（１５） 前記覚醒度判定部は、
前記眼球挙動解析部から、前記運転者が眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する（１３）または（１４）に記載の移動装置。
前記眼球挙動解析部から、前記運転者が眼球のサッカード（眼球回転）、または固視（Ｆｉｘａｔｉｏｎ）、またはマイクロサッカード（眼球微小回転）の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する（１３）または（１４）に記載の移動装置。
【0316】
（１６） 前記覚醒度判定部が、前記運転者が手動運転に復帰可能な覚醒度を有すると判定した場合、前記移動装置の制御部は、前記運転者による手動運転開始を許容し、
前記覚醒度判定部が、前記運転者が手動運転に復帰可能な覚醒度を有しないと判定した場合、前記移動装置の制御部は、前記運転者による手動運転開始を許容せず、手動運転区間への侵入を回避する処理を実行する（１３）～（１５）いずれかに記載の移動装置。
前記覚醒度判定部が、前記運転者が手動運転に復帰可能な覚醒度を有しないと判定した場合、前記移動装置の制御部は、前記運転者による手動運転開始を許容せず、手動運転区間への侵入を回避する処理を実行する（１３）～（１５）いずれかに記載の移動装置。
【0317】
（１７） 情報処理装置において実行する情報処理方法であり、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法。
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法。
【0318】
（１８） 移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
データ処理部が、前記運転者情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理ステップを実行し、
前記データ処理ステップにおいて、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法。
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
データ処理部が、前記運転者情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理ステップを実行し、
前記データ処理ステップにおいて、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法。
【0319】
（１９） 情報処理装置において情報処理を実行させるプログラムであり、
表示情報生成部に、課題を生成または取得して表示部に表示させる表示情報生成ステップと、
眼球挙動解析部に、前記表示部に表示された課題を観察するユーザの眼球挙動を解析させる眼球挙動解析ステップと、
覚醒度判定部に、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定させる覚醒度判定ステップを実行させるプログラム。
表示情報生成部に、課題を生成または取得して表示部に表示させる表示情報生成ステップと、
眼球挙動解析部に、前記表示部に表示された課題を観察するユーザの眼球挙動を解析させる眼球挙動解析ステップと、
覚醒度判定部に、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定させる覚醒度判定ステップを実行させるプログラム。
【0320】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0321】
本明細書で主な眼球挙動を促す情報の課題提示を主に説明しているが、手動運転への引き継ぎの必要性が発生した時点で、システムから引き継ぎ事案の理由等を視覚的なメッセージ情報で表示し、メッセージの認知がなされたか否かを判定する課題も利用可能である。すなわた運転者のメッセージ確認時の眼球挙動を解析して、メッセージの認知がなされたか否かを判定する。
眼球挙動は人によっては斜視やモノビジョンの視力矯正により、情報探索挙動に目の左右差がある場合もあるため、両目解析や課題距離に合わせた片目解析など行ってもよい。
本明細書では、眼球挙動の解析を自動運転から手動運転への引き継ぎ時の覚醒状態判定の際に利用する例を説明しているが、眼球挙動の解析結果は、運転者のその他の生体情報や行動情報とともに、運転者の精神状態推定や疾患予測係数などの算出に適用してメンタルヘルスモニタリングを行ってもよい。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
眼球挙動は人によっては斜視やモノビジョンの視力矯正により、情報探索挙動に目の左右差がある場合もあるため、両目解析や課題距離に合わせた片目解析など行ってもよい。
本明細書では、眼球挙動の解析を自動運転から手動運転への引き継ぎ時の覚醒状態判定の際に利用する例を説明しているが、眼球挙動の解析結果は、運転者のその他の生体情報や行動情報とともに、運転者の精神状態推定や疾患予測係数などの算出に適用してメンタルヘルスモニタリングを行ってもよい。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0322】
以上、説明したように、本開示の一実施例の構成によれば、運転者が手動運転可能な覚醒度を有するか否かを、表示部に表示された課題を解決しようとする運転者の眼球挙動を解析して判定する構成が実現される。
具体的には、例えば、自動運転と手動運転の切り替えが可能な移動装置の運転者の眼球挙動に基づいて運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。表示部に表示された課題を観察する運転者の眼球挙動を解析する眼球挙動解析部と、眼球挙動解析部の解析結果に基づいて、運転者の覚醒度を判定する覚醒度判定部を有する。覚醒度判定部は運転者が課題を解決するための固視やマイクロサッカード等の眼球挙動を実行しているか否かを解析して運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。
本構成により、運転者が手動運転可能な覚醒度を有するか否かを、表示部に表示された課題を解決しようとする運転者の眼球挙動を解析して判定する構成が実現される。
具体的には、例えば、自動運転と手動運転の切り替えが可能な移動装置の運転者の眼球挙動に基づいて運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。表示部に表示された課題を観察する運転者の眼球挙動を解析する眼球挙動解析部と、眼球挙動解析部の解析結果に基づいて、運転者の覚醒度を判定する覚醒度判定部を有する。覚醒度判定部は運転者が課題を解決するための固視やマイクロサッカード等の眼球挙動を実行しているか否かを解析して運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。
本構成により、運転者が手動運転可能な覚醒度を有するか否かを、表示部に表示された課題を解決しようとする運転者の眼球挙動を解析して判定する構成が実現される。
【符号の説明】
【0323】
１０・・自動車，１１・・データ処理部，１２・・運転者情報取得部，１３・・環境情報取得部，１４・・通信部，１５・・通知部，１７・・表示情報記憶部，２０・・運転者，３０・・サーバ，５１・・運転者顔追跡部（ドライバー・フェイシャル・トラッカー（Ｄｒｉｖｅｒ Ｆａｃｉａｌ Ｔｒａｃｋｅｒ）），５２・・運転者眼球追跡部（ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）），６１・・表示情報生成部，６２・・表示部選択部，６３・・運転者眼球挙動解析部，６４・・運転者眼球挙動学習器，６５・・運転者覚醒度判定部，７１～７４・・表示部，１００・・移動装置，１０１・・入力部，１０２・・データ取得部，１０３・・通信部，１０４・・車内機器，１０５・・出力制御部，１０６・・出力部，１０７・・駆動系制御部，１０８・・駆動系システム，１０９・・ボディ系制御部，１１０・・ボディ系システム，１１１・・記憶部，１１２・・自動運転制御部，１２１・・通信ネットワーク，１３１・・検出部，１３２・・自己位置推定部，１３３・・状況分析部，１３４・・計画部，１３５・・動作制御部，１４１・・車外情報検出部，１４２・・車内情報検出部，１４３・・車両状態検出部，１５１・・マップ解析部，１５２・・交通ルール認識部，１５３・・状況認識部，１５４・・状況予測部，１５５・・安全性判別部，１６１・・ルート計画部，１６２・・行動計画部，１６３・・動作計画部，１７１・・緊急事態回避部，１７２・・加減速制御部，１７３・・方向制御部，５０１・・ＣＰＵ，５０２・・ＲＯＭ，５０３・・ＲＡＭ，５０４・・バス，５０５・・入出力インタフェース，５０６・・入力部，５０７・・出力部，５０８・・記憶部，５０９・・通信部，５１０・・ドライブ，５１１・・リムーバブルメディア，５２１・・センサ，５２２・・駆動部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】