(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024068004
(43)【公開日】2024-05-17
(54)【発明の名称】情報処理方法、プログラム及び情報処理システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240510BHJP
G09B 9/05 20060101ALI20240510BHJP
G06F 3/048 20130101ALI20240510BHJP
【FI】
G08G1/16 F
G09B9/05 E
G06F3/048
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022178482
(22)【出願日】2022-11-07
(11)【特許番号】
(45)【特許公報発行日】2023-02-13
(71)【出願人】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(72)【発明者】
【氏名】戴 倩穎
(72)【発明者】
【氏名】中川 貴登
(72)【発明者】
【氏名】小松 直人
(72)【発明者】
【氏名】大植 択真
(72)【発明者】
【氏名】前川 智明
(72)【発明者】
【氏名】佐々木 実
【テーマコード(参考)】
5E555
5H181
【Fターム(参考)】
5E555AA71
5E555AA74
5E555BA23
5E555BB23
5E555BC08
5E555CA42
5E555CB65
5E555CB66
5E555CC22
5E555DB03
5E555FA00
5H181AA01
5H181BB04
5H181BB05
5H181BB13
5H181CC04
5H181FF27
5H181FF33
5H181LL06
5H181LL20
(57)【要約】 (修正有)
【課題】装適切な車両用ユーザインタフェースを生成する。
【解決手段】運転者の運転操作に関する情報を取得する運転情報取得ステップと、運転者の運転操作中に、運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、運転者が所定の処理を実行中に、運転者の運転操作、所定の処理及び運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、運転者状態情報取得ステップにて取得した情報を基に、運転者の認知機能を評価する評価ステップと、評価ステップにより判定された運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、
運転者の運転操作に関する情報を取得する運転情報取得ステップと、
前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、
前記運転者が前記所定の処理を実行中に、前記運転者の運転操作、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、
前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、
前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、
を含む情報処理方法。
【請求項2】
前記運転情報取得ステップは、前記運転者が視聴すると共に前記運転者の運転操作に基づいて状況が変化する運転動画を表示する運転シミュレーションにおいて情報を取得する、
請求項1に記載の情報処理方法。
【請求項3】
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記運転者の状態として少なくとも前記運転者の頭の向きを含めた姿勢情報を取得する、
請求項1に記載の情報処理方法。
【請求項4】
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記運転者の状態として少なくとも前記運転者の視線に関する情報である視線情報を取得する、
請求項1に記載の情報処理方法。
【請求項5】
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記所定の処理に関する情報として少なくとも前記所定の処理を実行する際の処理時間に関する情報を取得する、
請求項1に記載の情報処理方法。
【請求項6】
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記所定の処理に関する情報として少なくとも前記所定の処理の実行結果に関する情報を取得する、
請求項1に記載の情報処理方法。
【請求項7】
前記情報処理装置は、前記生成ステップにおいて、前記評価結果に基づいて前記車両用ユーザインタフェースにおける操作入力を受け付ける操作部の位置、形状及びサイズの少なくとも一方を調整した上で前記車両用ユーザインタフェースを生成する、
請求項1に記載の情報処理方法。
【請求項8】
前記情報処理装置は、前記車両用ユーザインタフェースを表示する装置筐体に関する情報である筐体情報及び当該筐体の周囲情報を取得すると共に、前記生成ステップにおいて、前記筐体情報及び前記周囲情報も踏まえた上で前記車両用ユーザインタフェースを生成する、
請求項1に記載の情報処理方法。
【請求項9】
運転者の運転操作に関する情報を取得する運転情報取得ステップと、
前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、
前記運転者が前記所定の処理を実行中に、前記運転者の運転操作、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、
前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、
前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、
をコンピュータに実行させるプログラム。
【請求項10】
車両の運転のための運転操作情報を取得する運転情報取得装置と、
運転を実行する運転者に対して車両運転以外の所定の処理の実行の要求、実行の受け付け、実行結果の取得を行う別タスク実行装置と、
前記運転者に関する情報、前記運転情報取得装置による前記運転操作情報及び前記別タスク実行装置より取得される前記所定の処理の実行に関する情報の少なくとも一方から前記運転者の認知機能を評価する評価装置と、
評価された前記認知機能に基いて車両用ユーザインタフェースを生成する生成装置と、
を備え、
前記運転者の運転操作に関する情報を取得する運転情報取得ステップと、
前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、
前記運転者が前記所定の処理を実行中に、前記運転者の運転操作、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、
前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、
前記評価ステップにより判定された前記認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、
を実行する情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、プログラム及び情報処理システムに関する。
【背景技術】
【0002】
引用文献1には、表示制御装置が開示されている。この文献に開示された表示制御装置は、車両の乗員が視認する液晶ディスプレイ等の表示手段における表示を制御するものであり、表示手段に表示する地図上のアイコン又はマークの表示態様を乗員への推薦度に応じて変更する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、近年の車両の運転におけるユーザインタフェースは、車両の機能増加等の背景があり物理的なボタンからタッチスクリーンを利用した装置の採用が増加している。タッチスクリーンを操作する場合、表示が動的に変化することもあり、操作をする際にタッチスクリーンを注視することになるため、車両の運転中における操作には危険を伴うことがある。特に、運転者の車両運転時の認知機能(認知能力とも言う、以下「認知機能」と称する。)が低下している場合では、タッチスクリーンの操作に気が取られる可能性がある。したがって、適切な車両用ユーザインタフェースを生成する点において改善の余地がある。
【0005】
本発明は、上記事実を考慮し、適切な車両用ユーザインタフェースを生成することができる情報処理方法、プログラム及び情報処理システムを得ることを目的とする。
【課題を解決するための手段】
【0006】
一実施形態に係る情報処理方法によれば、情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、運転者の運転操作に関する情報を取得する運転情報取得ステップと、前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、前記運転者が前記所定の処理を実行中に、前記運転者の運転操作、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、を含む。
【0007】
一実施形態に係るプログラムによれば、情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、運転者の運転操作に関する情報を取得する運転情報取得ステップと、前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、前記運転者が前記所定の処理を実行中に、前記運転者の運転操作、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、をコンピュータに実行させる。
【0008】
一実施形態に係る情報処理システムによれば、車両の運転のための運転操作情報を取得する運転情報取得装置と、運転を実行する運転者に対して車両運転以外の所定の処理の実行の要求、実行の受け付け、実行結果の取得を行う別タスク実行装置と、前記運転者に関する情報、前記運転情報取得装置による前記運転操作情報及び前記別タスク実行装置より取得される前記所定の処理の実行に関する情報の少なくとも一方から前記運転者の認知機能を評価する評価装置と、評価された前記認知機能に基いて車両用ユーザインタフェースを生成する生成装置と、を備え、前記運転者の運転操作に関する情報を取得する運転情報取得ステップと、前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、前記運転者が前記所定の処理を実行中に、前記運転者の運転操作、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、前記評価ステップにより判定された前記認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、を実行する。
【発明の効果】
【0009】
一実施形態によれば、適切な車両用ユーザインタフェースを生成することができる。
【図面の簡単な説明】
【0010】
【
図1】第1実施形態に係る情報処理システムの構成の一例を示す図である。
【
図2】第1実施形態に係るシミュレータ装置のハードウェア構成の一例を示す図である。
【
図3】第1実施形態に係る別タスク実行装置のハードウェア構成の一例を示す図である。
【
図4】第1実施形態に係る評価装置及び生成装置のハードウェア構成の一例を示す図である。
【
図5】第1実施形態に係るシミュレータ装置の機能構成の一例を示す図である。
【
図6】第1実施形態に係る別タスク実行装置の機能構成の一例を示す図である。
【
図7】第1実施形態に係る評価装置及び生成装置の機能構成の一例を示す図である。
【
図8】第1実施形態に係る情報処理システムが実行する処理の一例を示すフローチャートである。
【
図9】(A)は第1実施形態に係る情報処理システムにより生成される通常状態の車両用ユーザインタフェースの表示の一例であり、(B)は(A)に対して評価結果に基づき異なって生成された車両用ユーザインタフェースの表示の一例を示す図である。
【
図10】第2実施形態に係る情報処理システムの構成の一例を示す図である。
【
図11】第2実施形態に係る評価装置及び生成装置の機能構成の一例を示す図である。
【
図12】第2実施形態に係る情報処理システムが実行する処理の一例を示すフローチャートである。
【
図13】(A)は第2実施形態に係る情報処理システムにより生成される通常状態の車両用ユーザインタフェースの表示の一例であり、(B)は(A)に対して評価結果に基づき異なって生成された車両用ユーザインタフェースの表示の一例を示す図である。
【発明を実施するための形態】
【0011】
(第1実施形態)
以下、
図1~
図9を用いて、本発明に係る情報処理システムの第1実施形態について説明する。なお、各図において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0012】
(システム概要)
まず、本実施形態に係る情報処理システム10の概要について説明する。本実施形態に係る情報処理システム10は、運転シミュレーションを実行する運転情報取得装置としてのシミュレータ装置を利用して運転者における車両の運転に必要な認知機能を評価し、認知機能の評価結果を基に当該運転者へ適した車両用ユーザインタフェースを生成するためのシステムである。運転者が利用する車両のカスタマイズや学術研究など、任意の状況にて利用できる。運転者の認知機能は、運転者が運転操作を行っている際に、運転操作とは異なる所定の処理である別タスクとして計算テスト問題、記憶テスト問題及び反応時間テスト問題を出題してこれに回答している運転者の様子や運転操作の状態、別タスクの処理状況等から判定するように構成されている。換言すると、運転者の様子と、運転操作と別タスク処理とを実行させるマルチタスク操作の結果と、から、運転者の認知機能を判定し、当該認知機能の評価結果に基いて車両用ユーザインタフェースを生成する。なお、本実施形態における車両用ユーザインタフェースは、車両運転時、操作必要な車両と車両の周辺設備の操作のためのユーザインタフェースである。具体的には、主に液晶ディスプレイなどに表示される、車両機能の操作、道路案内、業務運転者向けの業務連絡画面、映像再生及び携帯端末との連動機能操作などをするためのインタフェースとされており、情報処理システム10の制御に応じて表示内容が変更可能なものとされている。
【0013】
(システム構成)
図1は、本実施形態に係る情報処理システム10の構成の一例を示す図である。
図1に示すように、本実施形態に係る情報処理システム10は、ネットワークNや配線ケーブルC等を介して相互に通信可能に接続された、シミュレータ装置12と、別タスク実行装置14と、評価装置16と、を備える。ネットワークNは、例えば、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。
【0014】
シミュレータ装置12は、運転者に実際の車を運転させず、模擬的に生成された運転状況下で運転操作手段を模擬的に操作させて運転シミュレーションを行うためのものであり、シミュレーションを制御する情報処理装置(コンピュータ)の一例である。シミュレータ装置12の具体的な構成及び作用については、後述する。
【0015】
別タスク実行装置14は、別タスク処理の実行等を制御する情報処理装置の一例である。別タスク実行装置14は、PC(Personal Computer)、スマートフォン、タブレット端末、サーバ装置、マイクロコンピュータ、又はこれらの組み合わせであってもよい。別タスク実行装置14の具体的な構成及び作用については、後述する。
【0016】
評価装置16は、後述する運転者の認知機能を評価しこれに応じて車両用ユーザインタフェースを生成するための制御を行う情報処理装置の一例である。評価装置16は、PC(Personal Computer)、スマートフォン、タブレット端末、サーバ装置、マイクロコンピュータ、又はこれらの組み合わせであってもよい。また、本実施形態では、評価装置16は、評価した運転者の認知機能に基いて車両用ユーザインタフェースを生成する生成装置を兼ねている。評価装置16の具体的な構成及び作用については、後述する。
【0017】
(ハードウェア構成-シミュレータ装置)
図2は、シミュレータ装置12のハードウェア構成を示すブロック図である。シミュレータ装置12は、バスBを介して相互に通信可能に接続された、プロセッサ20と、メモリ22と、ストレージ24と、通信I/F26と、入出力I/F28と、表示装置30と、運転操作入力装置32と、を備える。
【0018】
プロセッサ20は、ストレージ24に記憶された各種プログラムをメモリ22に展開して実行することにより、シミュレータ装置12の各構成を制御し、シミュレータ装置12の機能を実現する。プロセッサ20が実行するプログラムは、OS(Operating System)及び後述する各種プログラムを含むが、これに限られない。プロセッサ20がこれらプログラムを実行することにより、本実施形態に係る情報処理方法の一部が実現される。プロセッサ20は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、又はこれらの組み合わせである。
【0019】
メモリ22は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、又はこれらの組み合わせである。ROMは、例えば、PROM(Programmable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、又はこれらの組み合わせである。RAMは、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、MRAM(Magnetoresistive RAM)、又はこれらの組み合わせである。
【0020】
ストレージ24は、OS、後述する各種プログラム、及び各種のデータを記憶する。ストレージ24は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SCM(Storage Class Memories)、又はこれらの組み合わせである。
【0021】
通信I/F26は、シミュレータ装置12を、ネットワークNや配線ケーブル等を介して、別タスク実行装置14及び評価装置16を含む外部装置に接続し、通信を制御するためのインタフェースである。通信I/F26 は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)、 Ethernet(登録商標)、又は光通信(例えば、Fibre Channel)に準拠したアダプタであるが、これに限られない。
【0022】
入出力I/F28は、シミュレータ装置12に表示装置30及び運転操作入力装置32を接続するためのインタフェースである。表示装置30は、ディスプレイ、プロジェクタ、又はこれらの組み合わせである。表示装置30は、
図1に示されるように、シミュレーションにて運転を行う運転者(不図示)が視認できる位置に配置されている。
【0023】
運転操作入力装置32は、操作ハンドル36及びフットペダル38を含んで構成されている。運転操作入力装置32は、図示しない座席に着座した運転者が操作可能な位置に配置されている。また、運転操作入力装置32は、変速機、方向指示器、ワイパ及びヘッドライト等を操作する図示しない操作スイッチが設けられている。運転操作入力装置32は、運転者による操作ハンドル36、フットペダル38及び操作スイッチの操作内容を示す操作情報を取得する。
【0024】
(ハードウェア構成-別タスク実行装置)
図3は、別タスク実行装置14のハードウェア構成を示すブロック図である。別タスク実行装置14は、バスBを介して相互に通信可能に接続された、プロセッサ20と、メモリ22と、ストレージ24と、通信I/F26と、入出力I/F28と、表示装置40と、入力装置42と、を備える。本実施形態では、一例として表示装置40と入力装置42とは、一体的に構成されたタッチパネルディスプレイとされている。表示装置40及び入力装置42は、
図1に示されるように、図示しない座席に着座した運転者が運転シミュレーション中に操作できる位置(本実施形態では一例として操作ハンドル36の近傍位置)に配置されている。
【0025】
(ハードウェア構成-評価装置)
図4は、評価装置16のハードウェア構成を示すブロック図である。評価装置16は、バスBを介して相互に通信可能に接続された、プロセッサ20と、メモリ22と、ストレージ24と、通信I/F26と、入出力I/F28と、撮像装置44と、表示装置46と、入力装置48と、を備える。撮像装置44は、
図1に示されるように、運転者を撮像するように設けられたカメラであり、運転者の顔に向けられかつ運転者の目線の移動方向や運転者の様子を撮像した動画情報を取得する。なお、撮像装置44は、単体のカメラのみに限らず、複数のカメラで構成されていてもよい。
【0026】
表示装置46と入力装置48とは、本実施形態では一例として、一体的に構成されたタッチパネルディスプレイとされている。表示装置46及び入力装置48は、本認知機能検査を実施する管理者が視認及び操作できる位置に配置されている。
【0027】
(機能構成-シミュレータ装置)
次に、シミュレータ装置12の機能構成について説明する。
図5は、シミュレータ装置12の機能構成の一例を示す図である。各種プログラムを実行する際に、シミュレータ装置12は上記のハードウェア資源を用いて、各種の機能を実現する。シミュレータ装置12は、シミュレータ装置12が実現する機能構成として、記憶部50と、処理部52と、通信部54と、を有している。各機能構成は、プロセッサ20がメモリ22又はストレージ24に記憶されたシミュレーションプログラム56及び生成プログラム58を読み出し、実行することで実現される。
【0028】
記憶部50には、シミュレーションプログラム56、生成プログラム58、及びシミュレーションDB60が記憶される。
【0029】
シミュレーションDB60は、運転シミュレーションの実施に際して必要となる各種データを記憶するためのデータベースである。本実施形態では、静止物体のオブジェクトと、移動物体のオブジェクトとを含み得る。静止物体のオブジェクトは、例えば道路、歩道、建物、ガードレール、信号機、道路標識、及び空等のオブジェクトを含み得る。移動物体のオブジェクトは、例えば人、自動車、自転車、バイク、及び車椅子等のオブジェクトを含み得る。また、運転者が運転している自動車を表すオブジェクトとして、運転者が運転している自動車を車内から見たダッシュボード等の内装部材、ルームミラー、及び左右のサイドミラー等のデータを含んでいる。
【0030】
処理部52は、検査制御情報処理部53と、運転操作情報取得部62と、シミュレータ処理部63と、表示処理部55とを有している。検査制御情報処理部53は、運転者の個人属性(一例として年代や運転経験等)に関する情報を取得し、当該情報を踏まえた上で運転者の認知機能を検査するための運転シミュレーションのシナリオを設定する。このシナリオは、一例として、一般道路シーン、高速道路シーン及び山道道路シーン等の複数のシーンが容易されており、それぞれのシーン特有の事象がシミュレーション上に発生するよう設定されている。
【0031】
運転操作情報取得部62は、運転操作入力装置32を介して入力される運転者の運転操作を取得する。
【0032】
シミュレータ処理部63は、検査制御情報処理部53にて設定した運転シミュレーションのシナリオ上に運転操作情報取得部62から取得した運転操作を再現するように処理を行う。
【0033】
表示処理部55は、シミュレータ処理部63が処理した情報を基に運転者へ提示するシミュレーション動画を生成し、これを表示装置30にて表示するように処理を行う。
【0034】
通信部54は、携帯電話通信網、有線LAN(LocalAreaNetwork)、無線LAN及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施形態において通信部54は、ネットワークNや配線ケーブルC等を介して、種々の装置との間で通信を行う。通信部54は、処理部52から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部52へ与える。
【0035】
(機能構成-別タスク実行装置)
次に、別タスク実行装置14の機能構成について説明する。
図6は、別タスク実行装置14の機能構成の一例を示す図である。各種プログラムを実行する際に、別タスク実行装置14は上記のハードウェア資源を用いて、各種の機能を実現する。別タスク実行装置14は、別タスク実行装置14が実現する機能構成として、記憶部64と、処理部66と、通信部68と、を有している。各機能構成は、プロセッサ20がメモリ22又はストレージ24に記憶された計算プログラム70及び生成プログラム58を読み出し、実行することで実現される。
【0036】
記憶部64には、計算プログラム70、生成プログラム58、及び問題DB72が記憶される。問題DB72は、別タスクとして運転者に処理を実行させるための計算テスト問題、記憶テスト問題及び反応時間テスト問題の少なくとも一方が格納されている。なお、本実施形態では、問題DB72に計算テスト問題、記憶テスト問題及び反応時間テスト問題の少なくとも一方が格納されているが、これに限らず、その他の別タスクが格納されていてもよい。
【0037】
処理部66は、検査制御情報処理部67と、入力情報取得部74と、別タスク処理部69と、表示処理部71とを有している。検査制御情報処理部67は、運転者の個人属性に関する情報を取得し、当該情報及び別タスクの種類選択操作情報等を踏まえた上で運転者の認知機能を検査するための別タスクとしての出題問題を設定する。
【0038】
入力情報取得部74は、別タスク処理の実行を行う際の運転者の操作情報を取得する。すなわち、別タスクとして計算テスト問題、記憶テスト問題及び反応時間テスト問題の少なくとも一方が出題されている際に、当該出題への回答(処理結果)を入力する運転者の操作情報を取得する。具体的には、一例として計算テスト問題の場合では暗算による計算式を出題し、その後計算結果の答え候補を提示し、当該答え候補が正解か否かを選択的に入力させる。この入力結果及び出題から入力までの時間(すなわち、運転者の処理時間)の少なくとも一方を入力情報取得部74は操作情報として取得する。
【0039】
別タスク処理部69は、検査制御情報処理部67及び入力情報取得部74からの情報に基き、出題問題を出力する処理を実行する。出題問題に対する回答が入力された際には、新たな出題問題を出力する処理を予め設定された所定の回数だけ実行する。また、別タスク処理部69は、所定の回数だけ出題問題を出力した場合、別タスクとしての出題問題の出力を終了する。
【0040】
表示処理部71は、別タスク処理部69が処理した情報を基に運転者へ提示する出題問題画面及び処理結果入力画面を生成し、これを表示装置40にて表示するように処理を行う。
【0041】
通信部68は、携帯電話通信網、有線LAN(LocalAreaNetwork)、無線LAN及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施形態において通信部68は、ネットワークNや配線ケーブルC等を介して、種々の装置との間で通信を行う。通信部68は、処理部66から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部66へ与える。
【0042】
(機能構成-評価装置)
次に、評価装置16の機能構成について説明する。
図7は、評価装置16の機能構成の一例を示す図である。各種プログラムを実行する際に、評価装置16は上記のハードウェア資源を用いて、各種の機能を実現する。評価装置16は、評価装置16が実現する機能構成として、記憶部76と、処理部78と、通信部80と、を有している。各機能構成は、プロセッサ20がメモリ22又はストレージ24に記憶された生成プログラム58を読み出し、実行することで実現される。
【0043】
記憶部76には、生成プログラム58、学習モデル82、ユーザDB84及び結果DB86が記憶される。
【0044】
学習モデル82は、後述する運転者情報、運転操作情報及び別タスク操作情報の入力に対して、運転者の認知機能を推定して出力するように予め機械学習された学習済みの学習モデルである。学習モデル82の学習処理及び再学習処理は、例えば、評価装置16により行われるが、これに限られない。学習モデル82の学習処理及び再学習処理は、評価装置16以外の他の装置で行われ、評価装置16に提供されてもよい。学習モデル82は、例えば、DNN(DeepNeuralNetwork)、RNN(RecurrentNeuralNetwork)、CNN(ConvolutionalNeuralNetwork)、LSTM(LongShort-TermMemory)等のニューラルネットワークであるが、これに限られない。学習モデル82は、決定木、SVM(SupportVectorMachine)等の学習モデルであってもよい。また、学習モデル82の学習方法は、例えば、勾配降下法、確率的勾配降下法、又は誤差逆伝播法であるが、これに限られない。
【0045】
ユーザDB84は、認知機能検査を受けるユーザ(すなわち、運転者)に関する情報を記憶するためのデータベースである。本実施形態では、ユーザを特定するID情報と、当該ID情報に紐付けられた各種情報が記憶される。当該各種情報には、ユーザの個人属性情報等が含まれる。
【0046】
結果DB86は、本実施形態に係る情報処理システム10が提供するサービスを利用して認知機能検査を受けたユーザについて、その結果を記憶して蓄積するデータベースである。結果DB86は、例えばユーザの名前又はID情報、ユーザが検査を行った年月日、ユーザの検査結果、当該検査結果に基いて生成した車両用ユーザインタフェースに関する情報、及び、他の参考となる検査の結果等の情報を対応付けて記憶する。
【0047】
処理部78は、運転者情報取得部88と、検査制御部90と、運転操作情報取得部92と、別タスク操作情報取得部94と、判定部96と、表示処理部81とを有している。運転者情報取得部88は、運転者の個人属性に関する情報と、運転操作中の運転者の様子を撮影した動画情報とを取得する。動画情報は、具体的に、主に運転者の頭や身体の動きや向き、目線の位置や動きなどを取得するための情報とされている。特に、目線については、車外(シミュレータ画面)か別タスク実行装置14のどちらに注視しているか、といった目線の向く方向が主要な情報とされている。
【0048】
検査制御部90は、運転者の認知機能を評価するための検査を制御する。すなわち、検査制御部90は、運転者がシミュレータ装置12により運転操作を行っている際に、運転操作とは異なる別タスク処理を行うことを促すようにシミュレータ装置12と別タスク実行装置14との制御を行う。
【0049】
運転操作情報取得部92は、シミュレーション中にシミュレータ装置12を通して入力される運転操作情報を取得する。
【0050】
別タスク操作情報取得部94は、運転者の認知機能を検査するための別タスクとしての出題問題に対する運転者の回答や当該回答を行うための操作情報を、別タスク実行装置14を介して取得する。
【0051】
判定部96は、運転者情報取得部88、運転操作情報取得部92及び別タスク操作情報取得部94から取得された各種情報を基に、学習モデル82からの出力を利用して運転者の認知機能を判定する。すなわち、運転操作情報取得部92から取得される運転者の頭や身体の向きが、別タスクの処理時に別タスク実行装置14へ向けた状態が長く続く場合は、認知機能が低いと判定する。また、運転操作情報取得部92から取得される運転者の視線が、別タスクの処理時に別タスク実行装置14へ向けた状態が長く続く場合は、認知機能が低いと判定する。さらに、別タスク操作情報取得部94から取得される別タスクの実行をする際の処理時間が、所定の時間より長い場合は、認知機能が低いと判定する。さらにまた、別タスク操作情報取得部94から取得される別タスクの実行結果が、正確ではないものが所定よりも多い場合は、認知機能が低いと判定する。これらの判定については、いずれか一つの情報を基に認知機能の判定をしてもよいし、複数の情報を組み合わせて認知機能の判定を行ってもよい。判定部96は、判定した認知機能を結果DB86へ格納する。
【0052】
また、判定部96は、運転者の認知機能に基づき、車両用ユーザインタフェースを生成する。すなわち、判定部96は、一例として、運転者の認知機能が平均以上である場合には、予め設定されている車両用ユーザインタフェースを維持する。これに対し、運転者の認知機能が所定の値よりも低い場合には、運転者の認知機能に応じて操作性を向上させた車両用ユーザインタフェースを生成する。一例として、本実施形態では、車両のインパネ中央部に設けられたセンターディスプレイにて表示される車両の各機能の操作のための車両用ユーザインタフェースが、運転者の認知機能に基いて生成される。具体的には、運転者の認知機能が平均以上である場合は、
図9(A)に示されるように、外観意匠性も考慮された予め設定されている通常の車両用ユーザインタフェースが維持される。一方、運転者の認知機能が所定の値よりも低い場合には、
図9(B)に示されるように、操作部としてのワイパスイッチ97及びワイパ速度スイッチ99がステアリングホイール89から離れた位置に配置されかつ各スイッチのサイズが押しやすいサイズに調整される。これにより、ステアリングホイール89の近傍に各スイッチが配置されないため、ステアリングホイール89の裏側近傍にスイッチがあると思い込んでステアリングホイール89の裏側近傍をのぞき込む動作、すなわち、わき見運転状態を抑制することができる。換言すると、認知機能が比較的低い運転者の場合は、各スイッチの操作時に気を取られてわき見運転状態となる時間が比較的長くなるため、わき見運転状態となる時間が短くなるような操作部の位置、形状及びサイズの少なくとも一方を調整した車両用ユーザインタフェースが生成される。なお、本実施形態では、車両用ユーザインタフェースはワイパ操作画面とされているが、これに限らず、その他車両用の操作画面やカーナビゲーション画面、オーディオ画面等その他の機能を実現するためのユーザインタフェースでもよい。また、操作部は、ワイパスイッチ97及びワイパ速度スイッチ99に限らず、これ以外のものでもよい。さらに、運転者の認知機能が所定の値よりも低い場合には、そもそも操作ができない車両用ユーザインタフェースを生成してもよい。
【0053】
さらに、判定部96は、運転者の認知機能のみならず、運転速度、道路周辺状況及び事故数の少なくとも一方も踏まえて車両用ユーザインタフェースを生成してもよい。すなわち、運転者が別タスク実行中にシミュレーション上にて起こした事故数が、所定の閾値を超えた場合は、当該運転者の運転中には操作ができない又は何も表示されない車両用ユーザインタフェースを生成する。また、シミュレーションにて、道路周辺に人がいる状況や交差点を通過など複雑な交通状況時に、運転速度を減速しないなど運転の制御が適切でない傾向がある場合や、別タスクの処理を実行しようとするなど操作タイミングが適切でない傾向がある場合など、安全な運転ではない場合にも、当該運転者の運転中には操作ができない又は何も表示されない車両用ユーザインタフェースを生成する。さらに、シミュレーションにて、複雑な道路状況下で別タスク実行時に視線が所定の時間以上わき見運転状態となる運転者については、当該運転者の運転中には操作ができない又は何も表示されない車両用ユーザインタフェースを生成する。(A)なお、上述した例に限らず、安全運転に懸念があることが推定される運転者や運転状況に応じて、車両用ユーザインタフェースを変更するように生成してもよい。一例として、運転速度が速い場合や交差点などの複雑な道路状況下であることを検知した場合に、当該状況が終わるまでや所定の時間が経過するまで操作ができない又は何も表示されない車両用ユーザインタフェースを生成する。また、一般的に、運転者の認知機能が比較的低い場合には、安全運転のために前車との車間距離がより多く必要となるが、この車間距離と運転者の認知機能とのそれぞれに応じて、操作ができない又は何も表示されない車両用ユーザインタフェースが表示されるように動的に変化する車両用ユーザインタフェースを生成してもよい。さらに、車間距離と運転者の認知機能とに限らず、その他の要因により車両用ユーザインタフェースを動的に変化する車両用ユーザインタフェースを生成してもよい。
【0054】
表示処理部81は、判定部96が判定した運転者の認知機能の結果及び車両用ユーザインタフェースの少なくとも一方を表示するように処理を行う。なお、表示処理部81は、判定部96にて生成された車両用ユーザインタフェースを、実際の車両へ転送してもよいし、生成された車両用ユーザインタフェースのデータをダウンロード可能にしてもよい。さらには、車両用ユーザインタフェースの研究のために、生成された車両用ユーザインタフェースを表示装置40に表示させてもよい。
【0055】
通信部80は、携帯電話通信網、有線LAN(LocalAreaNetwork)、無線LAN及びインターネット等を含むネットワークNや配線ケーブルC等を介して、種々の装置との間で通信を行う。本実施形態において通信部80は、ネットワークNを介して、種々の装置との間で通信を行う。通信部80は、処理部78から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部78へ与える。
【0056】
(フローチャート)
次に、本実施形態にかかる情報処理システム10が実行する処理について説明する。
図8は、情報処理システムが実行する処理の一例を示すフローチャートである。プロセッサ20がメモリ18又はストレージ24から本実施形態に係る生成プログラムを読み出し、メモリ18に展開して実行することにより、本実施形態に係る生成プログラムに基づく処理が行われる。
【0057】
プロセッサ20は、運転者の個人属性に関する情報の入力を受け付ける(ステップS100)。その後、プロセッサ20は、運転者の認知機能の検査を実行する操作がなされたか否かを判定する(ステップS102)。検査を実行する操作がなされていない場合(ステップS102:NO)、プロセッサ20は、ステップS102の処理を繰り返す。一方、検査を実行する操作がなされた場合(ステップS102:YES)、プロセッサ20は、運転のシミュレーションを実行する(ステップS104)と共に、シミュレーションにおける運転者のシミュレータ装置12の操作情報の取得を開始する(ステップS106)。また、プロセッサ20は、運転者の撮影を開始する(ステップS108)。
【0058】
プロセッサ20は、別タスクとして別タスク実行装置14に出力される出題問題を回答するように運転者へ要求する(ステップS110)。その後、プロセッサ20は、運転者が出題問題に回答したか否かを判定する(ステップS112)。運転者が出題問題に回答していない場合(ステップS112:NO)、プロセッサ20は、ステップS110へ処理を移行する。一方、運転者が出題問題に回答した場合(ステップS110:YES)、プロセッサ20は、当該出題への回答を入力する運転者の操作情報を取得する(ステップS114)。
【0059】
プロセッサ20は、シミュレーション及び別タスクの少なくとも一方の実行が終了したか否かを判定する(ステップS116)。実行が終了していない場合(ステップS116:NO)、プロセッサ20は、ステップS114へ処理を移行する。一方、実行が終了した場合(ステップS116:YES)、プロセッサ20は、運転操作情報や別タスクの操作情報の各種情報を記憶部76に格納する(ステップS118)。
【0060】
プロセッサ20は、運転操作情報や別タスクの操作情報の各種情報を基に、運転者の認知機能を判定する(ステップS120)。その後、プロセッサ20は、判定した認知機能に基き、車両用ユーザインタフェースを生成する(ステップS122)。
【0061】
プロセッサ20は、認知機能検査又は車両用ユーザインタフェースの生成について終了操作がされたか否かを判定する(ステップS124)。終了操作がされていない場合(ステップS124:NO)、プロセッサ20は、ステップS100へ処理を移行する。一方、終了操作がされた場合(ステップS124:YES)、プロセッサ20は、生成プログラムに基づく処理を終了する。
【0062】
(第1実施形態の作用・効果)
次に、本実施形態の作用並びに効果を説明する。
【0063】
本実施形態では、運転者の認知機能を、シミュレーションにて運転操作中に別タスクとして出題される問題に対する回答を行う際の運転者の運転操作、回答の処理及び運転者の状態の少なくとも一方に関する情報を基に評価する。つまり、マルチタスク状態で運転者の認知機能を検査し評価することから、シングルタスクによる認知機能の検査よりも負荷が高くかつ実際の車両の運転状態に近い状態で認知機能の検査を行うことができる。このため、現実的かつ有効性の高い指標として運転者の認知機能を活用することができる。
【0064】
また、運転車両の認知機能の評価結果に基き、車両用ユーザインタフェースを生成することから、認知機能が高い運転者の場合には外観意匠性も考慮した車両用ユーザインタフェースを適用する一方、認知機能が低い運転者の場合には安全性を考慮したより操作性の高い車両用ユーザインタフェースを適用することができる。つまり、商品性向上と安全性向上とを運転者に応じて両立させることができる。これにより、適切な車両用ユーザインタフェースを生成することができる。
【0065】
さらに、情報処理システム10は、運転シミュレーションを実行するシミュレータ装置12をおいて運転情報を取得することから、実際に危険な運転状態になることなく運転情報を取得することができる。これにより、安全な状態で運転者に応じた適切な車両用ユーザインタフェースを生成することができる。
【0066】
さらにまた、情報処理システム10は、運転者情報取得部88にて運転者の状態として少なくとも運転者の頭の向きを含めた姿勢情報を取得する。したがって、認知機能が比較的低い運転者に見られる、別タスクの処理時に別タスク実行装置14へ頭を向けた状態が長く続くいわゆるわき見運転状態を的確に検知することができる。これにより、運転者の検知機能を精度よく判定することができるので、さらに運転者に応じた適切な車両用ユーザインタフェースを生成することができる。
【0067】
また、情報処理システム10は、運転者情報取得部88にて運転者の状態として少なくとも運転者の視線に関する情報である視線情報を取得する。したがって、視線が運転に必要な方向を見ておらず、別タスク実行装置14へ視線を向けた状態が長く続くわき見運転状態を的確に検知することができる。これにより、運転者の検知機能を精度よく判定することができるので、より運転者に応じた適切な車両用ユーザインタフェースを生成することができる。
【0068】
さらに、情報処理システム10は、入力情報取得部74にて別タスク処理の実行を行う際の運転者の操作情報として少なくとも別タスクの実行をする際の処理時間に関する情報を取得する。一般的に、処理時間が長ければ運転者の認知機能は比較的低く、処理時間が短ければ運転者の認知機能は比較的高い。したがって、処理時間から運転者の認知機能を評価することができる。これにより、運転者に応じた適切な車両用ユーザインタフェースを生成することができる。
【0069】
さらにまた、情報処理システム10は、入力情報取得部74にて別タスク処理の実行を行う際の運転者の操作情報として少なくとも別タスクの実行結果に関する情報を取得する。一般的に、実行結果が正確なものであれば運転者の認知機能は比較的高く、実行結果が正確でないものであれば運転者の認知機能は比較的低い。したがって、実行結果に関する情報から運転者の認知機能を評価することができる。これにより、運転者に応じた適切な車両用ユーザインタフェースを生成することができる。
【0070】
また、情報処理システム10は、運転者の認知機能の評価結果に基づいて車両用ユーザインタフェースにおける操作入力を受け付ける操作部(ワイパスイッチ97及びワイパ速度スイッチ99)の位置、形状及びサイズの少なくとも一方を調整した上で車両用ユーザインタフェースを生成する。したがって、車両用ユーザインタフェースの操作部の操作のしやすさを運転者に応じて変更することができる。つまり、より一層運転者に応じた適切な車両用ユーザインタフェースを生成することができる。
【0071】
(第2実施形態)
次に、
図10~
図13を用いて、本発明の第2実施形態に係る情報処理システム100につて説明する。第2実施形態に係る情報処理システム100は、基本的な構成は第1実施形態と同様とされ、車両用ユーザインタフェースを表示する表示装置の筐体情報及び周囲情報も踏まえた上で前記車両用ユーザインタフェースを生成する点に特徴がある。
【0072】
(システム構成)
すなわち、
図10に示されるように、情報処理システム100は、運転者における車両102の運転に必要な認知機能を評価し、当該運転者へ適した車両用ユーザインタフェースを生成するために車両102に搭載されたシステムである。本実施形態に係る情報処理システム100は、図示しないハーネスを介して相互に通信可能に接続された、車両操作装置104と、別タスク実行装置14と、評価装置106と、を備える。
【0073】
(ハードウェア構成-車両操作装置)
車両操作装置104は、車両102を操作するための装置であり、具体的にはステアリングホイール108、アクセルペダル110、ブレーキペダル112、シフトレバー114、ウィンカーレバー116、ライトスイッチ(不図示)等が該当する。これらの装置の操作情報は、適宜取得され別タスク実行装置14及び評価装置106に送信可能とされている。
【0074】
(ハードウェア構成-評価装置)
評価装置106は、バスBを介して相互に通信可能に接続された、プロセッサ20と、メモリ22と、ストレージ24と、通信I/F26と、入出力I/F28と、撮像装置122と、表示装置124と、入力装置126と、を備える。撮像装置122は、運転者を撮像するように設けられた運転者用カメラ128と、車両の走行状態を監視する走行監視カメラ130とを含んで構成されている。運転者用カメラ128は、運転者の顔を中心に運転者の様子を撮像した動画情報を取得する。また、走行監視カメラ130は、車両102の走行の様子を撮像した動画情報を取得する。
【0075】
表示装置124と入力装置126とは、本実施形態では一例として、一体的に構成されたタッチパネルディスプレイとされている。表示装置124及び入力装置126は、認知機能の検査を実施する運転者が視認及び操作できる位置に配置されている。また、表示装置124は、車両用ユーザインタフェースを表示する装置とされており、表示装置124の筐体に関する情報である筐体情報及び表示装置124の周囲情報が後述する操作部情報132の一部として記憶されている。筐体情報は、具体的には表示装置124を構成する筐体のサイズや車両102内での位置や向きなどの情報が含まれる。また、周囲情報は、具体的には表示装置124の周囲に存在する物体(一例としてステアリングホイール108等)に関する情報などが含まれる。
【0076】
(機能構成-評価装置)
次に、評価装置106の機能構成について説明する。
図11は、評価装置106の機能構成の一例を示す図である。各種プログラムを実行する際に、評価装置106は上記のハードウェア資源を用いて、各種の機能を実現する。評価装置106は、評価装置106が実現する機能構成として、記憶部134と、処理部136と、通信部80と、を有している。各機能構成は、プロセッサ20がメモリ22又はストレージ24に記憶された生成プログラム58を読み出し、実行することで実現される。
【0077】
記憶部134には、生成プログラム58、学習モデル82、ユーザDB84、結果DB86及び操作部情報132が記憶される。操作部情報132は、車両操作装置104が運転者により操作された操作情報と、表示装置124の筐体情報及び当該筐体の周囲情報とを含んで構成されている。
【0078】
処理部136は、運転者情報取得部88と、検査制御部140と、運転操作情報取得部142と、別タスク操作情報取得部94と、判定部144と、表示処理部145とを有している。検査制御部140は、運転者の認知機能を評価するための検査を制御する。すなわち、検査制御部140は、運転者が車両102を車両操作装置104により運転している際に、運転操作とは異なる別タスク処理を行うことを促すように別タスク実行装置14の制御を行う。
【0079】
運転操作情報取得部142は、車両102の運転中に車両操作装置104を通して入力される運転操作情報と、走行監視カメラ130を通して入力される車両102の走行状態の情報を取得する。走行状態の情報は、一例として、車線における車両102の位置や、自転車等軽車両を含めた他車及び歩行者との位置関係等の情報が挙げられる。
【0080】
判定部144は、運転者情報取得部88、運転操作情報取得部142及び別タスク操作情報取得部94から取得された各種情報を基に、運転者の認知機能を判定する。判定部144は、判定した認知機能を結果DB86へ格納する。
【0081】
また、判定部144は、運転者の認知機能及び表示装置124の筐体情報に基づき、車両用ユーザインタフェースを生成する。すなわち、判定部144は、一例として、
図13(A)に示されるように、運転者の認知機能が平均的である場合には、予め設定されている車両用ユーザインタフェースを維持する。これに対し、運転者の認知機能が所定の値よりも低い場合には、運転者の認知機能に応じて操作性を向上させた車両用ユーザインタフェースを生成する。具体的には、判定部144は、
図13(B)に示されるように、表示装置124の筐体情報及び表示装置124の周囲情報から運転者が手を置きやすい位置(以下、単に「手置き位置」と称する。図中P点に相当)を推定する。この手置き位置Pは、周囲情報から表示装置124の周囲にある物体(一例としてステアリングホイール108)と干渉せずかつ運転者の手が置きやすい位置とされている。そして、判定部144は、手置き位置P及び手置き位置Pから表示装置124の筐体外縁部に沿って操作部としてのワイパスイッチ97及びワイパ速度スイッチ99の位置を配置した車両用ユーザインタフェースを生成する。
【0082】
表示処理部145は、判定部144が生成した車両用ユーザインタフェースを表示装置124に表示するように処理を行う。
【0083】
(フローチャート)
次に、本実施形態にかかる情報処理システム100が実行する処理について説明する。
図12は、情報処理システム100が実行する処理の一例を示すフローチャートである。プロセッサ20がメモリ18又はストレージ24から本実施形態に係る生成プログラムを読み出し、メモリ18に展開して実行することにより、本実施形態に係る生成プログラムに基づく処理が行われる。なお、第1実施形態と同一の処理については、同一符号を付してその説明を省略する。
【0084】
プロセッサ20は、ステップS100の処理後、運転者の認知機能の検査を実行する判定走行を実施する操作がなされたか否かを判定する(ステップS200)。判定走行を実施する操作がなされていない場合(ステップS200:NO)、プロセッサ20は、ステップS200の処理を繰り返す。一方、判定走行を実施する操作がなされた場合(ステップS200:YES)、プロセッサ20は、判定走行時の各種情報を取得するようステップS106へ処理を移行する。
【0085】
プロセッサ20は、ステップS114の処理後、判定走行及び別タスクの少なくとも一方の実行が終了したか否かを判定する(ステップS202)。実行が終了していない場合(ステップS202:NO)、プロセッサ20は、ステップS114へ処理を移行する。一方、実行が終了した場合(ステップS202:YES)、プロセッサ20は、運転操作情報や別タスクの操作情報の各種情報を記憶部76に格納する(ステップS118)。
【0086】
(第2実施形態の作用・効果)
次に、第2実施形態の作用並びに効果を説明する。
【0087】
上記構成によっても車両用ユーザインタフェースを表示する表示装置の筐体情報及び周囲情報も踏まえた上で前記車両用ユーザインタフェースを生成する点以外は第1実施形態の情報処理システム10と同様に構成されているので、第1実施形態と同様の効果が得られる。また、情報処理システム100は、車両用ユーザインタフェースを表示する表示装置124の筐体情報及び表示装置124の周囲情報を取得すると共に、筐体情報及び周囲情報も踏まえた上で車両用ユーザインタフェースを生成する。したがって、運転者が手を置きやすい手置き位置Pや、表示装置124の筐体外縁部に手を置いた状態で操作部146を操作できるよう車両用ユーザインタフェースを生成することができる。これにより、運転者は表示装置124を注視することなく手探りで手置き位置Pや筐体外縁部に手を置いた上で、手置き位置Pや筐体外縁部を基準として操作部146の位置を把握し操作ができる。このため、一般的に表示装置124を注視しがちになる認知機能が低下した運転者に対して、表示装置124を注視することなくワイパスイッチ97及びワイパ速度スイッチ99などを操作できる車両用ユーザインタフェースを提供することができる。
【0088】
また、表示装置124の筐体情報及び周囲情報も踏まえた上で前記車両用ユーザインタフェースを生成することから、評価装置124の車室内における相対的な位置を考慮した車両用ユーザインタフェースを生成できる。つまり、運転者から表示装置124の見え方を考慮した適切な車両用ユーザインタフェースを生成できることから、より一層適切な車両用ユーザインタフェースを提供することができる。
【0089】
なお、上述した第1,第2実施形態では、運転者の認知機能の評価結果に基づいて車両用ユーザインタフェースにおける操作入力を受け付ける操作部(ワイパスイッチ97及びワイパ速度スイッチ99)の位置、形状及びサイズの少なくとも一方を調整した上で車両用ユーザインタフェースを生成したが、これに限らず、車両用ユーザインタフェースにおける情報を表示する部分等の操作部以外についてもその位置、形状及びサイズの少なくとも一方を調整した上で車両用ユーザインタフェースを生成してもよい。
【0090】
また、車両用ユーザインタフェースは、液晶ディスプレイなどに表示されるユーザインタフェースとされているが、これに限らず、物理スイッチを含めて構成されるユーザインタフェースを認知機能の判定結果に基いて生成する構成としてもよい。
【0091】
<付記>
本実施形態は、以下の開示を含む。
【0092】
(付記1)
情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、
運転者の運転操作に関する情報を取得する運転情報取得ステップと、
前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、
前記運転者が前記所定の処理を実行中に、前記運転者の運転操作、前記所定の処理及び前記運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、
前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、
前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、
を含む情報処理方法。
【0093】
(付記2)
前記運転情報取得ステップは、前記運転者が視聴すると共に前記運転者の運転操作に基づいて状況が変化する運転動画を表示する運転シミュレーションにおいて情報を取得する、
付記1に記載の情報処理方法。
【0094】
(付記3)
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記運転者の状態として少なくとも前記運転者の頭の向きを含めた姿勢情報を取得する、
付記1に記載の情報処理方法。
【0095】
(付記4)
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記運転者の状態として少なくとも前記運転者の視線に関する情報である視線情報を取得する、
付記1に記載の情報処理方法。
【0096】
(付記5)
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記所定の処理に関する情報として少なくとも前記所定の処理を実行する際の処理時間に関する情報を取得する、
付記1に記載の情報処理方法。
【0097】
(付記6)
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記所定の処理に関する情報として少なくとも前記所定の処理の実行結果に関する情報を取得する、
付記1に記載の情報処理方法。
【0098】
(付記7)
前記情報処理装置は、前記生成ステップにおいて、前記評価結果に基づいて前記車両用ユーザインタフェースにおける操作入力を受け付ける操作部の位置、形状及びサイズの少なくとも一方を調整した上で前記車両用ユーザインタフェースを生成する、
付記1に記載の情報処理方法。
【0099】
(付記8)
前記情報処理装置は、前記車両用ユーザインタフェースを表示する装置筐体に関する情報である筐体情報及び当該筐体の周囲情報を取得すると共に、前記生成ステップにおいて、前記筐体情報及び前記周囲情報も踏まえた上で前記車両用ユーザインタフェースを生成する、
付記1に記載の情報処理方法。
【0100】
(付記9)
前記情報処理装置は、前記車両用ユーザインタフェースを表示する装置筐体に関する情報である筐体情報及び当該筐体の周囲情報を取得すると共に、前記生成ステップにおいて、前記筐体情報及び前記周囲情報も踏まえた上で前記車両用ユーザインタフェースを生成する、
付記1に記載の情報処理方法。
【0101】
(付記10)
車両運転のための運転操作情報を取得する運転情報取得装置と、
車両運転を実行する運転者に対して車両運転以外の所定の処理の実行の要求、実行の受け付け、実行結果の取得を行う別タスク実行装置と、
前記運転者に関する情報、前記運転情報取得装置による前記運転操作情報及び前記別タスク実行装置より取得される前記所定の処理に関する情報の少なくとも一方から前記運転者の認知機能を評価する評価装置と、
を備え、
運転者の運転操作に関する情報を取得する運転情報取得ステップと、
前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、
前記運転者が前記所定の処理を実行中に、前記運転者の運転操作、前記所定の処理及び前記運転者の状態の少なくとも一方に関する情報を取得する運転者状態情報取得ステップと、
前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、
前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、
を実行する情報処理システム。
【0102】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0103】
10 情報処理システム
12 運転情報取得装置
14 別タスク実行装置
16 評価装置(生成装置)
97 ワイパスイッチ(操作部)
99 ワイパ速度スイッチ(操作部)
100 情報処理システム
106 評価装置(生成装置)
【手続補正書】
【提出日】2023-01-06
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
一実施形態に係る情報処理方法によれば、情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、運転者の運転操作に関する情報を取得する運転情報取得ステップと、前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、前記運転者が前記所定の処理を実行中に、前記運転者の運転操作に関する情報と、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報とを取得する運転者状態情報取得ステップと、前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、を含む。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
一実施形態に係るプログラムによれば、情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、運転者の運転操作に関する情報を取得する運転情報取得ステップと、前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、前記運転者が前記所定の処理を実行中に、前記運転者の運転操作に関する情報と、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報とを取得する運転者状態情報取得ステップと、前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、をコンピュータに実行させる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
一実施形態に係る情報処理システムによれば、車両の運転のための運転操作情報を取得する運転情報取得装置と、運転を実行する運転者に対して車両運転以外の所定の処理の実行の要求、実行の受け付け、実行結果の取得を行う別タスク実行装置と、前記運転者に関する情報、前記運転情報取得装置による前記運転操作情報及び前記別タスク実行装置より取得される前記所定の処理の実行に関する情報の少なくとも一方から前記運転者の認知機能を評価する評価装置と、評価された前記認知機能に基いて車両用ユーザインタフェースを生成する生成装置と、を備え、前記運転者の運転操作に関する情報を取得する運転情報取得ステップと、前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、前記運転者が前記所定の処理を実行中に、前記運転者の運転操作に関する情報と、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報とを取得する運転者状態情報取得ステップと、前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、前記評価ステップにより判定された前記認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、を実行する。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理装置が実行する車両用ユーザインタフェースの生成方法であって、
運転者の運転操作に関する情報を取得する運転情報取得ステップと、
前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、
前記運転者が前記所定の処理を実行中に、前記運転者の運転操作に関する情報と、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報とを取得する運転者状態情報取得ステップと、
前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、
前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、
を含む情報処理方法。
【請求項2】
前記運転情報取得ステップは、前記運転者が視聴すると共に前記運転者の運転操作に基づいて状況が変化する運転動画を表示する運転シミュレーションにおいて情報を取得する、
請求項1に記載の情報処理方法。
【請求項3】
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記運転者の状態として少なくとも前記運転者の頭の向きを含めた姿勢情報を取得する、
請求項1に記載の情報処理方法。
【請求項4】
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記運転者の状態として少なくとも前記運転者の視線に関する情報である視線情報を取得する、
請求項1に記載の情報処理方法。
【請求項5】
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記所定の処理に関する情報として少なくとも前記所定の処理を実行する際の処理時間に関する情報を取得する、
請求項1に記載の情報処理方法。
【請求項6】
前記情報処理装置は、前記運転者状態情報取得ステップにおいて、前記所定の処理に関する情報として少なくとも前記所定の処理の実行結果に関する情報を取得する、
請求項1に記載の情報処理方法。
【請求項7】
前記情報処理装置は、前記生成ステップにおいて、前記評価結果に基づいて前記車両用ユーザインタフェースにおける操作入力を受け付ける操作部の位置、形状及びサイズの少なくとも一方を調整した上で前記車両用ユーザインタフェースを生成する、
請求項1に記載の情報処理方法。
【請求項8】
前記情報処理装置は、前記車両用ユーザインタフェースを表示する装置筐体に関する情報である筐体情報及び当該筐体の周囲情報を取得すると共に、前記生成ステップにおいて、前記筐体情報及び前記周囲情報も踏まえた上で前記車両用ユーザインタフェースを生成する、
請求項1に記載の情報処理方法。
【請求項9】
運転者の運転操作に関する情報を取得する運転情報取得ステップと、
前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、
前記運転者が前記所定の処理を実行中に、前記運転者の運転操作に関する情報と、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報とを取得する運転者状態情報取得ステップと、
前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、
前記評価ステップにより判定された前記運転者の認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、
をコンピュータに実行させるプログラム。
【請求項10】
車両の運転のための運転操作情報を取得する運転情報取得装置と、
運転を実行する運転者に対して車両運転以外の所定の処理の実行の要求、実行の受け付け、実行結果の取得を行う別タスク実行装置と、
前記運転者に関する情報、前記運転情報取得装置による前記運転操作情報及び前記別タスク実行装置より取得される前記所定の処理の実行に関する情報の少なくとも一方から前記運転者の認知機能を評価する評価装置と、
評価された前記認知機能に基いて車両用ユーザインタフェースを生成する生成装置と、
を備え、
前記運転者の運転操作に関する情報を取得する運転情報取得ステップと、
前記運転者の運転操作中に、前記運転者へ運転操作とは異なる所定の処理を実行するように要求する別タスク要求ステップと、
前記運転者が前記所定の処理を実行中に、前記運転者の運転操作に関する情報と、前記所定の処理の実行及び前記運転者の状態の少なくとも一方に関する情報とを取得する運転者状態情報取得ステップと、
前記運転者状態情報取得ステップにて取得した情報を基に、前記運転者の認知機能を評価する評価ステップと、
前記評価ステップにより判定された前記認知機能の評価結果に基づき、車両用ユーザインタフェースを生成する生成ステップと、
を実行する情報処理システム。