特許 7329755 支援方法およびそれを利用した支援システム、支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-10

(45)【発行日】2023-08-21

(54)【発明の名称】支援方法およびそれを利用した支援システム、支援装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230814BHJP

   B60W 40/02 20060101ALI20230814BHJP

   B60W 60/00 20200101ALI20230814BHJP

   G06N 20/00 20190101ALI20230814BHJP

【ＦＩ】

G08G1/16 F

B60W40/02

B60W60/00

G06N20/00

【請求項の数】 24

(21)【出願番号】P 2019539138

(86)(22)【出願日】2018-08-07

(86)【国際出願番号】 JP2018029640

(87)【国際公開番号】W WO2019044427

(87)【国際公開日】2019-03-07

【審査請求日】2021-06-15

(31)【優先権主張番号】P 2017167751

(32)【優先日】2017-08-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100123102

【弁理士】

【氏名又は名称】宗田 悟志

(72)【発明者】

【氏名】江村 恒一

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０１０－０７２８００（ＪＰ，Ａ）

【文献】特開２０１７－０１３７４９（ＪＰ，Ａ）

【文献】特開２０１７－１０７２９９（ＪＰ，Ａ）

【文献】特開２００８－０５８６９６（ＪＰ，Ａ）

【文献】特開２００６－３４７５３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ４０／０２

Ｂ６０Ｗ ６０／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

車両での第１行動モデルに関する第１処理を実行する支援システムであって、
前記第１行動モデルは、車両の走行中または停止時における操舵または制動の作動状態を示す運転行動のモデルであり、
前記第１処理は、前記第１行動モデルを学習させる学習処理、および、前記第１行動モデルを用いて前記運転行動を推定する推定処理のうちの少なくとも１つであり、
前記車両からの検出情報が入力される検出情報入力部と、
前記検出情報入力部に入力された検出情報をもとに、前記第１行動モデルの精度に影響を与えうる２つ以上の情報を取得する取得部と、
前記取得部において取得した２つ以上の情報をもとに、前記第１処理を実行するか否かを決定する決定部と、
前記決定部が前記第１処理の実行を決定した場合、前記第１行動モデルに関する前記第１処理を実行する処理部と、
前記第１処理を実行するか否かについての決定の結果と、前記２つ以上の情報のそれぞれの値とを関連付けて報知装置に表示させる出力部と、を備え、
前記処理部は、前記決定部が前記第１処理の非実行を決定した場合、前記第１行動モデルに関する前記第１処理を非実行とし、
前記取得部は、前記第１行動モデルの精度に影響を与えうる２つ以上の情報として、前記車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの２つ以上の情報を取得し、
前記２つ以上の情報のそれぞれは、前記第１処理を実行するか否かについての決定の根拠に対応することを特徴とする支援システム。

【請求項2】

前記第１行動モデルは、前記車両の自動運転のためのモデルであることを特徴とする請求項１に記載の支援システム。

【請求項3】

前記第１行動モデルは、ニューラルネットワークを含み、
車両の運転者の操作に関する情報が入力パラメータとして前記ニューラルネットワークに入力されて前記ニューラルネットワークが学習されることに基づき、前記第１行動モデルは構築され、
前記検出情報入力部は、運転者の操作に関する情報を含む、前記車両からの検出情報が入力されることを特徴とする請求項１に記載の支援システム。

【請求項4】

前記取得部は、前記車両の走行困難度を導出し、
前記決定部は、前記取得部において導出した走行困難度がしきい値よりも高ければ、前記第１処理の非実行を決定することを特徴とする請求項１に記載の支援システム。

【請求項5】

前記取得部は、前記運転者の覚醒度を導出し、
前記決定部は、前記取得部において導出した覚醒度がしきい値よりも低ければ、前記第１処理の非実行を決定することを特徴とする請求項１に記載の支援システム。

【請求項6】

前記取得部は、前記運転者の運転習熟度を導出し、
前記決定部は、前記取得部において導出した運転習熟度がしきい値よりも低ければ、前記第１処理の非実行を決定することを特徴とする請求項１に記載の支援システム。

【請求項7】

前記取得部は、前記車両の走行困難度、前記運転者の覚醒度、前記運転者の運転習熟度のうちの２つ以上の情報を導出し、
前記決定部は、前記取得部において導出した２つ以上の情報の組合せをもとに、前記第１処理を実行するか否かを決定することを特徴とする請求項１に記載の支援システム。

【請求項8】

前記取得部は、前記車両の走行困難度、前記運転者の覚醒度を導出し、
前記決定部は、走行困難度が第１しきい値以下である場合、覚醒度が第２しきい値よりも低いか、あるいは覚醒度が第３しきい値（第３しきい値＞第２しきい値）よりも高ければ、前記第１処理の非実行を決定することを特徴とする請求項１に記載の支援システム。

【請求項9】

前記取得部は、前記車両の走行困難度、前記運転者の覚醒度を導出し、
前記決定部は、走行困難度が第１しきい値より高い場合、覚醒度が第４しきい値よりも低ければ、前記第１処理の非実行を決定することを特徴とする請求項１に記載の支援システム。

【請求項10】

前記取得部は、前記運転者の覚醒度、前記運転者の運転習熟度を導出し、
前記決定部は、運転習熟度が高くなるほどしきい値を低くするとともに、覚醒度がしきい値よりも低ければ前記第１処理の非実行を決定することを特徴とする請求項１に記載の支援システム。

【請求項11】

前記取得部は、前記車両の走行困難度、前記運転者の運転習熟度を導出し、
前記決定部は、運転習熟度が高くなるほどしきい値を高くするとともに、走行困難度がしきい値よりも高ければ前記第１処理の非実行を決定することを特徴とする請求項１に記載の支援システム。

【請求項12】

本支援システムは、発話についての第２行動モデルに関する第２処理をさらに実行し、
前記第２行動モデルは、発話がなされたときの前記発話に基づき行われる応答の内容を示す発話行動のモデルであり、
前記第２処理は、前記第２行動モデルを学習させる学習処理、および、前記第２行動モデルを用いて前記発話行動を推定する推定処理のうちの少なくとも１つであり、
前記検出情報入力部には、前記発話についての検出情報が入力され、
前記取得部は、前記第２行動モデルの精度に影響を与えうる１つ以上の情報として、前記発話の内容、前記発話の話者、行動モデルの処理位置のうちの少なくとも１つの情報を取得することを特徴とする請求項１に記載の支援システム。

【請求項13】

前記取得部は、前記発話の内容を取得し、
前記決定部は、前記取得部において取得した発話の内容が予定外であれば、前記第２処理の非実行を決定することを特徴とする請求項１２に記載の支援システム。

【請求項14】

前記取得部は、前記発話の話者を認識し、
前記決定部は、前記取得部において認識した発話の話者が予定外であれば、前記第２処理の非実行を決定することを特徴とする請求項１２に記載の支援システム。

【請求項15】

前記取得部は、前記第２行動モデルの処理位置を取得し、
前記決定部は、前記取得部において取得した前記第２行動モデルの処理位置が発話位置からネットワークを介して離れていなければ、前記第２処理の非実行を決定することを特徴とする請求項１２から１４のいずれかに記載の支援システム。

【請求項16】

本支援システムは、機器に対する第３行動モデルに関する第３処理をさらに実行し、
前記第３行動モデルは、前記機器とネットワークを介して接続された端末装置が操作されたときの前記操作に基づき行われる前記機器の制御の内容を示す操作行動のモデルであり、
前記第３処理は、前記第３行動モデルを学習させる学習処理、および、前記第３行動モデルを用いて前記操作行動を推定する推定処理のうちの少なくとも１つであり、
前記検出情報入力部には、前記機器に対する検出情報が入力され、
前記取得部は、前記第３行動モデルの精度に影響を与えうる１つ以上の情報として、前記機器の操作内容、前記機器の近傍の人の存在、前記機器を操作した人の感情のうちの少なくとも１つの情報を取得することを特徴とする請求項１に記載の支援システム。

【請求項17】

前記取得部は、前記機器の操作内容を取得し、
前記決定部は、前記取得部において取得した機器の操作内容が予定外であれば、前記第３処理の非実行を決定することを特徴とする請求項１６に記載の支援システム。

【請求項18】

前記取得部は、前記機器の近傍の人の存在を認識し、
前記決定部は、前記取得部において認識した人の存在が不在であれば、前記第３処理の非実行を決定することを特徴とする請求項１６に記載の支援システム。

【請求項19】

前記取得部は、前記機器を操作した人の感情を取得し、
前記決定部は、前記取得部において取得した人の感情が不満足であれば、前記第３処理の非実行を決定することを特徴とする請求項１６に記載の支援システム。

【請求項20】

前記第１処理は、前記第１行動モデルを学習させる学習処理であり、
前記処理部は、入力パラメータによって前記第１行動モデルを構築することを特徴とする請求項１に記載の支援システム。

【請求項21】

前記第１処理は、前記運転行動を推定する推定処理であり、
前記処理部は、入力データを前記第１行動モデルに入力するとともに、前記第１行動モデルからの出力を前記運転行動として取得することを特徴とする請求項１に記載の支援システム。

【請求項22】

前記第１処理は、前記第１行動モデルを学習させる学習処理と、前記運転行動を推定する推定処理であり、
前記処理部は、前記学習処理を実行する場合、入力パラメータによって前記第１行動モデルを構築し、前記推定処理を実行する場合、入力データを前記第１行動モデルに入力するとともに、前記第１行動モデルからの出力を行動として取得することを特徴とする請求項１に記載の支援システム。

【請求項23】

車両での第１行動モデルに関する第１処理を実行する支援装置であって、
前記第１行動モデルは、車両の走行中または停止時における操舵または制動の作動状態を示す運転行動のモデルであり、
前記第１処理は、前記第１行動モデルを学習させる学習処理、および、前記第１行動モデルを用いて前記運転行動を推定する推定処理のうちの少なくとも１つであり、
前記車両からの検出情報が入力される検出情報入力部と、
前記検出情報入力部に入力された検出情報をもとに、前記第１行動モデルの精度に影響を与えうる２つ以上の情報を取得する取得部と、
前記取得部において取得した２つ以上の情報をもとに、前記第１処理を実行するか否かを決定する決定部と、
前記決定部が前記第１処理の実行を決定した場合、前記第１行動モデルに関する前記第１処理を実行する処理部と、
前記第１処理を実行するか否かについての決定の結果と、前記２つ以上の情報のそれぞれの値とを関連付けて報知装置に表示させる出力部と、を備え、
前記処理部は、前記決定部が前記第１処理の非実行を決定した場合、前記第１行動モデルに関する前記第１処理を非実行とし、
前記取得部は、前記第１行動モデルの精度に影響を与えうる２つ以上の情報として、前記車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの２つ以上の情報を取得し、
前記２つ以上の情報のそれぞれは、前記第１処理を実行するか否かについての決定の根拠に対応することを特徴とする支援装置。

【請求項24】

車両での第１行動モデルに関する第１処理を実行する支援方法であって、
前記第１行動モデルは、車両の走行中または停止時における操舵または制動の作動状態を示す運転行動のモデルであり、
前記第１処理は、前記第１行動モデルを学習させる学習処理、および、前記第１行動モデルを用いて前記運転行動を推定する推定処理のうちの少なくとも１つであり、
検出情報入力部が、前記車両からの検出情報が入力されるステップと、
取得部が、入力された検出情報をもとに、前記第１行動モデルの精度に影響を与えうる２つ以上の情報を取得するステップと、
決定部が、取得した２つ以上の情報をもとに、前記第１処理を実行するか否かを決定するステップと、
前記第１処理の実行を決定した場合、処理部が、前記第１行動モデルに関する前記第１処理を実行するステップと、
出力部が、前記第１処理を実行するか否かについての決定の結果と、前記２つ以上の情報のそれぞれの値とを関連付けて報知装置に表示させるステップと、
前記第１処理の非実行を決定した場合、前記処理部が、前記第１行動モデルに関する前記第１処理を非実行とするステップと、
前記取得部が、前記第１行動モデルの精度に影響を与えうる２つ以上の情報として、前記車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの２つ以上の情報を取得するステップと、を備え、
前記２つ以上の情報のそれぞれは、前記第１処理を実行するか否かについての決定の根拠に対応することを特徴とする支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、行動モデルに関する処理を実行する支援方法およびそれを利用した支援システム、支援装置に関する。

【背景技術】

【0002】

車両の運転環境とドライバの運転状況を推定し、運転環境や運転状況に応じた運転支援を実行するシステムが検討されている。このようなシステムにおいて、ドライバに応じた運転支援をより的確に行うことが目標とされる。例えば、車両の挙動とドライバの操作を表す検出データが検出され、検出データをもとに車両の運転環境が判定される。また、運転環境の種類毎に用意された推定モデルを記憶しており、検出データに基づいて推定モデルの学習が実行される。さらに、判定された運転環境に応じた推定モデルを用い、検出データに基づいてドライバの運転状況が推定される（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－５３７９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転環境の種類毎に用意された推定モデルを使用することによって、運転環境の影響を低減した運転状況が推定される。一方、運転者が、例えば眠気により覚醒度の低い状態である場合、運転に適した状態ではないといえる。そのような状態において学習あるいは推定がなされても、学習あるいは推定の精度が低くなる。

【0005】

本開示はこうした状況に鑑みなされたものであり、その目的は、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本開示のある態様の支援システムは、車両での第１行動モデルに関する第１処理を実行する支援システムであって、第１行動モデルは、車両の走行中または停止時における操舵または制動の作動状態を示す運転行動のモデルであり、第１処理は、第１行動モデルを学習させる学習処理、および、第１行動モデルを用いて運転行動を推定する推定処理のうちの少なくとも１つであり、車両からの検出情報が入力される検出情報入力部と、検出情報入力部に入力された検出情報をもとに、第１行動モデルの精度に影響を与えうる２つ以上の情報を取得する取得部と、取得部において取得した２つ以上の情報をもとに、第１処理を実行するか否かを決定する決定部と、決定部が第１処理の実行を決定した場合、第１行動モデルに関する第１処理を実行する処理部と、第１処理を実行するか否かについての決定の結果と、２つ以上の情報のそれぞれの値とを関連付けて報知装置に表示させる出力部と、を備える。処理部は、決定部が第１処理の非実行を決定した場合、第１行動モデルに関する第１処理を非実行とし、取得部は、第１行動モデルの精度に影響を与えうる２つ以上の情報として、車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの２つ以上の情報を取得し、２つ以上の情報のそれぞれは、第１処理を実行するか否かについての決定の根拠に対応する。

【0007】

本開示の別の態様は、支援装置である。この装置は、車両での第１行動モデルに関する第１処理を実行する支援装置であって、第１行動モデルは、車両の走行中または停止時における操舵または制動の作動状態を示す運転行動のモデルであり、第１処理は、第１行動モデルを学習させる学習処理、および、第１行動モデルを用いて運転行動を推定する推定処理のうちの少なくとも１つであり、車両からの検出情報が入力される検出情報入力部と、検出情報入力部に入力された検出情報をもとに、第１行動モデルの精度に影響を与えうる２つ以上の情報を取得する取得部と、取得部において取得した２つ以上の情報をもとに、第１処理を実行するか否かを決定する決定部と、決定部が第１処理の実行を決定した場合、第１行動モデルに関する第１処理を実行する処理部と、第１処理を実行するか否かについての決定の結果と、２つ以上の情報のそれぞれの値とを関連付けて報知装置に表示させる出力部と、を備える。処理部は、決定部が第１処理の非実行を決定した場合、第１行動モデルに関する第１処理を非実行とし、取得部は、第１行動モデルの精度に影響を与えうる２つ以上の情報として、車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの２つ以上の情報を取得し、２つ以上の情報のそれぞれは、第１処理を実行するか否かについての決定の根拠に対応する。

【0008】

本開示のさらに別の態様は、支援方法である。この方法は、車両での第１行動モデルに関する第１処理を実行する支援方法であって、第１行動モデルは、車両の走行中または停止時における操舵または制動の作動状態を示す運転行動のモデルであり、第１処理は、第１行動モデルを学習させる学習処理、および、第１行動モデルを用いて運転行動を推定する推定処理のうちの少なくとも１つであり、検出情報入力部が、車両からの検出情報が入力されるステップと、取得部が、入力された検出情報をもとに、第１行動モデルの精度に影響を与えうる２つ以上の情報を取得するステップと、決定部が、取得した２つ以上の情報をもとに、第１処理を実行するか否かを決定するステップと、第１処理の実行を決定した場合、処理部が、第１行動モデルに関する第１処理を実行するステップと、出力部が、第１処理を実行するか否かについての決定の結果と、２つ以上の情報のそれぞれの値とを関連付けて報知装置に表示させるステップと、第１処理の非実行を決定した場合、処理部が、第１行動モデルに関する第１処理を非実行とするステップと、取得部が、第１行動モデルの精度に影響を与えうる２つ以上の情報として、車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの２つ以上の情報を取得するステップと、を備える。２つ以上の情報のそれぞれは、第１処理を実行するか否かについての決定の根拠に対応する。

【0009】

なお、以上の構成要素の任意の組合せ、構成要素の一部、例えば処理部を通信網を介したコンピュータで逐次あるいは一日など所定時間分をまとめて処理する構成、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。

【発明の効果】

【0010】

本開示によれば、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１に係る車両の構成を示す図である。

【図2】実施の形態１に係る車両の室内を模式的に示す図である。

【図3】図３（ａ）－（ｂ）は、実施の形態１に係る運転支援装置の構成を示す図である。

【図4】図４（ａ）－（ｃ）は、図３（ａ）－（ｂ）の決定部に記憶されるテーブルの構成を示す図である。

【図5】図５（ａ）－（ｃ）は、図４（ａ）のテーブルによる処理概要を示す図である。

【図6】図６（ａ）－（ｄ）は、図３（ａ）－（ｂ）の報知装置に表示される画面を示す図である。

【図7】図７（ａ）－（ｂ）は、図３（ａ）－（ｂ）の処理部の処理概要を示す図である。

【図8】図３（ａ）－（ｂ）の運転支援装置による処理手順を示すフローチャートである。

【図9】図３（ａ）－（ｂ）の運転支援装置による別の処理手順を示すフローチャートである。

【図10】実施の形態２に係る音声エージェントシステムの構成を示す図である。

【図11】図１１（ａ）－（ｂ）は、実施の形態２に係る支援システムの構成を示す図である。

【図12】図１２（ａ）－（ｆ）は、図１０の端末装置の報知部に表示される画面を示す図である。

【図13】実施の形態２に係る音声エージェントシステムの別の構成を示す図である。

【図14】図１１（ａ）－（ｂ）の支援システムによる処理手順を示すフローチャートである。

【図15】図１１（ａ）－（ｂ）の支援システムによる別の処理手順を示すフローチャートである。

【図16】図１３の音声エージェントシステムによる処理手順を示すフローチャートである。

【図17】実施の形態３に係る遠隔操作システムの構成を示す図である。

【図18】図１８（ａ）－（ｂ）は、実施の形態３に係る支援システムの構成を示す図である。

【図19】図１８（ａ）－（ｂ）の支援システムによる処理手順を示すフローチャートである。

【図20】図１８（ａ）－（ｂ）の支援システムによる別の処理手順を示すフローチャートである。

【図21】図１８（ａ）－（ｂ）の支援システムによるさらに別の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0012】

（実施の形態１）
本開示を具体的に説明する前に、概要を述べる。本実施の形態は、自動車の自動運転に関する。特に、本実施の形態は、車両の運転行動に関する情報を車両の乗員（例えば運転者）との間でやり取りするためのＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を制御する装置（以下「運転支援装置」とも呼ぶ。）に関する。また、運転支援装置は、自動運転のために運転行動モデルを学習させること（以下、「学習処理」という）、運転行動モデルをもとに運転行動を推定すること（以下、「推定処理」という）の少なくとも一方を実行する。本開示の処理とは、運転行動の学習および／または推定であり、例えばＩＶＩ（Ｉｎ－Ｖｅｈｉｃｌｅ Ｉｎｆｏｔａｉｎｍｅｎｔ）機器の操作などの運転中の運転以外の行動や操作であってもよい。本開示の非実行とは、処理の中止や中断であり、中断の場合は、処理を継続してもよい。また、本開示の非実行を決定しなかった場合に、処理が実行されているときに、運転者からの入力によって強制的に中止や中断をしてもよい。

【0013】

本実施の形態における各種の用語は次のように定義される。「運転行動」は、車両の走行中または停止時の操舵や制動などの作動状態、もしくは自動運転制御に係る制御内容を含んでおり、例えば、定速走行、加速、減速、一時停止、停止、車線変更、進路変更、右左折、駐車などである。また、運転行動は、巡航（車線維持で車速維持）、車線維持、先行車追従、追従時のストップアンドゴー、追越、合流車両への対応、高速道への進入と退出を含めた乗換（インターチェンジ）、合流、工事ゾーンへの対応、緊急車両への対応、割込み車両への対応、右左折専用レーンへの対応、歩行者・自転車とのインタラクション、車両以外の障害物回避、標識への対応、右左折・Ｕターン制約への対応、車線制約への対応、一方通行への対応、交通標識への対応、交差点・ラウンドアバウトへの対応などであってもよい。

【0014】

「運転行動推定エンジン」として、ＤＬ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ：深層学習）、ＭＬ（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ：機械学習）、フィルタ等のいずれか、あるいはそれらの組合せが使用される。Ｄｅｅｐ Ｌｅａｒｎｉｎｇは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク)、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：リカレント・ニューラル・ネットワーク)である。また、Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇは、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）である。さらに、フィルタは、例えば、協調フィルタリングである。

【0015】

「運転行動モデル」は、運転行動推定エンジンに応じて一意に定められる。ＤＬの場合の運転行動モデルは学習されたニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であり、ＳＶＭの場合の運転行動モデルは学習された予測モデルであり、協調フィルタリングの場合の運転行動モデルは走行環境データと運転行動データとを紐付けたデータである。ルールの場合の運転行動モデルは入力と出力とを紐付けたデータである。

【0016】

このような定義のもと、運転支援装置は、ステアリングの舵角、ブレーキペダルの踏量、アクセルペダルの踏量等の運転者の操作に関する検出結果と教師付けデータを使用して学習処理を実行するとともに、検出結果と運転行動モデルを使用して推定処理を実行する。前述のごとく、運転に適した状態ではない場合に、学習あるいは推定がなされると、学習あるいは推定の精度が低くなる。そのため、このような場合には、学習あるいは推定がなされない方が好ましい。

【0017】

これに対応するために、本実施の形態では、走行困難度、覚醒度、運転習熟度の少なくとも１つを導出し、それをもとに、学習あるいは推定の処理を実行するか否かを決定する。処理の実行を決定した場合は学習あるいは推定を実行するが、処理の非実行を決定した場合は学習あるいは推定を実行しない。以下、本開示の実施の形態について、図面を参照して詳細に説明する。以下に説明する各実施の形態は一例であり、本開示はこれらの実施の形態により限定されない。

【0018】

図１は、車両１００の構成を示し、特に自動運転車両に関する構成を示す。車両１００は、自動運転モードで走行可能であり、報知装置２、入力装置４、無線装置８、運転操作部１０、検出部２０、自動運転制御装置３０、運転支援装置４０を含む。図１に示す各装置の間は、専用線あるいはＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線通信で接続されてもよい。また、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の有線通信または無線通信で接続されてもよい。

【0019】

報知装置２は、車両１００の走行に関する情報を乗員に報知する。報知装置２は、例えば、車内に設置されているカーナビゲーションシステム、ヘッドアップディスプレイ、センタディスプレイである。報知装置２は、ステアリングホイール、ピラー、ダッシュボード、メータパネル周りなどに設置されているＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光体などのような情報を表示する表示部でもよい。また、報知装置２は、情報を音声に変換して乗員に報知するスピーカであってもよいし、あるいは、乗員が感知できる位置（例えば、乗員の座席、ステアリングホイールなど）に設けられる振動体であってもよい。さらに、報知装置２は、これらの組合せであってもよい。

【0020】

入力装置４は、乗員による操作入力を受けつけるユーザインタフェース装置である。例えば入力装置４は、タッチパネル、レバー、ボタン、スイッチ、ジョイスティックやボリューム等のコントローラ、非接触でジェスチャーを認識するカメラ等のセンサ、音声を認識するマイク等のセンサや、それらの組合せであり、乗員が入力した自車の自動運転に関する情報を受けつける。また、自動運転と手動運転を切りかえるための操作信号を受けつけてもよい。入力装置４は、受けつけた情報を操作信号として運転支援装置４０に出力する。

【0021】

図２は、車両１００の室内を模式的に示す。報知装置２は、ヘッドアップディスプレイ（ＨＵＤ、Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）２ａであってもよく、センタディスプレイ２ｂであってもよい。入力装置４は、ステアリング１１に設けられた第１操作部４ａであってもよく、運転席と助手席との間に設けられた第２操作部４ｂであってもよく、ジェスチャーを認識するカメラ等のセンサである第３操作部４ｃであってもよい。報知装置２と入力装置４は一体化されてもよく、例えばタッチパネルディスプレイとして実装されてもよい。車両１００には、自動運転に関する情報を音声にて乗員へ提示するスピーカ６がさらに設けられてもよい。この場合、運転支援装置４０は、自動運転に関する情報を示す画像を報知装置２に表示させ、それとともに、またはそれに代えて、自動運転に関する情報を示す音声をスピーカ６から提示させてもよい。図１に戻る。

【0022】

無線装置８は、携帯電話通信システム、ＷＭＡＮ（Ｗｉｒｅｌｅｓｓ Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に対応しており、無線通信を実行する。運転操作部１０は、ステアリング１１、ブレーキペダル１２、アクセルペダル１３、ウィンカスイッチ１４を備える。ステアリング１１、ブレーキペダル１２、アクセルペダル１３、ウィンカスイッチ１４は、ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵとモータＥＣＵおよびウィンカコントローラにより電子制御が可能である。自動運転モードにおいて、ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵは、自動運転制御装置３０から供給される制御信号に応じて、アクチュエータを駆動する。またウィンカコントローラは、自動運転制御装置３０から供給される制御信号に応じてウィンカランプを点灯あるいは消灯する。

【0023】

検出部２０は、車両１００の周囲状況および走行状態を検出する。検出部２０は、例えば、車両１００の速度、車両１００に対する先行車両の相対速度、車両１００と先行車両との距離、車両１００に対する側方車線の車両の相対速度、車両１００と側方車線の車両との距離、車両１００の位置情報を検出する。検出部２０は、運転者の操作に関する情報、運転者の状態に関する情報も検出する。検出部２０は、検出した各種情報（以下、「検出情報」という）を自動運転制御装置３０に出力する。また、検出部２０は、自動運転制御装置３０を介して運転支援装置４０に検出情報を出力してもよいし、運転支援装置４０に直接出力してもよい。検出部２０は、位置情報取得部２１、センサ２２、速度情報取得部２３、地図情報取得部２４を含み、センサ２２は、走行環境センサ２５、監視センサ２６、車両情報センサ２７を含む。

【0024】

位置情報取得部２１は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ（ｓ））受信機から車両１００の現在位置を取得する。センサ２２は、車外の状況、車両１００の状態、運転者の操作、運転者の状態を検出するための各種センサの総称である。車両１００の状態を検出するためのセンサ２２として例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。

【0025】

走行環境センサ２５は、車外の状況を検出するためのセンサである。走行環境センサ２５として、例えばカメラ、ミリ波レーダ、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況は、車線情報を含む自車の走行する道路状況、天候を含む環境、自車周辺状況、近傍位置にある他車両（隣接車線を走行する他車両等）を含む。走行環境センサ２５が検出できる車外の情報であれば何でもよい。

【0026】

監視センサ２６は、例えば、車室内に搭載されたカメラであり、運転者の顔を撮像する。監視センサ２６は、特に運転者の瞼の動きを撮像可能なように設定する。車両情報センサ２７は、ステアリングの舵角、ブレーキペダルの踏量、アクセルペダルの踏量等の運転者の操作に関する情報を検出する。これらの検出には公知の技術が使用されればよいので、ここでは説明を省略する。

【0027】

速度情報取得部２３は、車速センサから車両１００の現在速度を取得する。地図情報取得部２４は、地図データベースから車両１００の現在位置周辺の地図情報を取得する。地図データベースは、車両１００内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。地図情報には、道路、交差点に関する情報が含まれている。

【0028】

自動運転制御装置３０は、自動運転制御機能を実装した自動運転コントローラであり、自動運転における車両１００の行動を決定する。自動運転制御装置３０は、制御部３１、記憶部３２、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部、入出力部）部３３を備える。制御部３１の構成はハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部３２は、フラッシュメモリ等の不揮発性記録媒体を備える。Ｉ／Ｏ部３３は、各種の通信フォーマットに応じた通信制御を実行する。例えば、Ｉ／Ｏ部３３は、自動運転に関する情報を運転支援装置４０に出力するとともに、制御コマンドを運転支援装置４０から入力する。また、Ｉ／Ｏ部３３は、検出情報を検出部２０から入力する。

【0029】

制御部３１は、運転支援装置４０から入力した制御コマンド、検出部２０あるいは各種ＥＣＵから収集した各種情報を自動運転アルゴリズムに適用して、車両１００のアクセルスロットル開度、ステアリング舵角等の自動制御対象を制御するための制御値を算出する。制御部３１は算出した制御値を、各制御対象のＥＣＵまたはコントローラに伝達する。本実施の形態ではステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、ウィンカコントローラに伝達する。電気自動車あるいはハイブリッドカーの場合、エンジンＥＣＵに代えてまたは加えてモータＥＣＵに制御値を伝達する。

【0030】

運転支援装置４０は、車両１００と乗員との間のインタフェース機能を実行するＨＭＩコントローラであり、制御部４１、記憶部４２、Ｉ／Ｏ部４３を備える。制御部４１は、ＨＭＩ制御等の各種データ処理を実行する。制御部４１は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。

【0031】

記憶部４２は、制御部４１により参照され、または更新されるデータを記憶する記憶領域である。例えばフラッシュメモリ等の不揮発の記録媒体により実現される。Ｉ／Ｏ部４３は、各種の通信フォーマットに応じた各種の通信制御を実行する。Ｉ／Ｏ部４３は、操作信号入力部５０、画像・音声出力部５１、検出情報入力部５２、コマンドＩＦ（Ｉｎｔｅｒｆａｃｅ、インタフェース）５３、通信ＩＦ５６を備える。

【0032】

操作信号入力部５０は、入力装置４に対してなされた乗員もしくは車外にいるユーザの操作による操作信号を入力装置４から受信し、制御部４１へ出力する。画像・音声出力部５１は、制御部４１が生成した画像データあるいは音声メッセージを報知装置２へ出力して表示させる。検出情報入力部５２は、検出部２０による検出処理の結果であり、車両１００の現在の周囲状況および走行状態等を示す検出情報を検出部２０から受信し、制御部４１へ出力する。

【0033】

コマンドＩＦ５３は、自動運転制御装置３０とのインタフェース処理を実行し、行動情報入力部５４とコマンド出力部５５を含む。行動情報入力部５４は、自動運転制御装置３０から送信された車両１００の自動運転に関する情報を受信し、制御部４１へ出力する。コマンド出力部５５は、自動運転制御装置３０に対して自動運転の態様を指示する制御コマンドを、制御部４１から受けつけて自動運転制御装置３０へ送信する。

【0034】

通信ＩＦ５６は、無線装置８とのインタフェース処理を実行する。通信ＩＦ５６は、制御部４１から出力されたデータを無線装置８へ送信し、無線装置８から車外の装置へ送信させる。また、通信ＩＦ５６は、無線装置８により転送された、車外の装置からのデータを受信し、制御部４１へ出力する。

【0035】

ここでは、自動運転制御装置３０と運転支援装置４０は別個の装置である。変形例として、図１の破線で示すように、自動運転制御装置３０と運転支援装置４０を１つのコントローラに統合してもよい。言い換えれば、１つの自動運転制御装置が、図１の自動運転制御装置３０と運転支援装置４０の両方の機能を備える構成であってもよい。

【0036】

図３（ａ）－（ｂ）は、運転支援装置４０の構成を示す。運転支援装置４０は１つの装置により構成される。しかしながら、１つ以上の装置により支援システムが構成されてもよい。例えば、処理部６４は、車両１００の外に配置され、運転支援装置４０とは無線装置８とネットワークを介して接続されてもよい。また、決定部６２と処理部６４とが車両１００の外に配置されてもよく、取得部６０と決定部６２と処理部６４とが車両１００の外に配置されてもよい。

【0037】

図３（ａ）は、学習処理に関する構成を示し、図３（ｂ）は、推定処理に関する構成を示す。ここでは、学習処理を説明してから推定処理を説明する。図３（ａ）において、制御部４１は、取得部６０、決定部６２、処理部６４を含む。取得部６０は、走行困難度取得部７０、覚醒度取得部７２、運転習熟度取得部７４を含み、処理部６４は、学習部８０、教師付けデータ８２、運転行動モデル８４を含む。また、走行環境センサ２５、監視センサ２６、車両情報センサ２７は、検出情報入力部５２に接続され、検出情報入力部５２は、取得部６０に接続される。さらに、決定部６２は、画像・音声出力部５１に接続され、画像・音声出力部５１は、報知装置２に接続される。

【0038】

走行環境センサ２５は、カメラ、ミリ波レーダ、ＬＩＤＡＲ、ソナー、気温センサ、気圧センサ、湿度センサ、照度センサ等である。例えば、カメラは、車両１００の前方を撮像可能に車両１００に搭載されるが、車両１００の側方、後方も撮像可能に車両１００に搭載されてもよい。カメラは、撮像した映像を検出情報として検出情報入力部５２に出力する。監視センサ２６は、車室内に搭載されたカメラである。監視センサ２６は、運転者の顔を撮像した映像を検出情報として検出情報入力部５２に出力する。車両情報センサ２７は、ステアリング１１の舵角、ブレーキペダル１２の踏量、アクセルペダル１３の踏量等の運転者の操作に関する情報を検出し、検出した結果を検出情報として検出情報入力部５２に出力する。

【0039】

運転支援装置４０は、車両１００での運転行動モデルに関する処理を実行する。検出情報入力部５２には、走行環境センサ２５、監視センサ２６、車両情報センサ２７からの検出情報が入力される。これは、車両１００からの検出情報が入力されるといえる。検出情報入力部５２は、走行環境センサ２５からの検出情報のうち、車両１００の前方等を撮像した映像を走行困難度取得部７０に出力する。また、検出情報入力部５２は、監視センサ２６からの検出情報、つまり運転者の顔を撮像した映像を覚醒度取得部７２に出力し、車両情報センサ２７からの検出情報、つまり運転者の操作に関する情報を運転習熟度取得部７４、処理部６４に出力する。

【0040】

取得部６０のうちの走行困難度取得部７０は、検出情報入力部５２から、車両１００の前方等を撮像した映像を受けつける。走行困難度取得部７０は、映像に対して画像認識処理を実行することによって、映像に含まれている他車両を検出する。また、走行困難度取得部７０は、本車両１００の前方を走行している他車両の数を計測する。走行困難度取得部７０は、他車両の数を走行困難度として、決定部６２に出力する。このような走行困難度は、他車両の数が多くなるほど高くなり、他車両の数が少なくなるほど低くなる。本車両１００の前方以外を走行している他車両の数が走行困難度に含められてもよい。その際、本車両１００の前方以外を走行している他車両１台を０．５台のように計測することによって、前方を走行している他車両と前方以外を走行している他車両との重み付けが変えられてもよい。さらに、本車両１００に接近している他車両の数、本車両１００の前方においてブレーキをかけている他車両の数、本車両１００を追い抜こうとしている他車両の数が走行困難度に反映されてもよい。このような数に対して、例えば、重み付けが大きくされる。走行困難度取得部７０は、走行困難度を決定部６２に出力する。走行困難度は、走行中道路の道幅や形状やＵターン禁止、右折、左折の禁止などの道路制約などの地図情報から取得してもよい。その場合、例えば狭い道幅や複雑な形状や多数の制約ほど走行困難度が高くなる。また、車載センサが取得する周辺車両の検知情報、路面状況、天候状況から取得してもよい。その場合、例えば混雑度、平均速度が高い、進路の直進性が低い、凹凸路面や雪雨天候や夜間であるほど、あるいはそれらの組合せが多いほど走行困難度が高くなる。

【0041】

取得部６０のうちの覚醒度取得部７２は、検出情報入力部５２から、運転者の顔を撮像した映像を受けつけ、画像に対して画像認識処理を実行することによって、運転者の顔の表情を認識する。覚醒度取得部７２は、認識した顔の表情をもとに、運転者の状態として、運転者の覚醒度を推定する。画像認識処理、覚醒度の推定には、公知の技術が使用されればよいが、例えば、運転者の開瞼度、目瞑り、ＰＥＲＣＬＯＳ（ＰＥＲｃｅｎｔ ｏｆ ｅｙｅｌｉｄ ＣＬＯＳｕｒｅ）、前庭動眼反射（ＶＯＲ：Ｖｅｓｔｉｂｕｌｏ Ｏｃｕｌａｒ Ｒｅｆｌｅｘ）やこれらの組合せを用いる。開瞼度は、眼の開き度合いであり、上瞼から下瞼までの距離を虹彩の直径割った値を用いる。また、開瞼度が２０％以下で持続時間が７０から５００ミリ秒、時間間隔が５００ミリ秒以上の瞼の運動を瞬きとして、覚醒度の推定の対象としない処理を施してもよい。目瞑りは、開瞼度２０％以下で、持続時間が５００ミリ秒以上の瞼の運動である。ＰＥＲＣＬＯＳは、アメリカ道路交通安全局に認可された運転手の疲労度を測定する指標であり、直近１分間の目瞑りの時間の割合である。前庭動眼反射は、頭部運転時にそれとほぼ同じ速さで眼球を反転させ、網膜上の外界像のブレを抑制する付随的眼球運動であり、覚醒状態の運転中の頭部動揺時の眼球運動の補償度合いを示すＶＯＲゲインが閾値以下に、ＶＯＲのばらつきを示すＶＯＲエラーが閾値以上に、それぞれ３０秒以上継続する場合に眠気予兆とする。また、運転者の覚醒度の一例として、ここでは、表情から眠気をするためのＮＥＤＯ（独立行政法人 新エネルギー・産業技術総合開発機構））の評価方法において規定された眠気レベルを使用する。この規定では、眠気レベルは、１から５の５段階で評価される。具体的には、「眠気レベル１」は全く眠くなさそう、「眠気レベル２」はやや眠そう、「眠気レベル３」は眠そう、「眠気レベル４」はかなり眠そう、「眠気レベル５」は非常に眠そうと分類される。

【0042】

覚醒度取得部７２は、視線の移動が早く頻繁であったり、瞬きが２秒に２回くらいの安定した周期であったり、動きが活発で身体の動きを伴ったりする場合に、「眠気レベル１」と推定する。また、覚醒度取得部７２は、唇が開いていたり、視線移動の動きが遅かったりする場合に、「眠気レベル２」と推定する。また、覚醒度取得部７２は、瞬きがゆっくりと頻発したり、口の動きがあったり、座り直しがあったり、顔に手をやったりした場合に、「眠気レベル３」と推定する。また、覚醒度取得部７２は、意識的と思われる瞬きがあったり、首を振る・肩の上下動などの無用な身体全体の動きがあったり、あくびが頻発し深呼吸も見られたり、瞬き・視線の動きが遅かったりする場合に、「眠気レベル４」と推定する。また、覚醒度取得部７２は、瞼が閉じられたり、頭が前に傾いたり、頭が後に倒れたりする場合に、「眠気レベル５」と推定する。このような規定において、眠気レベル１に近づくほど覚醒度が高いといえ、眠気レベル５に近づくほど覚醒度が低いといえる。覚醒度取得部７２は、覚醒度を決定部６２に出力する。

【0043】

取得部６０のうちの運転習熟度取得部７４は、検出情報入力部５２から、運転者の操作に関する情報、例えば、ステアリング１１の舵角、ブレーキペダル１２の踏量、アクセルペダル１３の踏量等を受けつける。運転習熟度取得部７４は、ステアリング１１の舵角、ブレーキペダル１２の踏量、アクセルペダル１３の踏量をもとに運転習熟度を導出する。この処理を具体的に説明すると、運転習熟度取得部７４は、ステアリング１１の舵角、ブレーキペダル１２の踏量、アクセルペダル１３の踏量の複数のパターンと運転習熟度との対応関係を予め記憶する。また、運転習熟度取得部７４は、対応関係に含まれた複数のパターンから、受けつけたステアリング１１の舵角、ブレーキペダル１２の踏量、アクセルペダル１３に最も近いパターンを選択し、選択したパターンに対応した運転習熟度を導出する。ここで、運転者が運転に慣れていれば、運転習熟度が高くなり、運転者が運転に不慣れであれば、運転習熟度が低くなる。運転習熟度取得部７４は、運転習熟度を決定部６２に出力する。なお、運転習熟度は、例えば、運転の結果としての車両挙動における加速度の時間変化であるジャーク（加加速度）が小さいほど高いとする。また、運転習熟度は、現在の運転状況と模範運転者の運転モデル（模範モデル）との近似度から導出されてもよく、例えば近似度が高いほど運転習熟度が高くなるとしてもよい。あるいは、本人の運転による車両挙動、例えば急ブレーキ、急操舵の頻度が低くなるか、走行困難度が高いこととの組合せにおいて急ブレーキ、急操舵の頻度が低くなるほど、運転習熟度が高くなるとしてもよい。

【0044】

走行困難度は、例えば、運転行動におけるタスクデマンドである。タスクデマンドは、ある運転者が目指すパフォーマンスレベルを達成するために必要と感じられる注意の量や配分、情報処理の深さや行うべき操作内容」であり、常に一定ではなく、直進、カーブ、交差点等の道路構造や、先行車や隣接車両の有無や動き、道路利用者の多さ等の交通状況により変化する。また、タスクデマンドは、同じ道路構造や交通状況であっても車速が高いほど高くなる。さらに、タスクデマンドは、同じ車速であっても、慣れていない道を走るときは高くなり、通勤等でいつも走っている道では低くなる。

【0045】

決定部６２は、走行困難度取得部７０からの走行困難度、覚醒度取得部７２からの覚醒度、運転習熟度取得部７４からの運転習熟度を受けつける。決定部６２は、走行困難度、覚醒度、運転習熟度のうちの少なくとも１つをもとに、処理を実行するか否かを決定する。処理は、図３（ａ）において学習を示し、図３（ｂ）において推定を示す。ここでは、決定部６２における処理を第１決定処理から第６決定処理の順に説明する。第１決定処理から第３決定処理は、走行困難度、覚醒度、運転習熟度のうちの２つの情報を使用する。その際、使用されない情報を生成する走行困難度取得部７０から運転習熟度取得部７４のいずれかは省略されてもよい。一方、第４決定処理から第６決定処理は、走行困難度、覚醒度、運転習熟度のうちのいずれかの情報を使用する。その際、使用されない情報を生成する走行困難度取得部７０から運転習熟度取得部７４のうちの２つは省略されてもよい。

【0046】

（１）第１決定処理
第１決定処理では、走行困難度、覚醒度が使用される。図４（ａ）－（ｃ）は、決定部６２に記憶されるテーブルの構成を示す。図４（ａ）が、第１決定処理において使用されるテーブルである。横軸が走行困難度を示し、縦軸が覚醒度を示す。決定部６２は、走行困難度が第１しきい値ＴＤａ以下である場合、覚醒度が第２しきい値Ａａ以上であり、かつ第３しきい値Ａｃ以下であれば、処理の実行を決定する。ここで、第３しきい値Ａｃ＞第２しきい値Ａａである。決定部６２は、走行困難度が第１しきい値ＴＤａ以下である場合、覚醒度が第２しきい値Ａａよりも低いか、あるいは覚醒度が第３しきい値Ａｃよりも高ければ、処理の非実行を決定する。

【0047】

一方、決定部６２は、走行困難度が第１しきい値ＴＤａより高い場合、覚醒度が第４しきい値Ａｂ以上であれば、処理の実行を決定する。ここで、第３しきい値Ａｃ＞第４しきい値Ａｂ＞第２しきい値Ａａである。決定部６２は、走行困難度が第１しきい値ＴＤａより高い場合、覚醒度が第４しきい値Ａｂよりも低ければ、処理の非実行を決定する。ここでは、図５（ａ）－（ｃ）を使用しながら、このような処理をさらに詳細に説明する。

【0048】

図５（ａ）－（ｃ）は、図４（ａ）のテーブルによる処理概要を示す。図５（ａ）は、走行困難度と覚醒度の時間変化を示す。第１区間２００では、走行困難度が低くなる。走行困難度が低い状態は、図５（ｂ）のように示される。ここでは、車両１００が走行しているだけであり、周囲に他車両は走行していない。このような状況下において、一般的に、運転によって覚醒度が高くなることはない。しかしながら、第１区間２００では覚醒度が高くなる。そのため、この覚醒度が高くなる原因は、運転でないといえる。そのため、第１区間２００の走行困難度と覚醒度の組合せは学習に適さない状態であるといえる。決定部６２は、このような場合に処理の非実行を決定する。

【0049】

第２区間２０２では、走行困難度が高くなる。走行困難度が高い状態は、図５（ｃ）のように示される。ここでは、走行する車両１００の周りに第１他車両１１０ａから第３他車両１１０ｃが走行している。このような状況下において、一般的に、運転によって覚醒度が高くなる傾向にある。しかしながら、第１区間２００では眠気により覚醒度が低くなる。そのため、第２区間２０２の走行困難度と覚醒度の組合せは学習に適さない状態であるといえる。決定部６２は、このような場合に処理の非実行を決定する。図３（ａ）に戻る。

【0050】

（２）第２決定処理
第２決定処理では、覚醒度、運転習熟度が使用される。図４（ｂ）が、第２決定処理において使用されるテーブルである。横軸が運転習熟度を示し、縦軸が覚醒度を示す。運転習熟度に対するしきい値としてＤＳａ、ＤＳｂが規定される。ＤＳａ＜ＤＳｂである。また、覚醒度に対するしきい値としてＡｄ、Ａｅが規定される。Ａｄ＜Ａｅである。決定部６２は、運転習熟度がＤＳａ以下である場合、覚醒度によらず、処理の非実行を決定する。決定部６２は、運転習熟度がＤＳａより高く、かつＤＳｂ以下である場合、覚醒度がＡｅ以上であれば処理の実行を決定するが、覚醒度がＡｅより低くければ処理の非実行を決定する。決定部６２は、運転習熟度がＤＳｂより高い場合、覚醒度がＡｄ以上であれば処理の実行を決定するが、覚醒度がＡｄより低くければ処理の非実行を決定する。これは、運転習熟度が高くなるほど覚醒度に対するしきい値を低くするといえる。

【0051】

（３）第３決定処理
第３決定処理では、走行困難度、運転習熟度が使用される。図４（ｃ）が、第３決定処理において使用されるテーブルである。横軸が運転習熟度を示し、縦軸が走行困難度を示す。運転習熟度に対するしきい値としてＤＳａ、ＤＳｂ、ＤＳｃが規定される。ＤＳａ＜ＤＳｂ＜ＤＳｃである。また、走行困難度に対するしきい値としてＴＤｂ、ＴＤｃ、ＴＤｄが規定される。ＴＤｂ＜ＴＤｃ＜ＴＤｄである。決定部６２は、運転習熟度がＤＳａ以下である場合、走行困難度によらず、処理の非実行を決定する。決定部６２は、運転習熟度がＤＳａより高く、かつＤＳｂ以下である場合、走行困難度がＴＤｂ以下であれば処理の実行を決定するが、走行困難度がＴＤｂより高ければ処理の非実行を決定する。決定部６２は、運転習熟度がＤＳｂより高く、かつ運転習熟度がＤＳｃ以下である場合、走行困難度がＴＤｃ以下であれば処理の実行を決定するが、走行困難度がＴＤｃより高ければ処理の非実行を決定する。決定部６２は、運転習熟度がＤＳｃより高い場合、走行困難度がＴＤｄ以下であれば処理の実行を決定するが、走行困難度がＴＤｄより高ければ処理の非実行を決定する。これは、運転習熟度が高くなるほど走行困難度に対するしきい値を高くするといえる。

【0052】

（４）第４決定処理
第４決定処理では、走行困難度が使用される。決定部６２は、走行困難度がしきい値以下であれば、処理の実行を決定する。決定部６２は、走行困難度がしきい値よりも高ければ、処理の非実行を決定する。

【0053】

（５）第５決定処理
第５決定処理では、覚醒度が使用される。決定部６２は、第１決定処理において走行困難度が第１しきい値ＴＤａ以下である場合と同様の処理を実行する。つまり、決定部６２は、覚醒度がＡａ以上であり、かつＡｃ以下であれば、処理の実行を決定する。前述のごとく、値Ａｃ＞Ａａである。決定部６２は、覚醒度がＡａよりも低いか、あるいは覚醒度が値Ａｃよりも高ければ、処理の非実行を決定する。

【0054】

（６）第６決定処理
第６決定処理では、運転習熟度が使用される。決定部６２は、運転習熟度がしきい値以上であれば、処理の実行を決定する。決定部６２は、運転習熟度がしきい値よりも低ければ、処理の非実行を決定する。

【0055】

決定部６２は、第１決定処理から第３決定処理を組み合わせることによって、走行困難度、覚醒度、運転習熟度の組合せをもとに、処理を実行するか否かを決定してもよい。決定部６２は、決定の結果、つまり学習を実行するか否かに関する情報を画像・音声出力部５１と処理部６４に出力する。画像・音声出力部５１は、学習を実行するか否かに関する情報を報知装置２に表示させる。図６（ａ）－（ｄ）は、報知装置２に表示される画面を示す。図６（ａ）は、学習の実行を決定した場合の画面を示す。ここでは、走行困難度、覚醒度、運転習熟度の組合せをもとに判定がなされているとする。図６（ｂ）は、学習の非実行を決定した場合の画面を示す。図６（ｃ）－（ｄ）は後述し、図３（ａ）に戻る。

【0056】

処理部６４は、決定部６２が学習の実行を決定した場合、学習を実行するが、決定部６２が学習の非実行を決定した場合、学習を非実行とする。以下では、学習を実行する場合を説明する。学習部８０は、検出情報入力部５２からの運転者の操作に関する情報を入力パラメータ９０として受けつける。また、学習部８０は、運転者の操作に関する情報に関係付けられている未来の変化量を教師付けデータ８２として取得する。未来とは、例えば、数秒後、あるいは数分後である。学習部８０は、入力パラメータ９０をもとに処理、具体的には運転行動モデル８４を学習させる学習処理を実行する。具体的に説明すると、学習部８０は、入力パラメータ９０である運転者の操作に関する情報と教師付けデータ８２とによって、運転行動モデル８４を調整する。つまり、学習部８０は、入力パラメータ９０をニューラルネットワークに入力することによって、教師付けデータ８２が出力として得られるように、ニューラルネットワークの重みパラメータなどを調整する。このような調整によって、学習部８０は、入力パラメータ９０と教師付けデータ８２との関係を、ニューラルネットワークに学習させる。その結果、運転行動モデル８４が構築される。

【0057】

図７（ａ）－（ｂ）は、処理部６４の処理概要を示す。図７（ａ）は、学習部８０における学習処理の概要を示す。学習部８０は、運転者の操作に関する情報として示されるパラメータＰａおよびＰｂなどを含む複数の入力パラメータ９０を、ニューラルネットワークに入力する。学習部８０は、そのニューラルネットワークからの出力が教師付けデータ８２であって、かつ入力パラメータ９０に関係付けられた教師付けデータ８２に一致するように、ニューラルネットワークの重みパラメータを最適化する。このように構築されたニューラルネットワークが運転行動モデル８４である。教師付けデータの使用に限らず、例えば教師付けデータなしでの学習（所謂教師無し学習）であってもよい。図７（ｂ）は後述する。

【0058】

次に、図３（ｂ）を使用して推定処理を説明する。図３（ｂ）において、制御部４１は、取得部６０、決定部６２、処理部６４を含む。取得部６０は、走行困難度取得部７０、覚醒度取得部７２、運転習熟度取得部７４を含み、処理部６４は、運転行動モデル８４、推定部８６、推定値８８を含む。また、走行環境センサ２５、監視センサ２６、車両情報センサ２７は、検出情報入力部５２に接続され、検出情報入力部５２は、取得部６０に接続される。さらに、決定部６２は、画像・音声出力部５１に接続され、画像・音声出力部５１は、報知装置２に接続される。取得部６０、決定部６２は、図３（ａ）と同様の処理を実行するので、ここでは説明を省略する。

【0059】

決定部６２は、決定の結果、つまり推定を実行するか否かに関する情報を画像・音声出力部５１と処理部６４に出力する。画像・音声出力部５１は、推定を実行するか否かに関する情報を報知装置２に表示させる。図６（ｃ）は、推定の実行を決定した場合の画面を示す。ここでも、走行困難度、覚醒度、運転習熟度の組合せをもとに判定がなされているとする。図６（ｄ）は、推定の非実行を決定した場合の画面を示す。図３（ｂ）に戻る。

【0060】

処理部６４は、決定部６２が推定の実行を決定した場合、推定を実行するが、決定部６２が推定の非実行を決定した場合、推定を非実行とする。以下では、推定を実行する場合を説明する。推定部８６は、検出情報入力部５２からの運転者の操作に関する情報を入力データ９２として受けつける。推定部８６は、入力データ９２をもとに処理、具体的には未来の変化量を推定する推定処理を実行する。具体的に説明すると、推定部８６は、入力データ９２を運転行動モデル８４に入力するとともに、運転行動モデル８４からの推定値８８を取得する。推定値８８が未来の変化量である。

【0061】

図７（ｂ）は、推定部８６における推定処理の概要を示す。推定部８６は、検出結果として示される入力データ９２をニューラルネットワークに入力する。これにより、推定部８６は、ニューラルネットワークから出力される未来の変化量を推定値８８として取得する。推定部８６において取得した未来の変化量をもとに、図１の自動運転制御装置３０は車両１００の自動運転を制御する。

【0062】

以上の構成による運転支援装置４０の動作を説明する。図８は、運転支援装置４０による処理手順を示すフローチャートである。検出情報入力部５２は走行環境情報を取得する（Ｓ５０）。走行困難度取得部７０は、走行困難度を導出する（Ｓ５２）。検出情報入力部５２は顔画像を取得する（Ｓ５４）。覚醒度取得部７２は覚醒度を導出する（Ｓ５６）。走行困難度がＴＤａよりも大きく（Ｓ５８のＹ）、覚醒度がＡｂ以上である場合（Ｓ６０のＹ）、決定部６２は、処理の実行を決定する（Ｓ６２）。覚醒度がＡｂ以上でない場合（Ｓ６０のＮ）、決定部６２は、処理の非実行を決定する（Ｓ６４）。走行困難度がＴＤａよりも大きくなく（Ｓ５８のＮ）、覚醒度がＡａ以上であり、かつＡｃ以下である場合（Ｓ６６のＹ）、決定部６２は、処理の実行を決定する（Ｓ６８）。覚醒度がＡａ以上でなく、あるいはＡｃ以下でない場合（Ｓ６６のＮ）、決定部６２は、処理の非実行を決定する（Ｓ７０）。報知装置２は、処理状態を表示する（Ｓ７２）。

【0063】

図９は、運転支援装置４０による別の処理手順を示すフローチャートである。検出情報入力部５２は顔画像を取得する（Ｓ１０）。覚醒度取得部７２は覚醒度を導出する（Ｓ１２）。覚醒度がＡａ以上であり、かつＡｃ以下である場合（Ｓ１４のＹ）、決定部６２は、処理の実行を決定する（Ｓ１６）。覚醒度がＡａ以上でなく、あるいはＡｃ以下でない場合（Ｓ１４のＮ）、決定部６２は、処理の非実行を決定する（Ｓ１８）。報知装置２は、処理状態を表示する（Ｓ２０）。

【0064】

本実施の形態によれば、走行困難度、覚醒度、運転習熟度のうちの少なくとも１つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。また、走行困難度、覚醒度、運転習熟度のうちの２つ以上の情報の組合せをもとに、処理を実行するか否かを決定するので、決定の精度を向上できる。また、走行困難度と覚醒度との組合せをもとに処理の非実行を決定するので、走行困難度に応じて覚醒度に対するしきい値を変えることができる。また、走行困難度に応じて覚醒度に対するしきい値が変わるので、決定の精度を向上できる。また、覚醒度と運転習熟度との組合せをもとに処理の非実行を決定するので、運転習熟度に応じて覚醒度に対するしきい値を変えることができる。また、運転習熟度に応じて覚醒度に対するしきい値が変わるので、決定の精度を向上できる。また、走行困難度と運転習熟度との組合せをもとに処理の非実行を決定するので、運転習熟度に応じて走行困難度に対するしきい値を変えることができる。また、運転習熟度に応じて走行困難度に対するしきい値が変わるので、決定の精度を向上できる。

【0065】

また、走行困難度が高ければ処理の非実行を決定するので、走行困難度が高いことによって運転行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、覚醒度が低ければ処理の非実行を決定するので、覚醒度が低いことによって運転行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、運転習熟度が低ければ処理の非実行を決定するので、運転習熟度が低いことによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、学習を実行か否かを決定するので、学習に適さない状況における学習の実行を抑制できる。また、推定を実行か否かを決定するので、推定に適さない状況における推定の実行を抑制できる。なお、図６に示す表示の態様は実施の形態に限定されない。例えば、学習中か否かのみ、あるいは推定中か否かのみを表示してもよい。

【0066】

（実施の形態２）
次に実施の形態２を説明する。実施の形態２は、実施の形態１と同様に、状況に応じて、学習処理あるいは推定処理を実行するか否かを切りかえる支援システムに関する。実施の形態１においては、支援システムが自動車の自動運転において使用されており、支援システムによって運転行動モデルに対する学習処理あるいは推定処理が実行されている。一方、実施の形態２においては、支援システムが音声エージェントシステムにおいて使用される。音声エージェントシステムは、音声アシスタントシステムとも呼ばれ、音声認識処理と自然言語処理を組み合わせ、話者からの発話に対し、適切に回答したり、動作したりする。例えば、話者は、スマートフォン、タブレット型端末、スマートスピーカ（以下、「端末装置」と総称する）に発話し、端末装置にネットワークを介して接続されたサーバ装置において処理がなされる。このような音声エージェントシステムにおいて、話者による発話がなされてから回答あるいは動作までの応答期間の短縮が求められる。応答期間を短縮するために、音声エージェントシステムに支援システムを使用することによって、話者による発話の途中で発話の内容が推定される。この支援システムでは、発話行動モデルに対する学習処理あるいは推定処理が実行される。

【0067】

ここで、「発話行動推定エンジン」は、「運転行動推定エンジン」と同様に構成されればよい。また、「発話行動モデル」は、発話行動推定エンジンに応じて一意に定められる。ＤＬの場合の発話行動モデルは学習されたニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であり、ＳＶＭの場合の発話行動モデルは学習された予測モデルであり、協調フィルタリングの場合の発話行動モデルは発話データと発話に対する応答データとを紐付けたデータである。ルールの場合の発話行動モデルは入力と出力とを紐付けたデータである。

【0068】

このような定義のもと、発話に適した状態ではない場合に、発話行動モデルに対する学習処理あるいは推定処理がなされると、学習あるいは推定の精度が低くなる。発話に適した状態ではない場合とは、学習あるいは推定として予定していない内容の発話がなされる場合、予定していない話者による発話がなされる場合等である。このような場合には、学習あるいは推定がなされない方が好ましい。これに対応するために、本実施の形態では、発話内容、発話者の少なくとも１つを取得し、それをもとに、学習あるいは推定の処理を実行するか否かを決定する。処理の実行を決定した場合は学習あるいは推定を実行するが、処理の非実行を決定した場合は学習あるいは推定を実行しない。以下では、これまでとの差異を中心に説明する。

【0069】

図１０は、音声エージェントシステム３００の構成を示す。音声エージェントシステム３００は、端末装置３１０、ネットワーク３２０、サーバ装置３３０を含む。端末装置３１０は、マイク３５０、カメラ３５２、報知部３５４、制御部３５６、通信部３５８を含む。端末装置３１０は、前述のごとく、スマートフォン、タブレット型端末、スマートスピーカである。マイク３５０は、話者によって発声された音声を集音する。マイク３５０は、音声をデジタル信号（以下、これもまた「音声」という）に変換し、制御部３５６に出力する。当該変換には公知の技術が使用されればよいので、ここでは説明を省略する。カメラ３５２は、話者の顔を撮像可能な撮像装置である。カメラ３５２によって撮像される画像は、静止画像であってもよく、動画像であってもよい。カメラ３５２は、画像をデジタル信号（以下、これもまた「画像」という）に変換し、制御部３５６に出力する。

【0070】

制御部３５６は、マイク３５０から音声を受けつけるとともに、カメラ３５２から画像を受けつける。制御部３５６は、受けつけたこれらの情報のうちの少なくとも１つを通信部３５８に出力する。通信部３５８は、制御部３５６から情報を受けつける。通信部３５８は、無線通信を実行可能であり、無線通信によりネットワーク３２０に接続する。通信部３５８は、ネットワーク３２０を介してサーバ装置３３０に情報を送信する。通信部３５８において実行される無線通信には公知の技術が使用されればよいので、ここでは説明を省略する。また、通信部３５８は、有線通信を実行してもよい。

【0071】

サーバ装置３３０は、ネットワーク３２０を介して端末装置３１０からの情報を受信する。サーバ装置３３０は、受信した情報のうち、音声に対して、音声認識処理と自然言語処理を実行することにより、音声の内容を認識する。サーバ装置３３０は、音声の内容にしたがった処理を実行する。例えば、音声の内容が「今日の東京の天気予報を教えて」であれば、サーバ装置３３０は、ネットワーク３２０を介して天気予報サーバ（図示せず）にアクセスし、当該天気予報サーバから「今日の東京の天気予報」を受信する。サーバ装置３３０は、「今日の東京の天気予報」が示された情報（以下、「応答情報」という）をネットワーク３２０経由で端末装置３１０に送信する。このようなサーバ装置３３０の処理には公知の技術が使用されればよいので、ここでは説明を省略する。

【0072】

端末装置３１０の通信部３５８は、応答情報をサーバ装置３３０から受信する。通信部３５８は、応答情報に含まれた内容、例えば、「今日の東京の天気予報」を制御部３５６に出力する。制御部３５６は、通信部３５８から受けつけた内容を報知部３５４から報知する。報知部３５４がディスプレイである場合、制御部３５６は、「今日の東京の天気予報」をディスプレイに表示させる。報知部３５４がスピーカである場合、制御部３５６は、「今日の東京の天気予報」の音声をスピーカから提示させる。

【0073】

図１１（ａ）－（ｂ）は、支援システム４００の構成を示す。支援システム４００は、１つの装置であってもよいし、複数の装置の組合せであってもよい。１つの装置である場合、支援システム４００は図１０のサーバ装置３３０に相当する。２つ以上の装置である場合、支援システム４００は図１０の端末装置３１０とサーバ装置３３０との組合せに相当する。支援システム４００には、図１０に示されていない装置が含まれてもよい。図１１（ａ）は、学習処理に関する構成を示し、図１１（ｂ）は、推定処理に関する構成を示す。ここでは、学習処理を説明してから推定処理を説明する。図１１（ａ）において、支援システム４００は、制御部４４１、検出情報入力部４５２、出力部４５４を含む。制御部４４１は、取得部４６０、決定部４６２、処理部４６４を含む。取得部４６０は、発話内容取得部４７０、話者取得部４７２を含み、処理部４６４は、学習部４８０、教師データ４８２、発話行動モデル４８４を含む。また、マイク３５０、カメラ３５２は、検出情報入力部４５２に接続され、報知部３５４は、出力部４５４に接続される。

【0074】

支援システム４００は、発話についての発話行動モデルに関する処理を実行する。検出情報入力部４５２には、マイク３５０からの音声、カメラ３５２からの画像が検出情報として入力される。これは、発話についての検出情報が入力されるといえる。検出情報入力部４５２は、検出情報のうち、マイク３５０からの音声を発話内容取得部４７０、処理部４６４に出力し、カメラ３５２からの画像を話者取得部４７２に出力する。ここで、検出情報入力部４５２は、カメラ３５２からの画像を発話内容取得部４７０に出力してもよい。

【0075】

取得部４６０のうちの発話内容取得部４７０は、検出情報入力部４５２から音声を受けつける。発話内容取得部４７０は、音声認識処理と自然言語処理を実行することにより、発話の内容を認識する。これらの処理には、公知の技術が使用されればよい。発話内容取得部４７０は、発話の内容を決定部４６２に出力する。話者取得部４７２は、検出情報入力部４５２から画像を受けつける。話者取得部４７２は、予め処理対象とされる発話の話者の顔が示された画像（以下、「参照画像」という）を記憶する。複数の発話の話者のそれぞれに対する参照画像が記憶されていてもよい。話者取得部４７２は、受けつけた画像に対する画像認識処理を実行することによって、受けつけた画像に含まれた話者が、参照画像に含まれた話者と同一であるか否かを認識する。話者取得部４７２は、認識した結果、つまり同一である否かを決定部４６２に出力する。これは、発話の話者の情報を決定部４６２に出力することに相当する。このように、取得部４６０は、行動モデルの精度に影響を与えうる１つ以上の情報として、発話の内容、発話の話者のうちの少なくとも１つの情報を取得する。

【0076】

決定部４６２は、発話内容取得部４７０からの発話の内容、話者取得部４７２からの話者の情報を受けつける。決定部４６２は、発話の内容、話者の情報のうちの少なくとも１つをもとに、処理を実行するか否かを決定する。処理は、図１１（ａ）において学習を示し、図１１（ｂ）において推定を示す。ここでは、決定部４６２における処理を第１決定処理から第３決定処理の順に説明する。

【0077】

（１）第１決定処理
第１決定処理では、発話の内容、話者の情報が使用される。決定部４６２は、予定される発話の内容に含まれるべきキーワードを１つ以上予め記憶する。決定部４６２は、発話の内容にキーワードが含まれているか否かを判定する。発話の内容にキーワードが含まれていなければ、つまり発話の内容が予定外であれば、決定部４６２は、処理の非実行を決定する。発話の内容にキーワードが含まれている場合、つまり発話の内容が予定内である場合、決定部４６２は、話者の情報を確認する。話者の情報において、画像に含まれた話者と参照画像に含まれた話者とが異なることが示されている場合、つまり発話の話者が予定外である場合、決定部４６２は、処理の非実行を決定する。一方、画像に含まれた話者と参照画像に含まれた話者とが同一であることが示されている場合、つまり発話の話者が予定内である場合、決定部４６２は、処理の実行を決定する。

【0078】

（２）第２決定処理
第２決定処理では、発話の内容が使用される。決定部４６２は、第１決定処理と同様の処理を実行し、発話の内容が予定外であれば、処理の非実行を決定する。一方、決定部４６２は、発話の内容が予定内であれば、処理の実行を決定する。

【0079】

（３）第３決定処理
第３決定処理では、話者の情報が使用される。決定部４６２は、第１決定処理と同様の処理を実行し、発話の話者が予定外であれば、処理の非実行を決定する。一方、決定部４６２は、発話の話者が予定内であれば、処理の実行を決定する。

【0080】

決定部４６２は、決定の結果、つまり学習を実行するか否かに関する情報を出力部４５４と処理部４６４に出力する。出力部４５４は、学習を実行するか否かに関する情報を報知部３５４に出力する。報知部３５４は、学習を実行するか否かに関する情報を表示する。図１２（ａ）－（ｆ）は、端末装置３１０の報知部３５４に表示される画面を示す。図１２（ａ）は、第２決定処理にしたがって学習の実行を決定した場合の画面を示す。例えば、「学習中」であることのみが示される。図１２（ｂ）は、第２決定処理にしたがって学習の非実行を決定した場合の画面を示す。例えば、「学習していません」ことが示される。図１２（ｃ）は、第１決定処理あるいは第３決定処理にしたがって学習の実行を決定した場合の画面を示す。ここで、発話の話者が家族に設定される。そのため、「学習中」であることに加えて、学習している理由が「家族」による発話であるためであることも示される。さらに、「家族」のうちの誰かであるかについても示されてもよい。図１２（ｄ）は、第１決定処理あるいは第３決定処理にしたがって学習の非実行を決定した場合の画面を示す。ここでは、「学習していません」ことに加えて、学習していない理由が「家族以外」、例えば来客による発話であるためであることも示される。図１２（ｅ）－（ｆ）は後述し、図１１（ａ）に戻る。報知部３５４は、学習を実行するか否かに関する情報を、図１２（ａ）－（ｄ）に示された表示の代わりに、あるいは加えて音声としてスピーカから提示してもよい。

【0081】

処理部４６４は、決定部４６２が学習の実行を決定した場合、学習を実行するが、決定部４６２が学習の非実行を決定した場合、学習を非実行とする。以下では、学習を実行する場合を説明する。学習部４８０は、検出情報入力部４５２からの音声を受けつける。学習部４８０は、発話内容取得部４７０と同様に、音声に対する音声認識処理と自然言語処理を実行することにより、発話の内容を認識する。そのため、学習部４８０は、発話の内容を入力パラメータ４９０として受けつける。学習部４８０は、発話の内容に関係付けられている未来の変化量を教師データ４８２として取得する。学習部４８０は、入力パラメータ４９０をもとに処理、具体的には発話行動モデル４８４を学習させる学習処理を実行する。具体的に説明すると、学習部４８０は、入力パラメータ４９０である発話の内容と教師データ４８２とによって、発話行動モデル４８４を調整する。つまり、学習部４８０は、入力パラメータ４９０をニューラルネットワークに入力することによって、教師データ４８２が出力として得られるように、ニューラルネットワークの重みパラメータなどを調整する。このような調整によって、学習部４８０は、入力パラメータ４９０と教師データ４８２との関係を、ニューラルネットワークに学習させる。その結果、発話行動モデル４８４が構築される。

【0082】

次に、図１１（ｂ）を使用して推定処理を説明する。図１１（ｂ）において、支援システム４００は、制御部４４１、検出情報入力部４５２、出力部４５４を含む。制御部４４１は、取得部４６０、決定部４６２、処理部４６４を含む。取得部４６０は、発話内容取得部４７０、話者取得部４７２を含み、処理部４６４は、発話行動モデル４８４、推定部４８６、推定値４８８を含む。また、マイク３５０、カメラ３５２は、検出情報入力部４５２に接続され、報知部３５４は、出力部４５４に接続される。取得部４６０、決定部４６２は、図１１（ａ）と同様の処理を実行するので、ここでは説明を省略する。

【0083】

決定部４６２は、決定の結果、つまり推定を実行するか否かに関する情報を出力部４５４と処理部４６４に出力する。処理部４６４は、決定部４６２が推定の実行を決定した場合、推定を実行するが、決定部４６２が推定の非実行を決定した場合、推定を非実行とする。以下では、推定を実行する場合を説明する。推定部４８６は、学習部４８０と同様に、発話の内容を入力データ４９２として受けつける。ここで、発話行動モデル４８４は、発話の途中から内容を認識する。例えば、前述の「今日の東京の天気予報」に対して、「今日」、「今日の東京」のように順に認識がなされる。推定部４８６は、入力データ４９２をもとに処理、具体的には未来の変化量を推定する推定処理を実行する。具体的に説明すると、推定部４８６は、入力データ４９２を発話行動モデル４８４に入力するとともに、発話行動モデル４８４からの推定値４８８を取得する。推定値４８８が未来の変化量である。例えば、「今日」に対して、推定値４８８として「今日の東京の天気予報」が取得される。推定値４８８において取得した未来の変化量をもとに、処理部４６４は応答情報を出力する。

【0084】

音声エージェントシステム３００の構成は図１０に限定されない。図１３は、音声エージェントシステム３００の別の構成を示す。これまで、音声エージェントシステム３００あるいは支援システム４００には１つの処理部４６４だけが含まれている。一方、図１３における音声エージェントシステム３００のうち、端末装置３１０には内部処理部４６６が含まれ、サーバ装置３３０には処理部４６４が含まれる。処理部４６４と内部処理部４６６は同様に構成される。端末装置３１０の制御部３５６には、図１１（ａ）－（ｂ）における取得部４６０、決定部４６２が含まれる。

【0085】

決定部４６２は、これまでと同様に、予定される発話の内容に含まれるべきキーワードを１つ以上予め記憶する。さらに、決定部４６２は、処理部４６４において処理対象とされるキーワード（以下、「第１キーワード」という）と、内部処理部４６６において処理対象とされるキーワード（以下、「第２キーワード」という）とを分けて記憶する。第１キーワードと第２キーワードは互いに異なる。決定部４６２は、発話の内容に第１キーワードが含まれていれば、処理の実行の際に処理部４６４を選択し、発話の内容に第２キーワードが含まれていれば、処理の実行の際に内部処理部４６６を選択する。

【0086】

取得部４６０は、発話行動モデル４８４の処理位置を取得する。ここでの処理位置は、処理部４６４であるか内部処理部４６６であるかに相当する。前者は、発話行動モデル４８４の処理位置が発話位置からネットワーク３２０を介して離れている場合であり、後者は、発話行動モデル４８４の処理位置が発話位置からネットワーク３２０を介して離れていない場合である。決定部４６２は、発話行動モデル４８４の処理位置が発話位置からネットワーク３２０を介して離れていなければ、処理の非実行を決定する。これは、内部処理部４６６を使用する場合に学習を実行しないことに相当する。なお、内部処理部４６６を使用した学習が、処理部４６４を使用した学習とは独立して実行されてもよい。

【0087】

決定部４６２は、決定の結果、つまり学習を実行するか否かに関する情報を出力部４５４と処理部４６４と内部処理部４６６に出力する。出力部４５４は、学習を実行するか否かに関する情報を報知部３５４に出力する。報知部３５４は、学習を実行するか否かに関する情報を表示する。図１２（ｅ）は、処理部４６４における学習の実行を決定した場合の画面を示す。例えば、「アップロード学習中」であることが示される。図１２（ｆ）は、学習の非実行を決定した場合の画面を示す。例えば、「アップロード学習していません」ことが示される。内部処理部４６６における学習の実行が決定された場合、図１２（ａ）と同じ画面が示されてもよい。さらに、報知部３５４は、学習を実行するか否かに関する情報を、図１２（ｅ）－（ｆ）に示された表示の代わりに、あるいは加えて音声としてスピーカから提示してもよい。

【0088】

以上の構成による支援システム４００の動作を説明する。図１４は、支援システム４００による処理手順を示すフローチャートである。これは、第２決定処理の手順に相当する。検出情報入力部４５２は、音声を取得する（Ｓ１００）。発話内容取得部４７０は、発話内容を取得する（Ｓ１０２）。予定する発話内容である場合（Ｓ１０４のＹ）、決定部４６２は、処理の実行を決定する（Ｓ１０６）。予定する発話内容でない場合（Ｓ１０４のＮ）、決定部４６２は、処理の非実行を決定する（Ｓ１０８）。報知部３５４は、処理状態を表示する（Ｓ１１０）。

【0089】

図１５は、支援システム４００による別の処理手順を示すフローチャートである。これは、第１決定処理の手順に相当する。検出情報入力部４５２は、音声を取得する（Ｓ１３０）。発話内容取得部４７０は、発話内容を取得する（Ｓ１３２）。予定する発話内容である場合（Ｓ１３４のＹ）、検出情報入力部４５２は、画像を取得する（Ｓ１３６）。話者取得部４７２は、話者を認識する（Ｓ１３８）。予定する話者である場合（Ｓ１４０のＹ）、決定部４６２は、処理の実行を決定する（Ｓ１４２）。予定する発話内容でない場合（Ｓ１３４のＮ）、あるいは予定する話者でない場合（Ｓ１４０のＮ）、決定部４６２は、処理の非実行を決定する（Ｓ１４４）。報知部３５４は、処理状態を表示する（Ｓ１４６）。

【0090】

図１６は、音声エージェントシステム３００による処理手順を示すフローチャートである。取得部４６０は、処理位置を取得する（Ｓ１６０）。リモートである場合（Ｓ１６２のＹ）、つまり処理部４６４が使用される場合、検出情報入力部４５２は、音声を取得する（Ｓ１６４）。発話内容取得部４７０は、発話内容を取得する（Ｓ１６６）。予定する発話内容である場合（Ｓ１６８のＹ）、決定部４６２は、処理の実行を決定する（Ｓ１７０）。リモートでない場合（Ｓ１６２のＮ）、つまり内部処理部４６６が使用される場合、あるいは予定する発話内容でない場合（Ｓ１６８のＮ）、決定部４６２は、処理の非実行を決定する（Ｓ１７２）。報知部３５４は、処理状態を表示する（Ｓ１７４）。

【0091】

本実施の形態によれば、発話の内容、発話の話者、処理部の位置のうちの少なくとも１つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。また、発話の内容が予定外であれば処理の非実行を決定するので、発話の内容が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、発話の話者が予定外であれば処理の非実行を決定するので、発話の話者が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、処理部の位置が発話位置からネットワークを介して離れていなければ処理の非実行を決定するので、処理部の位置が発話位置からネットワークを介して離れていることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0092】

（実施の形態３）
次に実施の形態３を説明する。実施の形態３は、これまでと同様に、状況に応じて、学習処理あるいは推定処理を実行するか否かを切りかえる支援システムに関する。実施の形態３においては、支援システムが遠隔操作システムにおいて使用される。遠隔操作システムでは、スマートフォン、タブレット型端末（以下、これまでと同様に「端末装置」と総称する）とサーバ装置と機器とがネットワークを介して接続される。遠隔操作システムは、操作者からの操作をもとに、操作者から離れた機器を動作させる。例えば、操作者は端末装置を操作し、サーバ装置は、操作に応じて機器を制御する。遠隔操作システムにおいて、操作者による操作がなされてから機器の動作までの応答期間の短縮が求められる。応答期間を短縮するために、遠隔操作システムに支援システムを使用することによって、操作者による操作の途中で操作の内容が推定される。この支援システムでは、操作行動モデルに対する学習処理あるいは推定処理が実行される。

【0093】

ここで、「操作行動推定エンジン」は、「運転行動推定エンジン」、「発話行動推定エンジン」と同様に構成されればよい。また、「操作行動モデル」は、操作行動推定エンジンに応じて一意に定められる。ＤＬの場合の操作行動モデルは学習されたニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であり、ＳＶＭの場合の操作行動モデルは学習された予測モデルであり、協調フィルタリングの場合の操作行動モデルは操作データと操作に対する応答データとを紐付けたデータである。ルールの場合の操作行動モデルは入力と出力とを紐付けたデータである。

【0094】

このような定義のもと、操作に適した状態ではない場合に、操作行動モデルに対する学習処理あるいは推定処理がなされると、学習あるいは推定の精度が低くなる。操作に適した状態ではない場合とは、学習あるいは推定として予定していない内容の操作がなされる場合、操作された後に機器の近傍に人がいない場合、操作した結果に人が満足してない場合等である。このような場合には、学習あるいは推定がなされない方が好ましい。これに対応するために、本実施の形態では、操作内容、人の存在、操作による満足度の少なくとも１つを取得し、それをもとに、学習あるいは推定の処理を実行するか否かを決定する。処理の実行を決定した場合は学習あるいは推定を実行するが、処理の非実行を決定した場合は学習あるいは推定を実行しない。以下では、これまでとの差異を中心に説明する。

【0095】

図１７は、遠隔操作システム５００の構成を示す。遠隔操作システム５００は、端末装置５１０、ネットワーク５２０、サーバ装置５３０、人感センサ５６０、機器５７０を含む。端末装置５１０は、操作部５５０、カメラ５５２、報知部５５４、制御部５５６、通信部５５８を含む。端末装置５１０は、前述のごとく、スマートフォン、タブレット型端末である。操作部５５０は、例えば、タッチパネルであり、操作者から機器５７０に対する操作を受けつけるインタフェースである。機器５７０がエアコンである場合、操作部５５０は、エアコンの電源オン／電源オフ、風量調節、温度調節の操作を受けつける。操作部５５０は、受けつけた操作内容を制御部５５６に出力する。カメラ５５２は、操作者の顔を撮像可能な撮像装置である。カメラ５５２によって撮像される画像は、静止画像であってもよく、動画像であってもよい。カメラ５５２は、画像をデジタル信号（以下、これもまた「画像」という）に変換し、制御部５５６に出力する。

【0096】

制御部５５６は、操作部５５０から操作内容を受けつけるとともに、カメラ５５２から画像を受けつける。制御部５５６は、受けつけたこれらの情報のうちの少なくとも１つを通信部５５８に出力する。通信部５５８は、制御部５５６から情報を受けつける。通信部５５８は、無線通信を実行可能であり、無線通信によりネットワーク５２０に接続する。通信部５５８は、ネットワーク５２０を介してサーバ装置５３０に情報を送信する。通信部５５８において実行される無線通信には公知の技術が使用されればよいので、ここでは説明を省略する。また、通信部５５８は、有線通信を実行してもよい。報知部５５４は、ディスプレイあるいはスピーカであり、制御部５５６からの指示にしたがって、ディスプレイに画面を表示したり、スピーカから音声を提示したりする。

【0097】

人感センサ５６０は、機器５７０の近傍に設置され、人の存在を検知する。機器５７０の近傍とは、例えば、機器５７０が設置されている部屋と同一の部屋あるいは空間を示す。また、人は、操作者を含んでもよく、含まなくてもよい。人感センサ５６０における人の検知には公知の技術が使用されればよいので、ここでは説明を省略する。人感センサ５６０は、通信機能を備え、ネットワーク５２０を介してサーバ装置５３０に検知結果を送信する。

【0098】

サーバ装置５３０は、ネットワーク５２０を介して端末装置５１０からの情報を受信する。また、サーバ装置５３０は、ネットワーク５２０を介して人感センサ５６０からの検知結果を受信する。サーバ装置５３０は、受信した情報のうち、操作内容にしたがった処理を実行する。例えば、操作内容が「機器５７０の電源オン」、「機器５７０の温度を２８℃に設定」である場合、それぞれに対応したコマンドをネットワーク５２０経由で機器５７０に送信する。機器５７０は、ネットワーク５２０に接続される。機器５７０の一例は、前述のごとく、エアコンである。機器５７０は、ネットワーク５２０を介してサーバ装置５３０からのコマンドを受信する。「機器５７０の電源オン」、「機器５７０の温度を２８℃に設定」のそれぞれに対応したコマンドを受信した場合、機器５７０は、電源をオンしてから、温度を２８℃に設定する。

【0099】

図１８（ａ）－（ｂ）は、支援システム６００の構成を示す。支援システム６００は、１つの装置であってもよいし、複数の装置の組合せであってもよい。１つの装置である場合、支援システム６００は図１７のサーバ装置５３０に相当する。２つ以上の装置である場合、支援システム６００は、例えば、図１７の端末装置５１０とサーバ装置５３０との組合せに相当する。支援システム６００には、図１７に示されていない装置が含まれてもよい。図１８（ａ）は、学習処理に関する構成を示し、図１８（ｂ）は、推定処理に関する構成を示す。ここでは、学習処理を説明してから推定処理を説明する。図１８（ａ）において、支援システム６００は、制御部６４１、検出情報入力部６５２、出力部６５４を含む。制御部６４１は、取得部６６０、決定部６６２、処理部６６４を含む。取得部６６０は、操作内容取得部６７０、人存在取得部６７２、人感情取得部６７４を含み、処理部６６４は、学習部６８０、教師データ６８２、操作行動モデル６８４を含む。また、操作部５５０、カメラ５５２、人感センサ５６０は、検出情報入力部６５２に接続され、報知部５５４、機器５７０は、出力部６５４に接続される。

【0100】

支援システム６００は、機器５７０に対する操作行動モデルに関する処理を実行する。検出情報入力部６５２には、操作部５５０からの操作内容、人感センサ５６０からの検知結果、カメラ５５２からの画像が検出情報として入力される。これは、機器５７０に対する検出情報が入力されるといえる。検出情報入力部６５２は、検出情報のうち、操作部５５０からの操作内容を操作内容取得部６７０、処理部６６４に出力し、人感センサ５６０からの検知結果を人存在取得部６７２に出力し、カメラ５５２からの画像を人感情取得部６７４に出力する。

【0101】

取得部６６０のうちの操作内容取得部６７０は、検出情報入力部６５２からの操作内容を受けつけることによって、機器５７０の操作内容を取得する。操作内容取得部６７０は、操作内容を決定部６６２に出力する。人存在取得部６７２は、検出情報入力部６５２から検知結果を受けつける。人存在取得部６７２は、検知結果をもとに、機器５７０の近傍の人の存在を認識する。人存在取得部６７２は、認識した結果、つまり人が存在するか否かを決定部６６２に出力する。人感情取得部６７４は、検出情報入力部６５２から画像を受けつける。人感情取得部６７４は、画像に対して画像認識処理を実行することにより、画像に示された操作者の表情を操作者の感情として認識する。ここでは、操作者の感情として、操作に応じた機器５７０の動作により操作者が満足しているか否かが認識される。この処理には公知の技術が使用されればよいので、ここでは説明を省略する。人感情取得部６７４は、認識した結果、つまり操作者が満足しているか否かを決定部６６２に出力する。
このように、取得部６６０は、行動モデルの精度に影響を与えうる１つ以上の情報として、機器５７０の操作内容、機器５７０の近傍の人の存在、機器５７０を操作した人の感情のうちの少なくとも１つの情報を取得する。

【0102】

決定部６６２は、操作内容取得部６７０からの操作内容、人存在取得部６７２からの人の存在の情報、人感情取得部６７４からの人の感情の情報を受けつける。決定部６６２は、操作内容、人の存在の情報、人の感情の情報のうちの少なくとも１つをもとに、処理を実行するか否かを決定する。処理は、図１８（ａ）において学習を示し、図１８（ｂ）において推定を示す。ここでは、決定部６６２における処理を第１決定処理から第５決定処理の順に説明する。

【0103】

（１）第１決定処理
第１決定処理では、操作内容、人の存在の情報が使用される。決定部６６２は、予定される操作内容を予め記憶する。決定部６６２は、取得した操作内容が、予定される操作内容に含まれているか否かを判定する。機器５７０の操作内容が予定外であれば、決定部６６２は、処理の非実行を決定する。機器５７０の操作内容が予定内である場合、決定部６６２は、人の存在の情報を確認する。操作後に人の存在が不在を示す場合、決定部６６２は、処理の非実行を決定する。一方、操作後に人の存在が示される場合、決定部６６２は、処理の実行を決定する。

【0104】

（２）第２決定処理
第２決定処理では、操作内容、人の感情の情報が使用される。決定部６６２は、取得した操作内容が、予定される操作内容に含まれているか否かを判定する。機器５７０の操作内容が予定外であれば、決定部６６２は、処理の非実行を決定する。機器５７０の操作内容が予定内である場合、決定部６６２は、人の感情の情報を確認する。人の感情が不満足である場合、決定部６６２は、処理の非実行を決定する。一方、人の感情が満足である場合、決定部６６２は、処理の実行を決定する。

【0105】

（３）第３決定処理
第３決定処理では、操作内容が使用される。決定部６６２は、第１決定処理と同様の処理を実行し、操作内容が予定外が予定外であれば、処理の非実行を決定する。一方、決定部６６２は、操作内容が予定内であれば、処理の実行を決定する。

【0106】

（４）第４決定処理
第４決定処理では、人の存在の情報が使用される。決定部６６２は、第１決定処理と同様の処理を実行し、操作後に人の存在が不在であれば、処理の非実行を決定する。一方、決定部６６２は、操作後に人の存在があれば、処理の実行を決定する。

【0107】

（５）第５決定処理
第５決定処理では、人の感情の情報が使用される。決定部６６２は、第２決定処理と同様の処理を実行し、人の感情が不満足であれば、処理の非実行を決定する。一方、決定部６６２は、人の感情が満足であれば、処理の実行を決定する。

【0108】

決定部６６２は、第１決定処理から第５決定処理とは異なるように、操作内容、人の存在の情報、人の感情の情報を組み合わせて、処理を実行するか否かを決定してもよい。決定部６６２は、決定の結果、つまり学習を実行するか否かに関する情報を出力部６５４と処理部６６４に出力する。出力部６５４は、学習を実行するか否かに関する情報を報知部５５４に出力する。報知部５５４は、学習を実行するか否かに関する情報を表示する。

【0109】

処理部６６４は、決定部６６２が学習の実行を決定した場合、学習を実行するが、決定部６６２が学習の非実行を決定した場合、学習を非実行とする。以下では、学習を実行する場合を説明する。学習部６８０は、検出情報入力部６５２からの操作内容を受けつける。そのため、学習部６８０は、操作内容を入力パラメータ６９０として受けつける。学習部６８０は、操作内容に関係付けられている未来の変化量を教師データ６８２として取得する。学習部６８０は、入力パラメータ６９０をもとに処理、具体的には操作行動モデル６８４を学習させる学習処理を実行する。具体的に説明すると、学習部６８０は、入力パラメータ６９０である操作内容と教師データ６８２とによって、操作行動モデル６８４を調整する。つまり、学習部６８０は、入力パラメータ６９０をニューラルネットワークに入力することによって、教師データ６８２が出力として得られるように、ニューラルネットワークの重みパラメータなどを調整する。このような調整によって、学習部６８０は、入力パラメータ６９０と教師データ６８２との関係を、ニューラルネットワークに学習させる。その結果、操作行動モデル６８４が構築される。

【0110】

次に、図１８（ｂ）を使用して推定処理を説明する。図１８（ｂ）において、支援システム６００は、制御部６４１、検出情報入力部６５２、出力部６５４を含む。制御部６４１は、取得部６６０、決定部６６２、処理部６６４を含む。取得部６６０は、操作内容取得部６７０、人存在取得部６７２、人感情取得部６７４を含み、処理部６６４は、操作行動モデル６８４、推定部６８６、推定値６８８を含む。また、操作部５５０、カメラ５５２、人感センサ５６０は、検出情報入力部６５２に接続され、報知部５５４、機器５７０は、出力部６５４に接続される。取得部６６０、決定部６６２は、図１８（ａ）と同様の処理を実行するので、ここでは説明を省略する。

【0111】

決定部６６２は、決定の結果、つまり推定を実行するか否かに関する情報を出力部６５４と処理部６６４に出力する。処理部６６４は、決定部６６２が推定の実行を決定した場合、推定を実行するが、決定部６６２が推定の非実行を決定した場合、推定を非実行とする。以下では、推定を実行する場合を説明する。推定部６８６は、学習部６８０と同様に、操作内容を入力データ６９２として受けつける。ここで、操作行動モデル６８４は、操作の途中から操作内容を認識する。例えば、前述の「機器５７０の電源オン」、「機器５７０の温度を２８℃に設定」に対して、「機器５７０の電源オン」が認識されてから、「機器５７０の温度を２８℃に設定」が認識される。推定部６８６は、入力データ６９２をもとに処理、具体的には未来の変化量を推定する推定処理を実行する。具体的に説明すると、推定部６８６は、入力データ６９２を操作行動モデル６８４に入力するとともに、操作行動モデル６８４からの推定値６８８を取得する。推定値６８８が未来の変化量である。例えば、「機器５７０の電源オン」に対して、推定値６８８として「機器５７０の電源オン」、「機器５７０の温度を２８℃に設定」が取得される。推定値６８８において取得した未来の変化量をもとに、処理部６６４はコマンドを出力する。

【0112】

以上の構成による支援システム６００の動作を説明する。図１９は、支援システム６００による処理手順を示すフローチャートである。これは、第３決定処理の手順に相当する。操作内容取得部６７０は、操作内容を取得する（Ｓ２００）。予定する操作内容である場合（Ｓ２０２のＹ）、決定部６６２は、処理の実行を決定する（Ｓ２０４）。予定する操作内容でない場合（Ｓ２０２のＮ）、決定部６６２は、処理の非実行を決定する（Ｓ２０６）。報知部５５４は、処理状態を表示する（Ｓ２０８）。

【0113】

図２０は、支援システム６００による別の処理手順を示すフローチャートである。これは、第１決定処理の手順に相当する。操作内容取得部６７０は、操作内容を取得する（Ｓ２３０）。予定する操作内容である場合（Ｓ２３２のＹ）、人存在取得部６７２は、人の存在を認識する（Ｓ２３４）。操作後に人が存在する場合（Ｓ２３６のＹ）、決定部６６２は、処理の実行を決定する（Ｓ２３８）。予定する操作内容でない場合（Ｓ２３２のＮ）、あるいは操作後に人が存在しない場合（Ｓ２３６のＮ）、決定部６６２は、処理の非実行を決定する（Ｓ２４０）。報知部５５４は、処理状態を表示する（Ｓ２４２）。

【0114】

図２１は、支援システム６００によるさらに別の処理手順を示すフローチャートである。これは、第２決定処理の手順に相当する。操作内容取得部６７０は、操作内容を取得する（Ｓ２６０）。予定する操作内容である場合（Ｓ２６２のＹ）、検出情報入力部６５２は、画像を取得する（Ｓ２６４）。人感情取得部６７４は、感情を取得する（Ｓ２６６）。人が満足している場合（Ｓ２６８のＹ）、決定部６６２は、処理の実行を決定する（Ｓ２７０）。予定する操作内容でない場合（Ｓ２６２のＮ）、あるいは人が満足していない場合（Ｓ２６８のＮ）、決定部６６２は、処理の非実行を決定する（Ｓ２７２）。報知部５５４は、処理状態を表示する（Ｓ２７４）。

【0115】

本実施の形態によれば、機器の操作内容、機器の近傍の人の存在、機器を操作した人の感情のうちの少なくとも１つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。また、機器の操作内容が予定外であれば処理の非実行を決定するので、機器の操作内容が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、人の存在が不在であれば処理の非実行を決定するので、人の存在が不在であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、人の感情が不満足であれば処理の非実行を決定するので、人の感情が不満足であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0116】

以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＵＳＢメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。

【0117】

また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。また、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。

【0118】

本開示の一態様の概要は、次の通りである。本開示のある態様の支援システムは、行動モデルに関する処理を実行する支援システムであって、検出情報が入力される検出情報入力部と、検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる１つ以上の情報を取得する取得部と、取得部において取得した１つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備える。処理部は、決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とする。

【0119】

この態様によると、行動モデルの精度に影響を与えうる１つ以上の情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

【0120】

本支援システムは、車両での行動モデルに関する処理を実行しており、検出情報入力部には、車両からの検出情報が入力され、取得部は、行動モデルの精度に影響を与えうる１つ以上の情報として、車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの少なくとも１つの情報を導出してもよい。この場合、走行困難度、覚醒度、運転習熟度のうちの少なくとも１つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

【0121】

取得部は、車両の走行困難度を導出し、決定部は、取得部において導出した走行困難度がしきい値よりも高ければ、処理の非実行を決定してもよい。この場合、走行困難度が高ければ処理の非実行を決定するので、走行困難度が高いことによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0122】

取得部は、運転者の覚醒度を導出し、決定部は、取得部において導出した覚醒度がしきい値よりも低ければ、処理の非実行を決定してもよい。この場合、覚醒度が低ければ処理の非実行を決定するので、覚醒度が低いことによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0123】

取得部は、運転者の運転習熟度を導出し、決定部は、取得部において導出した運転習熟度がしきい値よりも低ければ、処理の非実行を決定してもよい。この場合、運転習熟度が低ければ処理の非実行を決定するので、運転習熟度が低いことによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0124】

取得部は、車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの２つ以上の情報を導出し、決定部は、取得部において導出した２つ以上の情報の組合せをもとに、処理を実行するか否かを決定してもよい。この場合、走行困難度、覚醒度、運転習熟度のうちの２つ以上の情報の組合せをもとに、処理を実行するか否かを決定するので、決定の精度を向上できる。

【0125】

取得部は、車両の走行困難度、運転者の覚醒度を導出し、決定部は、走行困難度が第１しきい値以下である場合、覚醒度が第２しきい値よりも低いか、あるいは覚醒度が第３しきい値（第３しきい値＞第２しきい値）よりも高ければ、処理の非実行を決定してもよい。この場合、走行困難度と覚醒度との組合せをもとに、処理の非実行を決定するので、決定の精度を向上できる。

【0126】

取得部は、車両の走行困難度、運転者の覚醒度を導出し、決定部は、走行困難度が第１しきい値より高い場合、覚醒度が第４しきい値よりも低ければ、処理の非実行を決定してもよい。この場合、走行困難度と覚醒度との組合せをもとに、処理の非実行を決定するので、決定の精度を向上できる。

【0127】

取得部は、運転者の覚醒度、運転者の運転習熟度を導出し、決定部は、運転習熟度が高くなるほどしきい値を低くするとともに、覚醒度がしきい値よりも低ければ処理の非実行を決定してもよい。この場合、覚醒度と運転習熟度との組合せをもとに、処理の非実行を決定するので、決定の精度を向上できる。

【0128】

取得部は、車両の走行困難度、運転者の運転習熟度を導出し、決定部は、運転習熟度が高くなるほどしきい値を高くするとともに、走行困難度がしきい値よりも高ければ処理の非実行を決定してもよい。この場合、走行困難度と運転習熟度との組合せをもとに、処理の非実行を決定するので、決定の精度を向上できる。

【0129】

本支援システムは、発話についての行動モデルに関する処理を実行しており、検出情報入力部には、発話についての検出情報が入力され、取得部は、行動モデルの精度に影響を与えうる１つ以上の情報として、発話の内容、発話の話者、行動モデルの処理位置のうちの少なくとも１つの情報を取得してもよい。この場合、発話の内容、発話の話者、行動モデルの処理位置のうちの少なくとも１つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

【0130】

取得部は、発話の内容を取得し、決定部は、取得部において取得した発話の内容が予定外であれば、処理の非実行を決定してもよい。この場合、発話の内容が予定外であれば処理の非実行を決定するので、発話の内容が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0131】

取得部は、発話の話者を認識し、決定部は、取得部において認識した発話の話者が予定外であれば、処理の非実行を決定してもよい。この場合、発話の話者が予定外であれば処理の非実行を決定するので、発話の話者が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0132】

取得部は、行動モデルの処理位置を取得し、決定部は、取得部において取得した行動モデルの処理位置が発話位置からネットワークを介して離れていなければ、処理の非実行を決定してもよい。この場合、行動モデルの処理位置が発話位置からネットワークを介して離れていなければ処理の非実行を決定するので、行動モデルの処理位置が発話位置からネットワークを介して離れていることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0133】

本支援システムは、機器に対する行動モデルに関する処理を実行しており、検出情報入力部には、機器に対する検出情報が入力され、取得部は、行動モデルの精度に影響を与えうる１つ以上の情報として、機器の操作内容、機器の近傍の人の存在、機器を操作した人の感情のうちの少なくとも１つの情報を取得してもよい。この場合、機器の操作内容、機器の近傍の人の存在、機器を操作した人の感情のうちの少なくとも１つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

【0134】

取得部は、機器の操作内容を取得し、決定部は、取得部において取得した機器の操作内容が予定外であれば、処理の非実行を決定してもよい。この場合、機器の操作内容が予定外であれば処理の非実行を決定するので、機器の操作内容が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0135】

取得部は、機器の近傍の人の存在を認識し、決定部は、取得部において認識した人の存在が不在であれば、処理の非実行を決定してもよい。この場合、人の存在が不在であれば処理の非実行を決定するので、人の存在が不在であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0136】

取得部は、機器を操作した人の感情を取得し、決定部は、取得部において取得した人の感情が不満足であれば、処理の非実行を決定してもよい。この場合、人の感情が不満足であれば処理の非実行を決定するので、人の感情が不満足であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

【0137】

処理部における処理は、行動モデルを学習させる学習処理であり、処理部は、入力パラメータによって行動モデルを構築してもよい。この場合、学習を実行か否かを決定するので、学習に適さない状況における学習の実行を抑制できる。

【0138】

処理部における処理は、行動を推定する推定処理であり、処理部は、入力データを行動モデルに入力するとともに、行動モデルからの出力を行動として取得してもよい。この場合、推定を実行か否かを決定するので、推定に適さない状況における推定の実行を抑制できる。

【0139】

処理部における処理は、行動モデルを学習させる学習処理と、行動を推定する推定処理であり、処理部は、学習処理を実行する場合、入力パラメータによって行動モデルを構築し、推定処理を実行する場合、入力データを行動モデルに入力するとともに、行動モデルからの出力を行動として取得してもよい。この場合、学習および推定を実行か否かを決定するので、学習および推定に適さない状況における学習および推定の実行を抑制できる。

【0140】

本開示の別の態様もまた、支援装置である。この装置は、行動モデルに関する処理を実行する支援装置であって、検出情報が入力される検出情報入力部と、検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる１つ以上の情報を取得する取得部と、取得部において取得した１つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備える。処理部は、決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とする。

【0141】

この態様によると、行動モデルの精度に影響を与えうる１つ以上の情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

【0142】

本開示のさらに別の態様は、支援方法である。この方法は、行動モデルに関する処理を実行する支援方法であって、検出情報が入力されるステップと、入力された検出情報をもとに、行動モデルの精度に影響を与えうる１つ以上の情報を取得するステップと、取得した１つ以上の情報をもとに、処理を実行するか否かを決定するステップと、処理の実行を決定した場合、行動モデルに関する処理を実行するステップと、処理の非実行を決定した場合、行動モデルに関する処理を非実行とするステップと、を備える。

【0143】

以上、本開示を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

【0144】

実施の形態１から３において、処理部６４は、学習部８０あるいは推定部８６を含む。しかしながらこれに限らず例えば、処理部６４は、学習部８０および推定部８６を含んでもよい。この場合、処理部６４は、学習処理および推定処理を実行する。処理部６４は、処理部４６４、処理部６６４であってもよく、学習部８０は、学習部４８０、学習部６８０であってもよく、推定部８６は、推定部４８６、推定部６８６であってもよい。本変形例によれば、学習および推定を実行か否かを決定するので、学習および推定に適さない状況における学習および推定の実行を抑制できる。

【0145】

実施の形態１において、運転行動モデル８４の学習、推定が実行される。行動は、運転行動でもよいし、運転外行動でもよい。例えば、運転外行動とは、車載機器の操作や、自動運転レベル３で許可される第二タスク（運転を第一タスクと定義し、運転以外のテキストを読む行動など何を第二タスクとして許可するかは今後決定される）である。運転行動以外の行動を推定する場合は、車載機器から取得する温度調整量、音量調整量、エアコン操作量などの時系列データが処理に使用される。例えば、運転者の眠気が高いとき、音量を調整しようとして、不意に音量を最大に調整してしまうこともあり得る。この場合は学習しないとすることで、意図しない誤操作の学習を抑制できる。これら運転行動外の行動にも適用することにより、運転が未熟、走行環境が走行困難、眠気があるような運転外行動が意図したように行えないような状況における運転外行動の学習を抑制し、同様の状況において不適切な運転外行動の推定に基づき、運転外行動の支援をしないように、運転外行動の適切な学習と推定が行える。例えば、運転が未熟あるいは走行環境が走行困難であるが、無理に手を伸ばして、あるいは普段操作するのとは異なる指などで窓を開ける操作をしたことを学習しないよう抑制すれば、同様の状況のときに窓を開ける操作を推定して自動で窓を開けて、運転に集中すべきときに、運転に集中できなくなるような事態を防ぐことができる。上記運転行動と運転外行動を合わせて、行動と呼ぶ。運転行動モデルと運転外行動モデルを合わせて、行動モデルと呼ぶ。支援装置は、自動運転のために行動モデルを学習させること、行動モデルをもとに行動を推定することの少なくとも一方を実行する。

【符号の説明】

【0146】

２ 報知装置、 ２ａ ヘッドアップディスプレイ、 ２ｂ センタディスプレイ、 ４ 入力装置、 ４ａ 第１操作部、 ４ｂ 第２操作部、 ４ｃ 第３操作部、 ６ スピーカ、 ８ 無線装置、 １０ 運転操作部、 １１ ステアリング、 １２ ブレーキペダル、 １３ アクセルペダル、 １４ ウィンカスイッチ、 ２０ 検出部、 ２１ 位置情報取得部、 ２２ センサ、 ２３ 速度情報取得部、 ２４ 地図情報取得部、 ２５ 走行環境センサ、 ２６ 監視センサ、 ２７ 車両情報センサ、 ３０ 自動運転制御装置、 ３１ 制御部、 ３２ 記憶部、 ３３ Ｉ／Ｏ部、 ４０ 運転支援装置、 ４１ 制御部、 ４２ 記憶部、 ４３ Ｉ／Ｏ部、 ５０ 操作信号入力部、 ５１ 画像・音声出力部、 ５２ 検出情報入力部、 ５３ コマンドＩＦ、 ５４ 行動情報入力部、 ５５ コマンド出力部、 ５６ 通信ＩＦ、 ６０ 取得部、 ６２ 決定部、 ６４ 処理部、 ７０ 走行困難度取得部、 ７２ 覚醒度取得部、 ７４ 運転習熟度取得部、 ８０ 学習部、 ８２ 教師付けデータ、 ８４ 運転行動モデル、 ８６ 推定部、 ８８ 推定値、 ９０ 入力パラメータ、 ９２ 入力データ、 １００ 車両。

【産業上の利用可能性】

【0147】

本開示によれば、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】