特開 2023-110269 車載装置および車載装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023110269

(43)【公開日】2023-08-09

(54)【発明の名称】車載装置および車載装置の制御方法

(51)【国際特許分類】

   B60W 50/14 20200101AFI20230802BHJP

   B60W 50/12 20120101ALI20230802BHJP

   B60W 40/08 20120101ALI20230802BHJP

   G08G 1/16 20060101ALI20230802BHJP

   G08G 1/09 20060101ALI20230802BHJP

【ＦＩ】

B60W50/14

B60W50/12

B60W40/08

G08G1/16 C

G08G1/09 D

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022011616

(22)【出願日】2022-01-28

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】谷 泰司

(72)【発明者】

【氏名】室井 亜希子

(72)【発明者】

【氏名】中村 文武

(72)【発明者】

【氏名】寺田 洋平

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA31

3D241BA60

3D241CE05

3D241DA13Z

3D241DA23Z

3D241DA39Z

3D241DA52Z

3D241DB02Z

3D241DB05Z

3D241DC35Z

3D241DC39Z

3D241DC50Z

3D241DD02Z

5H181AA01

5H181CC04

5H181FF10

5H181LL01

5H181LL02

5H181LL04

5H181LL06

(57)【要約】

【課題】運転者のアクセルに対する誤操作の検知性能について適切な通知を行うことができる車載装置および車載装置の制御方法を提供する。
【解決手段】実施形態の一態様に係る車載装置においては、制御部を有する。制御部は、車両の室内の様子を撮像した車内画像に基づいて運転者の動作を検出する。制御部は、車両の状況を示す状況情報に基づいて車両の発進が禁止される発進禁止状況であるか否かを判定する。制御部は、検出した運転者の動作がアクセルを操作するアクセル動作であり、かつ、車両が発進禁止状況であると判定された場合、運転者の動作がアクセルの誤操作であることを検知する。制御部は、運転者の動作の検出が不可であった場合、アクセルの誤操作の検知が不可であることを通知する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

制御部を有する車載装置であって、
前記制御部は、
車両の室内の様子を撮像した車内画像に基づいて運転者の動作を検出し、
前記車両の状況を示す状況情報に基づいて前記車両の発進が禁止される発進禁止状況であるか否かを判定し、
検出した前記運転者の動作がアクセルを操作するアクセル動作であり、かつ、前記車両が前記発進禁止状況であると判定された場合、前記運転者の動作が前記アクセルの誤操作であることを検知し、
前記運転者の動作の検出が不可であった場合、前記アクセルの誤操作の検知が不可であることを通知する、
車載装置。

【請求項2】

前記制御部は、
前記車内画像に基づいて前記運転者の運転時の特性を前記運転者の動作として検出し、
検出した前記運転時の特性が前記アクセル動作を示す特性であり、かつ、前記車両が前記発進禁止状況であると判定された場合、前記運転者の動作が前記アクセルの誤操作であることを検知する、
請求項１に記載の車載装置。

【請求項3】

前記運転時の特性は、前記運転者の運転姿勢の特性を含む、
請求項２に記載の車載装置。

【請求項4】

前記制御部は、
前記車内画像に基づいて前記運転者の足部の動作を検出し、
検出した前記足部の動作が前記アクセル動作であり、かつ、前記車両が前記発進禁止状況であると判定された場合、前記足部の動作が前記アクセルの誤操作であることを検知する、
請求項１～３のいずれか一つに記載の車載装置。

【請求項5】

前記制御部は、
前記車内画像に基づいて前記運転者の大腿部の動作を検出し、
検出した前記大腿部の動作が前記アクセル動作であり、かつ、前記車両が前記発進禁止状況であると判定された場合、前記大腿部の動作が前記アクセルの誤操作であることを検知する、
請求項４に記載の車載装置。

【請求項6】

前記制御部は、
前記車両の外部の様子を撮像した車外画像を前記状況情報として取得し、取得した前記車外画像に基づいて前記発進禁止状況であるか否かを判定する、
請求項１～５のいずれか一つに記載の車載装置。

【請求項7】

車載装置の制御方法であって、
車両の室内の様子を撮像した車内画像に基づいて運転者の動作を検出し、
前記車両の状況を示す状況情報に基づいて前記車両の発進が禁止される発進禁止状況であるか否かを判定し、
検出した前記運転者の動作がアクセルを操作するアクセル動作であり、かつ、前記車両が前記発進禁止状況であると判定された場合、前記運転者の動作が前記アクセルの誤操作であることを検知し、
前記運転者の動作の検出が不可であった場合、前記アクセルの誤操作の検知が不可であることを通知する、
車載装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載装置および車載装置の制御方法に関する。

【背景技術】

【0002】

従来、車両の室内の座席に着座した人物における足の爪先位置を推定する技術が提案されている（例えば、特許文献１参照）。従来技術にあっては、車両の室内カメラによって撮像された車内画像から足の爪先位置を推定するようにしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０６８０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、近年、運転者のアクセルに対する誤操作（例えば踏み間違い）を検知して通知することが望まれている。しかしながら、従来技術には、運転者のアクセルに対する誤操作の検知性能について適切な通知を行うという点で、改善の余地があった。

【0005】

本発明は、上記に鑑みてなされたものであって、運転者のアクセルに対する誤操作の検知性能について適切な通知を行うことができる車載装置および車載装置の制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決し、目的を達成するために、本発明は、車載装置において、制御部を有する。前記制御部は、車両の室内の様子を撮像した車内画像に基づいて運転者の動作を検出する。前記制御部は、前記車両の状況を示す状況情報に基づいて前記車両の発進が禁止される発進禁止状況であるか否かを判定する。前記制御部は、検出した前記運転者の動作がアクセルを操作するアクセル動作であり、かつ、前記車両が前記発進禁止状況であると判定された場合、前記運転者の動作が前記アクセルの誤操作であることを検知する。前記制御部は、前記運転者の動作の検出が不可であった場合、前記アクセルの誤操作の検知が不可であることを通知する。

【発明の効果】

【0007】

本発明によれば、運転者のアクセルに対する誤操作の検知性能について適切な通知を行うことができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態に係る制御方法の概要を示す図である。

【図1B】図１Ｂは、実施形態に係る制御方法の概要を示す図である。

【図1C】図１Ｃは、実施形態に係る制御方法の概要を示す図である。

【図1D】図１Ｄは、実施形態に係る制御方法の概要を示す図である。

【図2】図２は、車載装置を備えた車両システムの構成例を示すブロック図である。

【図3】図３は、アクセル動作情報の一例を示す図である。

【図4】図４は、運転時特性情報の一例を示す図である。

【図5】図５は、アクセルの誤操作の通知例を示す図である。

【図6】図６は、アクセルの誤操作の検知が不可であることの通知例を示す図である。

【図7】図７は、車載装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する車載装置および車載装置の制御方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

＜車載装置の制御方法の概要＞
以下では先ず、実施形態に係る車載装置の制御方法の概要について図１Ａ～図１Ｄを参照して説明する。図１Ａ～図１Ｄは、実施形態に係る制御方法の概要を示す図である。

【0011】

図１Ａに示すように、車載装置１０は、自動車などの車両Ｃに搭載される。なお、車載装置１０としては、例えばドライブレコーダを用いることができる。

【0012】

車載装置１０は、車内カメラ１１を備える。車内カメラ１１は、車両Ｃの室内Ｃ１の様子を撮像する。なお、車載装置１０は、車両Ｃの外部の様子を撮像する車外カメラ１２（図２参照）を備えてもよい。

【0013】

車載装置１０は、車内カメラ１１によって撮像された車内画像に基づいて運転者Ｄの足部Ｄａの動作を検出する（ステップＳ１）。例えば、車載装置１０は、車内画像を解析して運転者Ｄの足部Ｄａ（詳しくは大腿部Ｄａ１）を検出し、検出した足部Ｄａ（大腿部Ｄａ１）の動作を検出する。

【0014】

ここで、車内画像について図１Ｂを参照して説明する。図１Ｂは、車内カメラ１１によって撮像された車内画像Ａであり、詳しくは車両Ｃの室内Ｃ１の様子を示す車内画像Ａである。

【0015】

図１Ｂに示すように、車内画像Ａには、車両の運転者Ｄの足部Ｄａが含まれ、詳しくは運転者Ｄの大腿部Ｄａ１が含まれる。本実施形態に係る車載装置１０にあっては、かかる足部Ｄａの動作を検出することで、運転者Ｄがアクセル１００（図１Ａ参照）を操作するアクセル動作を検出する。

【0016】

具体的に説明すると、運転者Ｄの足部Ｄａの位置は、ブレーキを操作しているときと、アクセル１００を操作しているときとでは異なる。すなわち、足部Ｄａ（例えば大腿部Ｄａ１）がブレーキを操作している（踏み込んでいる）状態から、アクセル１００を操作する（踏み込む）状態へ移行する際、足部Ｄａの位置はブレーキ側からアクセル１００側へ移動する。

【0017】

なお、ここでは、ブレーキは運転者Ｄから見て左側（すなわち図１Ｂで右側）に配置され、アクセル１００は運転者Ｄから見て右側（すなわち図１Ｂで左側）に配置されるものとする。また、図１Ｂでは、ブレーキを操作している状態の足部Ｄａ（大腿部Ｄａ１）を実線で示し、アクセル１００を操作している状態の足部Ｄａ（大腿部Ｄａ１）を破線で示している。

【0018】

従って、本実施形態に係る車載装置１０にあっては、車内画像Ａに基づいて、足部Ｄａがブレーキ操作時の位置からアクセル操作時の位置に移動するような足部Ｄａの動作が検出された場合、かかる足部Ｄａの動作をアクセル動作として検出する。なお、足部Ｄａがブレーキ操作時の位置から移動していなくても、単にアクセル操作時の位置に足部Ｄａがある状態を検出してアクセル動作を検出することも含む。

【0019】

図１Ａの説明を続けると、車載装置１０は、車両Ｃが発進禁止状況であるか否かを判定する（ステップＳ２）。発進禁止状況は、車両Ｃの発進が禁止される状況である。一例として、発進禁止状況は、車両Ｃの進行方向に存在する信号機の表示状態が車両Ｃの停止を指示する表示状態（例えば赤信号）である状況や、車両Ｃから車両Ｃの周囲に存在する物体（例えば前方車両や壁など）までの距離が比較的短い状況などであるが、これらは例示であって限定されるものではない。なお、発進禁止状況の判定は、例えば車外カメラ１２（図２参照）によって撮像された車外画像などに基づいて行われるが、これについては後述する。

【0020】

そして、車載装置１０は、検出した足部Ｄａの動作がアクセル動作であり、かつ、車両Ｃが発進禁止状況であると判定されると（ステップＳ３）、検出した足部Ｄａの動作がアクセル１００の誤操作であることを検知する（ステップＳ４）。すなわち、車両Ｃが発進してはいけない状況（発進禁止状況）であるにもかかわらず、運転者Ｄがアクセル動作を行っているため、車載装置１０は、足部Ｄａの動作をアクセル１００の誤操作として検知する。

【0021】

このように、本実施形態にあっては、車内画像Ａに基づいて検出された運転者Ｄの足部Ｄａの動作と、車両Ｃの状況（発進禁止状況か否か）とを用いることで、運転者Ｄのアクセル１００に対する誤操作を精度良く検知することができる。

【0022】

次いで、車載装置１０は、足部Ｄａの動作がアクセルの誤操作であることを検知した場合、運転者にアクセルの誤操作の通知を行う（ステップＳ５）。このように、本実施形態にあっては、アクセルの誤操作の通知を行うことで、運転者Ｄに対して、アクセル１００の誤操作を認識させることが可能になる。なお、アクセルの誤操作の通知は、例えば車載装置１０のスピーカやディスプレイなどの出力部１４（図２参照）を介して行われるが、これに限定されるものではない。

【0023】

また、本実施形態に係る車載装置１０はさらに、アクセル１００の誤操作の検知および通知を、車両Ｃの移動状態に応じて行うようにしてもよい。例えば、車載装置１０は、車両Ｃが移動しているとき（正確には車両Ｃが移動を開始したとき（動き出したとき））、アクセル１００の誤操作の検知および通知を行うようにしてもよい。これにより、運転者Ｄのアクセル１００に対する誤操作を精度良く検知して通知することができる。

【0024】

具体的に説明すると、車載装置１０は、車両Ｃの移動状態を示す移動情報に基づいて車両Ｃが移動しているか否かを判定する。移動情報としては、例えば車内画像Ａを用いることができる。

【0025】

ここで、移動情報として用いられる車内画像Ａについて図１Ｃを参照して説明する。図１Ｃに示すように、車内画像Ａには、運転席１１０の窓１１１や助手席１２０の窓１２１に車両Ｃの外部の様子が含まれる場合がある。そこで、車載装置１０は、車内画像Ａにおける車両Ｃの外部の様子に基づいて車両Ｃが移動しているか否かを判定する。

【0026】

例えば、車両Ｃの外部には、車道あるいは車道に沿って設けられるガードレール、標識、車線、歩道、広告など、車内画像Ａを解析したときに特徴点となる各種の物体が存在する。従って、車載装置１０は、車内画像Ａを解析して（例えばオプティカルフロー解析して）車両Ｃの外部に存在する物体の特徴点を検出し、かかる特徴点が移動した場合に、車両Ｃが移動していると判定することができる。なお、上記では、移動情報として車内画像Ａを用いる例を示したが、これに限られず、例えば車外画像や、車両Ｃから送信される信号（例えば車速を示す信号やアクセル１００の操作量を示す信号など）を用いてもよい。

【0027】

そして、車載装置１０は、検出した足部Ｄａの動作がアクセル動作であり、車両Ｃが発進禁止状況であると判定され、かつ、車両Ｃが移動していると判定された場合、足部Ｄａの動作がアクセル１００の誤操作であることを検知して通知する。すなわち、車両Ｃが発進してはいけない状況（発進禁止状況）であるにもかかわらず、運転者Ｄがアクセル動作を行っており、さらに車両Ｃが移動しているため（動き出しているため）、車載装置１０は、足部Ｄａの動作をアクセル１００の誤操作として検知して通知する。

【0028】

このように、車載装置１０は、車内画像Ａに基づいて検出された運転者Ｄの足部Ｄａの動作と、車両Ｃの状況（発進禁止状況か否か、および、車両Ｃが移動しているか否か）を用いることで、運転者Ｄのアクセル１００に対する誤操作を精度良く検知して通知することができる。

【0029】

ところで、上記において、車載装置１０は、車内画像Ａに基づいて運転者Ｄの足部Ｄａの動作を検出するようにしたが、例えば運転者Ｄの服装や運転姿勢によっては足部Ｄａの動作を検出できないことがある。これについて、図１Ｄを参照しつつ説明する。

【0030】

図１Ｄに示すように、運転者Ｄが例えばスカートＥや裾の長い上着など足部Ｄａ（詳しくは大腿部Ｄａ１。図１Ｄで見えず）が隠れるような服装である場合、車載装置１０は、車内画像Ａに基づいて足部Ｄａを検出できない。そのため、車載装置１０は、足部Ｄａの動作を検出することができない。また、図示は省略するが、運転者Ｄの運転姿勢が例えば足部Ｄａ（大腿部Ｄａ１）に覆いかぶさるような姿勢である場合、同様に、車載装置１０は、車内画像Ａに基づいて足部Ｄａを検出できず、結果として足部Ｄａの動作を検出することができない。

【0031】

このように、足部Ｄａの動作が検出されない場合、車載装置１０は、運転者のアクセルに対する誤操作を検知することができない。

【0032】

そこで、本実施形態に係る車載装置１０にあっては、図１Ａに示すように、運転者Ｄの足部Ｄａの動作を検出することができない場合、言い換えると、足部Ｄａの動作の検出が不可である場合、アクセルの誤操作の検知が不可であることを通知する（ステップＳ６）。すなわち、車載装置１０は、足部Ｄａの動作の検出が不可であるため、アクセルの誤操作を検知する機能が十分に機能しないことを運転者Ｄに予め通知する。

【0033】

このように、本実施形態に係る車載装置１０は、運転者Ｄの足部Ｄａの動作を検出することができない場合に、アクセルの誤操作の検知が不可であることを通知することで、運転者Ｄに対し、アクセルの誤操作の検知性能について適切な通知を行うことができる。これにより、本実施形態にあっては、車載装置１０においてアクセルの誤操作の検知性能が十分に機能しないことを、運転者Ｄに対して予め認識させることが可能になる。

【0034】

なお、上記では、車載装置１０は運転者Ｄの足部Ｄａの動作を検出し、検出した足部Ｄａの動作に基づいてアクセル動作を検出するようにしたが、これに限定されるものではない。すなわち、車載装置１０は、アクセル動作を検出できれば、どのような運転者Ｄの動作であってもよい。具体的には、車両Ｃにあっては、例えば身体障害者用として手動でアクセルを操作する車種がある。かかる車種の場合、車載装置１０は、車内画像Ａを解析して運転者Ｄの腕部または手部の動作を検出し、検出した腕部または手部の動作に基づいてアクセル動作を検出することができる。

【0035】

従って、上記した運転者Ｄの足部Ｄａの動作や、腕部または手部の動作は、運転者Ｄの動作の一例である。すなわち、車載装置１０は、車内画像Ａに基づいて運転者の動作（ここでは足部Ｄａ、腕部や手部の動作）を検出し、検出した運転者の動作がアクセル動作であり、かつ、車両が発進禁止状況であると判定された場合、運転者の動作がアクセルの誤操作であることを検知して通知することができる。また、車載装置１０は、運転者の動作（ここでは足部Ｄａ、腕部や手部の動作）の検出が不可であった場合、アクセルの誤操作の検知が不可であることを通知することができる。

【0036】

また、上記したように、車載装置１０は、車内カメラ１１の車内画像Ａなどを用いてアクセル１００の誤操作を検知できることから、例えば完成した車両Ｃに対して後付けで容易に取り付けることができる。

【0037】

＜車両システムの構成＞
次に、実施形態に係る車載装置１０を備えた車両システムの構成について、図２を用いて説明する。図２は、車載装置１０を備えた車両システム１の構成例を示すブロック図である。なお、図２のブロック図では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0038】

換言すれば、図２のブロック図に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0039】

図２に示すように、車両システム１は、車載装置１０と、車両センサ群４０とを備える。車両センサ群４０は、車両に搭載され、車両に関する車両情報を出力する。詳しくは、車両センサ群４０には、車両に関する各種の状態（状況）を示す信号を出力する各種センサが含まれる。例えば、車両センサ群４０には、車速センサ４１、アクセルセンサ４２、ブレーキセンサ４３、移動距離センサ４４およびシフトセンサ４５が含まれる。

【0040】

車速センサ４１は、車両の車速を示す信号を出力する。アクセルセンサ４２は、アクセル（正確にはアクセルペダル）の操作量を示す信号を出力する。ブレーキセンサ４３は、ブレーキ（正確にはブレーキペダル）の操作量を示す信号を出力する。移動距離センサ４４は、車両の始動距離を示す信号を出力する。シフトセンサ４５は、シフトレバーのポジションを示す信号を出力する。上記した車速センサ４１などを含む車両センサ群４０の各信号は、車載装置１０へ送信される。

【0041】

なお、車両センサ群４０は、上記した各種センサに限定されるものではなく、各種センサに加えて、あるいは代えて、操舵角センサなどその他の種類のセンサを含んでもよい。また、上記では、車両センサ群４０の信号が車載装置１０へ送信されるようにしたが、これに限定されるものではなく、例えば車両センサ群４０の信号が車載装置１０へ送信されない構成であってもよい。

【0042】

車載装置１０は、車内カメラ１１と、車外カメラ１２と、加速度センサ１３と、出力部１４と、制御部２０と、記憶部３０とを備える。

【0043】

車内カメラ１１は、車両の適宜位置に設置され、例えば車両の室内の様子を撮像する。車外カメラ１２は、車両の適宜位置に設置され、例えば車両の外部の様子を撮像する。別言すれば、車外カメラ１２は、車両の前方など車両の周辺を撮像する。車内カメラ１１は撮像した車内画像を制御部２０へ出力し、車外カメラ１２は撮像した車外画像を制御部２０へ出力する。

【0044】

なお、車内カメラ１１および車外カメラ１２は、例えばレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えたカメラであるが、これに限定されるものではない。

【0045】

加速度センサ１３は、車両に作用する加速度を検出し、検出した加速度を示す信号を制御部２０へ出力する。出力部１４は、例えば運転者のアクセルに対する誤操作を検知した場合の通知、アクセルの誤操作の検知が不可であることの通知など、各種の情報を出力する。例えば、出力部１４は、スピーカなどの音声出力部やディスプレイなどの表示部を含み、通知などの各種の情報を車両の運転者へ出力する。

【0046】

制御部２０は、取得部２１と、検出部２２と、判定部２３と、検知部２４と、通知部２５とを備え、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0047】

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２０の取得部２１、検出部２２、判定部２３、検知部２４および通知部２５として機能する。

【0048】

また、制御部２０の取得部２１、検出部２２、判定部２３、検知部２４および通知部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0049】

記憶部３０は、例えば、不揮発性メモリやデータフラッシュ、ハードディスクドライブといった記憶デバイスで構成される記憶部である。記憶部３０は、アクセル動作情報３１、運転時特性情報３２や、各種プログラムの情報等を記憶することができる。なお、車載装置１０は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

【0050】

アクセル動作情報３１は、運転者のアクセル動作に関する情報である。例えば、アクセル動作情報３１には、運転者の足部の動作がアクセル動作であると判定する処理において、判定の基準となる情報などが含まれる。ここで、図３を用いてアクセル動作情報３１について説明する。図３は、アクセル動作情報３１の一例を示す図である。

【0051】

図３に示すように、アクセル動作情報３１には、「ブレーキ時の位置」および「アクセル時の位置」等の項目が含まれ、各項目は互いに関連付けられている。

【0052】

「ブレーキ時の位置」は、ブレーキを操作している状態の運転者の足部の位置を示す情報であり、詳しくは運転者の大腿部の位置を示す情報である。なお、ブレーキを操作している状態の運転者の足部Ｄａ（大腿部Ｄａ１）の位置は、図１Ｂにおいて実線で示される位置である。

【0053】

上記したアクセル動作情報３１の「ブレーキ時の位置」には、例えばブレーキを操作していると推定されるときの運転者の足部の位置を示す情報が含まれてもよい。すなわち、一例として、運転者がブレーキ操作した状態のときに図示しないブレーキ設定ボタンを押下し、ブレーキ設定ボタンが押下されたときの運転者の足部の位置が「ブレーキ時の位置」として設定（記憶）されてもよい。また、他の例として、運転者に対してブレーキ操作する指示を出力部１４などを介して出力し、そのときの運転者の足部の位置が「ブレーキ時の位置」として設定（記憶）されてもよい。なお、上記した「ブレーキ時の位置」の設定手法は、あくまでも例示であって限定されるものではなく、任意の手法を用いることができる。

【0054】

「アクセル時の位置」は、アクセルを操作している状態の運転者の足部の位置を示す情報であり、詳しくは運転者の大腿部の位置を示す情報である。なお、アクセルを操作している状態の運転者の足部Ｄａ（大腿部Ｄａ１）の位置は、図１Ｂにおいて破線で示される位置である。

【0055】

上記したアクセル動作情報３１の「アクセル時の位置」には、例えばアクセルを操作していると推定されるときの運転者の足部の位置を示す情報が含まれてもよい。すなわち、一例として、運転者がアクセル操作した状態のときに図示しないアクセル設定ボタンを押下し、アクセル設定ボタンが押下されたときの運転者の足部の位置が「アクセル時の位置」として設定（記憶）されてもよい。また、他の例として、運転者に対してアクセル操作する指示を出力部１４などを介して出力し、そのときの運転者の足部の位置が「アクセル時の位置」として設定（記憶）されてもよい。なお、上記した「アクセル時の位置」の設定手法は、あくまでも例示であって限定されるものではなく、任意の手法を用いることができる。

【0056】

上記したアクセル動作情報３１は、記憶部３０に予め記憶されるが、これに限定されるものではない。すなわち、例えば車両の運転中に、アクセル時あるいはブレーキ時における足部（大腿部）の位置の傾向について機械学習モデルを用いた学習が行われ、学習結果に応じたアクセル動作情報３１が記憶部３０に記憶されてもよい。

【0057】

図３に示す例において、ブレーキ時の位置が「Ｆ１」、アクセル時の位置が「Ｇ１」であることを示している。なお、図３に示す例では、便宜上、ブレーキ時の位置を「Ｆ１」、アクセル時の位置を「Ｇ１」といったように抽象的な記載とするが、「Ｆ１」、「Ｇ１」には具体的な情報が記憶されるものとする。以下、他の情報についても抽象的に記載する場合がある。

【0058】

図２の説明に戻ると、運転時特性情報３２は、運転者の運転時の特性に関する情報である。この運転者の運転時の特性とは、例えば運転者の運転時の癖や運転姿勢などであるが、これに限定されるものではない。運転時特性情報３２には、後述するように、運転時の特性がアクセル動作を示す特性であると判定する処理において、判定の基準となる情報などが含まれる。ここで、図４を用いて運転時特性情報３２について説明する。図４は、運転時特性情報３２の一例を示す図である。

【0059】

図４に示すように、運転時特性情報３２には、「アクセル時の特性」等の項目が含まれる。「アクセル時の特性」は、アクセルを操作しているときの運転者の特性（例えば癖や運転姿勢）を示す情報である。例えば、「アクセル時の特性」には、アクセル操作時に体や首などの姿勢がアクセル側に傾く、アクセル側とは反対側に傾く、前かがみになる、後ろに反る、肩が上がる、肩が下がるなどであるが、これらはあくまでも例示であって限定されるものではない。

【0060】

上記した運転時特性情報３２の「アクセル時の特性」には、例えばアクセルを操作していると推定されるときの運転者の特性を示す情報が含まれてもよい。すなわち、一例として、運転者がアクセル操作した状態のときに図示しないアクセル設定ボタンを押下し、アクセル設定ボタンが押下されたときの運転者の特性（癖や運転姿勢）が「アクセル時の特性」として設定（記憶）されてもよい。また、他の例として、運転者に対してアクセル操作する指示を出力部１４などを介して出力し、そのときの運転者の特性（癖や運転姿勢）が「アクセル時の特性」として設定（記憶）されてもよい。なお、上記した「アクセル時の特性」の設定手法は、あくまでも例示であって限定されるものではなく、任意の手法を用いることができる。

【0061】

上記した運転時特性情報３２は、記憶部３０に予め記憶されるが、これに限定されるものではない。すなわち、例えば車両の運転中に、アクセル時あるいはブレーキ時における運転者の特性（癖や運転姿勢）の傾向について機械学習モデルを用いた学習が行われ、学習結果に応じた運転時特性情報３２が記憶部３０に記憶されてもよい。

【0062】

図４に示す例において、アクセル時の特性が「Ｈ１」であることを示している。なお、アクセル時の特性を示す情報は、１つであっても、複数であってもよい。

【0063】

図２の説明に戻ると、制御部２０の取得部２１は、各種の画像や情報、信号などを取得する。例えば、取得部２１は、車内カメラ１１から車内画像を取得する。また、取得部２１は、車内画像に車両の外部の様子が含まれる場合、当該車内画像を車両の移動状態を示す移動情報として取得する。すなわち、車内画像には、上記したように運転席１１０の窓１１１や助手席１２０の窓１２１（図１Ｃ参照）に車両の外部の様子が含まれる場合があり、かかる場合に車内画像を移動情報として取得する。取得部２１は、取得した車内画像を検出部２２や判定部２３などへ出力する。

【0064】

また、取得部２１は、車外カメラ１２から車外画像を取得する。また、取得部２１は、車外画像を車両の状況を示す状況情報として取得する。かかる状況情報（車外画像）は、車両が発進禁止状況であるか否かを判定する処理に用いられる情報であるが、これについては後述する。

【0065】

また、取得部２１は、車外画像を移動情報として取得してもよい。すなわち、例えば車内画像に上記したような車両の外部の様子が含まれない場合、取得部２１は、車内画像に代えてあるいは加えて、車外画像を移動情報として取得してもよい。取得部２１は、取得した車外画像を検出部２２や判定部２３などへ出力する。

【0066】

また、取得部２１は、車両から送信された信号である車両センサ群４０の信号を移動情報として取得してもよい。すなわち、例えば車内画像に上記したような車両の外部の様子が含まれない場合、取得部２１は、車内画像に代えてあるいは加えて、車両センサ群４０の信号を移動情報として取得してもよい。取得部２１は、取得した車両センサ群４０の信号を検出部２２や判定部２３などへ出力する。

【0067】

また、取得部２１は、取得した車内画像および車外画像を車両の運行記録として記憶部３０に記憶してもよい。また、取得部２１は、加速度センサ１３の出力に基づいて車両の急ブレーキ、急加速、急ハンドル、接触事故による衝撃などを検知した場合、検知前後の所定時間分の車内画像および車外画像のデータについて上書きを禁止する処理を行ってもよい。

【0068】

検出部２２は、車内画像に基づいて運転者の動作を検出する、例えば車内画像に基づいて運転者の足部の動作を検出する。例えば、検出部２２は、車内画像を解析して運転者の足部（詳しくは大腿部（太もも部分））を検出する。そして、検出部２２は、検出した足部（大腿部）の動作を検出する。なお、上記では、検出部２２は、運転者の足部のうち大腿部を検出するようにしたが、これに限定されるものではなく、大腿部に加えてあるいは代えて、例えば膝部や下腿部などを検出してもよい。

【0069】

また、検出部２２は、検出した足部（大腿部）の動作と、アクセル動作情報３１とに基づいて、運転者の足部の動作がアクセル動作であるか否かを判定する。例えば、検出部２２は、車内画像から検出した足部が、アクセル動作情報３１におけるブレーキ操作時の位置からアクセル操作時の位置に移動するような動作である場合、検出した足部（大腿部）の動作はアクセル動作であると判定する、すなわち足部（大腿部）の動作をアクセル動作として検出する。逆に、検出部２２は、車内画像から検出した足部が、アクセル動作情報３１におけるブレーキ操作時の位置からアクセル操作時の位置に移動するような動作ではない場合、検出した足部の動作はアクセル動作ではないと判定する、すなわち足部の動作をアクセル動作として検出しない。検出部２２は、検出結果を示す情報を検知部２４へ出力する。

【0070】

また、検出部２２は、車内画像に基づいて運転者の運転時の特性を運転者の動作として検出してもよい。例えば、検出部２２は、車内画像を解析して運転者の運転姿勢など運転時の特性を検出する。そして、検出部２２は、検出した運転時の特性と、運転時特性情報３２とに基づいて、運転時の特性がアクセル動作を示す特性であるか否かを判定する。例えば、検出部２２は、車内画像から検出した運転時の特性が、運転時特性情報３２に含まれるアクセル時の特性である場合、検出した運転時の特性がアクセル動作を示す特性であると判定する、すなわち運転時の特性をアクセル動作を示す特性として検出する。逆に、検出部２２は、車内画像から検出した運転時の特性が、運転時特性情報３２に含まれるアクセル時の特性ではない場合、検出した運転時の特性がアクセル動作を示す特性ではないと判定する、すなわち運転時の特性をアクセル動作を示す特性として検出しない。検出部２２は、検出結果を示す情報を検知部２４へ出力する。

【0071】

また、検出部２２は、車内画像に基づいて運転者の動作（例えば足部Ｄａの動作）が検出できない場合（図１Ｄ参照）、言い換えると、運転者の動作の検出が不可である場合、動作の検出が不可であったことを示す情報を通知部２５へ出力する。

【0072】

判定部２３は、車両が発進禁止状況であるか否かを判定する処理などを行う。例えば、判定部２３は、車両の状況情報（車外画像）に基づいて車両が発進禁止状況であるか否かを判定する。例えば、判定部２３は、状況情報である車外画像を解析し、車両の進行方向に存在する信号機の表示状態を検出する。そして、判定部２３は、検出された信号機の表示状態が、車両の停止を指示する表示状態（例えば赤信号）である場合、車両は発進してはいけない状況、すなわち発進禁止状況であると判定する。逆に、判定部２３は、検出された信号機の表示状態が、車両の進行を指示する表示状態（例えば青信号）である場合、車両は発進してよい状況（発進可能状況）であると判定する、すなわち発進禁止状況ではないと判定する。判定部２３は、判定結果を示す情報を検知部２４へ出力する。

【0073】

このように、本実施形態にあっては、車外画像に基づいて発進禁止状況であるか否かを判定するようにしたので、車外画像を用いる簡易な構成でありながら、発進禁止状況であるか否かを精度良く判定することができる。

【0074】

また、本実施形態にあっては、車外画像に基づいて信号機の表示状態を検出して発進禁止状況であるか否かを判定するようにしたので、発進禁止状況であるか否かをより精度良く判定することができる。

【0075】

なお、上記では、車両の状況情報に基づいて得られる、信号機の表示状態によって発進禁止状況か否かを判定するようにしたが、これに限定されるものではない。例えば、判定部２３は、状況情報である車外画像を解析し、車両から車両の周囲に存在する物体までの距離を算出する。ここでの物体は、例えば前方車両や壁などであるが、これらに限られない。そして、判定部２３は、算出した距離に基づいて発進禁止状況であるか否かを判定する。例えば、判定部２３は、算出した距離が所定値以下である場合、車両が発進禁止状況であると判定する。なお、上記した所定値は、例えば仮に車両が発進した場合に、車両が物体に接触する可能性があると推定されるような値に設定されるが、これに限られず、任意の値に設定可能である。逆に、判定部２３は、算出した距離が所定値より大きい場合、車両は発進してよい状況（発進可能状況）であると判定する、すなわち発進禁止状況ではないと判定する。

【0076】

このように、本実施形態にあっては、車外画像に基づいて車両の周囲に存在する物体までの距離を算出し、算出した距離に基づいて発進禁止状況であるか否かを判定するようにしたので、発進禁止状況であるか否かをより精度良く判定することができる。

【0077】

また、判定部２３は、車両が移動しているか否かを判定する処理を行う。例えば、判定部２３は、車両の移動状態を示す移動情報に基づいて車両が移動しているか否かを判定する。移動情報としては、上記したように、車内画像、車外画像、車両センサ群４０の信号などを用いることができる。

【0078】

例えば、判定部２３は、車内画像に車両の外部の様子が含まれる場合、車内画像を解析（例えばオプティカルフロー解析）し、車両の外部に存在する物体（例えばガードレールや標識など）の特徴点を検出し、かかる特徴点が移動したときに車両が移動していると判定する。逆に、判定部２３は、車内画像における特徴点が移動しないとき、車両は移動していない、すなわち停止していると判定する。判定部２３は、判定結果を示す情報を検知部２４へ出力する。

【0079】

このように、本実施形態にあっては、車内画像に基づいて車両が移動しているか否かを判定するようにしたので、車内画像を用いる簡易な構成でありながら、車両が移動しているか否かを精度良く判定することができる。

【0080】

また、判定部２３は、車内画像に車両の外部の様子が含まれない場合、車外画像を解析（例えばオプティカルフロー解析）し、車両の外部に存在する物体（例えばガードレールや標識など）の特徴点を検出し、かかる特徴点が移動したときに車両が移動していると判定する。逆に、判定部２３は、車外画像における特徴点が移動しないとき、車両は移動していない、すなわち停止していると判定する。

【0081】

このように、本実施形態にあっては、車外画像に基づいて車両が移動しているか否かを判定するようにしたので、車外画像を用いる簡易な構成でありながら、車両が移動しているか否かを精度良く判定することができる。

【0082】

判定部２３は、車内画像や車外画像に代えてあるいは加えて、車両センサ群４０の信号に基づいて前記車両が移動しているか否かを判定してもよい。一例として、判定部２３は、車両センサ群４０の車速センサ４１から、車両が移動していることを示す車速信号が送信される場合、車両が移動していると判定する。他の例として、判定部２３は、アクセルセンサ４２から、車両が移動していることを示すアクセル信号が送信される場合、車両が移動していると判定する。また、他の例として、判定部２３は、移動距離センサ４４から、車両が移動していることを示す移動距離信号が送信される場合、車両が移動していると判定する。

【0083】

このように、本実施形態にあっては、車両センサ群４０の信号に基づいて、言い換えると、車両から送信された信号に基づいて車両が移動しているか否かを判定するようにしたので、車両センサ群４０の信号を用いる簡易な構成でありながら、車両が移動しているか否かを精度良く判定することができる。

【0084】

検知部２４は、検出部２２による検出結果や、判定部２３による判定結果を示す情報に基づいて、運転者の足部の動作がアクセルの誤操作であることを検知する。

【0085】

例えば、検知部２４は、検出した足部（例えば大腿部）の動作がアクセルを操作するアクセル動作であり、かつ、車両が発進禁止状況であると判定された場合、足部（大腿部）の動作がアクセルの誤操作であることを検知する。すなわち、車両が発進してはいけない発進禁止状況であるにもかかわらず、運転者がアクセル動作を行っていることから、検知部２４は、足部（大腿部）の動作をアクセルの誤操作として検知する。検知部２４は、検知結果を示す情報を通知部２５へ出力する。

【0086】

このように、本実施形態にあっては、車内画像に基づいて検出された運転者の足部（大腿部）の動作と、車両が発進禁止状況であるか否かの判定結果とを用いることで、運転者のアクセルに対する誤操作を精度良く検知することができる。

【0087】

検知部２４はさらに、車両の移動状態に応じてアクセルの誤操作の検知を行ってもよい。例えば、検知部２４は、検出した足部（例えば大腿部）の動作がアクセル動作であり、車両が発進禁止状況であると判定され、かつ、車両が移動していると判定された場合、足部の動作がアクセルの誤操作であることを検知する。すなわち、車両が発進してはいけない発進禁止状況であるにもかかわらず、運転者がアクセル動作を行っており、さらに車両が移動しているため（動き出しているため）、検知部２４は、足部（大腿部）の動作をアクセルの誤操作として検知する。

【0088】

このように、本実施形態にあっては、車内画像に基づいて検出された運転者の足部（大腿部）の動作と、車両が発進禁止状況であるか否かの判定結果と、車両が移動しているか否かの判定結果とを用いることで、運転者のアクセルに対する誤操作を精度良く検知することができる。

【0089】

また、検知部２４は、運転時の特性（例えば運転者の運転姿勢の特性）に基づいてアクセルの誤操作の検知を行ってもよい。例えば、検知部２４は、運転時の特性がアクセル動作を示す特性であり、かつ、車両が発進禁止状況であると判定された場合、運転者の動作がアクセルの誤操作であることを検知する。すなわち、車両が発進してはいけない発進禁止状況であるにもかかわらず、運転者の特性がアクセル動作を示す特性になっているため、検知部２４は、運転者の動作をアクセルの誤操作として検知する。

【0090】

このように、本実施形態にあっては、車内画像に基づいて検出された運転者の運転時の特性（例えば運転者の運転姿勢の特性）と、車両が発進禁止状況であるか否かの判定結果とを用いることで、運転者のアクセルに対する誤操作を精度良く検知することができる。

【0091】

通知部２５は、運転者にアクセルの誤操作の通知を行う。例えば、通知部２５は、足部の動作がアクセルの誤操作であることを検知した場合、運転者に誤操作の通知を行う。具体的には、通知部２５は、出力部１４を介して通知を行う。

【0092】

ここで、出力部１４がディスプレイなどの表示部である場合の通知例について、図５を参照して説明する。図５は、アクセルの誤操作の通知例を示す図である。図５に示すように、出力部１４が表示部である場合、通知部２５は、運転者の足部の動作がアクセルの誤操作であることを示す情報を表示欄２００に表示させる。また、図示は省略するが、出力部１４がスピーカなどの音声出力部である場合、通知部２５は、運転者の足部の動作がアクセルの誤操作であることを示す音声やブザーなどを音声出力部から出力させる。

【0093】

このように、本実施形態にあっては、アクセルの誤操作の通知を行うことで、運転者に対して、アクセルの誤操作を認識させることが可能になる。

【0094】

図２の説明を続けると、通知部２５は、車両のシフト状態に応じて誤操作の通知を禁止してもよい。すなわち、通知部２５は、車両のシフト状態を検出し、検出したシフト状態がドライブ以外である場合、誤操作の通知を禁止してもよい。詳しくは、通知部２５は、検出したシフト状態がドライブ以外である場合、すなわち車両が前進走行しないシフト状態（例えばニュートラル、パーキングなど）の場合、誤操作の通知を禁止してもよい。逆に言えば、通知部２５は、車両のシフト状態がドライブである場合にのみ、誤操作の通知を行ってもよい。

【0095】

これにより、本実施形態にあっては、シフト状態がドライブ以外で車両が前進走行しないときに、アクセルの誤操作の通知が行われないようにすることができる、換言すれば、運転者にとって不要な通知が行われることを抑制することができる。

【0096】

なお、上記した車両のシフト状態の検出は、例えば車内画像に基づいて行われる。すなわち、例えば通知部２５は、車内画像にシフトレバーの画像が含まれる場合、車内画像を解析してシフトレバーの位置を検出し、検出した位置に基づいて車両のシフト状態を検出する。

【0097】

なお、上記では、通知部２５は、車内画像に基づいて車両のシフト状態を検出したが、これに限定されるものではなく、例えば車両センサ群４０のシフトセンサ４５から出力される信号に基づいて車両のシフト状態を検出してもよい。

【0098】

また、通知部２５は、運転者の動作（例えば足部の動作）の検出が不可であった場合、アクセルの誤操作の検知が不可であることを通知する。具体的には、通知部２５は、出力部１４を介して、アクセルの誤操作の検知が不可であることの通知を行う。

【0099】

ここで、出力部１４が表示部である場合の通知例について、図６を参照して説明する。図６は、アクセルの誤操作の検知が不可であることの通知例を示す図である。図６に示すように、出力部１４が表示部である場合、通知部２５は、アクセルの誤操作の検知が不可であることを示す情報を表示欄２１０に表示させる。また、図示は省略するが、出力部１４が音声出力部である場合、通知部２５は、アクセルの誤操作の検知が不可であることを示す音声やブザーなどを音声出力部から出力させる。すなわち、通知部２５は、運転者の動作（足部の動作）の検出が不可であるため、アクセルの誤操作を検知する機能が十分に機能しないことを運転者に予め通知する。

【0100】

このように、本実施形態に係る通知部２５は、運転者の動作を検出することができない場合に、アクセルの誤操作の検知が不可であることを通知することで、運転者に対し、アクセルの誤操作の検知性能について適切な通知を行うことができる。これにより、本実施形態にあっては、車載装置１０においてアクセルの誤操作の検知性能が十分に機能しないことを、運転者に対して予め認識させることが可能になる。

【0101】

＜車載装置の制御処理＞
次に、車載装置１０における具体的な処理手順の一例について図７を用いて説明する。図７は、車載装置１０が実行する処理手順を示すフローチャートである。

【0102】

図７に示すように、車載装置１０の制御部２０は、アクセル動作情報３１を記憶部３０に記憶する（ステップＳ１０）。例えば、制御部２０は、ブレーキを操作している状態の運転者の足部の位置を示す情報である「ブレーキ時の位置」、アクセルを操作している状態の運転者の足部の位置を示す情報である「アクセル時の位置」などをアクセル動作情報３１として予め記憶する。

【0103】

そして、制御部２０は、ステップＳ１１以降においてアクセルの誤操作検知処理などを実行する。例えば、制御部２０は、車内カメラ１１から車内画像を取得し、車外カメラ１２から車外画像を取得する（ステップＳ１１）。

【0104】

次いで、制御部２０は、車内画像に基づいて運転者の動作（足部の動作）を検出する（ステップＳ１２）。次いで、制御部２０は、車内画像に基づいて運転者の動作（足部の動作）を検出できたか否かを判定する（ステップＳ１３）。制御部２０は、運転者の動作を検出できたと判定された場合（ステップＳ１３，Ｙｅｓ）、アクセル動作情報３１などに基づき、検出した運転者の動作（足部の動作）がアクセル動作であるか否かを判定する（ステップＳ１４）。

【0105】

制御部２０は、運転者の動作（足部の動作）がアクセル動作ではないと判定された場合（ステップＳ１４，Ｎｏ）、以降の処理をスキップする。一方、制御部２０は、運転者の動作（足部の動作）がアクセル動作であると判定された場合（ステップＳ１４，Ｙｅｓ）、車外画像などに基づいて、車両が発進禁止状況であるか否かを判定する（ステップＳ１５）。

【0106】

制御部２０は、車両が発進禁止状況ではないと判定された場合（ステップＳ１５，Ｎｏ）、以降の処理をスキップする。他方、制御部２０は、車両が発進禁止状況であると判定された場合（ステップＳ１５，Ｙｅｓ）、車内画像などに基づいて、車両が移動しているか否かを判定する（ステップＳ１６）。

【0107】

制御部２０は、車両が移動していないと判定された場合（ステップＳ１６，Ｎｏ）、以降の処理をスキップする。一方、制御部２０は、車両が移動していると判定された場合（ステップＳ１６，Ｙｅｓ）、運転者の動作（足部の動作）がアクセルの誤操作であることを検知して通知する（ステップＳ１７）。

【0108】

また、制御部２０は、運転者の動作（足部の動作）の検出ができないと判定された場合（ステップＳ１３，Ｎｏ）、すなわち運転者の動作の検出が不可であった場合、アクセルの誤操作の検知が不可であることを通知する（ステップＳ１８）。

【0109】

上述してきたように、実施形態に係る車載装置１０は、制御部２０を有する。制御部２０は、車両の室内の様子を撮像した車内画像に基づいて運転者の動作を検出する。制御部２０は、車両の状況を示す状況情報に基づいて車両の発進が禁止される発進禁止状況であるか否かを判定する。制御部２０は、検出した運転者の動作がアクセルを操作するアクセル動作であり、かつ、車両が発進禁止状況であると判定された場合、運転者の動作がアクセルの誤操作であることを検知する。制御部２０は、運転者の動作の検出が不可であった場合、アクセルの誤操作の検知が不可であることを通知する。これにより、運転者のアクセルに対する誤操作の検知性能について適切な通知を行うことができる。

【0110】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0111】

１０ 車載装置
１１ 車内カメラ
１２ 車外カメラ
２０ 制御部

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】