特開 2024-145578 生成方法、表示装置および生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024145578

(43)【公開日】2024-10-15

(54)【発明の名称】生成方法、表示装置および生成装置

(51)【国際特許分類】

   G08G 1/00 20060101AFI20241004BHJP

   G09B 5/06 20060101ALI20241004BHJP

   G09B 19/14 20060101ALI20241004BHJP

【ＦＩ】

G08G1/00 D

G09B5/06

G09B19/14

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023057993

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】片岡 智春

(72)【発明者】

【氏名】小林 雄士

(72)【発明者】

【氏名】宮崎 英明

(72)【発明者】

【氏名】久木元 修

(72)【発明者】

【氏名】羽田野 麻由

【テーマコード（参考）】

2C028

5H181

【Ｆターム（参考）】

2C028AA12

2C028CA10

5H181AA01

5H181BB04

5H181BB20

5H181CC04

5H181CC27

5H181FF10

(57)【要約】

【課題】運転者の実際の視野および運転者がその視野に至った原因を、車外映像の視聴者に把握させること。
【解決手段】実施形態に係る生成方法は、コントローラによる生成方法である。コントローラは、カメラから車内映像および車外映像を取得し、上記車内映像に基づいて、運転者の顔、目または手における特徴点の動作解析を実行し、上記動作解析の結果に基づいて、上記運転者の視野枠および上記運転者の動作を、上記車外映像に併せて表示する映像データを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラから車内映像および車外映像を取得し、
前記車内映像に基づいて、運転者の顔、目または手における特徴点の動作解析を実行し、
前記動作解析の結果に基づいて、前記運転者の視野枠および前記運転者の動作を、前記車外映像に併せて表示する映像データを生成する、
コントローラによる生成方法。

【請求項2】

前記コントローラは、
前記運転者の動作が文字情報またはアイコンによって表示されるように前記映像データを生成する、
請求項１に記載の生成方法。

【請求項3】

前記運転者の動作は、安全運転に支障がある動作、または、交通違反につながる動作である、
請求項１または２に記載の生成方法。

【請求項4】

前記コントローラは、
前記視野枠が前記車外映像へ重畳して表示されるように前記映像データを生成する、
請求項１に記載の生成方法。

【請求項5】

前記コントローラは、
前記動作解析における画像認識によって前記運転者の顔を検知し、
前記運転者の顔における前記特徴点を抽出し、
前記特徴点の位置に基づいて前記運転者の顔の向きを推定し、
前記運転者の顔の向きに基づいて前記車外映像に対する前記視野枠の位置を推定する、
請求項１に記載の生成方法。

【請求項6】

前記コントローラは、
前記特徴点に基づいて前記運転者の開眼状態を推定し、
前記運転者の開眼状態に基づいて前記車外映像に対する前記視野枠の大きさを推定する、
請求項５に記載の生成方法。

【請求項7】

前記コントローラは、
前記特徴点に基づいて前記運転者の顔の３次元的な位置および姿勢を推定し、
前記運転者の顔の位置および姿勢に対する３次元ベクトルとして前記運転者の視線方向を推定し、
前記視線方向を前記車外映像の撮像範囲へ投影することによって前記視野枠の位置を推定する、
請求項６に記載の生成方法。

【請求項8】

前記コントローラは、
前記画像認識によって前記運転者の手および前記運転者以外の物体を検知し、
前記運転者の顔、前記運転者の手および前記運転者以外の物体に基づいて前記運転者の動作を推定する、
請求項６に記載の生成方法。

【請求項9】

前記コントローラは、
前記特徴点に基づいて推定される前記運転者の開眼状態に基づいて前記運転者の動作が居眠りであるか否かを判定する、
請求項８に記載の生成方法。

【請求項10】

前記コントローラは、
前記運転者が前記運転者以外の物体を手にしている場合に、前記運転者の顔、前記運転者の手および前記運転者以外の物体の配置関係に基づいて前記運転者の動作がながら操作であるか否かを判定する、
請求項８に記載の生成方法。

【請求項11】

前記コントローラは、
前記特徴点に基づいて推定される前記運転者の顔の向きに基づいて前記運転者の動作がわき見であるか否かを判定する、
請求項５に記載の生成方法。

【請求項12】

前記コントローラは、
前記視野枠内の視認性を前記車外映像の前記視野枠以外の領域よりも相対的に高くする画像処理を実行する、
請求項１に記載の生成方法。

【請求項13】

前記コントローラは、
車両において予め決められたイベントが検知された場合の前記車内映像および前記車外映像を取得し、
前記車外映像に基づいて前記イベントにおける対象物を検知し、
前記対象物を示す対象物枠が前記車外映像へ重畳して表示されるように前記映像データを生成する、
請求項１に記載の生成方法。

【請求項14】

前記コントローラは、
ｅラーニング用の教材動画として前記映像データを生成する、
請求項１に記載の生成方法。

【請求項15】

表示部と、
インカメラによる車内映像に基づいて解析された運転者の視野枠および前記運転者の動作をアウトカメラによる車外映像へ併せて表示するように生成された映像を取得し、
前記映像を前記表示部に表示させるコントローラと、
を備える表示装置。

【請求項16】

カメラから車内映像および車外映像を取得し、
前記車内映像に基づいて、運転者の顔、目または手における特徴点の動作解析を実行し、
前記動作解析の結果に基づいて、前記運転者の視野枠および前記運転者の動作を、前記車外映像に併せて表示する映像データを生成するコントローラ、
を備える生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、生成方法、表示装置および生成装置に関する。

【背景技術】

【0002】

従来、ドライブレコーダ等で取得された車外映像を再生する場合に、車外映像と併せて取得した車両の速度情報に基づいて運転者の視野角を求め、視野角に応じた視野範囲を車外映像と共に表示する技術が知られている（例えば、特許文献１参照）。

【0003】

このような従来技術は、例えば事故発生時やヒヤリ・ハット発生時の原因の検証等に利用される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－０８９０２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術は、視野角を求め運転者の視野範囲を車外映像と共に表示しているに過ぎない。

【0006】

このため、上述した従来技術は、運転者の実際の視野や運転者がその視野に至った原因を、車外映像の視聴者に対し把握させるものではない。

【0007】

実施形態の一態様は、上記に鑑みてなされたものであって、運転者の実際の視野および運転者がその視野に至った原因を、車外映像の視聴者に把握させることができる生成方法、表示装置および生成装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

実施形態の一態様に係る生成方法は、コントローラによる生成方法である。前記コントローラは、カメラから車内映像および車外映像を取得し、前記車内映像に基づいて、運転者の顔、目または手における特徴点の動作解析を実行し、前記動作解析の結果に基づいて、前記運転者の視野枠および前記運転者の動作を、前記車外映像に併せて表示する映像データを生成する。

【発明の効果】

【0009】

実施形態の一態様によれば、運転者の実際の視野および運転者がその視野に至った原因を、車外映像の視聴者に把握させることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る教材動画生成方法の概要説明図（その１）である。

【図2】図２は、実施形態に係る教材動画生成方法の概要説明図（その２）である。

【図3】図３は、実施形態に係る教材動画生成システムの構成例を示す図である。

【図4】図４は、実施形態に係るドライブレコーダの構成例を示す図である。

【図5】図５は、実施形態に係るサーバ装置の構成例を示す図である。

【図6】図６は、教材動画生成情報に含まれる運転者の動作の優先順位の一例を示す図である。

【図7】図７は、実施形態に係る受講装置の構成例を示す図である。

【図8】図８は、実施形態に係る教材動画生成システムが実行する処理シーケンスを示す図である。

【図9】図９は、運転者の視野および動作の解析処理の一例を示す図（その１）である。

【図10】図１０は、運転者の視野および動作の解析処理の一例を示す図（その２）である。

【図11】図１１は、運転者の視野および動作の解析処理の一例を示す図（その３）である。

【図12】図１２は、実施形態に係る教材動画生成システムの構成例の補足図である。

【図13】図１３は、第１変形例に係る教材動画生成システムの構成例を示す図である。

【図14】図１４は、第２変形例に係る教材動画生成システムの構成例を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して、本願の開示する生成方法、表示装置および生成装置の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0012】

また、以下では、実施形態に係る生成システムが、教材動画生成システム１（図１以降参照）である場合を主たる例に挙げて説明する。教材動画生成システム１は、安全運転指導等のためのｅラーニング（e-learning）用の教材となる教材動画を生成するシステムである。

【0013】

また、以下では、実施形態に係る生成装置が、教材動画生成システム１に含まれるサーバ装置１００（図１以降参照）であるものとする。実施形態に係る生成方法は、このサーバ装置１００が実行する教材動画生成方法であるものとする。

【0014】

なお、以下の説明での「特定」や「所定」や「一定」との表現は、「予め決められた」と読み替えてもよい。

【0015】

まず、実施形態に係る教材動画生成方法の概要について、図１および図２を用いて説明する。図１は、実施形態に係る教材動画生成方法の概要説明図（その１）である。また、図２は、実施形態に係る教材動画生成方法の概要説明図（その２）である。

【0016】

図１に示すように、教材動画生成システム１は、ドライブレコーダ１０と、サーバ装置１００と、受講装置２００（２００－１，２００－２…）とを含む。

【0017】

ドライブレコーダ１０は、車両に搭載される映像記録装置である。実施形態に係るドライブレコーダ１０は、インカメラ１１ａと、アウトカメラ１１ｂとを有する。インカメラ１１ａおよびアウトカメラ１１ｂは、「カメラ」の一例に相当する。インカメラ１１ａは、車両の車内映像を撮像可能に設けられる。アウトカメラ１１ｂは、車両の車外映像を撮像可能に設けられる。

【0018】

ドライブレコーダ１０は、車両の起動中に、これらインカメラ１１ａおよびアウトカメラ１１ｂによって撮像された映像データを含む車両データをリングバッファメモリに一定期間分（例えば２４時間分）が上書き可能に記録する。車両データは、映像データの他、時刻情報や、位置情報や、車速や、Ｇ値といった車両の状況を示す各種データを含むことができる。

【0019】

また、ドライブレコーダ１０は、事故発生やヒヤリ・ハット発生といった特定のイベントを検知可能に設けられる。ドライブレコーダ１０は、例えば車速の変化やＧ値の変化等が、予め設定された事故発生やヒヤリ・ハット発生等に対応する所定のイベント条件を満たした場合に、特定のイベントとして検知する。

【0020】

そして、ドライブレコーダ１０は、特定のイベントを検知した場合、検知時点の前後一定時間分の車両データを上書き禁止に設定する。あるいは、ドライブレコーダ１０は、この検知時点の前後一定時間分の車両データを別の記録媒体へ記録する。なお、この上書き禁止処理や別の記録媒体への記録処理は、サーバ装置１００からの指示で行われてもよい。

【0021】

また、ドライブレコーダ１０は、特定のイベントを検知した場合は、前述の上書き禁止に設定する車両データをサーバ装置１００へ送信する。

【0022】

サーバ装置１００は、車両から送信された車両データに基づいて、事故発生やヒヤリ・ハット発生等の特定のイベントが検知された場合の車両の状況を解析可能に設けられる。また、サーバ装置１００は、その解析結果に基づいて教材動画を生成可能に設けられる。

【0023】

また、サーバ装置１００は、生成した教材動画を、受講装置２００へ配信するサービスを提供可能に設けられる。受講装置２００は、ｅラーニングを受講する受講者（「視聴者」の一例に相当）が利用する端末装置である。受講装置２００は、例えば受講装置２００－１のようなＰＣ（Personal Computer）や、受講装置２００－２のようなスマートフォン等によって実現される。

【0024】

ところで、ドライブレコーダ１０から映像データと併せて取得した車両の速度に基づいて運転者の視野角を求め、視野角に応じた視野範囲を車外映像と共に表示する既存技術がある。ここで、教材動画を生成するにあたり、この既存技術を利用する場合を考える。

【0025】

しかし、既存技術は、予め定義された速度と視野角の対応関係を示す対応マップによって規定される視野範囲を、車外映像と共に表示するものに過ぎない。

【0026】

このため、この既存技術を利用して教材動画を生成しても、受講者は、運転者の実際の視野や運転者がその視野に至った原因を把握することができない。具体的には、受講者は、例えば事故発生やヒヤリ・ハット発生の原因が、例えば居眠りや、スマートフォン（以下、適宜「スマホ」と言う）の操作や、わき見等のいずれであったのかを把握することができない。

【0027】

なお、この点は、受講者が教材動画を視聴する場合に限らず、イベント発生時の車両の状況を解析する担当者（「視聴者」の一例に相当）が、既存技術を利用して生成された検証動画を視聴する場合も同様である。

【0028】

そこで、実施形態に係る教材動画生成方法では、サーバ装置１００（「生成装置」の一例に相当）が、インカメラ１１ａおよびアウトカメラ１１ｂから車内映像および車外映像を取得することとした。また、サーバ装置１００は、車内映像に基づいて、運転者の顔、目または手における特徴点の動作解析を実行し、動作解析の結果に基づいて、運転者の視野枠および運転者の動作を、車外映像に併せて表示する映像データを生成することとした。

【0029】

具体的には、図１に示すように、まずドライブレコーダは、予め設定されたイベント条件に基づいて特定のイベントを検知すると（ステップＳ１）、このイベント検知時点の前後一定時間分の車両データをサーバ装置１００へ送信する（ステップＳ２）。既に述べた通り、車両データは、映像データ、時刻情報（発生日時）、位置情報、車速およびＧ値等を含む。

【0030】

そして、サーバ装置１００は、インカメラ１１ａによる車内映像に基づいて、運転者の顔、目または手における特徴点の動作解析を実行し、動作解析の結果に基づいて、「運転者の視野枠＋運転者の動作」を、車外映像に併せて表示する映像データを生成する（ステップＳ３）。

【0031】

具体的には、この教材動画は、図２に示すように、アウトカメラ１１ｂによる車外映像Ｖに対し、視野枠Ｒ１と、対象物枠Ｒ２と、動作表示エリアＲ３とを併せて表示するように生成される。

【0032】

視野枠Ｒ１は、運転者の実際の視野を示す検知枠である。この視野枠Ｒ１が車外映像Ｖに重畳して表示されることにより、受講者は、運転者の実際の視野を明確に把握することができる。視野枠Ｒ１は、インカメラ１１ａによる車内映像を、サーバ装置１００が例えば画像認識用のＡＩ（Artificial Intelligence）モデル等を用いて解析することによってその位置や大きさ、形状等が推定される。

【0033】

サーバ装置１００は、例えばＡＩモデルを用いて車内映像から運転者の顔や顔以外の物体を認識する。また、サーバ装置１００は、例えば認識した顔から顔の特徴点を抽出する。また、サーバ装置１００は、例えば抽出した顔の特徴点の位置等に基づいて、運転者の顔の向きや、運転者の開眼状態等を推定する。運転者の開眼状態は、すなわち運転者の瞼の開閉状態である。そして、サーバ装置１００は、これらの推定結果に基づいて視野枠Ｒ１を推定する。

【0034】

サーバ装置１００は、例えば推定した運転者の顔の向きに応じて、車外映像Ｖに対し表示する視野枠Ｒ１の位置を推定する。これにより、サーバ装置１００は、運転者の顔の向きに応じた実際の視野に近い位置に視野枠Ｒ１を表示させることが可能となる。また、サーバ装置１００は、例えば推定した運転者の開眼状態に応じて、車外映像Ｖに対し表示する視野枠Ｒ１の大きさを推定する。これにより、サーバ装置１００は、運転者の開眼状態に応じた実際の視野に近い大きさの視野枠Ｒ１を表示させることが可能となる。なお、図２では、視野枠Ｒ１を楕円形状に表しているが、視野枠Ｒ１の形状を限定するものではない。

【0035】

また、サーバ装置１００は、例えば推定した視野枠Ｒ１の位置が車外映像Ｖの撮像範囲外にあると推定すると、車外映像Ｖに対して視野枠Ｒ１を表示しない。また、サーバ装置１００は、例えば推定した開眼状態によって両目が閉じられていると推定すると、車外映像Ｖに対して視野枠Ｒ１を表示しない。

【0036】

このように、サーバ装置１００は、運転者の顔の向きや開眼状態等に応じて、視野枠Ｒ１が表示される／表示されない表示制御が行われる教示動画を生成することができる。受講者は、この視野枠Ｒ１が表示される／表示されない表示制御が行われる教材動画を視聴することにより、運転者の実際の視野を容易に把握することができる。

【0037】

また、対象物枠Ｒ２は、事故やヒヤリ・ハット等における対象物の検知枠である。対象物枠Ｒ２は、アウトカメラ１１ｂによる車外映像Ｖを、サーバ装置１００が例えば前述のＡＩモデル等を用いて解析することによって推定される。

【0038】

受講者は、この対象物枠Ｒ２が車外映像Ｖへ重畳して表示されることにより、事故やヒヤリ・ハット等における対象物を容易に把握することができる。

【0039】

また、動作表示エリアＲ３は、運転者の動作（「状態」と読み替えても可）の表示エリアである。動作表示エリアＲ３に表示される運転者の動作は、サーバ装置１００が、インカメラ１１ａによる車内映像から認識した顔以外の物体や、前述の顔の向きや開眼状態等に基づいて推定する。

【0040】

顔以外の物体は、例えば運転者の手やスマートフォン等である。運転者の動作は、例えば「居眠り」や、「スマホ操作」や、「わき見」等である。なお、「スマホ操作」は、運転中にスマホやカーナビ等の物体を操作する「ながら操作」の一例に相当する。サーバ装置１００は、こうした運転者の動作を、例えば文字情報によって表示するように動作表示エリアＲ３を生成する。図２は、動作表示エリアＲ３に文字情報で「スマホ操作」と表示されている例である。

【0041】

受講者は、この動作表示エリアＲ３に運転者の動作が文字情報で表示されることにより、事故発生時やヒヤリ・ハット発生時等における運転者の動作を容易に把握することができる。そして、受講者は、この動作表示エリアＲ３と併せて視野枠Ｒ１の表示／非表示の表示制御が行われることにより、事故発生時やヒヤリ・ハット発生時等における運転者の実際の視野および運転者がその視野に至った原因を容易に把握することができる。

【0042】

なお、図２に示すように、視野枠Ｒ１は、例えば視野枠Ｒ１内の明るさや透過度が車外映像Ｖの視野枠Ｒ１以外の領域よりも高くなるように画像処理が行われることが好ましい。すなわち、視野枠Ｒ１は、車外映像Ｖの他の領域よりも視認性が高くなるように画像処理が行われることが好ましい。これにより、受講者は、運転者の実際の視野を明確に他の領域と区別して把握することが可能となる。

【0043】

また、動作表示エリアＲ３は、背景が透過処理されて、運転者の動作を示す文字情報が車外映像Ｖへ直接的に重畳しているように運転者の動作を表示してもよい。また、動作表示エリアＲ３は、運転者の動作を文字情報に限らず、運転者の動作を示す所定のアイコン（記号、マーク等を含む）によって表示してもよい。

【0044】

図１の説明に戻る。そして、サーバ装置１００は、生成した教材動画を受講装置２００へ配信する（ステップＳ４）。受講者は、この受講装置２００へ配信された教材動画を視聴することにより、安全運転指導等の教材となる場面における運転者の実際の視野およびその視野に至った運転者の動作を把握することとなる。

【0045】

このように、実施形態に係る教材動画生成方法では、サーバ装置１００が、インカメラ１１ａによる車内映像およびアウトカメラ１１ｂによる車外映像を取得し、車内映像に基づいて、運転者の顔、目または手における特徴点の動作解析を実行する。また、サーバ装置１００が、動作解析の結果に基づいて、「運転者の視野枠＋運転者の動作」を、車外映像に併せて表示する映像データを生成する。

【0046】

したがって、実施形態に係る教材動画生成方法によれば、運転者の実際の視野および運転者がその視野に至った原因を、車外映像Ｖの視聴者に把握させることができる。

【0047】

以下、上述した実施形態に係る教材動画生成方法を適用したドライブレコーダ１０を含む教材動画生成システム１の構成例について、より具体的に説明する。

【0048】

図３は、実施形態に係る教材動画生成システム１の構成例を示す図である。図４に示すように、教材動画生成システム１は、１以上のドライブレコーダ１０－１，１０－２，…１０－ｍ（ｍは自然数）と、サーバ装置１００と、１以上の受講装置２００－１，２００－２，…２００－ｎ（ｎは自然数）とを含む。

【0049】

各ドライブレコーダ１０と、サーバ装置１００と、各受講装置２００とは、インターネットや、携帯電話回線網や、Ｃ－Ｖ２Ｘ（Cellular Vehicle to Everything）通信網等であるネットワークＮを介して相互に通信可能に接続される。

【0050】

ドライブレコーダ１０は、上述したように、インカメラ１１ａおよびアウトカメラ１１ｂによって撮像した車内外の映像データや、車両の状況を示す各種データを含む車両データをリングバッファメモリに一定期間分が上書き可能に記録する。

【0051】

また、ドライブレコーダ１０は、車両の起動中に、事故発生やヒヤリ・ハット等の特定のイベントを検知した場合は、検知時点の前後一定時間分の車両データを上書き禁止に設定する。あるいはドライブレコーダ１０は、この検知時点の前後一定時間分の車両データを別の記録媒体へ記録する。

【0052】

また、ドライブレコーダ１０は、特定のイベントを検知した場合は、前述の上書き禁止に設定する車両データをサーバ装置１００へ送信する。

【0053】

サーバ装置１００は、例えばクラウドサーバとして実現される。サーバ装置１００は、例えば教材動画生成システム１を運営する事業者によって管理される。サーバ装置１００は、各ドライブレコーダ１０から送信される車両データを収集する。

【0054】

また、サーバ装置１００は、収集した車両データを用い、インカメラ１１ａによる車内映像に基づいて運転者の視野および動作を解析し、アウトカメラ１１ｂによる車外映像Ｖへ「運転者の視野＋運転者の動作」を併せて表示する教材動画を生成する。

【0055】

また、サーバ装置１００は、生成した教材動画群を蓄積および管理する。また、サーバ装置１００は、各受講装置２００に対し、教材動画を配信するサービスを提供する。

【0056】

受講装置２００は、上述したように、受講者が利用する端末装置であり、ＰＣやスマートフォン等によって実現される。受講装置２００は、これら以外にも、例えばタブレット端末や、ウェアラブルデバイス等によって実現されてもよい。

【0057】

次に、ドライブレコーダ１０の構成例について説明する。図４は、実施形態に係るドライブレコーダ１０の構成例を示す図である。図４に示すように、ドライブレコーダ１０は、センサ部１１と、通信部１２と、記憶部１３と、コントローラ１４とを有する。

【0058】

センサ部１１は、ドライブレコーダ１０に搭載される各種のセンサ群である。センサ部１１は、例えばインカメラ１１ａと、アウトカメラ１１ｂと、ＧＰＳ（Global Positioning System）センサ１１ｃと、Ｇセンサ１１ｄとを含む。

【0059】

インカメラ１１ａは、車両の車内映像を撮像可能に設けられる。インカメラ１１ａは、少なくとも運転者の顔が撮像範囲に含まれるように、フロントガラス付近やダッシュボード付近等に取り付けられる。

【0060】

アウトカメラ１１ｂは、車両の車外映像Ｖを撮像可能に設けられる。アウトカメラ１１ｂは、フロントガラス付近や、ダッシュボード付近や、リアガラス付近等に取り付けられる。なお、インカメラ１１ａおよびアウトカメラ１１ｂは必ずしも分離している必要はなく、例えば３６０度カメラによって一体に構成されてもよい。

【0061】

ＧＰＳセンサ１１ｃは、車両のＧＰＳ位置を測位する。Ｇセンサ１１ｄは、車両に加わる加速度を測定する。

【0062】

また、ドライブレコーダ１０は、センサ部１１以外にも、車両に搭載される各種のセンサ群である車載センサ５が接続される。車載センサ５は、例えば車速センサや、アクセルセンサや、ブレーキセンサ等を含む。車載センサ５は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介してドライブレコーダ１０に接続される。

【0063】

通信部１２は、ネットワークアダプタ等によって実現される。通信部１２は、ネットワークＮと無線で接続され、ネットワークＮを介して、サーバ装置１００との間で情報の送受信を行う。

【0064】

記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１３は、図４の例では、車両データＤＢ１３ａと、イベント条件情報１３ｂとを記憶する。

【0065】

車両データＤＢ１３ａは、ドライブレコーダ１０が記録する車両データのデータベースである。イベント条件情報１３ｂは、上述した特定のイベントを検知するための所定のイベント条件が予め設定された情報である。

【0066】

コントローラ１４は、いわゆるプロセッサに相当する。コントローラ１４は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphical Processing Unit）等によって実現される。コントローラ１４は、記憶部１３に記憶されている図示略の実施形態に係るプログラムを、ＲＡＭを作業領域として実行する。また、コントローラ１４は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0067】

コントローラ１４は、図８に示す処理シーケンスによる情報処理を実行する。図８を用いた説明は後述する。

【0068】

次に、サーバ装置１００の構成例について説明する。図５は、実施形態に係るサーバ装置１００の構成例を示す図である。図５に示すように、サーバ装置１００は、通信部１０１と、記憶部１０２と、コントローラ１０３とを有する。

【0069】

通信部１０１は、ネットワークアダプタ等によって実現される。通信部１０１は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、ドライブレコーダ１０および受講装置２００との間で情報の送受信を行う。

【0070】

記憶部１０２は、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶デバイスによって実現される。記憶部１０２は、図５の例では、収集情報ＤＢ１０２ａと、画像認識ＡＩ１０２ｂと、教材動画生成情報１０２ｃと、教材動画ＤＢ１０２ｄとを記憶する。

【0071】

収集情報ＤＢ１０２ａは、各ドライブレコーダ１０から収集された車両データが格納されるデータベースである。画像認識ＡＩ１０２ｂは、画像認識用のＡＩモデルである。画像認識ＡＩ１０２ｂは、例えば機械学習のアルゴリズムを用いて学習されたＤＮＮ（Deep Neural Network）モデルである。

【0072】

画像認識ＡＩ１０２ｂは、コントローラ１０３にＤＮＮモデルとして読み込まれた後、コントローラ１０３に映像データの各フレーム画像が入力された場合に、各フレーム画像に含まれる各種の物体を判別可能に設けられる。

【0073】

画像認識ＡＩ１０２ｂは、車内映像の各フレーム画像が入力された場合に、例えば各フレーム画像に写り込んだ人物の顔を検知可能に設けられる。また、画像認識ＡＩ１０２ｂは、顔の検知枠において、顔の特徴点群を抽出可能に設けられる。また、画像認識ＡＩ１０２ｂは、顔以外の物体を検知可能に設けられる。顔以外の物体は、上述したように運転者の手やスマホ等である。

【0074】

教材動画生成情報１０２ｃは、コントローラ１０３が教材動画を生成する際に用いられる各種のパラメータが設定された情報である。各種のパラメータは、例えば教材動画における画面レイアウトに関するパラメータを含む。また、各種のパラメータは、動作表示エリアＲ３において表示する運転者の動作の優先順位に関するパラメータを含む。

【0075】

図６は、教材動画生成情報１０２ｃに含まれる運転者の動作の優先順位の一例を示す図である。運転者の動作、すなわち「スマホ操作」や「居眠り」や「わき見」等は、同時に成立する場合が考えられる。例えば、「わき見」は、「スマホ操作」と同時に起こる場合がある。これは、安全運転に支障がある動作、または、交通違反につながる動作である。

【0076】

前述の運転者の動作の優先順位とは、これら動作が同時に成立している場合に、動作表示エリアＲ３に対し、文字情報としていずれの動作を優先的に表示するのかを示す順位である。この優先順位は、図６に示すように、例えば１位が「居眠り」であり、２位が「スマホ操作」であり、３位が「わき見」であるように設定される。

【0077】

図６の例によれば、サーバ装置１００は、前述の「わき見」と「スマホ操作」とが同時に起きていると推定される場合、「スマホ操作」という文字情報を動作表示エリアＲ３に対し表示するように教材動画を生成する。これにより、例えば安全運転指導において受講者により危険度が高いとして強調したい運転者の動作を、教材動画生成情報１０２ｃに対する設定により優先的に動作表示エリアＲ３に表示させることが可能となる。

【0078】

図５の説明に戻る。教材動画ＤＢ１０２ｄは、コントローラ１０３によって生成された教材動画が格納されるデータベースである。

【0079】

コントローラ１０３は、いわゆるプロセッサに相当する。コントローラ１０３は、ＣＰＵやＭＰＵ、ＧＰＵ等によって実現される。コントローラ１０３は、記憶部１０２に記憶されている図示略の実施形態に係るプログラムを、ＲＡＭを作業領域として実行する。また、コントローラ１０３は、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。

【0080】

コントローラ１０３は、上述したコントローラ１４と同様に、図８に示す処理シーケンスによる情報処理を実行する。図８を用いた説明は後述する。

【0081】

次に、受講装置２００の構成例について説明する。図７は、実施形態に係る受講装置２００の構成例を示す図である。図７に示すように、受講装置２００は、ＨＭＩ（Human Machine Interface）部２０１と、通信部２０２と、記憶部２０３と、コントローラ２０４とを有する。

【0082】

ＨＭＩ部２０１は、受講者に対する入力および出力に関するインターフェイス部品を提供する構成要素である。ＨＭＩ部２０１は、ユーザからの入力操作を受け付ける入力インターフェイスを含む。入力インターフェイスは、例えばタッチパネルによって実現される。なお、入力インターフェイスは、キーボードや、マウスや、ペンタブレットや、マイク等によって実現されてもよい。また、入力インターフェイスは、ソフトウェア部品によって実現されてもよい。

【0083】

また、ＨＭＩ部２０１は、受講者に対して画像情報や音声情報を提示する出力インターフェイスを含む。出力インターフェイスは、たとえばディスプレイやスピーカ等によって実現される。なお、ＨＭＩ部２０１は、例えばタッチパネルディスプレイによって、入力インターフェイスおよび出力インターフェイスを一体に受講者へ提供するようにしてもよい。

【0084】

通信部２０２は、ネットワークアダプタ等によって実現される。通信部２０２は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、サーバ装置１００との間で情報の送受信を行う。

【0085】

記憶部２０３は、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ等の記憶デバイスによって実現される。記憶部２０３は、図７の例では、教材動画ＤＢ２０３ａを記憶する。

【0086】

教材動画ＤＢ２０３ａは、通信部２０２を介し、コントローラ２０４がサーバ装置１００から受信した教材動画が格納されるデータベースである。

【0087】

コントローラ２０４は、いわゆるプロセッサに相当する。コントローラ２０４は、ＣＰＵやＭＰＵ、ＧＰＵ等によって実現される。コントローラ２０４は、記憶部２０３に記憶されている図示略の実施形態に係るプログラムを、ＲＡＭを作業領域として実行する。また、コントローラ２０４は、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。

【0088】

コントローラ２０４は、上述したコントローラ１４やコントローラ１０３と同様に、図８に示す処理シーケンスによる情報処理を実行する。

【0089】

次に、この処理シーケンスによる情報処理について説明する。図８は、実施形態に係る教材動画生成システム１が実行する処理シーケンスを示す図である。

【0090】

ドライブレコーダ１０側では、コントローラ１４が車両データを記録する（ステップＳ１０１）。また、コントローラ１４は、特定のイベントを検知したか否かを判定する（ステップＳ１０２）。

【0091】

イベントを検知した場合（ステップＳ１０２，Ｙｅｓ）、コントローラ１４は、イベント検知時点の前後一定時間分の車両データをサーバ装置１００へ向けて送信する（ステップＳ１０３）。イベントを検知しない場合（ステップＳ１０２，Ｎｏ）、コントローラ１４は、ステップＳ１０１からの処理を繰り返す。

【0092】

サーバ装置１００のコントローラ１０３は、ステップＳ１０３で取得した車両データのインカメラ１１ａによる車内映像に基づいて運転者の視野および動作を解析する（ステップＳ１０４）。この解析結果から、コントローラ１０３は、運転者の視野および動作を推定する。

【0093】

ここで、図９～図１１を用いて、コントローラ１０３が実行する運転者の視野および動作の解析処理の一例について説明する。図９は、運転者の視野および動作の解析処理の一例を示す図（その１）である。また、図１０は、運転者の視野および動作の解析処理の一例を示す図（その２）である。また、図１１は、運転者の視野および動作の推定処理の一例を示す図（その３）である。

【0094】

コントローラ１０３は、画像認識ＡＩ１０２ｂを用いて、図９の検知枠ＢＢ１に示すように例えば運転者の顔を検知する。また、コントローラ１０３は、検知枠ＢＢ１内において顔の特徴点Ｐ群を抽出する。

【0095】

コントローラ１０３は、例えば運転者の顎先や鼻頭、眉の両端、目の輪郭部分等に特徴点Ｐ群を抽出する。そして、コントローラ１０３は、目の輪郭部分の特徴点Ｐ群の配置から開眼状態を推定する。コントローラ１０３は、推定した開眼状態に基づき、例えば運転者の両目が所定数のフレーム画像にわたって連続して閉じていると判定される場合に、運転者の動作が「居眠り」であると推定する。これにより、コントローラ１０３は、インカメラ１１ａによる車内映像の画像認識に基づく「居眠り」動作の判定が可能となる。

【0096】

また、コントローラ１０３は、画像認識ＡＩ１０２ｂを用いて、図１０の検知枠ＢＢ１に示すように例えば運転者の顔を検知する。また、コントローラ１０３は、検知枠ＢＢ２において運転者の手を検知する。また、コントローラ１０３は、検知枠ＢＢ３においてスマホを検知する。

【0097】

そして、コントローラ１０３は、例えばこれら検知枠ＢＢ１～ＢＢ３の配置関係に基づいて運転者がスマホを使用しているか否かを判定する。そして、コントローラ１０３は、運転者がスマホを使用していると判定される場合に、運転者の動作が「スマホ操作」であると推定する。これにより、コントローラ１０３は、インカメラ１１ａによる車内映像の画像認識に基づく「ながら操作」の判定が可能となる。

【0098】

また、コントローラ１０３は、画像認識ＡＩ１０２ｂを用いて、図１１の検知枠ＢＢ１に示すように例えば運転者の顔を検知する。また、コントローラ１０３は、検知枠ＢＢ１内において顔の特徴点Ｐ群を抽出する。

【0099】

そして、コントローラ１０３は、抽出した特徴点Ｐ群の配置に基づいて運転者の顔の３次元的な位置および姿勢を顔の向きとして推定する。顔の位置および姿勢は、具体的には顔の特定部位（例えば眉間）の位置および姿勢である。

【0100】

コントローラ１０３は、特徴点Ｐ群の配置に基づいて、例えば運転者の正中面上における前述の特定部位の中心を原点とする直交３軸についてのｒｏｌｌ角、ｐｉｔｃｈ角、ｙａｗ角を顔の位置および姿勢として推定する。そして、コントローラ１０３は、推定した顔の位置および姿勢に対する３次元ベクトルとして運転者の視線方向を推定する。これにより、コントローラ１０３は、顔の位置および姿勢に基づく精度の高い視線方向の推定が可能となる。

【0101】

そして、コントローラ１０３は、推定した視線方向をアウトカメラ１１ｂによる車外映像Ｖの撮像範囲へ投影し、投影結果に基づいて車外映像Ｖにおける運転者の視野を推定する。このとき、視線方向だけでなく、車速等を加味した推定を行うようにしてもよい。

【0102】

なお、図１１の例では、コントローラ１０３は、特徴点Ｐ群が検知枠ＢＢ１に対して右寄りに偏在していることから、正面より左側を向いた顔の位置および姿勢を推定し、この位置および姿勢に対する３次元ベクトルとして左寄りの視線方向を推定することとなる。すなわち、コントローラ１０３は、運転者の顔の向きに基づいて運転者の動作が「わき見」であるか否かを判定する。これにより、コントローラ１０３は、インカメラ１１ａによる車内映像の画像認識に基づく「わき見」の判定が可能となる。なお、図１１の例では、コントローラ１０３は、運転者の動作が「わき見」であると推定する。

【0103】

図９～図１１を用いて説明したように、コントローラ１０３は、画像認識によって検知した運転者の顔、運転者の手および物体に基づいて運転者の動作を推定する。これにより、コントローラ１０３は、インカメラ１１ａによる車内映像の画像認識に基づいて、動作表示エリアＲ３へ表示する運転者の動作を判定することができる。

【0104】

なお、図９～図１１を用いて説明した例に加えて、コントローラ１０３は、赤外画像を用いることによって運転者の視線方向や、顔の向きや、開眼状態等を推定するようにしてもよい。この場合、ドライブレコーダ１０は、運転者の顔へ赤外光を照射する赤外線ＬＥＤ（Light Emitting Diode）を含んで構成される。また、インカメラ１１ａは、赤外線カメラを含んで構成される。赤外線カメラは、赤外光が照射された運転者の顔に対する赤外画像を撮像可能に設けられる。

【0105】

そして、コントローラ１０３は、赤外画像中の運転者の瞳孔と、眼球上に生じる赤外照明反射像との位置関係により、運転者の視線方向を推定する。これにより、コントローラ１０３は、赤外画像を用いない場合に比べて、より精度の高い視線方向の推定が可能となる。

【0106】

図８の説明に戻る。ステップＳ１０４によって運転者の視野および動作を推定した後、サーバ装置１００のコントローラ１０３は、アウトカメラ１１ｂによる車外映像Ｖへ視野枠Ｒ１および動作表示エリアＲ３を重畳する（ステップＳ１０５）。

【0107】

また、コントローラ１０３は、車外映像Ｖへさらに対象物枠Ｒ２を重畳する（ステップＳ１０６）。そして、コントローラ１０３は、視野内（すなわち視野枠Ｒ１内）の視認性を相対的に上げる画像処理を実行する（ステップＳ１０７）。コントローラ１０３は、視野枠Ｒ１内の明るさや透過度が車外映像Ｖの視野枠Ｒ１以外の領域よりも高くなるように画像処理を実行する。

【0108】

そして、コントローラ１０３は、ステップＳ１０３の車両データの各フレーム画像につき、ステップＳ１０４～ステップＳ１０７を繰り返し、教材動画として生成する（ステップＳ１０８）。

【0109】

そして、コントローラ１０３は、例えば受講装置２００から図示略の教材動画の配信要求を受けると、これに応じて教材動画を受講装置２００へ配信する（ステップＳ１０９）。そして、受講装置２００のコントローラ２０４は、ＨＭＩ部２０１に対し、受信した教材動画を表示することとなる（ステップＳ１１０）。これにより、受講者は、運転者の実際の視野および運転者の動作が併せて表示された教材動画を用いた学習効果の高い安全運転指導等のｅラーニングを受講することができる。

【0110】

次に、図１２は、実施形態に係る教材動画生成システム１の構成例の補足図である。また、図１３は、第１変形例に係る教材動画生成システム１Ａの構成例を示す図である。また、図１４は、第２変形例に係る教材動画生成システム１Ｂの構成例を示す図である。

【0111】

これまでは、図１２に示すように、サーバ装置１００が、実施形態に係る教材動画を生成する生成装置２として構成され、受講装置２００が、実施形態に係る教材動画を表示する表示装置３として構成される例について説明した。

【0112】

ただし、図１２に示す構成例は一例であり、この他にも変形例を挙げることができる。図１３に示すように、第１変形例に係る教材動画生成システム１Ａは、ドライブレコーダ１０が生成装置２として構成され、受講装置２００が表示装置３として構成され、サーバ装置１００が収集装置４として構成される。

【0113】

この構成例では、ドライブレコーダ１０は、教材動画生成システム１におけるサーバ装置１００と同等に、教材動画を生成するための処理能力および機能を有している。この構成例では、ドライブレコーダ１０は、特定のイベント発生を検知した場合に、自身の記録した車両データに基づいて実施形態に係る教材動画を生成する。そして、ドライブレコーダ１０は、ネットワークＮを介し、生成した教材動画をサーバ装置１００へ送信する。

【0114】

サーバ装置１００は、各ドライブレコーダ１０から送信される教材動画を収集し、蓄積および管理する。そして、サーバ装置１００は、例えば各受講装置２００からの配信要求に応じて教材動画を各受講装置２００へ配信する。受講装置２００は、教材動画生成システム１の場合と同様に、サーバ装置１００から配信された教材動画を受信し、表示することとなる。

【0115】

また、図１４に示すように、第２変形例に係る教材動画生成システム１Ｂは、ドライブレコーダ１０が生成装置２として構成され、ドライブレコーダ１０と接続される車載ディスプレイ７が、表示装置３として構成される。

【0116】

この構成例では、ドライブレコーダ１０は、第１変形例と同様の処理能力および機能を有している。この構成例では、ドライブレコーダ１０は、特定のイベント発生を検知した場合に、自身の記録した車両データに基づいて実施形態に係る教材動画を生成する。そして、ドライブレコーダ１０は、生成した教材動画を車載ディスプレイ７へ表示させる。

【0117】

この場合、ドライブレコーダ１０は、自身が検知した特定のイベントに関する教材動画を即時性高く車載ディスプレイ７へ表示することができる。これにより、運転者は、例えばヒヤリ・ハットの場面に遭遇した直後にその原因等をすぐに把握することができる。

【0118】

なお、図１４の例の場合、ドライブレコーダ１０は、教材動画と言うよりも、自身が検知した特定のイベントに対する検証動画を生成するというニュアンスの方が近い。そして、本実施形態では、教材動画を生成する場合を例に挙げたが、生成装置２が生成するのは、教材動画に限らずこのような検証動画であってもよい。

【0119】

上述してきたように、実施形態に係る生成方法は、コントローラ１０３による生成方法である。コントローラ１０３は、インカメラ１１ａおよびアウトカメラ１１ｂ（「カメラ」の一例に相当）から車内映像および車外映像を取得し、上記車内映像に基づいて、運転者の顔、目または手における特徴点の動作解析を実行し、上記動作解析の結果に基づいて、上記運転者の視野枠および上記運転者の動作を、上記車外映像に併せて表示する映像データを生成する。

【0120】

したがって、実施形態に係る生成方法によれば、車外映像に対し、車内映像から解析した運転者の視野枠および運転者の動作が併せて表示されるので、運転者の実際の視野および運転者がその視野に至った原因を、車外映像の視聴者に把握させることができる。

【0121】

また、上述してきたように、実施形態に係る受講装置２００（「表示装置３」の一例に相当）は、ＨＭＩ部２０１（「表示部」の一例に相当）と、コントローラ２０４とを備える。コントローラ２０４は、インカメラ１１ａによる車内映像に基づいて解析された運転者の視野枠および運転者の動作をアウトカメラ１１ｂによる車外映像へ併せて表示するように生成された映像を取得する。また、コントローラ２０４は、上記映像をＨＭＩ部２０１に表示させる。

【0122】

したがって、実施形態に係る受講装置２００によれば、車外映像に対し、車内映像から解析した運転者の視野枠および運転者の動作が併せて表示されるので、運転者の実際の視野および運転者がその視野に至った原因を、受講者に把握させることができる。

【0123】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0124】

１，１Ａ，１Ｂ 教材動画生成システム
２ 生成装置
３ 表示装置
４ 収集装置
５ 車載センサ
７ 車載ディスプレイ
１０ ドライブレコーダ
１１ センサ部
１１ａ インカメラ
１１ｂ アウトカメラ
１１ｃ ＧＰＳセンサ
１１ｄ Ｇセンサ
１２ 通信部
１３ 記憶部
１３ａ 車両データＤＢ
１３ｂ イベント条件情報
１４ コントローラ
１００ サーバ装置
１０１ 通信部
１０２ 記憶部
１０２ａ 収集情報ＤＢ
１０２ｂ 画像認識ＡＩ
１０２ｃ 教材動画生成情報
１０２ｄ 教材動画ＤＢ
１０３ コントローラ
２００ 受講装置
２０１ ＨＭＩ部
２０２ 通信部
２０３ 記憶部
２０３ａ 教材動画ＤＢ
２０４ コントローラ
Ｐ 特徴点
Ｒ１ 視野枠
Ｒ２ 対象物枠
Ｒ３ 動作表示エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】