(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024172090
(43)【公開日】2024-12-12
(54)【発明の名称】教材生成装置、教材生成システムおよびプログラム
(51)【国際特許分類】
G08G 1/00 20060101AFI20241205BHJP
G09B 9/05 20060101ALI20241205BHJP
G09B 9/04 20060101ALI20241205BHJP
G06Q 50/20 20120101ALI20241205BHJP
G08G 1/16 20060101ALI20241205BHJP
G06F 21/62 20130101ALI20241205BHJP
【FI】
G08G1/00 D
G09B9/05 Z
G09B9/04 Z
G06Q50/20
G08G1/16 F
G06F21/62 345
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023089611
(22)【出願日】2023-05-31
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小林 雄士
(72)【発明者】
【氏名】羽田野 麻由
【テーマコード(参考)】
5H181
5L049
5L050
【Fターム(参考)】
5H181AA01
5H181BB20
5H181CC04
5H181CC27
5H181FF05
5H181FF10
5H181LL20
5H181MB02
5H181MB12
5H181MB13
5L049CC34
5L050CC34
(57)【要約】
【課題】プライバシー保護の観点から品質の高い教材をユーザへ提供すること。
【解決手段】実施形態に係る教材生成装置は、車両から映像を収集し、安全運転を指導する教材を生成するコントローラを有する教材生成装置である。コントローラは、上記車両から収集された上記映像を画像解析して問題文を生成するとともに、上記映像に含まれる個人情報に対して画像処理を施して個人情報を秘匿化する秘匿化処理を行い、上記問題文と上記秘匿化処理された上記映像からなる教材を生成する。また、コントローラは、上記教材をユーザが使用する装置へ提供し、提供した上記教材における上記秘匿化処理が十分かについての評価情報をユーザから受信する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車両から映像を収集し、安全運転を指導する教材を生成するコントローラを有する教材生成装置であって、
前記コントローラは、
前記車両から収集された前記映像を画像解析して問題文を生成するとともに、前記映像に含まれる個人情報に対して画像処理を施して個人情報を秘匿化する秘匿化処理を行い、前記問題文と前記秘匿化処理された前記映像からなる教材を生成し、
前記教材をユーザが使用する装置へ提供し、提供した前記教材における前記秘匿化処理が十分かについての評価情報をユーザから受信する、
教材生成装置。
【請求項2】
前記映像は、車内映像および車外映像を含み、
前記コントローラは、
前記車内映像における運転者の顔または目の特徴点に基づく前記運転者の視野情報を前記車外映像へ重畳した前記教材を生成する、
請求項1に記載の教材生成装置。
【請求項3】
前記評価情報は、前記教材に対する肯定的評価および否定的評価を含み、
前記コントローラは、
少なくとも前記肯定的評価および前記否定的評価に関する統計値を算出し、
前記統計値に基づいて前記教材の配信制御を変更する、
請求項1または2に記載の教材生成装置。
【請求項4】
前記コントローラは、
前記否定的評価の件数が第1閾値以上である場合に、前記教材の配信を停止する、
請求項3に記載の教材生成装置。
【請求項5】
前記コントローラは、
前記否定的評価の件数が前記第1閾値未満であり、前記第1閾値よりも小さい第2閾値以上である場合に、前記教材の配信率を低下させる、
請求項4に記載の教材生成装置。
【請求項6】
前記評価情報は、ユーザにより任意に入力されるコメントを含み、
前記コントローラは、
前記教材への前記コメントの総数に対する前記肯定的評価の件数を前記肯定的評価の獲得率として算出し、
前記肯定的評価の件数または前記獲得率の上昇が閾値以上である場合に、前記教材の配信率を上昇させる、
請求項3に記載の教材生成装置。
【請求項7】
前記コントローラは、
前記獲得率が低下した場合に、前記教材の配信率を低下させる、
請求項6に記載の教材生成装置。
【請求項8】
前記コントローラは、
前記評価情報に基づいて前記秘匿化処理が不十分である場合の解析を行い、解析結果に基づいて前記秘匿化処理が不十分である前記教材を修正する、
請求項1に記載の教材生成装置。
【請求項9】
前記コントローラは、
前記映像とともにGセンサによるG値を収集し、前記G値が閾値以上となる時点の直前の場面から先は再生不可となるように前記教材を生成する、
請求項1に記載の教材生成装置。
【請求項10】
車載装置と、教材生成装置と、端末装置と、を有する教材生成システムであって、
前記車載装置は、
車両で撮像した映像を前記教材生成装置へ送信し、
前記教材生成装置は、
前記車載装置から収集された前記映像を画像解析して問題文を生成するとともに、前記映像に含まれる個人情報に対して画像処理を施して個人情報を秘匿化する秘匿化処理を行い、前記問題文と前記秘匿化処理された前記映像からなる教材を生成し、
前記教材をユーザが使用する前記端末装置へ提供し、提供した前記教材における前記秘匿化処理が十分かについての評価情報を前記端末装置から受信し、
前記端末装置は、
ユーザから前記評価情報の入力を受け付けて前記評価情報を前記教材生成装置へ送信する、
教材生成システム。
【請求項11】
車両から映像を収集し、安全運転を指導する教材を生成するコンピュータに、
前記車両から収集された前記映像を画像解析して問題文を生成するとともに、前記映像に含まれる個人情報に対して画像処理を施して個人情報を秘匿化する秘匿化処理を行い、前記問題文と前記秘匿化処理された前記映像からなる教材を生成すること、
前記教材をユーザが使用する装置へ提供し、提供した前記教材における前記秘匿化処理が十分かについての評価情報をユーザから受信すること、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
開示の実施形態は、教材生成装置、教材生成システムおよびプログラムに関する。
【背景技術】
【0002】
従来、ドライブレコーダ等の車載装置によって撮影された映像が、特定のグループ内において、一例として企業内における安全運転指導のための教材として利用されることがある。
【0003】
ただし、この教材となる教材動画が、安全運転指導の観点から果たして本当に質が高いものであるか否かを把握することは難しい。そこで、ユーザから視聴した教材動画に対するリアクションを受け付け、そのリアクションに基づいて教材動画の品質を評価する技術が提案されている(例えば、特許文献1参照)。
【0004】
一方で近年、企業等は、収集する情報に関してプライバシー保護に留意することが強く求められている。このことは、教材動画に含まれる個人情報についても例外ではなく、教材動画の生成および配信に際しても企業等はプライバシー保護に強く留意する必要がある。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した従来技術は、プライバシー保護に関しては十分に考慮されていない。このため、上述した従来技術を用いた場合、このプライバシー保護の観点から教材の品質を十分に評価することは難しい。
【0007】
実施形態の一態様は、上記に鑑みてなされたものであって、プライバシー保護の観点から品質の高い教材をユーザへ提供することができる教材生成装置、教材生成システムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
実施形態の一態様に係る教材生成装置は、車両から映像を収集し、安全運転を指導する教材を生成するコントローラを有する教材生成装置である。前記コントローラは、前記車両から収集された前記映像を画像解析して問題文を生成するとともに、前記映像に含まれる個人情報に対して画像処理を施して個人情報を秘匿化する秘匿化処理を行い、前記問題文と前記秘匿化処理された前記映像からなる教材を生成する。また、前記コントローラは、前記教材をユーザが使用する装置へ提供し、提供した前記教材における前記秘匿化処理が十分かについての評価情報をユーザから受信する。
【発明の効果】
【0009】
実施形態の一態様によれば、プライバシー保護の観点から品質の高い教材をユーザへ提供することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施形態に係る教材生成方法の概要説明図である。
【
図2】
図2は、受講装置に表示される教材動画画面の一例を示す図である。
【
図3】
図3は、受講装置に表示される評価入力画面の一例を示す図である。
【
図4】
図4は、実施形態に係る教材動画配信システムの構成例を示す図である。
【
図5】
図5は、実施形態に係るドライブレコーダの構成例を示す図である。
【
図6】
図6は、実施形態に係るサーバ装置の構成例を示す図である。
【
図7】
図7は、実施形態に係る受講装置の構成例を示す図である。
【
図8】
図8は、実施形態に係る教材動画配信システムが実行する処理シーケンスを示す図である。
【
図9】
図9は、G値に基づく編集内容の説明図である。
【
図10】
図10は、評価結果を解析した解析結果の一例を示す図である。
【
図11】
図11は、解析結果に応じた配信制御に関する制御内容の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本願の開示する教材生成装置、教材生成システムおよびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【0012】
また、以下では、実施形態に係る教材生成システムが、教材動画配信システム1(
図1以降参照)である場合を主たる例に挙げて説明する。教材動画配信システム1は、安全運転指導等のためのeラーニング(e-learning)用の教材となる教材動画を生成して配信するシステムである。
【0013】
また、以下では、実施形態に係る教材生成装置が、教材動画配信システム1に含まれるサーバ装置100(
図1以降参照)であるものとする。実施形態に係る教材生成方法は、このサーバ装置100のコントローラ103(
図6参照)が実行する教材生成方法であるものとする。
【0014】
また、以下の説明での「特定」や「所定」や「一定」との表現は、「予め決められた」と読み替えてもよい。
【0015】
まず、実施形態に係る教材生成方法の概要について、
図1~
図3を用いて説明する。
図1は、実施形態に係る教材生成方法の概要説明図である。また、
図2は、受講装置に表示される教材動画画面の一例を示す図である。また、
図3は、受講装置に表示される評価入力画面の一例を示す図である。
【0016】
図1に示すように、教材動画配信システム1は、ドライブレコーダ10と、サーバ装置100と、受講装置200(200-1,200-2…)とを含む。受講装置200は、「端末装置」の一例に相当する。
【0017】
ドライブレコーダ10は、車両に搭載される映像記録装置である。実施形態に係るドライブレコーダ10は、インカメラ11aと、アウトカメラ11bとを有する。インカメラ11aおよびアウトカメラ11bは、「カメラ」の一例に相当する。インカメラ11aは、車両の車内映像を撮像可能に設けられる。アウトカメラ11bは、車両の車外映像を撮像可能に設けられる。
【0018】
ドライブレコーダ10は、車両の起動中に、これらインカメラ11aおよびアウトカメラ11bによって撮像された車内映像および車外映像を含む車両データをリングバッファメモリに一定期間分が上書き可能に記録する。一定期間は例えば24時間である。車両データは、車内映像および車外映像の他、日時情報や、位置情報や、車速や、G値といった車両の状況を示す各種データを含むことができる。
【0019】
また、ドライブレコーダ10は、事故発生やヒヤリ・ハット発生といった特定のイベントを検知可能に設けられる。ドライブレコーダ10は、例えば車速の変化やG値の変化等が、予め設定された事故発生やヒヤリ・ハット発生等に対応する所定のイベント条件を満たした場合に、特定のイベントとして検知する。
【0020】
そして、ドライブレコーダ10は、特定のイベントを検知した場合、検知時点の前後一定時間分の車両データを上書き禁止に設定する。あるいは、ドライブレコーダ10は、この検知時点の前後一定時間分の車両データを別の記録媒体へ記録する。なお、この上書き禁止処理や別の記録媒体への記録処理は、サーバ装置100からの指示で行われてもよい。
【0021】
また、ドライブレコーダ10は、特定のイベントを検知した場合は、前述の上書き禁止に設定する車両データをサーバ装置100へ送信する。
【0022】
サーバ装置100は、車両から送信された車両データに基づいて、事故発生やヒヤリ・ハット発生等の特定のイベントが検知された場合の車両の状況を解析可能に設けられる。また、サーバ装置100は、その解析結果に基づいて教材動画を生成可能に設けられる。
【0023】
また、サーバ装置100は、生成した教材動画を、受講装置200へ配信するサービスを提供可能に設けられる。受講装置200は、eラーニングを受講する受講者(「ユーザ」の一例に相当)が利用する端末装置である。受講装置200は、例えば受講装置200-1のようなPC(Personal Computer)や、受講装置200-2のようなスマートフォン等によって実現される。
【0024】
ところで近年、企業等は、収集する情報に関してプライバシー保護に留意することが強く求められている。このことは、教材動画に含まれる個人情報についても例外ではなく、教材動画の生成および配信に際しても企業等はプライバシー保護に強く留意する必要がある。したがって、教材動画は、プライバシー保護の観点から品質の高いことが求められる。
【0025】
なお、ここで、教材動画の品質を評価するにあたり、ユーザから視聴した教材動画に対するリアクションを受け付け、そのリアクションに基づいて教材動画の品質を評価する既存技術がある。
【0026】
しかしながら、既存技術は、プライバシー保護に関しては十分に考慮されていない。このため、既存技術を用いた場合、このプライバシー保護の観点から教材動画の品質を十分に評価することは難しい。
【0027】
そこで、実施形態に係る教材生成方法では、サーバ装置100が、車両から取得した車両データに含まれる映像に対し、個人情報の秘匿化を行う画像処理である秘匿化処理を実行し、上記映像に対応する教材動画を生成してユーザへ配信することとした。また、サーバ装置100が、上記教材動画へのユーザの評価結果に含まれる上記秘匿化の漏れに対する評価に基づいて上記教材動画の配信制御に関する制御内容を変更することとした。
【0028】
具体的には、
図1に示すように、まずドライブレコーダ10は、予め設定されたイベント条件に基づいて特定のイベントを検知すると(ステップS1)、このイベント検知時点の前後一定時間分の車両データをサーバ装置100へ送信する(ステップS2)。既に述べた通り、車両データは、車内映像、車外映像、日時情報(イベント発生日時)、位置情報、車速およびG値等を含む。
【0029】
そして、サーバ装置100は、教材動画の素材となる車外映像および車内映像に対し、個人情報の秘匿化を行う画像処理を実行しつつ、車両データに基づいて教材動画を生成する(ステップS3)。
【0030】
例えばこの教材動画は、
図2の教材動画画面DS1に示すように、アウトカメラ11bによる車外映像Vに対し、視野枠R1(「視野情報」の一例に相当)と、対象物枠R2とを重畳して表示するように生成される。
【0031】
なお、教材動画は、上述したように教材動画の素材となる車外映像Vおよび車内映像に対し、個人情報を秘匿化する画像処理が行われる。車内映像に対しては、後述する視野枠R1の推定が済んでからでもよい。この画像処理は、例えばナンバープレートや人物の顔等に対応する特定部位にモザイク処理や、ぼかし処理や、塗りつぶし処理等を施す。
【0032】
図2は、モザイク処理が施された例を示している。ただし、
図2では、M1部に示すようにナンバープレートのモザイク処理が不完全であるとともに、M2部に示すように対向車両の運転者の顔にはモザイク処理がそもそも施されていないものとする。
【0033】
視野枠R1は、運転者の実際の視野を示す検知枠である。この視野枠R1が車外映像Vに重畳して表示されることにより、受講者は、運転者の実際の視野を明確に把握することができる。視野枠R1は、インカメラ11aによる車内映像をサーバ装置100が例えば画像認識用のAI(Artificial Intelligence)モデルの画像認識結果に基づいて解析することによってその位置や大きさ、形状等が推定される。
【0034】
サーバ装置100は、例えばAIモデルを用いて車内映像から運転者の顔や顔以外の物体を認識する。また、サーバ装置100は、例えば認識した顔から顔の特徴点を抽出する。また、サーバ装置100は、例えば抽出した顔の特徴点の位置等に基づいて、運転者の顔の向きや、運転者の開眼状態等を推定する。運転者の開眼状態は、すなわち運転者の瞼の開閉状態である。そして、サーバ装置100は、これらの推定結果に基づいて視野枠R1を推定する。
【0035】
サーバ装置100は、例えば推定した運転者の顔の向きに応じて、車外映像Vに対し表示する視野枠R1の位置を推定する。これにより、サーバ装置100は、運転者の顔の向きに応じた実際の視野に近い位置に視野枠R1を表示させることができる。また、サーバ装置100は、例えば推定した運転者の開眼状態に応じて、車外映像Vに対し表示する視野枠R1の大きさを推定する。これにより、サーバ装置100は、運転者の開眼状態に応じた実際の視野に近い大きさの視野枠R1を表示させることができる。なお、
図2では、視野枠R1を楕円状に表しているが、視野枠R1の形状を限定するものではない。
【0036】
また、サーバ装置100は、例えば推定した視野枠R1の位置が車外映像Vの撮像範囲外にあると推定すると、車外映像Vに対して視野枠R1を表示しない。また、サーバ装置100は、例えば推定した開眼状態によって両目が閉じられていると推定すると、車外映像Vに対して視野枠R1を表示しない。
【0037】
このように、サーバ装置100は、運転者の顔の向きや開眼状態等に応じて、視野枠R1が表示/非表示となる教示動画を生成することができる。受講者は、この視野枠R1が表示/非表示となる教材動画を視聴することにより、運転者の実際の視野を容易に把握することができる。
【0038】
また、対象物枠R2は、事故やヒヤリ・ハット等における対象物の検知枠である。対象物枠R2は、アウトカメラ11bによる車外映像Vを、サーバ装置100が例えば前述のAIモデル等を用いて解析することによって推定される。
【0039】
受講者は、この対象物枠R2が車外映像Vへ重畳して表示されることにより、事故やヒヤリ・ハット等における対象物を容易に把握することができる。
【0040】
なお、
図2に示すように、視野枠R1は、例えば視野枠R1内の明るさや透過度が車外映像Vの視野枠R1以外の領域よりも高くなるように画像処理が行われる。すなわち、視野枠R1は、車外映像Vの他の領域よりも視認性が高くなるように画像処理が行われる。これにより、受講者は、運転者の実際の視野を明確に他の領域と区別して把握することが可能となる。
【0041】
そして、教材動画の下方には、この教材動画に対応する問題文が表示される。受講者は、この問題文について用意された選択肢を選択することによって、問題文に対する回答を行う。
【0042】
サーバ装置100は、この問題文を車外映像Vおよび車内映像を画像解析して生成する。サーバ装置100は、例えば映像が事故の起きた場面を撮像した事故映像である場合、事故映像が示す各種の状況を複数の要素に分解する。複数の要素は、例えば、事故の原因となった対象の種類や、対象の位置、運転者の動作等の要素を含む。
【0043】
また、サーバ装置100は、分解した複数の要素ごとに、予め定められた危険要素との一致度を算出し、複数の要素それぞれの一致度に応じた内容の問題文を生成する。
【0044】
例えば、対象の種類に関する危険要素は、車両、自転車、歩行者等である。対象の位置に関する危険要素は、前方、後方、左方、右方等である。運転者の動作に関する危険要素は、居眠り、わき見、スマホ操作、信号無視等である。
【0045】
具体的には、サーバ装置100は、事故映像の中から事故の原因となった対象の領域を検出し、パターンマッチングにより、検出した領域と、危険要素である車両、自転車および歩行者それぞれのテンプレート画像との一致度を算出する。
【0046】
また、サーバ装置100は、検出した領域の位置やカメラの撮像範囲に基づいて、対象の位置に関する危険要素である前方、後方、左方および右方それぞれとの一致度を算出する。また、サーバ装置100は、車外映像Vへ重畳する視野枠R1の位置やサイズ等に基づいて、運転者の動作に関する危険要素である居眠り、わき見、スマホ操作および信号無視それぞれとの一致度を算出する。
【0047】
そして、サーバ装置100は、算出した各一致度に応じた内容の問題文を生成する。例えば、サーバ装置100は、対象の種類に関する危険要素が車両であるとの一致度および対象の位置に関する危険要素が前方であるとの一致度がそれぞれ閾値以上である場合、例えば
図2に示すような「正面衝突」に関する問題文を生成する。また、サーバ装置100は、運転者の動作に関する危険要素がわき見であるとの一致度が閾値以上である場合、正解がわき見である選択肢を生成する。また、このときサーバ装置100は、運転者の動作に関する危険要素のうち一致度が閾値未満である各要素(例えば、居眠りや信号無視)を例えば不正解の選択肢として生成する。
【0048】
なお、サーバ装置100は、予め各危険要素を言い表すキーワードと問題文のテンプレートとが登録されたデータベースを有しておき、前述の一致度に応じてキーワードを組み合わせてテンプレートへ当てはめることで問題文を生成してもよい。また、サーバ装置100は、検出された各危険要素および各一致度を入力することで問題文を自動生成するように予め学習されたAI言語モデルを用いてもよい。
【0049】
また、受講者が回答後、例えば
図2の教材動画画面DS1を下方にスクロールすると、
図3に示すように評価入力画面DS2が表示される。評価入力画面DS2は、「グッド」ボタンgと、「バッド」ボタンbとを有する。「グッド」ボタンgは、受講者が設問を肯定的に評価する場合に押すボタンである。これとは反対に、「バッド」ボタンbは、受講者が設問を否定的に評価する場合に押すボタンである。
【0050】
受講者が「バッド」ボタンbを押すと、図中のM3部に示すようにフィードバック情報入力画面が展開される。フィードバック情報入力画面は、受講者に対し、設問を否定的に評価した理由を尋ねる選択肢を表示する。本実施形態では、このフィードバック情報入力画面が、M4部に示すようにプライバシー保護が不適切だった旨の選択肢を選択可能になっている。
【0051】
図2のM1部やM2部に示したように、モザイク処理が不完全で秘匿化すべき個人情報が漏れており(以下、適宜「秘匿化漏れ」または「秘匿化の漏れ」と言う)、受講者がこれに気づいて不適切と感じた場合はこのM4部に示す選択肢を選択することができる。
【0052】
また、フィードバック情報入力画面はコメント欄が設けられており、受講者は任意にコメントを入力することができる。そして、受講者が「送信」ボタンを押すことで、評価入力画面DS2へ入力された入力内容が、評価結果としてサーバ装置100へ送信される。評価結果は、提供した教材における秘匿化処理が十分かについての「評価情報」の一例に相当する。
【0053】
図1の説明に戻る。そして、サーバ装置100は、ステップS3で生成した教材動画を受講装置200へ配信する(ステップS4)。受講者は、この受講装置200へ配信された教材動画を受講し、
図3に示した評価入力画面DS2へ適宜入力を行って評価結果をサーバ装置100へ送信する(ステップS5)。
【0054】
そして、サーバ装置100は、受講者の評価結果に含まれる秘匿化漏れに対する評価に基づいて教材動画の配信制御に関する制御内容を変更する(ステップS6)。一例を挙げると、秘匿化漏れを含む教材動画が高頻度で配信されることは、プライバシー保護の不備を拡散することとなり好ましくない。
【0055】
この場合、サーバ装置100は、秘匿化漏れを指摘する件数が所定の閾値以上である場合、該当の教材動画の配信率を下げるか配信を停止するように配信制御の制御内容を変更する。この制御内容の変更に関するさらなる具体例は、
図10および
図11を用いた説明で後述する。
【0056】
このように、実施形態に係る教材生成方法では、サーバ装置100が、車両から取得した車両データに含まれる映像に対し、個人情報の秘匿化を行う画像処理である秘匿化処理を実行し、上記映像に対応する教材動画を生成してユーザへ配信する。また、サーバ装置100が、上記教材動画へのユーザの評価結果に含まれる上記秘匿化の漏れに対する評価に基づいて上記教材動画の配信制御に関する制御内容を変更する。
【0057】
したがって、実施形態に係る教材生成方法によれば、プライバシー保護の観点から品質の高い教材をユーザへ提供することができる。
【0058】
以下、上述した実施形態に係る教材生成方法を適用したサーバ装置100を含む教材動画配信システム1の構成例について、より具体的に説明する。
【0059】
図4は、実施形態に係る教材動画配信システム1の構成例を示す図である。
図4に示すように、教材動画配信システム1は、ドライブレコーダ10-1,10-2,…10-m(mは1以上の自然数)と、サーバ装置100と、受講装置200-1,200-2,…200-n(nは1以上の自然数)とを含む。
【0060】
各ドライブレコーダ10と、サーバ装置100と、各受講装置200とは、インターネットや、携帯電話回線網や、C-V2X(Cellular Vehicle to Everything)通信網等であるネットワークNを介して相互に通信可能に接続される。
【0061】
ドライブレコーダ10は、上述したように、インカメラ11aおよびアウトカメラ11bによって撮像した車内映像および車外映像や、車両の状況を示す各種データを含む車両データをリングバッファメモリに一定期間分が上書き可能に記録する。
【0062】
また、ドライブレコーダ10は、車両の起動中に、事故発生やヒヤリ・ハット等の特定のイベントを検知した場合は、検知時点の前後一定時間分の車両データを上書き禁止に設定する。あるいはドライブレコーダ10は、この検知時点の前後一定時間分の車両データを別の記録媒体へ記録する。
【0063】
また、ドライブレコーダ10は、特定のイベントを検知した場合は、前述の上書き禁止に設定する車両データをサーバ装置100へ送信する。
【0064】
サーバ装置100は、例えばクラウドサーバとして実現される。サーバ装置100は、例えば教材動画配信システム1を運営する事業者によって管理される。サーバ装置100は、各ドライブレコーダ10から送信される車両データを収集する。
【0065】
また、サーバ装置100は、収集した車両データを用い、教材動画の素材となる車外映像Vおよび車内映像に対して個人情報の秘匿化を行う画像処理を実行しつつ、車両データに基づいて教材動画を生成する。
【0066】
また、サーバ装置100は、生成した教材動画群を蓄積および管理する。また、サーバ装置100は、各受講装置200に対し教材動画を配信するサービスを提供する。
【0067】
受講装置200は、上述したように、受講者が利用する端末装置であり、PCやスマートフォン等によって実現される。受講装置200は、これら以外にも、例えばタブレット端末や、ウェアラブルデバイス等によって実現されてもよい。
【0068】
次に、ドライブレコーダ10の構成例について説明する。
図5は、実施形態に係るドライブレコーダ10の構成例を示す図である。
図5に示すように、ドライブレコーダ10は、センサ部11と、通信部12と、記憶部13と、コントローラ14とを有する。
【0069】
センサ部11は、ドライブレコーダ10に搭載される各種のセンサ群である。センサ部11は、例えばインカメラ11aと、アウトカメラ11bと、GPS(Global Positioning System)センサ11cと、Gセンサ11dとを含む。
【0070】
インカメラ11aは、車両の車内映像を撮像可能に設けられる。インカメラ11aは、少なくとも運転者の顔が撮像範囲に含まれるように、フロントガラス付近やダッシュボード付近等に取り付けられる。
【0071】
アウトカメラ11bは、車両の車外映像Vを撮像可能に設けられる。アウトカメラ11bは、フロントガラス付近や、ダッシュボード付近や、リアガラス付近等に取り付けられる。なお、インカメラ11aおよびアウトカメラ11bは必ずしも分離している必要はなく、例えば360度カメラによって一体に構成されてもよい。
【0072】
GPSセンサ11cは、車両のGPS位置を測位する。Gセンサ11dは、車両に加わる加速度を測定する。
【0073】
また、ドライブレコーダ10は、センサ部11以外にも、車両に搭載される各種のセンサ群である車載センサ5が接続される。車載センサ5は、例えば車速センサや、アクセルセンサや、ブレーキセンサ等を含む。車載センサ5は、CAN(Controller Area Network)等の車載ネットワークを介してドライブレコーダ10に接続される。
【0074】
通信部12は、ネットワークアダプタ等によって実現される。通信部12は、ネットワークNと無線で接続され、ネットワークNを介して、サーバ装置100との間で情報の送受信を行う。
【0075】
記憶部13は、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の記憶デバイスによって実現される。記憶部13は、
図5の例では、車両データDB13aと、イベント条件情報13bとを記憶する。
【0076】
車両データDB13aは、ドライブレコーダ10が記録する車両データのデータベースである。イベント条件情報13bは、上述した特定のイベントを検知するための所定のイベント条件が予め設定された情報である。
【0077】
コントローラ14は、いわゆるプロセッサに相当する。コントローラ14は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphical Processing Unit)等によって実現される。コントローラ14は、記憶部13に記憶されている図示略の実施形態に係るプログラムを、RAMを作業領域として実行する。また、コントローラ14は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
【0078】
コントローラ14は、
図8に示す処理シーケンスによる情報処理を実行する。
図8を用いた説明は後述する。
【0079】
次に、サーバ装置100の構成例について説明する。
図6は、実施形態に係るサーバ装置100の構成例を示す図である。
図6に示すように、サーバ装置100は、通信部101と、記憶部102と、コントローラ103とを有する。また、サーバ装置100は、HMI(Human Machine Interface)部50が接続される。
【0080】
HMI部50は、サーバ装置100を操作するオペレータ等に対する入力および出力に関するインターフェイス部品を提供する構成要素である。HMI部50は、オペレータ等からの入力操作を受け付ける入力インターフェイスを含む。入力インターフェイスは、例えばタッチパネルによって実現される。なお、入力インターフェイスは、キーボードや、マウスや、ペンタブレットや、マイク等によって実現されてもよい。また、入力インターフェイスは、ソフトウェア部品によって実現されてもよい。
【0081】
また、HMI部50は、オペレータ等に対して画像情報や音声情報を提示する出力インターフェイスを含む。出力インターフェイスは、たとえばディスプレイやスピーカ等によって実現される。なお、HMI部50は、例えばタッチパネルディスプレイによって、入力インターフェイスおよび出力インターフェイスを一体にオペレータ等へ提供するようにしてもよい。
【0082】
通信部101は、ネットワークアダプタ等によって実現される。通信部101は、ネットワークNと有線または無線で接続され、ネットワークNを介して、ドライブレコーダ10および受講装置200との間で情報の送受信を行う。
【0083】
記憶部102は、ROM、RAM、フラッシュメモリ、HDD(Hard Disk Drive)等の記憶デバイスによって実現される。記憶部102は、
図6の例では、収集情報DB102aと、画像認識AI102bと、教材動画生成情報102cと、教材動画DB102dと、評価結果DB102eとを記憶する。
【0084】
収集情報DB102aは、各ドライブレコーダ10から収集された車両データが格納されるデータベースである。画像認識AI102bは、画像認識用のAIモデルである。画像認識AI102bは、例えば機械学習のアルゴリズムを用いて学習されたDNN(Deep Neural Network)モデルである。
【0085】
画像認識AI102bは、コントローラ103にDNNモデルとして読み込まれた後、コントローラ103に車内映像または車外映像の各フレーム画像が入力された場合に、各フレーム画像に含まれる各種の物体を判別可能に設けられる。
【0086】
画像認識AI102bは、車内映像の各フレーム画像が入力された場合に、例えば各フレーム画像に写り込んだ人物の顔を検知可能に設けられる。また、画像認識AI102bは、顔の検知枠において、顔の特徴点群を抽出可能に設けられる。また、画像認識AI102bは、顔以外の物体を検知可能に設けられる。
【0087】
また、画像認識AI102bは、車外映像の各フレーム画像が入力された場合に、例えば各フレーム画像に写り込んだ人物やナンバープレートなどを検知可能に設けられる。
【0088】
教材動画生成情報102cは、コントローラ103が教材動画を生成する際に用いられる各種のパラメータが設定された情報である。各種のパラメータは、例えば教材動画における画面レイアウトに関するパラメータを含む。
【0089】
教材動画DB102dは、コントローラ103によって生成された教材動画が格納されるデータベースである。評価結果DB102eは、各受講装置200から収集された評価結果が格納されるデータベースである。
【0090】
コントローラ103は、いわゆるプロセッサに相当する。コントローラ103は、CPUやMPU、GPU等によって実現される。コントローラ103は、記憶部102に記憶されている図示略の実施形態に係るプログラムを、RAMを作業領域として実行する。また、コントローラ103は、ASICやFPGA等の集積回路により実現することができる。
【0091】
コントローラ103は、上述したコントローラ14と同様に、
図8に示す処理シーケンスによる情報処理を実行する。
図8を用いた説明は後述する。
【0092】
次に、受講装置200の構成例について説明する。
図7は、実施形態に係る受講装置200の構成例を示す図である。
図7に示すように、受講装置200は、通信部202と、記憶部203と、コントローラ204とを有する。また、受講装置200は、HMI部201が接続される。
【0093】
HMI部201は、受講者に対する入力および出力に関するインターフェイス部品を提供する構成要素である。HMI部201は、既に説明したHMI部50と同様の構成要素であるので、これ以上の説明は省略する。
【0094】
通信部202は、ネットワークアダプタ等によって実現される。通信部202は、ネットワークNと有線または無線で接続され、ネットワークNを介して、サーバ装置100との間で情報の送受信を行う。
【0095】
記憶部203は、ROM、RAM、フラッシュメモリ、HDD等の記憶デバイスによって実現される。記憶部203は、
図7の例では、教材動画DB203aを記憶する。
【0096】
教材動画DB203aは、通信部202を介し、コントローラ204がサーバ装置100から受信した教材動画が格納されるデータベースである。
【0097】
コントローラ204は、いわゆるプロセッサに相当する。コントローラ204は、CPUやMPU、GPU等によって実現される。コントローラ204は、記憶部203に記憶されている図示略の実施形態に係るプログラムを、RAMを作業領域として実行する。また、コントローラ204は、ASICやFPGA等の集積回路により実現することができる。
【0098】
コントローラ204は、上述したコントローラ14やコントローラ103と同様に、
図8に示す処理シーケンスによる情報処理を実行する。
【0099】
次に、この処理シーケンスによる情報処理について説明する。
図8は、実施形態に係る教材動画配信システム1が実行する処理シーケンスを示す図である。
【0100】
ドライブレコーダ10側では、コントローラ14が車両データを記録する(ステップS101)。また、コントローラ14は、特定のイベントを検知したか否かを判定する(ステップS102)。
【0101】
イベントを検知した場合(ステップS102,Yes)、コントローラ14は、イベント検知時点の前後一定時間分の車両データをサーバ装置100へ向けて送信する(ステップS103)。イベントを検知しない場合(ステップS102,No)、コントローラ14は、ステップS101からの処理を繰り返す。
【0102】
サーバ装置100のコントローラ103は、ステップS103の車両データ中の車外映像Vおよび車内映像に対し、個人情報の秘匿化を行う画像処理である秘匿化処理を実行する(ステップS104)。また、コントローラ103は、車内映像に基づいて運転者の視野を解析し、車外映像Vへ視野情報(すなわち、視野枠R1)を重畳する(ステップS105)。
【0103】
そして、コントローラ103は、ステップS103の車両データ中の各フレーム画像につき、ステップS104~ステップS105を繰り返しつつ、教材動画として生成する(ステップS106)。
【0104】
なお、コントローラ103は、ステップS103の車両データに含まれる映像以外のセンサデータに基づいて教材動画を適宜編集することができる。例えばコントローラ103は、G値が所定の閾値以上である場合に、衝突が起きたと考えられる直前で教材動画の再生が停止するように編集してもよい。
【0105】
図9は、G値に基づく編集内容の説明図である。具体的には、
図9に示すように、コントローラ103は、車両データにおけるG値が通常よりも大きい閾値THを時点T1で超える場合には、教材動画の素材となる映像につき、その直前の時点T0以降をカットするようにしてもよい。また、コントローラ103は、カットせずとも時点T0で教材動画の再生が必ず停止するようにしてもよい。また、コントローラ103は、そもそもG値が大き過ぎる場合には、該当の映像を教材動画の素材としなくともよい。
【0106】
このようなG値に基づく編集を行うことにより、コントローラ103は、被害の大きい人身事故等で倫理的に不適切な場面を受講者に視聴させてしまうことを防ぐことができる。
【0107】
なお、コントローラ103は、G値だけでなく例えば車速が所定の閾値以上の状態で事故等が起きた場合に、
図9と同様に映像を編集してもよい。
【0108】
図8の説明に戻る。そして、コントローラ103は、例えば図示略の自動配信のスケジューラ等に基づいて、教材動画を受講装置200へ配信する(ステップS107)。そして、受講装置200側ではコントローラ204が、HMI部201に対し、配信された教材動画を表示する(ステップS108)。
【0109】
そして、コントローラ204は、前述の評価入力画面DS2を介し、秘匿化漏れの指摘を含む受講者の評価を受け付ける(ステップS109)。受け付けた内容は、評価結果としてサーバ装置100へ送信される(ステップS110)。
【0110】
そして、サーバ装置100のコントローラ103は、ステップS110の評価結果を収集して蓄積し、これを解析する(ステップS111)。そして、コントローラ103は、その解析結果を教材動画の配信制御へ反映する(ステップS112)。
【0111】
ここで、ステップS111での解析結果の一例、および、その解析結果に応じた配信制御に関する制御内容の一例について説明する。
図10は、評価結果を解析した解析結果の一例を示す図である。また、
図11は、解析結果に応じた配信制御に関する制御内容の一例を示す図である。
【0112】
受講者からの評価結果を解析した解析結果は、
図10に示すように、解析結果画面DS3に表示される。解析結果画面DS3は、サーバ装置100のHMI部50に対して表示される。
【0113】
解析結果画面DS3は、
図10に示すように、教材動画ごとの解析結果を提示する。解析結果画面DS3には、該当の教材動画の自動配信設定の状況、受講者のリアクション状況および獲得コメント欄等が表示される。
【0114】
自動配信の設定は、サーバ装置100のオペレータ等が解析結果画面DS3の内容を確認して手動で変更することが可能である。なお、自動配信の設定は、リアクション状況に応じてコントローラ103が自動的に設定を変更してもよい。
【0115】
リアクション状況は、「グッド」ボタンgが押された場合の総グッド獲得数、グッド獲得率等が表示される。総グッド獲得数は、「グッド」ボタンgが押された回数の累計値である。グッド獲得率は、総コメント数に対するグッド獲得数の割合である。
【0116】
また、リアクション状況は、「バッド」ボタンbが押された場合のフィードバック情報入力画面(
図3のM3部参照)の各選択肢に対応する統計値が表示される。また、獲得コメント欄は、該当の教材動画に対して入力されたコメントがリスト表示される。
【0117】
このようにコントローラ103は、「グッド」ボタンgが押された場合および「バッド」ボタンbが押された場合に関する統計値を解析結果として算出し、これに基づいて配信制御に関する制御内容を変更する。これにより、この統計値が示す傾向に基づいて適切に配信制御に関する制御内容を変更することが可能となる。
【0118】
このような解析結果に応じ、コントローラ103は、例えば
図11に示すように配信制御に関する制御内容を変更する。
図11に示すように、コントローラ103は「グッド」ボタンgに関し、獲得数または獲得率の上昇が閾値以上である場合に、例えば該当の教材動画の配信率を上げる。「上昇」は、例えば上昇幅であってもよいし、上昇率であってもよい。これにより、評価の高い教材動画がより多く配信されるようにすることができる。
【0119】
また、コントローラ103は同じく「グッド」ボタンgに関し、獲得率が低下した場合に、例えば該当の教材動画の配信率を下げる。これにより、例えばトレンドの変化等により評価の良否にも変化が生じて獲得率が下がってきたような教材動画の配信頻度を下げ、目立たなくすることができる。
【0120】
また、コントローラ103は「バッド」ボタンbに関し、件数が所定の第1閾値以上である場合に、例えば該当の教材動画の配信を停止する。これにより、秘匿化漏れ等で評価のきわめて低い教材動画が配信されないようにすることができる。
【0121】
また、コントローラ103は同じく「バッド」ボタンbに関し、件数が第1閾値未満であり、かつ、第1閾値よりも小さい所定の第2閾値以上である場合に、例えば該当の教材動画の配信率を下げる。これにより、秘匿化漏れ等で評価の低い教材動画の配信頻度を下げ、受講者の目に止まりにくくすることができる。
【0122】
図8の説明に戻る。また、コントローラ103は、ステップS111での解析結果に基づき教材動画を修正する(ステップS113)。ステップS113では、例えばコントローラ103は、秘匿化漏れが生じたケースのパターン解析を行い、そのパターン解析の結果に基づいて画像認識AI102bを再学習する。そして、この再学習した画像認識AI102bを用いて、コントローラ103は秘匿化する画像処理を実行することで教材動画を修正する。これにより、秘匿化漏れが生じていた教材動画について秘匿化漏れのあった箇所を修正し、改めて配信し直すことができる。
【0123】
上述してきたように、実施形態に係るサーバ装置100(「教材生成装置」の一例に相当)は、車両から映像を収集し、安全運転を指導する教材を生成するコントローラ103を有する教材生成装置である。コントローラ103は、上記車両から収集された上記映像を画像解析して問題文を生成するとともに、上記映像に含まれる個人情報に対して画像処理を施して個人情報を秘匿化する秘匿化処理を行い、上記問題文と上記秘匿化処理された上記映像からなる教材を生成する。また、コントローラ103は、上記教材をユーザが使用する装置へ提供し、提供した上記教材における上記秘匿化処理が十分かについての評価情報をユーザから受信する。
【0124】
したがって、実施形態に係るサーバ装置100によれば、秘匿化漏れの指摘を含むユーザの評価結果を教材動画の配信制御へ反映させることができるので、プライバシー保護の観点から品質の高い教材をユーザへ提供することが可能となる。
【0125】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0126】
1 教材動画配信システム
5 車載センサ
10 ドライブレコーダ
11 センサ部
11a インカメラ
11b アウトカメラ
11c GPSセンサ
11d Gセンサ
12 通信部
13 記憶部
13a 車両データDB
13b イベント条件情報
14 コントローラ
50 HMI部
100 サーバ装置
101 通信部
102 記憶部
102a 収集情報DB
102b 画像認識AI
102c 教材動画生成情報
102d 教材動画DB
102e 評価結果DB
103 コントローラ
200 受講装置
201 HMI部
202 通信部
203 記憶部
203a 教材動画DB
204 コントローラ
R1 視野枠
R2 対象物枠