ホーム > 特許ランキング > ソフトバンク株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-01
(45)【発行日】2022-12-09
(54)【発明の名称】管理システム、管理方法、管理装置、プログラム及び通信端末
(51)【国際特許分類】
G08G 1/00 20060101AFI20221202BHJP
G08G 1/13 20060101ALI20221202BHJP
G07C 5/00 20060101ALI20221202BHJP
【ＦＩ】
G08G1/00 D
G08G1/13
G07C5/00 Z
【請求項の数】
10
(21)【出願番号】P 2020136380
(22)【出願日】2020-08-12
(65)【公開番号】P2022032520
(43)【公開日】2022-02-25
【審査請求日】2021-02-15
(73)【特許権者】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(74)【代理人】
【識別番号】100207778
【弁理士】
【氏名又は名称】阿形 直起
(72)【発明者】
【氏名】須田 陽介
(72)【発明者】
【氏名】中村 友佳子
(72)【発明者】
【氏名】牧志 洸
(72)【発明者】
【氏名】佐山 和彦
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開２０１６－０８１０８６（ＪＰ，Ａ）
【文献】特開２０１８－１５２０３４（ＪＰ，Ａ）
【文献】特開２０１８－１５２０３８（ＪＰ，Ａ）
【文献】特開２０１１－２２７６６３（ＪＰ，Ａ）
【文献】特開２０１９－０３２７２５（ＪＰ，Ａ）
【文献】特開２０２０－０４６７２８（ＪＰ，Ａ）
【文献】特開２０１９－２０５０７８（ＪＰ，Ａ）
【文献】特開２０１６－１２６７５６（ＪＰ，Ａ）
【文献】特開２０１６－１３０９６６（ＪＰ，Ａ）
【文献】中国特許出願公開第１０７２２１１９６（ＣＮ，Ａ）
【文献】中国特許出願公開第１１１３０１２８０（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
Ｂ６０Ｗ ３０／００ － ６０／００
Ｂ６０Ｒ １６／００ － １６／０８
Ｂ６０Ｒ ２１／００ － ２１／０１７
Ｇ０７Ｃ ５／００ － ５／１２
(57)【特許請求の範囲】
【請求項1】
車両に設けられる撮像装置と、管理装置と、を有する管理システムであって、前記撮像装置は、
前記車両とは異なる他の車両を撮像して車外動画像を生成するとともに、前記車両の運転者を撮像して車内動画像を生成する第１生成部と、
前記車外動画像と前記車内動画像とを前記管理装置に送信する第１送信部と、を有し、
前記管理装置は、
ナンバープレートに関する情報と前記ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した第１の学習済みモデル、並びに、車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と前記運転者が前記対象物を注視しているか否かを示す情報との関係をあらかじめ学習した第２の学習済みモデルを記憶する記憶部と、
前記車外動画像と前記車内動画像とを取得する動画像取得部と、
前記車外動画像に基づいて生成される、前記他の車両のナンバープレートに関する情報と、前記車内動画像に基づいて生成される、前記車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と、を取得する情報取得部と、
前記取得した他の車両のナンバープレートに関する情報を前記第１の学習済みモデルに入力することにより、前記車両と前記他の車両との車間距離を推定するとともに、前記取得した運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報を前記第２の学習済みモデルに入力することにより、前記車両の運転者が前記対象物を注視しているか否かを推定する推定部と、
前記推定した車間距離に基づいて前記他の車両の危険度を算出するとともに、前記車両の運転者が前記対象物を注視しているか否かに基づいて前記車両の運転者の危険度を算出する算出部と、
前記他の車両の危険度に基づいて前記車外動画像の一部を抽出することにより抽出車外動画像を生成するとともに、前記運転者の危険度に基づいて前記車内動画像の一部を抽出することにより抽出車内動画像を生成する第２生成部と、
前記抽出車外動画像と前記抽出車内動画像とを送信する第２送信部と、を有する、
ことを特徴とする管理システム。
【請求項2】
前記算出部は、あらかじめ設定されたルールに基づいて前記他の車両の危険度及び前記運転者の危険度を算出する、請求項１に記載の管理システム。
【請求項3】
前記算出部は、前記他の車両の危険度を、前記車外動画像の再生時刻と関連付けられた時系列データとして算出するとともに、前記運転者の危険度を、前記車内動画像の再生時刻と関連付けられた時系列データとして算出し、前記第２生成部は、前記他の車両の危険度が所定の条件を満たした時点から所定時間の範囲が含まれるように前記車外動画像の一部を抽出するとともに、前記運転者の危険度が所定の条件を満たした時点から所定時間の範囲が含まれるように前記車内動画像の一部を抽出する、
請求項１又は２に記載の管理システム。
【請求項4】
前記算出部は、前記他の車両の危険度を、前記車外動画像の再生時刻と関連付けられた時系列データとして算出するとともに、前記運転者の危険度を、前記車内動画像の再生時刻と関連付けられた時系列データとして算出し、前記第２生成部は、前記他の車両の危険度が所定の条件を満たしている時間が含まれるように前記車外動画像の一部を抽出するとともに、前記運転者の危険度が所定の条件を満たしている時間が含まれるように前記車内動画像の一部を抽出する、
請求項１－３の何れか一項に記載の管理システム。
【請求項5】
前記第１送信部は、さらに前記車両の走行速度を示す車速データを前記管理装置に送信し、
前記動画像取得部は、さらに前記車速データを取得し、
前記算出部は、
前記車外動画像を構成する各フレームについて、当該フレームを含む直前の所定数のフレームについて推定された車間距離が何れも所定値以下であり且つ各フレームに対応する走行速度が所定値以上である場合に、当該フレームについての危険度が高いと算出することにより、前記他の車両の危険度を、前記車外動画像のフレームと関連付けられた時系列データとして算出し、
前記車内動画像を構成する各フレームについて、当該フレームを含む直前の所定数のフレームについての前記推定の結果が何れも前記運転者が前記対象物を注視していることを示し且つ各フレームに対応する車速データが停車中でないことを示す場合に、当該フレームについての危険度が高いと算出することにより、前記運転者の危険度を、前記車内動画像のフレームと関連付けられた時系列データとして算出する、
請求項１－４の何れか一項に記載の管理システム。
【請求項6】
前記車両の運転者又は同乗者が携帯する通信端末をさらに有し、
前記第１送信部は、前記車外動画像と前記車内動画像とを前記通信端末に送信し、
前記動画像取得部は、前記車外動画像と前記車内動画像とを前記通信端末から取得する、
請求項１－５の何れか一項に記載の管理システム。
【請求項7】
車両に設けられる撮像装置と、管理装置と、を有するシステムによって実行される管理方法であって、前記撮像装置が、
前記車両とは異なる他の車両を撮像して車外動画像を生成するとともに、前記車両の運転者を撮像して車内動画像を生成し、
前記車外動画像と前記車内動画像とを前記管理装置に送信し、
前記管理装置が、
ナンバープレートに関する情報と前記ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した第１の学習済みモデル、並びに、車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と前記運転者が前記対象物を注視しているか否かを示す情報との関係をあらかじめ学習した第２の学習済みモデルを記憶し、
前記車外動画像と前記車内動画像とを取得し、
前記車外動画像に基づいて生成される、前記他の車両のナンバープレートに関する情報と、前記車内動画像に基づいて生成される、前記車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と、を取得し、
前記取得した他の車両のナンバープレートに関する情報を前記第１の学習済みモデルに入力することにより、前記車両と前記他の車両との車間距離を推定するとともに、前記取得した運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報を前記第２の学習済みモデルに入力することにより、前記車両の運転者が前記対象物を注視しているか否かを推定し、
前記推定した車間距離に基づいて前記他の車両の危険度を算出するとともに、前記車両の運転者が前記対象物を注視しているか否かに基づいて前記車両の運転者の危険度を算出し、
前記他の車両の危険度に基づいて前記車外動画像の一部を抽出することにより抽出車外動画像を生成するとともに、前記運転者の危険度に基づいて前記車内動画像の一部を抽出することにより抽出車内動画像を生成し、
前記抽出車外動画像と前記抽出車内動画像とを送信する、
ことを含むことを特徴とする管理方法。
【請求項8】
ナンバープレートに関する情報と前記ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した第１の学習済みモデル、並びに、車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と前記運転者が前記対象物を注視しているか否かを示す情報との関係をあらかじめ学習した第２の学習済みモデルを記憶する記憶部と、車両に設けられた撮像装置が前記車両とは異なる他の車両を撮像して生成した車外動画像と前記撮像装置が前記車両の運転者を撮像して生成した車内動画像とを取得する動画像取得部と、
前記車外動画像に基づいて生成される、前記他の車両のナンバープレートに関する情報と、前記車内動画像に基づいて生成される、前記車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と、を取得する情報取得部と、
前記取得した他の車両のナンバープレートに関する情報を前記第１の学習済みモデルに入力することにより、前記車両と前記他の車両との車間距離を推定するとともに、前記取得した運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報を前記第２の学習済みモデルに入力することにより、前記車両の運転者が前記対象物を注視しているか否かを推定する推定部と、
前記推定した車間距離に基づいて前記他の車両の危険度を算出するとともに、前記車両の運転者が前記対象物を注視しているか否かに基づいて前記車両の運転者の危険度を算出する算出部と、
前記他の車両の危険度に基づいて前記車外動画像の一部を抽出することにより抽出車外動画像を生成するとともに、前記運転者の危険度に基づいて前記車内動画像の一部を抽出することにより抽出車内動画像を生成する第２生成部と、
前記抽出車外動画像と前記抽出車内動画像とを送信する第２送信部と、
を有することを特徴とする管理装置。
【請求項9】
ナンバープレートに関する情報と前記ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した第１の学習済みモデル、並びに、車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と前記運転者が前記対象物を注視しているか否かを示す情報との関係をあらかじめ学習した第２の学習済みモデルを記憶する記憶部を有するコンピュータのプログラムであって、車両に設けられた撮像装置が前記車両とは異なる他の車両を撮像して生成した車外動画像と前記撮像装置が前記車両の運転者を撮像して生成した車内動画像とを取得し、
前記車外動画像に基づいて生成される、前記他の車両のナンバープレートに関する情報と、前記車内動画像に基づいて生成される、前記車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と、を取得し、
前記取得した他の車両のナンバープレートに関する情報を前記第１の学習済みモデルに入力することにより、前記車両と前記他の車両との車間距離を推定するとともに、前記取得した運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報を前記第２の学習済みモデルに入力することにより、前記車両の運転者が前記対象物を注視しているか否かを推定し、
前記推定した車間距離に基づいて前記他の車両の危険度を算出するとともに、前記車両の運転者が前記対象物を注視しているか否かに基づいて前記車両の運転者の危険度を算出し、
前記他の車両の危険度に基づいて前記車外動画像の一部を抽出することにより抽出車外動画像を生成するとともに、前記運転者の危険度に基づいて前記車内動画像の一部を抽出することにより抽出車内動画像を生成し、
前記抽出車外動画像と前記抽出車内動画像とを送信する、
ことを前記コンピュータに実行させることを特徴とするプログラム。
【請求項10】
車両に設けられる撮像装置と、管理装置と、を有するシステムの前記撮像装置及び前記管理装置と通信可能に接続された通信端末であって、前記撮像装置が前記車両とは異なる他の車両を撮像して生成した車外動画像と前記撮像装置が前記車両の運転者を撮像して生成した車内動画像とを前記撮像装置から受信する受信部と、
ナンバープレートに関する情報と、前記ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した第１の学習済みモデル、並びに、車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報と前記運転者が前記対象物を注視しているか否かを示す情報との関係をあらかじめ学習した第２の学習済みモデルを記憶し、前記車外動画像を受信した場合に、前記車外動画像に基づいて生成される、前記他の車両のナンバープレートに関する情報を前記第１の学習済みモデルに入力することにより、前記車両と前記他の車両との車間距離を推定し、前記車内動画像を受信した場合に、前記車内動画像に基づいて生成される、前記車両の運転者の関節位置に関する情報、前記運転者の顔の向きに関する情報及び前記運転者が把持する対象物に関する情報を前記第１の学習済みモデルに入力することにより、前記車両の運転者が前記対象物を注視しているか否かを推定し、前記推定した車間距離に基づいて前記他の車両の危険度を算出するとともに、前記車両の運転者が前記対象物を注視しているか否かに基づいて前記車両の運転者の危険度を算出し、前記他の車両の危険度に基づいて前記車外動画像の一部を抽出することにより抽出車外動画像を生成して送信するとともに、前記運転者の危険度に基づいて前記車内動画像の一部を抽出することにより抽出車内動画像を生成して送信する管理装置に、前記車外動画像と前記車内動画像とを送信する送信部と、
を有することを特徴とする通信端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管理システム、管理方法、管理装置、プログラム及び通信端末に関する。
【背景技術】
【0002】
近年、自動車の運転に関して、車間距離を急激に狭めて運転する等のあおり運転や、携帯電話の画面を注視しながら運転する等のながら運転に代表される危険運転が問題となっている。このような危険運転への対策として、ドライブレコーダ等の撮像装置を車両に設け、車両の周辺及び車内を撮像することがなされている。また、撮像により生成された画像を送信することにより、車両の管理者が車両の周辺及び車内の様子を確認することを可能とする技術が検討されている。例えば、特許文献１には、事故又は犯罪等のイベントが発生した場合に、イベント発生時の画像データをあらかじめ設定された送信先に送信するドライブレコーダが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００９－９３２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載のドライブレコーダは、事故が発生した後に管理者が車両の周辺及び車内の様子を確認することを可能とするものである。他方、事故を未然に防止するために、事故に至らない危険運転を管理者が確認できるようにすることが求められていた。
【0005】
本発明は上述の課題を解決するためになされたものであり、車両の管理者が危険運転を適切に確認することを可能とする管理システム、管理方法、管理装置、プログラム及び通信端末を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る管理システムは、車両に設けられる撮像装置と、管理装置と、を有する管理システムであって、撮像装置は、車両とは異なる他の車両を撮像して第１の動画像を生成する第１生成部と、第１の動画像を管理装置に送信する第１送信部と、を有し、管理装置は、ナンバープレートに関する情報と、ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した学習済みモデルを記憶する記憶部と、第１の動画像を取得する動画像取得部と、第１の動画像に基づいて生成される、他の車両のナンバープレートに関する情報を取得する情報取得部と、取得した他の車両のナンバープレートに関する情報を学習済みモデルに入力することにより、車両と他の車両との車間距離を推定する推定部と、推定した車間距離に基づいて他の車両の危険度を算出する算出部と、危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成する第２生成部と、第２の動画像を送信する第２送信部と、を有する、ことを特徴とする。
【0007】
本発明に係る管理システムは、車両に設けられる撮像装置と、管理装置と、を有する管理システムであって、撮像装置は、車両の運転者を撮像して第１の動画像を生成する第１生成部と、第１の動画像を管理装置に送信する第１送信部と、を有し、管理装置は、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報と、運転者が対象物を注視しているか否かを示す情報との関係をあらかじめ学習した学習済みモデルを記憶する記憶部と、第１の動画像を取得する動画像取得部と、第１の動画像に基づいて生成される、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を取得する情報取得部と、取得した運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を学習済みモデルに入力することにより、車両の運転者が対象物を注視しているか否かを推定する推定部と、推定の結果に基づいて車両の運転者の危険度を算出する算出部と、危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成する第２生成部と、第２の動画像を送信する第２送信部と、を有する、ことを特徴とする。
【0008】
また、本発明に係る管理システムにおいて、算出部は、あらかじめ設定されたルールに基づいて危険度を算出する、ことが好ましい。
【0009】
また、本発明に係る管理システムにおいて、算出部は、危険度を、第１の動画像の再生時刻と関連付けられた時系列データとして算出し、第２生成部は、危険度が所定の条件を満たした時点から所定時間の範囲が含まれるように第１の動画像の一部を抽出する、ことが好ましい。
【0010】
また、本発明に係る管理システムにおいて、算出部は、危険度を、第１の動画像の再生時刻と関連付けられた時系列データとして算出し、第２生成部は、危険度が所定の条件を満たしている時間が含まれるように第１の動画像の一部を抽出する、ことが好ましい。
【0011】
本発明に係る管理方法は、車両に設けられる撮像装置と、管理装置と、を有するシステムによって実行される管理方法であって、撮像装置が、車両とは異なる他の車両を撮像して第１の動画像を生成し、第１の動画像を管理装置に送信し、管理装置が、ナンバープレートに関する情報と、ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した学習済みモデルを記憶し、第１の動画像を取得し、他の車両のナンバープレートに関する情報を取得し、取得した他の車両のナンバープレートに関する情報を学習済みモデルに入力することにより、車両と他の車両との車間距離を推定し、推定した車間距離に基づいて他の車両の危険度を算出し、運転危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成し、第２の動画像を送信する、ことを含むことを特徴とする。
【0012】
本発明に係る管理方法は、車両に設けられる撮像装置と、管理装置と、を有するシステムによって実行される管理方法であって、撮像装置が、車両の運転者を撮像して第１の動画像を生成し、第１の動画像を管理装置に送信し、管理装置が、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報と、運転者が対象物を注視しているか否かを示す情報との関係をあらかじめ学習した学習済みモデルを記憶し、第１の動画像を取得し、第１の動画像に基づいて生成される、運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を取得し、取得した運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を学習済みモデルに入力することにより、運転者が対象物を注視しているか否かを推定し、推定の結果に基づいて車両の運転者の危険度を算出し、危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成し、第２の動画像を送信する、ことを含むことを特徴とする。
【0013】
本発明に係る管理装置は、ナンバープレートに関する情報と、ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した学習済みモデルを記憶する記憶部と、車両に設けられた撮像装置が車両とは異なる他の車両を撮像して生成した第１の動画像を取得する動画像取得部と、第１の動画像に基づいて生成される、他の車両のナンバープレートに関する情報を取得する情報取得部と、取得した他の車両のナンバープレートに関する情報を学習済みモデルに入力することにより、車両と他の車両との車間距離を推定する推定部と、推定した車間距離に基づいて他の車両の危険度を算出する算出部と、危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成する第２生成部と、第２の動画像を送信する第２送信部と、を有することを特徴とする。
【0014】
本発明に係る管理装置は、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報と、運転者が対象物を注視しているか否かを示す情報との関係をあらかじめ学習した学習済みモデルを記憶する記憶部と、車両に設けられた撮像装置が車両の運転者を撮像して生成した第１の動画像を取得する動画像取得部と、第１の動画像に基づいて生成される、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を取得する情報取得部と、取得した運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を学習済みモデルに入力することにより、車両の運転者が対象物を注視しているか否かを推定する推定部と、推定の結果に基づいて車両の運転者の危険度を算出する算出部と、危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成する第２生成部と、第２の動画像を送信する第２送信部と、を有することを特徴とする。
【0015】
本発明に係るプログラムは、ナンバープレートに関する情報と、前記ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した学習済みモデルを記憶する記憶部を有するコンピュータのプログラムであって、車両に設けられた撮像装置が車両とは異なる他の車両を撮像して生成した第１の動画像を取得し、第１の動画像に基づいて生成される、他の車両のナンバープレートに関する情報を取得し、取得した他の車両のナンバープレートに関する情報を学習済みモデルに入力することにより、車両と他の車両との車間距離を推定し、推定した車間距離に基づいて他の車両の危険度を算出し、運転危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成し、第２の動画像を送信する、ことをコンピュータに実行させることを特徴とする。
【0016】
本発明に係るプログラムは、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報と、運転者が対象物を注視しているか否かを示す情報との関係をあらかじめ学習した学習済みモデルを記憶する記憶部を有するコンピュータのプログラムであって、車両に設けられた撮像装置が車両の運転者を撮像して生成した第１の動画像を取得し、第１の動画像に基づいて生成される、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を取得し、取得した運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を学習済みモデルに入力することにより、車両の運転者が対象物を注視しているか否かを推定し、推定の結果に基づいて車両の運転者の危険度を算出し、危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成し、第２の動画像を送信する、ことをコンピュータに実行させることを特徴とする。
【0017】
本発明に係る通信端末は、車両に設けられる撮像装置と、管理装置と、を有するシステムの撮像装置及び管理装置と通信可能に接続された通信端末であって、撮像装置が車両とは異なる他の車両を撮像して生成した第１の動画像を撮像装置から受信する受信部と、ナンバープレートに関する情報と、ナンバープレートを備える車両までの車間距離との関係をあらかじめ学習した学習済みモデルを記憶し、第１の動画像を受信した場合に、第１の動画像に基づいて生成される、他の車両のナンバープレートに関する情報を学習済みモデルに入力することにより、車両と他の車両との車間距離を推定し、推定した車間距離に基づいて他の車両の危険度を算出し、危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成して送信する管理装置に、第１の動画像を送信する送信部と、を有することを特徴とする。
【0018】
本発明に係る通信端末は、車両に設けられる撮像装置と、管理装置と、を有するシステムの撮像装置及び管理装置と通信可能に接続された通信端末であって、撮像装置が車両の運転者を撮像して生成した第１の動画像を撮像装置から受信する受信部と、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報と、運転者が対象物を注視しているか否かを示す情報との関係をあらかじめ学習した学習済みモデルを記憶し、第１の動画像を受信した場合に、第１の動画像に基づいて生成される、車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を学習済みモデルに入力することにより、車両の運転者が対象物を注視しているか否かを推定し、推定の結果に基づいて車両の運転者の危険度を算出し、危険度に基づいて第１の動画像の一部を抽出することにより第２の動画像を生成して送信する管理装置に、第１の動画像を送信する送信部と、を有することを特徴とする。
【発明の効果】
【0019】
本発明に係る管理システム、管理方法、管理装置、プログラム及び通信端末は、車両の管理者が危険運転を適切に確認することを可能とする。
【図面の簡単な説明】
【0020】
【図1】管理システム１の概要を説明するための模式図である。
【図2】管理システム１の概略構成の一例を示す図である。
【図3】撮像装置２の概略構成の一例を示す図である。
【図4】通信端末３の概略構成の一例を示す図である。
【図5】管理装置４の概略構成の一例を示す図である。
【図6】第１危険度テーブルＴ１のデータ構造の一例を示す図である。
【図7】第２危険度テーブルＴ２のデータ構造の一例を示す図である。
【図8】車外動画像送信処理の流れの一例を示すシーケンス図である。
【図9】車外動画像抽出処理の流れの一例を示すフロー図である。
【図10】車内動画像送信処理の流れの一例を示すシーケンス図である。
【図11】車内動画像抽出処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【0021】
以下、図面を参照して本発明の様々な実施形態について説明する。本発明の技術的範囲はこれらの実施形態に限定されず、特許請求の範囲に記載された発明及びその均等物に及ぶ点に留意されたい。
【0022】
図１は、本発明に係る管理システム１の概要を説明するための模式図である。管理システム１は、撮像装置２、管理装置４及び表示端末５を有する。撮像装置２、管理装置４及び表示端末５は、相互に通信可能に接続される。管理システム１は、例えば、多数の車両を運行させて旅客や貨物を運送する運送業者等が車両を管理するために用いられる。
【0023】
撮像装置２は、撮像機能及び通信機能を有する装置であり、例えば、ドライブレコーダである。撮像装置２は、車両１１の前方を撮像可能となるように、車両１１のフロントガラス付近の上方等に設けられる。撮像装置２は、車両１１の前方を走行する他の車両を撮像し、第１の動画像１２を生成する。撮像装置２は、第１の動画像１２を管理装置４に送信する。
【0024】
管理装置４は、サーバ又はＰＣ（Personal Computer）等の情報処理装置である。管理装置４は、撮像装置２から第１の動画像１２を取得する。管理装置４は、第１の動画像１２に基づいて車両１１と他の車両との車間距離を推定し、推定した車間距離に基づいて他の車両の危険度を算出する。管理装置４は、他の車両の危険度に基づいて第１の動画像１２の一部を抽出することにより第２の動画像１３を生成する。他の車両の危険度は、他の車両が危険運転をしている蓋然性を示す値である。危険運転は、例えば車間距離を急激に狭めるあおり運転である。第２の動画像１３は、他の車両が危険運転をしている時間が含まれるように第１の動画像１２の一部を抽出することにより生成される。管理装置４は、第２の動画像１３を表示端末５に送信する。
【0025】
表示端末５は、ＰＣ、携帯電話、タブレット端末又はスマートフォン等の、通信機能及び表示機能を有する情報処理端末である。表示端末５は、車両１１の管理者により使用される。表示端末５は、受信した第２の動画像１３を表示する。これにより、管理者は危険運転を適切に確認することができる。なお、管理者は、車両１１を保有する一個人や複数の車両１１を運用する法人（法人の担当者）などの車両１１を管理し得る者であれば特に限定されない。
【0026】
図２は、管理システム１の概略構成の一例を示す図である。管理システム１は、撮像装置２、通信端末３、管理装置４、表示端末５を有する。撮像装置２は、車両１１に設けられ、車両１１の運転者又は同乗者が携帯するスマートフォン、タブレット端末等の携帯型の通信端末３と相互に通信可能に接続される。通信端末３、管理装置４、表示端末５は、第４世代移動通信システム（４Ｇ）又は第５世代移動通信システム（５Ｇ）等の移動通信ネットワークを含むネットワーク６を介して相互に通信可能に接続される。
【0027】
図３は、撮像装置２の概略構成の一例を示す図である。撮像装置２は、前方撮像部２１、後方撮像部２２、車内撮像部２３、車速取得部２４、第１記憶部２５、第１通信部２６及び第１処理部２７を有する。
【0028】
前方撮像部２１は、車両の前方を撮像するための構成であり、後方撮像部２２は、車両の後方を撮像するための構成であり、車内撮像部２３は、車両の運転席を撮像するための構成である。前方撮像部２１、後方撮像部２２及び車内撮像部２３は、例えば、カメラを備える。前方撮像部２１及び車内撮像部２３は、車両の前方及び運転席を撮像可能となるように、車両のフロントガラス付近に設けられる。後方撮像部２２は、車両の後方を撮像可能となるように、車両のリアガラス付近に設けられる。
【0029】
前方撮像部２１、後方撮像部２２及び車内撮像部２３は、光学レンズ等を用いて被写体からの光線を集束することにより結像した被写体像に対応する画像信号を生成し、所定の形式の画像データに変換して第１処理部２７に供給する。
【0030】
車速取得部２４は、車両の走行速度を取得するための構成であり、例えば、車速パルスを伝送する、車両の内部に設けられた信号線と接続可能なインタフェースを備える。車速取得部２４は、信号線から車速パルスを受信し、車速パルスのパルス間隔に応じて車両の走行速度を算出し、算出した走行速度を示すデータを第１処理部２７に供給する。
【0031】
第１記憶部２５は、データ及びプログラムを記憶するための構成であり、例えば、半導体メモリを備える。第１記憶部２５は、第１処理部２７による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）又はＤＶＤ（Digital Versatile Disc）－ＲＯＭ等のコンピュータ読取可能且つ非一時的な可搬型記憶媒体から公知のセットアッププログラム等を用いてインストールされる。
【0032】
第１通信部２６は、撮像装置２を通信端末３と通信可能にするための構成であり、通信インタフェース回路を備える。第１通信部２６が備える通信インタフェース回路は、Ｗｉ－Ｆｉ等の無線ＬＡＮ（Local Area Network）の通信インタフェース回路である。第１通信部２６は、第１処理部２７から供給されたデータを通信端末３に送信するとともに、通信端末３から受信したデータを第１処理部２７に供給する。
【0033】
第１処理部２７は、撮像装置２の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。第１処理部２７は、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）又はＡＳＩＣ（Application Specific Integrated Circuit）等を備える。第１処理部２７は、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等を備えてもよい。第１処理部２７は、第１記憶部２５に記憶されているプログラムに基づいて、撮像装置２の各種処理が適切に実行されるように撮像装置２の各構成の動作を制御するとともに、各種処理を実行する。
【0034】
第１処理部２７は、動画像生成部２７１、車速生成部２７２及び動画像送信部２７３を有する。これらの各部は、第１処理部２７が実行するプログラムによって実現される機能モジュールである。これらの各部は、ファームウェアとして撮像装置２に実装されてもよい。なお、動画像生成部２７１及び動画像送信部２７３は、それぞれ第１生成部及び第１送信部の一例である。
【0035】
図４は、通信端末３の概略構成の一例を示す図である。通信端末３は、第２記憶部３１、第２通信部３２、第３通信部３３及び第２処理部３４を有する。
【0036】
第２記憶部３１は、データ及びプログラムを記憶するための構成であり、例えば、半導体メモリを備える。第２記憶部３１は、第２処理部３４による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、コンピュータ読取可能且つ非一時的な可搬型記憶媒体から公知のセットアッププログラム等を用いてインストールされる。
【0037】
第２通信部３２は、通信端末３を撮像装置２と通信可能にするための構成であり、通信インタフェース回路を備える。第２通信部３２が備える通信インタフェース回路は、無線ＬＡＮの通信インタフェース回路である。第２通信部３２は、第２処理部３４から供給されたデータを撮像装置２に送信するとともに、撮像装置２から受信したデータを第２処理部３４に供給する。
【0038】
第３通信部３３は、ネットワーク６を介して通信端末３を他の装置と通信可能にするための構成であり、通信インタフェース回路を備える。第３通信部３３が備える通信インタフェース回路は、ＬＴＥ（Long Term Evolution）又はＮＲ（New Radio）等の移動通信方式の通信インタフェース回路である。第３通信部３３は、第２処理部３４から供給されたデータを他の装置に送信するとともに、他の装置から受信したデータを第２処理部３４に供給する。
【0039】
第２処理部３４は、通信端末３の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。第２処理部３４は、例えば、ＣＰＵ、ＬＳＩ、ＡＳＩＣ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ等を備える。第２処理部３４は、第２記憶部３１に記憶されているプログラムに基づいて、通信端末３の各種処理が適切に実行されるように通信端末３の各構成の動作を制御するとともに、各種処理を実行する。
【0040】
第２処理部３４は、受信部３４１及び送信部３４２を有する。これらの各部は、第２処理部３４が実行するプログラムによって実現される機能モジュールである。これらの各部は、ファームウェアとして通信端末３に実装されてもよい。
【0041】
図５は、管理装置４の概略構成の一例を示す図である。管理装置４は、第３記憶部４１、第４通信部４２、第３処理部４３を有する。
【0042】
第３記憶部４１は、データ及びプログラムを記憶するための構成であり、例えば、半導体メモリを備える。第３記憶部４１は、第３処理部４３による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、コンピュータ読取可能且つ非一時的な可搬型記憶媒体から公知のセットアッププログラム等を用いてインストールされる。
【0043】
第４通信部４２は、ネットワーク６を介して管理装置４を他の装置と通信可能にするための構成であり、通信インタフェース回路を備える。第４通信部４２が備える通信インタフェース回路は、ＬＴＥ又はＮＲ等の移動通信方式の通信インタフェース回路である。第４通信部４２が備える通信インタフェース回路は、無線ＬＡＮ又は有線ＬＡＮの通信インタフェース回路等でもよい。第４通信部４２は、第３処理部４３から供給されたデータを他の装置に送信するとともに、他の装置から受信したデータを第３処理部４３に供給する。
【0044】
第３処理部４３は、管理装置４の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。第３処理部４３は、例えば、ＣＰＵ、ＬＳＩ、ＡＳＩＣ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ等を備える。第３処理部４３は、第３記憶部４１に記憶されているプログラムに基づいて、管理装置４の各種処理が適切に実行されるように管理装置４の各構成の動作を制御するとともに、各種処理を実行する。
【0045】
第３処理部４３は、動画像取得部４３１、情報取得部４３２、推定部４３３、算出部４３４、動画像抽出部４３５及び抽出動画像送信部４３６を有する。これらの各部は、第３処理部４３によって実行されるプログラムによって実現される機能モジュールである。これらの各部は、ファームウェアとして管理装置４に実装されてもよい。なお、動画像抽出部４３５及び抽出動画像送信部４３６は、それぞれ第２生成部及び第２送信部の一例である。
【0046】
図６は、管理装置４の第３記憶部４１に記憶される、車外動画像（前方動画像又は後方動画像をいう。）に関する情報を管理する第１危険度テーブルＴ１のデータ構造の一例を示す図である。第１危険度テーブルＴ１は、フレーム識別子、走行速度、ナンバープレート、車間距離及び危険度を相互に関連付けて記憶する。
【0047】
フレーム識別子は、撮像装置２によって撮像された動画像を構成するフレームを特定するための情報の一例である。フレーム識別子に代えて、動画像において対応するフレームが表示される再生時刻等が記憶されてもよい。走行速度は、対応するフレームが撮像されたときの車両の走行速度を示す情報である。
【0048】
ナンバープレートは、対応するフレームにおけるナンバープレートの大きさを示す情報である。図６に示す例では、ナンバープレートの大きさは、ナンバープレートを包含するバウンディングボックスの縦方向と横方向の画素数によって示されている。車間距離は、ナンバープレートの大きさに基づいて算出される、他の車両との車間距離である。危険度は、対応するフレームについて算出された運転の危険度を示す情報であり、他の車両があおり運転をしている蓋然性を示す情報である。なお、対応するフレームにおいてナンバープレートが検出されなかった場合、ナンバープレート及び車間距離は記憶されない。
【0049】
第１危険度テーブルＴ１の各データは、後述する車外動画像送信処理において管理装置４によって設定される。
【0050】
図７は、管理装置４の第３記憶部４１に記憶される、車内動画像に関する情報を管理する第２危険度テーブルＴ２のデータ構造の一例を示す図である。第２危険度テーブルＴ２は、フレーム識別子、走行速度、姿勢、対象物及び危険度を相互に関連付けて記憶する。なお、フレーム識別子及び走行速度は、第１危険度テーブルＴ１のフレーム識別子及び走行速度と同様のデータである。
【0051】
姿勢は、対応するフレームにおける運転者の姿勢に関する情報であり、関節位置に関する情報と顔の向きに関する情報とを含む。関節位置に関する情報は、対応するフレームにおける、運転者の複数の関節位置を示す情報である。図７に示す例では、関節位置は、例えば、関節位置に対応する画素のＸ座標及びＹ座標によって示されている。顔の向きに関する情報は、運転者の顔の向きの、所定方向（例えば、運転者の顔の中心位置から撮像装置２に向かう方向）に対する傾きを示す情報である。図７に示す例では、顔の向きは、運転者の顔の向きの、所定方向に対するピッチ角、ロール角及びヨー角によって示されている。
【0052】
対象物は、ながら運転における注視の対象となるスマートフォン、携帯電話等の対象物の、対応するフレームにおける位置を示す情報であり、例えば、対象物のバウンディングボックスの中心位置により示される。なお、対応するフレームにおいて対象物が検出されなかった場合、対象物は記憶されない。危険度は、対応するフレームにおける運転の危険度を示す情報であり、運転者がながら運転をしている蓋然性を示す情報である。
【0053】
第２危険度テーブルＴ２の各データは、後述する車内動画像送信処理において管理装置４によって設定される。
【0054】
管理システム１は、車外動画像送信処理及び車内動画像送信処理を実行する。これらの処理は、定期又は不定期に、それぞれが並行して実行される。また、これらの処理は、管理システム１の各装置の処理部がプログラムを実行し、各装置の構成と協働することにより実現される。
【0055】
図８は、管理システム１によって実行される車外動画像送信処理の流れの一例を示すシーケンス図である。以下では、図８を参照し、車外動画像として前方撮像部２１によって撮像された前方動画像が送信される場合の車外動画像送信処理の流れについて説明する。なお、車外動画像として後方撮像部２２によって撮像された後方動画像が送信される場合も同様である。
【0056】
まず、撮像装置２の動画像生成部２７１は、車両の前方を走行する前方車両を撮像して前方動画像を生成する（Ｓ１０１）。動画像生成部２７１は、前方撮像部２１を制御して車両の前方を撮像し、所定の長さ（例えば、５分）の前方動画像を生成する。なお、前方車両は車両とは異なる他の車両の一例であり、前方動画像は第１の動画像の一例である。
【0057】
続いて、車速生成部２７２は、車両の前方を撮像している時間における車両の走行速度を示す車速データを生成する（Ｓ１０２）。車速生成部２７２は、車速取得部２４を制御して、車両の前方を撮像している時間における車両の走行速度を取得する。車速生成部２７２は、走行速度と時間とを関連付けて、時系列データである車速データを生成する。
【0058】
続いて、動画像送信部２７３は、第１通信部２６を介して、前方動画像及び車速データを通信端末３に送信する（Ｓ１０３）。通信端末３の受信部３４１は、第２通信部３２を介して、前方動画像及び車速データを受信する。
【0059】
続いて、送信部３４２は、第３通信部３３を介して、前方動画像及び車速データを管理装置４に送信する（Ｓ１０４）。管理装置４の動画像取得部４３１は、第４通信部４２を介して、前方動画像及び車速データを受信することにより取得する（Ｓ１０５）。動画像取得部４３１は、前方動画像を構成する各フレームのフレーム識別子と、各フレームが撮像された時間における車両の走行速度とを関連付けて第１危険度テーブルＴ１に記憶する。
【0060】
続いて、管理装置４は、前方動画像抽出処理を実行する（Ｓ１０６）。前方動画像抽出処理は、前方動画像の一部を抽出することにより抽出前方動画像を生成する処理である。なお、抽出前方動画像は第２の動画像の一例である。
【0061】
続いて、管理装置４の抽出動画像送信部４３６は、第４通信部４２を介して、抽出前方動画像を表示端末５に送信する（Ｓ１０７）。表示端末５は、抽出前方動画像を受信して表示し（Ｓ１０８）、前方動画像送信処理を終了する。
【0062】
図９は、前方動画像抽出処理の流れの一例を示すフロー図である。
【0063】
まず、管理装置４の情報取得部４３２は、前方動画像に基づいて生成される、前方車両のナンバープレートに関する情報を取得する（Ｓ２０１）。情報取得部４３２は、あらかじめ第３記憶部４１に記憶されたナンバープレート検出用の学習済みモデルを用いてナンバープレートに関する情報を取得する。ナンバープレートに関する情報は、前方動画像を構成する各フレームにおける、ナンバープレートに対応する領域の大きさを示す情報である。
【0064】
ナンバープレート検出用の学習済みモデルは、画像が入力された場合に、その画像においてナンバープレートを包含するバウンディングボックスの大きさを出力するように学習された学習モデルである。学習モデルとしては、例えばＳＳＤ（Single Shot Detector）、ＹＯＬＯ（You Only Look once）又はＲ－ＣＮＮ（Region with Convolutional Neural Network）等の、物体検出モデルが用いられる。学習モデルは、学習モデルが出力したバウンディングボックスの位置及び形状と、あらかじめ正解データとして設定されたバウンディングボックスの位置及び形状との誤差が小さくなるようにパラメータが更新されることにより学習される。
【0065】
情報取得部４３２は、前方動画像を構成する各フレームを学習済みモデルに入力し、各フレームについて出力されたバウンディングボックスの位置及び形状を取得する。情報取得部４３２は、取得したバウンディングボックスの位置及び形状に基づいて、ナンバープレートに関する情報を生成して取得する。ナンバープレートに関する情報は、例えば、ナンバープレートを包含するバウンディングボックスの縦方向と横方向の画素数である。ナンバープレートに関する情報は、バウンディングボックスの各頂点の位置関係やバウンディングボックスの面積等、ナンバープレートの大きさを示す他の情報でもよい。情報取得部４３２は、各フレームについて取得したナンバープレートに関する情報を第１危険度テーブルＴ１に記憶する。
【0066】
続いて、推定部４３３は、前方車両のナンバープレートに関する情報を車間距離推定用の学習済みモデルに入力することにより、車両と前方車両との車間距離を推定する（Ｓ２０２）。車間距離推定用の学習済みモデルは、ナンバープレートに関する情報が入力された場合に、車間距離を出力するように学習された学習モデルである。学習モデルとしては、勾配ブースティング決定木等の回帰モデルが用いられる。
【0067】
学習モデルは、学習用入力画像が入力された場合に学習モデルが出力した車間距離と、あらかじめ学習用入力画像に関連付けて設定された学習用車間距離との誤差が小さくなるようにパラメータが更新されることにより学習される。学習用車間距離は、学習用入力画像が撮像されたときの実際の車間距離を測距センサ等を用いて測定することにより設定される。学習用入力画像及び学習用車間距離は、自動運転シミュレータを用いて生成されてもよい。
【0068】
推定部４３３は、学習済みモデルから出力された車間距離を、ナンバープレートに関する情報に関連付けて第１危険度テーブルＴ１に記憶する。
【0069】
続いて、算出部４３４は、推定した車間距離に基づいて前方車両の危険度を算出する（Ｓ２０３）。危険度は、前方動画像のフレームと関連付けられた時系列データとして算出される。
【0070】
算出部４３４は、あらかじめ設定されたルールに基づいて前方車両の危険度を算出する。例えば、算出部４３４は、前方動画像を構成するフレームのうち一のフレームを特定する。算出部４３４は、特定したフレームを含む直前の所定数のフレーム（例えば、２０フレーム）を抽出する。算出部４３４は、抽出された各フレームについて推定された車間距離が何れも所定値（例えば、３ｍ）以下であり且つ各フレームに対応する走行速度が所定値（例えば、時速１０ｋｍ）以上である場合に、特定したフレームについての危険度が高いと算出し、他の場合に、特定したフレームについての危険度が低いと算出する。
【0071】
なお、あらかじめ設定されたルールは上述の例に限られない。例えば、算出部４３４は、抽出された各フレームのうち、推定された車間距離が所定値以下であるフレームが所定割合以上ある場合に、特定したフレームについての危険度が高いと算出してもよい。
【0072】
算出部４３４は、各フレームについて算出した危険度を各フレームのフレーム識別子に関連付けて第１危険度テーブルＴ１に記憶する。
【0073】
続いて、動画像抽出部４３５は、危険度に基づいて前方動画像の一部を抽出することにより抽出動画像を生成し（Ｓ２０４）、前方動画像抽出処理を終了する。例えば、動画像抽出部４３５は、危険度が所定の条件を満たした時点から所定時間の範囲が含まれるように前方動画像の一部を抽出する。
【0074】
図６に示す例では、フレーム識別子「１０１」のフレームまでは、危険度が「低」と算出され、フレーム識別子「１０２」のフレームからは危険度が「高」と算出されている。したがって、所定の条件が、危険度が「高」であることであるとすると、動画像抽出部４３５は、フレーム識別子が「１０２」のフレーム以後の所定数のフレームを抽出し、抽出したフレームから構成される抽出動画像を生成する。
【0075】
図１０は、車内動画像送信処理の流れの一例を示す図である。
【0076】
まず、撮像装置２の動画像生成部２７１は、車両の運転者を撮像して車内動画像を生成する（Ｓ３０１）。動画像生成部２７１は、車内撮像部２３を制御して車両の運転者を撮像し、所定の長さの車内動画像を生成する。なお、車内動画像は第１の動画像の一例である。
【0077】
続いて、車速生成部２７２は、運転者を撮像している時間における車両の走行速度を示す車速データを生成する（Ｓ３０２）。車速生成部２７２は、車速取得部２４を制御して、車両の前方を撮像している時間における車両の走行速度を取得する。車両生成部２７２は、走行速度と時間とを関連付けて、時系列データである車速データを生成する。
【0078】
続いて、動画像送信部２７３は、第１通信部２６を介して、車内動画像及び車速データを通信端末３に送信する（Ｓ３０３）。通信端末３の受信部３４１は、第２通信部３２を介して、車内動画像及び車速データを受信する。
【0079】
続いて、送信部３４２は、第３通信部３３を介して、車内動画像及び車速データを管理装置４に送信する（Ｓ３０４）。管理装置４の動画像取得部４３１は、第４通信部４２を介して、車内動画像及び車速データを受信することにより取得する（Ｓ３０５）。動画像取得部４３１は、車内動画像を構成する各フレームのフレーム識別子と、各フレームが撮像された時間における車両の走行速度とを関連付けて第２危険度テーブルＴ２に記憶する。
【0080】
続いて、管理装置４は、車内動画像抽出処理を実行する（Ｓ３０６）。車内動画像抽出処理は、車内動画像の一部を抽出することにより抽出車内動画像を生成する処理である。なお、抽出車内動画像は第２の動画像の一例である。
【0081】
続いて、管理装置４の抽出動画像送信部４３６は、第４通信部４２を介して、抽出車内動画像を表示端末５に送信する（Ｓ３０７）。表示端末５は、抽出車内動画像を受信して表示し（Ｓ３０８）、車内動画像送信処理を終了する。
【0082】
図１０は、車内動画像抽出処理の流れの一例を示すフロー図である。
【0083】
まず、情報取得部４３２は、車内動画像に基づいて生成される、運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を取得する（Ｓ４０１）。情報取得部４３２は、あらかじめ第３記憶部４１に記憶された姿勢推定用の学習済みモデル及び対象物検出用の学習済みモデルを用いて、姿勢に関する情報及び対象物に関する情報を取得する。姿勢に関する情報は、車内動画像を構成する各フレームにおける、運転者の関節位置及び顔の向きに関する情報を含む。対象物に関する情報は、車内動画像を構成する各フレームにおける、所謂ながら運転の対象となる物に関する情報である。例えば、対象物に関する情報は、携帯電話、スマートフォン、カーナビ等の無線通話装置又は画像表示装置の位置及び種別に関する情報であってよい。なお、対象物に関する情報は、ながら運転等の危険な運転を検知するために必要な情報であればよく、上記の例に限定されない。また、対象物は、運転中に操作等することにより、ながら運転等の危険な運転と判断され得る物であれば、特に限定されない。
【0084】
姿勢推定用の学習済みモデルは、関節位置推定用の学習済みモデル及び顔の向き推定用の学習済みモデルを含む。関節位置推定用の学習済みモデルは、画像が入力された場合に、その画像における人物の関節位置を出力するように学習された学習モデルである。学習モデルとしては、例えばPoseNet又はPersonLab等が用いられる。学習モデルは、例えば、学習モデルが出力した関節位置と、あらかじめ正解データとして設定された関節位置との距離の二乗和である誤差が小さくなるようにパラメータが更新されることにより学習される。
【0085】
顔の向き推定用の学習済みモデルは、画像が入力された場合に、その画像における人物の顔の向き（例えば、ロール角、ピッチ角及びヨー角）を出力するように学習された学習モデルである。学習モデルとしては、例えばFSA-Net等が用いられる。学習モデルは、学習モデルが出力した顔の向きと、あらかじめ正解データとして設定された顔の向きとの誤差が小さくなるようにパラメータが更新されることにより学習される。
【0086】
対象物検出用の学習済みモデルは、画像が入力された場合に、その画像において対象物に対応する領域を包含するバウンディングボックスの位置、形状及び対象物の種類を出力するように学習された学習モデルである。学習モデルとしては、例えばＳＳＤ、ＹＯＬＯ又はＲ－ＣＮＮ等の、物体検出モデルが用いられる。学習モデルは、学習モデルが出力したバウンディングボックスの位置、形状及び対象物の種類と、あらかじめ正解データとして設定されたバウンディングボックスの位置、形状及び対象物の種類との誤差が小さくなるようにパラメータが更新されることにより学習される。
【0087】
情報取得部４３２は、前方動画像を構成する各フレームを関節位置推定用の学習済みモデル、顔の向き推定用の学習済みモデル及び対象物検出用の学習済みモデルにそれぞれ入力する。情報取得部４３２は、関節位置推定用の学習済みモデルの出力に基づいて、運転者の関節位置に関する情報を生成する。また、情報取得部４３２は、顔の向き推定用の学習済みモデルの出力に基づいて、運転者の顔の向きに関する情報を生成する。情報取得部４３２は、運転者の関節位置に関する情報と顔の向きに関する情報とを関連付けて、運転者の姿勢に関する情報として取得する。また、情報取得部４３２は、対象物検出用の学習済みモデルの出力に基づいて運転者が把持する対象物に関する情報を生成して取得する。情報取得部４３２は、取得した姿勢に関する情報及び対象物に関する情報を第２危険度テーブルＴ２に記憶する。
【0088】
続いて、推定部４３３は、運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を注視状態推定用の学習済みモデルに入力することにより、車両の運転者が対象物を注視しているか否かを推定する（Ｓ４０２）。注視状態推定用の学習済みモデルは、運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報が入力された場合に、運転者が対象物を注視しているか蓋然性を示す確信度を出力するように学習された学習モデルである。学習モデルとしては、勾配ブースティング決定木等の分類モデルが用いられる。
【0089】
学習モデルは、学習用の姿勢及び対象物に関する情報が入力された場合に学習モデルが出力した確信度と、あらかじめ学習用の姿勢及び対象物に関する情報に関連付けて設定された学習用確信度との交差エントロピー誤差が小さくなるようにパラメータが更新されることにより学習される。学習用の姿勢及び対象物に関する情報は、例えば、学習用に撮像した運転者の画像に基づいて生成される。また、学習用確信度は、学習用に撮像した運転者の画像において、運転者が対象物を注視しているか否かに応じて異なる要素が１となり、他の要素が０となるように設定されたOne-Hotベクトルである。
【0090】
続いて、算出部４３４は、推定の結果に基づいて運転者の危険度を算出する（Ｓ４０３）。危険度は、車内動画像のフレームと関連付けられた時系列データとして算出される。
【0091】
算出部４３４は、あらかじめ設定されたルールに基づいて運転者の危険度を算出する。例えば、算出部４３４は、車内動画像を構成するフレームのうちの一のフレームを特定する。算出部４３４は、特定したフレーム及び特定したフレームの直前の所定数のフレーム（例えば、２秒間に相当する数のフレーム）を抽出する。算出部４３４は、抽出された各フレームについての推定の結果が何れも運転者が対象物を注視していることを示し且つ各フレームに対応する走行速度が時速０ｋｍ（すなわち、停車中）でない場合に、特定したフレームについての危険度が高いと算出し、他の場合に、特定したフレームについての危険度が低いと算出する。
【0092】
続いて、動画像抽出部４３５は、危険度に基づいて車内動画像の一部を抽出することにより抽出動画像を生成し（Ｓ４０４）、前方動画像抽出処理を終了する。例えば、動画像抽出部４３５は、危険度が所定の条件を満たした時点から所定時間の範囲が含まれるように前方動画像の一部を抽出する。
【0093】
以上説明したように、管理装置４は、前方動画像に基づいて生成される他の車両のナンバープレートの情報を学習済みモデルに入力することにより、車両と他の車両との車間距離を推定する。また、管理装置４は、推定した車間距離に基づいて算出される他の車両の危険度に基づいて前方動画像の一部を抽出することにより抽出前方動画像を生成する。これにより、管理装置４は、車両の管理者が危険運転を適切に確認することを可能とする。
【0094】
すなわち、管理装置４は、車間距離に基づいて他の車両の危険度を算出するため、車間距離を急激に狭めて運転する等の事故に至らないあおり運転を適切に検知することができる。そして、管理装置４は、危険度に基づいて前方動画像の一部を抽出することにより、あおり運転の態様を管理者が効率的に確認することを可能とする。また、管理装置４は、測距センサ等を備えない撮像装置２を用いて車間距離を算出するため、多数の車両を所有する運送業者等が比較的安価に管理システム１を導入することを可能とする。
【0095】
また、管理装置４は、車内動画像に基づいて生成される車両の運転者の姿勢に関する情報及び運転者が把持する対象物に関する情報を学習済みモデルに入力することにより、運転者が対象物を注視しているか否かを推定する。また、管理装置４は、推定の結果に基づいて算出される運転者の危険度に基づいて車内動画像の一部を抽出することにより抽出車内動画像を生成する。これにより、管理装置４は、車両の管理者が危険運転を適切に確認することを可能とする。
【0096】
すなわち、管理装置４は、運転者の姿勢に関する情報と対象物に関する情報との両方を用いて運転者が対象物を注視しているか否かを推定することにより、運転者の視線の追跡が困難な場合でも適切にながら運転を検知することができる。また、そして、管理装置４は、推定結果に基づく危険度を用いて車内動画像の一部を抽出することにより、ながら運転の態様を管理者が効率的に確認することを可能とする。
【0097】
また、管理装置４は、あらかじめ設定されたルールに基づいて危険度を算出する。これにより、管理装置４は、危険運転をより適切に検知することを可能とする。すなわち、ながら運転にあたるか否かの基準は運転者が約２秒以上画面を見続けることとされているから、管理装置４がこのようなルールに基づいて危険度を判定することにより、危険運転をより適切に検知することが可能となる。また、これにより、管理装置４は危険運転の基準の変更に容易に対応することができる。
【0098】
また、管理装置４は、危険度が所定の条件を満たした時点から所定時間の範囲が含まれるように前方動画像、後方動画像又は車内動画像の一部を抽出する。これにより、管理装置４は、管理者が危険運転の状況及びその前後の状況を適切に確認することを可能とする。
【0099】
なお、管理装置４は、Ｓ２０４において、危険度が所定の条件を満たしている時間が含まれるように前方動画像の一部を抽出してもよい。図６に示す例では、フレーム識別子「１０２」のフレームからフレーム識別子「１５１」のフレームまで、危険度が「高」と算出されている。したがって、所定の条件が、危険度が「高」であることであるとすると、動画像抽出部４３５は、フレーム識別子が「１０２」のフレームからフレーム識別子が「１５１」のフレームまでを抽出し、抽出したフレームから構成される抽出動画像を生成する。同様に、管理装置４は、Ｓ４０４において、危険度が所定の条件を満たしている時間が含まれるように車内動画像の一部を抽出してもよい。
【0100】
また、この場合において、管理装置４は、危険度が所定の条件を満たしている時間の前後に所定時間（例えば、前後それぞれ５秒ずつ）を付加した時間が含まれるように前方動画像の一部を抽出してもよい。これにより、管理装置４は、管理者が危険運転の前後の状況をより適切に確認することを可能とする。
【0101】
上述した説明では、車内動画送信処理のＳ３０２において、撮像装置２は車速データを生成するものとしたが、撮像装置２は車速データを生成しなくてもよい。この場合、管理装置４は、車両の走行速度にかかわらず、運転者の姿勢及び対象物に関する情報に基づいて危険度を算出する。信号待ち等の、停車中であっても運転者が画像表示装置を注視することは好ましくない場合がある。管理装置４は、このような場合に車両の走行速度に関わらず運転者が画像表示装置を注視したことを検知することができる。
【0102】
上述した説明では、管理装置４は、取得した動画像の各フレームについて危険度を算出するものとしたが、このような例に限られない。例えば、管理装置４は、動画像を構成するフレームのうちから、所定時間（例えば、１秒）ごとに１つのフレームを抽出し、抽出したフレームに対して危険度を算出するようにしてもよい。これにより、管理装置４の処理負荷を低減することができる。
【0103】
上述した説明では、管理装置４は、Ｓ２０３において、あらかじめ設定されたルールに基づいて危険度を算出するものとしたが、このような例に限られない。管理装置４は、第３記憶部４１に記憶された危険度算出用の学習済みモデルを用いて危険度を算出してもよい。学習済みモデルは、連続する所定数のフレームについて推定された車間距離が入力された場合に、危険度を算出するように学習された、勾配ブースティング決定木等の学習モデルである。
【0104】
学習モデルは、学習用の車間距離が入力された場合に学習モデルが出力した危険度と、あらかじめ学習用の車間距離に関連付けて設定された学習用危険度との交差エントロピー誤差が小さくなるようにパラメータが更新されることにより学習される。学習用の車間距離は、例えば、学習用に撮像した前方車両の動画像に基づいて生成される。また、学習用危険度は、例えば、学習用に撮像した前方車両の動画像を見た者がどの程度危険に感じたかに基づいて設定される。これにより、管理装置４は、あおり運転をより適切に検知することができる。すなわち、他の車両の運転があおり運転にあたるか否かは運転者の主観的な要素にも基づくと考えられるため、学習済みモデルを用いることで、運転者の主観的な要素を踏まえた適切なあおり運転の検知が可能となる。
【0105】
上述した説明における管理装置４の機能の一部又は全部は、撮像装置２又は通信端末３によって実現されてもよい。例えば、車外動画像送信処理において、通信端末３が危険度を算出して抽出前方動画像を生成し、通信端末３に送信するようにしてもよい。これにより、ネットワーク６を経由する通信量を低減することができる。
【0106】
上述した説明では、通信端末３は車両の運転者が携帯するスマートフォン等であるものとしたが、このような例に限られない。例えば、通信端末３は車両に設けられた通信モジュールでもよい。また、撮像装置２の第１通信部２５が、管理装置４と直接に通信可能となるように構成されてもよい。
【0107】
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した各部の処理は、本発明の範囲において、適宜に異なる順序で実行されてもよい。また、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。
【符号の説明】
【0108】
１ 管理システム
２ 撮像装置
２７１ 動画像生成部
２７２ 車速生成部
２７３ 動画像送信部
３ 通信端末
３４１ 受信部
３４２ 送信部
４ 管理装置
４３１ 動画像取得部
４３２ 情報取得部
４３３ 推定部
４３４ 算出部
４３５ 動画像抽出部
４３６ 抽出動画像送信部
２ 撮像装置
２７１ 動画像生成部
２７２ 車速生成部
２７３ 動画像送信部
３ 通信端末
３４１ 受信部
３４２ 送信部
４ 管理装置
４３１ 動画像取得部
４３２ 情報取得部
４３３ 推定部
４３４ 算出部
４３５ 動画像抽出部
４３６ 抽出動画像送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】