特許 7416276 不安全運転検出装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】不安全運転検出装置、方法、及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240110BHJP

【ＦＩ】

G08G1/16 C

【請求項の数】 9

(21)【出願番号】P 2022551524

(86)(22)【出願日】2020-09-25

(86)【国際出願番号】 JP2020036317

(87)【国際公開番号】W WO2022064641

(87)【国際公開日】2022-03-31

【審査請求日】2023-03-03

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】二木 康則

(72)【発明者】

【氏名】水越 康博

【審査官】上野 博史

(56)【参考文献】

【文献】特開２０００－１２８０３１（ＪＰ，Ａ）

【文献】特開２０１０－１５７０９３（ＪＰ，Ａ）

【文献】特開２０１２－１６８７８８（ＪＰ，Ａ）

【文献】特開２０１８－１８４０９２（ＪＰ，Ａ）

【文献】特開２０１３－０２５６３５（ＪＰ，Ａ）

【文献】特開２０１６－１１０３７４（ＪＰ，Ａ）

【文献】特開２００５－２７６０５７（ＪＰ，Ａ）

【文献】国際公開第２０１９／２１５９２３（ＷＯ，Ａ１）

【文献】山口 晃一郎 Koichiro Yamaguchi，電気関係学会東海支部連合大会，電気学会論文誌Ｃ Ｖｏｌ．１２９ Ｎｏ．１２ IEEJ，日本，（社）電気学会 The Institute of Electrical Engine，2009年12月01日，第2213頁-第2221頁

【文献】石渡 要介 YOSUKE ISHIWATARI，フレーム間対応点の移動方向を利用した動画像とセンサデータの同期手法の検討 A synchronization method b，情報処理学会 研究報告 モバイルコンピューティングとパーベイシブシステム（ＭＢＬ） ２０１８－ＭＢＬ，日本，情報処理学会，2018年05月17日

【文献】藤原 良子 Ryoko FUJIWARA，車載カメラによる動画像からの走行軌跡抽出に関する一検討 Car's Track Estimation from The Moving Image，映像情報メディア学会技術報告 Ｖｏｌ．２７ Ｎｏ．６６ ITE Technical Report，日本，（社）映像情報メディア学会 The Institute of Image，2003年11月21日，第5頁-第10頁

【文献】高橋 寛明 Hiroaki TAKAHASHI，オプティカルフローを用いた全方位動画像におけるカメラの移動方向推定に関する考察 A note on estimation，映像情報メディア学会技術報告 Ｖｏｌ．３０ Ｎｏ．５５ ITE Technical Report，日本，（社）映像情報メディア学会 The Institute of Image，2006年10月30日，第53頁-第56頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

動画像として入力される、車両の周囲の映像のフレーム間の移動ベクトルを計算する移動ベクトル計算手段と、
前記車両の周囲の映像のフレームごとに、前記フレームに含まれる物体を示す領域、及び前記物体の種別を推定する領域推定手段と、
計算された前記移動ベクトルから、推定された前記種別が車両又は人を含む移動可能物体である領域の移動ベクトルを除去するベクトル除去手段と、
推定された前記種別が移動可能物体である領域が除去された移動ベクトルに基づいて、前記車両の行動を推定する行動推定手段と、
前記車両の行動、および、前記物体の種別を含む前記車両の周囲情報に基づいて、前記車両の不安全運転を検出する不安全運転検出手段とを備える不安全運転検出装置。

【請求項2】

前記行動推定手段は、前記車両が走行しているか、停止しているか、右折しているか、又は左折しているかを推定する、請求項１に記載の不安全運転検出装置。

【請求項3】

前記車両の周囲の映像は、３６０度カメラを用いて撮影される、請求項１又は２に記載の不安全運転検出装置。

【請求項4】

前記移動ベクトル計算手段は、動画像として入力される、前記車両の前方の映像のフレーム間の移動ベクトルである第１の移動ベクトルと、前記車両の右側方の映像のフレーム間の移動ベクトルである第２の移動ベクトルと、前記車両の左側方の映像のフレーム間の移動ベクトルである第３の移動ベクトルとを計算し、
前記領域推定手段は、前記車両の前方の映像と、前記車両の右側方の映像と、前記車両の左側方の映像とに含まれる移動可能物体を示す領域を推定し、
前記ベクトル除去手段は、前記第１乃至第３の移動ベクトルから、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去する、請求項１から３何れか１項に記載の不安全運転検出装置。

【請求項5】

前記行動推定手段は、前記第２の移動ベクトルと前記第３の移動ベクトルとの大小関係に基づいて、前記車両の行動を推定する、請求項４に記載の不安全運転検出装置。

【請求項6】

前記車両の位置を計測する位置計測手段を更に有し、
前記行動推定手段は、更に前記車両の位置計測結果に基づいて前記車両の行動を推定する、請求項１から５何れか１項に記載の不安全運転検出装置。

【請求項7】

前記車両の運転者の体勢情報を前記映像から取得する体勢情報取得手段を更に備え、
前記不安全運転検出手段は、前記車両の行動、前記車両の周囲情報、及び前記運転者の体勢情報に基づいて、前記車両の不安全運転を検出する、請求項１から６何れか１項に記載の不安全運転検出装置。

【請求項8】

コンピュータが、動画像として入力される、車両の周囲の映像のフレーム間の移動ベクトルを計算し、
前記コンピュータが、前記車両の周囲の映像のフレームごとに、前記フレームに含まれる物体を示す領域および前記物体の種別を推定し、
前記コンピュータが、計算された前記移動ベクトルから、推定された前記種別が車両または人を含む移動可能物体である領域の移動ベクトルを除去し、
前記コンピュータが、推定された前記種別が移動可能物体である領域が除去された移動ベクトルに基づいて、前記車両の行動を推定し、
前記コンピュータが、前記車両の行動、及び前記物体の種別を含む前記車両の周囲情報に基づいて、前記車両の不安全運転を検出する不安全運転検出方法。

【請求項9】

動画像として入力される、車両の周囲の映像のフレーム間の移動ベクトルを計算し、
前記車両の周囲の映像のフレームごとに、前記フレームに含まれる物体を示す領域及び前記物体の種別を推定し、
計算された前記移動ベクトルから、推定された前記種別が車両又は人を含む移動可能物体である領域の移動ベクトルを除去し、
推定された前記種別が移動可能物体である領域が除去された移動ベクトルに基づいて、前記車両の行動を推定し、
前記車両の行動、及び前記物体の種別を含む前記車両の周囲情報に基づいて、前記車両の不安全運転を検出する処理をプロセッサに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両行動推定装置、不安全運転検出装置、方法、及びコンピュータ可読媒体に関する。

【背景技術】

【0002】

関連技術として、特許文献１は、危険運転を抽出する危険運転解析装置を開示する。特許文献１に記載の危険運転解析装置は、車両の走行情報及び操作情報を取得する。走行情報は、車両の速度及び加速度の情報を含む。操作情報は、ブレーキ操作の有無、操舵角、方向指示器の操作の有無、及びアクセルの操作の有無などを含む。危険運転解析装置は、走行情報及び操作情報に基づいて、車両が直進状態にあるのか、右折若しくは左折状態にあるのか、又は停止状態にあるのかなどの走行状態を判断する。危険運転解析装置は、車両の地図上の位置及び走行状態などに基づいて、危険運転パターンを特定する。

【0003】

別の関連技術として、特許文献２は、車両周辺に存在する障害物を検知する周辺監視装置を開示する。特許文献２に記載の周辺監視装置は、カメラにより撮像された車両周辺の映像から特徴点を抽出する。周辺監視装置は、抽出された特徴点の近傍エリアにおいて、所定速度範囲の速さで移動する特徴点を特定し、特定した特徴点を追跡する。周辺監視装置は、所定速度範囲の速さで移動する特徴点のうち同一移動物を構成すると推定される特徴点を一つにまとめてグルーピングし、グループ化された特徴点を追跡する。

【0004】

上記周辺監視装置は、車速センサ、舵角センサ、及び、ヨーレートセンサの出力信号に基づいて、車両が所定車速範囲内で旋回中であるか否かを判定する。周辺監視装置は、車両が旋回中であると判定した場合、同一のグループに属する各特徴点の移動ベクトルの全てが、旋回方向に対応する所定方向に向いているか否かを判定する。周辺監視装置は、各特徴点の移動ベクトルの全てが所定方向に向いていないグループは、移動物に対応するグループであると判定し、移動物の存在を運転者に視覚的に知らせる。周辺監視装置は、各特徴点の移動ベクトルの全てが所定方向に向いているグループは移動物に対応したグループではないと判定し、運転者への通知は行わない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１－２２７５７１号公報

【文献】特開２０１５－１５８８７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、車両の運転状態（車両行動）の判定に、車両から取得される、車速や舵角などの情報が使用される。このため、特許文献１に記載の危険運転解析装置は、車両から情報を取得するために、車載ネットワークに接続される必要がある。特許文献２に記載の周辺監視装置も、同様に、車両から取得される情報を使用して旋回中か否かを判定している。このため、周辺監視装置は、車載ネットワークに接続される必要がある。

【0007】

本開示は、上記事情に鑑み、車載ネットワークに接続されない場合であっても、車両行動の推定が可能な車両行動推定装置、不安全運転検出装置、車両行動推定方法、不安全運転検出方法、及びコンピュータ可読媒体を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示は、第１の態様として、車両行動推定装置を提供する。車両行動推定装置は、動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算する移動ベクトル計算手段と、前記車両の前方の映像に含まれる移動可能物体を示す領域を推定する領域推定手段と、前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去するベクトル除去手段と、前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定する行動推定手段とを備える。

【0009】

本開示は、第２の態様として、不安全運転検出装置を提供する。不安全運転検出装置は、動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算する移動ベクトル計算手段と、前記車両の前方の映像に含まれる移動可能物体を示す領域を推定する領域推定手段と、前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去するベクトル除去手段と、前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定する行動推定手段と、前記車両の周囲情報を取得する周囲情報取得手段と、前記車両の運転者の体勢情報を取得する体勢情報取得手段と、前記推定された車両の行動、前記車両の周囲情報、及び前記運転者の体勢情報の少なくとも１つに基づいて、前記車両の不安全運転を検出する不安全運転検出手段とを備える。

【0010】

本開示は、第３の態様として、車両行動推定方法を提供する。車両行動推定方法は、動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算し、前記車両の前方の映像に含まれる移動可能物体を示す領域を推定し、前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去し、前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定することを含む。

【0011】

本開示は、第４の態様として、不安全運転検出方法を提供する。不安全運転検出方法は、動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算し、前記車両の前方の映像に含まれる移動可能物体を示す領域を推定し、前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去し、前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定し、前記車両の周囲情報を取得し、前記車両の運転者の体勢情報を取得し、前記推定された車両の行動、前記車両の周囲情報、及び前記運転者の体勢情報の少なくとも１つに基づいて、前記車両の不安全運転を検出することを含む。

【0012】

本開示は、第５の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算し、前記車両の前方の映像に含まれる移動可能物体を示す領域を推定し、前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去し、前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定する処理をプロセッサに実行させるためのプログラムを格納する。

【0013】

本開示は、第６の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算し、前記車両の前方の映像に含まれる移動可能物体を示す領域を推定し、前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去し、前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定し、前記車両の周囲情報を取得し、前記車両の運転者の体勢情報を取得し、前記推定された車両の行動、前記車両の周囲情報、及び前記運転者の体勢情報の少なくとも１つに基づいて、前記車両の不安全運転を検出する処理をプロセッサに実行させるためのプログラムを格納する。

【発明の効果】

【0014】

本開示に係る車両行動推定装置、不安全運転検出装置、車両行動推定方法、不安全運転検出方法、及びコンピュータ可読媒体は、車載ネットワークに接続されない場合であっても、車両行動を推定することができる。

【図面の簡単な説明】

【0015】

【図1】本開示に係る車両行動推定装置を示すブロック図。

【図2】車両行動推定装置を含む不安全運転検出装置を示すブロック図。

【図3】本開示の第１実施形態に係る不安全運転検出装置を示すブロック図。

【図4】領域認識の結果の例を示す図。

【図5】不安全運転検出装置の動作手順を示すフローチャート。

【図6】車両の左折時の各映像の移動ベクトルを示す図。

【図7】車両の右折時の各映像の移動ベクトルを示す図。

【図8】本開示の第３実施形態に係る不安全運転検出装置を示すブロック図。

【図9】電子機器のハードウェア構成を示すブロック図。

【発明を実施するための形態】

【0016】

本開示の実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る車両行動推定装置を示す。車両行動推定装置１０は、移動ベクトル計算手段１１、領域推定手段１２、ベクトル除去手段１３、及び行動推定手段１４を有する。

【0017】

移動ベクトル計算手段１１には、カメラ３０を用いて撮影された動画像が入力される。カメラ３０は、車両の前方の映像を含む動画像を撮影する。移動ベクトル計算手段１１は、車両の前方の映像のフレーム間の移動ベクトルを計算する。領域推定手段１２は、カメラ３０を用いて撮影された車両の前方の映像に含まれる移動可能物体を示す領域を推定する。

【0018】

ベクトル除去手段１３は、移動ベクトル計算手段１１で計算された移動ベクトルのうち、領域推定手段１２にて移動可能物体を示す領域として推定された領域の移動ベクトルを除去する。行動推定手段１４は、ベクトル除去手段１３にて移動可能物体の領域と推定された領域が除去された移動ベクトルに基づいて、車両の行動を推定する。

【0019】

仮に、行動推定手段１４が、移動ベクトル計算手段１１で計算された移動ベクトルの全てを用いて車両の行動を推定したとする。その場合、映像に他の車両や人などが含まれると、車両が停止している場合でも、他の車両などが動いていることで、車両が走行していると誤って推定される可能性がある。本開示では、行動推定手段１４は、移動ベクトル計算手段１１が計算した移動ベクトルのうち、移動可能物体の領域と推定された領域を除く領域の移動ベクトルに基づいて、車両の行動を推定する。このようにすることで、行動推定手段１４は、他の車両などの動きの影響を受けずに、精度よく車両の行動を推定できる。

【0020】

本開示では、車両行動推定装置１０は、車両の前方の映像を含む動画像から、車両の行動を推定できる。このため、車両行動推定装置１０は、車両から車両の情報を取得する必要がない。本開示に係る車両行動推定装置１０は、車載ネットワークに接続されない場合であっても、映像から、車両の行動を精度よく推定することができる。

【0021】

上記車両行動推定装置１０は、不安全運転検出装置に用いられ得る。図２は、上記車両行動推定装置１０を含む不安全運転検出装置を示す。不安全運転検出装置２０は、車両行動推定装置１０に加えて、周囲情報取得手段２１、体勢情報取得手段２２、及び不安全運転検出手段２３を有する。

【0022】

周囲情報取得手段２１は、車両の周囲情報を取得する。体勢情報取得手段２２は、車両の運転者の体勢情報を取得する。不安全運転検出手段２３は、車両行動推定装置１０によって推定された車両の行動、周囲情報取得手段２１が取得した車両の周囲情報、及び体勢情報取得手段２２が取得した運転者の体勢情報の少なくとも１つに基づいて、車両の不安全運転を検出する。

【0023】

本開示に係る不安全運転検出装置２０は、車両行動推定装置１０が推定した車両行動を用いて、車両の不安全運転を検出する。上記したように、車両行動推定装置１０は、車載ネットワークに接続されない場合でも車両の行動を精度よく推定できる。このため、不安全運転検出装置２０は、車載ネットワークに接続されない場合でも、推定された車両の行動を用いて、不安全運転を検出することができる。

【0024】

以下、本開示の実施の形態を詳細に説明する。図３は、本開示の第１実施形態に係る不安全運転検出装置を示す。不安全運転検出装置１００は、移動ベクトル計算部１０１、領域認識部１０２、移動物体領域除去部１０３、行動推定部１０４、周囲情報取得部１２０、体勢情報取得部１３０、及び不安全運転検出部１４０を有する。移動ベクトル計算部１０１、領域認識部１０２、移動物体領域除去部１０３、及び行動推定部１０４は、車両行動推定装置１１０を構成する。車両行動推定装置１１０は、図１に示される車両行動推定装置１０に対応する。

【0025】

不安全運転検出装置１００は、例えば、車両に後から取り付け可能な電子機器として構成される。不安全運転検出装置１００は、車両に取り付けられる電子機器に内蔵されていてもよい。例えば、不安全運転検出装置１００は、車両の外部を撮影するカメラと、撮影した映像を記録媒体に記録するコントローラとを含むドライブレコーダに内蔵される。不安全運転検出装置１００は、車両の車載ネットワークなどには接続されている必要はない。別の言い方をすれば、不安全運転検出装置１００は、ＣＡＮ（Controller Area Network）バスなどを通じて車両の情報を取得可能な装置として構成されていなくてもよい。不安全運転検出装置１００は、図２に示される不安全運転検出装置２０に対応する。

【0026】

車両行動推定装置１１０は、車両に搭載されるカメラ２００を用いて撮影された映像を用いて、車両の行動を推定する。カメラ２００は、車両の前方の外部の映像を撮影する。カメラ２００は、例えば、ウィンドシールドのルームミラーの根元などの位置に、車両の外部に向けて設置される。カメラ２００は、例えば、車両の前方、後方、右側面、左側面、及び車室を撮影する３６０度カメラであってもよい。カメラ２００は、撮影した映像を、動画像として車両行動推定装置１１０に出力する。カメラ２００は、車両行動推定装置１１０の一部であってもよい。カメラ２００は、図１に示されるカメラ３０に対応する。

【0027】

移動ベクトル計算部１０１は、カメラ２００から車両の前方の映像を含む動画像を取得する。移動ベクトル計算部１０１は、車両の前方の映像のフレーム間の移動ベクトルを計算する。移動ベクトル計算部１０１は、例えば、フレーム間における、光学的な各点の動き（オプティカルフロー）を計算する。オプティカルフローの計算には、任意のアルゴリズムを用いることができる。移動ベクトル計算部１０１は、カメラ２００が３６０度カメラなどの、車両の前方以外の映像も撮影するカメラである場合は、動画像のうち、車両の前方の映像に対応する領域についてオプティカルフローを計算すればよい。移動ベクトル計算部１０１は、図１に示される移動ベクトル計算手段１１に対応する。

【0028】

領域認識部１０２は、カメラ２００が撮影した映像に対して領域認識処理を行う。領域認識部１０２は、例えばフレームごとに、各ピクセルが何に対応する領域であるかを推定する。領域認識部１０２は、例えばピクセルが、自動車、人、二輪車、道路、建物、空、植栽、又は白線などの路上標示のどれに対応したピクセルであるかを推定する。領域認識部１０２は、特に、車両の前方の映像に含まれる移動可能物体を示す領域を推定する。領域認識部１０２は、例えば、自動車及び二輪車などの車両に対応する領域と、人の領域とを、移動可能物体の領域として推定する。領域認識部１０２は、図１に示される領域推定手段１２に対応する。

【0029】

図４は、領域認識の結果の例を示す。図４の例では、領域認識部１０２が認識した道路上に存在する人の領域３０１と、車両の領域３０２とが示されている。領域認識部１０２は、人の領域３０１と車両の領域３０２とを含む領域認識結果を、移動物体領域除去部１０３及び周囲情報取得部１２０に出力する。領域認識部１０２は、移動物体領域除去部１０３には、移動可能物体の領域を示す情報のみを、領域認識結果として出力してもよい。

【0030】

移動物体領域除去部１０３は、領域認識部１０２の領域認識結果を参照し、移動ベクトル計算部１０１で計算された移動ベクトルのうち、移動可能物体の領域として推定された領域の移動ベクトルを除去する。移動物体領域除去部１０３は、例えば車両の前方の映像のオプティカルフローから、人の領域３０１及び車両の領域３０２の移動ベクトルを除去する。移動物体領域除去部１０３は、移動可能物体の領域の移動ベクトルが除去されたオプティカルフローを、行動推定部１０４に出力する。移動物体領域除去部１０３は、図１に示されるベクトル除去手段１３に対応する。

【0031】

行動推定部１０４は、移動物体領域除去部１０３から入力される、移動可能物体の領域が除去されたオプティカルフローを参照し、車両の行動を推定する。行動推定部１０４は、例えば、オプティカルフローに基づいて、車両が走行しているか、停止しているか、右折しているか、又は左折しているかを推定する。行動推定部１０４は、例えば移動ベクトルの大きさが所定のしきい値以下の場合、車両は停止していると推定する。行動推定部１０４は、例えば移動ベクトルの大きさが所定のしきい値より大きい場合、車両は走行していると推定する。行動推定部１０４は、例えば移動ベクトルの向きに基づいて、車両が右折しているか、又は左折しているかを推定する。行動推定部１０４は、図１に示される行動推定手段１４に対応する。

【0032】

周囲情報取得部１２０は、車両の周囲の情報を取得する。本実施形態において、周囲情報取得部１２０は、領域認識部１０２が行った領域認識の結果を参照し、車両の周囲の情報を取得する。例えば、周囲情報取得部１２０は、領域認識部１０２で推定された車両を示す領域、人を示す領域、道路を示す領域、及び路面標示を示す領域を参照し、車両の周囲情報を取得する。周囲情報取得部１２０は、例えば車両の周囲に他の車両や人が存在するか否かを示す情報、及び車両の前方に横断歩道が存在するか否かを示す情報などの情報を、車両の周囲情報として取得する。周囲情報取得部１２０は、図２に示される周囲情報取得手段２１に対応する。

【0033】

体勢情報取得部１３０は、車両の運転者の体勢情報を取得する。体勢情報取得部１３０は、例えばカメラ２０１を用いて撮影された映像から、運転者の体勢情報を取得してもよい。カメラ２０１は、車両の運転席を含む車両内部の映像を撮影する。体勢情報取得部１３０は、例えば、運転者の画像から運転者の骨格構造を推定し、推定した骨格構造に基づいて運転者の体勢を推定する。カメラ２０１は、不安全運転検出装置１００の一部であってもよい。カメラ２００が３６０度カメラなどの車内の映像を撮影するカメラである場合、体勢情報取得部１３０は、カメラ２００が撮影した映像を用いて運転者の体勢情報を取得してもよい。その場合、カメラ２０１は省略可能である。体勢情報取得部１３０は、図２に示される体勢情報取得手段２２に対応する。

【0034】

不安全運転検出部１４０は、行動推定部１０４で推定された車両の行動、周囲情報取得部１２０が取得した車両の周囲情報、及び体勢情報取得部１３０が取得した運転者の体勢情報の少なくとも１つに基づいて、車両の不安全運転を検出する。例えば、不安全運転検出部１４０は、運転者の体勢情報に基づいて運転者の顔の向きなどを判定し、運転者が脇見しているか否かを判定する。また、不安全運転検出部１４０は、運転者の体勢情報に基づいて、運転者の手が頭部に近づいているか否かを判定し、運転者が運転以外の動作をしているか否かを判定する。不安全運転検出部１４０は、車両の周囲情報に基づいて、他の車両の有無や、横断歩道の有無などを判定する。不安全運転検出部１４０は、車両の行動と、運転者の体勢と、周囲の状況との組み合わせに応じて、不安全運転を検出する。不安全運転は、例えば、危険が生じ得る可能性がある運転、及びあらかじめ定められたルールに従わない運転などを示す。

【0035】

不安全運転検出部１４０は、例えば、不安全運転検出の条件を記憶する。不安全運転検出部１４０は、車両の行動と、運転者の体勢と、周囲の状況との組み合わせが、不安全運転検出の条件に一致するか否かを判定する。不安全運転検出部１４０は、上記組み合わせが不安全運転検出の条件と一致すると判定した場合、不安全運転を検出する。例えば、不安全運転検出部１４０は、例えば車両が走行しており、運転者の体勢が脇見運転の状態を示し、かつ車両の周囲に他の車両が存在する場合、不安全運転を検出する。不安全運転検出部１４０は、例えば車両が停止している場合は、運転者の体勢が脇見運転の状態を示し、かつ車両の周囲に他の車両が存在する場合でも、不安全運転ではないと判定する。不安全運転検出部１４０は、図２に示される不安全運転検出手段２３に対応する。

【0036】

次いで、動作手順を説明する。図５は、不安全運転検出装置１００の動作手順（不安全運転検出方法）を示す。移動ベクトル計算部１０１は、カメラ２００から入力される動画像から、車両の前方の映像の各ピクセルのフレーム間の移動ベクトルを計算する（ステップＳ１）。領域認識部１０２は、カメラ２００から入力される車両の前方の映像に対して領域認識を行う（ステップＳ２）。領域認識部１０２は、ステップＳ２では、車両の前方の映像に含まれる移動可能物体の領域などを識別する。

【0037】

移動物体領域除去部１０３は、ステップＳ２の領域認識結果を参照し、ステップＳ１で計算された移動ベクトルから、移動可能物体の領域に対応する移動ベクトルを除去する（ステップＳ３）。行動推定部１０４は、ステップＳ３で移動可能物体の領域が除去された移動ベクトルに基づいて、車両の行動を推定する（ステップＳ４）。ステップＳ１からステップＳ４は、車両行動推定装置１１０で実施される車両行動推定方法に対応する。

【0038】

周囲情報取得部１２０は、車両の周囲情報を取得する（ステップＳ５）。周囲情報取得部１２０は、ステップＳ５では、例えば、ステップＳ２の領域認識結果に基づいて車両の周囲情報を取得する。体勢情報取得部１３０は、車両の運転者の体勢情報を取得する（ステップＳ６）。体勢情報取得部１３０は、ステップＳ６では、例えば、カメラ２０１を用いて撮影された映像に基づいて運転者の骨格構造を推定し、推定した骨格構造に基づいて運転者の体勢情報を取得してもよい。

【0039】

不安全運転検出部１４０は、ステップＳ４で推定された車両の行動、ステップＳ５で取得された車両の周囲情報、及びステップＳ６で取得された運転者の体勢情報の少なくとも１つに基づいて、不安全運転を検出する（ステップＳ７）。不安全運転検出部１４０は、ステップＳ７では、例えば車両の行動と、車両の周囲情報と、運転者の体勢情報との組み合わせが、所定の条件に一致する場合、不安全運転を検出する。不安全運転検出部１４０は、不安全運転を検出した場合、警告音などをスピーカなどから出力させ、不安全運転の検出を運転者に通知してもよい。

【0040】

本実施形態では、移動物体領域除去部１０３は、移動ベクトル計算部１０１で計算された移動ベクトルのうち、領域認識部１０２にて移動可能物体の領域と識別された領域の移動ベクトルを除去する。行動推定部１０４は、移動物体領域除去部１０３にて移動可能物体の領域が除去された移動ベクトルを用いて、車両の行動を推定する。本実施形態では、行動推定部１０４は、車両の動きとは無関係に動く可能性がある領域の移動ベクトルを除外して、車両の行動を推定できる。このため、行動推定部１０４は、車両の行動を、精度よく推定できる。また、本実施形態において、車両行動推定装置１１０は、車両の行動の推定にカメラ２００を用いて撮影された映像を用いる。このため、車両行動推定装置１１０は、車両から車速や操舵角などの情報を取得する必要がなく、車載ネットワークに接続されている必要はない。不安全運転検出装置１００は、車載ネットワークに接続されていない場合でも、推定された車両の行動に応じて、不安全運転を検出することができる。

【0041】

続いて、本開示の第２実施形態を説明する。本開示の第２実施形態に係る不安全運転検出装置の構成は、図３に示される第１実施形態で説明した不安全運転検出装置１００の構成と同じでよい。本実施形態において、車両行動推定装置１１０は、車両の前方の映像だけでなく、車両の右側方の映像、及び左側方の映像を用いて車両の行動を推定する。他の動作は、第１実施形態における動作と同様でよい。

【0042】

本実施形態において、カメラ２００は、例えば３６０度カメラとして構成されており、車両の前方、車両の右側方、及び車両の左側方を撮影する。右側方の映像は、例えば車両の前席の右側の窓の外側の映像である。左側方の映像は、例えば車両の前席の左側の窓の外側の映像である。１つのカメラで車両の前方、車両の右側方、及び車両の左側方を撮影するのに代えて、複数のカメラを用いて、車両の前方、車両の右側方、及び車両の左側方を撮影してもよい。

【0043】

移動ベクトル計算部１０１は、車両の前方の映像のフレーム間の移動ベクトルに加えて、車両の右側方の映像のフレーム間の移動ベクトル、及び車両の左側方の映像のフレーム間の移動ベクトルを計算する。移動ベクトル計算部１０１は、例えば、３６０度カメラを用いて撮影された動画像における、車両のウィンドシールドに対応する領域の映像を用いて車両の前方の映像のフレーム間の移動ベクトルを計算する。移動ベクトル計算部１０１は、３６０度カメラを用いて撮影された動画像における、車両の右側の窓に対応する領域の映像を用いて車両の右側方の映像のフレーム間の移動ベクトルを計算する。移動ベクトル計算部１０１は、３６０度カメラを用いて撮影された動画像における、車両の左側の窓に対応する領域の映像を用いて車両の左側方の映像のフレーム間の移動ベクトルを計算する。

【0044】

領域認識部１０２は、車両の前方の映像だけなく、車両の右側方の映像、及び左側方の映像に対しても領域認識を行う。領域認識部１０２は、車両の右側方の映像に含まれる移動可能物体を示す領域、及び車両の左側方の映像に含まれる移動可能物体を示す領域を識別する。領域認識部１０２は、例えば、３６０度カメラを用いて撮影された動画像における、車両のウィンドシールドに対応する領域の映像に対して領域認識を行う。領域認識部１０２は、３６０度カメラを用いて撮影された動画像における、車両の右側の窓に対応する領域の映像に対して領域認識を行う。領域認識部１０２は、３６０度カメラを用いて撮影された動画像における、車両の左側の窓に対応する領域の映像に対して領域認識を行う。

【0045】

移動物体領域除去部１０３は、車両の前方の映像のフレーム間の移動ベクトルから、車両の前方の映像に含まれる移動可能物体の領域の移動ベクトルを除去する。また、移動物体領域除去部１０３は、車両の右側方の映像のフレーム間の移動ベクトルから、車両の右側方の映像に含まれる移動可能物体の領域の移動ベクトルを除去する。移動物体領域除去部１０３は、車両の左側方の映像のフレーム間の移動ベクトルから、移動可能物体の領域の移動ベクトルを除去する。

【0046】

行動推定部１０４は、それぞれ移動可能物体の領域が除去された、車両の前方の映像の移動ベクトル、車両の右側方の映像の移動ベクトル、及び車両の左側方の映像の移動ベクトルに基づいて、車両の行動を推定する。行動推定部１０４は、例えば、主に車両の前方の映像の移動ベクトルに基づいて車両の行動を推定する。行動推定部１０４は、車両の右側方の映像の移動ベクトル、及び車両の左側方の映像の移動ベクトルを補助的に使用し、車両が右折しているか、又は左折しているかを推定してもよい。

【0047】

図６は、車両の左折時の各映像の移動ベクトルを示す。図６において、移動ベクトル（オプティカルフロー）４００Ｆは、車両の前方の映像から計算された移動ベクトルを示す。移動ベクトル４００Ｒは、車両の右側方の映像から計算された移動ベクトルを示す。移動ベクトル４００Ｌは、車両の左側方の映像から計算された移動ベクトルを示す。移動ベクトル４００Ｆ、４００Ｒ、及び４００Ｌにおいて、移動可能物体の領域の移動ベクトルは移動物体領域除去部１０３により除去されている。

【0048】

車両が左折する場合、移動ベクトル４００Ｆ、４００Ｒ、及び４００Ｌは全体として右方向を向くと考えられる。このとき、車両の回転半径が車両の右側と左側とで異なることに起因して、車両の右側方の映像の移動ベクトル４００Ｒと、車両の左側方の映像の移動ベクトル４００Ｌとで、ベクトルの大きさが異なると考えられる。行動推定部１０４は、車両の右側方の映像の移動ベクトル４００Ｒの大きさと、車両の左側方の映像の移動ベクトル４００Ｌの大きさとの差を計算する。行動推定部１０４は、左右の映像の移動ベクトルの差と、車両の前方の映像の移動ベクトル４００Ｆとに基づいて、車両が右折しているか、又は左折しているかを推定する。行動推定部１０４は、図６に示されるように、車両の前方の映像の移動ベクトル４００Ｆが右方向を向き、かつ、移動ベクトル４００Ｌの大きさが移動ベクトル４００Ｒの大きさより小さい場合、車両は左折していると推定してもよい。

【0049】

図７は、車両の右折時の各映像の移動ベクトルを示す。車両が右折する場合、上記とは逆に、移動ベクトル４００Ｆ、４００Ｒ、及び４００Ｌは全体として左方向を向くと考えられる。このとき、車両の回転半径の差に起因して、車両の右側方の映像の移動ベクトル４００Ｒと、車両の左側方の映像の移動ベクトル４００Ｌとで、ベクトルの大きさが異なると考えられる。行動推定部１０４は、図７に示されるように、車両の前方の映像の移動ベクトルが左方向を向き、かつ、移動ベクトル４００Ｒの大きさが移動ベクトル４００Ｌの大きさより小さい場合、車両は右折していると推定してもよい。

【0050】

本実施形態では、行動推定部１０４は、車両の前方の映像の移動ベクトルに加えて、車両の右側方の映像の移動ベクトル、及び左側方の映像の移動ベクトルを用いて、車両の行動を推定する。行動推定部１０４は、車両の右側方の映像の移動ベクトルの大きさと、左側方の映像の移動ベクトルの大きさとの差を参照することで、車両が右折しているか、又は左折しているかを精度よく推定することができる。他の効果は、第１実施形態における効果と同様である。

【0051】

続いて、本開示の第３実施形態を説明する。図８は、本開示の第３実施形態に係る不安全運転検出装置を示す。本開示に係る不安全運転検出装置１００ａは、車両行動推定装置１１０ａが位置情報取得部１０５を有する点で、図３に示される第１実施形態に係る不安全運転検出装置１００と異なる。本実施形態において、行動推定部１０４は、第２実施形態と同様に、車両の右側方の映像の移動ベクトル、及び車両の左側方の映像の移動ベクトルを更に用いて、車両の行動を推定してもよい。

【0052】

位置情報取得部１０５は、車両の位置情報を取得する。位置情報取得部１０５は、例えばＧＮＳＳ（Global Navigation Satellite System）を利用して、車両の位置情報を取得する。行動推定部１０４は、移動可能物体の領域が除去された移動ベクトルと、位置情報取得部１０５が取得した位置情報を用いて、車両の行動を推定する。行動推定部１０４は、例えば車両の位置情報の変化に基づいて、移動ベクトルに基づく車両の行動の推定結果を補正してもよい。

【0053】

本実施形態では、行動推定部１０４は、移動ベクトル計算部１０１が計算した移動ベクトルに加えて、位置情報取得部１０５が取得した位置情報を用いて、車両の行動を推定する。行動推定部１０４は、例えば、位置情報を時系列で参照することで、車両が動いているか否か、車両がどの方向に動いているかなどを推定できる。従って、行動推定部１０４は、更に精度よく、車両の行動の推定することができる。

【0054】

なお、上記実施形態では、車両行動推定装置１１０が不安全運転検出装置１００に含まれる例を説明したが、本開示はこれには限定されない。車両行動推定装置１１０と不安全運転検出装置１００とは、別々の装置として構成されていてもよい。また、上記実施形態では、車両行動推定装置１１０が推定した車両の行動が不安全運転検出装置１００で使用される例を説明したが、本開示はこれには限定されない。車両行動推定装置１１０は、不安全運転検出装置１００とは異なる装置に、車両の行動の推定結果を出力してもよい。

【0055】

本開示において、不安全運転検出装置１００及び車両行動推定装置１１０は、はプロセッサを有する電子機器として構成され得る。図９は、不安全運転検出装置１００及び車両行動推定装置１１０に使用され得る電子機器のハードウェア構成を示す。電子機器５００は、プロセッサ５０１、ＲＯＭ（read only memory）５０２、及びＲＡＭ（random access memory）５０３を有する。電子機器５００において、プロセッサ５０１、ＲＯＭ５０２、及びＲＡＭ５０３は、バス５０４を介して相互に接続される。電子機器５００は、図示は省略するが、周辺回路、及びインタフェース回路などの他の回路を含み得る。

【0056】

ＲＯＭ５０２は、不揮発性の記憶装置である。ＲＯＭ５０２には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＲＯＭ５０２は、プロセッサ５０１が実行するプログラムを格納する。

【0057】

上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、電子機器５００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いて電子機器に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムを電子機器に供給できる。

【0058】

ＲＡＭ５０３は、揮発性の記憶装置である。ＲＡＭ５０３には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ５４０は、データなどを一時的に格納する内部バッファとして用いられ得る。

【0059】

プロセッサ５０１は、ＲＯＭ５０２に格納されたプログラムをＲＡＭ５０３に展開し、プログラムを実行する。プロセッサ５０１がプログラムを実行することで、不安全運転検出装置１００及び車両行動推定装置１１０の各部の機能が実現され得る。

【0060】

以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。

【0061】

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0062】

［付記１］
動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算する移動ベクトル計算手段と、
前記車両の前方の映像に含まれる移動可能物体を示す領域を推定する領域推定手段と、
前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去するベクトル除去手段と、
前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定する行動推定手段とを備える車両行動推定装置。

【0063】

［付記２］
前記移動ベクトル計算手段は、フレーム間における、光学的な各点の動きを前記移動ベクトルとして計算する付記１に記載の車両行動推定装置。

【0064】

［付記３］
前記行動推定手段は、前記車両が走行しているか、停止しているか、右折しているか、又は左折しているかを推定する付記１又は２に記載の車両行動推定装置。

【0065】

［付記４］
前記移動ベクトル計算手段は、３６０度カメラを用いて撮影された動画像における、前記車両の前方に対応する領域の映像を用いて、車両の前方の映像のフレーム間の移動ベクトルを計算する付記１から３何れか１つに記載の車両行動推定装置。

【0066】

［付記５］
前記移動ベクトル計算手段は、動画像として入力される、前記車両の右側方の映像のフレーム間の移動ベクトル、及び動画像として入力される、前記車両の左側方の映像のフレーム間の移動ベクトルを更に計算し、
領域推定手段は、前記車両の右側方の映像に含まれる移動可能物体を示す領域、及び前記車両の左側方の映像に含まれる移動可能物体を示す領域を更に推定し、
前記ベクトル除去手段は、前記車両の右側方の映像のフレーム間の移動ベクトル、及び前記車両の左側方の映像のフレーム間の移動ベクトルから、前記移動可能物体を示す領域として推定された領域の移動ベクトルを更に除去する付記１から４何れか１つに記載の車両行動推定装置。

【0067】

［付記６］
行動推定手段は、前記移動可能物体を示す領域として推定された領域が除去された前記車両の右側方の映像のフレーム間の移動ベクトルと前記移動可能物体を示す領域として推定された領域が除去された前記車両の左側方の映像のフレーム間の移動ベクトルとの差と、前記移動可能物体を示す領域として推定された領域が除去された前記車両の前方の映像のフレーム間の移動ベクトルとに基づいて、前記車両が右折しているか、又は左折しているかを推定する付記５に記載の車両行動推定装置。

【0068】

［付記７］
前記移動ベクトル計算手段は、３６０度カメラを用いて撮影された動画像における、前記車両の右側方に対応する領域の映像を用いて前記車両の右側方の映像のフレーム間の移動ベクトルを計算し、前記車両の左側方に対応する領域の映像を用いて前記車両の左側方の映像のフレーム間の移動ベクトルを計算する付記５又は６に記載の車両行動推定装置。

【0069】

［付記８］
前記車両の位置を計測する位置計測手段を更に有し、
前記行動推定手段は、更に前記車両の位置計測結果に基づいて前記車両の行動を推定する付記１から７何れか１つに記載の車両行動推定装置。

【0070】

［付記９］
動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算する移動ベクトル計算手段と、
前記車両の前方の映像に含まれる移動可能物体を示す領域を推定する領域推定手段と、
前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去するベクトル除去手段と、
前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定する行動推定手段と、
前記車両の周囲情報を取得する周囲情報取得手段と、
前記車両の運転者の体勢情報を取得する体勢情報取得手段と、
前記推定された車両の行動、前記車両の周囲情報、及び前記運転者の体勢情報の少なくとも１つに基づいて、前記車両の不安全運転を検出する不安全運転検出手段とを備える不安全運転検出装置。

【0071】

［付記１０］
前記領域推定手段は、更に道路を示す領域、及び路面標示を示す領域を推定し、
前記周囲情報取得手段は、前記推定された道路を示す領域、及び路面標示を示す領域に基づいて、前記車両の周囲情報を取得する付記９に記載の不安全運転検出装置。

【0072】

［付記１１］
前記体勢情報取得手段は、前記車両の運転者を撮影した映像に基づいて前記運転者の体勢情報を取得する付記９又は１０に記載の不安全運転検出装置。

【0073】

［付記１２］
動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算し、
前記車両の前方の映像に含まれる移動可能物体を示す領域を推定し、
前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去し、
前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定する車両行動推定方法。

【0074】

［付記１３］
動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算し、
前記車両の前方の映像に含まれる移動可能物体を示す領域を推定し、
前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去し、
前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定し、
前記車両の周囲情報を取得し、
前記車両の運転者の体勢情報を取得し、
前記推定された車両の行動、前記車両の周囲情報、及び前記運転者の体勢情報の少なくとも１つに基づいて、前記車両の不安全運転を検出する不安全運転検出方法。

【0075】

［付記１４］
動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算し、
前記車両の前方の映像に含まれる移動可能物体を示す領域を推定し、
前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去し、
前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

【0076】

［付記１５］
動画像として入力される、車両の前方の映像のフレーム間の移動ベクトルを計算し、
前記車両の前方の映像に含まれる移動可能物体を示す領域を推定し、
前記計算された移動ベクトルのうち、前記移動可能物体を示す領域として推定された領域の移動ベクトルを除去し、
前記移動可能物体を示す領域として推定された領域が除去された移動ベクトルに基づいて、前記車両の行動を推定し、
前記車両の周囲情報を取得し、
前記車両の運転者の体勢情報を取得し、
前記推定された車両の行動、前記車両の周囲情報、及び前記運転者の体勢情報の少なくとも１つに基づいて、前記車両の不安全運転を検出する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

【符号の説明】

【0077】

１０：車両行動推定装置
１１：移動ベクトル計算手段
１２：領域推定手段
１３：ベクトル除去手段
１４：行動推定手段
２０：不安全運転検出装置
２１：周囲情報取得手段
２２：体勢情報取得手段
２３：不安全運転検出手段
３０：カメラ
１００：不安全運転検出装置
１０１：移動ベクトル計算部
１０２：領域認識部
１０３：移動物体領域除去部
１０４：行動推定部
１０５：位置情報取得部
１１０：車両行動推定装置
１２０：周囲情報取得部
１３０：体勢情報取得部
１４０：不安全運転検出部
２００、２０１：カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】