特開 2022-76983 車両の危険な走行状態を検出する方法及びシステム、並びにその方法を実行するためのプログラムを格納した非一時的なコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022076983

(43)【公開日】2022-05-20

(54)【発明の名称】車両の危険な走行状態を検出する方法及びシステム、並びにその方法を実行するためのプログラムを格納した非一時的なコンピュータ可読媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220513BHJP

   H04N 5/232 20060101ALI20220513BHJP

   G08G 1/16 20060101ALI20220513BHJP

【ＦＩ】

G06T7/00 650B

H04N5/232 290

G08G1/16 C

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021072224

(22)【出願日】2021-04-22

(31)【優先権主張番号】109139160

(32)【優先日】2020-11-10

(33)【優先権主張国・地域又は機関】TW

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521173889

【氏名又は名称】神達數位股▲ふん▼有限公司

【氏名又は名称原語表記】ＭｉＴＡＣ Ｄｉｇｉｔａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐｏｒａｔｉｏｎ

【住所又は居所原語表記】Ｎｏ．２００，Ｗｕｎｈｕａ ２ｎｄ Ｒｄ．，Ｇｕｅｉｓｈａｎ Ｄｉｓｔ．，Ｔａｏｙｕａｎ Ｃｉｔｙ，Ｔａｉｗａｎ

(74)【代理人】

【識別番号】100217434

【弁理士】

【氏名又は名称】万野 秀人

(72)【発明者】

【氏名】王 緯中

【テーマコード（参考）】

5C122

5H181

5L096

【Ｆターム（参考）】

5C122DA03

5C122DA14

5C122EA01

5C122FH10

5C122FH11

5C122FH12

5C122FH14

5C122FJ11

5C122FK35

5C122GA01

5C122HA13

5C122HA35

5C122HA46

5C122HA88

5C122HB01

5C122HB05

5C122HB10

5H181AA01

5H181BB04

5H181BB13

5H181BB20

5H181CC04

5H181FF10

5H181FF27

5H181FF32

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5L096BA04

5L096CA04

5L096DA03

5L096FA52

5L096FA68

5L096FA69

5L096HA03

5L096HA05

5L096HA11

(57)【要約】      （修正有）

【課題】車両の危険な運転状態を検出するための方法を提供する。
【解決手段】記憶装置１１と、カメラ装置１２と、通知装置１３と、入力装置１４と、に電気的に接続された処理ユニット１５を有し、車両２の危険な運転状態を検出するシステム１において、カメラ装置は、車両の周囲の動画を撮影するために使用され、動画は、その中に少なくとも１つの目標対象を有し、注意領域が画定される。処理ユニットは、動画に基づいて、動画中の少なくとも１つの目標対象が注意領域に出入りする回数が注意条件を満たすか否かを判断し、且つ、注意条件を満たすと判断した場合に、車両の運転者に車両が危険な運転状態にあることを通知する警告通知を出力するように通知装置を制御するために、使用される。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両（２）の危険な運転状態を検出するための方法であって、前記方法は、前記車両（２）に搭載され、且つ、カメラ装置（１２）、処理ユニット（１５）及び通知装置（１３）を含むシステム（１）によって実行され、且つ、
前記カメラ装置（１２）によって、前記車両（２）の周囲の動画（Ｍ）であって少なくとも１つの目標対象（５）が含まれる動画（Ｍ）を撮影するステップと、
前記処理ユニット（１５）によって、前記動画（Ｍ）の中に注意領域（Ｍ１）を画定するステップと、
前記処理ユニット（１５）によって、前記動画（Ｍ）に基づいて、前記動画（Ｍ）の中で前記少なくとも１つの目標対象（５）が前記注意領域（Ｍ１）を出入りする回数が注意条件を満たすか否かを判断するステップと、
前記処理ユニット（１５）によって前記注意条件を満たしていると判断した場合に、前記処理ユニット（１５）が前記車両（２）の運転者が知覚可能な警告通知を出力するように前記通知装置（１３）を制御して、前記車両（２）が危険な運転状態にあることを運転者に通知するステップとを含む、車両（２）の危険な運転状態を検出するための方法。

【請求項2】

前記処理ユニット（１５）によって、予め設定された設定データ部に応じて、前記動画（Ｍ）の中の前記注意領域（Ｍ１）を決定するステップを更に含む、請求項１の方法。

【請求項3】

前記処理ユニット（１５）によって、前記動画（Ｍ）の中の複数の路面標示に基づいて、前記動画（Ｍ）中の前記注意領域（Ｍ１）を決定するステップを更に含む、請求項１の方法。

【請求項4】

前記注意条件は、前記動画（Ｍ）の中の前記少なくとも１つの目標対象（５）が一定期間内に前記注意領域（Ｍ１）を出入りする回数が基準値に達したことを含む、請求項１～請求項３のいずれか１項の方法。

【請求項5】

前記動画（Ｍ）を撮影するステップにおいて、前記動画（Ｍ）は、前記車両（２）の目標側に向くカメラ装置（１２）によって撮影され、前記注意領域（Ｍ１）は、前記車両（２）の前記目標側における目標環境を示し、
前記注意領域（Ｍ１）は、前記目標環境の第１のエリアを示す第１のサブ領域（Ｍ１１）と、前記目標環境の第２のエリアを示す第２のサブ領域（Ｍ１２）とを含み、前記第１のエリアが前記第２のエリアよりも前記車両（２）に近く、
前記注意条件は、前記動画（Ｍ）内の前記少なくとも１つの目標対象（５）が前記第１のサブ領域（Ｍ１１）を出入りする回数に関連する第１の条件と、前記動画（Ｍ）内の前記少なくとも１つの目標対象（５）が前記第２のサブ領域（Ｍ１２）を出入りする回数に関連する第２の条件と、を含み、且つ、
前記第１の条件と前記第２の条件のいずれか１つが満たされた場合に、前記注意条件が満たされる、請求項１～請求項４のいずれか１項の方法。

【請求項6】

前記第１の条件は、前記動画（Ｍ）の中の前記少なくとも１つの目標対象（５）が所定期間内に前記第１のサブ領域（Ｍ１１）を出入りする回数が第１の基準値に達することを含み、前記第２の条件は、前記動画（Ｍ）の中の前記少なくとも１つの目標対象（５）が所定期間内に前記第２のサブ領域（Ｍ１２）を出入りする回数が第２の基準値に達することを含み、且つ、前記第１の基準値が前記第２の基準値より小さい、請求項５の方法。

【請求項7】

前記処理ユニット（１５）によって、前記車両（２）の速度に基づいて、前記第１のサブ領域（Ｍ１１）及び前記第２のサブ領域（Ｍ１２）のサイズを動的に調整するステップを更に含む、請求項５または請求項６の方法。

【請求項8】

前記処理ユニット（１５）は、前記第１のサブ領域（Ｍ１１）のサイズを前記車両（２）の速度と正の相関を有するようにし、前記第２のサブ領域（Ｍ１２）のサイズを前記車両（２）の速度と負の相関を有するようにすることにより、前記第１のサブ領域（Ｍ１１）及び前記第２のサブ領域（Ｍ１２）のサイズを動的に調整する、請求項７の方法。

【請求項9】

前記処理ユニット（１５）は、応答時間と前記車両（２）の現在の速度とに基づいて、前記第１のサブ領域（Ｍ１１）のサイズを決定し、
前記応答時間は、それぞれ前回の前記警告通知の出力と、前回の前記警告通知の出力に応答して前記車両（２）の運転者が行った制動行為と、の間の間隔である複数の前回の応答時間の長さに基づいて、取得される、請求項７の方法。

【請求項10】

前記処理ユニット（１５）によって、前記動画（Ｍ）の中の少なくとも１つの目標対象（５）の総数に基づいて、前記第１のサブ領域（Ｍ１１）及び前記第２のサブ領域（Ｍ１２）のサイズを動的に調整するステップをさらに含み、前記第１のサブ領域（Ｍ１１）及び前記第２のサブ領域（Ｍ１２）のサイズは、前記第１のサブ領域（Ｍ１１）のサイズを前記動画（Ｍ）の中の前記少なくとも１つの目標対象（５）の総数と正の相関を有するようにし、且つ前記第２のサブ領域（Ｍ１２）のサイズを前記動画（Ｍ）の中の前記少なくとも１つの目標対象（５）の総数と負の相関を有するようにすることによって調整される、請求項５または請求項６の方法。

【請求項11】

前記注意条件が満たされたことを判断すると、前記処理ユニット（１５）によって、前記注意条件の達成が前記車両（２）の移動に起因するか否かを判断するステップと、
前記注意条件の達成が前記車両（２）の移動によるものであると判断すると、前記処理ユニット（１５）によって、前記通知装置（１３）を制御して、前記警告通知として機能する知覚可能な第１の通知を出力するステップと、
前記注意条件の達成が前記車両（２）の移動によるものではないと判断すると、前記処理ユニット（１５）によって、前記通知装置（１３）を制御して、前記警告通知として機能し且つ前記知覚可能な第１の通知と異なる知覚可能な第２の通知を出力するステップと、を更に含む、請求項１～請求項１０のいずれか１項の方法。

【請求項12】

車両（２）に搭載され、前記車両（２）の周囲の動画（Ｍ）であって少なくとも１つの目標対象（５）が含まれる動画（Ｍ）を撮影するように構成されるカメラ装置（１２）と、
前記車両（２）の運転者が知覚可能なメッセージを出力するように構成されている通知装置（１３）と、
前記カメラ装置（１２）及び前記通知装置（１３）に電気的に接続され、前記カメラ装置（１２）及び前記通知装置（１３）と協働して、請求項１に記載の方法を実行するように構成されている処理ユニット（１５）と、を含む、車両（２）の危険な運転状態を検出するシステム（１）。

【請求項13】

カメラ装置（１２）、通知装置（１３）及び処理ユニット（１５）を含むシステム（１）に、前記処理ユニット（１５）によって実行された時に、請求項１に記載の方法を実行させるプログラムを格納した、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の危険な運転状態を検出する方法に関する。

【背景技術】

【0002】

近年、自動車やオートバイなどの自用車を持つ人が増えている。しかし、道路上の車両密度の増加に伴い、運転行動の悪い運転者が周囲の車両の安全を脅かすことが多くなっている。そのため、如何にして危険な運転行動を検知し、運転者に適切な警告を与えるかが関連業界の課題となっている。

【0003】

台湾特許出願第９５１１５７１９号は、車線安全監視制御装置を提供するものであり、該装置は、監視・制御のためにカメラを用いて運転者の画像と車線の画像を撮影する。この装置は、運転者状態モジュール、車線状態モジュール及び警報モジュールを含む。運転者の状態と車線の状態が同時に異常である場合（運転者状態モジュールと車線状態モジュールによってそれぞれ判断される）、警報モジュールは、運転者の不注意による事故を回避するために、スピーカーを介して警告音を発生させる。運転者の状態が異常でない場合、運転者は車線の異常な状態を注意する責任がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従って、本開示の目的は、車両の危険な運転状態を検出することができる方法を提供する。

【課題を解決するための手段】

【0005】

本開示によれば、該方法は、車両に搭載され、且つ、カメラ装置、処理ユニット及び通知装置を含むシステムによって実施される。該方法は、前記カメラ装置によって、前記車両の周囲の動画であって少なくとも１つの目標対象が含まれる動画を撮影するステップと、前記処理ユニットによって、前記動画の中に注意領域を画定するステップと、前記処理ユニットによって、前記動画に基づいて、前記動画の中に前記少なくとも１つの目標対象が前記注意領域を出入りする回数が注意条件を満たすか否かを判断するステップと、前記処理ユニットによって、前記注意条件を満たしていると判断した場合に、前記車両の運転者が（視覚上や聴覚上）知覚可能な警告通知を出力するように前記通知装置を制御して、前記車両が危険な運転状態にあることを運転者に通知するステップとを含む。

【0006】

本開示の別の目的は、該方法を実施するシステムを提供する。

【0007】

本開示によれば、該システムは、カメラ装置と、通知装置と、処理ユニットとを含む。該カメラ装置は、車両に搭載され、該車両の周囲の動画であって少なくとも１つの目標対象が含まれる動画を撮影するように構成されている。該通知装置は、該車両の運転者が知覚可能なメッセージを出力するように構成されている。該処理ユニットは、該カメラ装置及び該通知装置に電気的に接続され、該カメラ装置及び該通知装置と協働して本開示の方法を実行するように構成されている。

【0008】

本開示の更に別の目的は、コンピュータプログラム製品を提供する。

【0009】

本開示によれば、コンピュータプログラム製品は、プログラムを格納した非一時的なコンピュータ可読媒体として実現され、該プログラムは、本開示のシステムに、当該システムの処理ユニットによってプログラムが実行された時に、本開示の方法を実行させるものである。

【図面の簡単な説明】

【0010】

本発明の他の特徴及び利点は、添付の図面を参照して、以下の実施形態の詳細に説明することにより明白になる。

【図1】本開示の一実施形態によるシステムを示すブロック図である。

【図2】本開示による車両の危険な運転状態を検出するための方法の第１の実施形態のステップを示すフローチャートである。

【図3】本システムによって撮影された動画を示す模式図である。

【図4】図３に示される動画に対応するシーンを示す模式図である。

【発明を実施するための形態】

【0011】

本開示をより詳細に説明する前に、適切と考えられる場合において、符号又は符号の末尾部分は、同様の特性を有し得る対応の又は類似の要素を示すために各図面間で繰り返し用いられることに留意されたい。本特許明細書で記載されている「電気的接続」とは、導電材料の接続による多数の電子機器／デバイス／部品の間の有線の電気的接続と、無線信号伝送のための無線通信技術による無線の電気的接続とを意味する。また、本特許明細書に記載されている「電気的接続」とは、２つの電子機器／デバイス／部品が直接に接続されることによって形成される「直接的な電気的接続」と、２つの電子機器／デバイス／部品が他の電子機器／デバイス／部品を介して接続されることによって形成される「間接的な電気的接続」との両方を意味する。

【0012】

図１を参照すると、システム１は、本開示による車両２の危険な運転状態を検出する方法の第１の実施形態を実施するために構成されたものであり、記憶装置１１と、カメラ装置１２と、通知装置１３と、入力装置１４と、記憶装置１１、カメラ装置１２、通知装置１３及び入力装置１４に電気的に接続された処理ユニット１５とを含むことが例示的に示されている。一部の実施形態において、システム１は、個別のユニットとして製造及び販売することができるイベントデータレコーダ（ＥＤＲ）システムとして実現されてもよく、車両２に設置／搭載され、車両２の電子制御ユニット（ＥＣＵ）に電気的に接続することができる。一部の実施形態において、システム１は、デジタルビデオレコーダー（ＤＶＲ）として実現されてもよい。一部の実施形態において、システム１は、車両２が工場出荷前に車両２内に構築される運転者支援システムとして実現されてもよい。ただし、本開示は、この点において限定されない。

【0013】

この実施形態において、記憶装置１１は、システム１が使用するための車両認識モデルや設定データ部などのデジタルデータを格納するメモリモジュールであってもよい。車両認識モデルは、処理ユニット１５が車両認識モデルを実行する時に、静止画または動画（即ち、写真またはビデオ）に対して画像認識を実行し、画像内の車両（複数可）があれば、例えば、エッジ検出または特徴識別によって識別することができるように、機械学習アルゴリズムを使用して、車両を認識するためのニューラルネットワークモデルを学習することによって得ることができるが、本開示は、この点において限定されない。なお、本開示は、車両認識モデルを構築する技術に重点を置くものではなく、車両認識モデルは、他の従来の画像認識技術を用いて実現されてもよく、本明細書に記載されたものに限定されない。

【0014】

この実施形態において、カメラユニット１２は、レンズセットとフォトセンサとを含みカメラモジュールとして実現されてもよく、車両２に搭載され、車両２の目標側を向いて目標側の画像を撮影するように配置される。この実施形態において、目標側は、車両２の前側である。他の実施形態において、目標側は、車両２の後方側または他の側であってもよく、本開示はこの点において限定されない。

【0015】

この実施形態において、通知装置１３は、車両２の運転者が知覚可能なメッセージを出力するように構成されており、スピーカー及び／またはディスプレイを含むように実現されてもよい。入力装置１４は、多数のプレスボタンを含むように実現されてもよい。一部の実施形態において、入力装置１４は、通知装置１３と統合されて、タッチスクリーンディスプレイに形成してもよい。一部の実施形態において、通知装置１３は、車両２のスピーカーに接続可能な接続ポート及び／または無線通信モジュール（例えば、Ｂｌｕｅｔｏｏｔｈモジュール）として実現されてもよい。ただし、通知装置１３及び入力装置１４は、本明細書で説明したものに限定されない。

【0016】

また、システム１がＥＤＲシステムまたはＤＶＲとして実現される場合、処理ユニット１５は、ＥＤＲシステムまたはＤＶＲのプロセッサまたは制御回路基板として実現されてもよい。また、システム１が車両２に内蔵される運転者支援システムとして実現される場合、処理部１５は、車両２のＥＣＵとして実現されてもよい。ただし、本開示はこの点において限定されない。

【0017】

この実施形態において、車両２として、セダンが例示されている。ただし、システム１は、二輪車、トラック、バスなどの他の種類の車両にも適用可能であり、本開示はこの点において限定されない。

【0018】

更に、図２を参照すると、第１の実施形態は、ステップＳ１～Ｓ４を含むことが示されている。

【0019】

更に、図３を参照すると、ステップＳ１において、処理ユニット１５は、車両２の目標側における車両２の周囲の動画（Ｍ）を撮影するようにカメラ装置１２を制御し、よって動画（Ｍ）は、車両２の目標側における目標環境を示している。実際に、動画（Ｍ）は、カメラ装置１２により記録されたリアルタイムの映像であり、且つ、多数のフレームで構成されているが、図３では、動画（Ｍ）のフレームの１つのみを示している。この実施形態において、カメラ装置１２が車両２の前側（目標側）を撮影しているので、動画（Ｍ）には、車両２の前方の環境（目標環境）と、車両２の前側部分の一部とが写っている。

【0020】

この実施形態において、処理ユニット１５は、動画（Ｍ）において注意領域（Ｍ１）及び監視領域（Ｍ２）を画定し、また、監視領域（Ｍ２）は、注意領域（Ｍ１）の左側、右側及び上側に接続している。一部の実施形態においては、監視領域が注意領域を完全に取り囲んでいてもよく、本開示はこの点において限定されない。この実施形態において、注意領域（Ｍ１）は、その上部が下部よりも狭い台形の形状をしているため、図４に示すように、現実世界における車両２の前方の矩形の第１のエリア（Ｒ１）に対応している。監視領域（Ｍ２）は、注意領域（Ｍ１）と共に、図４に示すように、現実世界で扇形の形状をした第２のエリア（Ｒ２）を画定する（即ち、監視領域Ｍ２は、現実世界の（Ｒ２－Ｒ１）の領域に対応する）。第２のエリア（Ｒ２）は、カメラ装置１２のレンズユニットの視野に関連する中心角を有する。具体的に、第２のエリア（Ｒ２）の中心角は、カメラ装置１２のレンズユニットの視野と同じ、または、それより小さい。通常、歪みは画像のエッジ部分で発生することを考慮して、第２のエリア（Ｒ２）の中心角がカメラ装置１２のレンズユニットの視野よりも小さくなるように監視領域（Ｍ２）を画定することができる。ただし、本開示はこの点において限定されない。

【0021】

この実施形態において、処理ユニット１５は、注意領域（Ｍ１）に、第１のサブ領域（Ｍ１１）と第２のサブ領域（Ｍ１２）とを更に画定する。第１のサブ領域（Ｍ１１）は、第２のサブ領域（Ｍ１２）の下側で第２のサブ領域（Ｍ１２）と隣接（または接続）しており、これは、現実世界において、第１のサブ領域（Ｍ１１）に示される目標環境の第１のエリアが、第２のサブ領域（Ｍ１２）に示される目標環境の第２のエリアよりも車両２に近いことを意味している。なお、図３において、第１のサブ領域（Ｍ１１）の上辺と下辺との間の距離（即ち、第１のサブ領域（Ｍ１１）の最大高さ）が、現実世界における第１の距離（ｄ１）に相当し、且つ、第２のサブ領域（Ｍ１２）の上辺と下辺との間の距離（即ち、第２のサブ領域（Ｍ１２）の最大高さ）が、現実世界における第２の距離（ｄ２）に相当する。一例として、処理ユニット１５が、第１の距離（ｄ１）を１５メートル、第２の距離（ｄ２）を２０メートルとした場合、第１のサブ領域（Ｍ１１）に対応する現実世界における第１のエリアは、車両２の前方１５メートル以内のエリアであり、且つ、第１のサブ領域（Ｍ１１）に対応する現実世界における第２のエリアは、車両２の前方１５メートルから前方３５メートルまでのエリアである。ただし、本開示は前述の点に限定されるものではない。

【0022】

この実施形態において、記憶装置１１に記憶される設定データ部には、動画（Ｍ）における注意領域（Ｍ１）の形状、サイズ、位置などの特性を協調して定義する多数の設定パラメータが含まれていてもよく、且つ、処理ユニット１５は、設定データ部に従って、動画（Ｍ）における注意領域（Ｍ１）の形状、サイズ、位置を定義する。この実施形態において、動画（Ｍ）における注意領域（Ｍ１）の形状、サイズ、位置は、ユーザによって設定データ部が編集されて設定パラメータが変更されない限り、固定される。一部の実施形態において、設定パラメータは、第１の距離（ｄ１）及び第２の距離（ｄ２）を含んでもよい。システム１が本開示による方法を実行していない時、ユーザは、入力装置１４を使用して設定データ部を編集することにより、動画（Ｍ）における注意領域（Ｍ１）の形状、サイズ及び位置を調整して、注意領域（Ｍ１）を車両２との関係で定義される所望の環境（例えば、車両２の前方の環境）に対応させてもよい。

【0023】

一部の実施形態において、処理ユニット１５は、動画（Ｍ）内の複数の路面標示に基づいて、動画（Ｍ）内の注意領域（Ｍ１）を決定／画定してもよい。例えば、処理ユニット１５は、２つの車線区分線と、２つの車線区分線の延長線上で定義される消失点とを用いて、注意領域（Ｍ１）を決定してもよい。つまり、注意領域（Ｍ１）の形状、サイズ、位置は、処理ユニット１５が動画（Ｍ）に対してリアルタイムに演算を行うことで決定され、動画（Ｍ）の変化に伴って動的に変化する可能性がある。従って、注意領域（Ｍ１）を画定する方法は様々であり、本開示は本明細書に記載されたものに限定されるものではない。

【0024】

一部の実施形態において、監視領域（Ｍ２）は、処理ユニット１５が使用するために設定データ部に予め定義することもできる。一部の実施形態において、処理ユニット１５は、動画（Ｍ）に対して路面認識を行うことにより、リアルタイムで監視領域（Ｍ２）を画定してもよい。なお、本開示は、監視領域（Ｍ２）を定義する方法に限定されなく、且つ、監視領域（Ｍ２）の形状は、図３に例示されたものに限定されない。

【0025】

ステップＳ２において、処理ユニットは、車両認識モデルを用いて、動画（Ｍ）に対して継続的に画像認識を行うことで、動画（Ｍ）に写っている車両２以外の車両（バイク、セダン、バス、トラックなど）を特定する。より詳細には、処理ユニット１５は、監視領域（Ｍ２）と警戒領域（Ｍ１）とにより構成される複合領域に、該複合領域の外から進入する物体があるか否かを連続的に判断する。処理ユニット１５は、物体の少なくとも一部が複合領域に入ったと判断すると、車両認識モデルを用いて物体が車両であるか否かを判断する。物体が車両であると判断すると、処理ユニット１５は、該物体にマーキングを行い、該物体を本実施形態の目標対象とする。図３及び図４には、車両２の左前側にある車両である目標対象５が例示的に示されている。図３及び図４、並びに以下の説明において、簡単に説明するために単一の目標対象５を使用しているが、動画（Ｍ）には、複合領域において１つまたは複数の目標対象となる１つまたは複数の車両が含まれる場合がある。一実施形態において、複合領域の外側にある物体は、目標対象として機能することができず、従って、目標対象が複合領域を離れたと判断されると、処理ユニット１５は、この物体のマークを解除して、処理ユニット１５によって目標対象と見なされなくなる。

【0026】

目標対象５が特定されると、フローは、ステップＳ３に進む。ステップＳ３において、処理ユニット１５は、動画（Ｍ）に基づいて、動画（Ｍ）中の目標対象５が注意領域（Ｍ１）に出入りする回数（例えば、注意領域（Ｍ１）に入り、その後、注意領域（Ｍ１）から出る回数）が注意条件を満たしているか否かを判断する。フローは、判断が肯定された場合にはステップＳ４に進み、それ以外の場合にはステップＳ３を繰り返す。この実施形態において、注意条件は、第１条件及び第２条件を含み、処理ユニット１５は、第１条件及び第２条件のいずれか１つが満たされた場合に、注意条件が満たされたと判断する。

【0027】

この実施形態において、第１の条件は、動画（Ｍ）中の目標対象５が第１のサブ領域（Ｍ１１）に出入りする（例えば、第１のサブ領域（Ｍ１１）に入り、その後、第１のサブ領域（Ｍ１１）から出る）回数に関するものであり、且つ、第２の条件は、動画（Ｍ）中の目標対象５が第２のサブ領域（Ｍ１２）に出入りする（例えば、第２のサブ領域（Ｍ１２）に入り、その後、第２のサブ領域（Ｍ１２）から出る）回数に関するものである。より詳細に言うと、第１の条件は、動画（Ｍ）中の目標対象５が所定期間内に第１のサブ領域（Ｍ１１）を出入りする回数が第１の基準値に達することを含み、第２の条件は、動画（Ｍ）中の目標対象５が所定期間内に第２のサブ領域（Ｍ１２）を出入りする回数が第２の基準値に達することを含み、且つ、第１の基準値が第２の基準値よりも小さい。

【0028】

一例として、所定の期間を６秒とし、第１の基準値を２とし、且つ第２の基準値を３とすることができる。処理ユニット１５は、動画（Ｍ）に基づいて、目標対象５が６秒以内に第１のサブ領域（Ｍ１１）を２回以上出入りしたと判断すると、または、目標対象５が６秒以内に第２のサブ領域（Ｍ１２）を３回以上出入りしたと判断すると、注意条件が満たされたと判断する。なお、第１の基準値及び第２の基準値は、希望通りに設定してもよく、本開示はこの点において限定されない。

【0029】

より詳細に言うと、処理ユニット１５は、目標対象５の任意の部分（例えば、エッジ）が第１のサブ領域（Ｍ１１）に入ったと判断した場合、目標対象５が第１のサブ領域（Ｍ１１）に入り込んだと判断するようにしてもよく、また、処理ユニット１５は、目標対象５が第１のサブ領域（Ｍ１１）から完全に離れ、目標対象５の全体が第１のサブ領域（Ｍ１１）内にないと判断した場合、目標対象５が第１のサブ領域（Ｍ１１）から出たと判断するようにしてもよい。一部の実施形態において、処理ユニット１５は、目標対象の所定の第１の割合が第１のサブ領域（Ｍ１１）に入った時に、目標対象５が第１のサブ領域（Ｍ１１）に入り込んだと判断し、目標対象の所定の第２の割合が第１のサブ領域（Ｍ１１）から離れた時に、目標対象５が第１のサブ領域（Ｍ１１）から出たと判断するようにしてもよい。一部の実施形態において、処理ユニット１５は、目標対象５の特徴的な部分（例えば、車両登録プレート、車輪など）が第１のサブ領域（Ｍ１１）に出入りしたかを判断することによって、目標対象５が第１のサブ領域（Ｍ１１）に出入りしたかを判断してもよい。つまり、処理ユニット１５は、様々な方法で目標対象５が第１のサブ領域（Ｍ１１）に出入りしたかを判断してもよく、本開示はこの点において限定されない。

【0030】

目標対象５が第２のサブ領域（Ｍ１２）を出入りする回数を処理ユニット１５が判断する方法、及び目標対象５が第２のサブ領域（Ｍ１２）に出入りしたかを処理ユニット１５が判断する方法については、第１のサブ領域（Ｍ１１）に関して説明したものと同様であるので、ここでは簡潔を期すためその詳細を省略する。

【0031】

ステップＳ４において、処理ユニット１５は、車両２の運転者に、車両２または他の周囲の車両（複数可）が危険な運転状態にあることを通知するための警告通知を知覚可能に（例えば、視覚的や聴覚的に）出力するように、通知装置１３を制御する。更に、処理ユニット１５は、任意にバックアップ手順を実行して、目標対象５の移動経路を記録した画像バックアップを生成し、且つ、その画像バックアップを記憶装置１１やクラウドサーバーに保存してもよい。画像バックアップは、事故発生時の証拠となり、運転者の権利・利益を守ることに繋がる。

【0032】

一部の実施形態において、処理ユニット１５は、通知装置１３のスピーカを制御して、サイレンの形式で警告通知を聞こえるように出力してもよい。一部の実施形態において、通知装置１３は、接続ポートや無線通信モジュールとして実現されてもよく、処理ユニット１５は、車両２のスピーカーを介して警告通知を出力するように通知装置１３を制御する。一部の実施形態において、処理ユニット１５は、通知装置１３のディスプレイを制御して、警告通知をテキスト形式またはパターンを用いて視覚的に出力してもよい。一部の実施形態において、通知装置１３は、接続ポートや無線通信モジュールとして実現されてもよく、処理ユニット１５は、車両２のディスプレイを介して警告通知を出力するように通知装置１３を制御する。ただし、警告通知を出力する方法は、ここで説明したものに限定されない。

【0033】

処理ユニット１５は、動画（Ｍ）の一部を切り捨てて画像バックアップを生成してもよい。一部の実施形態において、画像バックアップは、目標対象５が監視領域（Ｍ２）に入った直後のフレームから始まり、処理ユニット１５が注意条件が満たされたと判断した時点から２０秒後のフレームで終了してもよい。ただし、画像バックアップは、処理ユニット１５に注意条件が満たされたと判断させる目標対象５の移動経路を示すことができる（つまり、注意条件が満たされた理由が目標対象５にある）ものであれば、本開示は、画像バックアップの生成の特定方法に限定されない。

【0034】

処理ユニット１５が通知装置１３を制御して警告通知を出力させ、バックアップ手順を実行した後、フローはステップＳ３に戻るが、本開示はこれに限定されない。簡略化された実施形態において、ステップ４は、処理ユニット１５が通知装置１３を制御して警告通知を出力させることのみを含み、バックアップ手順を行わなくてもよい。

【0035】

第１の実施形態によれば、処理ユニット１５は、目標対象５（即ち、他の車両）が所定期間内に動画（Ｍ）内の注意領域（Ｍ１）を繰り返し出入りする場合に、注意条件が満たされていると判断する。このような判断は、目標対象５や車両２自体のジグザグ運転した結果であり得、ジグザグ運転により運転の安全性が損なわれる可能性があるため、処理ユニット１５は、周囲の車両（複数可）や車両２自体が危険な走行状態にある可能性を運転者に積極的に忠告するために、警告通知を出力するように通知装置１３を制御する。

【0036】

第１の実施形態によれば、設定データ部を用いて動画（Ｍ）における注意領域（Ｍ１）の形状、サイズ及び位置を定義する場合、路面標示の識別が不要であるため、路面標示を用いて動画（Ｍ）における注意領域（Ｍ１）を定義する場合に比べて、処理ユニット１５の計算負荷を軽減することができる。更に、このような実施は、様々な運転環境に適用可能であり、路面標示に限定されない。

【0037】

第１の実施形態によれば、第１の基準値は、第２の基準値よりも小さい。つまり、処理ユニット１５は、第１のサブ領域（Ｍ１１）に対する感度が第２のサブ領域（Ｍ１２）に対する感度よりも高い。現実世界において、第１のサブ領域（Ｍ１１）に相当する第１のエリアは、第２のサブ領域（Ｍ１２）に相当する第２のエリアより車両２に近いため、システム１は、より厳しい基準で第１のサブ領域（Ｍ１１）を監視するように構成されている。一部の実施形態において、注意領域（Ｍ１）は、車両２の異なるリスクレベルに基づいて、異なる通知起動基準が与えられる多数のサブ領域に分割されてもよい。

【0038】

また、目標側が車両２の後方側である場合（即ち、カメラ装置１２が車両２の後方側で動画を撮影する場合）にも、システム１は同様の効果を得ることができる。

【0039】

本発明に係る車両２の危険運転状態検出方法の第２の実施形態は、ステップＳ４において、処理ユニット１５は、注意条件が満たされたと判断した場合、注意条件が満たされたことが、車両２自体の動きに起因するのか、目標対象５の動きに起因するのかを更に判断してもよい点で、第１の実施形態と異なる。一部の実施形態において、処理ユニット１５は、動画（Ｍ）における路面標示（例えば、車線標示）の変動に基づいて、注意条件の達成が車両２の移動自体に起因するものであるか否かをリアルタイムに判断する。より詳細に言うと、処理ユニット１５は、車両２のヘッディング方向（即ち、車両２の前部が向いている方向）と車線標示との角度の変動に基づいて、車両２が頻繁に車線変更を行っているか否かを判断することにより、注意条件の達成が車両２の動きそのものに起因するものであるか否かを判断する。一部の実施形態において、システム１は、重力センサ装置（例えば、加速度センサ、ジャイロスコープ、加速度センサとジャイロスコープの組み合わせなど）を更に含み、処理ユニット１５は、重力センサ装置によって感知された重力の変動に基づいて、車両２が頻繁に揺れたり、ヘディング方向を変えたりしているか否かをリアルタイムで判断して、注意条件の達成が車両２自体の動きに起因するか否かを判断する。注意条件の達成が車両２自体の移動に起因すると判断すると、処理ユニット１５は、通知装置１３を制御して、警告通知となる、車両２の運転者に安全な運転を行うように通知する第１の通知（例えば、「安定した運転を維持してください」という口頭でのアナウンスであるが、本開示はこれに限定されない）を出力する。注意条件の達成が車両２自身の移動によるものではない、つまり、注意条件の達成が他の車両によるものであると判断すると、処理ユニット１５は、通知装置１３を制御して、警告通知となる、第１の通知とは異なる、近くの車両が危険な運転をしていることを車両２の運転者に通知する第２の通知を出力させる。一例として、第２の通知はサイレンであってもよいが、本開示はこれに限定されない。

【0040】

本開示による車両２の危険な運転状態を検出する方法の第３の実施形態は、処理ユニット１５が、システム１の移動速度の変動（車両２の速度の変動と実質的に等しい）に基づいて、第１のサブ領域（Ｍ１１）及び第２のサブ領域（Ｍ１２）のサイズを動的に調整する点で、第１の実施形態と異なる。車両２の速度は、異なる時点での車両２の位置座標を連続的に取得する全地球測位システム（ＧＰＳ）、及び／又は、車両２のオンボード診断（ＯＢＤ）デバイスから取得してもよい。一部の実施形態において、車線区分線は通常一定の長さを有するので、処理ユニット１５は、動画を用いて、車両２が一定時間内に通過した車線区分線の数を算出することにより、車両２の速度を推定してもよい。処理ユニット１５は、第１のサブ領域（Ｍ１１）のサイズを、車両２の速度と正の相関を有するようにすることで（即ち、車両２の移動速度が速いほど、第１のサブ領域（Ｍ１１）を大きくする）、且つ、第２のサブ領域（Ｍ１２）のサイズを、車両２の速度と負の相関を有するようにすることで（即ち、車両２の移動速度が速いほど、第２のサブ領域（Ｍ１２）を小さくする）、第１のサブ領域（Ｍ１１）及び第２のサブ領域（Ｍ１２）のサイズを調整してもよい。

【0041】

より詳細に言うと、第３の実施形態において、第１の距離（ｄ１）と第２の距離（ｄ２）の和が一定（即ち、注意領域（Ｍ１）の面積が一定）である。図３の車両２が時速６０ｋｍ／ｈで走行していると仮定して、車両２が時速６０ｋｍ／ｈから加速する時に、処理ユニット１５は、第１のサブ領域（Ｍ１１）と第２のサブ領域（Ｍ１２）との境界（Ｂ）を図３における上方に移動させるか、または車両２から遠ざけるようにすることで、第１のサブ領域（Ｍ１１）を拡大し（第１の距離（ｄ１）も大きくする）、第２のサブ領域（Ｍ１２）を縮小し（第２の距離（ｄ２）も小さくする）てもよい。車両２が時速６０ｋｍ／ｈから減速する時に、処理ユニット１５は、境界（Ｂ）を図３における下方に移動させ、または車両２に近づけて、第１のサブ領域（Ｍ１１）を縮小し（第１の距離（ｄ１）も小さくする）、第２のサブ領域（Ｍ１２）を拡大し（第２の距離（ｄ２）も大きくする）てもよい。処理ユニット１５は、設定データ部における第１の距離（ｄ１）または第２の距離（ｄ２）のいずれかを変更することにより、第１のサブ領域（Ｍ１１）及び第２のサブ領域（Ｍ１２）のサイズを調整してもよい（即ち、境界（Ｂ）を移動させる）。

【0042】

つまり、第３実施形態において、処理ユニット１５は、注意領域（Ｍ１）の形状、サイズ、位置を変更せずに、車両２の速度の変動に基づいて、第１のサブ領域（Ｍ１１）及び第２のサブ領域（Ｍ１２）のサイズを動的に調整する。特に、第１のサブ領域（Ｍ１１）に対応する現実世界の第１のエリアは、第２のサブ領域（Ｍ１２）に対応する現実世界の第２のエリアよりも車両２に近いため、第１のサブ領域（Ｍ１１）は、第２のサブ領域（Ｍ１２）と比較して、車両２の走行安全性に対する影響が大きい。従って、第３の実施形態においては、潜在的なジグザグ運転をより高い感度で検出するように、車速が上がるにつれて第１のサブ領域（Ｍ１１）を拡大する。

【0043】

一部の実施において、第１の距離（ｄ１）または第２の距離（ｄ２）は、車両２の現在の速度だけでなく、車両２の運転者が危険を認識した後に制動をかけることに必要な時間の長さである応答時間に基づいて決定されてもよい。第１の距離（ｄ１）及び第２の距離（ｄ２）のうち他の１つは、決定した第１の距離（ｄ１）または第２の距離（ｄ２）を所定の定数から減算することで求めることができる。

【0044】

例えば、車両２の現在の速度が７２ｋｍ／ｈ（即ち、２０ｍ／ｓ）であり、且つ応答時間が０．８秒であると仮定して、処理ユニット１５は、第１の距離（ｄ１）を１６ｍ（即ち、２０ｍ／ｓ×０．８秒）と判定する。その結果、車両２の運転者は、注意条件が満たされた時に、出力される注意通知を受けて、車両２を制動するための十分な時間を確保することができる。

【0045】

一部の実施形態において、処理ユニット１５は、前回の警告通知の出力と、前回の警告通知の出力に応答して運転者が行った制動行為との間の間隔である複数の前回の応答時間の長さに基づいて、応答時間の長さを決定してもよい。例えば、処理ユニット１５は、過去５０回の応答時間の長さの平均を取って応答時間を取得してもよいが、本開示はそれに限定されない。実際に、処理ユニット１５は、車載電子機器（図示せず）と電気的に接続されていてもよいので、処理ユニット１５は、車両２の制動が操作される度に、車載電子機器から制動時点を取得することができる。そのため、処理ユニット１５は、注意通知が出力された後、注意通知の出力から注意通知の出力後１回目に制動動作が行われた対応制動時点までの間隔を取得し、その間隔を最新の応答時間の長さとすることができる。このようにして、処理ユニット１５は、車両２の運転者に合わせた適切な応答時間を決定することができる。なお、車載電子機器は、例えば、車両２の車載コンピュータまたはオンボード診断（ＯＢＤ）システムであってもよいが、本開示はこの点において限定されない。この実施において、システム１が十分な数の以前の応答時間の長さを取得する前に、処理ユニット１５によって、固定された所定の時間の長さが応答時間として使用されてもよい。一部の実施形態において、システム１は、過去の応答時間の長さを取得せず、応答時間を直接に、固定された所定の時間の長さとして設定する。

【0046】

本発明の車両２の危険運転状態検出方法の第４の実施形態は、第３の実施形態と類似している。第４の実施形態は、処理ユニット１５が、動画（Ｍ）（の複合領域（Ｍ１））における目標対象５の総数の変動に基づいて、第１のサブ領域（Ｍ１１）及び第２のサブ領域（Ｍ１２）のサイズを動的に調整する点と、第１のサブ領域（Ｍ１１）のサイズを、動画（Ｍ）中の目標対象５の総数と正の相関を有するようにする（即ち、目標対象５が多いほど第１のサブ領域（Ｍ１１）を大きくする）ことにより、第１のサブ領域（Ｍ１１）と第２のサブ領域（Ｍ１２）のサイズを調整する点と、第２のサブ領域（Ｍ１２）のサイズを、動画（Ｍ）中の目標対象５の総数と負の相関を有するようにする（即ち、目標対象５の数が多いほど、第２のサブ領域（Ｍ１２）を小さくする）点とで、第３の実施形態と異なる。

【0047】

実際に、動画（Ｍ）中の目標対象５の数が増加すると、処理ユニット１５は、境界（Ｂ）（図３参照）を図３における上方に移動させるか、または車両２から遠ざけて、第１のサブ領域（Ｍ１１）を拡大し、第２のサブ領域（Ｍ１２）を縮小させるようにする。一方、動画（Ｍ）中の目標対象５の数が減少すると、処理ユニット１５は、境界（Ｂ）（図３参照）を図３における下方に移動させるか、または車両２に近づけて、第１のサブ領域（Ｍ１１）を縮小し、第２のサブ領域（Ｍ１２）を拡大するようにする。

【0048】

つまり、第４の実施形態において、処理ユニット１５は、注意領域（Ｍ１）の形状、サイズ、位置を不変とする一方で、目標対象５の数の変動に基づいて、第１のサブ領域（Ｍ１１）及び第２のサブ領域（Ｍ１２）のサイズを動的に調整する。その結果、第４の実施形態において、道路状況が混雑してきた時に、車両２の走行安全性への影響が大きい第１のサブ領域（Ｍ１１）を拡大することにより、交通量が多い時に潜在的なジグザグ運転を検出する感度がより高いシステム１とすることができる。なお、一部の実施において、第３の実施形態と第４の実施形態とを組み合わせることができ、即ち、処理ユニット１５は、車両２の速度と動画（Ｍ）内の目標対象５の数との両方に基づいて、第１のサブ領域（Ｍ１１）と第２のサブ領域（Ｍ１２）とのサイズを動的に調整してもよい。

【0049】

本発明の車両２の危険運転状態検出方法の第５の実施形態は、第１の実施形態を簡略化したものである。第５の実施形態は、注意領域（Ｍ１）を第１のサブ領域（Ｍ１１）と第２のサブ領域（Ｍ１２）とに分けず、動画（５）中の目標対象５が期間内に注意領域（Ｍ１）を出入りする回数が基準値（例えば３回）に達した場合に注意条件を満たすとする点で、第１の実施形態と異なる。この期間は、一定であってもよく、車両２が所定の距離を走行するのにかかる時間であってもよい。例えば、処理ユニット１５は、車両２が１ｋｍ（所定の距離）進むごとに、動画（５）の目標対象５が注意領域（Ｍ１）に出入りする回数を測ってもよい。この実施形態において、処理ユニット１５は、目標対象５が期間内に注意領域（Ｍ１）を出入りした回数が基準値に達したと判断すると注意条件が満たされたと判断し、一方、目標対象５が期間内に注意領域（Ｍ１）を出入りする回数がまだ基準値に達していないと判断すると注意条件が満たされていないと判断する。一部の変形例において、処理ユニット１５は、目標対象が注意領域（Ｍ１）に出入りする頻度を算出し、その頻度が基準値の頻度（例えば、１秒間に０．５回）以上の場合に注意条件が満たされていると判断してもよい。

【0050】

以上、本開示による車両の危険運転状態検出方法の実施形態において、目標対象が注意領域に出入りする回数に関連する注意条件が満たされているか否かを判断することでジグザグ運転を積極的に検出し、注意条件が満たされている場合、そのような危険運転状態であることを運転者に通知するための警告通知を出力することにより、事故の防止に貢献することができる。

【0051】

上述した実施形態のいずれかの１つは、処理ユニット１５によって実行された時に、システム１に実施形態を実行させる命令を含むコンピュータプログラムとして実現されてもよい。コンピュータプログラムは、非一時的なコンピュータ可読媒体（例えば、フラッシュドライブ、ハードディスクドライブ、ソリッドステートドライブ、光ディスクなど）に格納されてもよく、物理的な製品として実現されてもよいし、クラウドサーバーのコンポーネントとして実現されてもよい。

【0052】

上記においては、説明のため、本発明の全体的な理解を促すべく多くの具体的な詳細が示された。しかしながら、当業者であれば、一またはそれ以上の他の実施形態が具体的な詳細を示さなくとも実施され得ることが明らかである。また、本明細書における「一つの実施形態」「一実施形態」を示す説明において、序数などの表示を伴う説明は全て、特定の態様、構造、特徴を有する本発明の具体的な実施に含まれ得るものであることと理解されたい。更に、本説明において、時には複数の変化例が一つの実施形態、図面、またはこれらの説明に組み込まれているが、これは本説明を合理化させるためのもので、また、本発明の多面性が理解されることを目的としたものであり、また、一実施形態における一またはそれ以上の特徴あるいは特定の具体例は、適切な場合には、本開示の実施において、他の実施形態における一またはそれ以上の特徴あるいは特定の具体例と共に実施され得る。

【0053】

以上、本発明の好ましい実施形態及び変化例を説明したが、本発明はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】

【図１】

【図２】

【図３】

【図４】