(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-09
(45)【発行日】2022-11-17
(54)【発明の名称】車両の危険な走行状態を検出する方法及びシステム、並びにその方法を実行するためのプログラムを格納した非一時的なコンピュータ可読媒体
(51)【国際特許分類】
G08G 1/16 20060101AFI20221110BHJP
G06T 7/00 20170101ALI20221110BHJP
H04N 7/18 20060101ALI20221110BHJP
【FI】
G08G1/16 C
G06T7/00 650B
H04N7/18 J
【外国語出願】
(21)【出願番号】P 2021072224
(22)【出願日】2021-04-22
【審査請求日】2021-07-12
(32)【優先日】2020-11-10
(33)【優先権主張国・地域又は機関】TW
(73)【特許権者】
【識別番号】521173889
【氏名又は名称】神達數位股▲ふん▼有限公司
【氏名又は名称原語表記】MiTAC Digital Technology Corporation
【住所又は居所原語表記】No.200,Wunhua 2nd Rd.,Gueishan Dist.,Taoyuan City,Taiwan
(74)【代理人】
【識別番号】100217434
【氏名又は名称】万野 秀人
(72)【発明者】
【氏名】王 緯中
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開2020-160850(JP,A)
【文献】特開2020-087140(JP,A)
【文献】特開2020-052863(JP,A)
【文献】特開2020-021408(JP,A)
【文献】特開2012-058851(JP,A)
【文献】米国特許出願公開第2017/0036673(US,A1)
【文献】中国特許出願公開第107161081(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
G06T 1/00,7/00-7/90
G06V 10/00-10/98,20/50-20/59
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
車両(2)の危険な運転状態を検出するための方法であって、前記方法は、前記車両(2)に搭載され、且つ、カメラ装置(12)、処理ユニット(15)及び通知装置(13)を含むシステム(1)によって実行され、且つ、
前記カメラ装置(12)によって、前記車両(2)の周囲の動画(M)であって少なくとも1つの目標対象(5)が含まれる動画(M)を撮影するステップと、
前記処理ユニット(15)によって、
前記動画(M)の中の複数の路面標示に基づいて、前記動画(M)の中に注意領域(M1)を画定するステップと、
前記処理ユニット(15)によって、前記動画(M)に基づいて、前記動画(M)の中で前記少なくとも1つの目標対象(5)が前記注意領域(M1)を出入りする回数が注意条件を満たすか否かを判断するステップと、
前記処理ユニット(15)によって前記注意条件を満たしていると判断した場合に、前記処理ユニット(15)が前記車両(2)の運転者が知覚可能な警告通知を出力するように前記通知装置(13)を制御して、前記車両(2)が危険な運転状態にあることを運転者に通知するステップとを含む、車両(2)の危険な運転状態を検出するための方法。
【請求項2】
前記注意条件は、前記動画(M)の中の前記少なくとも1つの目標対象(5)が一定期間内に前記注意領域(M1)を出入りする回数が基準値に達したことを含む、請求項
1の方法。
【請求項3】
前記動画(M)を撮影するステップにおいて、前記動画(M)は、前記車両(2)の目標側に向くカメラ装置(12)によって撮影され、前記注意領域(M1)は、前記車両(2)の前記目標側における目標環境を示し、
前記注意領域(M1)は、前記目標環境の第1のエリアを示す第1のサブ領域(M11)と、前記目標環境の第2のエリアを示す第2のサブ領域(M12)とを含み、前記第1のエリアが前記第2のエリアよりも前記車両(2)に近く、
前記注意条件は、前記動画(M)内の前記少なくとも1つの目標対象(5)が前記第1のサブ領域(M11)を出入りする回数に関連する第1の条件と、前記動画(M)内の前記少なくとも1つの目標対象(5)が前記第2のサブ領域(M12)を出入りする回数に関連する第2の条件と、を含み、且つ、
前記第1の条件と前記第2の条件のいずれか1つが満たされた場合に、前記注意条件が満たされる、請求項1
または請求項
2の方法。
【請求項4】
前記第1の条件は、前記動画(M)の中の前記少なくとも1つの目標対象(5)が所定期間内に前記第1のサブ領域(M11)を出入りする回数が第1の基準値に達することを含み、前記第2の条件は、前記動画(M)の中の前記少なくとも1つの目標対象(5)が所定期間内に前記第2のサブ領域(M12)を出入りする回数が第2の基準値に達することを含み、且つ、前記第1の基準値が前記第2の基準値より小さい、請求項
3の方法。
【請求項5】
前記処理ユニット(15)によって、前記車両(2)の速度に基づいて、前記第1のサブ領域(M11)及び前記第2のサブ領域(M12)のサイズを動的に調整するステップを更に含む、請求項
3または請求項
4の方法。
【請求項6】
前記処理ユニット(15)は、前記第1のサブ領域(M11)のサイズを前記車両(2)の速度と正の相関を有するようにし、前記第2のサブ領域(M12)のサイズを前記車両(2)の速度と負の相関を有するようにすることにより、前記第1のサブ領域(M11)及び前記第2のサブ領域(M12)のサイズを動的に調整する、請求項
5の方法。
【請求項7】
前記処理ユニット(15)は、応答時間と前記車両(2)の現在の速度とに基づいて、前記第1のサブ領域(M11)のサイズを決定し、
前記応答時間は、それぞれ前回の前記警告通知の出力と、前回の前記警告通知の出力に応答して前記車両(2)の運転者が行った制動行為と、の間の間隔である複数の前回の応答時間の長さに基づいて、取得される、請求項
5の方法。
【請求項8】
前記処理ユニット(15)によって、前記動画(M)の中の少なくとも1つの目標対象(5)の総数に基づいて、前記第1のサブ領域(M11)及び前記第2のサブ領域(M12)のサイズを動的に調整するステップをさらに含み、前記第1のサブ領域(M11)及び前記第2のサブ領域(M12)のサイズは、前記第1のサブ領域(M11)のサイズを前記動画(M)の中の前記少なくとも1つの目標対象(5)の総数と正の相関を有するようにし、且つ前記第2のサブ領域(M12)のサイズを前記動画(M)の中の前記少なくとも1つの目標対象(5)の総数と負の相関を有するようにすることによって調整される、請求項
3または請求項
4の方法。
【請求項9】
前記注意条件が満たされたことを判断すると、前記処理ユニット(15)によって、前記注意条件の達成が前記車両(2)の移動に起因するか否かを判断するステップと、
前記注意条件の達成が前記車両(2)の移動によるものであると判断すると、前記処理ユニット(15)によって、前記通知装置(13)を制御して、前記警告通知として機能する知覚可能な第1の通知を出力するステップと、
前記注意条件の達成が前記車両(2)の移動によるものではないと判断すると、前記処理ユニット(15)によって、前記通知装置(13)を制御して、前記警告通知として機能し且つ前記知覚可能な第1の通知と異なる知覚可能な第2の通知を出力するステップと、を更に含む、請求項1~請求項
8のいずれか1項の方法。
【請求項10】
車両(2)に搭載され、前記車両(2)の周囲の動画(M)であって少なくとも1つの目標対象(5)が含まれる動画(M)を撮影するように構成されるカメラ装置(12)と、
前記車両(2)の運転者が知覚可能なメッセージを出力するように構成されている通知装置(13)と、
前記カメラ装置(12)及び前記通知装置(13)に電気的に接続され、前記カメラ装置(12)及び前記通知装置(13)と協働して、請求項1に記載の方法を実行するように構成されている処理ユニット(15)と、を含む、車両(2)の危険な運転状態を検出するシステム(1)。
【請求項11】
カメラ装置(12)、通知装置(13)及び処理ユニット(15)を含むシステム(1)に、前記処理ユニット(15)によって実行された時に、請求項1に記載の方法を実行させるプログラムを格納した、非一時的なコンピュータ可読媒体。
【請求項12】
車両(2)の危険な運転状態を検出するための方法であって、前記方法は、前記車両(2)に搭載され、且つ、カメラ装置(12)、処理ユニット(15)及び通知装置(13)を含むシステム(1)によって実行され、且つ、
前記カメラ装置(12)によって、前記車両(2)の周囲の動画(M)であって少なくとも1つの目標対象(5)が含まれる動画(M)を撮影するステップと、
前記処理ユニット(15)によって、前記動画(M)の中に注意領域(M1)を画定するステップと、
前記処理ユニット(15)によって、前記動画(M)に基づいて、前記動画(M)の中で前記少なくとも1つの目標対象(5)が前記注意領域(M1)を出入りする回数が注意条件を満たすか否かを判断するステップと、
前記処理ユニット(15)によって前記注意条件を満たしていると判断した場合に、前記処理ユニット(15)が前記車両(2)の運転者が知覚可能な警告通知を出力するように前記通知装置(13)を制御して、前記車両(2)が危険な運転状態にあることを運転者に通知するステップとを含み、
前記動画(M)を撮影するステップにおいて、前記動画(M)は、前記車両(2)の目標側に向くカメラ装置(12)によって撮影され、前記注意領域(M1)は、前記車両(2)の前記目標側における目標環境を示し、
前記注意領域(M1)は、前記目標環境の第1のエリアを示す第1のサブ領域(M11)と、前記目標環境の第2のエリアを示す第2のサブ領域(M12)とを含み、前記第1のエリアが前記第2のエリアよりも前記車両(2)に近く、
前記注意条件は、前記動画(M)内の前記少なくとも1つの目標対象(5)が前記第1のサブ領域(M11)を出入りする回数に関連する第1の条件と、前記動画(M)内の前記少なくとも1つの目標対象(5)が前記第2のサブ領域(M12)を出入りする回数に関連する第2の条件と、を含み、且つ、
前記第1の条件と前記第2の条件のいずれか1つが満たされた場合に、前記注意条件が満たされる、車両(2)の危険な運転状態を検出するための方法。
【請求項13】
前記第1の条件は、前記動画(M)の中の前記少なくとも1つの目標対象(5)が所定期間内に前記第1のサブ領域(M11)を出入りする回数が第1の基準値に達することを含み、前記第2の条件は、前記動画(M)の中の前記少なくとも1つの目標対象(5)が所定期間内に前記第2のサブ領域(M12)を出入りする回数が第2の基準値に達することを含み、且つ、前記第1の基準値が前記第2の基準値より小さい、請求項12の方法。
【請求項14】
前記処理ユニット(15)によって、前記車両(2)の速度に基づいて、前記第1のサブ領域(M11)及び前記第2のサブ領域(M12)のサイズを動的に調整するステップを更に含む、請求項12または請求項13の方法。
【請求項15】
前記処理ユニット(15)は、前記第1のサブ領域(M11)のサイズを前記車両(2)の速度と正の相関を有するようにし、前記第2のサブ領域(M12)のサイズを前記車両(2)の速度と負の相関を有するようにすることにより、前記第1のサブ領域(M11)及び前記第2のサブ領域(M12)のサイズを動的に調整する、請求項14の方法。
【請求項16】
前記処理ユニット(15)は、応答時間と前記車両(2)の現在の速度とに基づいて、前記第1のサブ領域(M11)のサイズを決定し、
前記応答時間は、それぞれ前回の前記警告通知の出力と、前回の前記警告通知の出力に応答して前記車両(2)の運転者が行った制動行為と、の間の間隔である複数の前回の応答時間の長さに基づいて、取得される、請求項14の方法。
【請求項17】
前記処理ユニット(15)によって、前記動画(M)の中の少なくとも1つの目標対象(5)の総数に基づいて、前記第1のサブ領域(M11)及び前記第2のサブ領域(M12)のサイズを動的に調整するステップをさらに含み、前記第1のサブ領域(M11)及び前記第2のサブ領域(M12)のサイズは、前記第1のサブ領域(M11)のサイズを前記動画(M)の中の前記少なくとも1つの目標対象(5)の総数と正の相関を有するようにし、且つ前記第2のサブ領域(M12)のサイズを前記動画(M)の中の前記少なくとも1つの目標対象(5)の総数と負の相関を有するようにすることによって調整される、請求項12または請求項13の方法。
【請求項18】
前記注意条件が満たされたことを判断すると、前記処理ユニット(15)によって、前記注意条件の達成が前記車両(2)の移動に起因するか否かを判断するステップと、
前記注意条件の達成が前記車両(2)の移動によるものであると判断すると、前記処理ユニット(15)によって、前記通知装置(13)を制御して、前記警告通知として機能する知覚可能な第1の通知を出力するステップと、
前記注意条件の達成が前記車両(2)の移動によるものではないと判断すると、前記処理ユニット(15)によって、前記通知装置(13)を制御して、前記警告通知として機能し且つ前記知覚可能な第1の通知と異なる知覚可能な第2の通知を出力するステップと、を更に含む、請求項12~請求項17のいずれか1項の方法。
【請求項19】
前記処理ユニット(15)によって、予め設定された設定データ部に応じて、前記動画(M)の中の前記注意領域(M1)を決定するステップを更に含む、請求項12~18のいずれか1項の方法。
【請求項20】
車両(2)に搭載され、前記車両(2)の周囲の動画(M)であって少なくとも1つの目標対象(5)が含まれる動画(M)を撮影するように構成されるカメラ装置(12)と、
前記車両(2)の運転者が知覚可能なメッセージを出力するように構成されている通知装置(13)と、
前記カメラ装置(12)及び前記通知装置(13)に電気的に接続され、前記カメラ装置(12)及び前記通知装置(13)と協働して、請求項12に記載の方法を実行するように構成されている処理ユニット(15)と、を含む、車両(2)の危険な運転状態を検出するシステム(1)。
【請求項21】
カメラ装置(12)、通知装置(13)及び処理ユニット(15)を含むシステム(1)に、前記処理ユニット(15)によって実行された時に、請求項12に記載の方法を実行させるプログラムを格納した、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両の危険な運転状態を検出する方法に関する。
【背景技術】
【0002】
近年、自動車やオートバイなどの自用車を持つ人が増えている。しかし、道路上の車両密度の増加に伴い、運転行動の悪い運転者が周囲の車両の安全を脅かすことが多くなっている。そのため、如何にして危険な運転行動を検知し、運転者に適切な警告を与えるかが関連業界の課題となっている。
【0003】
台湾特許出願第95115719号は、車線安全監視制御装置を提供するものであり、該装置は、監視・制御のためにカメラを用いて運転者の画像と車線の画像を撮影する。この装置は、運転者状態モジュール、車線状態モジュール及び警報モジュールを含む。運転者の状態と車線の状態が同時に異常である場合(運転者状態モジュールと車線状態モジュールによってそれぞれ判断される)、警報モジュールは、運転者の不注意による事故を回避するために、スピーカーを介して警告音を発生させる。運転者の状態が異常でない場合、運転者は車線の異常な状態を注意する責任がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従って、本開示の目的は、車両の危険な運転状態を検出することができる方法を提供する。
【課題を解決するための手段】
【0005】
本開示によれば、該方法は、車両に搭載され、且つ、カメラ装置、処理ユニット及び通知装置を含むシステムによって実施される。該方法は、前記カメラ装置によって、前記車両の周囲の動画であって少なくとも1つの目標対象が含まれる動画を撮影するステップと、前記処理ユニットによって、前記動画の中に注意領域を画定するステップと、前記処理ユニットによって、前記動画に基づいて、前記動画の中に前記少なくとも1つの目標対象が前記注意領域を出入りする回数が注意条件を満たすか否かを判断するステップと、前記処理ユニットによって、前記注意条件を満たしていると判断した場合に、前記車両の運転者が(視覚上や聴覚上)知覚可能な警告通知を出力するように前記通知装置を制御して、前記車両が危険な運転状態にあることを運転者に通知するステップとを含む。
【0006】
本開示の別の目的は、該方法を実施するシステムを提供する。
【0007】
本開示によれば、該システムは、カメラ装置と、通知装置と、処理ユニットとを含む。該カメラ装置は、車両に搭載され、該車両の周囲の動画であって少なくとも1つの目標対象が含まれる動画を撮影するように構成されている。該通知装置は、該車両の運転者が知覚可能なメッセージを出力するように構成されている。該処理ユニットは、該カメラ装置及び該通知装置に電気的に接続され、該カメラ装置及び該通知装置と協働して本開示の方法を実行するように構成されている。
【0008】
本開示の更に別の目的は、コンピュータプログラム製品を提供する。
【0009】
本開示によれば、コンピュータプログラム製品は、プログラムを格納した非一時的なコンピュータ可読媒体として実現され、該プログラムは、本開示のシステムに、当該システムの処理ユニットによってプログラムが実行された時に、本開示の方法を実行させるものである。
【図面の簡単な説明】
【0010】
本発明の他の特徴及び利点は、添付の図面を参照して、以下の実施形態の詳細に説明することにより明白になる。
【
図1】本開示の一実施形態によるシステムを示すブロック図である。
【
図2】本開示による車両の危険な運転状態を検出するための方法の第1の実施形態のステップを示すフローチャートである。
【
図3】本システムによって撮影された動画を示す模式図である。
【
図4】
図3に示される動画に対応するシーンを示す模式図である。
【発明を実施するための形態】
【0011】
本開示をより詳細に説明する前に、適切と考えられる場合において、符号又は符号の末尾部分は、同様の特性を有し得る対応の又は類似の要素を示すために各図面間で繰り返し用いられることに留意されたい。本特許明細書で記載されている「電気的接続」とは、導電材料の接続による多数の電子機器/デバイス/部品の間の有線の電気的接続と、無線信号伝送のための無線通信技術による無線の電気的接続とを意味する。また、本特許明細書に記載されている「電気的接続」とは、2つの電子機器/デバイス/部品が直接に接続されることによって形成される「直接的な電気的接続」と、2つの電子機器/デバイス/部品が他の電子機器/デバイス/部品を介して接続されることによって形成される「間接的な電気的接続」との両方を意味する。
【0012】
図1を参照すると、システム1は、本開示による車両2の危険な運転状態を検出する方法の第1の実施形態を実施するために構成されたものであり、記憶装置11と、カメラ装置12と、通知装置13と、入力装置14と、記憶装置11、カメラ装置12、通知装置13及び入力装置14に電気的に接続された処理ユニット15とを含むことが例示的に示されている。一部の実施形態において、システム1は、個別のユニットとして製造及び販売することができるイベントデータレコーダ(EDR)システムとして実現されてもよく、車両2に設置/搭載され、車両2の電子制御ユニット(ECU)に電気的に接続することができる。一部の実施形態において、システム1は、デジタルビデオレコーダー(DVR)として実現されてもよい。一部の実施形態において、システム1は、車両2が工場出荷前に車両2内に構築される運転者支援システムとして実現されてもよい。ただし、本開示は、この点において限定されない。
【0013】
この実施形態において、記憶装置11は、システム1が使用するための車両認識モデルや設定データ部などのデジタルデータを格納するメモリモジュールであってもよい。車両認識モデルは、処理ユニット15が車両認識モデルを実行する時に、静止画または動画(即ち、写真またはビデオ)に対して画像認識を実行し、画像内の車両(複数可)があれば、例えば、エッジ検出または特徴識別によって識別することができるように、機械学習アルゴリズムを使用して、車両を認識するためのニューラルネットワークモデルを学習することによって得ることができるが、本開示は、この点において限定されない。なお、本開示は、車両認識モデルを構築する技術に重点を置くものではなく、車両認識モデルは、他の従来の画像認識技術を用いて実現されてもよく、本明細書に記載されたものに限定されない。
【0014】
この実施形態において、カメラユニット12は、レンズセットとフォトセンサとを含みカメラモジュールとして実現されてもよく、車両2に搭載され、車両2の目標側を向いて目標側の画像を撮影するように配置される。この実施形態において、目標側は、車両2の前側である。他の実施形態において、目標側は、車両2の後方側または他の側であってもよく、本開示はこの点において限定されない。
【0015】
この実施形態において、通知装置13は、車両2の運転者が知覚可能なメッセージを出力するように構成されており、スピーカー及び/またはディスプレイを含むように実現されてもよい。入力装置14は、多数のプレスボタンを含むように実現されてもよい。一部の実施形態において、入力装置14は、通知装置13と統合されて、タッチスクリーンディスプレイに形成してもよい。一部の実施形態において、通知装置13は、車両2のスピーカーに接続可能な接続ポート及び/または無線通信モジュール(例えば、Bluetoothモジュール)として実現されてもよい。ただし、通知装置13及び入力装置14は、本明細書で説明したものに限定されない。
【0016】
また、システム1がEDRシステムまたはDVRとして実現される場合、処理ユニット15は、EDRシステムまたはDVRのプロセッサまたは制御回路基板として実現されてもよい。また、システム1が車両2に内蔵される運転者支援システムとして実現される場合、処理部15は、車両2のECUとして実現されてもよい。ただし、本開示はこの点において限定されない。
【0017】
この実施形態において、車両2として、セダンが例示されている。ただし、システム1は、二輪車、トラック、バスなどの他の種類の車両にも適用可能であり、本開示はこの点において限定されない。
【0018】
更に、
図2を参照すると、第1の実施形態は、ステップS1~S4を含むことが示されている。
【0019】
更に、
図3を参照すると、ステップS1において、処理ユニット15は、車両2の目標側における車両2の周囲の動画(M)を撮影するようにカメラ装置12を制御し、よって動画(M)は、車両2の目標側における目標環境を示している。実際に、動画(M)は、カメラ装置12により記録されたリアルタイムの映像であり、且つ、多数のフレームで構成されているが、
図3では、動画(M)のフレームの1つのみを示している。この実施形態において、カメラ装置12が車両2の前側(目標側)を撮影しているので、動画(M)には、車両2の前方の環境(目標環境)と、車両2の前側部分の一部とが写っている。
【0020】
この実施形態において、処理ユニット15は、動画(M)において注意領域(M1)及び監視領域(M2)を画定し、また、監視領域(M2)は、注意領域(M1)の左側、右側及び上側に接続している。一部の実施形態においては、監視領域が注意領域を完全に取り囲んでいてもよく、本開示はこの点において限定されない。この実施形態において、注意領域(M1)は、その上部が下部よりも狭い台形の形状をしているため、
図4に示すように、現実世界における車両2の前方の矩形の第1のエリア(R1)に対応している。監視領域(M2)は、注意領域(M1)と共に、
図4に示すように、現実世界で扇形の形状をした第2のエリア(R2)を画定する(即ち、監視領域M2は、現実世界の(R2-R1)の領域に対応する)。第2のエリア(R2)は、カメラ装置12のレンズユニットの視野に関連する中心角を有する。具体的に、第2のエリア(R2)の中心角は、カメラ装置12のレンズユニットの視野と同じ、または、それより小さい。通常、歪みは画像のエッジ部分で発生することを考慮して、第2のエリア(R2)の中心角がカメラ装置12のレンズユニットの視野よりも小さくなるように監視領域(M2)を画定することができる。ただし、本開示はこの点において限定されない。
【0021】
この実施形態において、処理ユニット15は、注意領域(M1)に、第1のサブ領域(M11)と第2のサブ領域(M12)とを更に画定する。第1のサブ領域(M11)は、第2のサブ領域(M12)の下側で第2のサブ領域(M12)と隣接(または接続)しており、これは、現実世界において、第1のサブ領域(M11)に示される目標環境の第1のエリアが、第2のサブ領域(M12)に示される目標環境の第2のエリアよりも車両2に近いことを意味している。なお、
図3において、第1のサブ領域(M11)の上辺と下辺との間の距離(即ち、第1のサブ領域(M11)の最大高さ)が、現実世界における第1の距離(d1)に相当し、且つ、第2のサブ領域(M12)の上辺と下辺との間の距離(即ち、第2のサブ領域(M12)の最大高さ)が、現実世界における第2の距離(d2)に相当する。一例として、処理ユニット15が、第1の距離(d1)を15メートル、第2の距離(d2)を20メートルとした場合、第1のサブ領域(M11)に対応する現実世界における第1のエリアは、車両2の前方15メートル以内のエリアであり、且つ、第1のサブ領域(M11)に対応する現実世界における第2のエリアは、車両2の前方15メートルから前方35メートルまでのエリアである。ただし、本開示は前述の点に限定されるものではない。
【0022】
この実施形態において、記憶装置11に記憶される設定データ部には、動画(M)における注意領域(M1)の形状、サイズ、位置などの特性を協調して定義する多数の設定パラメータが含まれていてもよく、且つ、処理ユニット15は、設定データ部に従って、動画(M)における注意領域(M1)の形状、サイズ、位置を定義する。この実施形態において、動画(M)における注意領域(M1)の形状、サイズ、位置は、ユーザによって設定データ部が編集されて設定パラメータが変更されない限り、固定される。一部の実施形態において、設定パラメータは、第1の距離(d1)及び第2の距離(d2)を含んでもよい。システム1が本開示による方法を実行していない時、ユーザは、入力装置14を使用して設定データ部を編集することにより、動画(M)における注意領域(M1)の形状、サイズ及び位置を調整して、注意領域(M1)を車両2との関係で定義される所望の環境(例えば、車両2の前方の環境)に対応させてもよい。
【0023】
一部の実施形態において、処理ユニット15は、動画(M)内の複数の路面標示に基づいて、動画(M)内の注意領域(M1)を決定/画定してもよい。例えば、処理ユニット15は、2つの車線区分線と、2つの車線区分線の延長線上で定義される消失点とを用いて、注意領域(M1)を決定してもよい。つまり、注意領域(M1)の形状、サイズ、位置は、処理ユニット15が動画(M)に対してリアルタイムに演算を行うことで決定され、動画(M)の変化に伴って動的に変化する可能性がある。従って、注意領域(M1)を画定する方法は様々であり、本開示は本明細書に記載されたものに限定されるものではない。
【0024】
一部の実施形態において、監視領域(M2)は、処理ユニット15が使用するために設定データ部に予め定義することもできる。一部の実施形態において、処理ユニット15は、動画(M)に対して路面認識を行うことにより、リアルタイムで監視領域(M2)を画定してもよい。なお、本開示は、監視領域(M2)を定義する方法に限定されなく、且つ、監視領域(M2)の形状は、
図3に例示されたものに限定されない。
【0025】
ステップS2において、処理ユニットは、車両認識モデルを用いて、動画(M)に対して継続的に画像認識を行うことで、動画(M)に写っている車両2以外の車両(バイク、セダン、バス、トラックなど)を特定する。より詳細には、処理ユニット15は、監視領域(M2)と警戒領域(M1)とにより構成される複合領域に、該複合領域の外から進入する物体があるか否かを連続的に判断する。処理ユニット15は、物体の少なくとも一部が複合領域に入ったと判断すると、車両認識モデルを用いて物体が車両であるか否かを判断する。物体が車両であると判断すると、処理ユニット15は、該物体にマーキングを行い、該物体を本実施形態の目標対象とする。
図3及び
図4には、車両2の左前側にある車両である目標対象5が例示的に示されている。
図3及び
図4、並びに以下の説明において、簡単に説明するために単一の目標対象5を使用しているが、動画(M)には、複合領域において1つまたは複数の目標対象となる1つまたは複数の車両が含まれる場合がある。一実施形態において、複合領域の外側にある物体は、目標対象として機能することができず、従って、目標対象が複合領域を離れたと判断されると、処理ユニット15は、この物体のマークを解除して、処理ユニット15によって目標対象と見なされなくなる。
【0026】
目標対象5が特定されると、フローは、ステップS3に進む。ステップS3において、処理ユニット15は、動画(M)に基づいて、動画(M)中の目標対象5が注意領域(M1)に出入りする回数(例えば、注意領域(M1)に入り、その後、注意領域(M1)から出る回数)が注意条件を満たしているか否かを判断する。フローは、判断が肯定された場合にはステップS4に進み、それ以外の場合にはステップS3を繰り返す。この実施形態において、注意条件は、第1条件及び第2条件を含み、処理ユニット15は、第1条件及び第2条件のいずれか1つが満たされた場合に、注意条件が満たされたと判断する。
【0027】
この実施形態において、第1の条件は、動画(M)中の目標対象5が第1のサブ領域(M11)に出入りする(例えば、第1のサブ領域(M11)に入り、その後、第1のサブ領域(M11)から出る)回数に関するものであり、且つ、第2の条件は、動画(M)中の目標対象5が第2のサブ領域(M12)に出入りする(例えば、第2のサブ領域(M12)に入り、その後、第2のサブ領域(M12)から出る)回数に関するものである。より詳細に言うと、第1の条件は、動画(M)中の目標対象5が所定期間内に第1のサブ領域(M11)を出入りする回数が第1の基準値に達することを含み、第2の条件は、動画(M)中の目標対象5が所定期間内に第2のサブ領域(M12)を出入りする回数が第2の基準値に達することを含み、且つ、第1の基準値が第2の基準値よりも小さい。
【0028】
一例として、所定の期間を6秒とし、第1の基準値を2とし、且つ第2の基準値を3とすることができる。処理ユニット15は、動画(M)に基づいて、目標対象5が6秒以内に第1のサブ領域(M11)を2回以上出入りしたと判断すると、または、目標対象5が6秒以内に第2のサブ領域(M12)を3回以上出入りしたと判断すると、注意条件が満たされたと判断する。なお、第1の基準値及び第2の基準値は、希望通りに設定してもよく、本開示はこの点において限定されない。
【0029】
より詳細に言うと、処理ユニット15は、目標対象5の任意の部分(例えば、エッジ)が第1のサブ領域(M11)に入ったと判断した場合、目標対象5が第1のサブ領域(M11)に入り込んだと判断するようにしてもよく、また、処理ユニット15は、目標対象5が第1のサブ領域(M11)から完全に離れ、目標対象5の全体が第1のサブ領域(M11)内にないと判断した場合、目標対象5が第1のサブ領域(M11)から出たと判断するようにしてもよい。一部の実施形態において、処理ユニット15は、目標対象の所定の第1の割合が第1のサブ領域(M11)に入った時に、目標対象5が第1のサブ領域(M11)に入り込んだと判断し、目標対象の所定の第2の割合が第1のサブ領域(M11)から離れた時に、目標対象5が第1のサブ領域(M11)から出たと判断するようにしてもよい。一部の実施形態において、処理ユニット15は、目標対象5の特徴的な部分(例えば、車両登録プレート、車輪など)が第1のサブ領域(M11)に出入りしたかを判断することによって、目標対象5が第1のサブ領域(M11)に出入りしたかを判断してもよい。つまり、処理ユニット15は、様々な方法で目標対象5が第1のサブ領域(M11)に出入りしたかを判断してもよく、本開示はこの点において限定されない。
【0030】
目標対象5が第2のサブ領域(M12)を出入りする回数を処理ユニット15が判断する方法、及び目標対象5が第2のサブ領域(M12)に出入りしたかを処理ユニット15が判断する方法については、第1のサブ領域(M11)に関して説明したものと同様であるので、ここでは簡潔を期すためその詳細を省略する。
【0031】
ステップS4において、処理ユニット15は、車両2の運転者に、車両2または他の周囲の車両(複数可)が危険な運転状態にあることを通知するための警告通知を知覚可能に(例えば、視覚的や聴覚的に)出力するように、通知装置13を制御する。更に、処理ユニット15は、任意にバックアップ手順を実行して、目標対象5の移動経路を記録した画像バックアップを生成し、且つ、その画像バックアップを記憶装置11やクラウドサーバーに保存してもよい。画像バックアップは、事故発生時の証拠となり、運転者の権利・利益を守ることに繋がる。
【0032】
一部の実施形態において、処理ユニット15は、通知装置13のスピーカを制御して、サイレンの形式で警告通知を聞こえるように出力してもよい。一部の実施形態において、通知装置13は、接続ポートや無線通信モジュールとして実現されてもよく、処理ユニット15は、車両2のスピーカーを介して警告通知を出力するように通知装置13を制御する。一部の実施形態において、処理ユニット15は、通知装置13のディスプレイを制御して、警告通知をテキスト形式またはパターンを用いて視覚的に出力してもよい。一部の実施形態において、通知装置13は、接続ポートや無線通信モジュールとして実現されてもよく、処理ユニット15は、車両2のディスプレイを介して警告通知を出力するように通知装置13を制御する。ただし、警告通知を出力する方法は、ここで説明したものに限定されない。
【0033】
処理ユニット15は、動画(M)の一部を切り捨てて画像バックアップを生成してもよい。一部の実施形態において、画像バックアップは、目標対象5が監視領域(M2)に入った直後のフレームから始まり、処理ユニット15が注意条件が満たされたと判断した時点から20秒後のフレームで終了してもよい。ただし、画像バックアップは、処理ユニット15に注意条件が満たされたと判断させる目標対象5の移動経路を示すことができる(つまり、注意条件が満たされた理由が目標対象5にある)ものであれば、本開示は、画像バックアップの生成の特定方法に限定されない。
【0034】
処理ユニット15が通知装置13を制御して警告通知を出力させ、バックアップ手順を実行した後、フローはステップS3に戻るが、本開示はこれに限定されない。簡略化された実施形態において、ステップ4は、処理ユニット15が通知装置13を制御して警告通知を出力させることのみを含み、バックアップ手順を行わなくてもよい。
【0035】
第1の実施形態によれば、処理ユニット15は、目標対象5(即ち、他の車両)が所定期間内に動画(M)内の注意領域(M1)を繰り返し出入りする場合に、注意条件が満たされていると判断する。このような判断は、目標対象5や車両2自体のジグザグ運転した結果であり得、ジグザグ運転により運転の安全性が損なわれる可能性があるため、処理ユニット15は、周囲の車両(複数可)や車両2自体が危険な走行状態にある可能性を運転者に積極的に忠告するために、警告通知を出力するように通知装置13を制御する。
【0036】
第1の実施形態によれば、設定データ部を用いて動画(M)における注意領域(M1)の形状、サイズ及び位置を定義する場合、路面標示の識別が不要であるため、路面標示を用いて動画(M)における注意領域(M1)を定義する場合に比べて、処理ユニット15の計算負荷を軽減することができる。更に、このような実施は、様々な運転環境に適用可能であり、路面標示に限定されない。
【0037】
第1の実施形態によれば、第1の基準値は、第2の基準値よりも小さい。つまり、処理ユニット15は、第1のサブ領域(M11)に対する感度が第2のサブ領域(M12)に対する感度よりも高い。現実世界において、第1のサブ領域(M11)に相当する第1のエリアは、第2のサブ領域(M12)に相当する第2のエリアより車両2に近いため、システム1は、より厳しい基準で第1のサブ領域(M11)を監視するように構成されている。一部の実施形態において、注意領域(M1)は、車両2の異なるリスクレベルに基づいて、異なる通知起動基準が与えられる多数のサブ領域に分割されてもよい。
【0038】
また、目標側が車両2の後方側である場合(即ち、カメラ装置12が車両2の後方側で動画を撮影する場合)にも、システム1は同様の効果を得ることができる。
【0039】
本発明に係る車両2の危険運転状態検出方法の第2の実施形態は、ステップS4において、処理ユニット15は、注意条件が満たされたと判断した場合、注意条件が満たされたことが、車両2自体の動きに起因するのか、目標対象5の動きに起因するのかを更に判断してもよい点で、第1の実施形態と異なる。一部の実施形態において、処理ユニット15は、動画(M)における路面標示(例えば、車線標示)の変動に基づいて、注意条件の達成が車両2の移動自体に起因するものであるか否かをリアルタイムに判断する。より詳細に言うと、処理ユニット15は、車両2のヘッディング方向(即ち、車両2の前部が向いている方向)と車線標示との角度の変動に基づいて、車両2が頻繁に車線変更を行っているか否かを判断することにより、注意条件の達成が車両2の動きそのものに起因するものであるか否かを判断する。一部の実施形態において、システム1は、重力センサ装置(例えば、加速度センサ、ジャイロスコープ、加速度センサとジャイロスコープの組み合わせなど)を更に含み、処理ユニット15は、重力センサ装置によって感知された重力の変動に基づいて、車両2が頻繁に揺れたり、ヘディング方向を変えたりしているか否かをリアルタイムで判断して、注意条件の達成が車両2自体の動きに起因するか否かを判断する。注意条件の達成が車両2自体の移動に起因すると判断すると、処理ユニット15は、通知装置13を制御して、警告通知となる、車両2の運転者に安全な運転を行うように通知する第1の通知(例えば、「安定した運転を維持してください」という口頭でのアナウンスであるが、本開示はこれに限定されない)を出力する。注意条件の達成が車両2自身の移動によるものではない、つまり、注意条件の達成が他の車両によるものであると判断すると、処理ユニット15は、通知装置13を制御して、警告通知となる、第1の通知とは異なる、近くの車両が危険な運転をしていることを車両2の運転者に通知する第2の通知を出力させる。一例として、第2の通知はサイレンであってもよいが、本開示はこれに限定されない。
【0040】
本開示による車両2の危険な運転状態を検出する方法の第3の実施形態は、処理ユニット15が、システム1の移動速度の変動(車両2の速度の変動と実質的に等しい)に基づいて、第1のサブ領域(M11)及び第2のサブ領域(M12)のサイズを動的に調整する点で、第1の実施形態と異なる。車両2の速度は、異なる時点での車両2の位置座標を連続的に取得する全地球測位システム(GPS)、及び/又は、車両2のオンボード診断(OBD)デバイスから取得してもよい。一部の実施形態において、車線区分線は通常一定の長さを有するので、処理ユニット15は、動画を用いて、車両2が一定時間内に通過した車線区分線の数を算出することにより、車両2の速度を推定してもよい。処理ユニット15は、第1のサブ領域(M11)のサイズを、車両2の速度と正の相関を有するようにすることで(即ち、車両2の移動速度が速いほど、第1のサブ領域(M11)を大きくする)、且つ、第2のサブ領域(M12)のサイズを、車両2の速度と負の相関を有するようにすることで(即ち、車両2の移動速度が速いほど、第2のサブ領域(M12)を小さくする)、第1のサブ領域(M11)及び第2のサブ領域(M12)のサイズを調整してもよい。
【0041】
より詳細に言うと、第3の実施形態において、第1の距離(d1)と第2の距離(d2)の和が一定(即ち、注意領域(M1)の面積が一定)である。
図3の車両2が時速60km/hで走行していると仮定して、車両2が時速60km/hから加速する時に、処理ユニット15は、第1のサブ領域(M11)と第2のサブ領域(M12)との境界(B)を
図3における上方に移動させるか、または車両2から遠ざけるようにすることで、第1のサブ領域(M11)を拡大し(第1の距離(d1)も大きくする)、第2のサブ領域(M12)を縮小し(第2の距離(d2)も小さくする)てもよい。車両2が時速60km/hから減速する時に、処理ユニット15は、境界(B)を
図3における下方に移動させ、または車両2に近づけて、第1のサブ領域(M11)を縮小し(第1の距離(d1)も小さくする)、第2のサブ領域(M12)を拡大し(第2の距離(d2)も大きくする)てもよい。処理ユニット15は、設定データ部における第1の距離(d1)または第2の距離(d2)のいずれかを変更することにより、第1のサブ領域(M11)及び第2のサブ領域(M12)のサイズを調整してもよい(即ち、境界(B)を移動させる)。
【0042】
つまり、第3実施形態において、処理ユニット15は、注意領域(M1)の形状、サイズ、位置を変更せずに、車両2の速度の変動に基づいて、第1のサブ領域(M11)及び第2のサブ領域(M12)のサイズを動的に調整する。特に、第1のサブ領域(M11)に対応する現実世界の第1のエリアは、第2のサブ領域(M12)に対応する現実世界の第2のエリアよりも車両2に近いため、第1のサブ領域(M11)は、第2のサブ領域(M12)と比較して、車両2の走行安全性に対する影響が大きい。従って、第3の実施形態においては、潜在的なジグザグ運転をより高い感度で検出するように、車速が上がるにつれて第1のサブ領域(M11)を拡大する。
【0043】
一部の実施において、第1の距離(d1)または第2の距離(d2)は、車両2の現在の速度だけでなく、車両2の運転者が危険を認識した後に制動をかけることに必要な時間の長さである応答時間に基づいて決定されてもよい。第1の距離(d1)及び第2の距離(d2)のうち他の1つは、決定した第1の距離(d1)または第2の距離(d2)を所定の定数から減算することで求めることができる。
【0044】
例えば、車両2の現在の速度が72km/h(即ち、20m/s)であり、且つ応答時間が0.8秒であると仮定して、処理ユニット15は、第1の距離(d1)を16m(即ち、20m/s×0.8秒)と判定する。その結果、車両2の運転者は、注意条件が満たされた時に、出力される注意通知を受けて、車両2を制動するための十分な時間を確保することができる。
【0045】
一部の実施形態において、処理ユニット15は、前回の警告通知の出力と、前回の警告通知の出力に応答して運転者が行った制動行為との間の間隔である複数の前回の応答時間の長さに基づいて、応答時間の長さを決定してもよい。例えば、処理ユニット15は、過去50回の応答時間の長さの平均を取って応答時間を取得してもよいが、本開示はそれに限定されない。実際に、処理ユニット15は、車載電子機器(図示せず)と電気的に接続されていてもよいので、処理ユニット15は、車両2の制動が操作される度に、車載電子機器から制動時点を取得することができる。そのため、処理ユニット15は、注意通知が出力された後、注意通知の出力から注意通知の出力後1回目に制動動作が行われた対応制動時点までの間隔を取得し、その間隔を最新の応答時間の長さとすることができる。このようにして、処理ユニット15は、車両2の運転者に合わせた適切な応答時間を決定することができる。なお、車載電子機器は、例えば、車両2の車載コンピュータまたはオンボード診断(OBD)システムであってもよいが、本開示はこの点において限定されない。この実施において、システム1が十分な数の以前の応答時間の長さを取得する前に、処理ユニット15によって、固定された所定の時間の長さが応答時間として使用されてもよい。一部の実施形態において、システム1は、過去の応答時間の長さを取得せず、応答時間を直接に、固定された所定の時間の長さとして設定する。
【0046】
本発明の車両2の危険運転状態検出方法の第4の実施形態は、第3の実施形態と類似している。第4の実施形態は、処理ユニット15が、動画(M)(の複合領域(M1))における目標対象5の総数の変動に基づいて、第1のサブ領域(M11)及び第2のサブ領域(M12)のサイズを動的に調整する点と、第1のサブ領域(M11)のサイズを、動画(M)中の目標対象5の総数と正の相関を有するようにする(即ち、目標対象5が多いほど第1のサブ領域(M11)を大きくする)ことにより、第1のサブ領域(M11)と第2のサブ領域(M12)のサイズを調整する点と、第2のサブ領域(M12)のサイズを、動画(M)中の目標対象5の総数と負の相関を有するようにする(即ち、目標対象5の数が多いほど、第2のサブ領域(M12)を小さくする)点とで、第3の実施形態と異なる。
【0047】
実際に、動画(M)中の目標対象5の数が増加すると、処理ユニット15は、境界(B)(
図3参照)を
図3における上方に移動させるか、または車両2から遠ざけて、第1のサブ領域(M11)を拡大し、第2のサブ領域(M12)を縮小させるようにする。一方、動画(M)中の目標対象5の数が減少すると、処理ユニット15は、境界(B)(
図3参照)を
図3における下方に移動させるか、または車両2に近づけて、第1のサブ領域(M11)を縮小し、第2のサブ領域(M12)を拡大するようにする。
【0048】
つまり、第4の実施形態において、処理ユニット15は、注意領域(M1)の形状、サイズ、位置を不変とする一方で、目標対象5の数の変動に基づいて、第1のサブ領域(M11)及び第2のサブ領域(M12)のサイズを動的に調整する。その結果、第4の実施形態において、道路状況が混雑してきた時に、車両2の走行安全性への影響が大きい第1のサブ領域(M11)を拡大することにより、交通量が多い時に潜在的なジグザグ運転を検出する感度がより高いシステム1とすることができる。なお、一部の実施において、第3の実施形態と第4の実施形態とを組み合わせることができ、即ち、処理ユニット15は、車両2の速度と動画(M)内の目標対象5の数との両方に基づいて、第1のサブ領域(M11)と第2のサブ領域(M12)とのサイズを動的に調整してもよい。
【0049】
本発明の車両2の危険運転状態検出方法の第5の実施形態は、第1の実施形態を簡略化したものである。第5の実施形態は、注意領域(M1)を第1のサブ領域(M11)と第2のサブ領域(M12)とに分けず、動画(5)中の目標対象5が期間内に注意領域(M1)を出入りする回数が基準値(例えば3回)に達した場合に注意条件を満たすとする点で、第1の実施形態と異なる。この期間は、一定であってもよく、車両2が所定の距離を走行するのにかかる時間であってもよい。例えば、処理ユニット15は、車両2が1km(所定の距離)進むごとに、動画(5)の目標対象5が注意領域(M1)に出入りする回数を測ってもよい。この実施形態において、処理ユニット15は、目標対象5が期間内に注意領域(M1)を出入りした回数が基準値に達したと判断すると注意条件が満たされたと判断し、一方、目標対象5が期間内に注意領域(M1)を出入りする回数がまだ基準値に達していないと判断すると注意条件が満たされていないと判断する。一部の変形例において、処理ユニット15は、目標対象が注意領域(M1)に出入りする頻度を算出し、その頻度が基準値の頻度(例えば、1秒間に0.5回)以上の場合に注意条件が満たされていると判断してもよい。
【0050】
以上、本開示による車両の危険運転状態検出方法の実施形態において、目標対象が注意領域に出入りする回数に関連する注意条件が満たされているか否かを判断することでジグザグ運転を積極的に検出し、注意条件が満たされている場合、そのような危険運転状態であることを運転者に通知するための警告通知を出力することにより、事故の防止に貢献することができる。
【0051】
上述した実施形態のいずれかの1つは、処理ユニット15によって実行された時に、システム1に実施形態を実行させる命令を含むコンピュータプログラムとして実現されてもよい。コンピュータプログラムは、非一時的なコンピュータ可読媒体(例えば、フラッシュドライブ、ハードディスクドライブ、ソリッドステートドライブ、光ディスクなど)に格納されてもよく、物理的な製品として実現されてもよいし、クラウドサーバーのコンポーネントとして実現されてもよい。
【0052】
上記においては、説明のため、本発明の全体的な理解を促すべく多くの具体的な詳細が示された。しかしながら、当業者であれば、一またはそれ以上の他の実施形態が具体的な詳細を示さなくとも実施され得ることが明らかである。また、本明細書における「一つの実施形態」「一実施形態」を示す説明において、序数などの表示を伴う説明は全て、特定の態様、構造、特徴を有する本発明の具体的な実施に含まれ得るものであることと理解されたい。更に、本説明において、時には複数の変化例が一つの実施形態、図面、またはこれらの説明に組み込まれているが、これは本説明を合理化させるためのもので、また、本発明の多面性が理解されることを目的としたものであり、また、一実施形態における一またはそれ以上の特徴あるいは特定の具体例は、適切な場合には、本開示の実施において、他の実施形態における一またはそれ以上の特徴あるいは特定の具体例と共に実施され得る。
【0053】
以上、本発明の好ましい実施形態及び変化例を説明したが、本発明はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。