特開 2024-61627 ドライブレコーダー映像に基づく運転者補助方法およびこれらの方法を実行する装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024061627

(43)【公開日】2024-05-07

(54)【発明の名称】ドライブレコーダー映像に基づく運転者補助方法およびこれらの方法を実行する装置

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240425BHJP

【ＦＩ】

G08G1/00 D

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023149547

(22)【出願日】2023-09-14

(31)【優先権主張番号】10-2022-0135686

(32)【優先日】2022-10-20

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】516212979

【氏名又は名称】エムティーオメガ カンパニー，リミテッド

【氏名又は名称原語表記】ＥＭＴＯＭＥＧＡ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】110001896

【氏名又は名称】弁理士法人朝日奈特許事務所

(72)【発明者】

【氏名】ユ、ジェ ヒョン

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB13

5H181BB20

5H181CC04

5H181CC24

5H181FF10

5H181FF22

5H181FF27

(57)【要約】      （修正有）

【課題】ドライブレコーダー上における車線検出、オブジェクト距離推定、車線逸脱判断、割り込み判断によって追加の運転補助が可能となり、ドライブレコーダーの状況別録画性能を向上させる。
【解決手段】本発明は、ドライブレコーダー映像に基づく運転者補助方法およびこれらの方法を実行する装置に関する。ドライブレコーダー映像に基づく運転者補助方法は、運転者補助装置が車線を検出するステップと、運転者補助装置が車線に基づいてオブジェクト距離を推定するステップと、を含み得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

ドライブレコーダー映像に基づく運転者補助方法は、
運転者補助装置が車線を検出するステップと、
前記運転者補助装置が前記車線に基づいてオブジェクト距離を推定するステップと、を含むことを特徴とする運転者補助方法。

【請求項2】

前記運転者補助装置が車線逸脱を判断するステップと、
前記運転者補助装置が割り込みを判断するステップと、を含むことを特徴とする請求項１に記載の運転者補助方法。

【請求項3】

前記オブジェクト距離は、オブジェクト距離推定テーブルに基づいて決定されることを特徴とする請求項２に記載の運転者補助方法。

【請求項4】

ドライブレコーダー映像に基づく運転者を補助する運転者補助装置は、
車線を検出し、
前記車線に基づいてオブジェクト距離を推定するように実装されることを特徴とする運転者補助装置。

【請求項5】

前記運転者補助装置は、車線逸脱を判断し、割り込みを判断するように実装されることを特徴とする請求項４に記載の運転者補助装置。

【請求項6】

前記オブジェクト距離は、オブジェクト距離推定テーブルに基づいて決定されることを特徴とする請求項５に記載の運転者補助装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドライブレコーダー映像に基づく運転者補助方法およびこれらの方法を実行する装置に関する。より具体的には、ドライブレコーダーなどの制限的なリソースを使用する環境で迅速かつ軽く車線を検出するモデルを提供するためのドライブレコーダー映像に基づく運転者補助方法およびこれらの方法を実行する装置に関する。

【背景技術】

【0002】

最近のセンサ技術、人工知能、およびコンピュータ技術の急速な発展に伴い、自動緊急ブレーキシステム（Ａｕｔｏｎｏｍｏｕｓ Ｅｍｅｒｇｅｎｃｙ Ｂｒａｋｉｎｇ Ｓｙｓｔｅｍ）、前方衝突警報システム（Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）、車線逸脱警報システム（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）などの能動型運転者補助システムが高級乗用車から軽自動車まで装着されて発売されている傾向にある。特に、運転者が意図せずに車線を越えた場合、運転者に警告を与えて事故を予防するシステムである車線逸脱警報システムは、軽自動車にもシステムが搭載されるほど大衆化されているシステムである。

【0003】

能動型運転者補助システムを提供するためには、Ｒａｄａｒ、Ｌｉｄａｒ、Ｕｌｔｒａｓｏｎｉｃ、およびビジョンセンサを活用しており、特に、前方車両、歩行者および交通標識を認識および分類したり、車線を検出するためには、ビジョンセンサが必ず必要である。

【0004】

車両自体の能動型運転者補助システムについての研究は、活発に進められているが、ドライブレコーダーなどの装置において、前述した能動型運転者補助システムについての研究はまだ不十分である。ドライブレコーダーでも事故についてのアラームや事故発生が予想される場合、予め判断して撮影を行うためにこれらの能動型運転者補助システムの適用が必要である。

【0005】

現在、ドライブレコーダーは、リソースの制限により、車両自体の能動型運転者補助システムと同様に実現することが難しい。したがって、ドライブレコーダー上で能動型運転者補助システムの役割を実現するための研究が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、前述した問題点をすべて解決することをその目的とする。

【0007】

また、本発明は、ドライブレコーダーなどのリソースが限定的な装置を運転者補助装置として実装し、車線検出を通じて運転者補助サービスを提供することを目的とする。

【0008】

また、本発明は、ドライブレコーダー上における車線検出、オブジェクト距離推定、車線逸脱判断、割り込み判断を行い、追加の運転補助およびドライブレコーダーの状況別録画性能を高めることを目的とする。

【課題を解決するための手段】

【0009】

前述の目的を達成するための本発明の代表的な構成は、以下の通りである。

【0010】

本発明の一実施形態によると、ドライブレコーダー映像に基づく運転者補助方法は、運転者補助装置が車線を検出するステップと、前記運転者補助装置が前記車線に基づいてオブジェクト距離を推定するステップと、を含み得る。

【0011】

一方、ドライブレコーダー映像に基づく運転者補助方法は、前記運転者補助装置が車線逸脱を判断するステップと、前記運転者補助装置が割り込みを判断するステップと、を含み得る。

【0012】

また、前記オブジェクト距離は、オブジェクト距離推定テーブルに基づいて決定され得る。

【0013】

本発明の他の実施形態によると、ドライブレコーダー映像に基づく運転者を補助する運転者補助装置は、車線を検出し、前記車線に基づいてオブジェクト距離を推定するように実装できる。

【0014】

一方、前記運転者補助装置は、車線逸脱を判断し、割り込みを判断するように実装できる。

【0015】

また、前記オブジェクト距離は、オブジェクト距離推定テーブルに基づいて決定され得る。

【発明の効果】

【0016】

本発明によると、ドライブレコーダーなどのリソースが限定的な装置を運転者補助装置として実装し、車線検出を通じて運転者補助サービスを提供し得る。

【0017】

また、本発明によると、ドライブレコーダー上における車線検出、オブジェクト距離推定、車線逸脱判断、割り込み判断によって追加の運転補助が可能となり、ドライブレコーダーの状況別録画性能を向上させることができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態による運転者補助装置を示す概念図である。

【図2】本発明の実施形態による車線検出部の動作を示す概念図である。

【図3】本発明の実施形態によるオブジェクト距離推定部を示す概念図である。

【図4】本発明の実施形態によるオブジェクト距離推定部を示す概念図である。

【図5】本発明の実施形態によるオブジェクト距離推定テーブルを示す概念図である。

【図6】本発明の実施形態による車線逸脱検出方法を示す概念図である。

【図7】本発明の実施形態による割り込み検出方法を示す概念図である。

【発明を実施するための形態】

【0019】

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は、当業者が本発明を充分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが相互排他的である必要はないということが理解されるべきである。例えば、本明細書に記載されている特定形状、構造および特性は、本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別構成要素の位置または配置も、本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味として行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと受け入れられるべきである。図面で類似する参照符号は多様な側面にわたって同一または類似する構成要素を示す。

【0020】

以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例に関して添付された図面を参照して詳細に説明することにする。

【0021】

以下、本発明の実施形態による運転者補助装置は、ドライブレコーダーだけでなく、車線検出に基づいて運転者を補助する様々な装置を含む意味と解釈することができる。

【0022】

図１は、本発明の実施形態による運転者補助装置を示す概念図である。

【0023】

図１においては、運転者の運転を補助するための運転者補助装置が開示される。

【0024】

図１を参照すると、運転者補助装置は、車線検出部１１０、オブジェクト距離推定部１２０、車線逸脱判断部１３０、割り込み判断部１４０、およびプロセッサ１５０を含み得る。

【0025】

車線検出部１１０は、車線検出のために実装できる。例えば、車線検出部１１０は、ＹＯＬＯなどの軽い人工知能モデルに基づいて車線検出を行い得る。車線検出部１１０は、映像内の全車線についての検出を行うことなく、車両が現在運行している車線のうち、車両に近接した臨界領域内の車線（以下、近接領域運行車線）についての検出のみを行い得る。

【0026】

オブジェクト距離推定部１２０は、オブジェクト距離を判断するために実装できる。オブジェクト距離推定部１２０は、近接領域運行車線に基づいて車線幅、消失点を決定し、決定された車線幅および消失点に基づいてオブジェクト距離を推定できる。車線幅および消失点に応じてオブジェクト距離を推定できるオブジェクト距離推定テーブルに基づいて、映像内に位置するオブジェクトの位置を推定できる。オブジェクト距離推定テーブルは、車線幅および消失点の位置に応じて、映像内の位置別推定距離についての情報を含み得る。

【0027】

車線逸脱判断部１３０は、近接領域運行車線と映像の中心についての情報に基づいて車線逸脱の可否を判断できる。近接領域運行車線に基づいて車線幅が決定され、車線の中心が決定され得る。もし、映像の中心が車線の中心を基準に特定の範囲から外れる場合、車線逸脱判断部１３０は、車両が車線を逸脱すると判断できる。

【0028】

割り込み判断部１４０は、他の車両の割り込みについての判断と、自身の車両の割り込みについての判断を行い得る。他の車両の割り込みについての判断は、オブジェクト距離推定部１２０のオブジェクト距離推定に基づいて、臨界距離内で車両が運行車線に入るか否かに基づいて行われ得る。自身の車両の割り込みについての判断は、車線逸脱判断部１３０の車線逸脱とオブジェクト距離推定部のオブジェクト距離推定に基づいて車線を逸脱し、臨界距離内に他の車両が存在するか否かに基づいて行われ得る。

【0029】

プロセッサ１５０は、車線検出部１１０、オブジェクト距離推定部１２０、車線逸脱判断部１３０、割り込み判断部１４０の動作を制御できる。

【0030】

図２は、本発明の実施形態による車線検出部の動作を示す概念図である。

【0031】

図２においては、車線検出部の車線検出動作を開示する。

【0032】

図２を参照すると、車線検出部は、全イメージ領域で車線についての検出を行うが、車両を基準に臨界距離内に位置する近接領域運行車線を検出することができる。

【0033】

ドライブレコーダーなどの利用可能なリソースが少ない運転者補助装置において、ＹＯＬＯに基づいて車線クラスを構成して近接領域運行車線のみを検出できる。

【0034】

図３は、本発明の実施形態によるオブジェクト距離推定部を示す概念図である。

【0035】

図３においては、オブジェクト距離推定部が車線幅および消失点を決定する方法を開示する。

【0036】

図３を参照すると、近接領域運行車線から抽出された車線検出情報に基づいて車線幅３００が取得され、車線を連結して消失点３５０が決定され得る。

【0037】

車線幅（ａ）３００は、イメージ上の車両イメージの下端点３１０と車線が出会う地点を連結して取得し得る。

【0038】

消失点３５０は、車線を連結して決定され得る。映像上の近接領域運行車線を直線で連結時に出会う地点が消失点３５０であり得る。消失点の高さは、全イメージ長さから車両イメージ下端点３１０の高さｃと車両イメージ下端点３１０と消失点３５０との間の長さｂを差し引いた値で決定され得る。

【0039】

また、消失点３５０は、車線幅３００についての情報および車両イメージの下端点３１０についての情報のみに基づいて推定され得る。車線幅３００および車両イメージの下端点３１０についての情報のみに基づいて消失点を推定できる消失点マッピングテーブルが存在し、消失点マッピングテーブルに基づいて消失点３５０が決定され得る。

【0040】

図４は、本発明の実施形態によるオブジェクト距離推定部を示す概念図である。

【0041】

図４においては、オブジェクト距離推定部がオブジェクト距離推定テーブルに基づいてオブジェクト距離を推定する方法を開示する。

【0042】

図４を参照すると、オブジェクト距離推定テーブル４５０は、車線幅４００および消失点４１０に基づいて映像内の特定の位置に位置するオブジェクトについての距離を推定するためのテーブルである。

【0043】

オブジェクト距離推定テーブル４５０は、車線幅４００および消失点４１０についての情報に基づいて、映像上に位置するオブジェクトまでの距離を推定するテーブルであり、互いに異なる中心を有する互いに異なる円に基づいて生成され得る。

【0044】

図５は、本発明の一実施形態によるオブジェクト距離推定テーブルを示す概念図である。

【0045】

図５においては、オブジェクト距離推定テーブルを生成する方法を開示する。

【0046】

図５を参照すると、オブジェクト距離推定テーブルは、第１タイプのオブジェクト距離推定テーブル５１０、第２タイプのオブジェクト距離推定テーブル５２０として生成されて選択的に活用され得る。

【0047】

第１タイプのオブジェクト距離推定テーブル５１０は、イメージ上座標に基づいてオブジェクト距離を決定するためのテーブルであり、第２タイプのオブジェクト距離推定テーブル５２０は、イメージ上分割された空間に基づいてオブジェクト距離を決定するためのテーブルである。

【0048】

（１）第１タイプのオブジェクト距離推定テーブル５１０
第１タイプのオブジェクト距離推定テーブル５１０は、同心円ベースの座標に基づいて距離についての推定が行われ得る。イメージ上で消失点５６０の位置消失点５６０の高さに応じて、距離別に異なる直径を有する同心円が配置され得る。このとき、同心円の直径は、相対的に車両に近いほど相対的に大きくなり得る。配置される同心円は、車両から離れるほど稠密になり得、同心円の密度は、消失点に応じて決定され得る。オブジェクトまでの距離は、同心円と同心円の各位置別座標に基づいて決定され得る。

【0049】

（２）第２タイプのオブジェクト距離推定テーブル５２０
車線幅および消失点が決定された場合、第２タイプのオブジェクト距離推定テーブル５２０は、イメージ上で消失点に基づいて空間を分割してオブジェクトの距離を推定するように生成され得る。距離を決定するために使用される空間は、距離決定空間５７０という用語で表現できる。

【0050】

相対的に近い距離の場合、相対的に広い面積の距離決定空間５７０が同じ距離と推定され、相対的に遠い距離の場合、相対的に狭い面積の距離決定空間が同じ距離と推定され得る。距離決定空間５７０の面積は、消失点５６０に基づいて決定され得る。

【0051】

また、車両イメージ下端点の中心と車両進行方向に基づいて決定された中心線５５０に近いほど、相対的に広い面積の距離決定空間５７０が同じ距離と推定され、相対的に遠い距離の場合、相対的に狭い面積の距離決定空間５７０が同じ距離と推定され得る。

【0052】

この点に基づいて、イメージは、互いに異なる面積の距離決定空間５７０に分割され、互いに異なる面積に対応する距離決定空間に距離についての情報がマッチングされる方式で第２タイプのオブジェクト距離推定テーブル５２０が生成され得る。

【0053】

本発明の実施形態によると、第１タイプのオブジェクト距離推定テーブル５１０と第２タイプのオブジェクト距離推定テーブル５２０は、選択的に使用または混合して使用できる。

【0054】

例えば、車両を基準とした近距離では、オブジェクトが相対的に大きいため、第２タイプのオブジェクト距離推定テーブル５２０に基づいて距離が推定され、車両を基準とした遠距離では、オブジェクトが相対的に小さいため、第１タイプのオブジェクト距離推定テーブル５１０に基づいて距離を推定できる。第１タイプのオブジェクト距離推定テーブル５１０と第２タイプのオブジェクト距離推定テーブル５２０が使用される範囲は、消失点５６０の高さに基づいて決定され得る。

【0055】

また他の例として、イメージ上のオブジェクトの密度に基づいてオブジェクトが臨界密度以上で相対的に多い場合、第２タイプのオブジェクト距離推定テーブル５２０が使用され、オブジェクトが臨界密度未満で相対的に少ない場合、第１タイプのオブジェクト距離推定テーブル５１０を使用できる。オブジェクトの密度が高い場合、第１タイプのオブジェクト推定テーブル５１０が使用されると、前のオブジェクトの干渉により後方のオブジェクトについての距離推定が困難になり得る。したがって、空間に基づくおおよその距離測定のために、第２タイプのオブジェクト距離推定テーブル５２０を使用できる。

【0056】

図６は、本発明の実施形態による車線逸脱検出方法を示す概念図である。

【0057】

図６においては、車線逸脱判断部で車線逸脱の可否を判断するための方法を開示する。

【0058】

図６を参照すると、車線逸脱判断部は、近接領域運行車線と映像の中心についての情報に基づいて車線逸脱の可否を判断できる。前述したように、近接領域運行車線に基づいて車線幅が決定され、車線中心が決定され得る。もし、映像中心６１０が車線中心６２０を基準に設定された逸脱範囲６３０を外れる場合、車線逸脱判断部は、車両が車線を逸脱すると判断できる。

【0059】

車両の場合、車線を変更するために車線を変更することもあり、このような場合は、正常な車線変更と判断して車線逸脱と判断しないこともある。

【0060】

車線の中心が逸脱範囲６３０を外れ、臨界時間内に右側車線が左側車線と認識されるか、または左側車線が右側車線と認識されながら映像中心６１０が車線中心６２０を基準に逸脱範囲６３０内に存在する場合、車線逸脱判断部は、正常な車線の変更と判断し、車線逸脱と判断しないことがある。

【0061】

車線逸脱部は、映像中心６１０が車線中心６２０を基準に逸脱範囲６３０を外れ、臨界時間が過ぎても映像中心６１０が車線中心６２０を基準に逸脱範囲６３０を外れている場合、車線逸脱判断部は、車線逸脱と判断できる。

【0062】

図７は、本発明の実施形態による割り込み検出方法を示す概念図である。

【0063】

図７においては、割り込み判断部で割り込みを判断するための方法を開示する。

【0064】

図７を参照すると、割り込み判断部は、他の車両の割り込みについての判断と、自身の車両の割り込みについての判断を行い得る。他の車両の割り込みについての判断は、オブジェクト距離推定部のオブジェクト距離推定に基づいて、臨界距離内で車両が運行車線に入るか否かに基づいて行い得る。

【0065】

自身の車両の割り込みについての判断は、車線逸脱判断部の車線逸脱とオブジェクト距離推定部のオブジェクト距離推定に基づいて車線を逸脱し、臨界距離内に他の車両が存在するか否かに基づいて行い得る。

【0066】

（１）他の車両の割り込み判断
他の車両の割り込み判断のために、前述したオブジェクト距離推定テーブルに基づいて臨界距離内で臨界時間区間内に認識される場合である。すなわち、オブジェクト距離テーブルに基づいてオブジェクトについての距離認識時に第１臨界距離内で第１臨界時間区間内にオブジェクトが認識される場合、他の車両の割り込みと判断できる。

【0067】

本発明の実施形態によると、臨界距離は、第２タイプのオブジェクト距離推定テーブルに基づいて特定の距離決定空間内に位置する場合である。第１臨界距離は、割り込みと判断される特定の距離決定空間についての選択によって適応的に決定され得る。

【0068】

（２）自身の車両の割り込み判断
自身の車両の割り込みについての判断は、車線逸脱判断部の車線逸脱とオブジェクト距離推定部のオブジェクト距離推定に基づいて車線の逸脱後に、第２臨界距離内に他の車両が存在するか否かに基づいて行われ得る。

【0069】

同様に、本発明の実施形態によると、第２臨界距離は、第２タイプのオブジェクト距離推定テーブルに基づいて特定の距離決定空間内に位置する場合である。第２臨界距離は、割り込みと判断される特定の距離決定空間についての選択によって適応的に決定され得る。

【0070】

以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となっている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同一である。

【0071】

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であれば、このような記載から多様な修正と変更を試みることができる。

【0072】

したがって、本発明の思想は前記説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属するものと言える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】