特開 2024-86561 多次元的に車両の運転形態を感知する電子装置及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024086561

(43)【公開日】2024-06-27

(54)【発明の名称】多次元的に車両の運転形態を感知する電子装置及びその方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240620BHJP

   B60W 40/02 20060101ALI20240620BHJP

   B60W 40/10 20120101ALI20240620BHJP

   G08G 1/09 20060101ALI20240620BHJP

   G01C 21/30 20060101ALI20240620BHJP

【ＦＩ】

G08G1/16 C

B60W40/02

B60W40/10

G08G1/09 D

G01C21/30

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023147837

(22)【出願日】2023-09-12

(31)【優先権主張番号】10-2022-0175499

(32)【優先日】2022-12-15

(33)【優先権主張国・地域又は機関】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】523349387

【氏名又は名称】シタス カンパニー リミテッド

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】イ、ギュ ヨン

(72)【発明者】

【氏名】キム、ジン フン

(72)【発明者】

【氏名】キム、ボ エ

(72)【発明者】

【氏名】イ、ジュン ピョ

【テーマコード（参考）】

2F129

3D241

5H181

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129BB22

2F129BB26

2F129BB33

2F129BB49

2F129BB66

2F129GG17

2F129GG18

2F129HH02

2F129HH12

3D241BA31

3D241CE04

3D241CE05

3D241CE08

3D241DB01Z

3D241DC35Z

3D241DC36Z

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181CC24

5H181FF04

5H181FF05

5H181FF07

5H181LL01

5H181LL02

5H181LL04

5H181MB02

(57)【要約】

【課題】車両の運転形態を感知する電子装置及び方法を提供すること。
【解決手段】車両に搭載され、多次元的に車両の運転形態を感知する電子装置において、前記車両の走行情報を取得するセンサ部；前記走行情報中、カメラによって取得される映像から前記車両周辺の客体を含む客体領域を識別し、デイープラーニング基盤で前記客体領域と前記走行情報を組み合わせて運転時、発生可能な危険状況を判断する道路映像分析部；前記走行情報のうち、GPS装置から取得した車両位置情報と GISマップデータ間のマップマッチング (map matching) 可否にに基づいて前記危険状況を判断する移動経路分析部；を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両に搭載され、 多次元的に車両の運転形態を感知する電子装置において、
前記車両の走行情報を取得するセンサ部；
前記走行情報のうち、カメラによって取得される映像から前記車両周辺の客体を含む客体領域を識別し、デイープラーニングに基づいて前記客体領域と前記走行情報を組み合わせて走行時に発生可能な危険状況を判断する道路映像分析部；
前記走行情報のうち、GPS装置から得られた車両の位置情報とGIS地図データ間のママップマッチング(map matching) 可否に基づいて前記危険状況を判断する移動経路分析部；を含む
ことを特徴とする電子装置。

【請求項2】

前記位置情報と走行情報のうち、加速度センサ及びジャイロセンサの中、少なくとも一つから得られた前記車両の動き情報を用いて前記車両が走行しているか可否を識別し、前記車両が走行している間にタイマを作動させて前記車両の走行時間を識別する走行時間分析部を含む
請求項１に記載の電子装置。

【請求項3】

前記走行時間分析部は、
前記車両が停車している場合、前記タイマーを一時停止して走行時間を識別する
請求項２に記載の電子装置。

【請求項4】

前記道路映像分析部は、
前記客体領域と前記走行情報のうち、加速度センサ及び前記ジャイロセンサの中、少なくとも一つから得られた前記車両の動き情報を組合する
請求項１に記載の電子装置。

【請求項5】

前記移動経路分析は
前記位置情報を用いて、前記車両の移動経路を識別し、
前記走行経路とGIS地図データに含まれた複数の道路リンクとの間のマップマッチングを行い、
マップマッチングが行われた 少なくとも1つ道路リンクが存在するのかの可否によって車両が車両用道路を走行しているのかの可否を識別する
請求項１に記載の電子装置。

【請求項6】

前記移動経路分析は
前記マップマッチングが行われた少なくとも1つの道路リンクが存在する場合、
前記車両が車両用道路を走行することと識別し、
前記少なくとも1つの道路リンクの情報と前記走行情報を比較して前記危険状況を
判断する
請求項５に記載の電子装置。

【請求項7】

前記移動経路分析は、
前記マップマッチングが行われた少なくとも1つの道路リンクが存在しない場合、
前記車両が車両用道路から外れて走行していることを識別し、
前記GIS地図データと前記位置情報を用いて、前記車両の禁止区域走行可否を判断する
請求項５に記載の電子装置。

【請求項8】

移動経路解析部は、
前記GIS地図データ上、車両周辺のポリゴン地物を検索し、
前記ポリゴン地物の情報と位置情報を用いて、前記車両の禁止区域走行可否を判断する
請求項７に記載の電子装置。

【請求項9】

電子装置によって行われる多次元的に車両運転形態を感知する方法において、
車両の走行情報中、カメラによって取得される映像から前記車両周辺の客体を含む客体領域を識別し、デイープラーニングに基づいて前記客体領域と前記走行情報を組み合わせて、道路映像分析に従う危険状況を判断する段階；
前記走行運情報中、GPS装置から取得した車両の位置情報とGIS地図データ間のマップマッチング(map matching) 可否に基づいて、移動経路分析に従う危険状況を判断する段階；を含む
ことを特徴とする方法。

【請求項10】

前記位置情報と前記走行情報のうち、加速度センサ及びジャイロセンサの中、少なくとも一つから得られた前記車両の動き情報用いて前記車両が走行しているかの可否を識別し、前記車両が走行している間、タイマを動作させて前記車両の走行時間を識別する段階を含む
請求項９に記載の方法。

【請求項11】

前記車両の走行時間を識別する段階は、
前記車両が停車中である場合、前記タイマーを一時停止して前記走行時間を識別する段階を含む
請求項１０に記載の方法。

【請求項12】

前記道路映像分析に従う危険状況を判断する段階は、
前記客体領域と前記走行情報のうち、加速度センサ及びジャイロセンサの中、少なくとも一つから得られた前記車両の動き情報を組み合わせる
請求項９に記載の方法。

【請求項13】

前記移動経路解析に従う危険状況を判断する段階は、
前記位置情報を用いて前記車両の移動経路を識別する段階；
前記移動経路と前記GIS地図データに含まれた複数の道路リンク間のマップマッチングを行う段階；
マップマッチングが行われた少なくとも1つの道路リンクが存在するのかの可否によって前記車両が車両用道路を走行しているかの可否を識別する段階；を含む
請求項９に記載の方法。

【請求項14】

前記車両が車両用道路を走行しているのか可否を識別する段階は、
前記マップマッチングが行われた少なくとも1つの道路リンクが存在する場合、
前記車両が車両用道路を走行していると識別する段階；
前記少なくとも1つの道路リンクの情報と前記走行情報を比較して前記危険状況を判断する段階；を含む
請求項１３に記載の方法。

【請求項15】

前記車両が車両用道路を走行しているのかの可否を識別する段階は、
前記マップマッチングが行われた少なくとも1つの道路リンクが存在しない場合、
前記車両が車両用道路から外れて走行することと識別する段階；
前記GIS地図データと前記位置情報を用いて、前記車両の禁止区域走行可否を判断する段階；を含む
請求項１３に記載の方法。

【請求項16】

前記車両の禁止区域走行可否を判断する段階は、
前記GISマップデータ上、車両周囲のポリゴン地物を検索する段階；
前記ポリゴン地物の情報と位置情報を用いて、前記車両の禁止区域走行可否を判断する段階；を含む
請求項１５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転形態を感知する電子装置及び方法に関する。

【背景技術】

【0002】

配達業界の拡大で、二輪車の増加だけでなく、単身世帯の増加や環境にやさしい車の補給拡大に従って、2021年末基準、国内の累計車両台数は2,400万台を突破するようになった。

【0003】

累計車両数の増加とともに、交通渋滞や交通事故も増加しており、運転者や 制御システムのシステムが交通渋滞に備え、走行中の危険状況を感知して交通事故を防止するためのシステムが求められている。

【0004】

既存には、交通状況を分析するために、スマートフォンまたはDTG(Digital Tacho Graph)装置を使用して、車両の移動パターンを収集して把握してきた。

【0005】

しかしながら、スマートフォンやDTG装置では走行中の道路の特性が把握できず、信号機や歩行者等の車両の周辺環境を反映できないため、実質的な車両運転形態を感知するのが難しい問題点がある。

【0006】

一方、安全運転義務違反、信号違反などの車両交通事故の原因を感知するためには、これらの道路の特性や車両の周辺環境を反映することが必須なので 、様々な運転形態を把握し、車両運行データ収集システムを高度化できる技術が求められている。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、多次元的に車両の運転形態を感知する電子装置及びその方法を提供することである。

【0008】

本発明の目的は、様々な運転形態を把握し、車両運行データ収集システムを高度化できる電子装置及び方法を提供することである。

【課題を解決するための手段】

【0009】

本発明の実施例によれば、車両に装着され多次元的に車両運転形態を感知する電子装置において、前記車両の走行情報を取得するセンサー部；前記の走行情報中、カメラによって取得される映像から前記車両周りの客体を含める客体領域を識別し、ディープラーニングに基づいて前記客体領域と走行情報を組み合わせて走行時、発生可能な危険状況を判断する道路映像分析部；前記走行情報中、GPS装置から取得した車両の位置情報とGISマップデータ間のマップマッチング可否に基づいて前記危険状況を判断する移動経路分析部；を含める。

【0010】

前記電子装置は、前記位置情報と前記走行情報のうち、加速度センサ及びジャイロセンサ中、少なくとも一つのセンサーから得られた前記車両の動き情報を利用して前記車両が走行可否を識別し、前記車両が走行する間タイマを動作させ前記車両の走行時間を識別する走行時間分析部をさらに含む。

【0011】

前記走行時間分析部は、前記車両が停車中の場合、前記タイマーを一時停止して走行時間を識別できる。

【0012】

前記道路映像分析部は、前記客体領域と走行情報の中、加速度センサ及びジャイロセンサ中、少なくとも一つから得られた車両の動き情報を組合える。

【0013】

前記移動経路分析部は、前記位置情報を用いて車両の移動経路を識別し、移動経路とGIS地図データに含まれた複数の道路リンク間、マップマッチングを実行し、マップマッチングが実行された少なくとも1つの道路リンクが存在するのかの可否に従って車両が車両用道路を走行しているのか可否を識別できる。

【0014】

前記道路映像分析部は、マップマッチングが行われた少なくとも1つの道路リンクが存在する場合、車両が車両道路を走行していることと識別し、少なくとも1つの道路リンクの情報と走行情報を比較して危険状況を判断できる。

【0015】

前記移動経路分析部は、前記マップマッチングが行われた少なくとも1つの道路リンクが存在しない場合、前記車両が車両用道路から外れて走行することと識別し、前記GIS地図データと前記位置情報を用いて、前記車両の禁止区域走行可否を判断できる。

【0016】

前記移動経路分析部は、前記GISマップデータ上、車両周辺のポールリゴン地物を検索し、前記ポリゴン地物の情報と位置情報とを用いて前記車両が禁止区域走行可否を判断できる。

【0017】

本発明の実施例に従う電子装置によって行われる多次元的に車両の運転形態を感知する方法において、車両の走行情報中、カメラよって取得した映像から、前記車両周辺の客体を含む客体領域を識別し、デイープラーニングに基づいて客体領域と前記走行情報を組合して、道路映像分析に従って危険状況を判断する段階；前記走行情報中、GPS装置から得られた車両の位置情報とGIS地図データ間のマップマッチング（Map Matching）可否に基づき、移動経路分析に従う危険状況を判断する段階を含む。

【0018】

前記方法は前記位置情報及び前記走行情報のうち、加速度センサ及びジャイロセンサ中、少なくとも一つから得られる前記車両の動き情報を用いて、前記車両が走行しているか可否を識別し、前記車両が走行している間タイマを動作させて、前記車両の走行時間を識別する段階をさらに含む。

【0019】

前記車両の走行時間を識別する段階は、前記車両が停車中の場合、前記タイマーを一時静止して前記走行時間を識別する段階を含めることができる。

【0020】

前記道路映像分析に従う危険状況を判断する段階は、前記客体領域と前記走行情報中、加速度センサ及びジャイロセンサの少なくとも一つから得られる前記車両の動き情報を組合する段階を含めることができる。

【0021】

前記移動経路分析に従う危険状況を判断する段階は、前記位置情報を用いて前記車両の移動経路を識別する段階；前記移動経路と前記GIS地図データに含まれた複数の道路リンクとの間のマップマッチングが行う段階；マップマッチングが実行された少なくとも1つの道路リンクが存在するのかの可否に従って前記車両が車両用道路を走行するのかの可否を識別する段階を含めることができる。

【0022】

前記車両が車両用道路を走行しているかの可否を識別する段階、前記マップマッチングが行われた少なくとも1つの道路リンクが存在する場合、前記車両が車両用道路を走行していることと識別する段階；前記少なくとも1つ道路リンクの情報と前記走行情報を比較して前記危険状況を判断する段階を含めることができる。

【0023】

前記車両が車両用道路を走行しているのか可否を判断する段階は、前記マップマッチングが行われた少なくとも1つの道路リンクが存在しない場合、前記車両が車両用道路から外れて走行していることと識別する段階；前記GIS地図データと位置情報を用いて、前記車両の禁止区域走行可否を判断する段階を含めることができる。

【0024】

前記車両の禁止区域走行可否を判断する段階は、前記GIS地図データ上、の車両周囲のポリゴン地物を検索する段階；前記ポリゴン地物の情報と前記位置情報とを用いて、前記車両の禁止区域走行可否を判断する段階を含めることができる。

【発明の効果】

【0025】

本発明の実施例によれば、多様なセンサから得られた情報、GIS地図データと人工知能技術を活用して多次元的に道路映像を分析でき、道路上走行上、車両運転者の形態を精密で迅速に把握することができる。

【0026】

本発明の実施例によれば、多次元的に移動経路上の危険状況と運転者の走行時間が分析でき、車両運転者の過度な走行時間などの運転形態を精密で迅速に把握することができる。

【0027】

本発明の実施例によれば、判断結果をユーザ端末に伝送することで事故を未然に防止でき、管制システムに伝送することで交通管理を行い、罰金、罰点賦課などを自動化して人力及びこの他の諸般費用節減を図られる。

【図面の簡単な説明】

【0028】

【図1】本発明の実施例えに従う車両運転形態感知システムの構成を示す概略図である。

【図2】本発明の実施例に従う電子装置の構成を示すブロック図である。

【図3】本発明の第１実施例に従う電子装置の動作フロー図を示す図である。

【図4】本発明の実施例に従う客体領域の識別を示す図である。

【図5】本発明の第２実施例に従う電子装置の動作フロー図を示す図である。

【図6】本発明の第３実施例に従う電子装置の動作フロー図を示す図である。

【発明を実施するための形態】

【0029】

以下、本発明に従う望ましい実施形態を添付図面を参照しながら詳細に説明する。添付の図面と共に以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとすることであり、本発明が実施できる唯一の実施形態を表すことを意図するものではない。図面で本発明を明確に説明するために、説明と関係ない部分は省略でき、明細書全体を通して同一または類似な構成要素について同一な参照符号を使える。また、本発明の実施例で第1、第2等の序数を含む用語は、ある構成要素を他の構成要素と区別する目的でのみ用いられ、単数形の表現は、文脈上明確に異なる意味ではない限り、複数の表現を含める。

【0030】

図1は、本発明の実施例に従う車両運転形態感知システムの構成を示す概略図である。

【0031】

図1を参照すると、車両運転形態感知システム(以下、システムという)電子装置（100）、ユーザ端末（200）、管制システム（300）を含む。

【0032】

本発明の実施例によれば、電子装置（100）は、車両（10）に搭載され、多次元的に車両の運転形態を感知する装置で車両（10）を走行時に発生する走行情報を取得して危険状況を判断する。

【0033】

このとき、走行情報は、電子装置（100）に内蔵されたセンサ、車両（10）に搭載されたセンサなどの多様なセンサから収集されるか、収集された情報を分析して得られる情報などを総称する。

【0034】

本発明の実施例によれば、ユーザ端末（200）は、車両（10）の運転者及び／または同乗者が利用する端末で、スマートフォン、ラップトップ、タブレットPCなどで具現できる。

【0035】

本発明の実施例によれば、管制システム（300）は、交通統制のため道路交通状況をモニタリングするシステムで、コンピュータ、サーバ等で具現できる。

【0036】

本発明の実施例によれば、電子装置（100）は、様々な経路を通じて得られた走行情報を用いて、分析結果をユーザ端末（200）および/または管制システム（300）に通知できる。

【0037】

道路上の危険状況を判断する場合、より高度化された状況分析のためには車両の走行特性だけでなく、道路の特性および道路上の様々な客体などの周辺環境も多角的に反映するのが最も重要だ。

【0038】

従って、本発明では、車両周辺の道路映像と車両の移動経路を分析して危険状況を判断し、多次元的に車両運転形態を感知する電子装置及び方法を提案する。

【0039】

以下、図面などを参照して本発明の実施例に従う電子装置（100）の構成及び動作について、具体的に説明する。

【0040】

図 2は、本発明の実施例に従う電子装置の構成を示すブロック図である。

【0041】

本発明の実施例に従う電子装置（100）は、入力部（110０と、通信部（120）と、表示部（130）と、貯蔵部（140）と、センサ部（150）と、プロセッサ（160）とを含む。

【0042】

入力部（110）は、電子装置（100）のユーザ入力に応じて入力データを生成させる。例えば、ユーザ入力は、電子装置（100）の動作を開始/終了させるユーザ入力であって、この以外にも、道路交通状況の分析に必要なユーザ入力の場合、制限しなくて適用可能だ。

【0043】

入力部（110）は、少なくとも1つの入力手段を含む。入力部(110)は、電源ボタン、キーボード（key board）、キーパッド（key pad）、ドームスイッチ(dome switch)、タッチパネル(touch panel)、タッチキー(touch key)、マウス(mouse)、メニューボタン(menu button)等を含むことができる。

【0044】

通信部（120）は、電子装置（100）の各構成要素間の内部通信を行い、危険状況を判断するための走行情報、判定結果を含む情報などをを送受信するため車両（10）に装着されたセンサー、使用者端末（200）、管制システム（300）等、外部装置との通信を行う。

【0045】

これをために、通信部（120）は、5G(5th generation communication)、LTE-A(long term evolution-advanced)、LTE(long term evolution)、Wi-Fi(wireless fidelity)、Bluetoothなどの無線通信あるいはCAN(Controller Area Network)、LIN(Local Interconnect Network)、電力線通信などの有線通信を実行できる。

【0046】

表示部（130）は、電子装置（100）の動作に応じて表示データを表示する。 表示部（130）は道路映像を分析した情報を表示する画面、危険状況を判断した結果情報を表示する画面、使用者入力を受信する画面などを表示できる。

【0047】

表示部 （130）は、液晶ディスプレイ (LCD；liquid crystal display)、発光ダイオード (LED；light emitting diode) ディスプレイ、有機発光ダイオード LED (OLED； organic LED) ディスプレイ、マイクロ電気機械システム (MEMS； micro electro mechanical systems) ディスプレイ、および電子ペーパー（ electronic paper）ディスプレイを含む。表示部（130）は、入力部（110）と結合され、タッチスクリーン（ touch screen）で具現できる。

【0048】

貯蔵部（140）は、電子装置（100）の動作プログラムを貯蔵する。貯蔵部（140）は、電源の提供有無にかかわらずデータ(情報)を保存できる不揮発性属性のストレージ（ storage）と、プロセッサ（160）により処理されるためのデータがローディングされ、電源が供給されないとデータを保存できない揮発性属性のメモリ（ memory)を含む。ストレージには、フラッシュメモリ (flash-memory),HDD (hard-disc drive)、SSD (solid-state drive) 、ROM (Read Only Memory)などがあり、メモリにはバッファ (buffer)、RAM （Random Access Memory)などがある。

【0049】

貯蔵部（140）は、センサ部（150）から取得した走行情報、危険状況判断結果情報、GISマップデータ、危険状況を判断する過程で利用されるデイープラーニングモデルなどを貯蔵できる。貯蔵部（140）は、道路映像分析、移動経路分析、走行時間分析、危険状況判断過程で必要な演算プログラムなどを貯蔵できる。

【0050】

センサ部（150）は、車両の走行時に発生する走行情報を取得する構成で カメラ（151）、GPS装置（152）、加速度センサ/ジャイロセンサ（153）を含む。この際、センサ部（150）の構成は、電子装置（100）に内蔵される必要はないし、電子装置（100）と有無線連結で通信が可能な構成で足りる。

【0051】

カメラ（151）は、車両の周囲を撮影する装置で、車両の前／後方、側面に装着されられる。この際、カメラ（151）の設置個数、位置は本発明を限定しない。

【0052】

GPS装置（152）は、衛星航法システム (Global Navigation Satellite System) 上の衛星から衛星信号を受信する装置で、受信した衛星信号を用いて車両の位置情報を取得できる。

【0053】

加速度センサ/ジャイロセンサ （153）は、各各車両の加速度を測定することができるセンサで、センサ部（150）は、加速度センサ及びジャイロセンサのうち少なくとも1つのセンサを含むとこができる。加速度センサ/ジャイロセンサ（153）を通して車両の動き情報を取得できる。

【0054】

センサ部（150０は、 上述のセンサ以外のも、LiDAR、レーダ(RaDAR)、ヨーレートセンサ (yaw rate sensor)、温度センサ、電流センサなどの様々なセンサを含むことができる。

【0055】

プロセッサ（160）は、プログラムなどのソフトウェアを実行して電子装置（100）の少なくとも1つの異なる構成要素(例；ハードウェアまたはソフトウェアコ構成要素)を制御できて、様々なデータ処理または演算を実行できる。

【0056】

本発明の実施例に従うプロセッサ（160）は、大きく道路映像分析部（161）、走行経路分析部（162）、走行時間分析部（163）を含むことができる。この際、各分析部は別途のハードウェアに分離され具現できるが、これに限定ず、1つのプロセッサで具現されるがお互いに異なる機能を実行することに分離して記載してもよい。

【0057】

本発明の実施例に従う道路映像分析部（161）は、走行情報中にカメラ（151）によって取得される映像から車両周辺の客体を含む客体領域を識別し、ディープラーニングに基づいて客体領域と走行情報を組合して、走行時に発生可能な危険状況を判断する。

【0058】

本発明の実施例に従う移動経路分析部（162）は、走行情報中にGPS装置（152）から取得した 車両の位置情報とGIS地図データ間のマップマッチング (map matching) 可否に基づいて危険状況を判断する。

【0059】

本発明の実施例に従う走行時間分析部（163）は、車両の位置情報と走行情報のうち、加速度センサ及びジャイロセンサの少なくとも一つから得られた車両の動き情報を用いて、車両が走行しているか可否を識別し、 車両が走行する間にタイマーを動作させて車両の走行時間を識別する。

【0060】

一方、プロセッサ（160）は、前記の動作を実行するためのデータ分析、処理及び結果情報生成の中、少なくとも一部を規則基盤または人工知能(Artificial Intelligence) アルゴリズムとして機械学習、神経網ネットワーク(neural network) またはデイープラーニングアルゴリズムのうち、少なくとも１つを用いて実行できる。 神経網ネットワーク(neural network) の例えとしてはCNN（Convolutional Neural Network)、DNN(Deep Neural Network)、RN(Recurrent Neural Network)のようなモデルが含むことができる。

【0061】

図3は、本発明の第1実施例に従う電子装置の動作フロー図を示す図面である。

【0062】

図3では道路映像分析部（161）の動作に関して具体的に説明する。

【0063】

本発明の一実施例によれば、道路映像分析部（161）は、カメラ（151）によって取得された映像から車両周辺の客体を含む客体領域を識別する(S310)。

【0064】

この際、車両周囲の客体は、該当車両の周辺車両、歩行者、信号機、交通標識 (速度標識、U ターン標識、非保護左折標識等)、車線 (中央線、黄色車線、白色車線) 等を含むことができる。

【0065】

本発明において、客体領域を識別することは、客体その自体を含む領域を識別することだけでなく、客体が表示する内容を識別することも含む。例えば、信号機を含む客体領域を識別する場合、信号機が緑か、オレンジか、または赤なのか、可否を識別することを含む。別の例は、速度標識の場合、速度標識に示されている制限速度が30であるか50であるかなどを識別することも含む。

【0066】

客体領域を識別の一例および客体領域識別に関する具体的な内容は図4を参照して説明する。

【0067】

道路映像分析部（161）は、客体領域を識別するためカメラ（151）からリアルタイムで映像を受信できる。

【0068】

本発明の実施例によれば、道路映像分析部（161）は、デイープラーニングベースで客体領域と走行情報を組合して走行時に発生可能な危険状況を判断する(S320)。

【0069】

本発明の実施例によれば、走行情報は、カメラ（151）によって得られた映像、GPS装置（152）から得られた車両の位置情報、加速度センサおよびジャイロセンサ（153）のうちの少なくとも1つから得られた車両の動き情報を含む。車両の動き情報とは、車両の加速度及び/又は各加速度その自体でありえる、これを用いて計算された車両の速度、車両が走行可否、車両の急加速可否などを含むことができる。

【0070】

以上のように、各種走行情報を用いて危険状況を総合的に判断する必要があり、道路映像分析部（161）は、デイープラーニングモデルのような人工知能技術を用いて危険状況を判断できる。この際、危険状況は、該当車両の交通法規違反状況、客体との衝突状況など、走行中に発生可能な状況を総称する。

【0071】

本発明の実施例によれば、道路映像分析部（161）は、信号違反、中央線違反、安全距離未確保、客体衝突など多様な危険状況の発生可否を識別した判断結果を得られる(S330)。この際、危険状況はこれに限定されず、複数の危険状況が同時に発生する可能性がある。以下、各状況別の識別過程に対して具体的に説明する。

【0072】

信号違反の場合、道路映像分析部（161）は赤信号を含めた客体領域を識別して、車両の動き情報を通じて車両が走行でいることを識別した場合、その情報を組合して該当車両が信号を違反したと判断する。

【0073】

中央線侵犯の場合、 道路映像分析部（161）中央線を含む客体領域を識別し、車両動き情報を通じて車両の速度、車両の移動方向などを識別し、情報を組み合わせて中央線侵犯可否を判断する。この際、道路映像分析部（161）は、車両動き情報だけでなく、カメラ（151）から取得した映像を通じて車両の移動方向を識別できる。

【0074】

客体衝突の場合、道路映像分析部（161）は、歩行者を含む客体領域を識別し、車両動き情報を通じて車両の速度、歩行者との距離などを識別し、その情報を組み合わせて歩行者との衝突可能性を判断する。

【0075】

安全距離を未確保の場合、道路映像分析部（161）は、車両の前方に位置する他車両を含む客体領域を識別し、車両動き情報を通じて、車両の速度、前方車両との距離等を識別し、 安全距離を未確保の可否を判断できる。

【0076】

本発明の実施例によれば、多様なセンサと人工知能技術を活用して多次元的に道路映像を分析することができ、道路走行上の車両運転者の挙動を正確で迅速に把握できる。

【0077】

また、識別結果をユ使用者端末（200）に送信することで事故を防止でき、管制システム（300）に送信することで交通管理を行い、罰金、罰点付加などを自動化して、人力及び諸般費用の節減を図られる。

【0078】

図4は、本発明の実施例による客体領域の識別を示す図面である。

【0079】

図4では、図3のS310に関して上述したように映像から客体領域を識別した例を示す。

【0080】

本発明の実施例によれば、道路映像分析部（161）は、映像内で認識される全ての客体についてボックスマークを付けて客体領域を識別し、各客体領域の座標、領域の幅/縦の長さなどを貯蔵できる。この際、道路映像分析部（161）は、映像内の客体を検出するように学習されたデイープラーニングモデルを利用できる。

【0081】

道路映像分析部（161）は、検出された客体領域内で一定角度(例；15°)毎に線の視点、距離、反対角を計算してポリライン (polyline)を検出し、該当ポリラインを車線として認識できる。

【0082】

図4の映像（400）は、車両走行中、カメラ（151）によって撮影された映像の静止画面である。

【0083】

本発明の実施例によれば、道路映像分析部（161）は、映像（40）で橙色の信号 (Traffic light_yellow) 、中央線（center_lane）、白い点 その後、道路映像分析部（161）は、車両の動き情報、位置情報などの走行情報を用いて、信号違反、中央線侵犯、安全距離未確保、客体衝突などの危険状況を判断できる。

【0084】

図5は、本発明の第２実施例に従う電子装置の動作フロー図を示す図面である。

【0085】

図5では、移動経路分析部（162）の動作に関して具体的に説明する。この際、重複する内容については図3を参照して説明した説明を借用し、具体的な説明は省略する。

【0086】

本発明の実施例によれば、移動経路分析部（162）は、走行情報中にGPS装置（152）から取得した車両の位置情報を用いて車両の移動経路を識別する(S510)。

【0087】

この際、移動経路分析部（162）は、一定な時間間隔ことにGPS装置（152）から車両の位置情報を受信できるし、受信された位置を連結して移動経路を識別できる。

【0088】

本発明の実施例によれば、移動経路分析部（162）は、移動経路とGIS地図データに含まれた複数の道路リンク間の地図マッチング(map matching)を行う(S520)。

【0089】

マップマッチングは、車両の移動経路をGIS地図データに含まれた道路リンクとマッチングする作業を意味する。道路リンクとは、車両が道路を走行している際にノードとノードを連結した線、つまり実際の道路に対応するデータを意味する。ノードは速度の変化が生じる地点であり、例えば、交差点、分岐点、道路終点、トンネル終点などを含む。

【0090】

移動経路分析部（162）は、演算速度向上などのためGIS地図データのうち、車両の現在位置のある一定半径以内のノードと道路リンクなどで構成された地図データの一部を抽出できる。

【0091】

本発明の実施例によれば、移動経路分析部（162）は、マップマッチングが行われた少なくとも1つの道路リンクが存在するのかの可否を識別できる(S530)。

【0092】

マップマッチングは、常に実行されることではなく、車両の走行経路とマッチングする道路リンクが存在する場合に実行できる。従って、車両の移動経路とマッチングする道路リンクがない場合が発生できる。たとえば、車両が車両用道路を走行しない場合、車両の移動経路とマッチングする道路リンクが存在しない可能性がある。

【0093】

本発明の実施例によれば、 移動経路分析部（162）はマップマッチングが行われた少なくとも1つの道路リンクがある場合(S530のYes)、車両が車両用の道路を走行していることと識別し、車両の移動経路とマッチングされた少なくとも1つの道路リンクの情報と走行情報を比較して危険状況を判断する(S540)。

【0094】

各道路リンクは、道路リンクに対応する道路上の制限速度、通行方向、一方通行可否などの情報(道路リンクの情報)を含むことができる。

【0095】

したがって、移動経路分析部（162）は、走行情報から識別した車両の速度が道路上の制限速度を超えた場合、車両が加速走行していると判断できる。

【0096】

あるいは、移動経路分析部（162）は、走行情報から識別した車両の移動方向が道路リンクの情報上の交通方向と反対である場合、車両が逆走行していると判断できる。

【0097】

一方、移動経路分析部（162）は、マップマッチングが行われた少なくとも1つの道路とのリンクが存在ない場合(S530の No)、車両が車両用道路から外れて走行していることと識別できる。

【0098】

従って、移動経路分析部（162）は、GIS地図データと位置情報を用いて、車両が禁止区域走行可否を判断する(S550)。

【0099】

具体的に移動経路分析部（162）は、GIS地図データ上、車両周辺のポリゴン地物を検索できる。ポリゴン地物は建物、公園、歩道などを多角形の群集でGIS地図データ上に形象化したものだ。

【0100】

移動経路分析部（162）は、ポリゴン地物の情報と車両の位置情報とを用いて、車両が禁止区域走行可否を判断できる。ポリゴン 地物の情報は該当ポリゴン 地物の種類及び禁止区域可否などを含めることができる。

【0101】

例えば、移動経路分析部（162）は、車両の位置情報と周辺に位置したことで検索されたポリゴン地物の情報に従って、車両が歩道を走行していることを識別できる。したがって、移動経路分析部（162）は、車両が禁止区域を走行していると判断できる。

【0102】

以上のように、移動経路分析部（162）は、加速、逆走行、禁止区域走行など多様な種危険状況の発生可否を識別した判断結果を得られる(S560)。この際、危険状況はこれに限定されず、複数の危険状況が同時に発生する可能性がある。

【0103】

本発明の実施例えによれば、多様なセンサから取得した情報、GIS地図データなどと人工知能技術を活用して多次元的に 移動経路上の危険状況を分析できるし、車両運転者の形態を精密で、迅速に把握することができる。

【0104】

図6は、本発明の第３実施例に従う電子装置の動作フロー図を示す図面である。

【0105】

図6では、走行時間分析部（163）の動作について具体的に説明する。この際、重複する内容については図3及び図5を参照して叙述した説明を借用し、具体的な説明は省略する。

【0106】

本発明の実施例によれば、走行時間分析部（163）は、車両の位置情報及び動き情報を識別する(S610)。

【0107】

本発明の実施例によれば、走行時間分析部（163）は、識別した位置情報及び動き情報を用いて、車両が走行しているのか可否を識別する(S620)。

【0108】

例えば、走行時間分析部（163）は、車両が道路(車両用道路)上にあり、車速がゼロではない場合、車両を走行中であると識別する。

【0109】

本発明の実施例によれば、車両が走行している場合 (S620のYes)、走行時間分析部（163）は、車両が走行している間、タイマを動作させる(S630)。

【0110】

この場合、走行時間分析部（163）は、またS610に戻り、車両が走行しているか可否を継続的に確認し、車両走行時間を識別する。

【0111】

本発明の実施例によれば、車両が走行していない場合(S620のNo.)、走行時間分析部（163）は、車両が運転を終了したのかを識別する(S640)。

【0112】

例えば、走行時間分析部（163）は、車両が 道路上にあるが車両の速度がゼロである場合、映像を通じて信号を待機しているのか確認できる。車両が信号待機 中の場合、車両の運行が終了していないことを識別できる。

【0113】

本発明の実施例によれば、車両の運行が終了していない場合(S640のNo.)、走行時間分析部（163）はタイマを一時停止する(S650)。

【0114】

この場合、走行時間分析部（163）は、またS610に戻り、車両が走行しているか可否を継続的に確認して、車両走行時間を識別する。

【0115】

一方、例えば、車両が駐車場にあり、一定時間経過しても車両の動きが感知されない場合、運行を終了したこのと識別する。

【0116】

本発明の実施例によれば、車両の運行が終了された場合(S640のYes)、走行時間分析部（163）は、車両の走行時間を識別する(S660)。

【0117】

本発明の実施例によれば、多様なセンサから取得した情報と人工知能技術を活用して多次元的に運転者の走行時間を分析できるし、車両運転者の過度な走行時間などの運転形態を精密で迅速に把握できる。

【符号の説明】

【0118】

100: 電子装置
110: 入力部
120: 通信部
130: 表示部
140: 貯蔵部
150: センサーユ部
151: カメラ
152: GPS 装置
153: 加速度センサ/ジャイロセンサ
160: プロセッサ
161: 道路映像分析部
162: 移動経路分析部
163: 走行時間分析部
200: 使用者端末
300: 管制システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】