特開 2024-159384 アナログ信号出力方法及びその方法を行う電子装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024159384

(43)【公開日】2024-11-08

(54)【発明の名称】アナログ信号出力方法及びその方法を行う電子装置

(51)【国際特許分類】

   G06T 7/11 20170101AFI20241031BHJP

   H04N 23/60 20230101ALI20241031BHJP

   G06T 7/00 20170101ALI20241031BHJP

   G08G 1/16 20060101ALI20241031BHJP

   H04N 7/18 20060101ALI20241031BHJP

【ＦＩ】

G06T7/11

H04N23/60 500

G06T7/00 350C

G06T7/00 650Z

G08G1/16 C

H04N7/18 J

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023115961

(22)【出願日】2023-07-14

(31)【優先権主張番号】10-2023-0056667

(32)【優先日】2023-04-28

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】520370957

【氏名又は名称】エヌシーアンド カンパニー，リミテッド

【氏名又は名称原語表記】ＮＣ＆ Ｃｏ．， Ｌｔｄ．

(74)【代理人】

【識別番号】110001494

【氏名又は名称】前田・鈴木国際特許弁理士法人

(72)【発明者】

【氏名】ラ ヨン チャン

(72)【発明者】

【氏名】カン ソク フン

【テーマコード（参考）】

5C054

5C122

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FE09

5C054FE14

5C054HA30

5C122DA14

5C122EA01

5C122FH07

5C122FH09

5C122FH11

5C122FH14

5C122FH23

5C122FJ03

5C122FK37

5C122FK41

5C122HA90

5C122HB01

5C122HB05

5H181AA01

5H181BB12

5H181BB13

5H181BB20

5H181CC04

5H181FF04

5H181FF27

5H181FF32

5H181LL01

5H181LL02

5L096BA04

5L096DA02

5L096DA03

5L096EA03

5L096EA05

5L096EA06

5L096FA02

5L096FA69

5L096GA51

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

【課題】電子装置は、車両に設けられる電子装置を利用したアナログ信号出力方法を提供することにある。
【解決手段】車両に装着されたターゲットカメラを用いて撮影されたオリジナル映像に対するアナログ信号を受信し、オリジナル映像の解像度に基づいてオリジナル映像に対するアナログ信号をデジタル信号に変換し、デジタル信号に基づいてデジタル映像を生成し、１つ以上の映像認識モデルを用いてデジタル映像内のターゲットオブジェクトを決定し、ターゲットオブジェクトに対するコンピュータグラフィックをデジタル映像に合成することによって合成映像を生成し、合成映像をアナログ信号に変換し、合成映像に対するアナログ信号を車両に設けられるアナログ信号受信装置に送信する電子装置が提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両に設けられる電子装置によって実行される合成映像のアナログ信号出力方法であって、
車両に装着されたターゲットカメラを用いて撮影されたオリジナル映像に対するアナログ信号を受信する動作と、
前記オリジナル映像の解像度に基づいて前記オリジナル映像に対する前記アナログ信号をデジタル信号に変換する動作と、
前記デジタル信号に基づいてデジタル映像を生成する動作と、
１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する動作と、
前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作と、
前記合成映像をアナログ信号に変換する動作と、
前記合成映像に対する前記アナログ信号を前記車両に設けられるアナログ信号受信装置に送信する動作と、
を含む、合成映像のアナログ信号出力方法。

【請求項2】

前記デジタル信号に基づいてデジタル映像を生成する動作は、前記デジタル信号に基づいて生データ又はＹＵＶデータの形式を有する前記デジタル映像を生成する動作を含む、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項3】

前記１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する動作は、
前記デジタル映像に基づいてディープラーニング映像認識方式に対する第１処理データ及びコンピュータビジョン映像認識方式に対する第２処理データをそれぞれ生成する動作と、
ディープラーニング映像認識モデルを用いて前記第１処理データに対するディープラーニング認識データを生成する動作と、
コンピュータビジョン映像認識モデルを用いて前記第２処理データに対するコンピュータビジョン認識データを生成する動作と、
前記ディープラーニング認識データ及び前記コンピュータビジョン認識データに基づいて前記デジタル映像内のターゲットオブジェクトを決定する動作と、
を含む、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項4】

前記デジタル映像に基づいて前記第１処理データ及び前記第２処理データをそれぞれ生成する動作は、前記デジタル映像に対してカラーフォーマット変換、フィルタリング、ノイズ減少、クロップ、又は、スケーリングのうち少なくとも１つの処理を適用することによって前記第１処理データ及び前記第２処理データをそれぞれ生成する動作を含む、請求項３に記載の合成映像のアナログ信号出力方法。

【請求項5】

前記ディープラーニング映像認識モデルを用いて前記第１処理データに対する前記ディープラーニング認識データを生成する動作は、
前記ディープラーニング映像認識モデルを用いて前記第１処理データに対してターゲットオブジェクト情報を決定する動作と、
予め決定されたフレーム範囲内の以前フレームに対する以前オブジェクト情報及び前記ターゲットオブジェクト情報に基づいて現在フレームに対応する前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作と、
を含む、請求項３に記載の合成映像のアナログ信号出力方法。

【請求項6】

前記ターゲットオブジェクト情報は、前記ターゲットオブジェクトの種類、座標、形状、又は、認識正確度を示すスコアのうち少なくとも１つを含んでもよい、請求項５に記載の合成映像のアナログ信号出力方法。

【請求項7】

前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作は、前記現在フレームの前記ターゲットオブジェクトに対する前記スコアが予め決定された第１閾値未満であり、前記以前フレームの前記ターゲットオブジェクトに対する以前スコアの平均値が予め決定された第２閾値以上である場合、前記デジタル映像内の前記ターゲットオブジェクトの検出を決定する動作を含む、請求項６に記載の合成映像のアナログ信号出力方法。

【請求項8】

前記コンピュータビジョン映像認識モデルを用いて前記第２処理データに対する前記コンピュータビジョン認識データを生成する動作は、前記コンピュータビジョン映像認識モデルを用いて前記第２処理データに対して前記カメラに対するカメラパラメータに基づいた補正情報を含む前記コンピュータビジョン認識データを生成する動作を含む、請求項３に記載の合成映像のアナログ信号出力方法。

【請求項9】

前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作は、前記ディープラーニング認識データに含まれたターゲットオブジェクト情報及び前記コンピュータ認識データに含まれた補正情報に基づいて前記ターゲットオブジェクトの位置を表示するマーカー映像レイヤを前記コンピュータグラフィックとして生成する動作と、
前記デジタル映像及び前記コンピュータグラフィックを合成することによって前記合成映像を生成する動作と、
を含む、請求項３に記載の合成映像のアナログ信号出力方法。

【請求項10】

前記アナログ信号受信装置はブラックボックスモジュールである、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項11】

前記車両の運行情報を受信する動作と、
前記車両の運行情報及び前記ディープラーニング認識データに基づいて前記車両の現在状態に対する危険要素が存在するか否かを決定する動作と、
をさらに含む、請求項３に記載の合成映像のアナログ信号出力方法。

【請求項12】

前記車両の運行情報を受信する動作は、運行情報中継モジュールから前記車両の動作情報を受信する動作、又は、ＧＰＳモジュールから前記車両の位置情報を受信する動作のうち少なくとも１つを含んでもよい、請求項１１に記載の合成映像のアナログ信号出力方法。

【請求項13】

前記危険要素が存在する場合、危険警報を出力する動作をさらに含む、請求項１１に記載の合成映像のアナログ信号出力方法。

【請求項14】

請求項１～請求項１３のいずれか一項に記載の方法を実行させるためのプログラムを格納しているコンピュータで読み出し可能な記録媒体。

【請求項15】

合成映像のアナログ信号出力のための電子装置であって、
車両に装着されたターゲットカメラを用いて撮影されたオリジナル映像に対するアナログ信号を受信する第１変換部と、
前記オリジナル映像の解像度に基づいて前記オリジナル映像に対する前記アナログ信号をデジタル信号に変換する信号処理部と、
前記デジタル信号に基づいてデジタル映像を生成する映像処理部と、
１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する映像認識部と、
前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成し、前記合成映像をアナログ信号に変換し、前記合成映像に対する前記アナログ信号を前記車両に設けられるアナログ信号受信装置に送信する危険検出ソフトウェア部と、
を含む、電子装置。

【請求項16】

前記映像認識部は、
前記デジタル映像に基づいてディープラーニング映像認識方式に対する第１処理データ及びコンピュータビジョン映像認識方式に対する第２処理データをそれぞれ生成する動作と、
ディープラーニング映像認識モデルを用いて前記第１処理データに対するディープラーニング認識データを生成する動作と、
コンピュータビジョン映像認識モデルを用いて前記第２処理データに対するコンピュータビジョン認識データを生成する動作と、
前記ディープラーニング認識データ及び前記コンピュータビジョン認識データに基づいて前記デジタル映像内のターゲットオブジェクトを決定する動作と、
を行う、請求項１５に記載の電子装置。

【請求項17】

前記ディープラーニング映像認識モデルを用いて前記第１処理データに対する前記ディープラーニング認識データを生成する動作は、
前記ディープラーニング映像認識モデルを用いて前記第１処理データに対してターゲットオブジェクト情報を決定する動作と、
予め決定されたフレーム範囲内の以前フレームに対する以前オブジェクト情報及び前記ターゲットオブジェクト情報に基づいて現在フレームに対応する前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作と、
を含む、請求項１６に記載の電子装置。

【請求項18】

前記ターゲットオブジェクト情報は、前記ターゲットオブジェクトの種類、座標、形状、又は、認識正確度を示すスコアのうち少なくとも１つを含んでもよい、請求項１７に記載の電子装置。

【請求項19】

前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作は、前記現在フレームの前記ターゲットオブジェクトに対する前記スコアが予め決定された第１閾値未満であり、前記以前フレームの前記ターゲットオブジェクトに対する以前スコアの平均値が予め決定された第２閾値以上である場合、前記デジタル映像内の前記ターゲットオブジェクトの検出を決定する動作を含む、請求項１８に記載の電子装置。

【請求項20】

前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作は、
前記ディープラーニング認識データに含まれたターゲットオブジェクト情報及び前記コンピュータ認識データに含まれた補正情報に基づいて、前記ターゲットオブジェクトの位置を表示するマーカー映像レイヤを前記コンピュータグラフィックとして生成する動作と、
前記デジタル映像及び前記コンピュータグラフィックを合成することによって前記合成映像を生成する動作と、
を含む、請求項１６に記載の電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子装置を利用した合成映像のアナログ信号出力方法及びシステムに関する。

【背景技術】

【0002】

安全な車両運行のために車両に設けられるカメラを用いて撮影された周辺映像を、車両内部装置を介して出力して格納する機能が提供されている。走行している間に運転者の視野確保を補助するだけではなく、車両の危険状況を検出及び判断して撮影映像に表示することで、運転者に知らせる手段の必要性が存在する。既存に車両に設けられる撮影及び監視手段を交替することなく、データ送信経路に電子装置を設置することで危険状況を知らせる映像を車両内の装置に送出する必要性が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

一実施形態に係る電子装置は、車両に設けられる電子装置を利用したアナログ信号出力方法を提供することにある。

【課題を解決するための手段】

【0004】

一実施形態に係る車両に設けられる電子装置によって実行される合成映像のアナログ信号出力方法は、車両に装着されたターゲットカメラを用いて撮影されたオリジナル映像に対するアナログ信号を受信する動作と、前記オリジナル映像の解像度に基づいて前記オリジナル映像に対する前記アナログ信号をデジタル信号に変換する動作と、前記デジタル信号に基づいてデジタル映像を生成する動作と、１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する動作と、前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作と、前記合成映像をアナログ信号に変換する動作と、前記合成映像に対する前記アナログ信号を前記車両に設けられるアナログ信号受信装置に送信する動作とを含む。

【0005】

前記デジタル信号に基づいてデジタル映像を生成する動作は、前記デジタル信号に基づいて生データ又はＹＵＶデータの形式を有する前記デジタル映像を生成する動作を含むことができる。

【0006】

前記１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する動作は、前記デジタル映像に基づいてディープラーニング映像認識方式に対する第１処理データ及びコンピュータビジョン映像認識方式に対する第２処理データをそれぞれ生成する動作と、ディープラーニング映像認識モデルを用いて前記第１処理データに対するディープラーニング認識データを生成する動作と、コンピュータビジョン映像認識モデルを用いて前記第２処理データに対するコンピュータビジョン認識データを生成する動作と、前記ディープラーニング認識データ及び前記コンピュータビジョン認識データに基づいて前記デジタル映像内のターゲットオブジェクトを決定する動作とを含むことができる。

【0007】

前記デジタル映像に基づいて前記第１処理データ及び前記第２処理データをそれぞれ生成する動作は、前記デジタル映像に対してカラーフォーマット変換、フィルタリング、ノイズ減少、クロップ、又は、スケーリングのうち少なくとも１つの処理を適用することによって前記第１処理データ及び前記第２処理データをそれぞれ生成する動作を含むことができる。

【0008】

前記ディープラーニング映像認識モデルを用いて前記第１処理データに対する前記ディープラーニング認識データを生成する動作は、前記ディープラーニング映像認識モデルを用いて前記第１処理データに対してターゲットオブジェクト情報を決定する動作と、予め決定されたフレーム範囲内の以前フレームに対する以前オブジェクト情報及び前記ターゲットオブジェクト情報に基づいて現在フレームに対応する前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作とを含むことができる。

【0009】

前記ターゲットオブジェクト情報は、前記ターゲットオブジェクトの種類、座標、形状、又は、認識正確度を示すスコアのうち少なくとも１つを含んでもよいことができる。

【0010】

前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作は、前記現在フレームの前記ターゲットオブジェクトに対する前記スコアが予め決定された第１閾値未満であり、前記以前フレームの前記ターゲットオブジェクトに対する以前スコアの平均値が予め決定された第２閾値以上である場合、前記デジタル映像内の前記ターゲットオブジェクトの検出を決定する動作を含むことができる。

【0011】

前記コンピュータビジョン映像認識モデルを用いて前記第２処理データに対する前記コンピュータビジョン認識データを生成する動作は、前記コンピュータビジョン映像認識モデルを用いて前記第２処理データに対して前記カメラに対するカメラパラメータに基づいた補正情報を含む前記コンピュータビジョン認識データを生成する動作を含むことができる。

【0012】

前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作は、前記ディープラーニング認識データに含まれたターゲットオブジェクト情報及び前記コンピュータ認識データに含まれた補正情報に基づいて前記ターゲットオブジェクトの位置を表示するマーカー映像レイヤを前記コンピュータグラフィックとして生成する動作と、前記デジタル映像及び前記コンピュータグラフィックを合成することによって前記合成映像を生成する動作とを含むことができる。

【0013】

前記アナログ信号受信装置はブラックボックスモジュールであり得る。

【0014】

前記合成映像のアナログ信号出力方法は、前記車両の運行情報を受信する動作と、前記車両の運行情報及び前記ディープラーニング認識データに基づいて前記車両の現在状態に対する危険要素が存在するか否かを決定する動作とをさらに含むことができる。

【0015】

前記車両の運行情報を受信する動作は、運行情報中継モジュールから前記車両の動作情報を受信する動作、又は、ＧＰＳモジュールから前記車両の位置情報を受信する動作のうち少なくとも１つを含んでもよいことができる。

【0016】

前記合成映像のアナログ信号出力方法は、前記危険要素が存在する場合、危険警報を出力する動作をさらに含むことができる。

【0017】

一実施形態に係る合成映像のアナログ信号出力のための電子装置は、車両に装着されたターゲットカメラを用いて撮影されたオリジナル映像に対するアナログ信号を受信する第１変換部と、前記オリジナル映像の解像度に基づいて前記オリジナル映像に対する前記アナログ信号をデジタル信号に変換する信号処理部と、前記デジタル信号に基づいてデジタル映像を生成する映像処理部と、１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する映像認識部と、前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成し、前記合成映像をアナログ信号に変換し、前記合成映像に対する前記アナログ信号を前記車両に設けられるアナログ信号受信装置に送信する危険検出ソフトウェア部とを含む。

【0018】

前記映像認識部は、前記デジタル映像に基づいてディープラーニング映像認識方式に対する第１処理データ及びコンピュータビジョン映像認識方式に対する第２処理データをそれぞれ生成する動作と、ディープラーニング映像認識モデルを用いて前記第１処理データに対するディープラーニング認識データを生成する動作と、コンピュータビジョン映像認識モデルを用いて前記第２処理データに対するコンピュータビジョン認識データを生成する動作と、前記ディープラーニング認識データ及び前記コンピュータビジョン認識データに基づいて前記デジタル映像内のターゲットオブジェクトを決定する動作とを行うことができる。

【0019】

前記ディープラーニング映像認識モデルを用いて前記第１処理データに対する前記ディープラーニング認識データを生成する動作は、前記ディープラーニング映像認識モデルを用いて前記第１処理データに対してターゲットオブジェクト情報を決定する動作と、予め決定されたフレーム範囲内の以前フレームに対する以前オブジェクト情報及び前記ターゲットオブジェクト情報に基づいて現在フレームに対応する前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作とを含むことができる。

【0020】

前記ターゲットオブジェクト情報は、前記ターゲットオブジェクトの種類、座標、形状、又は、認識正確度を示すスコアのうち少なくとも１つを含んでもよいことができる。

【0021】

前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作は、前記現在フレームの前記ターゲットオブジェクトに対する前記スコアが予め決定された第１閾値未満であり、前記以前フレームの前記ターゲットオブジェクトに対する以前スコアの平均値が予め決定された第２閾値以上である場合、前記デジタル映像内の前記ターゲットオブジェクトの検出を決定する動作を含むことができる。

【0022】

前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作は、前記ディープラーニング認識データに含まれたターゲットオブジェクト情報及び前記コンピュータ認識データに含まれた補正情報に基づいて、前記ターゲットオブジェクトの位置を表示するマーカー映像レイヤを前記コンピュータグラフィックとして生成する動作と、前記デジタル映像及び前記コンピュータグラフィックを合成することによって前記合成映像を生成する動作とを含むことができる。

【発明の効果】

【0023】

本発明によると、電子装置は、車両に設けられる電子装置を利用したアナログ信号出力方法を提供することができる。

【図面の簡単な説明】

【0024】

【図1】一実施形態に係るアナログ信号出力システムを示す図である。

【図2】一実施形態に係る電子装置のブロック図である。

【図3】一実施形態に係る合成映像のアナログ信号出力方法のフローチャートである。

【図4】一実施形態に係るターゲットオブジェクト決定方法のフローチャートである。

【図5】一実施形態に係るディープラーニング認識データ生成方法のフローチャートである。

【図6】一実施形態に係る合成映像生成方法のフローチャートである。

【図7】一例に係る合成映像を説明するための図である。

【図8】一実施形態に係る運行情報の受信を説明するためのフローチャートである。

【図9】一実施形態に係る危険警報出力方法のフローチャートである。

【図10】一実施形態に係る電子装置のブロック図である。

【発明を実施するための形態】

【0025】

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

【0026】

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

【0027】

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

【0028】

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0029】

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0030】

以下、添付する図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。

【0031】

図１は、一実施形態に係るアナログ信号出力システムを示す図である。

【0032】

一実施形態に係るアナログ信号出力システム１００は、電子装置１１０、カメラ１２０、アナログ信号受信装置１３０、及び外部装置１４０を含む。電子装置１１０、カメラ１２０、アナログ信号受信装置１３０、及び外部装置１４０は、車両（図示せず）に設けられてもよい。

【0033】

一実施形態によれば、カメラ１２０は、車両の内部及び／又は外部に設けられている１つ以上のカメラモジュールのうち、電子装置１１０に接続されたターゲットカメラを示す。アナログ信号出力システム１００は、車両に設けられるカメラモジュールそれぞれに対応する電子装置モジュールを含む。例えば、カメラ１２０は、車両の前方又は後方を撮影するカメラである。例えば、カメラ１２０は、車両の左側、又は右側を撮影するカメラであってもよい。

【0034】

一実施形態によれば、カメラ１２０は、撮影されたオリジナル映像に対するアナログ信号を出力し、アナログ信号受信装置１３０は、受信したアナログ信号をディスプレイを介してリアルタイムに出力したりメモリに格納することができる。例えば、アナログ信号受信装置１３０は、車両に設けられるブラックボックスモジュールを示してもよい。電子装置１１０は、カメラ１２０とアナログ信号受信装置１３０との間に設けられてもよい。電子装置１１０は、カメラ１２０が出力したアナログ信号を受信し、受信したアナログ信号に基づいてデジタル合成映像を生成し、デジタル合成映像に対するアナログ信号をアナログ信号受信装置１３０に送信する。例えば、カメラ１２０は、撮影されたオリジナル映像に対するアナログ信号をＣＶＢＳ（ＣｏｍｐｏｓｉｔｅＶｉｄｅｏ Ｂａｓｅｂａｎｄ Ｓｉｇｎａｌ）、ＴＶＩ（ＴｕｒｂｏＶｉｄｅｏ Ｉｎｔｅｒｆａｃｅ）、又はＡＨＤ（Ａｎａｌｏｇ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）フォーマットで出力し、オリジナル映像の解像度は、ＦＨＤ（１９２０ｘ１０８０）、ＨＤ（１２８０ｘ７２０）、又はＣＶＢＳ（７２０ｘ４８０ｉ）であってもよい。電子装置１１０は、カメラ１２０が出力するアナログ信号と同じフォーマット及び解像度を有するデジタル合成映像に対するアナログ信号をアナログ信号受信装置１３０に送信することができる。

【0035】

一実施形態によれば、電子装置１１０は、第１変換部１５０、信号処理部１６０、映像処理部１７０、映像認識部１８０、及び危険検出ソフトウェア部１９０を含む。電子装置１１０について、以下で図２を参照して詳細に説明される。

【0036】

一実施形態によれば、外部装置１４０は、運行情報中継モジュール１４２及びＧＰＳモジュール１４４を含む。アナログ信号出力システム１００は、運行情報中継モジュール１４２及び／又はＧＰＳモジュール１４４を選択的に含んでもよく、含まなくてもよい。電子装置１１０は、外部装置１４０から車両の運行情報を受信する。運行情報は、車両の動作情報及び位置情報を含む。車両の動作情報は、車両の左側／右側方向指示ランプ情報、後進ギヤ情報、ブレーキ情報、又は速度情報のうちの１つ以上を含んでもよい。

【0037】

一実施形態によれば、電子装置１１０は、運行情報中継モジュール１４２から車両の動作情報を受信することができる。電子装置１１０は、ＧＰＳモジュール１４２から（直接又は運行情報中継モジュール１４２を介して）車両の位置情報を受信してもよい。

【0038】

一実施形態によれば、運行情報中継モジュール１４２は、車両の方向指示ランプ、後進ランプ、又はブレーキランプの電源ケーブルを介して取得できるアナログ信号に基づいて、方向指示ランプがついているか否か、後進ギヤへの変更有無、又は、ブレーキペダルの操作状態に関する情報をそれぞれ取得してもよい。運行情報中継モジュール１４２がＧＰＳモジュール１４４に接続されていない場合、運行情報中継モジュール１４２は、車両の車両回転数をカウントすることによって車両の速度を測定する速度センサに接続される電源ケーブルを介して速度情報を取得できる。運行情報中継モジュール１４２がＧＰＳモジュール１４４に接続されている場合、運行情報中継モジュール１４２は、ＧＰＳモジュール１４４から受信した位置情報を用いて車両の移動距離及び時間間隔を算出することで速度情報を取得できる。例えば、運行情報中継モジュール１４２は、速度センサ又はその他の圧力センサのような追加的なセンサの電源ケーブルを介して取得した情報とブレーキランプの電源ケーブルを介して取得した情報をまとめて、ブレーキペダルに加えられる力やブレーキ適用期間を決定することができる。

【0039】

一実施形態によれば、運行情報中継モジュール１４２は、車両のＯＢＤ（Ｏｎ－Ｂｏａｒｄ Ｄｉａｇｎｏｓｔｉｃｓ）システムから車両の危険検出に関する各種情報をＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信を介して受信することができる。運行情報中継モジュール１４２は、車両の左側／右側方向指示ランプ情報、後進ギヤ情報、ブレーキ情報、又は速度情報のうちの１つ以上を含む動作情報だけでなく、車両の走行距離、燃料消費量、走行時間、車両位置、エンジン状態などを受信することができ、本記載に制限されない。その結果、電子装置は、車両の運行情報を運行情報中継モジュール１４２を介してＯＢＤシステム又は電源ケーブルから受信することができる。

【0040】

図２は、一実施形態に係る電子装置のブロック図である。

【0041】

一実施形態によれば、電子装置１１０は第１変換部１５０、信号処理部１６０、映像処理部１７０、映像認識部１８０、及び危険検出ソフトウェア部１９０を含む。

【0042】

第１変換部１５０は、車両に設けられる１つ以上のカメラモジュールから撮影されたオリジナル映像に対するアナログ信号を受信する。例えば、第１変換部１５０は、ユーザによって予め指定されたフォーマット及び解像度のアナログ信号を受信してもよい。例えば、第１変換部１５０は、受信したアナログ信号の解像度を推定してもよい。第１変換部１５０は、アナログ信号のフォーマット又は解像度に基づいて受信したアナログ信号をデジタル信号に変換する。例えば、第１変換部１５０は、アナログ信号をＢＴ．６５６（ＩＴＵ－ＢＴ．６５６又はＣＣＩＲ－６５６）規格のデジタル信号に変換し、変換されたデジタル信号を信号処理部１６０に送信してもよい。

【0043】

信号処理部１６０は、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を示す。信号処理部１６０は、デジタル信号に基づいて生（ｒａｗ）データ又はＹＵＶデータの形式を有するデジタル映像を生成することができる。信号処理部１６０は、生成されたデジタル映像をバッファリングしてもよい。デジタル映像は、映像処理部１７０及び合成部１９２に伝達され得る。

【0044】

映像処理部１７０は、デジタル映像に基づいてディープラーニング映像認識方式に対する第１処理データ及びコンピュータビジョン映像認識方式に対する第２処理データをそれぞれ生成することができる。映像処理部１７０は、デジタル映像に対してカラーフォーマット変換（ＲＧＢ又はＹＵＶ）、フィルタリング、ノイズ減少、クロップ、又は、スケーリングのうち少なくとも１つの処理を適用することで、第１処理データ及び第２処理データをそれぞれ生成してもよい。

【0045】

映像認識部１８０は、ディープラーニング認識部１８２及びコンピュータビジョン認識部１８４を含む。ディープラーニング認識部１８２は、ディープラーニング部１８２－１及びデータ処理部１８２－２を含む。コンピュータビジョン認識部１８４は、認識補助部１８４－１及び補正部１８４－２を含む。認識補助部１８４－１は選択的に含まれてもよい。

【0046】

一実施形態によれば、映像認識部１８０は、撮影された映像に対してＤＳＭ（Ｄｒｉｖｅｒ Ｓｔａｔｕｓ Ｍｏｎｉｔｏｒｉｎｇ）及びＢＳＤ（Ｂｌｉｎｄ Ｓｐｏｔ Ｄｅｔｅｃｔｉｏｎ）などのためのディープラーニング認識データ及びコンピュータビジョン認識データを生成することができる。

【0047】

一実施形態によれば、ディープラーニング認識部１８２は、予め格納及び／又は訓練されたディープラーニング映像認識モデルを用いて、第１処理データに対するディープラーニング認識データを生成する。ディープラーニング部１８２－１は、ディープラーニング映像認識モデルを用いて第１処理データに対してターゲットオブジェクト情報を決定する。ターゲットオブジェクト情報は、ターゲットオブジェクトの種類、座標、形状、又は、認識正確度を示すスコア（ｓｃｏｒｅ）のうち少なくとも１つを含んでもよい。ターゲットオブジェクトは、ディープラーニング映像認識モデルが認識する各種のオブジェクトのうち車両の危険状況を引き起こすオブジェクトを示す。データ処理部１８２－２は、デジタル映像内のターゲットオブジェクトの検出の有無を決定することで、ディープラーニング認識データを生成することができる。

【0048】

一実施形態によれば、ディープラーニング認識部１８２は、電子装置１１０が接続されるターゲットカメラの設置位置に応じて特化して訓練されたディープラーニング認識モデルを使用することができる。例えば、電子装置１１０が車両の前方を撮影するターゲットカメラに接続されている場合、電子装置１１０は、前方撮影映像認識に特化したディープラーニング認識モデルを使用するディープラーニング認識部１８２を含んでもよい。例えば、電子装置１１０が車両の後方を撮影するターゲットカメラに接続されている場合、電子装置１１０は、後方撮影の映像認識に特化したディープラーニング認識モデルを使用するディープラーニング認識部１８２を含んでもよい。

【0049】

一実施形態によれば、コンピュータビジョン認識部１８４は、予め格納及び／又は訓練されたコンピュータビジョン映像認識モデルを用いて、第２処理データに対するコンピュータビジョン認識データを生成することができる。認識補助部１８４－１は、ディープラーニング認識部１８２で生成されたディープラーニング認識データを補完するために、コンピュータビジョン映像認識モデルを用いて第２処理データに対してターゲットオブジェクト情報を再決定し得る。例えば、認識補助部１８４－１は、ディープラーニング認識部１８２が検出できないターゲットオブジェクトを検出するためにターゲットオブジェクト情報を再決定してもよい。補正部１８４－２は、第２処理データに対して（又は、ターゲットオブジェクト情報が再決定された第２処理データに対して）カメラ（例えば、図１のカメラ１２０）のカメラパラメータに基づいた補正情報を含むコンピュータビジョン認識データを生成してもよい。カメラパラメータは、カメラを構成するセンサ及びレンズの特性又はカメラが車両に装着された座標及び設置角度を含んでもよい。

【0050】

危険検出ソフトウェア部１９０は、ディープラーニング認識データ、コンピュータビジョン認識データ、カメラパラメータ、及び車両の危険検出に関する各種の情報（例えば、車両とターゲットオブジェクトとの間の測定された距離、車両の加速度、車両のエクセルレイト動作、車両の運行情報など）を収集及び格納することで、全てのデータに基づいて総合的な危険検出を行うことができる。危険検出ソフトウェア部１９０は、合成部１９２、危険検出部１９４、及び第２変換部１９６を含む。

【0051】

合成部１９２は、ディープラーニング認識データ及びコンピュータビジョン認識データに基づいてターゲットオブジェクトの位置を表示するマーカー（ｍａｒｋｅｒ）映像レイヤをコンピュータグラフィックとして生成することができる。合成部１９２は、信号処理部１６０で生成されたデジタル映像及び生成されたコンピュータグラフィックを合成することで合成映像を生成することができる。合成映像の生成について図７を参照して詳細に説明される。

【0052】

危険検出部１９４は、車両の運行情報及びディープラーニング認識データに基づいて車両の現在状態に対する危険要素が存在するか否かを決定する。危険要素の存在有無の決定において、再決定されたターゲットオブジェクト情報及び／又は補正情報を含むコンピュータビジョン認識データについても使用されてもよい。

【0053】

第２変換部１９６は、合成部１９２で生成された合成映像をアナログ信号に変換することができる。例えば、第２変換部１９６は、合成映像をＣＶＢＳ又はＴＶＩフォーマットのアナログ信号に変換し、該当映像の解像度は、ＦＨＤ、ＨＤ、又はＣＶＢＳであってもよい。第２変換部１９６は、合成映像をカメラ１２０が出力するアナログ信号と同じフォーマット及び解像度を有するアナログ信号に変換し得る。

【0054】

図３は、一実施形態に係る合成映像のアナログ信号出力方法のフローチャートである。

【0055】

一実施形態によれば、下記の動作３１０～３９０は、電子装置（例えば、図１及び図２の電子装置１１０）によって行われる。

【0056】

動作３１０において、電子装置は、車両に装着されたターゲットカメラを用いて撮影されたオリジナル映像に対するアナログ信号を受信する。

【0057】

一実施形態によれば、電子装置は、ユーザによって予め指定されたフォーマット及び解像度のアナログ信号を受信することができる。例えば、電子装置は、撮影されたオリジナル映像に対するＣＶＢＳ、ＴＶＩ、又はＡＨＤフォーマットのアナログ信号を受信し、該当映像の解像度はＦＨＤ、ＨＤ、又はＣＶＢＳであってもよい。

【0058】

一実施形態によれば、電子装置は受信したアナログ信号の解像度を推定し得る。

【0059】

動作３２０において、電子装置は、オリジナル映像の解像度に基づいてオリジナル映像に対するアナログ信号をデジタル信号に変換する。電子装置は、予め指定された解像度又は推定した解像度に基づいて、オリジナル映像に対するアナログ信号をデジタル信号に変換し得る。例えば、電子装置は、アナログ信号をＢＴ．６５６（ＩＴＵ－ＢＴ．６５６又はＣＣＩＲ－６５６）規格のデジタル信号に変換してもよい。

【0060】

動作３３０において、電子装置は、デジタル信号に基づいてデジタル映像を生成する。電子装置は、デジタル信号に基づいて生データ又はＹＵＶデータの形式を有するデジタル映像を生成し得る。電子装置は、生成されたデジタル映像をバッファリングしてもよい。

【0061】

動作３４０において、電子装置は、１つ以上の映像認識モデルを用いてデジタル映像内のターゲットオブジェクトを決定する。ターゲットオブジェクトを決定する方法は、図４を参照して詳細に説明される。

【0062】

動作３５０において、電子装置は、ターゲットオブジェクトに対するコンピュータグラフィックをデジタル映像に合成することによって合成映像を生成する。例えば、電子装置は、ターゲットオブジェクトの位置を表示するマーカー映像レイヤをコンピュータグラフィックとして生成してもよい。電子装置は、デジタル映像及びコンピュータグラフィックを合成することで合成映像を生成し得る。例えば、電子装置は、ターゲットオブジェクトの位置にフレームマーカーが表示された合成映像を生成してもよい。

【0063】

動作３６０において、電子装置は、合成映像をアナログ信号に変換する。電子装置は、合成映像を動作３１０で受信したアナログ信号と同じフォーマットと解像度を有するアナログ信号に変換してもよい。

【0064】

動作３７０において、電子装置は、合成映像に対するアナログ信号を車両に設けられるアナログ信号受信装置（例えば、図１のアナログ信号受信装置１３０）に送信する。アナログ信号受信装置は、合成映像に対するアナログ信号を受信し、受信されたアナログ信号に対する映像をディスプレイを介してリアルタイムに出力したりメモリに格納できる。

【0065】

動作３８０において、電子装置は、車両の運行情報を受信する。車両の運行情報は、車両の動作情報及び位置情報を含む。車両の運行情報の受信にについては、以下で図８を参照して詳細に説明される。

【0066】

一実施形態によれば、動作３９０は、動作３４０が実行された後に行われる。

【0067】

動作３９０において、電子装置は、車両の運行情報及びディープラーニング認識データに基づいて車両の現在状態に対する危険要素が存在するか否かを決定する。例えば、電子装置は、車両の走行方向に直進するオブジェクト又は走行経路に位置するオブジェクトがある場合、車両の前進又は後進状態に対する危険要素が存在するものとして決定する。例えば、電子装置は、車両の左折方向又は右折方向の走行経路にオブジェクトが位置する場合、車両の左折状態又は右折状態に対する危険要素が存在するものと決定してもよい。例えば、電子装置は、車両の速度及び／又は加速度に基づいて一定の距離内に衝突危険のあるオブジェクトが存在する場合、危険要素が存在するものと決定してもよい。例えば、電子装置は、ターゲットオブジェクトのリアルタイムの座標と種類、及び車両の運転動作に基づいて危険要素存在の有無を決定することができる。

【0068】

一実施形態によれば、動作３９０は、以下の図４に示す動作４２０の後に行われる。

【0069】

図４は、一実施形態に係るターゲットオブジェクト決定方法のフローチャートである。

【0070】

一実施形態によれば、以下の動作４１０～４４０は、図３を参照して上述した動作３３０が実行された後に行われる。動作４１０～４４０は、電子装置（例えば、図１及び図２の電子装置１１０）によって行われることができる。

【0071】

動作４１０において、電子装置は、デジタル映像に基づいてディープラーニング映像認識方式に対する第１処理データ及びコンピュータビジョン映像認識方式に対する第２処理データをそれぞれ生成する。

【0072】

一実施形態によれば、電子装置は、デジタル映像に対してカラーフォーマット変換、フィルタリング、ノイズ減少、クロップ、又は、スケーリングのうち少なくとも１つの処理を適用することによって第１処理データ及び第２処理データをそれぞれ生成することができる。第１処理データは、電子装置のディープラーニング認識部（例えば、図１及び図２のディープラーニング認識部１８２）で、第２処理データは、電子装置のコンピュータビジョン認識部（例えば、図１及び図２のコンピュータビジョン認識部１８４）で処理されるために適切な規格又は形態に生成される。

【0073】

動作４２０において、電子装置は、ディープラーニング映像認識モデルを用いて第１処理データに対するディープラーニング認識データを生成する。ディープラーニング認識データは、デジタル映像内のターゲットオブジェクトの検出有無を含む。ディープラーニング認識データ生成方法について、図５を参照して詳細に説明される。

【0074】

動作４３０において、電子装置は、コンピュータビジョン映像認識モデルを用いて第２処理データに対するコンピュータビジョン認識データを生成する。電子装置は、コンピュータビジョン映像認識モデルを用いて第２処理データに対してカメラ（例えば、図１のカメラ１２０）に対するカメラパラメータに基づいた補正情報を含むコンピュータビジョン認識データを生成する。カメラパラメータは、カメラを構成しているセンサ及びレンズの特性又はカメラが車両に装着されている座標及び設置角度を含んでもよい。

【0075】

動作４４０において、電子装置は、ディープラーニング認識データ及びコンピュータビジョン認識データに基づいてデジタル映像内のターゲットオブジェクトを決定する。電子装置は、ターゲットオブジェクトの種類、座標、形状、又は認識正確度を示すスコアのうち少なくとも１つを決定してもよい。電子装置は、カメラパラメータに基づいて補正されたターゲットオブジェクトを決定することができる。

【0076】

図５は、一実施形態に係るディープラーニング認識データ生成方法のフローチャートである。

【0077】

一実施形態によれば、以下の動作５１０及び５２０は、図４を参照して上述した動作４１０が実行された後に行われる。動作５１０及び５２０は、電子装置（例えば、図１及び図２の電子装置１１０）によって行われることができる。

【0078】

一実施形態によれば、動作５１０は、電子装置のディープラーニング認識部（例えば、図１及び図２のディープラーニング認識部１８２）のディープラーニング部（例えば、図２のディープラーニング部１８２－１）によって実行され、動作５２０は、ディープラーニング認識部のデータ処理部（例えば、図２のデータ処理部１８２－２）によって行われる。

【0079】

動作５１０において、ディープラーニング部は、ディープラーニング映像認識モデルを用いて第１処理データに対してターゲットオブジェクト情報を決定する。ターゲットオブジェクト情報は、ターゲットオブジェクトの種類、座標、形状、又は、認識正確度を示すスコアのうち少なくとも１つを含んでもよい。例えば、ターゲットオブジェクトの種類は、人、車両、自転車、その他の道路／人道の設置物を含んでもよい。例えば、ターゲットオブジェクトの形状は、ターゲットオブジェクトの幅、高さなどを含んでもよい。

【0080】

一実施形態によれば、ターゲットオブジェクトは、ディープラーニング映像認識モデルが認識する各種のオブジェクトのうち、車両の危険状況を引き起こすオブジェクトを示す。例えば、ディープラーニング部は、車両の走行方向に直進するオブジェクト又は走行経路に位置するオブジェクトをターゲットオブジェクトとして決定してもよい。実施形態により、オブジェクトを検出してターゲットオブジェクトを決定する一連の過程は、１つの処理で扱われたり一回に処理されてもよい。

【0081】

一実施形態によれば、ターゲットオブジェクトのスコアが予め決定された第１閾値未満である場合、ディープラーニング部は、データ処理部でターゲットオブジェクト情報を伝達しなくてもよい。ここで、データ処理部は、ターゲットオブジェクトのスコアを０として認識してもよい。ターゲットオブジェクトのスコアが予め決定された第１閾値以上である場合、ディープラーニング部は、データ処理部にターゲットオブジェクト情報を伝達することができる。

【0082】

動作５２０において、データ処理部は、予め決定されたフレーム範囲内の以前フレームに対する以前オブジェクト情報及びターゲットオブジェクト情報に基づいて、現在フレームに対応するデジタル映像内のターゲットオブジェクトの検出有無を決定することで、ディープラーニング認識データを生成することができる。

【0083】

一実施形態によれば、データ処理部は、現在フレームのターゲットオブジェクトに対するスコアが予め決定された第１閾値未満であり、以前フレームのターゲットオブジェクトに対する以前スコアの平均値が予め決定された第２閾値以上である場合、デジタル映像内のターゲットオブジェクトの検出を決定することができる。第１閾値及び第２閾値は同じであってもよく、異なってもよい。以前フレームのスコアの平均値は、算術平均又は加重平均などを示す。例えば、現在フレームに近接する以前フレームであるほど、高い加重値が適用されている平均値が算出される。

【0084】

例示的な説明のために、所定の第１閾値と第２閾値が６０％であると仮定する。例えば、現在フレームのターゲットオブジェクト（例えば、人又は自転車など）に対するスコアが８０％である場合、データ処理部は、デジタル映像内のターゲットオブジェクトの検出を決定し得る。例えば、現在フレームのターゲットオブジェクトに対するスコアが５０％であり、以前フレームの同じターゲットオブジェクトに対する以前スコアの平均値が７０％である場合、データ処理部は、デジタル映像内のターゲットオブジェクトの検出を決定し得る。

【0085】

一実施形態によれば、データ処理部は、予め決定されたフレーム範囲内の以前フレームに対するターゲットオブジェクトの座標（又は、以前フレームに対する座標の平均値）に基づいて、現在フレームのターゲットオブジェクトに対する座標を決定することができる。

【0086】

図６は、一実施形態に係る合成映像生成方法のフローチャートである。

【0087】

一実施形態によれば、以下の動作６１０及び６２０は、図３を参照して上述した動作３４０が実行された後に行われる。動作６１０及び６２０は、電子装置（例えば、図１及び図２の電子装置１１０）の合成部（例えば、図２の合成部１９２）によって行われることができる。

【0088】

動作６１０において、合成部は、ディープラーニング認識データに含まれたターゲットオブジェクト情報及びコンピュータ認識データに含まれている補正情報に基づいて、ターゲットオブジェクトの位置を表示するマーカー映像レイヤをコンピュータグラフィックとして生成する。合成部は、ターゲットオブジェクトの座標と補正情報を用いてターゲットオブジェクトの位置を表示するマーカー映像レイヤをコンピュータグラフィックとして生成することができる。

【0089】

動作６２０において、合成部は、デジタル映像及びコンピュータグラフィックを合成することによって合成映像を生成する。例えば、合成部は、デジタル映像及びコンピュータグラフィックを重複することによって合成することができる。

【0090】

図７は、一例に係る合成映像を説明するための図である。

【0091】

図７は、電子装置（例えば、図１及び図２の電子装置１１０）が車両の後方を撮影するターゲットカメラに接続されている場合、後進する間にアナログ信号受信装置（例えば、図１のアナログ信号受信装置１３０）のディスプレイを介して合成映像７００が出力される画面を示す。例えば、認識されたオブジェクト（例えば、木、他の車両、ヒト、ガードレールなど）のうちの一部（例えば、木）はターゲットオブジェクトとして決定されず、車両の走行方向に走ってくる人がターゲットオブジェクト７１０として決定されてもよい。電子装置の合成部（例えば、図１及び図２の合成部１９２）は、ターゲットオブジェクト７１０に対するコンピュータグラフィック７２０を車両の後方が撮影されたデジタル映像に合成することで、合成映像７００を生成することができる。

【0092】

合成部は、ディープラーニング認識データに含まれたターゲットオブジェクト情報及びコンピュータビジョン認識データに含まれた補正情報に基づいて、ターゲットオブジェクト７１０の位置を表示するマーカー映像レイヤをコンピュータグラフィック７２０として生成し得る。合成部は、また、コンピュータビジョン認識データに含まれている再決定されたターゲットオブジェクト情報に基づいて、マーカー映像レイヤをコンピュータグラフィック７２０として生成してもよい。合成部は、デジタル映像及びコンピュータグラフィック７２０を合成することによって合成映像７００を生成してもよい。例えば、合成部は、ターゲットオブジェクト７１０の位置にフレーム（又は、ボックス）マーカーが表示される合成映像７００を生成してもよい。合成映像７００は、ターゲットオブジェクト７１０の移動によりコンピュータグラフィック７２０が共に移動してターゲットオブジェクト７１０の位置を表示するように生成されてもよい。

【0093】

合成映像７００に含まれる情報は図７の例示に制限されず、合成部は、車両の任意の外部装置からの信号入力状態、車両の位置情報などが示されるように合成映像７００を生成することができる。

【0094】

図８は、一実施形態に係る運行情報の受信を説明するためのフローチャートである。

【0095】

一実施形態によれば、図３の動作３８０は、下記の動作８１０及び８２０を含む。動作８１０及び８２０は、電子装置（例えば、図１及び図２の電子装置１１０）によって全て又は一部実行されてもよい。

【0096】

一実施形態によれば、車両の運行情報は、車両の動作情報及び位置情報を含む。

【0097】

動作８１０において、電子装置は、運行情報中継モジュール（例えば、図１の運行情報中継モジュール１４２）から車両の動作情報を受信する。車両の動作情報は、車両の左側／右側の方向指示ランプ情報、後進ギヤ情報、ブレーキ情報、又は速度情報のうちの１つ以上を含んでもよい。運行情報中継モジュールは、車両の方向指示ランプ、後進ランプ、又は、ブレーキランプの電源ケーブルを介して取得できるアナログ信号に基づいて方向指示ランプがついているか否か、後進ギヤへの変更有無、又は、ブレーキペダルの操作状態に関する情報をそれぞれ取得し得る。運行情報中継モジュールがＧＰＳモジュールに接続されていない場合、運行情報中継モジュールは、車両の車両回転数をカウントすることで車両速度を測定する速度センサに接続されている電源ケーブルを介して速度情報を取得することができる。運行情報中継モジュールがＧＰＳモジュールに接続されている場合、運行情報中継モジュールは、ＧＰＳモジュールから受信した位置情報を用いて車両の移動距離と時間間隔を算出することで速度情報を取得することができる。

【0098】

動作８２０において、電子装置は、ＧＰＳモジュール（例えば、図１のＧＰＳモジュール１４４）から車両の位置情報を受信する。電子装置は、ＧＰＳモジュールから、直接又は運行情報中継モジュールを介して車両の位置情報を受信してもよい。

【0099】

一実施形態によれば、電子装置は、位置情報を用いて車両の移動距離と時間間隔を算出することで速度を算出することができる。しかし、トンネルを通過する場合のように、ＧＰＳモジュールが正常に信号を受信し難しい場合、運行情報中継モジュールが車両の速度センサの電源ケーブルを介して速度情報を取得してもよい。

【0100】

図９は、一実施形態に係る危険警報出力方法のフローチャートである。

【0101】

一実施形態によれば、以下の動作９１０は、図３の動作３９０後に行われる。動作９１０は、電子装置（例えば、図１及び図２の電子装置１１０）によって行われる。

【0102】

動作９１０において、電子装置は、危険要素が存在する場合に危険警報を出力する。例えば、電子装置は、危険要素が存在する場合に危険警報音声を生成してもよい。例えば、電子装置は、スピーカ又はブザー（ｂｕｚｚｅｒ）を介して予め格納されている音声又は警報を出力してもよい。

【0103】

図１０は、一実施形態に係る電子装置のブロック図である。

【0104】

一実施形態に係る電子装置１０００は、図１及び図２の電子装置１１０を示す。電子装置１０００は、通信部１０１０、メモリ１０２０、プロセッサ１０３０、及び音響出力部１０４０を含む。

【0105】

通信部１０１０は、車両、車両に設けられるカメラモジュール、外部装置及びアナログ信号受信装置に接続されてデータを送受信する。通信部１０１０は、外部の他の装置に接続されてデータを送受信してもよい。以下において、「Ａ」を送受信するという表現は、「Ａを示す情報（ｉｎｆｏｒｍａｔｉｏｎ）又はデータ」を送受信することを示す。

【0106】

通信部１０１０は、電子装置１０００内の回路網に実現されてもよい。例えば、通信部１０１０は、内部バス及び外部バスを含む。例えば、通信部１０１０は、電子装置１０００と外部装置を接続する要素であってもよい。通信部１０１０は、インターフェースであってもよい。通信部１０１０は、外部の装置（例えば、車両、運行情報中継モジュール）からデータを受信し、プロセッサ１０３０及びメモリ１０２０にデータを送信する。

【0107】

メモリ１０２０は、電子装置１０００内で処理される各種のデータを格納するハードウェアとして、プロセッサ１０３０で処理されたデータ及び処理されるデータを格納することができる。メモリ１０２０は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤ又はＸＤメモリなど）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも１つのタイプの格納媒体を含んでもよい。

【0108】

プロセッサ１０３０は、電子装置１０００の全般的な動作を制御する。プロセッサ１０３０は、メモリ１０２０に格納された電子装置１０００を動作させる命令語セット（例えば、ソフトウェア）を実行してもよい。プロセッサ１０３０は、複数の論理ゲートのアレイに具現されてもよく、汎用的なマイクロプロセッサとそのマイクロプロセッサに実現されるプログラムが格納されたメモリの組み合せに具現されてもよい。また、更なる形態のハードウェアで実現されることを、本実施形態が属する技術分野で通常の知識を有する者であれば理解できるのであろう。

【0109】

音響出力部１０４０は、車両運行に対して危険要素が存在する場合、それに関する情報をユーザに聴覚的に提供する。例えば、音響出力部１０４０は、電気信号を音響信号に変換して外部に出力することができる。

【0110】

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0111】

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

【0112】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

【0113】

上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0114】

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【0115】

したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-08-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

車両に設けられる電子装置によって実行される合成映像のアナログ信号出力方法であって、
車両に装着されたターゲットカメラを用いて撮影されたオリジナル映像に対するアナログ信号を受信する動作と、
前記オリジナル映像の解像度に基づいて前記オリジナル映像に対する前記アナログ信号をデジタル信号に変換する動作と、
前記デジタル信号に基づいてデジタル映像を生成する動作と、
１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する動作と、
前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作と、
前記合成映像をアナログ信号に変換する動作と、
前記合成映像に対する前記アナログ信号を前記車両に設けられるアナログ信号受信装置に送信する動作と、
を含み、
前記１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する動作は、
前記デジタル映像に基づいてディープラーニング映像認識方式に対する第１処理データ及びコンピュータビジョン映像認識方式に対する第２処理データをそれぞれ生成する動作と、
ディープラーニング映像認識モデルを用いて前記第１処理データに対するディープラーニング認識データを生成する動作と、
コンピュータビジョン映像認識モデルを用いて前記第２処理データに対するコンピュータビジョン認識データを生成する動作と、
前記ディープラーニング認識データ及び前記コンピュータビジョン認識データに基づいて前記デジタル映像内のターゲットオブジェクトを決定する動作と、
を含み、
前記コンピュータビジョン映像認識モデルを用いて前記第２処理データに対する前記コンピュータビジョン認識データを生成する動作は、前記コンピュータビジョン映像認識モデルを用いて前記第２処理データに対して前記カメラに対するカメラパラメータに基づいた補正情報を含む前記コンピュータビジョン認識データを生成する動作を含む、合成映像のアナログ信号出力方法。

【請求項2】

前記デジタル信号に基づいてデジタル映像を生成する動作は、前記デジタル信号に基づいてＲＡＷデータ又はＹＵＶデータの形式を有する前記デジタル映像を生成する動作を含む、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項3】

前記デジタル映像に基づいて前記第１処理データ及び前記第２処理データをそれぞれ生成する動作は、前記デジタル映像に対してカラーフォーマット変換、フィルタリング、ノイズ減少、クロップ、又は、スケーリングのうち少なくとも１つの処理を適用することによって前記第１処理データ及び前記第２処理データをそれぞれ生成する動作を含む、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項4】

前記ディープラーニング映像認識モデルを用いて前記第１処理データに対する前記ディープラーニング認識データを生成する動作は、
前記ディープラーニング映像認識モデルを用いて前記第１処理データに対してターゲットオブジェクト情報を決定する動作と、
予め決定されたフレーム範囲内の以前フレームに対する以前オブジェクト情報及び前記ターゲットオブジェクト情報に基づいて現在フレームに対応する前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作と、
を含む、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項5】

前記ターゲットオブジェクト情報は、前記ターゲットオブジェクトの種類、座標、形状、又は、認識正確度を示すスコアのうち少なくとも１つを含んでもよい、請求項４に記載の合成映像のアナログ信号出力方法。

【請求項6】

前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作は、前記現在フレームの前記ターゲットオブジェクトに対する前記スコアが予め決定された第１閾値未満であり、前記以前フレームの前記ターゲットオブジェクトに対する以前スコアの平均値が予め決定された第２閾値以上である場合、前記デジタル映像内の前記ターゲットオブジェクトの検出を決定する動作を含む、請求項５に記載の合成映像のアナログ信号出力方法。

【請求項7】

前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作は、前記ディープラーニング認識データに含まれたターゲットオブジェクト情報及び前記コンピュータ認識データに含まれた補正情報に基づいて前記ターゲットオブジェクトの位置を表示するマーカー映像レイヤを前記コンピュータグラフィックとして生成する動作と、
前記デジタル映像及び前記コンピュータグラフィックを合成することによって前記合成映像を生成する動作と、
を含む、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項8】

前記アナログ信号受信装置はブラックボックスモジュールである、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項9】

前記車両の運行情報を受信する動作と、
前記車両の運行情報及び前記ディープラーニング認識データに基づいて前記車両の現在状態に対する危険要素が存在するか否かを決定する動作と、
をさらに含む、請求項１に記載の合成映像のアナログ信号出力方法。

【請求項10】

前記車両の運行情報を受信する動作は、運行情報中継モジュールから前記車両の動作情報を受信する動作、又は、ＧＰＳモジュールから前記車両の位置情報を受信する動作のうち少なくとも１つを含んでもよい、請求項９に記載の合成映像のアナログ信号出力方法。

【請求項11】

前記危険要素が存在する場合、危険警報を出力する動作をさらに含む、請求項９に記載の合成映像のアナログ信号出力方法。

【請求項12】

請求項１～請求項１１のいずれか一項に記載の方法を実行させるためのプログラムを格納しているコンピュータで読み出し可能な記録媒体。

【請求項13】

合成映像のアナログ信号出力のための電子装置であって、
車両に装着されたターゲットカメラを用いて撮影されたオリジナル映像に対するアナログ信号を受信する第１変換部と、
前記オリジナル映像の解像度に基づいて前記オリジナル映像に対する前記アナログ信号をデジタル信号に変換する信号処理部と、
前記デジタル信号に基づいてデジタル映像を生成する映像処理部と、
１つ以上の映像認識モデルを用いて前記デジタル映像内のターゲットオブジェクトを決定する映像認識部と、
前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成し、前記合成映像をアナログ信号に変換し、前記合成映像に対する前記アナログ信号を前記車両に設けられるアナログ信号受信装置に送信する危険検出ソフトウェア部と、
を含み、
前記映像認識部は、
前記デジタル映像に基づいてディープラーニング映像認識方式に対する第１処理データ及びコンピュータビジョン映像認識方式に対する第２処理データをそれぞれ生成する動作と、
ディープラーニング映像認識モデルを用いて前記第１処理データに対するディープラーニング認識データを生成する動作と、
コンピュータビジョン映像認識モデルを用いて前記第２処理データに対するコンピュータビジョン認識データを生成する動作と、
前記ディープラーニング認識データ及び前記コンピュータビジョン認識データに基づいて前記デジタル映像内のターゲットオブジェクトを決定する動作と、
を行い、
前記車両の運行情報を受信する運行情報中継部と、
前記車両の運行情報及び前記ディープラーニング認識データに基づいて前記車両の現在状態に対する危険要素が存在するか否かを決定する危険検出部と、
前記危険要素が存在する場合、危険警報を出力する危険警報出力部と、
をさらに含む、電子装置。

【請求項14】

前記ディープラーニング映像認識モデルを用いて前記第１処理データに対する前記ディープラーニング認識データを生成する動作は、
前記ディープラーニング映像認識モデルを用いて前記第１処理データに対してターゲットオブジェクト情報を決定する動作と、
予め決定されたフレーム範囲内の以前フレームに対する以前オブジェクト情報及び前記ターゲットオブジェクト情報に基づいて現在フレームに対応する前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作と、
を含む、請求項１３に記載の電子装置。

【請求項15】

前記ターゲットオブジェクト情報は、前記ターゲットオブジェクトの種類、座標、形状、又は、認識正確度を示すスコアのうち少なくとも１つを含んでもよい、請求項１４に記載の電子装置。

【請求項16】

前記デジタル映像内の前記ターゲットオブジェクトの検出の有無を決定することで前記ディープラーニング認識データを生成する動作は、前記現在フレームの前記ターゲットオブジェクトに対する前記スコアが予め決定された第１閾値未満であり、前記以前フレームの前記ターゲットオブジェクトに対する以前スコアの平均値が予め決定された第２閾値以上である場合、前記デジタル映像内の前記ターゲットオブジェクトの検出を決定する動作を含む、請求項１５に記載の電子装置。

【請求項17】

前記ターゲットオブジェクトに対するコンピュータグラフィックを前記デジタル映像に合成することによって合成映像を生成する動作は、
前記ディープラーニング認識データに含まれたターゲットオブジェクト情報及び前記コンピュータ認識データに含まれた補正情報に基づいて、前記ターゲットオブジェクトの位置を表示するマーカー映像レイヤを前記コンピュータグラフィックとして生成する動作と、
前記デジタル映像及び前記コンピュータグラフィックを合成することによって前記合成映像を生成する動作と、
を含む、請求項１３に記載の電子装置。