特開 2024-502 車両の死角地帯の視覚化装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024000502

(43)【公開日】2024-01-05

(54)【発明の名称】車両の死角地帯の視覚化装置及び方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231225BHJP

   G06T 7/00 20170101ALI20231225BHJP

   G06V 20/56 20220101ALI20231225BHJP

   H04N 7/18 20060101ALI20231225BHJP

【ＦＩ】

G06T19/00 A

G06T7/00 650B

G06V20/56

H04N7/18 J

【審査請求】未請求

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2023079775

(22)【出願日】2023-05-15

(31)【優先権主張番号】10-2022-0075072

(32)【優先日】2022-06-20

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】朴 多乙

(72)【発明者】

【氏名】成 甲濟

(72)【発明者】

【氏名】李 東▲うく▼

(72)【発明者】

【氏名】李 宰雨

【テーマコード（参考）】

5B050

5C054

5L096

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA13

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5C054CA04

5C054CC02

5C054FC13

5C054FD03

5C054HA30

5L096BA04

5L096FA67

5L096FA69

(57)【要約】

【課題】車両の死角地帯の視覚化装置及び方法を提供する。
【解決手段】電子装置は、走行中である車両のカメラで異なる２つの視点（ｔｗｏ ｔｉｍｅ ｐｏｉｎｔｓ）で撮影された２つの映像及び前記車両の走行情報に基づいて、前記２つの視点間前記車両の動きに対する回転行列（ｒｏｔａｔｉｏｎ ｍａｔｒｉｘ）及び移動行列（ｔｒａｎｓｌａｔｉｏｎ ｍａｔｒｉｘ）を含む前記カメラ座標系の第１変換行列を決定し、前記第１変換行列を車両座標系の第２変換行列に変換し、前記回転行列から取得した前記車両のロール情報及びピッチ情報のうち少なくとも１つに基づいて、前記車両の動きを前記カメラの前記パラメータに反映するように前記カメラのパラメータをアップデートし、前記アップデートされたパラメータ及び前記第２変換行列を用いて、前記カメラの死角地帯を前記ロール情報及び前記ピッチ情報のうち少なくとも１つに基づいて視覚化するプロセッサを含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

走行中である車両のカメラで異なる２つの視点で撮影された２つの映像及び前記車両の走行情報に基づいて、前記２つの視点間に前記車両の動きに対する回転行列及び移動行列を含むカメラ座標系の第１変換行列を決定し、
前記第１変換行列を車両座標系の第２変換行列に変換し、
前記回転行列から取得した前記車両のロール情報及びピッチ情報のうち少なくとも１つに基づいて、前記車両の動きを前記カメラのパラメータに反映するように前記カメラの前記パラメータをアップデートし、
前記アップデートされたパラメータ及び前記第２変換行列を用いて、前記カメラの死角地帯を前記ロール情報及び前記ピッチ情報のうち少なくとも１つに基づいて視覚化するプロセッサを含む、電子装置。

【請求項2】

前記２つの視点は以前視点及び現在視点を含み、
前記プロセッサは、前記死角地帯を視覚化するために、
前記第２変換行列に基づいて、前記死角地帯に該当する前記現在視点の領域が前記以前視点である領域に該当するかを決定し、
前記以前視点の領域を前記アップデートされたパラメータにより前記死角地帯に視覚化する、請求項１に記載の電子装置。

【請求項3】

前記プロセッサは、前記パラメータをアップデートするために、前記車両の動きに応じて変化した前記ロール情報及び前記ピッチ情報のうち少なくとも１つを前記パラメータに反映することによって前記パラメータをアップデートする、請求項１に記載の電子装置。

【請求項4】

前記プロセッサは、前記第１変換行列を決定するために、
前記２つの映像から抽出された特徴間のマッチング関係と前記パラメータに基づいて必須行列を決定し、
前記必須行列を分解して前記回転行列及び前記移動行列を決定し、
前記移動行列は、前記走行情報による移動距離によってスケールされる、請求項１に記載の電子装置。

【請求項5】

前記プロセッサは、前記第２変換行列への変換のために、
前記車両座標系を前記カメラ座標系に変換する第３変換行列と、
前記第１変換行列と、
前記カメラ座標系を前記車両座標系に変換する第４変換行列と、
に基づいて前記カメラ座標系の前記第２変換行列を決定する、請求項１に記載の電子装置。

【請求項6】

前記プロセッサは、前記第２変換行列への変換のために、前記車両の走行情報から決定された前記車両座標系の第３変換行列に基づいて前記車両座標系の第２変換行列を補正する、請求項１に記載の電子装置。

【請求項7】

前記プロセッサは、前記第１変換行列を決定するために、前記車両に固定されたセンサの値を用いて前記回転行列及び前記移動行列を含む前記第１変換行列を補正する、請求項１に記載の電子装置。

【請求項8】

前記プロセッサは、前記死角地帯を視覚化するために、駐車された車両が走行を再開する前に、前記死角地帯を駐車前の走行状態で決定された死角地帯の映像に視覚化する、請求項１に記載の電子装置。

【請求項9】

前記カメラ座標系及び前記パラメータは、前記車両の複数のカメラのうち前記車両の走行方向により決定されたいずれか１つを基準にする、請求項１に記載の電子装置。

【請求項10】

前記死角地帯は、前記車両の複数のカメラによって撮影されない前記車両の下部領域を含む、請求項１に記載の電子装置。

【請求項11】

プロセッサで実現される電子装置の動作方法であって、
走行中である車両のカメラで異なる２つの視点で撮影された２つの映像を取得する動作と、
前記車両の走行情報を取得する動作と、
前記２つの映像及び走行情報に基づいて、前記２つの視点間の回転行列及び移動行列を含むカメラ座標系の第１変換行列を決定する動作と、
前記第１変換行列を車両座標系の第２変換行列に変換する動作と、
前記回転行列から取得した前記車両のロール情報及びピッチ情報のうち少なくとも１つに基づいて、前記車両の動きを前記カメラのパラメータに反映するように前記カメラの前記パラメータをアップデートする動作と、
前記アップデートされたパラメータ及び前記第２変換行列に基づいて、前記カメラの死角地帯を前記ロール情報及び前記ピッチ情報のうち少なくとも１つに基づいて視覚化する動作と、
を含む電子装置の動作方法。

【請求項12】

前記パラメータをアップデートする動作は、前記車両の動きに応じて変化した前記ロール情報及び前記ピッチ情報のうち少なくとも１つを前記パラメータに反映することによって前記パラメータをアップデートする、請求項１１に記載の電子装置の動作方法。

【請求項13】

前記２つの視点は以前視点と現在視点を含み、
前記死角地帯を視覚化する動作は、前記第２変換行列に基づいて前記死角地帯に該当する前記現在視点の領域が前記以前視点である領域に該当するかを決定し、前記以前視点の領域を前記アップデートされたパラメータにより前記死角地帯に視覚化する、請求項１１に記載の電子装置の動作方法。

【請求項14】

前記第１変換行列を決定する動作は、
前記２つの映像から抽出された特徴間マッチング関係と前記パラメータに基づいて必須行列を決定し、前記必須行列を分解して前記回転行列及び前記移動行列を決定し、
前記移動行列は、前記走行情報による移動距離によってスケールされる、請求項１１に記載の電子装置の動作方法。

【請求項15】

前記第２変換行列に変換する動作は、
前記車両座標系を前記カメラ座標系に変換する第３変換行列と、
前記第１変換行列と、
前記カメラ座標系を前記車両座標系に変換する第４変換行列と、
に基づいて、前記カメラ座標系の前記第２変換行列を決定する、請求項１１に記載の電子装置の動作方法。

【請求項16】

前記第２変換行列に変換する動作は、前記車両の走行情報から決定された前記車両座標系の第３変換行列に基づいて前記車両座標系の第２変換行列を補正する、請求項１１に記載の電子装置の動作方法。

【請求項17】

前記第１変換行列を決定する動作は、前記車両に固定されたセンサの値に基づいて、前記回転行列及び前記移動行列を含む前記第１変換行列を補正する、請求項１１に記載の電子装置の動作方法。

【請求項18】

前記死角地帯を視覚化する動作は、駐車していた車両が走行を再開する前に、前記死角地帯を駐車以前の走行状態で決定された死角地帯の映像に視覚化する、請求項１１に記載の電子装置の動作方法。

【請求項19】

前記カメラの座標系及び前記パラメータは、前記車両の複数のカメラのうち前記車両の走行方向により決定されたいずれか１つを基準にする、請求項１１に記載の電子装置の動作方法。

【請求項20】

請求項１１請求項１９のいずれか１項に記載の方法を実行するコンピュータプログラムを格納するコンピュータ読み出し可能な記録媒体。

【請求項21】

プロセッサで実現される電子装置の動作方法であって、
車両のカメラの座標系において、前記車両の走行情報に基づいて前記カメラによって以前視点で撮影された以前映像と前記カメラによって現在視点で撮影された現在映像との間の回転情報及び移動情報を決定する動作と、
前記回転情報に基づいて前記カメラのパラメータをアップデートする動作と、
前記回転情報及び前記移動情報を車両座標系に変換する動作と、
前記回転情報、前記アップデートされたパラメータ、前記変換された回転情報、及び前記変換された移動情報に基づいて前記現在映像を用いて生成されたレンダリングされた映像に前記カメラの死角地帯を視覚化する動作と、
を含む電子装置の動作方法。

【請求項22】

前記回転情報及び前記移動情報を決定する動作は、
前記以前視点と前記現在視点との間の回転行列及び移動行列を含むカメラ座標系の第１変換行列を決定し、
前記回転情報及び前記移動情報を変換する動作は、前記第１変換行列を前記車両座標系の第２変換行列に変換する、請求項２１に記載の電子装置の動作方法。

【請求項23】

前記レンダリングされた映像は、前記現在映像及び前記現在視点で前記車両の１つ以上の他のカメラによって撮影された１つ以上の他の現在映像に基づいて生成されたトップビュー映像である、請求項２１に記載の電子装置の動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

以下の開示は、車両の死角地帯の視覚化装置及び方法に関する。

【背景技術】

【0002】

ＳＶＭ（サラウンドビューモニター（ｓｕｒｒｏｕｎｄ ｖｉｅｗ ｍｏｎｉｔｏｒ））は、車両周辺を車両上から見下ろす形態の映像を提供する駐車安全システムである。例えば、ＳＶＭは、車両の前方、左右側面、後方の１ヶずつの計４つのカメラから入力される映像を視点変化及び映像合成方式に基づいて車両の周辺を鳥瞰図の形式に基づいて上空から下に見下ろした映像及び様々なビュー（ｖｉｅｗ）モード映像を提供することができる。

【0003】

しかし、一般的なＳＶＭで車体によって遮られる部分（例えば、ボンネット、車体下部など）はカメラで撮影できないため、その部分に障害物が位置する場合に運転者の視野確保が難しくなり、駐車あるいは走行に困難が発生する恐れがある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両のカメラで直接撮影できない車両のボンネット、車両下部のような死角地帯が、カメラによって直接撮影された映像に異質感なく表示される必要がある。

【0005】

本文書に開示される様々な実施形態によれば、車両の３次元の動きを推定してカメラパラメータに反映し、これを用いて死角地帯を視覚化することで車両の動きに自然な死角地帯の映像を提供することにある。

【課題を解決するための手段】

【0006】

一実施形態に係る電子装置は、走行中である車両のカメラで異なる２つの視点で撮影された２つの映像及び前記車両の走行情報に基づいて、前記２つの視点間に前記車両の動きに対する回転行列及び移動行列を含むカメラ座標系の第１変換行列を決定し、前記第１変換行列を車両座標系の第２変換行列に変換し、前記回転行列から取得した前記車両のロール情報及びピッチ情報のうち少なくとも１つに基づいて、前記車両の動きを前記カメラのパラメータに反映するように前記カメラの前記パラメータをアップデートし、前記アップデートされたパラメータ及び前記第２変換行列を用いて、前記カメラの死角地帯を前記ロール情報及び前記ピッチ情報のうち少なくとも１つに基づいて視覚化するプロセッサを含む。

【0007】

前記２つの視点は以前視点及び現在視点を含み、前記プロセッサは、前記死角地帯を視覚化するために、前記第２変換行列に基づいて、前記死角地帯に該当する前記現在視点の領域が前記以前視点である領域に該当するかを決定し、前記以前視点の領域を前記アップデートされたパラメータにより前記死角地帯に視覚化することができる。

【0008】

前記プロセッサは、前記パラメータをアップデートするために、前記車両の動きに応じて変化した前記ロール情報及び前記ピッチ情報のうち少なくとも１つを前記パラメータに反映することによって前記パラメータをアップデートすることができる。

【0009】

前記プロセッサは、前記第１変換行列を決定するために、前記２つの映像から抽出された特徴間のマッチング関係と前記パラメータに基づいて必須行列を決定し、前記必須行列を分解して前記回転行列及び前記移動行列を決定し、前記移動行列は、前記走行情報による移動距離によってスケールされることができる。

【0010】

前記プロセッサは、前記第２変換行列への変換のために、記車両座標系を前記カメラ座標系に変換する第３変換行列と、前記第１変換行列と、前記カメラ座標系を前記車両座標系に変換する第４変換行列に基づいて前記カメラ座標系の前記第２変換行列を決定することができる。

【0011】

前記プロセッサは、前記第２変換行列への変換のために、前記車両の走行情報から決定された前記車両座標系の第３変換行列に基づいて前記車両座標系の第２変換行列を補正することができる。

【0012】

前記プロセッサは、前記第１変換行列を決定するために、前記車両に固定されたセンサの値を用いて前記回転行列及び前記移動行列を含む前記第１変換行列を補正することができる。

【0013】

前記プロセッサは、前記死角地帯を視覚化するために、駐車された車両が走行を再開する前に、前記死角地帯を駐車前の走行状態で決定された死角地帯の映像に視覚化することができる。

【0014】

前記カメラ座標系及び前記パラメータは、前記車両の複数のカメラのうち前記車両の走行方向により決定されたいずれか１つを基準にすることができる。

【0015】

前記死角地帯は、前記車両の複数のカメラによって撮影されない前記車両の下部領域を含むことができる。

【0016】

一実施形態に係るプロセッサで実現される電子装置の動作方法は、走行中である車両のカメラで異なる２つの視点で撮影された２つの映像を取得する動作と、前記車両の走行情報を取得する動作と、前記２つの映像及び走行情報に基づいて、前記２つの視点間の回転行列及び移動行列を含む前記カメラ座標系の第１変換行列を決定する動作と、前記第１変換行列を車両座標系の第２変換行列に変換する動作と、前記回転行列から取得した前記車両のロール情報及びピッチ情報のうち少なくとも１つに基づいて、前記車両の動きを前記カメラのパラメータに反映するように前記カメラの前記パラメータをアップデートする動作と、前記アップデートされたパラメータ及び前記第２変換行列に基づいて、前記カメラの死角地帯を前記ロール情報及び前記ピッチ情報のうち少なくとも１つに基づいて視覚化する動作とを含む。

【0017】

前記パラメータをアップデートする動作は、前記車両の動きに応じて変化した前記ロール情報及び前記ピッチ情報のうち少なくとも１つを前記パラメータに反映することによって前記パラメータをアップデートすることができる。

【0018】

前記２つの視点は以前視点と現在視点を含み、前記死角地帯を視覚化する動作は、前記第２変換行列に基づいて前記死角地帯に該当する前記現在視点の領域が前記以前視点である領域に該当するかを決定し、前記以前視点の領域を前記アップデートされたパラメータにより前記死角地帯に視覚化することができる。

【0019】

前記第１変換行列を決定する動作は、前記２つの映像から抽出された特徴間マッチング関係と前記パラメータに基づいて必須行列を決定し、前記必須行列を分解して前記回転行列及び前記移動行列を決定し、前記移動行列は、前記走行情報による移動距離によってスケールされることができる。

【0020】

前記第２変換行列に変換する動作は、前記車両座標系を前記カメラ座標系に変換する第３変換行列と、前記第１変換行列と、前記カメラ座標系を前記車両座標系に変換する第４変換行列と、に基づいて、前記カメラ座標系の前記第２変換行列を決定することができる。

【0021】

前記第２変換行列に変換する動作は、前記車両の走行情報から決定された前記車両座標系の第３変換行列に基づいて前記車両座標系の第２変換行列を補正することができる。

【0022】

前記第１変換行列を決定する動作は、前記車両に固定されたセンサの値に基づいて、前記回転行列及び前記移動行列を含む前記第１変換行列を補正することができる。

【0023】

前記死角地帯を視覚化する動作は、駐車していた車両が走行を再開する前に、前記死角地帯を駐車以前の走行状態で決定された死角地帯の映像に視覚化することができる。

【0024】

前記カメラの座標系及び前記パラメータは、前記車両の複数のカメラのうち前記車両の走行方向により決定されたいずれか１つを基準にすることがＤけいる。

【0025】

一実施形態に係るプロセッサで実現される電子装置の動作方法は、車両のカメラの座標系において、前記車両の走行情報に基づいて前記カメラによって以前視点で撮影された以前映像と前記カメラによって現在視点で撮影された現在映像との間の回転情報及び移動情報を決定する動作と、前記回転情報に基づいて前記カメラのパラメータをアップデートする動作と、前記回転情報及び前記移動情報を車両座標系に変換する動作と、前記回転情報、前記アップデートされたパラメータ、前記変換された回転情報、及び前記変換された移動情報に基づいて前記現在映像を用いて生成されたレンダリングされた映像に前記カメラの死角地帯を視覚化する動作とを含む。

【0026】

前記回転情報及び前記移動情報を決定する動作は、前記以前視点と前記現在視点との間の回転行列及び移動行列を含むカメラ座標系の第１変換行列を決定し、前記回転情報及び前記移動情報を変換する動作は、前記第１変換行列を前記車両座標系の第２変換行列に変換することができる。

【0027】

前記レンダリングされた映像は、前記現在映像及び前記現在視点で前記車両の１つ以上の他のカメラによって撮影された１つ以上の他の現在映像に基づいて生成されたトップビュー映像であってもよい。

【発明の効果】

【0028】

様々な実施形態によれば、車両そのものに遮られて視野確保が難しい死角地帯に対して様々な走行状況であっても、車両の動きに自然な映像を提供することによって運転者の走行便宜性を向上させることができる。

【0029】

様々な実施形態によれば、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）を含む車両の３次元の動きを推定してカメラパラメータに反映し、これを用いて車両下部の死角地帯を視覚化することによって、カメラによって直接撮影された映像に異質感なしに車両の動きに自然な死角地帯の映像を提供することができる。

【図面の簡単な説明】

【0030】

【図1】一実施形態に係る電子装置を説明するための図である。

【図2】一実施形態に係るＳＶＭ映像内の死角地帯を説明するための図である。

【図3】一実施形態に係る車両の３次元の動き情報を説明するための図である。

【図4】一実施形態に係る電子装置の動作方法を示す図である。

【図5】一実施形態に係る必須行列を決定する動作を説明するための図である。

【図6】一実施形態に係る車両の死角地帯を視覚化する動作を説明するための図である。

【図7】一実施形態に係る車両の動きを反映した死角地帯の視覚化を説明するための図である。

【発明を実施するための形態】

【0031】

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

【0032】

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

【0033】

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

【0034】

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0035】

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0036】

以下、添付する図面を参照しながら実施形態を詳細に説明する。添付図面を参照して説明するにおいて、図面符号に関係なく同じ構成要素には同じ参照符号を付与し、これに対する重複する説明は省略する。

【0037】

図１は、一実施形態に係る電子装置を説明するための図である。

【0038】

図１を参照すると、車両１００は、道路や線路上を走る全ての形態の移動手段であるか、又は、全ての形態の移動手段を含むことができる。車両１００は、例えば、自動車、原動機付自転車などを含み、自動車は、乗用車、貨物車、二輪自動車などの様々な形態又は様々な形態を含んでもよい。車両１００は、自律走行車両、知的型車両、及び走行補助システムが搭載された車両であるか、又は、該当車両を含んでもよい。本明細書における車両１００は、電子装置１１０が装着されている車両を称するが、前述した例に限定されない。

【0039】

電子装置１１０は、メモリ１１１（例えば、１つ以上のメモリ）、プロセッサ１１３（例えば１つ以上のプロセッサ）及びカメラ１１５（例えば、１つ以上のカメラ）を含む。

【0040】

メモリ１１１は、コンピュータで読出し可能な命令語を含んでもよい。プロセッサ１１３は、メモリ１１１に格納された命令語がプロセッサ１１３で実行されることにより後で説明する動作を行うことができる。メモリ１１１は、揮発性メモリ又は不揮発性メモリであってもよい。メモリ１１１は、プロセッサ１１３によって実行されるとき、プロセッサ１１３が図１～図７を参照して説明される動作及び方法のうちの一部又は全てを行うように構成する命令語を格納する非一時的コンピュータで読み出し可能な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）であるか、これを含んでもよい。プロセッサ１１３は、図１～図７を参照して説明される動作及び方法のうち一部又は全てを行うための命令語を実行する。

【0041】

プロセッサ１１３は、命令語、あるいはプログラムを実行したり、電子装置１１０を制御する装置として、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であるか又はこれを含むことができるが、前述した例に限定されない。

【0042】

プロセッサ１１３は、車両１００に固定されたカメラ１１５で撮影された映像をイメージ処理を行うことで、車両周辺を車両中心に表示するトップビュー（ｔｏｐ－ｖｉｅｗ）モード映像をレンダリングすることができる。図２を参照して詳細に説明するが、カメラ１１５の固定位置に応じてレンダリング映像に表示されない死角地帯が発生することがあり、プロセッサ１１３は、車両１００の３次元の動きに応じて、死角地帯をレンダリングされた映像（例えば、ＳＶＭ（ｓｕｒｒｏｕｎｄ ｖｉｅｗ ｍｏｎｉｔｏｒ）映像）で決定し視覚化することによって、車両の動きに自然なレンダリング映像を提供することができ、ユーザ（例えば、車両運転者）は、自然なレンダリング映像が提供されて走行又は駐車操作に活用し得る。

【0043】

カメラ１１５は、車両１００に固定された１つ以上のカメラを含んでもよい。例えば、カメラ１１５は、車両１００の前方、後方、左側面、右側面に配置されている４つのカメラをそれぞれ含んでもよい。カメラ１１５の配置構造により、車両１００の下部に対する死角地帯が発生することがある。カメラ１１５で撮影された映像は、プロセッサ１１３に伝達され得る。

【0044】

図１の例示において、カメラ１１５が電子装置１１０に含まれるよものと示されているが、実施形態がこれに限定されることなく、電子装置１１０が外部のカメラから受信した映像を処理する場合にも本明細書の説明が適用され得る。また、図１の例示において、電子装置１１０が車両１００に搭載されたものと図示されているが、実施形態がこれに限定されることなく、車両１００に搭載されているカメラ１１５で撮影された映像が車両１００外部の電子装置１１０に伝えられて映像処理が実行されてもよい。この場合、電子装置１１０は、携帯電話、スマートフォン、タブレット、電子ブック装置、ラップトップ、パーソナルコンピュータ、デスクトップ、ワークステーション又はサーバのような様々なコンピューティング装置、スマートウォッチ、スマートメガネ、ＨＭＤ（ヘッドアップディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ））、又は、スマート衣類のような様々なウェアラブル機器、スマートスピーカ、スマートＴＶ、又は、スマート冷蔵庫のような様々な家電装置、スマート自動車、スマートキオスク、ＩｏＴ（モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ））機器、ＷＡＤ（歩行補助装置（Ｗａｌｋｉｎｇ Ａｓｓｉｓｔ Ｄｅｖｉｃｅ））、ドローン、又はロボットであるか、又はこれを含んでもよい。

【0045】

図２は、一実施形態に係るＳＶＭ映像内の死角地帯を説明するための図である。

【0046】

図２を参照すると、車両に固定されたカメラで生成された撮影映像２１０及びＳＶＭ映像２２０が示されている。

【0047】

ＳＶＭは、映像合成方式とカメラ補正方式を介してユーザに車両上から見下ろす形態の映像を提供するシステムである。映像合成方式は撮影映像の歪曲を除去し、撮影映像を仮想の視点で見る映像に変換したり、４つの映像を１つに組み合わせる方式であってもよい。カメラ補正方式は、超広角レンズの適用による映像歪曲を解消するためにカメラの光学的特性を分析して補正する方式である。この二種類の方式を活用して、ユーザで提供されるＳＶＭ映像（例えば、ＳＶＭ映像２２０）が撮影された映像（例えば、撮影映像２１０）に基づいて決定されることができる。

【0048】

図２の例示で、撮影映像２１０は、車両に固定されている４つのカメラで撮影された映像であって、例えば、魚眼カメラ（ｆｉｓｈ ｅｙｅ ｃａｍｅｒａ）で撮影された映像であってもよい。例えば、撮影映像２１０は、車両のフロントグリル、両サイドミラー、トランクドアに固定されている４つのカメラにより撮影されたものであってもよい。例えば、撮影映像２１０は、車両のフロントグリルに固定されているカメラにより撮影された第１映像、車両の左側サイドミラーに固定されているカメラにより撮影された第２映像、車両の右側サイドミラーに固定されているカメラにより撮影された第３映像、及び車両トランクドアに固定されているカメラにより撮影した第４映像を含んでもよい。ＳＶＭ映像２２０は、撮影映像２１０を合成すること生成された車両を上方から見下ろすトップビューモード映像と、車両を斜めに見下ろすボウルビュー（ｂｏｗｌ ｖｉｅｗ）映像を含んでもよい。カメラ配置構造によりカメラによって撮影されない死角地帯２３０，２４０がＳＶＭ映像２２０に含まれてもよい。死角地帯２３０，２４０は、車両の下部に対応する部分として、該当部分に障害物が位置する場合、ユーザがＳＶＭ映像２２０により障害物の確認が困難である。一方、一実施形態に係る電子装置は、死角地帯２３０，２４０を視覚化してユーザに提供し得る。

【0049】

図３は、一実施形態に係る車両の３次元の動き情報を説明するための図である。

【0050】

図３を参照すると、車両３１０の回転の動きはｘ軸を基準にして回転するロール（ｒｏｌｌ）、ｙ軸を基準にして回転するピッチ（ｐｉｔｃｈ）、及びｚ軸を基準にして回転するヨー（ｙａｗ）に表現されてもよい。例えば、車両３１０がスピードバンプを越えたり、傾斜の傾きが変わる道路を走行する場合に車両３１０にピッチが発生し得る。また、例えば、走行方向の垂直方向に道路が左側又は右側に傾いた場合、車両３１０にロールが発生してもよい。

【0051】

また、車両３１０の移動の動きはｘ、ｙ、ｚ軸を基準にして表現される。車両３１０の３次元の動き情報は、車両３１０の３次元回転を示す３×３回転行列と、車両３１０の３次元移動を示す３×１移動行列に表現される。

【0052】

以下で詳細に説明するが、ＳＶＭ映像に含まれている死角地帯は、車両３１０の３次元の動き情報により視覚化されることで、様々な走行状況でも車両の３次元の動きに自然な映像を提供してユーザの走行便宜性を向上させることができる。

【0053】

図４は、一実施形態に係る電子装置の動作方法を示す図である。

【0054】

以下、実施形態において各動作４１０～４６０は順次に実行されてもよいが、必ず順次に実行されなくてもよい。例えば、各動作４１０～４６０の順序が変更されてもよく、少なくとも２つの動作が並列的又は同時に実行されてもよい。また、図示された例の思想及び範囲を超えない限り、動作４１０～４６０のうちの１つ以上は省略されてもよい。動作４１０～動作４６０は、電子装置の少なくとも１つの構成要素（例えば、メモリ、プロセッサ及び／又はカメラ）によって実行されることができる。以下の図４に対する説明に、追加的に図１～図３を参照して前述した事項が図４に適用されてもよい。

【0055】

動作４１０において、電子装置は、走行中である車両に固定されているカメラで異なる２つの視点で撮影された２つの映像を取得する。例えば、電子装置は、車両に固定されているカメラにおいて、以前視点ｔ－１で撮影した映像と現在視点ｔで撮影した映像を取得できるが、前述した例に限定されない。

【0056】

動作４２０において、電子装置は、車両の走行情報を取得する。例えば、走行情報は、車両のＣＡＮ信号（コントローラエリアネットワーク信号（ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ ｓｉｇｎａｌ））に含まれたホイールスピード情報（車輪速情報（ｗｈｅｅｌ ｓｐｅｅｄ ｉｎｆｏｒｍａｔｉｏｎ））を含むが、前述した例に限定されない。

【0057】

動作４３０において、電子装置は、２つの映像及び前記車両の走行情報を用いて前記２つの視点間の回転行列及び移動行列を含むカメラ座標系の第１変換行列を決定する。カメラ座標系は、該当カメラを中心に設定された座標系を示してもよい。

【0058】

例えば、動作４１０において、電子装置は、移動中である状態で異なる２つの視点で映像を撮影してもよい。例えば、電子装置は、車両の走行方向を撮影するカメラ（例えば、前方に走行する車両である場合、前方に固定されているカメラ）で以前視点ｔ－１と現在視点ｔに撮影した映像を取得する。図５の例示で、以前視点ｔ－１に撮影された映像は映像Ａであり、現在視点ｔに撮影された映像は映像Ｂである。

【0059】

例えば、動作４３０で、電子装置は、映像Ａ、Ｂから複数の特徴（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｆｅａｔｕｒｅｓ）を抽出し、抽出された特徴の中からマッチング関係を決定することができる。例えば、図５に図に示すように、電子装置は、映像Ａ、Ｂから特徴ｐ、ｐ’を抽出し、特徴ｐ、ｐ’間のマッチング関係を決定することができる。抽出された特徴は、各映像でトラッキング可能なポイントに該当するものとして、例えば、エッジや頂点に該当する。図５の例示で、ポイントＰ（又は、Ｐ’）が各映像に撮影された特徴ｐ、ｐ’から抽出されてもよい。マッチング関係は、映像Ａ内の特徴ｐと映像Ｂ内の特徴ｐ’が互いにマッチングされること（例えば、同一のＰ又はＰ’に該当）を示す。

【0060】

例えば、特徴ｐ、ｐ’の抽出には、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）アルゴリズムを用いてもよく、特徴ｐ、ｐ’間のマッチング関係の決定にはＮＮＤＲ（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｄｉｓｔａｎｃｅ Ｒａｔｉｏ）アルゴリズムが使用されてもよいが、前述した例に限定されず、その他にも様々な方式が制限なく適用され得る。

【0061】

例えば、動作４３０において、電子装置は、カメラパラメータを用いてマッチング関係を正規イメージ座標系に変換した後に必須行列を算出する。ここで、映像に歪曲補正が適用されてもよく、必須行列算出に８点アルゴリズム（Ｅｉｇｈｔ－Ｐｏｉｎｔ Ａｌｇｏｒｉｔｈｍ）が使用されるが、前述した例に限定されない。正規イメージ座標系は、正規化を介して座標系の単位が除去された座標系として、例えば、カメラ焦点との距離が１である仮想のイメージ平面を定義する座標系であってもよい。カメラに応じてカメラパラメータが変わるため、イメージで情報を解釈するときにはカメラパラメータの影響が除去された正規イメージ座標系が活用される。必須行列は、任意の２地点で撮影した映像内のマッチング特徴点の正規イメージ平面における同次座標系（ｈｏｍｏｇｅｎｅｏｕｓ ｃｏｏｒｄｉｎａｔｅ）上の点間に常に成立する関係を示す行列として、例えば、３×３行列であってもよいが、前述した例に限定されない。また、例えば、カメラパラメータを用いてピクセル座標系を正規イメージ座標系に変換するとき、下記の数式（１）が用いられる。

【数1】

【0062】

上記の数式（１）において、（ｘ、ｙ）は２次元映像内座標を示し、ｆ_ｘ、ｆ_ｙはカメラの焦点距離を示し、ｃ_ｘ、ｃ_ｙはカメラの主点を示し、（ｕ、ｖ）は正規イメージ座標系の座標を示す。

【0063】

電子装置は、必須行列を分解して以前視点ｔ－１と現在視点ｔとの間の車両の動きに対する回転行列Ｒ及び移動行列ｔを決定することができる。電子装置は、回転行列Ｒ及び移動行列ｔを含むカメラ座標系の第１変換行列を決定することができる。例えば、回転行列Ｒは３×３行列であり、移動行列ｔは３×１行列であり、必須行列から回転行列Ｒ及び移動行列ｔを決定するとき、ＳＶＤ（特異値分解（ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ））アルゴリズムが使用されるが、前述した例に限定されない。

【0064】

移動行列ｔを決定するとき、走行情報による移動距離によってスケールされてもよい。例えば、走行情報は、車両のＣＡＮ信号（ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ ｓｉｇｎａｌ）に含まれているホイールスピード情報（ｗｈｅｅｌ ｓｐｅｅｄ ｉｎｆｏｒｍａｔｉｏｎ）を含んでもよい。移動距離は、ホイールスピード情報及び以前視点ｔ－１と現在視点ｔとの間の時間差に基づいて決定され得る。

【0065】

動作４４０において、電子装置は、第１変換行列を車両座標系の第２変換行列に変換する。車両座標系は車両を中心に設定された座標系を示す。

【0066】

例えば、電子装置は、下記の数式（２）を用いてカメラ座標系の第１変換行列を車両座標系の第２変換行列に変換することができる。

【数2】

【0067】

上記の数式（２）において、Ｔ_{Ｃａｍｅｒａ ｔｏ Ｃａｒ}はカメラ座標系を車両座標系に変換する行列として、該当車両の最初ＳＶＭシステムを構築するとき実行される初期キャリブレーション（ｉｎｉｔｉａｌ ｃａｌｉｂｒａｔｉｏｎ）動作で決定されてもよい。Ｔ_{Ｃａｍｅｒａ（ｔ）ｔｏ（ｔ－１）}は動作４３０で決定された第１変換行列として、カメラ座標系で以前視点ｔ－１から現在視点ｔへの変換行列を示す。Ｔ_{Ｃａｒ ｔｏ Ｃａｍｅｒａ}は車両座標系をカメラ座標系に変換する行列として、Ｔ_{Ｃａｍｅｒａ ｔｏ Ｃａｒ}の逆変換行列に該当する。Ｔ_{Ｃａｒ（ｔ）ｔｏ（ｔ－１）}は車両座標系の第２変換行列を示す。ここで、Ｔは３×３回転行列と３×１移動行列を含む３×４行列を示すが、前述した例に限定されず、例えば、Ｔは数式（２）において、行列間の算出を容易にするために４×４行列に表現されてもよい。例えば、４×４行列は、先に説明した３×４行列に（０，０，０，１）行列を４番目の行に追加することによって決定され、このように具現された４×４行列は、各Ｔ行列間の乗算が可能である。

【0068】

以下で詳細に説明するが、第２変換行列Ｔ_{Ｃａｒ（ｔ）ｔｏ（ｔ－１）}を利用すると、現在視点ｔで死角地帯に該当する領域が以前視点ｔ－１でいずれかの領域に該当するかを決定することができる。現在視点ｔで死角地帯に該当する領域の位置情報は、車両座標系を基準にして該当の位置情報にＴ_{Ｃａｒ ｔｏ Ｃａｍｅｒａ}が乗算されれば、位置情報がカメラ座標系に変換される。そして、カメラ座標系の位置情報にＴ_{Ｃａｍｅｒａ（ｔ）ｔｏ（ｔ－１）}が乗算されれば、カメラ座標系上で現在視点の位置情報が以前視点の位置情報に変換される。結局、電子装置は、ユーザに提供されるレンダリング映像は車両座標系に該当するため、カメラ座標系上で以前視点の位置情報を車両座標系上に変換することができ、これはＴ_{Ｃａｍｅｒａ ｔｏ Ｃａｒ}に基づいて実行され得る。

【0069】

動作４５０において、電子装置は、回転行列から取得した前記車両のロール情報及びピッチ情報のうち少なくとも１つを用いて、前記車両の動きを反映するように前記カメラのパラメータをアップデートする。

【0070】

例えば、動作４５０で、電子装置は、以下の数式（３）を用いて、動作４３０で決定された回転行列Ｒを車両のロール情報、ピッチ情報、ヨー情報に分解することができる。ここで、ロール情報、ピッチ情報、ヨー情報は、以前視点ｔ－１と現在視点ｔとの間に発生した車両の３次元の動きを示す。

【数3】

【0071】

上記の数式（３）において、αはロール情報を示し、βはピッチ情報を示し、γはヨー情報を示す。

【0072】

電子装置は、車両のロール情報及びピッチ情報のうち少なくとも１つを用いて車両の動きを反映するよう、カメラパラメータをアップデートすることができる。例えば、車両がスピードバンプを越えて以前視点ｔ－１と現在視点ｔとの間にピッチ情報３度発生した場合、電子装置は、現在のカメラパラメータ内のピッチ情報２度に３度を追加してピッチ情報を５度にアップデートすることができる。

【0073】

カメラパラメータは、カメラ１１５の焦点距離、縦横比（ａｓｐｅｃｔ ｒａｔｉｏ）、主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）のようなカメラ１１５そのものに関する内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）とカメラ１１５の設置の高さ、方向（例えば、ファン、チルト）などカメラ１１５と外部空間の幾何学的な関係に関する外部パラメータを含んでもよい。

【0074】

車両のロール情報及びピッチ情報のうち少なくとも１つを用いてカメラパラメータをアップデートすることで、アップデートされたカメラパラメータを用いて車両の動きに応じて自然なレンダリング映像を生成することができる。

【0075】

動作４６０において、電子装置は、アップデートされたパラメータ及び前記第２変換行列を用いて、前記カメラの死角地帯を前記ロール情報及び前記ピッチ情報のうち少なくとも１つに基づいて視覚化する。

【0076】

図６の例示で、電子装置は、第２変換行列６４０を用いて死角地帯６３０に該当する現在視点ｔの領域６２０が、以前視点ｔ－１である領域６１０に該当するかを決定することができる。現在視点ｔで死角地帯６３０内の１つの領域６２０は、現在視点ｔでカメラによって直接撮影されることはできない部分である。領域６２０を視覚化するために、以前視点ｔ－１の映像が活用されてもよい。第２変換行列６４０を利用すると、領域６２０が以前視点ｔ－１の領域６１０に該当することが識別され得る。

【0077】

一実施形態に係る電子装置は、以前視点ｔ－１の領域６１０をアップデートされたパラメータにより死角地帯６３０に視覚化することができる。先に説明したように、アップデートされたパラメータは、以前視点ｔ－１と現在視点ｔとの間の車両の動きが反映されたカメラパラメータであるため、電子装置は、以前視点ｔ－１の領域６１０をアップデートされたパラメータにより死角地帯６３０に視覚化することで、車両の動きに自然な視覚化を行うことができる。例えば、以前視点ｔ－１と現在視点ｔとの間に車両がスピードバンプを越えてピッチ情報が変わった場合、電子装置は、変化されたピッチ情報により以前視点ｔ－１の領域６１０を現在視点ｔの領域６２０に視覚化することができる。

【0078】

また、一実施形態によれば、電子装置は、車両の走行情報に基づいて車両座標系の第３変換行列を決定してもよい。例えば、電子装置は、ＣＡＮ信号から車両座標系の第３変換行列を迅速に求めることができる。また、車両が平地の直線道路を走行する場合、ＣＡＮ信号から決定された車両座標系の第３変換行列がイメージ基盤として決定される車両座標系の第２変換行列よりも高い正確度を有するため、第３変換行列を用いて第２変換行列を補正することで、より高い正確度の車両座標系の変換行列を取得することができる。

【0079】

また、一実施形態によれば、電子装置は車両に固定されたセンサの値を用いて動作４３０で決定された回転行列及び移動行列を含む第１変換行列を補正することができる。例えば、車両に固定されているセンサは、ライダー（ｌｉｄａｒ）、レーダー（ｒａｄａｒ）を含んでもよく、車両の３次元の動きを検出し得る。先に説明したセンサが車両に搭載された場合、該当センサの値を追加的に使用して第１変換行列を補正することで、より高い正確度のカメラ座標系の変換行列を取得することができる。

【0080】

また、一実施形態によれば、電子装置は、駐車していた車両が走行を再開する前に前死角地帯を駐車以前の走行状態で決定された死角地帯の映像に視覚化することができる。上記の説明は、走行中である状態の車両で死角地帯を視覚化するものとして、現在視点の死角地帯に該当する領域が以前視点では死角地帯に属せず、カメラによって撮影された領域に該当するものを利用したものである。駐車していた車両が再び走行し始める場合は車両が動かない状態であるため、現在視点の死角地帯に該当する領域が以前視点においても依然として死角地帯である。この場合、駐車位置で走行している状態で先に説明した方法により決定された死角地帯の映像をメモリに格納すると、電子装置は、再び走行し始める前の死角地帯をメモリに格納されている死角地帯の映像に視覚化することによって、絶えのない死角地帯の視覚化を行うことができる。

【0081】

また、一実施例によれば、動作４１０～動作４６０で決定されるカメラ座標系及びカメラパラメータは、車両に固定されている複数のカメラのうち、車両の走行方向に応じて決定されたいずれか１つを基準にすることができる。例えば、車両が前方走行する場合、カメラ座標系及びカメラパラメータは車両の前方を撮影するカメラを基準にしてもよい。車両が後進する場合は、カメラ座標系及びカメラパラメータは車両の後方を撮影するカメラを基準にしてもよい。

【0082】

図７は、一実施形態に係る車両の動きを反映した死角地帯の視覚化を説明するための図である。

【0083】

図７を参照すると、典型的な電子装置のロール情報とピッチ情報の反映ない死角地帯を視覚化した場合７１０と、一実施形態に係る電子装置のロール情報及び／又はピッチ情報が反映された死角地帯を視覚化した場合７２０が例示的に示されている。

【0084】

車両がスピードバンプを越える場合、ピッチ情報に変化が発生し得るが、このようなピッチ情報変化を反映せず単に以前視点の映像を活用して視覚化する場合に、死角地帯７３０の整合性が低下し得る。図７に例示的に示すように、死角地帯７３０の境界線を基準にして内側と外側が互いにマッチングされない。

【0085】

一方、ロール情報及び／又はピッチ情報を反映して死角地帯７４０を視覚化すると、図７に例示的に示すように、死角地帯７４０の整合性が高く保持される。死角地帯７４０の境界線を基準にして内側と外側が自然にマッチングされるよう視覚化を行うことができる。そのため、様々な走行状況でも死角地帯を自然に視覚化することができ、ユーザの走行便宜性及び安定性を効率よく向上させることができる。

【0086】

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0087】

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

【0088】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0089】

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【0090】

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0091】

１００ 車両
１１０ 電子装置
１１１ メモリ
１１３ プロセッサ
１１５ カメラ
２１０ 撮影映像
２２０ ＳＶＭ映像
２３０、２４０ 四角地帯

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】