IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

特許7363965車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
<>
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図1
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図2
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図3
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図4
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図5
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図6
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図7
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図8
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図9
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図10
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図11
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図12
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図13
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図14
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図15
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図16
  • 特許-車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-10
(45)【発行日】2023-10-18
(54)【発明の名称】車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20231011BHJP
   G06T 3/00 20060101ALI20231011BHJP
   G06T 7/00 20170101ALI20231011BHJP
   B60R 1/00 20220101ALI20231011BHJP
   B60R 1/24 20220101ALI20231011BHJP
   B60R 1/25 20220101ALI20231011BHJP
   B60R 1/26 20220101ALI20231011BHJP
【FI】
H04N7/18 J
G06T3/00 710
G06T7/00 650A
B60R1/00
B60R1/24
B60R1/25
B60R1/26
【請求項の数】 5
(21)【出願番号】P 2022085121
(22)【出願日】2022-05-25
(62)【分割の表示】P 2018247699の分割
【原出願日】2018-12-28
(65)【公開番号】P2022126659
(43)【公開日】2022-08-30
【審査請求日】2022-05-25
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(72)【発明者】
【氏名】恩田 正宏
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2017-062638(JP,A)
【文献】国際公開第2015/083228(WO,A1)
【文献】特開2016-134129(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 3/00
G06T 7/00
B60R 1/00
B60R 1/24
B60R 1/25
B60R 1/26
(57)【特許請求の範囲】
【請求項1】
車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、
前記映像データ取得部が取得した前記映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正部と、
前記車両の現在位置の現在位置情報と、前記車両の周囲の地図情報とに基づいて、道路の形状を検出する道路形状検出部と、
前記映像データ取得部が取得した前記映像データに写されている路面領域を検出する路面領域検出部と、
を備え、
前記歪補正部は、前記路面領域の面積の変化と、前記道路形状検出部が検出した交差道路のカーブ形状に合わせて、カーブしている側の表示表域の歪みを補正する領域を上側または下側にシフトさせるように、前記歪パラメータを変更して歪みを補正する、
ことを特徴とする車両用映像処理装置。
【請求項2】
前記歪補正部が補正した前記歪補正映像データに基づいて、前記車両の周囲を表示する映像データを生成する映像生成部、
を備える請求項に記載の車両用映像処理装置。
【請求項3】
請求項に記載の車両用映像処理装置と、
前記撮影部と、前記車両用映像処理装置が生成した映像データを表示する表示部と、の少なくともいずれか、
を備えることを特徴とする車両用映像処理システム。
【請求項4】
車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップによって取得された前記映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正ステップと、
前記車両の現在位置の現在位置情報と、前記車両の周囲の地図情報とに基づいて、道路の形状を検出する道路形状検出ステップと、
前記映像データ取得ステップによって取得された前記映像データに写されている路面領域を検出する路面領域検出ステップと、
を含み、
前記歪補正ステップは、前記路面領域の面積の変化と、前記道路形状検出ステップで検出した交差道路のカーブ形状に合わせて、カーブしている側の表示表域の歪みを補正する領域を上側または下側にシフトさせるように、前記歪パラメータを変更して歪みを補正する、
車両用映像処理方法。
【請求項5】
車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップによって取得された前記映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正ステップと、
前記車両の現在位置の現在位置情報と、前記車両の周囲の地図情報とに基づいて、道路の形状を検出する道路形状検出ステップと、
前記映像データ取得ステップによって取得された前記映像データに写されている路面領域を検出する路面領域検出ステップと、
を含み、
前記歪補正ステップは、前記路面領域の面積の変化と、前記道路形状検出ステップで検出した交差道路のカーブ形状に合わせて、カーブしている側の表示表域の歪みを補正する領域を上側または下側にシフトさせるように、前記歪パラメータを変更して歪みを補正する、
ことを車両用映像処理装置として動作するコンピュータに実行させるためのプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用映像処理装置、車両用映像処理システム、車両用映像処理方法および
プログラムに関する。
【背景技術】
【0002】
車両の周囲を撮影した映像データによって、車両の周囲を確認する技術が知られている
(例えば、特許文献1参照)。特許文献1に記載の技術は、カーナビゲーションシステム
に登録されている見通しの悪い交差点において、カメラの映像をディスプレイに表示させ
る。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平08-293098号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、車両が走行している道路と交差する道路がカーブしている場合、ユーザが直接
視認しにくく、車両に設置された撮影部が撮影した映像データの表示領域が、遠方まで表
示できない。
【0005】
本発明は、上記に鑑みてなされたものであって、カーブ形状に合わせた表示領域の車両
の周囲の映像を適切に表示することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る車両用映像処理装置は、
車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、前記
映像データ取得部が取得した前記映像データの歪みを歪パラメータを用いて補正して、歪
補正映像データを出力する歪補正部と、前記車両の現在位置の現在位置情報と、前記車両
の周囲の地図情報とに基づいて、道路の形状を検出する道路形状検出部と、前記映像デー
タ取得部が取得した前記映像データに写されている路面領域を検出する路面領域検出部と
、を備え、前記歪補正部は、前記路面領域の面積の変化と、前記道路形状検出部が検出し
た道路の形状に応じて、前記歪パラメータを変更して歪みを補正する、ことを特徴とする
【0007】
本発明に係る車両用映像処理システムは、上記の車両用映像処理装置と、前記撮影部と
、前記車両用映像処理装置が生成した映像データを表示する表示部と、の少なくともいず
れか、を備えることを特徴とする。
【0008】
本発明に係る車両用映像処理方法は、車両の周辺を撮影する撮影部が撮影した映像デー
タを取得する映像データ取得ステップと、前記映像データ取得ステップによって取得され
た前記映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する
歪補正ステップと、前記車両の現在位置の現在位置情報と、前記車両の周囲の地図情報と
に基づいて、道路の形状を検出する道路形状検出ステップと、前記映像データ取得ステッ
プによって取得された前記映像データに写されている路面領域を検出する路面領域検出ス
テップと、を含み、前記歪補正ステップは、前記路面領域の面積の変化と、前記道路形状
検出ステップにより検出された道路の形状に応じて、前記歪パラメータを変更して歪みを
補正する。
【0009】
本発明に係るプログラムは、車両の周辺を撮影する撮影部が撮影した映像データを取得
する映像データ取得ステップと、前記映像データ取得ステップによって取得された前記映
像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正ス
テップと、前記車両の現在位置の現在位置情報と、前記車両の周囲の地図情報とに基づい
て、道路の形状を検出する道路形状検出ステップと、前記映像データ取得ステップによっ
て取得された前記映像データに写されている路面領域を検出する路面領域検出ステップと
、を含み、前記歪補正ステップは、前記路面領域の面積の変化と、前記道路形状検出ステ
ップにより検出された道路の形状に応じて、前記歪パラメータを変更して歪みを補正する
、ことを車両用映像処理装置として動作するコンピュータに実行させる。
【発明の効果】
【0010】
本発明によれば、カーブ形状に合わせた表示領域の車両の周囲の映像を適切に表示する
ことができるという効果を奏する。
【図面の簡単な説明】
【0011】
図1図1は、実施形態の車両用映像処理装置の構成例を示すブロック図である。
図2図2は、車両が平坦な道路を走行する状態を説明する図である。
図3図3は、車両が平坦な道路を走行する状態を説明する図である。
図4図4は、車両が平坦な道路を走行する際に、カメラが撮影した映像データの一例を示す図である。
図5図5は、図4に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。
図6図6は、車両が上りの急勾配を有する道路を走行する状態を説明する図である。
図7図7は、車両が上りの急勾配を有する道路を走行する状態を説明する図である。
図8図8は、車両が上りの急勾配を有する道路を走行する際に、カメラが撮影した映像データの一例を示す図である。
図9図9は、図8に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。
図10図10は、車両が下りの急勾配を有する道路を走行する状態を説明する図である。
図11図11は、車両が下りの急勾配を有する道路を走行する状態を説明する図である。
図12図12は、車両が下りの急勾配を有する道路を走行する際に、カメラが撮影した映像データの一例を示す図である。
図13図13は、図12に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。
図14図14は、実施形態に係る車両用映像処理装置における処理の流れを示すフローチャートである。
図15図15は、交差道路がカーブしている際に、歪補正処理を行う表示領域の一例を示す図である。
図16図16は、車両が走行している道路に交差する道路がカーブしている状態を説明する図である。
図17図17は、車両が雪道を走行する際に、歪補正処理を行う表示領域の一例を示す図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照して、本発明に係る車両用映像処理装置、車両用映像処理システ
ム、車両用映像処理方法およびプログラムの実施形態を詳細に説明する。なお、以下の実
施形態により本発明が限定されるものではない。
【0013】
図1は、実施形態の車両用映像処理装置の構成例を示すブロック図である。車両用映像
処理システム1は、例えば、低速での走行時、または、駐車時、車両Vの周辺を確認する
映像を表示する。車両用映像処理システム1は、車両Vの傾斜角によらず、適切な表示領
域の映像を表示する。車両用映像処理システム1は、カメラユニット(撮影部)10と、
表示部21と、ヘッドライトスイッチ22と、車速センサ23と、3軸ジャイロセンサ2
4と、車両用映像処理装置30とを有する。
【0014】
カメラユニット10は、車両Vの周囲を撮影するカメラを有する。カメラは、複数配置
されていてもよい。本実施形態では、カメラユニット10は、前方カメラ11と、右側方
カメラ12と、左側方カメラ13と、後方カメラ14とを有する。
【0015】
前方カメラ11は、車両Vの前方に配置され、車両Vの前方を中心とした周辺を撮影す
る。前方カメラ11は、超広角、例えば、水平方向に190°程度の撮影範囲を撮影する
。前方カメラ11は、撮影した映像を車両用映像処理装置30の映像処理部34へ出力す
る。
【0016】
右側方カメラ12は、車両Vの右側方に配置され、車両Vの右側方を中心とした周辺を
撮影する。右側方カメラ12は、超広角、例えば、水平方向に190°程度の撮影範囲を
撮影する。右側方カメラ12は、撮影した映像を車両用映像処理装置30の映像処理部3
4へ出力する。
【0017】
左側方カメラ13は、車両Vの左側方に配置され、車両Vの左側方を中心とした周辺を
撮影する。左側方カメラ13は、超広角、例えば、水平方向に190°程度の撮影範囲を
撮影する。左側方カメラ13は、撮影した映像を車両用映像処理装置30の映像処理部3
4へ出力する。
【0018】
後方カメラ14は、車両Vの後方に配置され、車両Vの後方を中心とした周辺を撮影す
る。後方カメラ14は、超広角、例えば、水平方向に190°程度の撮影範囲を撮影する
。後方カメラ14は、撮影した映像を車両用映像処理装置30の映像処理部34へ出力す
る。
【0019】
このような前方カメラ11と右側方カメラ12と左側方カメラ13と後方カメラ14と
を含むカメラユニット10で、車両Vの全方位を撮影する。
【0020】
表示部21は、例えば、液晶ディスプレイ(LCD:Liquid Crystal
Display)または有機EL(Organic Electro-Luminesc
ence)ディスプレイを含むディスプレイである。表示部21は、車両用映像処理シス
テム1の車両用映像処理装置30から出力された映像信号に基づいて、例えば、車両Vの
周辺の映像を表示する。表示部21は、車両用映像処理システム1に専用のものであって
も、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであって
もよい。表示部21は、ユーザから視認容易な位置に配置されている。本実施形態では、
表示部21は、ダッシュボードの車幅方向の中央部のセンターコンソールに配置されてい
る。
【0021】
ヘッドライトスイッチ22は、ヘッドライトの点灯と消灯とを検出可能な信号を車両用
映像処理装置30のヘッドライト点灯検出部31へ出力する。
【0022】
車速センサ23は、車両Vの車速を検出する。より詳しくは、車速センサ23は、車両
Vの駆動軸またはタイヤに配置されている。車速センサ23は、駆動軸またはタイヤの回
転に応じたパルス信号を検出する。車速センサ23は、検出したパルス信号を車両用映像
処理装置30の車速検出部32へ出力する。
【0023】
3軸ジャイロセンサ24は、車両Vが走行する道路の勾配を検出する。3軸ジャイロセ
ンサ24は、車両Vの傾きを検出するセンサである。3軸ジャイロセンサ24は、例えば
、車両Vの角速度を検出する。より詳しくは、3軸ジャイロセンサ24は、ロールレート
ジャイロと、ピッチレートジャイロと、ヨーレートジャイロとを有する。ロールレートジ
ャイロは、車両Vの前後方向を軸とした回転の角速度であるロール角速度を検出する。ピ
ッチレートジャイロは、車両Vの左右方向を軸とした回転の角速度であるピッチ角速度を
検出する。ヨーレートジャイロは、車両Vの鉛直方向を軸とした回転の角速度であるヨー
角速度を検出する。3軸ジャイロセンサ24は、ロールレートジャイロで検出したロール
角速度と、ピッチレートジャイロで検出したピッチ角速度と、ヨーレートジャイロで検出
したヨー角速度とを角速度信号として車両用映像処理装置30の傾斜角検出部33へ出力
する。
【0024】
車両用映像処理装置30は、車両Vの周囲を確認する映像を生成して、表示部21に表
示させる。車両用映像処理装置30は、記憶部39に記憶されているプログラムをメモリ
にロードして、プログラムに含まれる命令を実行する。車両用映像処理装置30は、ヘッ
ドライト点灯検出部31と、車速検出部32と、傾斜角検出部33と、映像処理部34と
、判定部35と、測光領域制御部36と、表示制御部37と、記憶部39とを有する。
【0025】
ヘッドライト点灯検出部31は、ヘッドライトスイッチ22から出力された信号から、
ヘッドライトが点灯しているか消灯しているかを検出する。ヘッドライトが点灯している
場合、前方カメラ11が撮影する前方映像データには、ヘッドライトに照らされた路面が
写される。前方映像データに写されたヘッドライトに照らされた路面は、ヘッドライトに
照らされていない路面と、色相、明度、彩度、輝度に差異が生じる。ヘッドライト点灯検
出部31は、検出結果を判定部35へ出力する。
【0026】
車速検出部32は、車速センサ23から取得したパルス信号から車両Vの車速を検出す
る。車速検出部32は、算出した車速を示す車速情報を判定部35へ出力する。
【0027】
傾斜角検出部33は、車両Vが走行する道路の傾斜角を検出する。本実施形態では、傾
斜角検出部33は、3軸ジャイロセンサ24から出力された角速度信号を取得する。傾斜
角検出部33は、角速度信号に含まれるロール角速度とピッチ角速度とヨー角速度とから
、車両Vの傾きを示す、ロール角とピッチ角とヨー角とを算出する。傾斜角検出部33は
、算出したロール角とピッチ角とヨー角とを傾斜角情報として判定部35へ出力する。な
お、傾斜角検出部33は、ピッチ角のみを算出して、ピッチ角のみを傾斜角情報として判
定部35へ出力してもよい。
【0028】
映像処理部34は、カメラユニット10が撮影した映像データに基づいて、表示部21
に表示させる表示用の映像の表示映像データを生成する。映像処理部34は、映像データ
取得部341と、路面領域検出部342と、歪補正部343と、映像生成部344とを有
する。
【0029】
映像データ取得部341は、カメラユニット10が撮影した映像データを取得する。映
像データ取得部341は、前方カメラ11が撮影した前方映像データと、右側方カメラ1
2が撮影した右側方映像データと、左側方カメラ13が撮影した左側方映像データと、後
方カメラ14が撮影した後方映像データとを取得する。
【0030】
路面領域検出部342は、映像データ取得部341が取得した映像データに写されてい
る路面領域を検出する。路面領域とは、映像データに写されている路面の領域である。路
面領域は、道路の形状と、道路幅と、道路の奥行とで規定される。本実施形態では、路面
領域検出部342は、前方映像データに写されている路面領域を検出するものとして説明
する。路面領域検出部342は、車両Vが平坦な道路を走行している場合に検出される路
面領域を基準の路面領域として記憶する。基準の路面領域は、車両Vが走行する道路の道
路幅ごとに記憶されることが好ましい。路面を検出する方法は、公知のいずれの方法でも
よく、限定されない。路面領域検出部342は、ヘッドライト点灯検出部31の検出結果
がヘッドライトが点灯していることを示す場合、映像データに写された路面はヘッドライ
トに照らされているため、映像データの色相、明度、彩度、輝度を補正して路面の路面領
域を検出する。
【0031】
歪補正部343は、映像データ取得部341が取得した超広角の映像データの一部の領
域である表示領域の歪みを歪パラメータを用いて補正して、矩形状の歪補正映像データを
出力する。歪補正映像データは、前方映像データを補正した前方歪補正映像データと、右
側方映像データを補正した右側方歪補正映像データと、左側方映像データを補正した左側
方歪補正映像データと、後方映像データを補正した後方歪補正映像データとを含む。前方
歪補正映像データと右側方歪補正映像データと左側方歪補正映像データと後方歪補正映像
データとの区別を要しない場合、歪補正映像データとして説明する。
【0032】
歪補正部343は、判定部35が、車両Vの傾斜角が閾値以上であり、車両Vの車速が
閾値以下であり、路面領域の面積が閾値以上、変化したと判定する場合、路面領域の面積
の変化に応じて、歪パラメータを変更して歪みを補正して、歪補正映像データを出力する
。より詳しくは、歪補正部343は、路面領域の面積が基準の路面領域に比べて増加した
場合、歪みを補正する表示領域を上側にシフトさせるように、歪パラメータを変更して歪
みを補正して、歪補正映像データを出力する。歪補正部343は、路面領域の面積が基準
の路面領域に比べて減少した場合、歪みを補正する表示領域を下側にシフトさせるように
、歪パラメータを変更して歪みを補正して、歪補正映像データを出力する。
【0033】
図2ないし図5を用いて、車両Vが平坦な道路を走行している場合の歪補正部343に
おける処理について説明する。図2は、車両が平坦な道路を走行する状態を説明する図で
ある。図3は、車両が平坦な道路を走行する状態を説明する図である。図4は、車両が平
坦な道路を走行する際に、カメラが撮影した映像データの一例を示す図である。図5は、
図4に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。図2
図3に示すように、車両Vが平坦な道路を走行している場合、前方カメラ11が撮影した
前方映像データは、例えば、図4に示すようなものとなる。このような前方映像データが
基準の映像データとされ、ユーザに映像として視認させる領域を示す表示領域と、歪パラ
メータとが設定されている。また、この前方映像データから検出される路面領域が、基準
の路面領域である。例えば、表示領域は、図中に示した樽型の領域であるA1に設定され
ている。このような表示領域A1に対して歪みを補正して矩形状の前方歪補正映像データ
が生成されるように歪パラメータが設定されている。
【0034】
ここで、前方カメラ11を含むカメラユニット10は超広視野角の映像を撮影している
。車両Vの周囲を確認する映像を生成する場合のように、広範囲を確認する用途には、水
平方向に全視野角が確保できるように歪みを補正することが望ましい。このような場合、
前方との自然な距離感を確保しつつ歪みを補正すると、水平方向とは逆に垂直方向の表示
領域は、カメラの撮影範囲の一部の範囲を切り出したようになる。逆に、垂直方向の表示
領域をそのまま確保して歪みを補正すると、前方の距離感が実際より遠方に感じられるよ
うな違和感のある映像になる。そこで、車両Vの傾斜角によっては、表示される垂直方向
の表示領域を調整する必要がある。具体的には、路面領域の増減比率に応じて、カメラの
撮影範囲の中心部から上側あるいは下側へ歪みを補正する表示領域をシフトするよう歪パ
ラメータを変更する。
【0035】
図6ないし図9を用いて、車両Vが上りの急勾配を有する道路を走行している場合の歪
補正部343における処理について説明する。図6は、車両が上りの急勾配を有する道路
を走行する状態を説明する図である。図7は、車両が上りの急勾配を有する道路を走行す
る状態を説明する図である。図8は、車両が上りの急勾配を有する道路を走行する際に、
カメラが撮影した映像データの一例を示す図である。図9は、図8に示す映像データのう
ち、歪補正処理を行う表示領域の一例を示す図である。図6図7に示すように、車両V
が上りの急勾配を有する道路を走行している場合、前方カメラ11が撮影した前方映像デ
ータは、例えば、図8に示すようなものとなる。ここでは、上りの急勾配の途中に交差道
路R1と交差する交差点があるものとする。交差道路R1を他車両V1が走行している。
車両Vが前上がりになる場合、前方カメラ11の撮影範囲が上向きになる。これにより、
前方映像データの表示領域における路面領域が減少する。そこで、表示領域における路面
領域の位置が適切になるように歪パラメータを変更して、図中に示した樽型の領域である
A2が表示領域となるように歪パラメータを変更する。このように、表示領域A2に対し
て歪みを補正して前方歪補正映像データを出力する。なお、図中に破線で示した表示領域
A1は、歪パラメータを変更しない場合の表示領域である。以下の図においても同様であ
る。
【0036】
図10ないし図13を用いて、車両Vが下りの急勾配を有する道路を走行している場合
の歪補正部343における処理について説明する。図10は、車両が下りの急勾配を有す
る道路を走行する状態を説明する図である。図11は、車両が下りの急勾配を有する道路
を走行する状態を説明する図である。図12は、車両が下りの急勾配を有する道路を走行
する際に、カメラが撮影した映像データの一例を示す図である。図13は、図12に示す
映像データのうち、歪補正処理を行う表示領域の一例を示す図である。図10図11
示すように、車両Vが下りの急勾配を有する道路を走行している場合、前方カメラ11が
撮影した前方映像データは、例えば、図12に示すようなものとなる。ここでは、下りの
急勾配の途中に交差道路R1と交差する交差点があるものとする。交差道路R1を他車両
V1が走行している。車両Vが前下がりになる場合、前方カメラ11の撮影範囲が下向き
になる。これにより、前方映像データの表示領域における路面領域が増加する。そこで表
示領域における路面領域の位置が適切になるように歪パラメータを変更して、図中に示し
た樽型の領域であるA3が表示領域となるように歪パラメータを変更する。このように、
表示領域A3に対して歪みを補正して前方歪補正映像データを出力する。
【0037】
映像生成部344は、歪補正部343が出力した歪補正映像データに基づいて、車両V
の周辺を確認する表示映像データを生成する。本実施形態では、映像生成部344は、前
方歪補正映像データに基づいて、車両Vの前方を確認可能な表示映像データを生成する。
【0038】
映像生成部344は、歪補正部343が出力した歪補正映像データに基づいて、車両V
を上方から見下ろした仮想自車両画像を含む俯瞰映像の表示映像データを生成してもよい
。この場合、映像生成部344は、前方歪補正映像データと右側方歪補正映像データと左
側方歪補正映像データと後方歪補正映像データとに視点変換処理および車両Vを示す自車
両アイコンを合成する合成処理を行い、車両Vの周囲を表示する俯瞰映像の表示映像デー
タを生成する。俯瞰映像を生成する方法は、公知のいずれの方法でもよく、限定されない
【0039】
判定部35は、傾斜角検出部33が検出した車両Vの傾斜角と、路面領域検出部342
が検出した路面領域とに基づいて、車両Vの傾斜角と路面領域の面積の閾値に対する変化
を判定する。より詳しくは、判定部35は、傾斜角検出部33が検出した車両Vの傾斜角
と、車速検出部32が検出した車速と、路面領域検出部342が検出した路面領域とに基
づいて、車両Vの傾斜角が閾値以上であり、車両Vの車速が閾値以下であり、路面領域の
面積が閾値以上、変化したか否かを判定する。傾斜角の閾値は、例えば、5°程度である
。車速の閾値は、例えば、10km/h程度である。路面領域の面積の閾値は、例えば、
20%程度である。
【0040】
路面領域の面積が閾値以上、変化したか否かは、路面領域検出部342が検出した路面
領域の面積が、同じ道路幅を有する道路の基準の路面領域の面積に比べて、20%程度以
上、増減したか否かで判定する。路面領域検出部342が検出した路面領域の面積が、基
準の路面領域の面積に比べて、20%程度以上、増減したと判定する場合、路面領域の面
積が閾値以上、変化したと判定する。路面領域検出部342が検出した路面領域の面積が
、基準の路面領域の面積に比べて、20%程度以上増減していないと判定する場合、路面
領域の面積が閾値以上、変化していないと判定する。
【0041】
または、路面領域の面積が閾値以上、変化したか否かは、路面領域検出部342が検出
した路面領域の面積が、所定期間または所定走行距離において、20%程度以上、増減し
たか否かで判定してもよい。路面領域検出部342が検出した路面領域の面積が、所定期
間または所定走行距離において、20%程度以上、増減したと判定する場合、路面領域の
面積が閾値以上、変化したと判定する。路面領域検出部342が検出した路面領域の面積
が、所定期間または所定走行距離において、20%程度以上増減していないと判定する場
合、路面領域の面積が閾値以上、変化していないと判定する。
【0042】
測光領域制御部36は、歪補正部343が歪パラメータを変更する場合、カメラユニッ
ト10が撮影する際の測光領域の位置を歪パラメータの変更に合わせて制御する。例えば
、通常時における、カメラユニット10が撮影する際の測光領域の位置は、表示領域の中
央部である。測光領域制御部36は、歪補正部343が歪みを補正する表示領域を上側に
シフトさせた場合、上側にシフトした表示領域の中央部が測光領域となるように、測光領
域を上側にシフトさせる制御信号をカメラユニット10に対して出力する。測光領域制御
部36は、歪補正部343が歪みを補正する表示領域を下側にシフトさせた場合、下側に
シフトした表示領域の中央部が測光領域となるように、測光領域を下側にシフトさせる制
御信号をカメラユニット10に対して出力する。
【0043】
表示制御部37は、映像処理部34の映像生成部344が生成した表示映像データを表
示部21に表示させる制御を行う。
【0044】
記憶部39は、車両用映像処理装置30における各種処理に要するデータおよび各種処
理結果を記憶する。記憶部39は、例えば、RAM(Random Access Me
mory)、ROM(Read Only Memory)、フラッシュメモリ(Fla
sh Memory)などの半導体メモリ素子、または、ハードディスク、光ディスク、
通信網を介した外部記憶装置などの記憶装置である。
【0045】
次に、図14を用いて、車両用映像処理装置30における処理の流れについて説明する
図14は、実施形態に係る車両用映像処理装置30における処理の流れを示すフローチ
ャートである。ここでは、前方カメラ11が撮影した前方映像データに基づいて、車両V
の前方の安全を確認するための映像を表示させる場合について説明する。
【0046】
車両用映像処理システム1は、車両Vのエンジンが始動すると、起動されるものとする
。車両用映像処理システム1の起動中、カメラユニット10は、車両Vの周囲を撮影する
。車両用映像処理システム1の起動中、映像データ取得部341は、カメラユニット10
で撮影された映像データを取得する。
【0047】
車両用映像処理装置30は、ヘッドライトの点灯を検出する(ステップS101)。車
両用映像処理装置30は、ヘッドライト点灯検出部31によって、ヘッドライトスイッチ
22から出力された信号から、ヘッドライトが点灯しているか消灯しているかを検出する
。車両用映像処理装置30は、ステップS102に進む。
【0048】
車両用映像処理装置30は、路面領域を検出する(ステップS102)。車両用映像処
理装置30は、路面領域検出部342によって、公知の路面検出の方法を使用して、前方
映像データに写されている路面領域を検出する。車両用映像処理装置30は、ステップS
103に進む。
【0049】
車両用映像処理装置30は、判定部35によって、車速が閾値以下であるかを判定する
(ステップS103)。車両用映像処理装置30は、判定部35が、車速検出部32が検
出した車速が閾値以下であると判定する場合(ステップS103でYes)、ステップS
104に進む。車両用映像処理装置30は、判定部35が、車速検出部32が検出した車
速が閾値以下ではないと判定する場合(ステップS103でNo)、ステップS101の
処理を再度実行する。
【0050】
車速検出部32が検出した車速が閾値以下であると判定する場合(ステップS103で
Yes)、車両用映像処理装置30は、判定部35によって、ピッチ角が閾値以上である
かを判定する(ステップS104)。車両用映像処理装置30は、判定部35が、傾斜角
検出部33が検出したピッチ角が閾値以上であると判定する場合(ステップS104でY
es)、ステップS105に進む。車両用映像処理装置30は、判定部35が、傾斜角検
出部33が検出したピッチ角が閾値以上ではないと判定する場合(ステップS104でN
o)、ステップS111に進む。
【0051】
傾斜角検出部33が検出したピッチ角が閾値以上であると判定する場合(ステップS1
04でYes)、車両用映像処理装置30は、判定部35によって、路面領域検出部34
2が検出した路面領域に基づいて、路面領域の面積が増減したかを判定する(ステップS
105)。車両用映像処理装置30は、判定部35が、路面領域の面積が増減したと判定
する場合(ステップS105でYes)、ステップS106に進む。車両用映像処理装置
30は、判定部35が、路面領域の面積が増減していないと判定する場合(ステップS1
05でNo)、ステップS101の処理を再度実行する。
【0052】
路面領域の面積が増減したと判定する場合(ステップS105でYes)、車両用映像
処理装置30は、表示領域の補正処理を行う(ステップS106)。車両用映像処理装置
30は、歪補正部343によって、路面領域の面積の変化に応じて、歪パラメータを変更
して歪みを補正する表示領域の補正処理を行う。車両用映像処理装置30は、歪補正部3
43によって、路面領域の面積が増加した場合、歪みを補正する表示領域を上側にシフト
させるように、歪パラメータを変更して歪みを補正する表示領域の補正処理を行う。車両
用映像処理装置30は、歪補正部343によって、路面領域の面積が減少した場合、歪み
を補正する表示領域を下側にシフトさせるように、歪パラメータを変更して歪みを補正す
る表示領域の補正処理を行う。車両用映像処理装置30は、ステップS107に進む。
【0053】
車両用映像処理装置30は、表示映像データを生成する(ステップS107)。車両用
映像処理装置30は、映像生成部344によって、前方歪補正映像データから表示映像デ
ータを生成する。車両用映像処理装置30は、ステップS108に進む。
【0054】
車両用映像処理装置30は、表示制御部37によって、生成した表示映像データを表示
部21に表示させる(ステップS108)。車両用映像処理装置30は、ステップS10
9に進む。
【0055】
車両用映像処理装置30は、判定部35によって、ピッチ角が閾値未満であるかを判定
する(ステップS109)。車両用映像処理装置30は、判定部35が、傾斜角検出部3
3が検出したピッチ角が閾値未満であると判定する場合(ステップS109でYes)、
ステップS110に進む。車両用映像処理装置30は、判定部35が、傾斜角検出部33
が検出したピッチ角が閾値未満ではないと判定する場合(ステップS109でNo)、ス
テップS109の処理を再度実行する。
【0056】
傾斜角検出部33が検出したピッチ角が閾値未満であると判定する場合(ステップS1
09でYes)、車両用映像処理装置30は、表示領域を初期設定に戻す(ステップS1
10)。車両用映像処理装置30は、歪補正部343が、ステップS106において変更
した歪パラメータを初期値に戻す。車両用映像処理装置30は、歪補正部343によって
、歪パラメータを、車両Vが平坦な道路を走行している場合の歪パラメータに戻す。車両
用映像処理装置30は、ステップS113に進む。
【0057】
傾斜角検出部33が検出したピッチ角が閾値以上ではないと判定する場合(ステップS
104でNo)、車両用映像処理装置30は、表示映像データを生成する(ステップS1
11)。車両用映像処理装置30は、映像生成部344によって、映像データから表示映
像データを生成する。車両用映像処理装置30は、ステップS112に進む。
【0058】
車両用映像処理装置30は、表示制御部37によって、表示映像データを表示部21に
表示させる(ステップS112)。車両用映像処理装置30は、ステップS113に進む
【0059】
車両用映像処理装置30は、判定部35によって、車速が閾値より大きいかを判定する
(ステップS113)。車両用映像処理装置30は、判定部35が、車速検出部32が検
出した車速が閾値より大きいと判定する場合(ステップS113でYes)、ステップS
114に進む。車両用映像処理装置30は、判定部35が、車速検出部32が検出した車
速が閾値より大きくないと判定する場合(ステップS113でNo)、ステップS113
の処理を再度実行する。
【0060】
車速検出部32が検出した車速が閾値より大きいと判定する場合(ステップS113で
Yes)、車両用映像処理装置30は、表示映像データの表示を停止する(ステップS1
14)。車両用映像処理装置30は、ステップS115に進む。
【0061】
車両用映像処理装置30は、処理を終了するかを判定する(ステップS115)。より
詳しくは、車両用映像処理装置30は、終了トリガの有無に基づいて、処理を終了するか
否かを判定する。終了トリガは、例えば、エンジンオフ、ギヤをパーキングに入れた、サ
イドブレーキを動作させたなどの組合せで終了トリガとなる。終了トリガは、ユーザの操
作によって終了トリガとなってもよい。車両用映像処理装置30は、終了トリガがある場
合、処理を終了すると判定し(ステップS115でYes)、処理を終了する。車両用映
像処理装置30は、終了トリガがない場合、処理を終了しないと判定し(ステップS11
5でNo)、ステップS101の処理を再度実行する。
【0062】
このようにして、判定部35が、車両Vの傾斜角が閾値以上であり、車両Vの車速が閾
値以下であり、路面領域の面積が閾値以上、変化したと判定する場合、歪補正部343は
、路面領域の面積の変化に応じて、歪パラメータを変更して歪みを補正する。歪補正部3
43は、路面領域の面積が増加した場合、歪みを補正する表示領域を上側にシフトさせる
ように、歪パラメータを変更して歪みを補正する。歪補正部343は、路面領域の面積が
減少した場合、歪みを補正する表示領域を下側にシフトさせるように、歪パラメータを変
更して歪みを補正する。
【0063】
上述したように、本実施形態は、車両Vの傾斜角が閾値以上であり、車両Vの車速が閾
値以下であり、路面領域の面積が閾値以上、変化したと判定する場合、路面領域の面積の
変化に応じて、歪パラメータを変更して歪みを補正することができる。本実施形態は、路
面領域の面積が増加した場合、歪みを補正する表示領域を上側にシフトさせるように、歪
パラメータを変更して歪みを補正することができる。路面領域の面積が減少した場合、歪
みを補正する表示領域を下側にシフトさせるように、歪パラメータを変更して歪みを補正
することができる。このようにして、本実施形態によれば、車両Vの傾斜角によらず、適
切な表示領域の映像を表示することができる。
【0064】
本実施形態は、歪パラメータを変更する場合、カメラユニット10が撮影する際の測光
領域の位置を歪パラメータの変更に合わせて制御することができる。本実施形態によれば
、車両Vの傾斜角によらず、適切な測光領域を設定して、適切に測光して撮影することが
できる。
【0065】
このように、本実施形態によれば、車両Vの傾斜角によらず、車両Vの周囲を適切な映
像で確認させることができる。
【0066】
さて、これまで本発明に係る車両用映像処理システム1について説明したが、上述した
実施形態以外にも種々の異なる形態にて実施されてよいものである。
【0067】
図示した車両用映像処理システム1の各構成要素は、機能概念的なものであり、必ずし
も物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図
示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を
任意の単位で機能的または物理的に分散または統合してもよい。
【0068】
車両用映像処理システム1の構成は、例えば、ソフトウェアとして、メモリにロードさ
れたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまた
はソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これ
らの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの
組み合わせによって種々の形で実現できる。
【0069】
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。
さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない
範囲において構成の種々の省略、置換または変更が可能である。
【0070】
図15図16を用いて、車両Vが走行している道路と交差道路がカーブしている場合
について説明する。図15は、交差道路がカーブしている際に、歪補正処理を行う表示領
域の一例を示す図である。図16は、車両が走行している道路に交差する道路がカーブし
ている状態を説明する図である。歪補正部343は、車両Vが走行している道路と交差道
路がカーブしている場合、カーブの形状に合わせて、歪パラメータを変更して歪みを補正
してもよい。車両用映像処理装置30は、図示しないナビゲーションシステムから車両V
の現在位置の現在位置情報と、車両Vの周囲の地図情報とを取得するナビゲーション情報
取得部を有する。さらに、車両用映像処理装置30は、ナビゲーション情報取得部が取得
した情報に基づいて、道路の形状を検出する道路形状検出部を有する。歪補正部343は
、路面領域の面積の変化と、道路形状検出部が検出した道路の形状に応じて、歪パラメー
タを変更して歪みを補正する。歪補正部343は、交差道路のカーブ形状に合わせて、カ
ーブしている側の表示表域を遠方まで表示できるように、歪みを補正する表示領域の右側
または左側を上側または下側にシフトさせるように、歪パラメータを変更して、図中に示
した形状の領域であるA4が表示領域となるように歪パラメータを変更する。これにより
、交差道路がカーブしている場合、ユーザが直接視認しにくい、カーブ形状に合わせた表
示領域の車両Vの周囲の映像を表示することができる。
【0071】
図17を用いて、車両Vが雪道などを走行している場合について説明する。図17は、
車両が雪道を走行する際に、歪補正処理を行う表示領域の一例を示す図である。例えば、
積雪または冠水によって、路面領域検出部342が路面を検出できない場合、より広い範
囲を表示領域とするように歪パラメータを変更して、図中に示した形状の領域であるA5
が表示領域となるように歪パラメータを変更する。これにより、積雪または冠水によって
路面領域の検出が困難である場合、路面とする領域を通常よりも広くした表示領域の車両
Vの周囲の映像を表示することができる。
【0072】
駐車時、車両Vの周囲を確認する映像を表示する場合について説明する。この場合、車
両用映像処理装置30は、後退トリガがあると判定された場合、図14に示すフローチャ
ートの処理を実行する。後退トリガとは、例えば、シフトポジションが「リバース」とさ
れたこと、または、車両Vの進行方向が車両Vの前後方向の後方となったことをいう。そ
して、ステップS102において、後方映像データに写されている路面領域を検出して、
ステップS105において、後方映像データの路面領域の面積が増減したかを判定する。
そして、ステップS106において、歪パラメータを変更して後方映像データの歪みを補
正する。このようにして、駐車時、車両Vの傾斜角によらず、適切な表示領域の車両Vの
後方の映像を表示することができる。
【0073】
車両用映像処理システム1は、車両Vの走行時に周囲の映像を撮影して記録する、いわ
ゆるドライブレコーダにも適用可能である。この場合、車両Vの車速によらず、判定部3
5は、傾斜角検出部33が検出した車両Vの傾斜角と、路面領域検出部342が検出した
路面領域とに基づいて、車両Vの傾斜角が閾値以上であり、路面領域の面積が閾値以上、
変化したか否かを判定する。また、歪補正部343は、判定部35が、車両Vの傾斜角が
閾値以上であり、路面領域の面積が閾値以上、変化したと判定する場合、路面領域の面積
の変化に応じて、歪パラメータを変更して歪みを補正する。車両用映像処理装置30は、
図14に示すフローチャートのステップS103、ステップS113、および、ステップ
S114以外の処理を実行する。さらに、ドライブレコーダに適用する場合、記憶部39
とは別に、車両用映像処理装置30の外部に、映像データを保存するための、例えば、カ
ード型の記録メディアを含む外部記録装置を有していてもよい。
【0074】
車両用映像処理装置30は、歪補正部343が歪パラメータを変更する場合に、ヘッド
ライトの光軸の位置を歪パラメータの変更に合わせて制御する光軸制御部を有していても
よい。これにより、適切な車両Vの周囲の映像を表示することができる。
【0075】
上記の3軸ジャイロセンサ24に代えて、X方向、Y方向、及びZ方向の加速度を検出
可能な3軸の加速度センサと3軸ジャイロセンサとの機能を有する6軸のセンサであって
もよい。
【符号の説明】
【0076】
1 車両用映像処理システム
10 カメラユニット
21 表示部
22 ヘッドライトスイッチ
23 車速センサ
24 3軸ジャイロセンサ
30 車両用映像処理装置
31 ヘッドライト点灯検出部
32 車速検出部
33 傾斜角検出部
34 映像処理部
341 映像データ取得部
342 路面領域検出部
343 歪補正部
344 映像生成部
35 判定部
36 測光領域制御部
37 表示制御部
39 記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17