特許 7154817 画像出力装置、画像出力システム及び画像出力装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-07

(45)【発行日】2022-10-18

(54)【発明の名称】画像出力装置、画像出力システム及び画像出力装置の制御方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221011BHJP

   B60R 1/20 20220101ALI20221011BHJP

   B60R 1/25 20220101ALI20221011BHJP

   B60R 1/26 20220101ALI20221011BHJP

【ＦＩ】

H04N7/18 J

B60R1/20 100

B60R1/25

B60R1/26 100

【請求項の数】 7

(21)【出願番号】P 2018089422

(22)【出願日】2018-05-07

(65)【公開番号】P2019197953

(43)【公開日】2019-11-14

【審査請求日】2021-03-17

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】吉岡 雅巳

【審査官】益戸 宏

(56)【参考文献】

【文献】国際公開第２０１８／０３７７８９（ＷＯ，Ａ１）

【文献】特開２００７－０１９８０４（ＪＰ，Ａ）

【文献】特開２００５－２２３５２４（ＪＰ，Ａ）

【文献】特開２００１－００６０９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両の後方を撮像した後方撮像画像と、前記車両の左右側方を撮像した側方撮像画像とを入力する画像入力部と、
前記車両が後退し、かつ左右いずれかに操舵されている場合に、前記画像入力部を用いて前記側方撮像画像を取得し、前記側方撮像画像と前記後方撮像画像とを合成した合成画像を生成し、前記合成画像を表示用画像として出力する画像処理部と、
前記車両の予想進路を特定する解析部とを備え、
前記合成画像は、入力した前記側方撮像画像のうちの前記車両が移動する側方側の画像と、前記後方撮像画像とを合成した画像であり、
前記画像処理部は、前記車両の操舵角が大きいほど、前記合成画像内の前記側方側の画像の範囲を拡げると共に、前記予想進路の位置及び傾斜の少なくともいずれかに基づいて、前記側方側の画像と前記後方撮像画像との境界を変更することを特徴とする画像出力装置。

【請求項2】

前記画像処理部は、前記車両の操舵角が所定量以上の場合に、前記合成画像を表示用画像として出力し、前記車両の操舵角が前記所定量未満の場合、前記後方撮像画像を表示用画像として出力することを特徴とする請求項１に記載の画像出力装置。

【請求項3】

前記画像処理部は、前記表示用画像として、前記側方側の画像を右上又は左上に対応する表示領域に割り当て、前記後方撮像画像を残りの表示領域に割り当てた合成画像を生成することを特徴とする請求項１又は２に記載の画像出力装置。

【請求項4】

前記側方側の画像は、前記側方撮像画像から前記車両の右前方の角部分、又は左前方の角部分を含む領域を抽出した画像であることを特徴とする請求項１から３のいずれかに記載の画像出力装置。

【請求項5】

前記画像処理部は、前記境界を、前記表示用画像内の前記後方撮像画像に当てはめた前記予想進路の接線に平行で、かつ、前記接線との間に所定のマージンを付加した位置に設定することを特徴とする請求項１から４のいずれか一項に記載の画像出力装置。

【請求項6】

車両の後方を撮像する後方撮像部と、
前記車両の左右側方を撮像する側方撮像部と、
前記車両が後退し、かつ左右いずれかに操舵されている場合に、前記側方撮像部で撮像された側方撮像画像を取得し、前記側方撮像画像と、前記後方撮像部で撮像された後方撮像画像とを合成した合成画像を生成し、前記合成画像を表示用画像として出力する画像処理部と、
前記車両の予想進路を特定する解析部とを備え、
前記合成画像は、入力した前記側方撮像画像のうちの前記車両が移動する側方側の画像と、前記後方撮像画像とを合成した画像であり、
前記画像処理部は、前記車両の操舵角が大きいほど、前記合成画像内の前記側方側の画像の範囲を拡げると共に、前記予想進路の位置及び傾斜の少なくともいずれかに基づいて、前記側方側の画像と前記後方撮像画像との境界を変更することを特徴とする画像出力システム。

【請求項7】

車両の後方を撮像した後方撮像画像と、前記車両の左右側方を撮像した側方撮像画像とを入力する画像入力部と、
前記車両が後退し、かつ左右いずれかに操舵されている場合に、前記画像入力部を用いて前記側方撮像画像を取得し、前記側方撮像画像と前記後方撮像画像とを合成した合成画像を生成し、前記合成画像を表示用画像として出力する画像処理部と、
前記車両の予想進路を特定する解析部とを備え、前記表示用画像を出力する画像出力装置の制御方法であって、
前記合成画像は、入力した前記側方撮像画像のうちの前記車両が移動する側方側の画像と、前記後方撮像画像とを合成した画像であり、
前記画像処理部は、前記車両の操舵角が大きいほど、前記合成画像内の前記側方側の画像の範囲を拡げると共に、前記予想進路の位置及び傾斜の少なくともいずれかに基づいて、前記側方側の画像と前記後方撮像画像との境界を変更することを特徴とする画像出力装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像出力装置、画像出力システム及び画像出力装置の制御方法に関する。

【背景技術】

【0002】

車両の後退駐車を支援する装置として、後退時に後方カメラの撮像画像を表示する装置が知られている。また、この種の装置には、車両に搭載されたカメラによって車両周辺を撮像し、撮像した画像を上空から見下ろした俯瞰画像に変換し、車内モニタに表示する装置が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－１１８５２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、後方カメラの画像だけを表示した場合、車両後方以外は表示されないので、運転者は車両後方以外にも気を配って運転する必要がある。
一方、俯瞰映像を表示した場合、車両前後及び左右の画像のそれぞれが小さく表示され、かつ、複雑に変形・合成された画像であるため、運転者が見づらい場合が生じる。

【0005】

そこで、本発明は、後退時に車両周囲の画像を運転支援に効果的に、かつ見易く表示可能にすることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の画像出力装置は、車両の後方を撮像した後方撮像画像と、前記車両の左右側方を撮像した側方撮像画像とを入力する画像入力部と、前記車両が後退し、かつ左右いずれかに操舵されている場合に、前記画像入力部を用いて前記側方撮像画像を取得し、前記側方撮像画像と前記後方撮像画像とを合成した合成画像を生成し、前記合成画像を表示用画像として出力する画像処理部と、前記車両の予想進路を特定する解析部とを備え、前記合成画像は、入力した前記側方撮像画像のうちの前記車両が移動する側方側の画像と、前記後方撮像画像とを合成した画像であり、前記画像処理部は、前記車両の操舵角が大きいほど、前記合成画像内の前記側方側の画像の範囲を拡げると共に、前記予想進路の位置及び傾斜の少なくともいずれかに基づいて、前記側方側の画像と前記後方撮像画像との境界を変更することを特徴とする。

【0007】

上記構成において、前記画像処理部は、前記車両の操舵角が前記所定量以上の場合に、前記合成画像を表示用画像として出力し、前記車両の操舵角が前記所定量未満の場合、前記後方撮像画像を表示用画像として出力することを特徴とする。

【0008】

上記構成において、前記画像処理部は、前記表示用画像として、前記側方側の画像を右上又は左上に対応する表示領域に割り当て、前記後方撮像画像を残りの表示領域に割り当てた合成画像を生成することを特徴とする。

【0009】

上記構成において、前記側方側の画像は、前記側方撮像画像から前記車両の右前方の角部分、又は左前方の角部分を含む領域を抽出した画像であることを特徴とする。

【0010】

上記構成において、前記画像処理部は、前記境界を、前記表示用画像内の前記後方撮像画像に当てはめた前記予想進路の接線に平行で、かつ、前記接線との間に所定のマージンを付加した位置に設定することを特徴とする。

【0013】

本発明の画像出力システムは、車両の後方を撮像する後方撮像部と、前記車両の左右側方を撮像する側方撮像部と、前記車両が後退し、かつ左右いずれかに操舵されている場合に、前記側方撮像部で撮像された側方撮像画像を取得し、前記側方撮像画像と、前記後方撮像部で撮像された後方撮像画像とを合成した合成画像を生成し、前記合成画像を表示用画像として出力する画像処理部と、前記車両の予想進路を特定する解析部とを備え、前記合成画像は、入力した前記側方撮像画像のうちの前記車両が移動する側方側の画像と、前記後方撮像画像とを合成した画像であり、前記画像処理部は、前記車両の操舵角が大きいほど、前記合成画像内の前記側方側の画像の範囲を拡げると共に、前記予想進路の位置及び傾斜の少なくともいずれかに基づいて、前記側方側の画像と前記後方撮像画像との境界を変更することを特徴とする。

【0014】

また、車両の後方を撮像した後方撮像画像と、前記車両の左右側方を撮像した側方撮像画像とを入力する画像入力部と、前記車両が後退し、かつ左右いずれかに操舵されている場合に、前記画像入力部を用いて前記側方撮像画像を取得し、前記側方撮像画像と前記後方撮像画像とを合成した合成画像を生成し、前記合成画像を表示用画像として出力する画像処理部と、前記車両の予想進路を特定する解析部とを備え、前記表示用画像を出力する画像出力装置の制御方法であって、前記合成画像は、入力した前記側方撮像画像のうちの前記車両が移動する側方側の画像と、前記後方撮像画像とを合成した画像であり、前記画像処理部は、前記車両の操舵角が大きいほど、前記合成画像内の前記側方側の画像の範囲を拡げると共に、前記予想進路の位置及び傾斜の少なくともいずれかに基づいて、前記側方側の画像と前記後方撮像画像との境界を変更することを特徴とする。

【発明の効果】

【0015】

本発明によれば、後退時に車両周囲の画像を運転支援に効果的に、かつ見易く表示することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態に係る画像出力システムを示す図である。

【図2】前輪が左に操舵されている状態で後進している車両を上方から見た図である。

【図3】表示装置に表示された表示用画像を示す図である。

【図4】（Ａ）及び（Ｂ）は、操舵角が異なる場合の後方撮像画像と前部側方画像の境界を示す図である。

【図5】右側方カメラの撮影画像を示す図である。

【図6】（Ａ）及び（Ｂ）は、前輪が右に操舵され、操舵角が異なる場合の後方撮像画像と前部側方画像の境界を示す図である。

【図7】画像出力装置の動作を示すフローチャートである。

【図8】表示の変形例の説明に供する図である。

【発明を実施するための形態】

【0017】

以下、図面を参照して本発明の実施の形態について説明する。
図１は本発明の実施形態に係る画像出力システムを示す図である。
この画像出力システム１は、車両に搭載され、この車両の後退時に車両周囲の画像を表示させることによって、運転者の運転を支援するシステムである。
この画像出力システム１は、車両の後方を撮像する後方カメラ１０Ａ（後方撮像部）と、左側方を撮像する左側方カメラ１０Ｂ（左側方撮像部）と、右側方を撮像する右側方カメラ１０Ｃ（右側方撮像部）と、前方を撮像する前方カメラ１０Ｄ（前方撮像部）と、車両に搭載された画像出力装置２１と、画像出力装置２１から出力された表示用画像を表示する表示装置２２とを備えている。

【0018】

画像出力装置２１は、各カメラ１０Ａ～１０Ｄの撮像画像を入力する画像入力部３１と、撮像画像に基づき表示用画像を生成する画像処理部３２と、画像処理部が生成した表示用画像を表示装置に出力する画像出力部３３とを備えている。
画像入力部３１は、各カメラ１０Ａ～１０Ｄから延びる信号線が接続される入力Ｉ／Ｆを有し、入力Ｉ／Ｆを介して各撮影画像に対応する映像信号が入力される。各映像信号、つまり各撮影画像は画像処理部３２に出力される。

【0019】

画像処理部３２は、画像変換部３２Ａと、側方画像変換部３２Ｂと、画像合成部３２Ｃと、画像出力装置２１の各部を中枢的に制御する制御部３４とを備えている。さらに、画像出力装置２１は、車両信号を受信する受信部３５と、車両に接近する接近物を検出し、警報する処理を行う接近物警報部３６とを備えている。

【0020】

画像変換部３２Ａには、全て（４台）のカメラ１０Ａ～１０Ｄの撮像画像が入力され、側方画像変換部３２Ｂには、左右の側方カメラ１０Ｂ、１０Ｃの撮像画像だけが入力される。
ここで、左側方カメラ１０Ｂの撮像範囲は、車両の左前方の角部（車両前部の左部分と言うことができる）を含む範囲とされる。また、右側方カメラ１０Ｃの撮像範囲は、車両の右前方の角部（車両前部の右部分とも言う）を含む範囲とされる。各側方カメラ１０Ｂ、１０Ｃは、例えば、車両に設けられた左右一対のサイドミラーにそれぞれ下向きで取り付けられることによって、上記範囲を撮像可能な位置に取り付けられる。なお、各側方カメラ１０Ｂ、１０Ｃの取付位置は、サイドミラーに限定しなくてもよい。

【0021】

画像変換部３２Ａは、制御部３４の制御の下、全てのカメラ１０Ａ～１０Ｄの撮像画像を合成し、所定サイズの俯瞰画像Ｇ１を作成する公知の変換処理を行う機能を有している。さらに、画像変換部３２Ａは、制御部３４の制御の下、後方カメラ１０Ａからの後方撮像画像から所定サイズの後方撮像画像Ｇ２を作成する公知の変換処理を行う機能も有している。
なお、俯瞰画像は、例えば、車両の前後左右の撮像画像を視点変換して合成することによって作成され、あたかも車両の上方にカメラを設置して真下を見下ろした画像を再現した画像である。
画像変換部３２Ａの出力画像（俯瞰画像Ｇ１、後方撮像画像Ｇ２）のサイズは、表示装置２２の表示に適したサイズとされ、より具体的には、表示装置２２の解像度及びアスペクト比等に合わせたサイズとされる。

【0022】

側方画像変換部３２Ｂは、制御部３４の制御の下、左側方カメラ１０Ｂからの左側方撮像画像、又は、右側方カメラ１０Ｃからの右側方撮像画像から、車両の左前部又は右前部の角部分を含む領域を周辺領域と共に抽出した画像（以下、「前部側方画像Ｇ３」と表記する）を取得する処理を行う。
例えば、側方画像変換部３２Ｂは、左又は右の側方撮像画像に対し、拡大又は縮小の処理を施し、車両の左前方又は右前方の角部の領域を切り出すことによって、所定サイズの前部側方画像Ｇ３を生成する。

【0023】

ここで、拡大又は縮小の処理は、予め定めた表示エリアの大きさに、前部側方画像Ｇ３のサイズを合わせる処理である。本構成では、表示エリアを可変させるので、これに合わせて拡大率又は縮小率を設定する。
なお、前部側方画像Ｇ３のサイズは、表示装置２２の表示エリア全体のサイズにする必要はない。本構成では、前部側方画像Ｇ３を表示装置２２の一部に表示するため、その表示に合わせたサイズであればよい。

【0024】

画像合成部３２Ｃは、制御部３４の制御の下、画像変換部３２Ａで作成された後方撮像画像Ｇ２と、側方画像変換部３２Ｂで作成された前部側方画像Ｇ３とを合成し、合成した画像を表示用画像として画像出力部３３に出力する。また、画像合成部３２Ｃは、制御部３４の制御の下、画像変換部３２Ａで作成された俯瞰画像Ｇ１を表示用画像として画像出力部３３に出力する。

【0025】

画像出力部３３は、表示装置２２から延びる信号線が接続される出力Ｉ／Ｆを有し、表示用画像に対応する映像信号を表示装置２２に出力することにより、表示装置２２に表示用画像に対応する画像を表示させる。
なお、表示装置２２は、液晶表示装置等の公知の表示装置であり、車両のセンターコンソール等の運転者が容易に視認可能な位置に設けられている。

【0026】

制御部３４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータの構成を具備し、記憶部３４Ａに記憶された制御プログラムを実行することによって、画像出力装置２１の各部を制御する。また、制御部３４は、受信部３５により受信された情報を解析する解析部３４Ｂとしても機能する。
受信部３５は、車両の各部から送信される車両信号を受信する車両信号受信部である。車両信号は、車両の変速機が後進段（図１中、シフトＲ）であることを通知する情報、及び、車両の操舵角を通知する情報を少なくとも含んでいる。受信部３５は、受信した車両信号を解析部３４Ｂに出力する。

【0027】

解析部３４Ｂは、車両信号に基づき、後進段であること、及び車両の操舵角を取得するとともに、操舵角の情報に基づいて後進時の予想進路を特定する公知の処理を行う。操舵角は、前輪の切れ角とも称し、一般的にハンドル角とも一致するため、操舵角に代えてハンドル角を取得し、後述のステップＳ３の処理等にハンドル角を用いてもよい。
但し、ハンドル操作に応じた前輪の切れ角を車速等に応じて変動させる構成の場合、操舵角は前輪の切れ角と一致するものの、ハンドル角とは一致しないので、後段のステップＳ３の処理等に操舵角を用いることが好ましい。

【0028】

接近物警報部３６は、制御部３４の制御の下、画像変換部３２Ａ又は側方画像変換部３２Ｂから車両周辺の画像を入力し、入力した画像から車両に接近する接近物を検出し、警報する処理を行う。
接近物は、壁、他の車両、又は人等であり、公知の画像認識処理を適用することによって検出可能である。また、警報の方法は、表示装置に所定の警報情報を表示させる方法、又は警報音を放音する方法等の公知の方法を広く適用可能である。

【0029】

図２は前輪が左に操舵されている状態で後進している車両（図２中、符号２を付して示す）を上方から見た図である。この図に示すように、後方カメラ１０Ａは、車両２の後方領域を、車幅より広い左右領域に渡って撮影する。また、右側方カメラ１０Ｃは、つまり、前輪の操舵方向と反対側のカメラ１０Ｃは、車両２の前部が移動する側方側の領域を、車両右前部の角部分（図２中、符号２Ｒを付して示す）を含めて撮影する。

【0030】

図３は、図２の場合に表示装置２２に表示された表示用画像を示す図である。
図３に示す表示用画像は、画像変換部３２Ａで作成された後方撮像画像Ｇ２と、側方画像変換部３２Ｂで作成された前部側方画像Ｇ３とを合成した画像である。より具体的には、表示装置２２の矩形の表示枠Ｗに対し、右上に対応する表示領域を前部側方画像Ｇ３に割り当てられ、残りの表示領域を後方撮像画像Ｇ２に割り当てている。
ここで、前部側方画像Ｇ３は、右側方カメラ１０Ｃの右側方撮像画像から抽出した画像であり、同図３に示すように、車両右前部の角部分２Ｒが前輪を含めて表示される。また、後方撮像画像Ｇ２に対応する領域には、解析部３４Ｂによって求められた予想進路（図３中、符号ＲＴ）も合成して表示される。

【0031】

図２に示すように、車両２の後退時には、車両が後方に進行するだけでなく、車両２の前部が右方向にも進行するので、車両２の後方又は右側に障害物が存在すると、車両２がその障害物に接触する可能性が生じる。本構成では、車両２の後方及び右方に対応する後方撮像画像Ｇ２及び前部側方画像Ｇ３を合成して表示するので、運転者が表示装置２２を見ることで、車両の後方及び右方に存在する障害物を視認できる。

【0032】

この場合、俯瞰画像Ｇ１を表示する場合と比べて、後方及び右方の画像を大きく表示できる。従って、俯瞰画像Ｇ１に比べて、車両２の後方又は右方に存在する障害物を運転者がより視認し易くなる。さらに、俯瞰画像Ｇ１では、前後左右の撮像画像を合成する際に、各撮影画像の境界部分に存在する障害物が表示されないおそれが生じる。これに対し、図３に示す表示用画像は、車両の後方及び右方に存在して車両２に接近する接近物が表示されない事態を回避できる。

【0033】

図３に示すように、後方撮像画像Ｇ２と前部側方画像Ｇ３の境界ＬＫは、予想進路ＲＴに略沿った斜めの線に設定されている。
図４（Ａ）に示すように、境界ＬＫは、表示用画像内の後方撮像画像Ｇ２に当てはめた予想進路ＲＴの接線Ｌ１に平行で、かつ、接線Ｌ１との間に所定のマージンＭ１を付加した位置に設定される。このため、操舵角が変更された場合、図４（Ｂ）に示すように、予想進路ＲＴが変更し、変更後の予想進路ＲＴに合わせて境界ＬＫの位置及び傾きが変化する。

【0034】

本構成では、操舵角が大きいほど（図４（Ａ）参照）、境界ＬＫの傾斜角度θが小さくなり、前部側方画像Ｇ３の表示領域が左右に拡がり、車両右前部の角部分２Ｒ（図３参照）の表示領域を広くする。
また、操舵角が小さいほど（図４（Ｂ）参照）、境界ＬＫの傾斜角度θが小さくなり、前部側方画像Ｇ３の表示領域が左右に狭まる。操舵角が小さい場合、車両前部の側方への移動速度は相対的に遅くなるので、左右に狭めても車両側方の障害物に接触前に気づき易い表示を維持できる。
通常、操舵角が大きいほど車両前部の側方への移動速度が相対的に上昇し、本構成では前部側方画像Ｇ３の範囲が拡がるので、側方への移動速度が上昇しても車両側方の接近物に相対的に気づき易い表示にできる。一方、操舵角が小さい程、後方撮像画像Ｇ２の表示領域が拡がるので、後方の障害物に相対的に気づき易い表示にできる。

【0035】

このように、境界ＬＫを予想進路ＲＴの位置及び傾斜に基づいて設定することで、車両が近づく後方及び側方の障害物に気づき易い表示が可能になる。また、本構成では、前部側方画像Ｇ３の表示領域が大きくなるほど前部側方画像Ｇ３の範囲を拡げている。図５は右側方カメラ１０Ｃの撮影画像を示す図である。
上述したように、前部側方画像Ｇ３は、側方画像変換部３２Ｂによって右側方カメラ１０Ｃの撮影画像から切り出した範囲の画像である。図５中、符号ＡＲ１は、図４（Ａ）の場合の前部側方画像Ｇ３の範囲を示し、符号ＡＲ２は、図４（Ｂ）の場合の前部側方画像Ｇ３の範囲を示している。
このように、前部側方画像Ｇ３の表示領域が大きくなるほど前部側方画像Ｇ３の範囲を拡げるので、拡がった表示範囲を有効利用して前部側方画像Ｇ３を表示できる。

【0036】

なお、前輪が右に操舵された場合、図６（Ａ）及び図６（Ｂ）に示すように、表示装置２２の矩形の表示枠Ｗに対し、右上に対応する表示領域に前部側方画像Ｇ３が表示され、残りの表示領域に後方撮像画像Ｇ２が表示される。この場合、前部側方画像Ｇ３は、左側方カメラ１０Ｂの左側方撮像画像から抽出した画像とされる。境界ＬＫ等の設定方法は、上記と同様であり、重複説明は省略する。

【0037】

図７は画像出力装置２１の動作を示すフローチャートである。このフローチャートは、解析部３４Ｂによって車両の変速機が後進段であることが検出された場合に実行される。
ステップＳ１において、制御部３４は、記憶部３４Ａに予め記憶されたユーザ設定に基づいて後方画像の表示ＯＮが設定されているか否かを判定する。後方画像の表示ＯＮが設定されている場合（ステップＳ１；ＹＥＳ）、つまり、画像出力装置２１のユーザ（例えば運転者）が後退時に後方画像の表示を希望している場合、制御部３４は、ステップＳ２の処理に移行する。

【0038】

一方、後方画像の表示ＯＮが設定されていない場合（ステップＳ１；ＮＯ）、つまり、画像出力装置２１のユーザ（例えば運転者）が後退時に後方画像の表示を希望している場合、制御部３４は、ステップＳ２０の処理に移行する。
ステップＳ２０において、制御部３４は、ユーザ設定に基づいて俯瞰画像の表示ＯＮが設定されていれば（ステップＳ２０；ＹＥＳ）、ステップＳ２１の処理に移行し、俯瞰画像の表示ＯＮが設定されていなければ（ステップＳ２０；ＮＯ）、当該フローを終了する。

【0039】

ステップＳ２１において、制御部３４は、俯瞰画像Ｇ１を表示させる制御を開始する。この場合、制御部３４は、画像変換部３２Ａに俯瞰画像Ｇ１の作成を指示し、作成した俯瞰画像Ｇ１を画像合成部３２Ｃ及び画像出力部３３を介して出力させることによって、表示装置２２に俯瞰画像Ｇ１に対応する画像を表示させる。
さらに、制御部３４はステップＳ２２の処理に移行し、接近物警報部３６により周囲の撮像画像（例えば各カメラ１０Ａ～１０Ｄの撮像画像）に基づく接近物検出処理を実行させる。これにより、俯瞰画像Ｇ１が表示されて運転者が視認可能となり、かつ、車両の周囲に接近物が存在すると、接近物の存在が運転者に報知される。

【0040】

ステップＳ２において、制御部３４は、後方撮像画像の表示制御を開始する。この場合、制御部３４は、画像変換部３２Ａに表示用の後方撮像画像Ｇ２の作成を指示し、作成した後方撮像画像Ｇ２を画像合成部３２Ｃ及び画像出力部３３を介して出力させることによって、表示装置２２に後方撮像画像Ｇ２に対応する表示用画像を表示させる。
ステップＳ３において、制御部３４は、操舵角が５°以上か否かを判断し、５°以上の場合、ステップＳ４の処理に移行し、５°未満の場合、ステップＳ８の処理に移行する。なお、操舵角の閾値は５°に限定されず、任意の所定値を適用可能である。

【0041】

ステップＳ４において、制御部３４は、解析部３４Ｂによって得た予想進路に基づいて、図４（Ａ）等に示すように、後方撮像画像Ｇ２と前部側方画像Ｇ３の境界ＬＫを設定することにより、前部側方画像Ｇ３の表示領域を決定する。
ステップＳ５において、制御部３４は、側方画像変換部３２Ｂに、車両２の前部が移動する側方側に対応する前部側方画像Ｇ３の作成を指示する。
ステップＳ６において、制御部３４は、画像合成部３２Ｃに、後方撮像画像Ｇ２に側方画像変換部３２Ｂを合成した表示用画像の作成を指示し、作成した表示用画像を画像出力部３３を介して出力させることによって、表示装置２２に、後方撮像画像Ｇ２と側方画像変換部３２Ｂとを合成した画像を表示させる。

【0042】

さらに、制御部３４はステップＳ７の処理に移行し、接近物警報部３６により後方撮像画像Ｇ２に側方画像変換部３２Ｂとに基づく接近物検出処理を実行させる。これにより、後方撮像画像Ｇ２及び側方画像変換部３２Ｂが表示されて運転者が視認可能となり、かつ、車両の周囲に接近物が存在すると、接近物の存在が運転者に報知される。

【0043】

一方、操舵角が５°未満の場合、制御部３４は、ステップＳ８において、側方画像変換部３２Ｂに前部側方画像Ｇ３の作成をしないよう作成無効の指示を行い、続くステップＳ９において、画像合成部３２Ｃに、前部側方画像Ｇ３の合成不要を指示する。これによって、ステップＳ２の処理で作成された後方撮像画像Ｇ２が画像出力部３３を介して出力され、表示装置２２に、後方撮像画像Ｇ２に対応する画像が表示される。

【0044】

次いで、制御部３４はステップＳ１０の処理に移行し、接近物警報部３６によって後方撮像画像Ｇ２に基づく接近物検出処理を実行させる。これにより、後方撮像画像Ｇ２が表示されて運転者が視認可能となり、かつ、車両２の後方に接近物が存在すると、接近物の存在が運転者に報知される。以上が画像出力装置２１の動作である。

【0045】

以上説明したように、本実施の形態に係る画像出力装置２１は、車両２が後退し、かつ左右いずれかに操舵されている場合に、画像入力部３１等を用いて車両２の側方を撮像した前部側方画像Ｇ３を取得し、前部側方画像Ｇ３と後方撮像画像Ｇ２とを合成した合成画像を生成し、合成画像を表示用画像として出力するので、車両２が近づく後方及び側方側の画像を見易く表示させることができる。これによって、後退時に車両２周囲の画像を運転支援に効果的、かつ見易く表示することができる。

【0046】

ここで、前部側方画像Ｇ３は、左右の側方カメラ１０Ｂ、１０Ｃの側方撮像画像のうちの車両２が移動する側方側の画像であり、画像処理部３２は、車両２の操舵角が大きいほど、合成画像内の前部側方画像Ｇ３の範囲を拡げるので、側方への移動速度が上昇しても車両２側方の接近物に相対的に気づき易い表示が可能になる。なお、合成画像中の前部側方画像Ｇ３を、左右の側方カメラ１０Ｂ、１０Ｃの側方撮像画像にしてもよい。この場合も、車両前後及び左右の画像を含む俯瞰画像を表示する場合に比して、車両２の後方及び側方を相対的に大きく表示させることができる。

【0047】

また、画像処理部３２は、車両２の操舵角が所定量以上（本実施形態では５°以上）の場合に、合成画像を表示用画像として出力し、車両２の操舵角が所定量未満（本実施形態では５°未満）の場合、後方撮像画像Ｇ２を表示用画像として出力するので、車両２が接近する接近物を効率良く表示させることができる。
さらに、画像処理部３２は、予想進路ＲＴの位置及び傾斜に基づいて前部側方画像Ｇ３と後方撮像画像Ｇ２との境界ＬＫを変更するので、車両２が近づく後方及び側方の障害物に気づき易い表示が可能になる。
しかも、境界ＬＫを、表示用画像内の後方撮像画像Ｇ２に当てはめた予想進路ＲＴの接線Ｌ１に平行で、かつ、接線Ｌ１との間に所定のマージンＭ１を付加した位置に設定するので、後方撮像画像Ｇ２については予想進路ＲＴの周囲をマージンＭ１分、広く表示させつつ、車両２が近づく側方側の画像を表示させることが可能になる。

【0048】

なお、本実施形態では、予想進路ＲＴの位置及び傾斜に基づいて境界ＬＫを設定する場合を例示したが、予想進路ＲＴの位置及び傾斜の少なくともいずれかに基づいて境界ＬＫを設定してもよく、車両２が近づく後方及び側方の障害物に気づき易い表示が可能な境界ＬＫを設定できる範囲で適宜に変更が可能である。

【0049】

また、表示装置２２に表示させる表示用画像として、前部側方画像Ｇ３を右上又は左上に対応する表示領域に割り当て、後方撮像画像Ｇ２を残りの表示領域に割り当てた合成画像を生成するので、車両２の前方向を上方向、車両２の左右方向を左右方向に揃えた表示ができ、運転支援に好適な表示ができる。

【0050】

また、前部側方画像Ｇ３は、左右の側方カメラ１０Ｂ、１０Ｃの側方撮像画像から車両２の右前方の角部分、又は左前方の角部分を含む領域を抽出した画像であるので、側方に存在する接近物が写る領域を効果的に表示できる。
なお、前部側方画像Ｇ３は、上記角部分を含む範囲で任意な形状及びサイズで抽出した画像にしてもよいし、また、運転支援に好適な領域を含む範囲で、上記角部分を含まなくてもよく、適宜に変更してもよい。

【0051】

上述した実施形態は、あくまでも本発明の一実施の態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
例えば、後方撮像画像Ｇ２及び前部側方画像Ｇ３の表示位置、及び表示範囲等は適宜に変更してもよいし、また、ユーザの指示等に応じて表示位置及び表示範囲を変更してもよい。さらに、図８に例示するように、ユーザの指示等に応じて、俯瞰画像Ｇ１等の別の画像を追加表示してもよい。

【0052】

また、上述した画像出力システム１の各構成要素は、分割してもよいし、併合してもよい。また、各構成要素は、ハードウェアとソフトウェアの協働等により任意に実現可能である。また、フローチャートについても、各ステップに対応する処理を分割してもよいし、併合してもよい。
さらに、上述の実施形態では、画像出力装置２１の記憶部３４Ａに制御プログラムを予め記憶しておく場合について説明したが、この制御プログラムを、磁気記録媒体、光記録媒体、半導体記録媒体等のコンピュータが読み取り可能な記録媒体に格納し、コンピュータが記録媒体からこの制御プログラムを読み取って実行するようにしてもよい。また、この制御プログラムを電気通信回線を介して通信ネットワーク上の配信サーバー等からダウンロードできるようにしてもよい。

【符号の説明】

【0053】

１ 画像出力システム
２ 車両
２Ｒ 車両右前部の角部分
１０Ａ 後方カメラ
１０Ｂ 左側方カメラ
１０Ｃ 右側方カメラ
１０Ｄ 後方カメラ
２１ 画像出力装置
２２ 表示装置
３２ 画像処理部
３２Ａ 画像変換部
３２Ｂ 側方画像変換部
３２Ｃ 画像合成部
３３ 画像出力部
３４ 制御部
３５ 受信部
３６ 接近物警報部
Ｇ１ 俯瞰画像
Ｇ２ 後方撮像画像
Ｇ３ 前部側方画像
ＬＫ 境界
ＲＴ 予想進路
Ｌ１ 接線
Ｍ１ マージン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】