特許 6700222 画像作成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6700222

(24)【登録日】2020年5月7日

(45)【発行日】2020年5月27日

(54)【発明の名称】画像作成装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20200518BHJP

   B60R 1/00 20060101ALI20200518BHJP

   G06T 1/00 20060101ALI20200518BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   H04N7/18 V

   G06T1/00 330A

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2017-114273(P2017-114273)

(22)【出願日】2017年6月9日

(65)【公開番号】特開2018-207448(P2018-207448A)

(43)【公開日】2018年12月27日

【審査請求日】2019年4月23日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】前田 優

(72)【発明者】

【氏名】竹田 浩章

(72)【発明者】

【氏名】柳川 博彦

【審査官】 庄司 琴美

(56)【参考文献】

【文献】 特開２０１０−１０９４５１（ＪＰ，Ａ）

【文献】 特開２０１０−２５１９３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載され、当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像する複数の撮像装置（１１，１２）により撮像された画像である複数の撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
前記周辺範囲に存在する立体物を検出するように構成された検出部（Ｓ１３０）と、
前記画像取得部で取得された前記複数の撮像画像を、あらかじめ設定された変換ルールに従って、前記車両を俯瞰する視点で表現された複数の個別俯瞰画像（１０１，１０２）に変換し、前記複数の個別俯瞰画像を合成した全体俯瞰画像（１０４）を用いて第１変換画像（１０５）を作成するように構成された第１変換部（Ｓ１２０）と、
前記車両上に設定された位置である仮想位置に、仮想の光軸方向が前記立体物の方向を向くように仮想的に配置されたカメラである仮想カメラ（１３ｅ）から撮像した画像を前記変換ルールにしたがって変換した画像である第２変換画像（１０６）を作成するように構成された第２変換部（Ｓ１６０）と、
前記第１変換画像の上に前記第２変換画像を合成することにより、合成画像を作成するように構成された合成部（Ｓ１７０）と、
を備え、
前記第２変換部は、
前記第１変換画像において前記立体物が映り込んでいる範囲を立体物範囲とし、
前記立体物を撮像した前記撮像装置のうちの１つを対象カメラとし
前記第１変換画像での前記対象カメラの位置と前記立体物が検出された点である特定点とを通る仮想的な直線を対象線とし、
前記対象カメラに対する前記特定点の方向と前記仮想カメラに対する前記特定点の方向とがなす角度である変換角を求めるように構成された角度算出部（Ｓ３４０）と、
前記特定点のうち、前記立体物が存在する境界である境界部分を通る前記対象線を外側対象線とし、
前記外側対象線のそれぞれについて、前記対象カメラからみて前記特定点と反対側に存在する前記外側対象線上にある前記第１変換画像の画素を、前記特定点を中心として前記角度算出部で算出された変換角だけ回転させる座標変換を少なくとも行うことにより前記第２変換画像を生成するように構成された変換実行部と、
を備える、画像作成装置（４０）。

【請求項2】

請求項１に記載の画像作成装置であって、
前記変換実行部は、
前記立体物範囲に属する全ての前記特定点について、当該特定点ごとに前記座標変換を実行するように構成された、画像作成装置。

【請求項3】

請求項１に記載の画像作成装置であって、
前記変換実行部は、
前記外側対象線を座標変換することで求められた、前記第２変換画像における前記立体物の前記境界部分に挟まれた部分に位置する画素の画素値を、
前記立体物範囲内に存在する１つの画素の画素値と前記立体物範囲内に存在する複数の画素の平均の画素値との一方である設定画素値に変更することにより前記第２変換画像への変換を行うように構成された、画像作成装置。

【請求項4】

請求項１から請求項３までのいずれか１項に記載の画像作成装置であって、
前記第２変換部は、
前記第１変換画像における前記車両の中央を前記仮想位置とするように構成された、画像作成装置。

【請求項5】

請求項１から請求項３までのいずれか１項に記載の画像作成装置であって、
前記第２変換部は、
前記第１変換画像における前記車両上において、前記立体物との距離が最短となる位置を前記仮想位置とするように構成された、画像作成装置。

【請求項6】

車両に搭載され、当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像する複数の撮像装置（１１，１２）により撮像された画像である複数の撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
前記周辺範囲に存在する立体物を検出するように構成された検出部（Ｓ１３０）と、
前記画像取得部で取得された前記複数の撮像画像を、あらかじめ設定された変換ルールに従って、前記車両を俯瞰する視点で表現された複数の個別俯瞰画像（１０１，１０２）に変換し、前記複数の個別俯瞰画像を合成した全体俯瞰画像（１０４）を用いて第１変換画像（１０５）を作成するように構成された第１変換部（Ｓ１２０）と、
前記車両上に設定された位置である仮想位置に、仮想の光軸方向が前記立体物の方向を向くように仮想的に配置されたカメラである仮想カメラ（１３ｅ）から撮像した画像を前記変換ルールにしたがって変換した画像である第２変換画像（１０６）を作成するように構成された第２変換部（Ｓ１６０）と、
前記第１変換画像の上に前記第２変換画像を合成することにより、合成画像を作成するように構成された合成部（Ｓ１７０）と、
を備え、
前記第２変換部は、
前記第１変換画像における前記車両上において、前記立体物との距離が最短となる位置を前記仮想位置とするように構成された、画像作成装置。

【請求項7】

請求項１から請求項６までのいずれか１項に記載の画像作成装置であって、
前記第１変換部により作成された前記第１変換画像を保存するように構成された履歴保存部（Ｓ２４０）と、
前記履歴保存部に保存された時点からの前記車両の挙動を取得するように構成された挙動取得部（Ｓ４４０）と、
前記履歴保存部により保存された前記第１変換画像を、前記挙動取得部により測定された前記車両の挙動と反対方向に画像内の表示を移動させるように座標変換した画像である履歴画像（１０７）を作成するように構成された履歴画像作成部（Ｓ４５０）と、
を更に備え、
前記合成部は、
前記履歴画像、前記第１変換画像及び前記第２変換画像を合成することにより前記合成画像を作成するように構成された、画像作成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の周辺を撮像した撮像画像から俯瞰画像を作成する画像作成装置に関する。

【背景技術】

【0002】

複数の車載カメラを用いて車両の周辺を撮像した画像を、車両の周囲を車両の上方から映し出した俯瞰画像（以下、全体俯瞰画像）に変換し、当該車両に備えられた表示装置に表示することによりドライバに提示し、安全な運転を支援するシステムが知られている。

【0003】

この種のシステムでは、複数の車載カメラそれぞれにより撮像された撮像画像を、個別に俯瞰画像（以下、個別俯瞰画像）に変換し、複数の個別変換画像を用いて合成することにより全体俯瞰画像を生成する。全体俯瞰画像において、個別俯瞰画像が互いに接する境界（以下、合成境界）が、立体物を表示している部分を横切るように存在すると、画像が不連続なものとなり立体物を表示している部分に欠けが生じる。また、車載カメラの光軸方向からずれ角度が大きい位置ほど、撮像画像から全体俯瞰画像に変換された場合に画像歪みが大きくなる。このため、全体俯瞰画像中に表された立体物の画像は不自然な形状となる。

【0004】

これに対し、特許文献１には、立体物を表した画像（以下、立体物画像）をあらかじめ記憶し、立体物を検知した場合に、その立体物が検知された位置に対応する全体俯瞰画像上の位置に、立体物画像を合成する技術が開示されている。この場合、立体物に対しては、合成時の画像欠けや変換時の画像歪みが生じないため、上述した不自然さは抑制される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−９７６８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら特許文献１に記載の方法では、実際に存在する立体物と合成された立体物画像が表す立体物とで、形状や色等が一致しない可能性がある。そのような全体俯瞰画像が表示されると、ドライバはその表示に違和感を覚えるという問題があった。

【0007】

本開示は、ドライバが違和感を覚えにくい俯瞰画像を合成する技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様は、車両に搭載され、画像取得部（Ｓ１１０）と、検出部（Ｓ１３０）と、第１変換部（Ｓ１２０）と、第２変換部（Ｓ１６０）と、合成部（Ｓ１７０）と、を備える。画像取得部は、当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像する複数の撮像装置（１１，１２）により撮像された画像である複数の撮像画像を取得する。検出部は、周辺範囲に存在する立体物を検出する。第１変換部（Ｓ１２０）は、画像取得部で取得された複数の撮像画像を、あらかじめ設定された変換ルールに従って、車両を俯瞰する視点で表現された複数の個別俯瞰画像（１０１，１０２）に変換し、複数の個別俯瞰画像を合成した全体俯瞰画像（１０４）を用いて第１変換画像（１０５）を作成する。第２変換部は、車両上に設定された位置である仮想位置に、仮想の光軸方向が立体物の方向を向くように仮想的に配置されたカメラである仮想カメラ（１３ｅ）から撮像した画像を変換ルールにしたがって変換した画像である第２変換画像（１０６）を作成する。合成部は、第１変換画像の上に第２変換画像を合成することにより、合成画像を作成する。

【0009】

このような構成によれば、合成画像中に表された立体物の画像である第２変換画像は、撮像画像を元に作成された画像である。このため、車両の周辺に存在する立体物と合成された画像中に存在する立体物の形状や色等が同一となる。

【0010】

また、仮想カメラの光軸方向は立体物の方向を向くように配置されている。このため、立体物を俯瞰画像に変換した際に、カメラの光軸方向から大きく外れることにより生じる立体物を表示した画像の画像歪みを抑制することができる。

【0011】

さらに、合成画像は、第１変換画像の上に第２変換画像を合成することにより、作成される。このため、立体物の表示に欠けが生じることを抑制することができる。すなわち、第１変換画像において合成境界が、立体物を表示している部分を横切るように存在すると、画像が不連続なものとなり立体物を表示している部分に欠けが生じる。しかし、第１変換画像の上に、立体物を表した画像である第２変換画像を合成することにより、立体物の表示に欠けが生じることを抑制することができる。

【0012】

これらの構成により、ドライバが違和感を覚えにくい全体俯瞰画像を合成することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

【図面の簡単な説明】

【0013】

【図1】画像表示システムの構成を示すブロック図である。

【図2】自車において各構成が搭載される位置の例を表した図である。

【図3】画像表示処理を表したフローチャートである。

【図4】第１作成処理を表したフローチャートである。

【図5】第１作成処理の各ステップで作成される画像を表した図である。

【図6】第２作成処理を表したフローチャートである。

【図7】フロントカメラの俯瞰画像から仮想画像の俯瞰画像への変換を表した図である。

【図8】左カメラの俯瞰画像から仮想画像の俯瞰画像への変換を表した図である。

【図9】画像合成処理を表したフローチャートである。

【図10】画像の欠けの抑制を表した図である。

【図11】変形例におけるフロントカメラの俯瞰画像から仮想画像の俯瞰画像への変換を表した図である。

【図12】変形例における左カメラの俯瞰画像から仮想画像の俯瞰画像への変換を表した図である。

【図13】第１変換画像に含まれる立体物範囲の履歴画像による代用を表した図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、本開示の実施形態を説明する。

【0015】

［１．実施形態］
［構成］
図１に示す画像表示システム１は車両に搭載され、前後カメラ１１、側方カメラ１２、複数の測位センサ２０ａ〜２０ｄ、挙動センサ３０、画像作成装置４０及び表示装置５０を備える。なお以下では、これらの構成を備える車両を自車という。

【0016】

前後カメラ１１及び側方カメラ１２は、自車の周辺を撮像する撮像装置である。前後カメラ１１及び側方カメラ１２の基本的な構成は同様である。また、前後カメラ１１及び側方カメラ１２は、その撮像範囲が一部重なり合うような位置に設置される。

【0017】

前後カメラ１１とは、自車の前方を撮像するフロントカメラ１１ａ及び自車の後方を撮像するリアカメラ１１ｂを指す。
図２に示すように、フロントカメラ１１ａ及びリアカメラ１１ｂは、その光軸方向が自車の前進方向及び自車の後進方向と一致する方向を向いて、自車のフロントバンパー及び自車のリアバンパーにそれぞれ搭載される。また、フロントカメラ１１ａ及びリアカメラ１１ｂはそれぞれ、例えば自車の前方及び後方の視野角１８０°程度の角度範囲を撮像する。

【0018】

一方、側方カメラ１２とは、自車の左側方を撮像する左カメラ１２ｃ及び自車の右側方を撮像する右カメラ１２ｄを指す。
図２に示すように、左カメラ１２ｃ及び右カメラ１２ｄはそれぞれ、自車の前進方向に対して左側９０°の方向及び右側９０°の方向を向いて、自車の車体の前後方向の中央付近にそれぞれ搭載される。また、左カメラ１２ｃ及び右カメラ１２ｄはそれぞれ、例えば自車の左側方及び右側方の視野角１８０°程度の範囲を撮像する。

【0019】

測位センサ２０ａ〜２０ｄは、測位センサ２０ａ〜２０ｄそれぞれが対応づけられた前後カメラ１１及び側方カメラ１２の撮像範囲内に存在する立体物を検出し、その立体物の位置を測定する。ここで、立体物とは例えば自車が乗り越えられないような高さを有する物標をいう。測位センサ２０ａ〜２０ｄは対応づけられた前後カメラ１１及び側方カメラ１２付近に設置される。ここでいう測位センサ２０ａ〜２０ｄは、例えば車載レーダなど周知のセンサである。

【0020】

挙動センサ３０は、自車の挙動や自車の挙動に影響を与える運転操作等に関する情報を検出するための各種機器を有する。挙動センサ３０の検出対象は、例えば、アクセルペダルやブレーキペダルの操作量、操舵角、車両速度、車両加速度、タイヤの回転数等がある。

【0021】

画像作成装置４０は、前後カメラ１１、側方カメラ１２、測位センサ２０ａ〜２０ｄ及び挙動センサ３０からの出力に応じて合成画像を作成する。
画像作成装置４０は、ＣＰＵ４１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ４２）と、を有する周知のマイクロコンピュータを中心に構成される。画像作成装置４０の各種機能は、ＣＰＵ４１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ４２がプログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像作成装置４０を構成するマイクロコンピュータの数は１つでも複数でもよい。また、メモリ４２にはＣＰＵ４１が各プログラムを実行することにより作成された合成画像が格納される。

【0022】

画像作成装置４０は、ＣＰＵ４１がプログラムを実行することで実現されるが、この手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

【0023】

表示装置５０は、自車の運転席からドライバが表示を視認できる位置に搭載され、画像作成装置４０から合成画像を取得して表示する。表示装置５０は例えば、自車のインストルメントパネルに設置されたディスプレイや自車に搭載されたカーナビゲーションシステムのディスプレイなどの周知の装置である。

【0024】

［処理］
＜画像表示処理＞
次に、画像作成装置４０が実行する画像表示処理について、図３のフローチャートを用いて説明する。画像表示処理はシフトレバーが「Ｒ」の位置に設定されている場合に繰り返し実行される。ここでいう「Ｒ」とは、リバースレンジであって、車両が後退する場合にシフトレバーを位置させる領域である。

【0025】

Ｓ１１０で、画像作成装置４０は、フロントカメラ１１ａ、リアカメラ１１ｂ、左カメラ１２ｃ及び右カメラ１２ｄにより撮像された各撮像画像を各撮像装置から取得する。
Ｓ１２０で、画像作成装置４０は、Ｓ１１０で取得した撮像画像に基づいて第１変換画像を作成する第１作成処理を行う。

【0026】

Ｓ１３０で、画像作成装置４０は、測位センサ２０ａ〜２０ｄを用いて周辺範囲に存在する立体物を検知する。ここで周辺範囲とは、少なくとも第１変換画像１０５に変換される範囲を含む自車周辺の範囲をいう。測位センサ２０ａ〜２０ｄを用いた立体物の検知は、周知の方法で行われる。

【0027】

Ｓ１４０で、画像作成装置４０は、Ｓ１３０で立体物が検知されたか否かを判定する。
立体物が検知されなかった場合、画像作成装置４０はＳ１５０に処理を移行する。
一方、立体物が検知された場合には、画像作成装置４０はＳ１６０に処理を移行する。

【0028】

Ｓ１５０で、画像作成装置４０は、Ｓ１２０で第１作成処理により作成された第１変換画像１０５を表示装置５０に表示させ、処理を終了する。
Ｓ１６０で、画像作成装置４０は、第１変換画像１０５及び測位センサにより検出された立体物の検知結果に基づいて第２変換画像１０６を作成する第２作成処理を行う。

【0029】

Ｓ１７０で、画像作成装置４０は、Ｓ１２０で第１作成処理により作成された第１変換画像１０５及びＳ１６０で第２作成処理により作成された第２変換画像１０６を合成し、合成画像を作成する処理である画像合成処理を行う。

【0030】

Ｓ１８０で画像作成装置４０は、表示装置５０にＳ１７０で作成した合成画像を表示する。
なお、Ｓ１１０での処理が画像取得部としての処理に相当し、Ｓ１２０での処理が第１変換部としての処理に相当し、Ｓ１３０での処理が検出部としての処理に相当し、Ｓ１６０での処理が第２変換部としての処理に相当し、Ｓ１７０での処理が合成部としての処理に相当する。

【0031】

＜第１作成処理＞
次に、Ｓ１２０で画像作成装置４０が実行する第１作成処理について、図４のフローチャート及び図５の説明図を用いて説明する。

【0032】

Ｓ２１０で、画像作成装置４０は、個別俯瞰画像を作成する。ここでいう個別俯瞰画像とは、前後俯瞰画像１０１及び側方俯瞰画像１０２をいう。前後俯瞰画像１０１は、図５に示すように、前方俯瞰画像１０１ａ及び後方俯瞰画像１０１ｂにより構成される。前方俯瞰画像１０１ａは、フロントカメラ１１ａにより撮像された撮像画像を変換した俯瞰画像である。ここで、撮像画像から俯瞰画像への変換は、あらかじめ決められたルール（以下、変換ルール）にしたがって変換される。ここでいう変換ルールは、車両が存在する路面に撮像画像を投影することにより俯瞰画像に変換するための座標変換を表したルールである。

【0033】

後方俯瞰画像１０１ｂは、リアカメラ１１ｂにより撮像された撮像画像を変換ルールにしたがって変換した俯瞰画像である。
また、側方俯瞰画像１０２は、左俯瞰画像１０２ｃ及び右俯瞰画像１０２ｄにより構成される。左俯瞰画像１０２ｃは、左カメラ１２ｃにより撮像された撮像画像を変換ルールにしたがって変換した俯瞰画像である。右俯瞰画像１０２ｄは右カメラ１２ｄにより撮像された撮像画像を変換ルールにしたがって変換した画像である。また、前後俯瞰画像１０１は、例えば自車の前後端から前後それぞれ５ｍずつかつ自車の車幅方向の中央から左右にそれぞれ５ｍずつの範囲を表した画像である。側方俯瞰画像１０２は、例えば自車の側面から車幅方向にそれぞれ５ｍずつかつ自車の前後方向の中央から自車の前後方向に５ｍずつの範囲を表した画像である。

【0034】

Ｓ２２０で、画像作成装置４０は、あらかじめ設定された範囲である設定範囲１０３ａ〜１０３ｄに前方俯瞰画像１０１ａ、後方俯瞰画像１０１ｂ、左俯瞰画像１０２ｃ及び右俯瞰画像１０２ｄを用いて全体俯瞰画像１０４を合成する。

【0035】

ここで、設定範囲１０３ａ〜１０３ｄは、それぞれが重ならないように設定される。設定範囲１０３ａ〜１０３ｄは、俯瞰画像において自車の中心位置を中心としてそれぞれの方向に対してあらかじめ決められた角度範囲が設定される。例えば、自車の前方の設定範囲である前方領域１０３ａは、自車の前進方向に対して±６０°の角度範囲が設定される。また、自車の後方の設定範囲である後方領域１０３ｂは、自車の後退方向に対して±７０°の角度範囲が設定される。また、左右の設定範囲である左領域１０３ｃ及び右領域１０３ｄは自車の車幅方向よりも車両の前進方向に１０°傾いた方向に対して例えば±２５°の角度範囲が設定される。

【0036】

そして、各俯瞰画像の合成は、以下のように行われる。すなわち、前方俯瞰画像１０１ａのうち前方領域１０３ａに相当する部分を切り取り、切り取った部分を前方領域１０３ａに貼り付ける。後方俯瞰画像１０１ｂ、左俯瞰画像１０２ｃ及び右俯瞰画像１０２ｄについても同様に、後方領域１０３ｂ、左領域１０３ｃ及び右領域１０３ｄに相当する部分を切り取り、切り取った部分をそれぞれの領域に貼り付ける。当該切り取り及び貼り付けにより全体俯瞰画像１０４が合成される。なお、図５に示すように全体俯瞰画像１０４を構成する領域１０４ａ〜１０４ｄがそれぞれ、前方領域１０３ａ、後方領域１０３ｂ、左領域１０３ｃ及び右領域１０３ｄに対応する。

【0037】

Ｓ２３０で、画像作成装置４０は、図５に示すように全体俯瞰画像１０４のうち表示装置５０に表示する範囲の画像である第１変換画像１０５を合成する。第１変換画像１０５を構成する領域１０５ａ〜１０５ｄがそれぞれ、俯瞰画像を構成する領域１０４ａ〜１０４ｄに対応する。ここで、表示装置５０に表示する範囲とは、例えば、自車の中央から左右に３ｍずつ、及び車両の前後端から前後に２ｍずつの範囲であってもよい。

【0038】

Ｓ２４０で、画像作成装置４０は、Ｓ２３０で合成された第１変換画像１０５を撮像装置により撮像された時点と対応づけ保存する。
なお、Ｓ２４０での処理が履歴保存部としての処理に相当する。
＜第２作成処理＞

【0039】

次に、Ｓ１６０で画像作成装置４０が実行する第２作成処理について、図６のフローチャート、図７の説明図及び図８の説明図を用いて説明する。

【0040】

Ｓ３１０で、画像作成装置４０は、第１作成処理で作成された第１変換画像１０５において、特定点ｐを抽出する。ここで特定点ｐとは、第１変換画像１０５において測位センサ２０ａ〜２０ｄにより立体物が検知された位置を表した少なくとも１つの点をいう。

【0041】

Ｓ３２０で、画像作成装置４０は、仮想カメラ１３ｅの位置及び方向の設定を行う。
仮想カメラ１３ｅの位置は、第１変換画像１０５においてあらかじめ決められたルールにより決定された位置が設定される。ここで、あらかじめ決められたルールとは、例えば自車の外周に沿った位置が設定されるルールである。仮想カメラ１３ｅの位置は、具体的には図７に示すように、自車の左サイドミラーの位置が設定される。
仮想カメラ１３ｅは、その光軸方向が抽出された特定点ｐのうちの１つと重なるように設定される。

【0042】

Ｓ３３０で、画像作成装置４０は、特定点ｐごとに対象線Ｌａ及び変換線Ｌｂの導出を行う。ここで対象線Ｌａとは、第１変換画像１０５において、立体物を撮像したカメラである対象カメラの位置と特定点ｐとを結んだ直線をいう。例えばフロントカメラ１１ａが対象カメラである場合、図７に示すように、フロントカメラ１１ａの位置と特定点ｐとを結んだ直線が対象線Ｌａとなる。同様に左カメラ１２ｃが対象カメラである場合、図８に示すように、左カメラ１２ｃの位置と特定点ｐとを結んだ直線が対象線Ｌａとなる。

【0043】

また、変換線Ｌｂとは、仮想カメラ１３ｅの位置と特定点ｐとを結んだ直線をいう。
Ｓ３４０で、画像作成装置４０は、特定点ｐごとに変換角αの算出を行う。ここで変換角αとは、特定点ｐごとに、自車を挟み込むような位置関係にある対象線Ｌａと変換線Ｌｂとがなす角の対頂角をいう。

【0044】

すなわち、変換角αとは立体物を撮像したカメラである対象カメラに対する特定点ｐの方向と、仮想カメラ１３ｅに対する特定点ｐの方向とがなす角度をいう。
変換角αの算出は、仮想角度θｉ及び対象カメラ角度θａに基づいて算出される。ここでいう仮想角度θiとは、自車の前進方向に対して右側９０°の方向を０°として仮想カメラ１３ｅの位置から見た特定点ｐの方向である。また、対象カメラ角度θａとは対象カメラの位置から見た特定点ｐの方向である。言い換えると、対象カメラ角度θａとは自車の前進方向に対して右側９０°の方向を０°としたときの、対象カメラの位置から見た特定点ｐの方向をいう。

【0045】

すなわち、対象カメラがフロントカメラ１１ａである場合、図７に示すように、仮想角度θi及び対象カメラ角度θａが表される。
同様に、対象カメラが左カメラ１２ｃである場合、図８に示すように、仮想角度θi及び対象カメラ角度θａが表される。

【0046】

変換角αは、それぞれ仮想角度θi、対象カメラ角度θａにより以下の式（１）で表される。

【0047】

【数1】

なお、対象カメラがリアカメラ１１ｂ又は右カメラ１２ｄである場合にも同様に変換角αが算出される。

【0048】

Ｓ３５０で、画像作成装置４０は、第２変換画像１０６の作成を行う。
第２変換画像１０６は、第１変換画像１０５の立体物範囲を座標変換により移動させた画像をいう。ここで、立体物範囲とは、第１変換画像１０５において、立体物が示されている範囲をいう。すなわち、立体物範囲とは第１変換画像１０５において、対象カメラの位置から特定点ｐを挟んで自車とは反対側に位置する範囲をいう。つまり、対象カメラが撮像した撮像画像においては、対象カメラから見て立体物の位置より奥行き方向の画像は得られないため、第１変換画像１０５では特定点ｐを挟んで自車と反対側の範囲のすべてが、立体物として変換される。

【0049】

また、座標変換による立体物範囲の移動は、以下のように行われる。すなわち、特定点ｐごとに対象線Ｌａに属する画素を変換線Ｌｂに重ね合わせるようにＳ３４０で算出された変換角αだけ特定点ｐを中心に回転させることにより行う。

【0050】

また、前後俯瞰画像１０１及び側方俯瞰画像１０２の双方に同一の立体物が写り込んでいる場合には、いずれか一方の画像を元に第２変換画像１０６の作成を行ってもよい。ここで、第２作成画像の作成の元となる画像は、変換角αの大きさに基づいて選択されてもよい。すなわち、例えば、各個別俯瞰画像において、特定点ｐごとに算出された変換角αの平均値を比較し、より変換角αの平均値の小さい個別俯瞰画像を元にして第２作成画像を作成してもよい。

【0051】

なお、Ｓ３４０での処理が角度算出部としての処理に相当し、Ｓ３５０での処理が変換実行部としての処理に相当する。
＜画像合成処理＞

【0052】

次に、Ｓ１７０で画像作成装置４０が実行する画像合成処理の詳細について、図９のフローチャートを用いて説明する。

【0053】

Ｓ４１０で画像作成装置４０は、第１作成処理により作成された第１変換画像１０５を取得する。
Ｓ４２０で画像作成装置４０は、Ｓ４１０で取得した第１変換画像１０５に第２作成処理により作成された第２変換画像１０６を合成する。ここで、第２変換画像１０６の合成は、第１変換画像１０５において第２変換画像１０６に相当する部分を第２変換画像１０６で置き換えることにより行われる。

【0054】

Ｓ４３０で画像作成装置４０は、メモリ４２に保存された過去の第１変換画像１０５を取得する。すなわち、メモリ４２に保存された第１変換画像１０５のうち、あらかじめ設定された時点において保存された第１変換画像１０５を取得する。ここで、あらかじめ設定された時点とは、例えば、今回の画像表示処理よりも前にメモリ４２に保存された第１変換画像１０５が取得された時点に設定されてもよい。

【0055】

Ｓ４４０で画像作成装置４０は、Ｓ４３０で取得した第１変換画像１０５が保存された時点からの移動履歴の取得を行う。ここで、移動履歴とは、自車の挙動センサ３０により測定された自車の挙動から導出される自車が移動した距離及び方向をいう。

【0056】

Ｓ４５０で画像作成装置４０は、履歴画像１０７を作成する。ここで履歴画像１０７とは、Ｓ４３０で取得された第１変換画像１０５を、Ｓ４４０で取得した移動履歴が表す自車が移動した距離及び方向と反対方向に画像内の表示を移動させるように座標変換した画像である。すなわち、履歴画像１０７は、過去の第１変換画像１０５に基づいて作成された現在の第１変換画像１０５に対応する画像である。

【0057】

Ｓ４６０で画像作成装置４０は、Ｓ４２０で合成された画像において、図１３に示したように第１変換画像１０５中の立体物範囲のうち、第２変換画像１０６により置き換えた範囲を除外した範囲をＳ４５０で作成された履歴画像１０７で置き換える。すなわち、現在の第１変換画像１０５の立体物範囲のうち、第２変換画像１０６で置き換えられていない範囲については、履歴画像１０７を代用する。

【0058】

Ｓ４７０で画像作成装置４０は、Ｓ４６０で合成された画像を保存する。
Ｓ４４０での処理が挙動取得部としての処理に相当し、Ｓ４５０での処理が履歴画像作成部としての処理に相当する。
［効果］

【0059】

以上詳述した第１実施形態によれば、以下の効果を奏する。
（１ａ）本実施形態では、表示された俯瞰画像により、ドライバが違和感を覚えることを抑制することができる。すなわち本実施形態では、撮像カメラにより撮像された撮像画像を俯瞰画像に変換した第１変換画像１０５に変換する。そして、光軸方向が立体物の方向を向くように設定された仮想カメラ１３ｅの画像を俯瞰画像に変換した第２変換画像１０６を、撮像画像を元にして作成する。そして、第２変換画像１０６を第１変換画像１０５に合成する。
このため、合成された画像に表示されている立体物の形状や色は、自車の周辺に存在する立体物と一致する。

【0060】

（１ｂ）また、第２変換画像１０６は光軸方向が立体物の方向を向くように設定されているため、撮像画像中の立体物の表示を俯瞰画像に変換した際に、光軸方向からのずれ角度が大きくなることにより画像歪みが生じることを抑制することができる。
このため、ドライバが違和感を覚えることを抑制することができる。

【0061】

（１ｃ）本実施形態によれば、表示画像において立体物の表示の上に選択された個別俯瞰画像が合成されることにより生じる立体物の表示の欠けを抑制することができる。すなわち、立体物の表示の欠けは、第１変換画像１０５において選択されなかった個別俯瞰画像の一部である立体物の表示の上に選択された個別俯瞰画像が合成されることにより生じる。本実施形態では、選択された個別俯瞰画像を含む第１変換画像１０５の上に、さらに立体物を表す第２変換画像１０６を合成する。これにより、第１変換画像１０５における立体物範囲が、第２変換画像１０６からはみ出していない限り欠けが生じない。

【0062】

このため、合成された画像中の立体物の表示に欠けが生じることを抑制することができる。
例えば、図１０に示すように自車の右後方に立体物が存在し、自車が後進する場合を考える。このとき、自車が後進するにしたがって、自車と立体物との相対的な位置関係が変化する。

【0063】

このような場合に、従来の俯瞰画像では図１０上欄に示すように、全体俯瞰画像において合成境界を挟んだ一方と他方の個別俯瞰画像の元となる撮像画像を撮像するカメラが異なるため、変換した画像において一方の個別俯瞰画像を選択して表示した場合、選択されなかった個別俯瞰画像に立体物が存在すると、その立体物の表示が選択された個別俯瞰画像により合成されることにより立体物の表示に欠けが生じる。

【0064】

一方、本実施形態によれば、立体物を映す画像である第２変換画像１０６を作成し、当該第２変換画像１０６に相当する第１変換画像１０５の部分を第２変換画像１０６で置き換えることにより、図１０下欄に示したような合成画像が作成される。

【0065】

これにより、立体物の表示の上を選択された個別俯瞰画像により合成されることにより生じる立体物の表示の欠けを抑制することができる。従って、立体物の表示の欠けによってドライバが違和感を覚えることを抑制することができる。

【0066】

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

【0067】

（２ａ）上記実施形態では、第２作成処理において、第２変換画像１０６を作成するために行われる、座標変換による立体物範囲の回転は、特定点ｐごとに対象線Ｌａに属する画素を変換線Ｌｂに重ね合わせるようにＳ３４０で算出された変換角αだけ回転させることにより行われる。

【0068】

しかし、座標変換による立体物範囲の回転の方法は、これに限定されるものではない。
例えば、座標変換による立体物範囲の回転の方法は、以下のように行ってもよい。図１１及び図１２に示すように、特定点ｐのうち立体物が存在する境界である境界部分を通る対象線Ｌａを外側対象線Ｌｃとする。そして、外側対象線Ｌｃのそれぞれについて、対象カメラであるフロントカメラ１１ａ又は左カメラ１２ｃから見て特定点ｐと反対側に存在する外側対象線Ｌｃ上に存在する第１変換画像１０５の画素を角度算出部で算出された変換角αだけ特定点ｐを中心として回転させる。すなわち、外側対象線Ｌｃを、その外側対象線Ｌｃに対応する変換線Ｌｂである外側変換線Ｌｄと重なるように回転させる。

【0069】

さらに、回転した後に、外側変換線Ｌｄにより挟まれた範囲に属する画素の画素値を、設定画素値に変更してもよい。ここで、設定画素値は、立体物範囲内に存在する１つの画素の画素値でもよい。また、設定画素値は、立体物範囲内に存在する複数の画素の平均の画素値でもよい。

【0070】

このような座標変換による立体物範囲の回転によれば、第２変換画像１０６を一様に同じ画素値にすることができる。これにより特定点ｐごとに対象線Ｌａに属する画素を変換線Ｌｂに重ね合わせるようにＳ３４０で算出された変換角αだけ回転させる場合に比べて、回転する処理の回数を減らすことができるため、処理不可を低減することができる。

【0071】

（２ｂ）さらに、外側変換線Ｌｄは外側対象線Ｌｃを回転させた後に、第１変換画像１０５の端Ｂまで、その長さを延長してもよい。これにより、外側変換線Ｌｄの長さが第２変換画像１０６の端まで届いていないことにより欠けが生じることを抑制することができる。

【0072】

（２ｃ）上記実施形態では、仮想カメラ１３ｅの位置は、第１変換画像１０５においてあらかじめ決められたルールにより決定された位置が設定される。上述した実施形態では、自車の左サイドミラーの位置が仮想カメラ１３ｅの位置として設定されるが、仮想カメラの設定される位置としては、これに限定されるものではない。例えば、測位センサ２０ａ〜２０ｄによる立体物の測位の結果を用いて、立体物との距離が最短となる位置が仮想カメラ１３ｅの位置として設定されてもよい。

【0073】

また、上述した実施形態では、あらかじめ決められたルールとは、例えば自車の外周に沿った位置が設定されるルールである。しかし、あらかじめ決められたルールにより設定される仮想カメラ１３ｅの位置は、これに限定されるものではない。すなわち、例えば自車の中央が仮想カメラ１３ｅの位置となるようなルールであってもよい。

【0074】

（２ｄ）上記実施形態では、第２作成処理のＳ３１０で第１変換画像１０５において特定点を抽出し、以降の処理を行っているが、第２作成処理を実行する対象となる画像は第１変換画像１０５に限定されるものではない。例えば、第２作成処理のＳ３１０で合成された全体俯瞰画像１０４から特定点を抽出してもよい。この場合において、全体俯瞰画像１０４に対して第２作成処理を実行した後に、表示装置５０に表示する範囲の画像に変換してもよい。

【0075】

（２ｅ）上記実施形態では、画像表示処理はシフトレバーが「Ｒ」の位置に設定されている場合に繰り返し実行されるとしたが、画像表示処理が表示されるタイミングはこれに限定されるものではない。例えば、ドライバにより操作可能なボタンを自車内に備え、そのボタンが押された場合に実行されるなど、ドライバにより画像作成装置に対して所定の操作が行われた場合に、画像表示処理が実行されてもよい。

【0076】

（２ｆ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

【0077】

（２ｇ）上述した画像作成装置の他、当該画像作成装置を構成要素とするシステム、当該画像作成装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像作成方法など、種々の形態で本開示を実現することもできる。

【符号の説明】

【0078】

１１…前後カメラ、１２…側方カメラ、１３ｅ…仮想カメラ、４０…画像作成装置、１０１…前後俯瞰画像、１０２…側方俯瞰画像、１０４…全体俯瞰画像、１０５…第１変換画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】