特許 6223685 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6223685

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20171023BHJP

   G06T 1/00 20060101ALI20171023BHJP

【ＦＩ】

   H04N7/18 J

   G06T1/00 330Z

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2013-16193(P2013-16193)

(22)【出願日】2013年1月30日

(65)【公開番号】特開2014-147057(P2014-147057A)

(43)【公開日】2014年8月14日

【審査請求日】2015年11月30日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】富士通テン株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】清水 健太

(72)【発明者】

【氏名】山田 正博

(72)【発明者】

【氏名】澤田 康嘉

(72)【発明者】

【氏名】林田 巧

(72)【発明者】

【氏名】松岡 梓

(72)【発明者】

【氏名】岡田 直之

(72)【発明者】

【氏名】藤岡 稔

(72)【発明者】

【氏名】志土地 由香

(72)【発明者】

【氏名】江坂 俊徳

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１０−２０００５４（ＪＰ，Ａ）

【文献】 特開２０１２−１２４６１０（ＪＰ，Ａ）

【文献】 特開２０１０−２３９４０９（ＪＰ，Ａ）

【文献】 特開２０１０−２４４３２６（ＪＰ，Ａ）

【文献】 特開２０１１−１５１６６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

画像を処理する画像処理装置において、
複数の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する生成部と、
生成された前記合成画像を表示部へ表示させる表示制御部と、
前記合成画像における、一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける変更受付部と、
前記車両に対して予め定められた位置に設けられ、前記合成画像に写り込むマーカーと、前記合成画像に表示された車両との前記合成画像における相対位置が、前記マーカーと前記車両との実際の相対位置となった場合に前記合成画像中で前記マーカーと重複する表示を前記合成画像内の予め定められた固定位置に重畳させる表示重畳部と
を備え、
前記生成部は、前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成することを特徴とする画像処理装置。

【請求項2】

前記表示部に表示された前記合成画像における任意の位置が選択された場合に、当該位置を含む前記合成画像の一部を拡大して前記表示部へ表示させる表示拡大部
をさらに備えることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

複数の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する工程と、
生成された前記合成画像を表示させる工程と、
前記合成画像における、一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける工程と、
前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成する工程と
を含み、
前記車両が配置された配置面上には、前記車両に対して予め定められた位置に、第２のマーカーが設けられ、
前記合成画像に写り込む前記第２のマーカーと、前記合成画像に表示された車両との前記合成画像における相対位置が、前記第２のマーカーと前記車両との実際の相対位置となった場合に前記合成画像中で前記第２のマーカーと重複する表示を、前記合成画像内の予め定められた固定位置に重畳させる工程と、
前記合成画像中で前記第２のマーカーおよび重畳される前記表示が重複するように前記合成画像を変更させる工程と
をさらに含むことを特徴とする画像処理方法。

【請求項4】

前記車両が配置された配置面上には、前記車両の外周で隣り合う位置に設けられる２つの車載カメラの双方によって撮像される位置に所定形状の第１のマーカーが設けられ、
前記合成画像に写り込む前記第１のマーカーが前記所定形状となるように前記相対的な位置関係を変更し、前記合成画像を生成させる工程
をさらに含むことを特徴とする請求項３に記載の画像処理方法。

【請求項5】

画像を処理する画像処理装置において、
単一の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する生成部と、
生成された前記合成画像を表示部へ表示させる表示制御部と、
前記車両に対して予め定められた位置に設けられ、前記合成画像に写り込むマーカーと、前記合成画像に表示された車両との前記合成画像における相対位置が、前記マーカーと前記車両との実際の相対位置となった場合に前記合成画像中で前記マーカーと重複する枠形状の表示を前記合成画像内の予め定められた固定位置に重畳させる表示重畳部と、
前記枠形状の表示と前記合成画像に写り込むマーカーとの相対的な位置関係の変更を受け付ける変更受付部と
を備え、
前記生成部は、前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

従来、車両に搭載された複数の車載カメラで得られたカメラ画像を画像処理して合成することにより、車両の直上や後部などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する装置が提案されている。

【0003】

かかる装置では、車載カメラの個体差や取り付け位置のわずかな誤差等によって合成画像の合成位置にずれが生じることがあるため、例えば、ディーラーの作業者等によって、かかるずれを補正するキャリブレーション作業が行われる。

【0004】

キャリブレーション作業は、例えば、所定形状のマーカーを車両の周囲に配置した状態で各車載カメラにより撮影された画像を表示させ、その各画像中に含まれるマーカーの像の位置を示すパラメータを作業者が指定することで実行される（例えば特許文献１を参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−１５１６６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記した従来のキャリブレーション作業は、すべての車載カメラに対して指定するパラメータを調整する作業と、パラメータ調整後に合成された合成画像を検証する作業とを繰り返す必要があったため、その作業が煩雑であった。

【0007】

本発明は、上記に鑑みてなされたものであって、車載カメラのキャリブレーション作業を容易に実行することのできる画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決し、目的を達成するために、本発明の実施形態に係る、画像を処理する画像処理装置は、複数の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する生成部と、生成された前記合成画像を表示部へ表示させる表示制御部と、前記合成画像における、一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける変更受付部と、前記車両に対して予め定められた位置に設けられ、前記合成画像に写り込むマーカーと、前記合成画像に表示された車両との前記合成画像における相対位置が、前記マーカーと前記車両との実際の相対位置となった場合に前記合成画像中で前記マーカーと重複する表示を前記合成画像内の予め定められた固定位置に重畳させる表示重畳部とを備え、前記生成部は、前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成する。

【発明の効果】

【0009】

本発明の実施形態に係る画像処理装置によれば、キャリブレーション作業を容易に実行することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る画像処理装置の説明図である。

【図2】図２は、実施形態に係る画像処理装置の構成を示すブロック図である。

【図3】図３は、実施形態に係る表示変更部の説明図である。

【図4】図４は、３次元の直交座標系を示す図である。

【図5A】図５Ａは、実施形態に係る表示操作部の遷移図である。

【図5B】図５Ｂは、実施形態に係る表示操作部の遷移図である。

【図5C】図５Ｃは、実施形態に係る表示操作部の遷移図である。

【図5D】図５Ｄは、実施形態に係る表示操作部の遷移図である。

【図5E】図５Ｅは、実施形態に係る表示操作部の遷移図である。

【図6】図６は、車両を後退させるときの案内軌跡を例示する俯瞰図である。

【図7】図７は、実施形態に係る画像処理装置の制御部が実行する処理を示すフローチャートである。

【図8A】図８Ａは、実施形態に係る表示操作部の平面図である。

【図8B】図８Ｂは、図８Ａの表示部を拡大表示させた表示操作部の平面図である。

【図9】図９は、実施形態に係る表示部の平面図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。まず、実施形態に係る画像処理装置の概要について図１を用いて説明する。図１は、実施形態に係る画像処理装置の説明図である。

【0012】

図１に示すように、実施形態に係る画像処理装置は、例えば、車両２における前後左右の４か所に設けられるカメラによって撮像されるカメラ画像（車載カメラ画像）を画像処理して繋ぎ合わせることで、車両２を上方の仮想視点から見た俯瞰画像（以下、「合成画像」と記載する）を生成する装置である。かかる画像処理装置は、例えば、車室内に設けられるタッチパネル機能を備えた表示操作部８によって合成画像を表示させる。

【0013】

ここで、画像処理装置では、例えば、車両２の前部に設けられるカメラの取り付け位置や取り付け角度が予め定められた位置や角度からずれていた場合、図１に示すように、車両２の前方を撮像した領域４ａの画像と他の画像との繋ぎ目にずれが生じる場合がある。

【0014】

かかる画像の繋ぎ目のずれは、車両２のユーザに違和感を与える恐れがある。このため、かかる画像の繋ぎ目のずれは、例えば、車両２のディーラーの作業者がキャリブレーション作業を行うことによって補正される。

【0015】

実施形態に係る画像処理装置は、かかるキャリブレーション作業を容易に行うことができるよう構成されたものである。具体的には、画像処理装置では、表示操作部８の表示領域内に、生成した車両周辺の合成画像を表示させる表示部４と、選択受付部５と、変更受付部６とを設けた。

【0016】

ここで、選択受付部５は、車両２に設けられる複数のカメラから１つのカメラを選択させる操作を受け付ける操作ボタンを模した画像である。また、変更受付部６は、合成画像における、選択受付部５の操作によって選択された一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける操作ボタンを模した画像である。より具体的には、変更受付部６は、選択受付部５の操作によって選択されたカメラにより撮像されたカメラ画像の中で、合成画像に採用する領域を変更する操作を受け付ける。

【0017】

かかる画像処理装置では、例えば、図１に示すように、車両の前方を撮像した領域４ａの画像と他の画像との繋ぎ目にずれが生じていた場合、作業者は、選択受付部５および変更受付部６を操作することでキャリブレーション作業を行う。

【0018】

例えば、画像処理装置では、作業者によって選択受付部５のＦｒｏｎｔボタンがタッチされた場合に、後述の制御部１５（図２参照）が車両の前部に設けられたカメラを選択する。

【0019】

その後、制御部１５は、作業者によって変更受付部６の左向き矢印ボタンがタッチされる毎に、車両の前部に設けられたカメラにより撮像されたカメラ画像の中で、合成画像に採用する領域を所定距離ずつ右側へずらし、その都度、合成画像を生成して表示部４に表示させる。

【0020】

これにより、作業者は、変更受付部６の左向き矢印ボタンをタッチする度に表示部４に表示される車両の合成画像を確認しながら、キャリブレーション作業を行い、図１の下段に示すように、車両の前方を撮像した領域４ａの画像と他の画像との繋ぎ目のずれを容易に解消することができる。なお、かかる制御部１５によって順次生成される合成画像の具体例については、図５Ａ〜図５Ｅを参照して後述する。

【0021】

また、実施形態に係る画像処理装置によれば、かかるキャリブレーション作業を、車両２に搭載されたすべてのカメラ単位で行うことができるので、例えば、いずれか一つのカメラを交換した場合のキャリブレーション作業も容易となる。

【0022】

次に、実施形態に係る画像処理装置の構成について図２を用いて説明する。図２は、実施形態に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置１は、カメラ３が搭載された車両２に適用される装置である。

【0023】

ここで、カメラ３は、前方カメラ３ａ、後方カメラ３ｂ、左側方カメラ３ｃおよび右側方カメラ３ｄで構成される。これらの前方カメラ３ａ、後方カメラ３ｂ、左側方カメラ３ｃおよび右側方カメラ３ｄは、それぞれ、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）など、電子的に画像を取得する撮像素子を備える。

【0024】

前方カメラ３ａは、例えばナンバープレート取付位置の近傍などの車両２の前端に設けられ、車両２の前方を撮影する。後方カメラ３ｂは、例えばナンバープレート取付位置の近傍などの車両２の後端に設けられ、車両２の後方を撮影する。また、左側方カメラ３ｃおよび右側方カメラ３ｄは、それぞれ、例えば左右のドアミラーの近傍などに設けられ、車両２の左側方および右側方を撮影する。

【0025】

なお、カメラ３のレンズとしては、魚眼レンズなどの１８０度以上の画角を有する広角カメラが採用される。これにより、４つのカメラ３を利用することで、車両２の全周囲の撮影が可能となる。

【0026】

かかるカメラ３が搭載された車両２に備えられる画像処理装置１は、表示操作部８と、制御部１５と、記憶部２０とを備える。表示操作部８は、タッチパネル機能を備えた表示デバイスであり、表示部４と、選択受付部５と、変更受付部６と、表示拡大部７とを備える。かかる表示部４は、後述する生成部１０で生成された合成画像を、表示制御部１１を介して表示出力する。

【0027】

選択受付部５は、車両２に搭載された前方カメラ３ａ、後方カメラ３ｂ、左側方カメラ３ｃおよび右側方カメラ３ｄから１つを選択させる操作を受け付け、後述する画像選択部１２に出力する。

【0028】

変更受付部６は、合成画像における、選択受付部５の操作によって選択された一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける。より具体的には、選択受付部５の操作によって選択されたカメラ３ａ、３ｂ、３ｃ、３ｄの撮像画像の中で、合成画像に採用する領域（以下、「画像合成領域」と記載する）を変更する操作を受け付け、後述する表示変更部１３に出力する。

【0029】

表示拡大部７は、表示部４に表示された合成画像における任意の位置が選択された場合に、当該位置を含む合成画像の一部を拡大して表示部４へ表示させる。なお、表示拡大部７の選択による動作については、図８Ａ，図８Ｂを用いて後述する。

【0030】

一方、制御部１５は、画像取得部９と、生成部１０と、表示制御部１１と、画像選択部１２と、表示変更部１３と、固定枠重畳部１４とを備える。

【0031】

画像取得部９は、車両２に搭載された複数のカメラ３ａ、３ｂ、３ｃ、３ｄからそれぞれカメラ画像を取得する。画像取得部９で取得したカメラ画像は、生成部１０に出力される。

【0032】

生成部１０は、画像取得部９によって取得されたカメラ３ａ、３ｂ、３ｃ、３ｄごとのカメラ画像のそれぞれから採用した領域に含まれる画像を繋ぎ合わせる画像処理を行うことで、車両２を仮想視点から見た合成画像を生成し、かかる合成画像を表示制御部１１に出力する。表示制御部１１は、生成部１０で合成した合成画像を表示部４へ表示させる。画像選択部１２は、複数のカメラ３ａ、３ｂ、３ｃ、３ｄのうち選択受付部５で選択された１つから取得されたカメラ画像を選択させる。

【0033】

また、表示変更部１３は、変更受付部６の操作によって変更された画像合成領域に含まれる画像を生成部１０へ出力する。そして、生成部１０は、合成画像における、隣り合う画像領域同士の相対的な位置関係の変更を変更受付部６が受け付ける度に、変更された位置関係に基づいて表示部４へ表示させる合成画像を生成する。すなわち、表示変更部１３は、変更受付部６が操作される度に、生成部１０が表示制御部１１を介して表示部４へ表示させる合成画像を変更させる。

【0034】

ここで、表示変更部１３による画像合成領域の変更について、図３を用いて説明する。図３は、実施形態に係る表示変更部１３における画像合成領域の変更について説明するための図である。なお、ここでは、理解を容易にするために、図３では車両２に搭載されたカメラ３ａで撮像されたカメラ画像は平面形状に画像処理されたものとして図示している。

【0035】

ここで、図３に示す画像合成領域ｒ１は、合成画像に採用した場合、画像の繋ぎ目にずれが生じる領域であり、画像合成領域ｒ２は、合成画像に採用した場合、画像の繋ぎ目にずれが生じない領域である。

【0036】

そこで、画像処理装置１では、合成画像に画像合成領域ｒ１が採用されている場合、変更受付部６の操作に応じて、合成画像に採用する領域を画像合成領域ｒ２へ変更させることによって、画像の繋ぎ目における画像のずれを解消する。

【0037】

なお、ここでは、理解を容易にするために、カメラ画像上で画像合成領域を２次元的に移動させる場合について説明したが、カメラ３の取り付け位置や角度によっては、画像合成領域を３次元的に移動させる必要性が生じる場合もある。図４は、実施形態に係る画像処理装置１で規定する３次元の直交座標系を示す図である。

【0038】

なお、図４では、鉛直上向きを正方向とし、鉛直下向きを負方向とするＺ軸、Ｚ軸に直交し、車両２の直進方向を正方向とするＹ軸を含む３次元の直交座標系を図示している。

【0039】

カメラ３で撮像されたカメラ画像は、そのカメラ３のロール角、チルト角、パン角などを変更することにより変更される。また、カメラ画像中の画像合成領域も同様に、カメラ３のロール角、チルト角、パン角などに基づいて変更させることができるが、直感的に変更させることは困難である。

【0040】

そこで、本実施形態では、後述の画像パラメータ１７を準備し、この画像パラメータ１７に基づいて画像合成領域を変更させることにより、画像合成領域を変更受付部６の操作により直感的に変更させることができる。

【0041】

画像パラメータ１７は例えば、図４で説明した３次元の直交座標の組み合わせにより取得することができる。かかる組み合わせの一例につき、表１に示す。

【0042】

【表1】

【0043】

表１を参照すると、前方カメラ３ａで撮像されたカメラ画像である前方カメラ画像中の画像合成領域を上下方向に変更させるには、Ｘ軸を回転軸として回転させれば良いことがわかる。また、前方カメラ画像中の画像合成領域を回転させるには、Ｚ軸を回転軸として回転させれば良いことがわかる。一方、前方カメラ画像中の画像合成領域を左右方向に変更させるには、Ｙ軸およびＺ軸を回転軸としてそれぞれ回転させる必要があることがわかる。

【0044】

なお、表１に示した回転軸の組み合わせは一例であり、車両２に搭載される各カメラ３の取付角度によりその組み合わせは変更しうる。

【0045】

図２に戻り、固定枠重畳部１４は、車両２に対して予め定められた位置に設けられたマーカーと車両２との合成画像における相対位置が、マーカーと車両２との相対位置となった場合に、合成画像中でマーカーと重複する表示（以下「固定枠」という）を合成画像内の予め定められた固定位置に重畳させる。換言すれば、固定枠とは、各カメラ３が設計値どおりずれなく車両２に設置され、更にマーカーが車両２に対して予め定められた位置に設計値どおりずれなく設けられた場合に、マーカーが合成画像中に表示される設計上の位置である。なお、固定枠については後述する。

【0046】

記憶部２０は、不揮発性メモリーやハードディスクドライブなどの記憶デバイスで構成される。なお、記憶部２０は、一時的にデータを記憶する揮発性メモリーを含んでよい。かかる記憶部２０には、固定枠記憶部１６と、画像パラメータ１７と、プログラム１８とが格納されている。

【0047】

固定枠記憶部１６には、固定枠重畳部１４で合成画面上に重畳される固定枠に関する情報が記憶されている。かかる情報は、例えば合成画面上に表示される車両２の画像に対する相対位置に関するデータであっても、合成画面上に重畳される固定枠の形状そのものであっても良い。

【0048】

画像パラメータ１７は、図３を用いて前述した、画像合成領域を変更受付部６の操作に応じて、撮像画像の中で合成画像に採用する画像合成領域を変更するために設定されるパラメータである。

【0049】

プログラム１８は、制御部１５が合成画像を生成する場合に、記憶部２０から読み出して実行するプログラムを含む。かかるプログラム１８は、例えば生成部１０が画像取得部９によって取得された複数の車載カメラ画像に基づいて車両２を仮想視点から見た合成画像を生成する手順と、表示制御部１１が生成部１０によって生成された合成画像を表示部４へ表示させる手順と、生成部１０によって生成された合成画像における、画像取得部９によって取得された一のカメラ画像に基づく画像領域と画像取得部９によって取得された他のカメラ画像に基づく画像領域との相対的な位置関係の変更を変更受付部６が受け付ける手順と、変更受付部６が位置関係の変更を受け付ける度に、生成部１０が変更された位置関係に基づいて合成画像を生成する手順とをコンピュータに実行させる画像処理プログラムを含む。

【0050】

かかる画像処理プログラムを画像処理装置１の制御部１５に実行させることにより、合成画像のキャリブレーション作業を容易に実行することができる。

【0051】

次に、実施形態に係る表示操作部８の遷移の一例について、図５Ａ〜図５Ｅを用いて説明する。図５Ａ〜図５Ｅは、実施形態に係る表示操作部８の遷移図である。

【0052】

図５Ａに示すように、表示操作部８は、合成画像を表示する表示部４、前述した選択受付部５および変更受付部６、リセットボタンＲ、バックボタンＢ、決定ボタン１９を表示する。

【0053】

選択受付部５は、前方カメラ選択受付ボタン５ａと、後方カメラ選択受付ボタン５ｂと、左側方カメラ選択受付ボタン５ｃと、右側方カメラ選択受付ボタン５ｄとを含む。かかる選択受付部５では、選択受付ボタン５ａ〜５ｄのうちいずれかがタッチ操作されることにより、車両２の前後、左右にそれぞれ設けられたカメラ３ａ、３ｂ、３ｃ、３ｄからいずれか１つを選択させることができる。なお、かかる選択受付部５の構成は、車両に搭載されるカメラの配置や個数に応じて変更可能である。

【0054】

また、変更受付部６は、方向変更受付部６ａと高さ変更受付部６ｂとを含む。かかる方向受付部６ａは、画像合成領域を、下方向および上方向にそれぞれ変更させるボタン６ａ１，６ａ２、左右方向にそれぞれ変更させるボタン６ａ３，６ａ４、反時計回りおよび時計回りにそれぞれ回転させるボタン６ａ５，６ａ６を含む。また、高さ変更受付部６ｂは、画像合成領域を高さ方向、すなわち図４に示すＺ軸に沿った正方向および負方向にそれぞれ変更させるボタン６ｂ１，６ｂ２を含む。

【0055】

リセットボタンＲは、変更受付部６の操作によって変更された撮像画像における画像合成領域の位置をデフォルトの位置へ戻す（リセットする）ボタンである。バックボタンＢは、表示部４に表示される合成画像を選択受付部５や変更受付部６が操作される１つ前の状態に戻すボタンである。決定ボタン１９は、選択受付部５や変更受付部６が操作されることで画像合成領域が変更され、表示部４に表示された合成画像を確定させるボタンである。

【0056】

ここで、表示部４に表示されている合成画像には、車両工場や車両整備場などに設けられた作業場の配置面上に配置された車両に対して予め定められた位置に設けられた第１のマーカーとしてのマーカーＭ１１〜Ｍ１４の画像が写り込んでいる。

【0057】

かかるマーカーＭ１１〜Ｍ１４は、図２に示す生成部１０によって繋ぎ合わされる画像の繋ぎ目、つまり図５Ａに示す表示部４において破線を付した部分で、隣り合う画像同士にずれがあるか否かを確認するために設けられるものである。

【0058】

具体的には、マーカーＭ１１〜Ｍ１４は、所定の幅および長さを有する２つのラインを互いに直交させた十字線であり、車両２の外周で隣り合う位置に設けられる２つのカメラの双方によって撮像される位置にそれぞれ設けられる。

【0059】

かかるマーカーＭ１１〜Ｍ１４を設けておくことで、作業者は、合成画像における画像の繋ぎ目で、各マーカーＭ１１〜Ｍ１４が所定の十字形状となるように、変更受付部６を操作することによって合成画像のキャリブレーション作業を行うことができる。

【0060】

例えば、図５Ａに示すように、表示部４の領域４ａに表示されたマーカーＭ１１，Ｍ１２の画像が表示部４の他の部分に対してずれている場合、作業者は、前方カメラ選択受付ボタン５ａを操作して前方カメラ３ａを選択する。

【0061】

これにより、図５Ｂに示すように、前方カメラ選択受付ボタン５ａが選択され、領域４ａに表示された画像が変更可能な状態となっていることを明示する表示がなされる。ここで、作業者がマーカーＭ１１，Ｍ１２を左方向に移動させるようにボタン６ａ３を操作すると、図５Ｃに示すように、領域４ａに表示されたマーカーＭ１１，Ｍ１２の画像が予め設定された１単位だけ左方向に移動した合成画像が生成され表示部４に表示される。

【0062】

このとき、ボタン６ａ３の横に表示される操作量を示す数値が「０」→「−１」に更新される。これにより、作業者は、ボタン６ａ３の操作量を数値によって確認することができる。なお、図５Ｃに示す状態では、画像の繋ぎ目におけるマーカーＭ１１、Ｍ１２が所定の十字形状とはなっていない。

【0063】

そこで、作業者は、マーカーＭ１１，Ｍ１２が左方向に移動するように画像合成領域を変更させるボタン６ａ３を再度操作する。これにより、図５Ｄに示すように、領域４ａに表示されたマーカーＭ１１，Ｍ１２の画像が予め設定された１単位だけ左方向にさらに移動した合成画像が生成され表示部４に表示される。なお、このとき、ボタン６ａ３の横に表示される数値が「−１」→「−２」に更新される。

【0064】

なお、図５Ｄに示す状態では、画像の繋ぎ目におけるマーカーＭ１１，Ｍ１２の左右方向の位置ずれは解消されているが、上下方向の位置ずれが解消されていない。そこで、作業者は、マーカーＭ１１，Ｍ１２が下方向に移動するように画像合成領域を変更させるボタン６ａ１を操作する。

【0065】

これにより、図５Ｅに示すように、領域４ａに表示されたマーカーＭ１１，Ｍ１２の画像が予め設定された１単位だけ下方向にさらに移動し、画像の繋ぎ目におけるマーカーＭ１１，Ｍ１２が所定の十字形状となった合成画像が生成され表示部４に表示される。なお、このとき、ボタン６ａ１の横に表示される数値が「０」→「−１」に更新される。こうして、合成画像における画像の繋ぎ目のずれが解消した場合に、作業者は、決定ボタン１９を操作して、キャリブレーション作業を終了する。

【0066】

図５Ａ〜図５Ｅを用いて説明したように、画像表示装置１は、合成画像内に表示されたマーカーＭ１１〜Ｍ１４の画像を表示部４において破線を付した画像の繋ぎ目部分で所定の十字形状となるように合成画像を変更させる。これより、合成画像における画像の繋ぎ目のずれに伴う違和感が解消される。

【0067】

ところで、合成画像内に表示されたマーカーＭ１１〜Ｍ１４の画像が、表示部４において破線を付した画像の繋ぎ目部分で所定の十字形状となるように合成画像が生成、表示された場合であっても、マーカーＭ１１〜Ｍ１４と車両との合成画像上の相対位置がマーカーＭ１１〜Ｍ１４と車両との相対位置に対してずれている場合がある。

【0068】

例えば、４つのマーカーＭ１１〜Ｍ１４が全て十字形状となっていても、マーカーＭ１１〜Ｍ１４の全てが合成画像中の車両に対していずれかの方向へ偏った位置に表示され、不具合が生じることがある。

【0069】

かかる問題は、例えば、運転者が車両を後退させる際、運転者の運転操作を合成画像によって補助する場合に生じることがある。ここで、かかる点について、図６を用いて説明する。

【0070】

図６は、車両２を後退させるときの案内軌跡を例示する俯瞰図である。図６中、ライン６０はマーカーＭ１１〜Ｍ１４と車両との合成画像上の相対位置がマーカーＭ１１〜Ｍ１４と車両との相対位置に対して一致している場合に車両２が２Ａの位置まで後退するときの案内軌跡を予測して示した俯瞰画像である。

【0071】

一方、マーカーＭ１１〜Ｍ１４と車両との合成画像上の相対位置がマーカーＭ１１〜Ｍ１４と車両との相対位置に対して左右方向にずれている場合には、例えばライン６１に示すように車両２に対して左右方向にずれた案内軌跡を表示する懸念がある。また、マーカーＭ１１〜Ｍ１４と車両との合成画像上の相対位置がマーカーＭ１１〜Ｍ１４と車両との相対位置に対して前後方向にずれている場合には、例えばライン６２に示すように車両２に対して前後方向にずれた案内軌跡を表示する懸念がある。

【0072】

このように、車両とマーカーとの相対位置が合成画像上の車両とマーカーとの相対位置とずれている場合、例えば後退時に走行する車両の軌跡をハンドルの舵角に応じて予測し、表示するバックガイドモニターなどでの不具合が懸念される。

【0073】

本実施形態では、車両工場や車両整備場などに設けられた作業場の配置面上に配置された車両に対して予め定められた位置に、第２のマーカーとしてのＭ２１〜Ｍ２６を設けている。かかる第２のマーカーとしてのＭ２１〜Ｍ２６は、図５Ａに示すように、表示部４に表示される合成画像に写り込む。

【0074】

かかるマーカーＭ２１は前方カメラ３ａにより撮影される領域に、マーカーＭ２２は後方カメラ３ｂにより撮影される領域に、それぞれ設けられる。また、マーカーＭ２１およびマーカーＭ２２は、車両２を挟んで互いに平行になるように設けられた、所定の幅および長さを有するラインである。

【0075】

また、マーカーＭ２３，Ｍ２４はいずれも、左側方カメラ３ｃにより撮影される領域に設けられ、マーカーＭ２５，Ｍ２６はいずれも、右側方カメラ３ｄにより撮影される領域に設けられる。

【0076】

マーカーＭ２３とマーカーＭ２５とは、車両２を挟んで互いに平行になるように設けられた所定の幅および長さを有するラインである。同様に、マーカーＭ２４とマーカーＭ２６とは、車両２を挟んで互いに平行になるように設けられた、所定の幅および長さを有するラインである。

【0077】

なお、説明を容易にするために、以下、各マーカーの配置に関する説明中、各マーカーを構成するラインの幅は無視し、所定の長さのみを有するものとして取り扱う。

【0078】

マーカーＭ２１はマーカーＭ１１を構成する２つのラインの交点と、マーカーＭ１２を構成する２つのラインの交点とをつなぐ直線上に配置されている。また、マーカーＭ２２はマーカーＭ１３を構成する２つのラインの交点と、マーカーＭ１４を構成する２つのラインの交点とをつなぐ直線上に配置されている。

【0079】

マーカーＭ２３，Ｍ２４は、マーカーＭ１１を構成する２つのラインの交点とマーカーＭ１３を構成する２つのラインの交点とをつなぐ直線上に配置されている。また、マーカーＭ２５，Ｍ２６は、マーカーＭ１２を構成する２つのラインの交点と、マーカーＭ１４を構成する２つのラインの交点とをつなぐ直線上に配置されている。

【0080】

一方、表示部４には、枠形状の表示Ｓ２１〜Ｓ２８（以下「固定枠」という）が合成画像内の予め定められた固定位置に重畳して表示されている。このうち固定枠Ｓ２１〜Ｓ２６は、車両２に対して予め定められた位置に設けられたマーカーＭ２１〜Ｍ２６と車両２との合成画像における相対位置が、マーカーＭ２１〜Ｍ２６と車両２との相対位置となった場合に、合成画像中に表示されたマーカーＭ２１〜Ｍ２６と重複する。

【0081】

また、固定枠Ｓ２７，Ｓ２８は、車両２に対して予め定められた位置に設けられたマーカーＭ１３，Ｍ１４と車両２との合成画像の領域４ｃ，４ｄにおける相対位置が、マーカーＭ１３，Ｍ１４と車両２との相対位置となった場合に、合成画像中の領域４ｃ，４ｄに表示されたマーカーＭ１３，Ｍ１４の画像と重複する。

【0082】

このように、固定枠Ｓ２１〜Ｓ２８に基づいて合成画像を変更させることにより車両に対するマーカーの絶対位置が正しく表示されることになる。これにより、キャリブレーション作業の精度がより高まる。

【0083】

次に、実施形態に係る画像処理装置１の制御部１５が実行する処理について図７を用いて説明する。図７は、実施形態に係る画像処理装置１の制御部１５が実行する処理を示すフローチャートである。

【0084】

図７に示すように、制御部１５は、まず、車両２に搭載された複数のカメラ３ａ、３ｂ、３ｃ、３ｄでそれぞれ撮像されたカメラ画像を取得する（ステップＳ１０１）。続いて、制御部１５は、取得したカメラ画像のそれぞれから採用した領域に含まれる画像を繋ぎ合わせる画像処理を行うことで、車両２の周辺の様子を示す合成画像を生成し、表示部４へ表示させる（ステップＳ１０２）。このとき、車両２に対して予め定められた位置に設けられたマーカーと該車両２との合成画像における相対位置が、マーカーと車両２との相対位置となった場合に、合成画像中でマーカーと重複する固定枠を合成画像内の予め定められた固定位置に重畳させても良い。

【0085】

次に、制御部１５は選択受付部５が操作されたか否かを判定する（ステップＳ１０３）。選択受付部５が操作されたと判断された場合（ステップＳ１０３，Ｙｅｓ）、ステップＳ１０４に進み、選択受付部５が操作されていないと判断された場合（ステップＳ１０３，Ｎｏ）、ステップＳ１０７に進む。

【0086】

制御部１５は、さらにステップＳ１０３での選択受付部５の操作に基づいてカメラ３を選択し（ステップＳ１０４）、ステップＳ１０５に進む。

【0087】

次いで、制御部１５は変更受付部６が操作されたか否かを判定する（ステップＳ１０５）。変更受付部６が操作されたと判定された場合（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０６に進み、変更受付部６が操作されていないと判定された場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０７に進む。

【0088】

また、制御部１５は変更受付部６が操作される度に生成部１０によって生成され、表示変更部１３を介して表示部４へ表示させる合成画像を変更させ（ステップＳ１０６）、次いでステップＳ１０２に戻る。

【0089】

また、制御部１５は、決定ボタン１９が操作されたか否かを判定する（ステップＳ１０７）。決定ボタン１９が操作されていないと判定された場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０３に戻り、決定ボタン１９が操作されたと判定された場合（ステップＳ１０７，Ｙｅｓ）、表示部４に最終的に表示された合成画像で確定される。

【0090】

上述してきたように、実施形態に係る、画像を処理する画像処理装置は、複数の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する生成部と、生成された合成画像を表示部へ表示させる表示制御部と、合成画像における、一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける変更受付部とを備え、生成部は、前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成する。

【0091】

したがって、実施形態に係る画像処理装置によれば、車載カメラのキャリブレーション作業を容易に実行することができる。

【0092】

なお、表示部４の表示画面が小さい場合や解像度が低い場合には、変更受付部６の操作により変更された合成画像がきちんと調整されているか否かがはっきりしない場合がありうる。そこで、図８Ａ，図８Ｂに示すように、合成画像の一部を拡大させるようにしてもよい。

【0093】

図８Ａは、実施形態に係る表示操作部８の平面図であり、図８Ｂは、図８Ａの表示部４を拡大表示させた表示操作部８の平面図である。

【0094】

図８Ａにおいて、表示部４に表示された合成画像における、マーカーＭ１３の近傍の位置が選択された場合には、図８Ｂに示すように当該位置を含む合成画像の一部が拡大されて表示部４へ表示される。かかる表示拡大操作を実行することにより、変更受付部６が適正に操作されたか否かが確認しやすくなるため、車載カメラのキャリブレーション作業を容易に、かつ確実に実行することができる。

【0095】

また、上述した各実施形態では表示操作部８はタッチパネルとして説明したが、表示部４のみをディスプレイで表示し、選択受付部５、変更受付部６を構成する各ボタンや表示拡大部７を物理的に押下することにより操作されるボタンにより構成されても良い。

【0096】

なお、上述した各実施形態では車両２に搭載された複数のカメラ３によって撮像されたカメラ画像に基づいて生成された合成画像に基づいて画像処理を行う画像処理装置１として説明したが、例えば、図９に示すように単一のカメラ３によって撮像されたカメラ画像に基づいて画像処理を行う画像処理装置１であっても良い。図９は、実施形態に係る表示部の平面図である。

【0097】

図９に示すように、後方カメラ３ｂのみによって撮像されたカメラ画像に基づいて生成された合成画像は、上述した各実施形態における車両２の周囲を俯瞰する合成画像のうち車両２の後方のみを俯瞰する画像となる。

【0098】

つまり、画像処理装置１は、単一の車載カメラ画像に基づいて車両２を仮想視点から見た合成画像を生成し、生成された合成画像を表示部４へ表示させる。そして、その合成画像の予め定められた位置に表示される固定枠Ｓ２２と合成画像に写り込むマーカーＭ２２との相対的な位置関係の変更を受け付け、位置関係の変更を受け付ける度に、変更された位置関係に基づいて合成画像を生成する。

【0099】

なお、上述した実施形態では単一のカメラ３は後方カメラ３ｂとして説明したが、前方カメラ３ａ、左側カメラ３ｃ、又は、右側カメラ３ｄの何れか一つであっても良い。

【符号の説明】

【0100】

１ 画像処理装置
３ カメラ
４ 表示部
５ 選択受付部
６ 変更受付部
７ 表示拡大部
８ 表示操作部
９ 画像取得部
１０ 生成部
１１ 表示制御部
１３ 表示変更部
１４ 固定枠重畳部
１５ 制御部
２０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図6】

【図7】

【図8A】

【図8B】

【図9】