知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6014433
(24)【登録日】2016年9月30日
(45)【発行日】2016年10月25日
(54)【発明の名称】画像処理装置、画像処理方法、及び、画像処理システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20161011BHJP
B60R 1/00 20060101ALI20161011BHJP
G08G 1/16 20060101ALI20161011BHJP
【ＦＩ】
H04N7/18 J
B60R1/00 Z
G08G1/16 C
【請求項の数】5
【全頁数】22
(21)【出願番号】特願2012-205440(P2012-205440)
(22)【出願日】2012年9月19日
(65)【公開番号】特開2014-60646(P2014-60646A)
(43)【公開日】2014年4月3日
【審査請求日】2015年4月8日
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】富士通テン株式会社
(72)【発明者】
【氏名】村角 美紀
(72)【発明者】
【氏名】山田 正博
(72)【発明者】
【氏名】澤田 康嘉
(72)【発明者】
【氏名】森山 親一
【審査官】
高野 美帆子
(56)【参考文献】
【文献】
特開２０１１−０２３８０５（ＪＰ，Ａ）
【文献】
特開２００７−０１９８０４（ＪＰ，Ａ）
【文献】
特開２０１０−２３１２７６（ＪＰ，Ａ）
【文献】
特開２０１１−０６６７６３（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ７／１８
Ｂ６０Ｒ １／００
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
車両で用いられ、画像を処理する画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、運転席に着座したドライバの視点からみた前記車両の周辺領域を示す周辺画像を生成する生成手段と、
前記ドライバの視点からみた前記車両を示す車両画像を取得する取得手段と、
前記車両の周辺に存在する物体を検出する物体検出手段と、
前記車両画像の一部分の特定領域の透過率を、他の部分の透過率より高める透過手段と、
前記周辺画像と前記車両画像とを合成し合成画像を生成する合成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
を備え、
前記透過手段は、前記特定領域の範囲を前記物体の形状に応じた範囲に決定することを特徴とする画像処理装置。
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、運転席に着座したドライバの視点からみた前記車両の周辺領域を示す周辺画像を生成する生成手段と、
前記ドライバの視点からみた前記車両を示す車両画像を取得する取得手段と、
前記車両の周辺に存在する物体を検出する物体検出手段と、
前記車両画像の一部分の特定領域の透過率を、他の部分の透過率より高める透過手段と、
前記周辺画像と前記車両画像とを合成し合成画像を生成する合成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
を備え、
前記透過手段は、前記特定領域の範囲を前記物体の形状に応じた範囲に決定することを特徴とする画像処理装置。
【請求項2】
請求項１に記載の画像処理装置において、
前記車両の進行方向を検出する方向検出手段、
をさらに備え、
前記透過手段は、前記特定領域の範囲を前記車両の進行方向に基づいて決定することを特徴とする画像処理装置。
前記車両の進行方向を検出する方向検出手段、
をさらに備え、
前記透過手段は、前記特定領域の範囲を前記車両の進行方向に基づいて決定することを特徴とする画像処理装置。
【請求項3】
請求項１又は２に記載の画像処理装置において、
前記特定領域の範囲は、前記車両を構成する部位の範囲であることを特徴とする画像処理装置。
前記特定領域の範囲は、前記車両を構成する部位の範囲であることを特徴とする画像処理装置。
【請求項4】
車両で用いられる画像処理方法であって、
（ａ）前記車両に設けられる複数のカメラで取得された複数の画像を用いて、運転席に着座したドライバの視点からみた前記車両の周辺領域を示す周辺画像を生成する工程と、
（ｂ）前記ドライバの視点からみた前記車両を示す車両画像を取得する工程と、
（ｃ）前記車両の周辺に存在する物体を検出する工程と、
（ｄ）前記車両画像の一部分の特定領域の透過率を、他の部分の透過率より高める工程と、
（ｅ）前記周辺画像と前記車両画像とを合成し合成画像を生成する工程と、
（ｆ）前記合成画像を表示装置に出力して表示させる工程と、
を備え、
前記工程（ｄ）は、前記特定領域の範囲を前記物体の形状に応じた範囲に決定することを特徴とする画像処理方法。
（ａ）前記車両に設けられる複数のカメラで取得された複数の画像を用いて、運転席に着座したドライバの視点からみた前記車両の周辺領域を示す周辺画像を生成する工程と、
（ｂ）前記ドライバの視点からみた前記車両を示す車両画像を取得する工程と、
（ｃ）前記車両の周辺に存在する物体を検出する工程と、
（ｄ）前記車両画像の一部分の特定領域の透過率を、他の部分の透過率より高める工程と、
（ｅ）前記周辺画像と前記車両画像とを合成し合成画像を生成する工程と、
（ｆ）前記合成画像を表示装置に出力して表示させる工程と、
を備え、
前記工程（ｄ）は、前記特定領域の範囲を前記物体の形状に応じた範囲に決定することを特徴とする画像処理方法。
【請求項5】
車両で用いられる画像処理システムであって、
請求項１ないし３のいずれかに記載の画像処理装置と、
前記画像処理装置から出力された前記合成画像を表示する表示装置と、
を備えることを特徴とする画像処理システム。
請求項１ないし３のいずれかに記載の画像処理装置と、
前記画像処理装置から出力された前記合成画像を表示する表示装置と、
を備えることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周辺を示す画像を処理する技術に関する。
【背景技術】
【0002】
従来より、自動車等の車両周辺を撮影した画像を合成し、運転席から見える車両周辺の様子を表示するシステムが知られている。このようなシステムにより、ユーザ（代表的には車両のドライバー）は、車両内にいながら周辺の様子を確認することができる。
【0003】
また、近年では、車両周辺の画像に運転席から見える車室の画像を重畳させたうえ、車室画像の全体を透過的に表示することで、ドライバーの目視では車体に遮られて確認できないような障害物をも確認できる技術が提案されている（例えば、特許文献１参照。）。ユーザは、このような画像を視認することで、車両周辺の様子を車両との位置関係を直感的に把握しながら確認することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９−１０９６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、車室画像の全体を透過的に表示させると、透過した部分に様々な車両周辺の物体が表示されるため、ドライバーは車両周辺の画像のうち、どこに最も注視すべきか直ちに把握することができない。このため、進行経路上に存在する障害物が画像に表示されているにもかかわらず、ドライバーがこのような障害物を見落とす恐れが生じていた。また、このような課題は、運転席から見た画像を表示した場合のみならず、車両の外部の俯瞰的な視点で車両の周辺画像を表示した場合にも生じていた。
【0006】
本発明は、上記課題に鑑みてなされたものであり、車両周辺を示す画像に車室等の車両画像を重畳させ、かかる車両画像を透過させて表示した場合に、ユーザが被写体の位置を直感的に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、請求項１の発明は、車両で用いられ、画像を処理する画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、運転席に着座したドライバの視点からみた前記車両の周辺領域を示す周辺画像を生成する生成手段と、前記ドライバの視点からみた前記車両を示す車両画像を取得する取得手段と、前記車両の周辺に存在する物体を検出する物体検出手段と、前記車両画像の一部分の特定領域の透過率を、他の部分の透過率より高める透過手段と、前記周辺画像と前記車両画像とを合成し合成画像を生成する合成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、を備え、前記透過手段は、前記特定領域の範囲を前記物体の形状に応じた範囲に決定する。【0009】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記車両の進行方向を検出する方向検出手段、をさらに備え、前記透過手段は、前記特定領域の範囲を前記車両の進行方向に基づいて決定する。【0011】
また、請求項３の発明は、請求項１又は２に記載の画像処理装置において、前記特定領域の範囲は、前記車両を構成する部位の範囲である。【0012】
また、請求項４の発明は、車両で用いられる画像処理方法であって、（ａ）前記車両に設けられる複数のカメラで取得された複数の画像を用いて、運転席に着座したドライバの視点からみた前記車両の周辺領域を示す周辺画像を生成する工程と、（ｂ）前記ドライバの視点からみた前記車両を示す車両画像を取得する工程と、（ｃ）前記車両の周辺に存在する物体を検出する工程と、（ｄ）前記車両画像の一部分の特定領域の透過率を、他の部分の透過率より高める工程と、（ｅ）前記周辺画像と前記車両画像とを合成し合成画像を生成する工程と、（ｆ）前記合成画像を表示装置に出力して表示させる工程と、を備え、前記工程（ｄ）は、前記特定領域の範囲を前記物体の形状に応じた範囲に決定する。【0013】
また、請求項５の発明は、車両で用いられる画像処理システムであって、請求項１ないし３のいずれかに記載の画像処理装置と、前記画像処理装置から出力された前記合成画像を表示する表示装置と、を備える。【発明の効果】
【0014】
請求項１から５の発明によれば、車両画像の一部分の特定領域の透過率を他の部分の透過率より高めるので、車両のドライバに対し、特定領域に相当する車両の周辺領域に存在する被写体の像を注視させることができる。また、車室内にいるドライバーの視点で車両周辺の状況を車両又は車室を透過して参照することができるので、ドライバーは直感的に周辺状況を把握することができる。【0016】
また、特に請求項２の発明によれば、特定領域の範囲を車両の進行方向に基づいて決定するので、前進や後進する場合に進行方向周辺の状況を車両又は車室を透過して参照することができ、ドライバーは車両を安全に前進や後進させることができる。【0018】
また、特に請求項３の発明によれば、特定領域の範囲を車両を構成する部位の範囲とすることで、透過率を高める範囲を限定できるため、画像処理の効率を向上させることができる。【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0021】
＜１．第１の実施の形態＞＜１−１．構成＞
図１は、第１の実施の形態における画像処理システム１２０の構成を示すブロック図である。画像処理システム１２０は、車両１（本実施の形態では、自動車）に搭載され、車両１の周辺領域を示す画像を生成して車室内に表示する機能を有する。画像処理システム１２０のユーザとなるドライバーは、この画像処理システム１２０を利用し、車両１の周辺の様子を確認することができる。
【0022】
図に示すように、画像処理システム１２０は、画像処理装置１００及び表示装置１１０を備えている。画像処理装置１００は複数のカメラ２０を備えている。この複数のカメラ２０は、車両１の周辺を撮影して車両１の周辺を示す画像を取得し、取得した画像を画像処理装置１００へ入力する。
【0023】
画像処理装置１００は、撮影画像等を用いて各種の画像処理を行い、表示装置１１０に表示するための画像を生成する。また、表示装置１１０は、画像処理装置１００から出力された画像を表示する。
【0024】
複数のカメラ２０はそれぞれ、レンズと撮像素子とを備え、車両１の周辺を示す撮影画像を電子的に取得する。複数のカメラ２０は、フロントカメラ２０Ｆ、リアカメラ２０Ｂ、左サイドカメラ２０Ｌ、及び、右サイドカメラ２０Ｒを含む。これら４つのカメラ２０Ｆ，２０Ｂ，２０Ｌ，２０Ｒは、車両１において互いに異なる位置に配置され、車両１の周辺の異なる方向を撮影する。
【0025】
図２は、４つのカメラ２０Ｆ，２０Ｂ，２０Ｌ，２０Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ２０Ｆは、車両１の前端に設けられ、その光軸２０Ｆａは車両１の直進方向に向けられる。リアカメラ２０Ｂは、車両１の後端に設けられ、その光軸２０Ｂａは車両１の直進方向の逆方向に向けられる。左サイドカメラ２０Ｌは、左側の左サイドミラー１１Ｌに設けられ、その光軸２０Ｌａは車両１の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ２０Ｒは、右側の右サイドミラー１１Ｒに設けられ、その光軸２０Ｒａは車両１の右側方（直進方向の直交方向）に向けられる。
【0026】
これらのカメラ２０Ｆ，２０Ｂ，２０Ｌ，２０Ｒのレンズには魚眼レンズ等の広角レンズが採用され、各カメラ２０Ｆ，２０Ｂ，２０Ｌ，２０Ｒは１８０度以上の画角θを有する。このため、４つのカメラ２０Ｆ，２０Ｂ，２０Ｌ，２０Ｒを利用し、車両１の全周囲を撮影することが可能である。
【0027】
図１に戻り、表示装置１１０は、液晶等の薄型の表示パネルとユーザの入力操作を検知するタッチパネル１１０ａとを備え、各種の情報や画像を表示する。表示装置１１０は、ドライバーが車両１の運転席に着座した状態でその画面を視認できるように、車室内に配置される。
【0028】
画像処理装置１００は、各種の画像処理が可能な電子装置であり、画像処理部１０２と、画像取得部１０３と、画像出力部１０４とを備えている。
【0029】
画像処理部１０２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像処理部１０２は、複数のカメラ２０で取得された複数の撮影画像を合成して、仮想視点からみた車両１の周辺の様子を示す周辺画像を生成する機能を有している。周辺画像処理部１０２が周辺画像を生成する手法については後に詳述する。画像処理部１０２は周辺画像生成部１０２ａ及び合成画像生成部１０２ｂをさらに備える。
【0030】
周辺画像生成部１０２ａは、複数のカメラ２０で取得された複数の撮影画像を合成し、仮想視点からみた車両１の周辺の様子を示す周辺画像を生成する。仮想視点は、車両１の外部の位置から車両１を俯瞰する俯瞰視点、及び、車両１に乗車したドライバーの視点に相当する位置から外部をみるドライバー視点などである。
【0031】
合成画像生成部１０２ｂは、周辺画像生成部１０２ａで生成された周辺画像に対し、車両１の車体や車室の画像を周辺画像に重畳する。
【0032】
画像取得部１０３は、４つのカメラ２０Ｆ，２０Ｂ，２０Ｌ，２０Ｒでそれぞれ得られた撮影画像を取得する。画像取得部１０３は、アナログの撮影画像をデジタルの撮影画像に変換する機能等の画像処理機能を有する。画像取得部１０３は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像生成部１０２に入力する。
【0033】
画像出力部１０４は、合成画像等の表示すべき画像を、表示装置１１０に出力する。これにより、画像が出力された表示装置１１０に当該画像が表示される。
【0034】
また、画像処理装置１００は、制御部１０１と、記憶部１０６と、信号受信部１０５とをさらに備える。制御部１０１は、例えば、マイクロコンピュータであり、画像処理装置１００の全体を統括的に制御する。
【0035】
記憶部１０６は、例えば、フラッシュメモリ等の不揮発性メモリであり、各種の情報を記憶する。記憶部１０６は、車両画像データ１０６Ｐ、ファームウェアとしてのプログラムや、制御部１０１の制御に用いる各種のデータを記憶する。車両画像データ１０６Ｐは、車体画像データ１０６ａ及び車室画像データ１０６ｂを含む。車体画像データ１０６ａは、車両１を俯瞰してみた場合の車両の外観を示す画像である。車室画像データ１０６ｂは、車両１の運転席から見える車室内の画像である。各画像は、あらゆる角度からみた車両外観及び車室内の画像を備える。
【0036】
信号受信部１０５は、車両１に設けられる他の装置からの信号を受信する。信号受信部１０５は、受信した信号を制御部１０１に入力する。信号受信部１０５は、車両情報取得部１３０、ナビゲーション部１４０、物体情報取得部１５０、ドライバー情報取得部１６０、及び表示装置１１０のタッチパネル１１０ａからの信号を受信する。
【0037】
制御部１０１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備える。制御部１０１の各種の機能は、記憶部１０６に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで実現される。また、制御部１０１は、プログラムに従って実現される機能として透過率変更部１０１ａを備える。透過率変更部１０１ａは、車両１の車体や車室の画像の透過率を変更する。画像の透過率を高めると、画像の線や色彩が薄く表示され、合成画像生成部１０２ｂにより重畳された周辺画像が車体画像や車室画像を透過する。車体画像や車室画像の透過率を１００％に変更すると、車両画像や車室画像の線及び色彩は表示されず、周辺画像のみが表示される。一方、透過率を０％に変更すると、車両画像や車室画像の線及び色彩は明確に表示され、車体画像や車室画像と重なる周辺画像は表示されない。また、透過率を５０％に変更すると、車体画像や車室画像の線及び色彩は薄く表示され、薄く表示された車体画像や車室画像を通して周辺画像が表示される。なお、画像の透過率を変更する手法は、既知の画像処理手法を用いることができる。
【0038】
車両情報取得部１３０は、車両１に関する様々な情報を取得し、信号受信部１０５へ出力する。車両情報取得部１３０は、車速センサ１３０ａ、シフトセンサ１３０ｂ、ステアリングセンサ１３０ｃ、及びウインカースイッチ１３０ｄを備える。車速センサ１３０ａは、車両１の車両速度を取得し、車速データを時速に換算できるデータとして出力する。シフトセンサ１３０ｂは、「Ｄｒｉｖｅ」や「Ｒｅｖｅｒｓｅ」等のシフトポジションを検知し、現在入力されているシフトポジションの位置データを信号受信部１０５へ出力する。ステアリングセンサ１３０ｃは、ステアリングが中立位置（車両が直進するステアリング位置）から左右にどれだけ回転したかを検知し、角度情報として出力する。ウインカースイッチ１３０ｄは、ウインカー（方向指示器）が左右どちらかに操作された場合に、該当する方向データを信号受信部１０５へ出力する。
【0039】
ナビゲーション部１４０は、目的地までの経路を案内するナビゲーション機能を実現する電子装置である。ナビゲーション部１４０は、目的地までの経路を示す地図画像及び経路案内情報を信号受信部１０５へ出力する。
【0040】
物体情報取得部１５０は、車両１の周辺に存在する物体を検知し、車両１に対する物体の方向及び距離データを信号受信部１０５へ出力する。物体情報取得部１５０は、クリアランスソナー１５０ａ及びレーダ１５０ｂを備える。クリアランスソナー１５０ａは、車両１のバンパー部等の周囲に設けられ、音波を送受信することで車両１の周辺に存在する物体を検知する。クリアランスソナー１５０ａは、物体の存在を検知すると、物体の存在する方向及び距離データを信号受信部１０５へ出力する。レーダ１５０ｂは、ミリ波や赤外線を送受信することで車両１の周辺に存在する物体を検知する。レーダ１５０ｂは、物体の存在を検知すると、物体の存在する方向及び距離データを信号受信部１０５へ出力する。
【0041】
ドライバー情報取得部１６０は、車両１のドライバーに関する様々な情報を取得し、信号受信部１０５へ出力する。ドライバー情報取得部１６０は、視線センサ１６０ａを備える。視線センサ１６０ａは、車両１内に設置されたカメラによりドライバーの視線方向を検知し、視線方向データを信号受信部１０５へ出力する。
【0042】
＜１−２．画像の生成＞次に、画像生成部１０２が、車両１の周辺領域を示す周辺画像、及び周辺画像に車両画像を重畳した合成画像を生成する手法について説明する。図３は、周辺画像生成部１０２ａが周辺画像を生成する手法を説明する図である。
【0043】
フロントカメラ２０Ｆ、リアカメラ２０Ｂ、左サイドカメラ２０Ｌ、及び、右サイドカメラ２０Ｒのそれぞれで撮影が行われると、車両１の前方、後方、左側方、及び、右側方をそれぞれ示す４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲが取得される。これら４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲには、車両１の全周囲のデータが含まれている。
【0044】
周辺画像生成部１０２ａは、まず、これら４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両１の位置として定められている。また、投影面ＴＳの中心以外の部分は、画像ＰＦ，ＰＢ，ＰＬ，ＰＲのいずれかと対応付けられている。
【0045】
周辺画像生成部１０２ａは、この投影面ＴＳの中心以外の部分に、画像ＰＦ，ＰＢ，ＰＬ，ＰＲに含まれるデータを投影する。周辺画像生成部１０２ａは、投影面ＴＳにおいて車両１の前方に相当する領域に、フロントカメラ２０Ｆの画像ＰＦのデータを投影する。また、周辺画像生成部１０２ａは、投影面ＴＳにおいて車両１の後方に相当する領域に、リアカメラ２０Ｂの画像ＰＢのデータを投影する。さらに、周辺画像生成部１０２ａは、投影面ＴＳにおいて車両１の左側方に相当する領域に左サイドカメラ２０Ｌの画像ＰＬのデータを投影し、投影面ＴＳにおいて車両１の右側方に相当する領域に右サイドカメラ２０Ｒの画像ＰＲのデータを投影する。
【0046】
次に、周辺画像生成部１０２ａは、三次元空間に対して仮想視点ＶＰを設定する。周辺画像生成部１０２ａは、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定できる。そして、周辺画像生成部１０２ａは、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出し、切り出した画像を合成する。これにより、周辺画像生成部１０２ａは、仮想視点ＶＰからみた車両１の周辺の領域を示す周辺画像ＡＰを生成する。
【0047】
次に、合成画像生成部１０２ｂが、周辺画像生成部１０２ａが生成した周辺画像ＡＰ、仮想視点ＶＰに応じて記憶部１０６から読み出した車両画像データ１０６Ｐ（車体画像データ１０６ａ又は車室画像データ１０６ｂ）、及びタッチパネル１１０ａに用いるアイコン画像ＰＩを合成し、合成画像ＣＰを生成する。
【0048】
例えば、視点位置を車両１の運転席、視野方向を車両１の前方とした仮想視点ＶＰｃ（ドライバー視点）を設定した場合は、車両１の運転席からその前方を見渡すように、車両１の車室内及び車両１の前方の領域を示す合成画像ＣＰｃが生成される。すなわち、図４に示すように、合成画像生成部１０２ｂは、仮想視点ＶＰの位置が運転席かつ視野方向が前方である合成画像ＣＰｃを生成する場合、車両１の前方を示す周辺画像ＡＰ、運転席を示す車室画像１０６ｂ、及びアイコン画像ＰＩを合成し、合成画像ＣＰを生成する。
【0049】
また、視点位置を車両１の左後方、視野方向を車両１の前方とした仮想視点ＶＰｂ（斜視的かつ俯瞰的な仮想視点）を設定した場合は、車両１の左後方からその周辺全体を見渡すように、車両１及び車両１の周辺の領域を示す合成画像ＣＰｂが生成される。
【0050】
また、視点位置を車両１の直上、視野方向を直下とした仮想視点ＶＰａ（平面的かつ俯瞰的な仮想視点）を設定した場合は、車両１及び車両１の周辺の領域を俯瞰する合成画像ＣＰａが生成される。
【0051】
合成画像ＣＰが生成されると、透過率変更部１０１ａが、車体画像１０６ａ又は車室画像１０６ｂの透過率を変更する。車体画像１０６ａ又は車室画像１０６ｂの透過率が変更された合成画像を表示することで、ドライバーは、車体画像１０６ａ等を透過して周辺画像を参照することができるため、車両１の周辺状況を車両との位置関係とともに直感的に把握することができる。
【0052】
＜１−３．処理手順＞次に、周辺画像を生成する画像処理装置１００の処理手順について説明する。図５は、画像処理装置１００の処理手順を示す図である。図５に示す処理は、所定の周期（例えば、１／３０秒周期）で繰り返し実行される。
【0053】
まず、４つのカメラ２０でそれぞれ撮影が行われる。画像取得部１０３はこれら４つのカメラ２０から４つの撮影画像を取得する。画像取得部１０３は取得した４つの撮影画像を画像生成部１０２に入力する（ステップＳ１１）。
【0054】
画像取得部１０３が撮影画像を画像生成部１０２に入力すると、制御部１０１が、仮想視点ＶＰの視点位置を決定する（ステップＳ１２）。仮想視点ＶＰの視点位置は、俯瞰視点位置又はドライバー視点位置であり、画像表示の当初にはドライバー視点位置が選択される。ドライバーにとって最も違和感のない視点位置だからである。なお、仮想視点ＶＰの視野方向は、車両１の左前方が好ましい。車両１がいわゆる右ハンドルである場合、車両１を運転操作するドライバーの死角となりやすい方向だからである。
【0055】
仮想視点ＶＰの視点位置及び視野方向の変更は、ドライバーによるタッチパネル１１０ａの操作に応じて行えばよい。この際、表示装置１１０に表示されるアイコン画像ＰＩが操作される毎に、仮想視点ＶＰの位置を俯瞰視点位置、ドライバー視点位置と順次変更する。さらに、俯瞰視点位置の画像及びドライバー視点位置の画像を並列して同時に表示してもよい。この場合、ドライバーは複数の角度から車両１の周辺状況を同時に把握できるので、車両１をより安全に操作することができる。
【0056】
仮想視点ＶＰの位置が決定されると、周辺画像生成部１０２ａは、画像取得部１０３が取得した撮影画像に基づき、前述の手法により、車両１の周辺画像ＡＰを生成する（ステップＳ１３）。
【0057】
周辺画像ＡＰが生成されると、合成画像生成部１０２ｂは、制御部１０１を介して記憶部１０６から仮想視点ＶＰに応じた車両画像データ１０６Ｐ（車体画像データ１０６ａ又は車室画像データ１０６ｂ）を読み出す（ステップＳ１４）。仮想視点ＶＰの位置が俯瞰視点位置の場合には、車体画像データ１０６ａが読み出され、ドライバー視点位置の場合には、車室画像データ１０６ｂが読み出される。なお、合成画像生成部１０２ｂによる記憶部１０６からの読み出し処理は、制御部１０１を介して実行される。
【0058】
次に、合成画像生成部１０２ｂが、４つの撮影画像を用いて、前述の手法により、合成画像ＣＰを生成する（ステップＳ１５）。
【0059】
合成画像生成部１０２ｂが合成画像ＣＰを生成すると、透過率変更部１０１ａが、読み出された車両画像データ１０６Ｐの透過率を高める処理を実行する（ステップＳ１６）。なお、読み出された車両画像データ１０６Ｐの透過率は０％である。透過率変更部１０１ａは、車両画像データ１０６Ｐの透過率を５０％程度に高めるのが好ましい。この場合、車両画像データ１０６Ｐと周辺画像ＡＰの両画像が同程度に視認できるため、ドライバーは車両１の周辺状況と車両１の位置関係を容易に把握できるからである。なお、車両画像データ１０６Ｐの透過率は、車両１周囲の明るさに応じて変更してもよい。すなわち、夜間や照明のない屋内等により車両１の周囲の照度が低い場合には、車両画像データ１０６Ｐの透過率を５０％より高めてもよい。この場合、ドライバーは車両画像データ１０６Ｐを透過して周辺画像ＡＰをより明確に視認できるため、車両１の周囲の照度が低い場合であっても、ドライバーは車両１の周辺状況と車両１の位置関係を把握しやすい。
【0060】
車両画像データ１０６Ｐの透過率を高める処理を行うと、透過率変更部１０１ａは、車両画像データ１０６Ｐのうち、透過率をさらに高めるべき特定領域ＰＸを設定する（ステップＳ１７）。
【0061】
透過率変更部１０１ａにより設定される特定領域ＰＸは、合成画像ＣＰのうち車両画像１０６Ｐに重複する領域であり、車両画像１０６Ｐを透過して表示される周辺画像ＡＰに対し、ドライバーが運転操作において特に注意を要すべき領域である。
【0062】
例えば、図６に示すように、合成画像生成部により生成された合成画像がドライバー視点位置で前方を示す合成画像ＣＰｃである場合、特定領域ＰＸの大きさは合成画像ＣＰｃの１／４程度で、特定領域ＰＸの中心位置は合成画像ＣＰｃの中心よりやや下側である。かかる領域は、車両１を前進させる際には、車体に遮られて視認が困難であるうえ、障害物が存在した場合には車両１と接触する恐れがあり、かかる領域が運転操作において特に注意を要すべき領域となるからである。
【0063】
なお、特定領域ＰＸは、図６に示すような楕円形のみならず、円形や四角形でもよく、車両１の周囲に存在する障害物の形状としてもよい。また、特定領域ＰＸを複数の小領域に分割し、車両１の周囲に存在する障害物と重複する小領域のみ透過率を高めてもよい。
【0064】
特定領域ＰＸを設定すると、透過率変更部１０１ａは、特定領域ＰＸの透過率を高める処理を実行する（ステップＳ１８）。すなわち、透過率変更部１０１ａは、車両画像１０６Ｐの一部分の特定領域の透過率を、他の部分の透過率より高める処理を行う。車両画像の透過率を５０％にした場合には、特定領域ＰＸの透過率は７５％から９０％程度に高めるのが好ましい。図６に示すように、車両画像の透過率に対し特定領域ＰＸの透過率を明確に高めることにより、ドライバーの注意を特定領域ＰＸに引き付けることができるためである。
【0065】
例えば、図７に示すように、車両１が走行中に路側に停車した車両ＶＳを追い越すような場合において、特定領域ＰＸの大きさは、合成画像ＣＰの１／４程度で、位置は合成画像ＣＰｃの中心よりやや左側に設定される。かかる領域は、いわゆる右ハンドルの車両１を走行させる際、車体に遮られて車両ＶＳとの間隔の視認が困難であるため、追い越し走行を行う場合に特に注意を要すべき領域だからである。
【0066】
この際、仮想視点の位置がドライバー視点である場合には、図８に示すように、特定領域ＰＸの位置は合成画像ＣＰｃの中心よりやや左側に設定され、特定領域ＰＸの透過率は車室画像１０６ｂよりも高く設定される。また、仮想視点の位置が俯瞰視点である場合には、図９に示すように、特定領域ＰＸの位置は合成画像ＣＰｂのほぼ中心に設定されたうえ、特定領域ＰＸの透過率は車体画像１０６ａよりも高く設定される。
【0067】
これにより、ドライバーは、走行中に路側に停車した車両ＶＳを追い越す場合において、車両ＶＳと接触の恐れのある特に注意を要すべき領域について車両画像１０６Ｐをより高い透過率で車両ＶＳを視認することができる。また、車両画像１０６Ｐを透過させつつも、ドライバーの注意を特定領域ＰＸへ引き付けることができる。したがって、例えば車両１が高速で走行しており、ドライバーが瞬間的にしか画像を参照できなくとも、ドライバーは車両画像１０６Ｐを透過して表示された周辺画像ＡＰのうち、運転操作において特に注意を要すべき領域を直感的に視認することができる。
【0068】
透過率変更部１０１ａにより特定領域ＰＸの透過率を高める処理が行われると、画像出力部１０４は、合成画像ＣＰを表示装置１１０へ出力する（ステップＳ１９）。出力された合成画像ＣＰは表示装置１１０に表示され、ドライバーによる運転操作の際に参照される。
【0069】
合成画像ＣＰが出力されると、制御部１０１は、ドライバーによりタッチパネル１１０ａが操作され、仮想視点ＶＰの位置を変更すべき指示があるか否か判断する（ステップＳ２０）。
【0070】
仮想視点ＶＰの位置を変更すべき指示があると判断する場合には（ステップＳ２０でＹｅｓ）、ステップＳ１２に戻り、制御部１０１は仮想視点ＶＰの位置を再度決定する。すなわち、仮想視点の位置がドライバー視点（図３におけるＶＰｃ）が選択されていた場合には、新たな仮想視点の位置として俯瞰的な視点（図３におけるＶＰｂ）が選択される。また、俯瞰的な視点（図３におけるＶＰｂ）が選択されていた場合には、その反対に新たな仮想視点の位置としてドライバー視点（図３におけるＶＰｃ）が選択され、ドライバーによる指示に応じて順次視点が変更される。なお、図１０に示すように、視点位置を車両１の直上、視野方向を直下とした仮想視点ＶＰａ（平面的かつ俯瞰的な仮想視点）と、視点位置を車両１の左後方、視野方向を車両１の前方とした仮想視点ＶＰｂ（斜視的かつ俯瞰的な仮想視点）とを同時に表示してもよい。この場合、ドライバーによる指示に応じて、ドライバー視点、俯瞰視点、及び同時表示（図１０）の画像が順次表示される。
【0071】
一方、仮想視点ＶＰの位置を変更すべき指示がないと判断する場合には（ステップＳ２０でＮｏ）、本処理は終了する。なお、ドライバーにより画像処理システム１２０の電源がオフされるまで、合成画像ＣＰの表示（ステップＳ１９）及び仮想視点ＶＰの位置の変更の判断（ステップＳ２０）の処理を繰り返し実行してもよい。この場合、ドライバーは画像処理システム１２０起動中に合成画像ＣＰを常時参照できる。
【0072】
以上のように、画像処理装置１００において、画像取得部１０３が車両１に搭載されたカメラ２０の撮影画像を取得し、周辺画像生成部１０２ａが撮影画像に基づいて車両１の周辺領域を示す周辺画像ＡＰを生成する。合成画像生成部１０２ｂは、仮想視点に応じた車両画像データ１０６Ｐ（車体画像データ１０６ａ又は車室画像データ１０６ｂ）を周辺画像ＡＰに合成し、合成画像ＣＰを生成する。透過率変更部１０１ａは、合成画像ＣＰにおける車両画像データ１０６Ｐの透過率を高めたうえ、特に注意を要すべき特定領域ＰＸを設定し、特定領域ＰＸの透過率をさらに高める。これにより、車両１のドライバーは、車両画像データ１０６Ｐを透過して車両周辺を参照すると共に、特定領域ＰＸをさらに詳細に視認することができるため、運転操作における安全性を向上できる。
【0073】
また、画像処理装置１００においては、例えば車両１が高速で走行し、ドライバーが画像を瞬間的にしか参照できなくとも、ドライバーの注意を特定領域ＰＸへ引き付けることができるため、運転操作における安全性を向上できる。
【0074】
＜２．第２の実施の形態＞次に、第２の実施の形態について説明する。第２の実施の形態における画像処理システム１２０の構成及び処理は、第１の実施の形態とほぼ同様のため、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では特定領域ＰＸの位置は、仮想視点ＶＰに応じて予め決定されたが、第２の実施の形態では特定領域ＰＸの位置は、車両１の進行方向に応じて決定される。これにより、車両１の進行方向に特定領域ＰＸの位置が設定されるので、ドライバーが運転操作する際により注意を要するべき位置に特定領域ＰＸを設定することができる。
【0075】
図１１は、第２の実施の形態における画像処理システム１２０のブロック図である。第１の実施の形態の構成に加えて、制御部１０１は、プログラムに従って実現される機能として方向検出部１０１ｂをさらに備えている。
【0076】
方向検出部１０１ｂは、車両情報取得部１３０から送信された車両データを取得し、車両１の進行する方向を検出する。例えば、方向検出部１０１ｂは、車両情報取得部１３０のシフトセンサ１３０ｂからシフト位置が「Ｒｅｖｅｒｓｅ」となるシフトデータを取得した場合、車両１の進行方向は後退である旨を検出する。方向検出部１０１ｂが進行方向を後退と検出すると、透過率変更部１０１ａは、例えば仮想視点ＶＰの視野方向を車両後方となる方向に設定する。
【0077】
図１２は、第２の実施の形態における画像処理システム１２０の処理手順を示すフローチャートである。第１の実施の形態との相違点は、ステップＳ３１の処理を備える点である。ステップＳ３１の処理は、方向検出部１０１ｂが車両情報取得部１３０から送信された車両データを取得して車両１の進行する方向を検出する処理である。
【0078】
図１３は、ステップＳ３１の処理の詳細を示すフローチャートである。ステップＳ３１は、ステップＳ２０でＮｏの判定がなされた後に実行される。ステップＳ３１が実行されると、方向検出部１０１ｂがシフトセンサ１３０ｂから送信されるシフトデータを取得し、シフト位置が「Ｒｅｖｅｒｓｅ」であるか「Ｄｒｉｖｅ」であるか判断する（ステップＳ５１）。
【0079】
方向検出部１０１ｂがシフト位置を「Ｒｅｖｅｒｓｅ」であると判断すると（ステップＳ５１でＲｅｖｅｒｓｅ）、制御部１０１は、仮想視点ＶＰの視野方向を車両後方に設定する（ステップＳ５２）。次に、透過率変更部１０１ａが特定領域ＰＸの位置を車両下方に設定する（ステップＳ５３）。かかる位置が、車両１を後退させる際に、車体に遮られてドライバーが認識し難い位置であり、特に注意を要する領域の中心点であるからである。
【0080】
ステップＳ５３が実行されると、処理はステップＳ１３に戻る。ステップＳ１３では、仮想視点ＶＰの視野方向が車両後方に設定されているため、周辺画像生成部１０２ａが、車両後方の周辺画像を生成する。また、ステップＳ１７では、特定領域ＰＸの位置が車両下方に設定されているため、透過率変更部１０１ａが、車両下方となる位置に特定領域ＰＸを設定する。これにより、ドライバーは、シフトを「Ｒｅｖｅｒｓｅ」とした場合に、車両後方の周辺画像とともに車両画像１０６Ｐの特定領域を高い透過率で透過した合成画像を参照でき、車両１の後退操作を安全に行うことができる。
【0081】
一方、方向検出部１０１ｂがシフト位置を「Ｄｒｉｖｅ」であると判断すると（ステップＳ５１でＤｒｉｖｅ）、方向検出部１０１ｂはステアリングセンサ１３０ｃから送信されるステアリングデータを取得し、ステアリングの回転方向が「左」であるか「右」であるか判断する（ステップＳ５４）。方向検出部１０１ｂがステアリングの回転方向が「左」であると判断すると（ステップＳ５４で左）、制御部１０１は、仮想視点ＶＰの視野方向を車両前方に設定する（ステップＳ５５）。
【0082】
次に、透過率変更部１０１ａが特定領域ＰＸの位置を車両左方に設定する（ステップＳ５６）。かかる位置が、車両１を左方向へ進行させる際に、車体に遮られてドライバーが認識し難い位置となり、特に注意を要する領域の中心点となるからである。ステップＳ５６が実行されると、処理はステップＳ１３に戻り前述の処理が再度実行される。
【0083】
また、方向検出部１０１ｂがステアリングの回転方向が「右」であると判断すると（ステップＳ５４で右）、制御部１０１は、仮想視点ＶＰの視野方向を車両前方に設定する（ステップＳ５７）。
【0084】
次に、透過率変更部１０１ａが特定領域ＰＸの位置を車両右方に設定する（ステップＳ５８）。かかる位置が、車両１を右方向へ進行させる際に、車体に遮られてドライバーが認識し難い位置となり、特に注意を要する領域の中心点となるからである。ステップＳ５８が実行されると、処理はステップＳ１３に戻り前述の処理が再度実行される。
【0085】
また、方向検出部１０１ｂは、ステアリングの回転方向が「ない」であると判断すると（ステップＳ５４で「ない」）、ナビゲーション部１４０から送信される経路案内データを取得し、経路案内の方向が「左折」、「右折」、「直進」のいずれかであるか判断する（ステップＳ６０）。方向検出部１０１ｂが経路案内の方向が「左折」であると判断すると（ステップＳ６０で左折）、前述のステップＳ５５及びステップＳ５６の処理が実行される。また、方向検出部１０１ｂが経路案内の方向が「右折」であると判断する場合も（ステップＳ６０で右折）、前述のステップＳ５７及びステップＳ５８の処理が実行される。
【0086】
一方、方向検出部１０１ｂは、経路案内の方向を「直進」であると判断すると（ステップＳ６０で直進）、車速センサ１３０ａから送信される車速データを取得し、車速が所定速度以下であるか判断する（ステップＳ６１）。所定速度とは、例えば時速２０ｋｍ／ｈである。所定速度以下とは、渋滞時の走行や徐行運転に相当する速度である。このように、車両の速度を検出することで、特定領域ＰＸの位置を適切に設定することができる。すなわち、車速が低い場合には先行車両や障害物と接近して走行し得るため、例えば特定領域ＰＸの位置を車両下方に設定することで、ドライバーは、車両１に接近した先行車両等を視認することができる。
【0087】
方向検出部１０１ｂは、車速が所定速度以下であると判断すると（ステップＳ６１でＹｅｓ）、仮想視点ＶＰの視野方向を車両前方に設定する（ステップＳ６２）。次に、透過率変更部１０１ａが特定領域ＰＸの位置を車両下方に設定する（ステップＳ６３）。かかる位置が、車両１が前進かつ低速で走行する際に、車体に遮られてドライバーが認識し難い位置となり、特に注意を要する領域の中心点となるからである。ステップＳ６３が実行されると、処理はステップＳ１３に戻り前述の処理が再度実行される。
【0088】
一方、方向検出部１０１ｂが、車速が所定速度以下でないと判断すると（ステップＳ６１でＮｏ）、図１３のフローチャートに戻り処理は終了する。この場合は、車両１の進行方向に変化が検出されない場合であり、すなわち車両１が後進、右左折、及び低速走行もしないため、仮想視点ＶＰの視野方向及び特定領域ＰＸの位置を変更する必要がないためである。
【0089】
このように、第２の実施の形態では、特定領域ＰＸの位置は車両１の進行方向に応じて決定される。これにより、車両１の進行方向に特定領域ＰＸの位置が設定されるので、ドライバーが運転操作する際により注意を要するべき位置に特定領域ＰＸを設定することができる。このため、ドライバーは、車両１をいかなる方向へ操作する場合でも、車両１の周辺画像とともに車両画像１０６Ｐの特定領域を高い透過率で透過した合成画像を参照し、車両１の運転操作を安全に行うことができる。
【0090】
なお、図１３のフローチャートでは、左折や右折の場合に仮想視点ＶＰの視野方向を車両１の前方に設定し（ステップＳ５５、Ｓ５７）、特定領域ＰＸの位置を車両１の左方や右方に設定（ステップＳ５６、Ｓ５８）することで、車両１の進行方向に特定領域ＰＸの位置を設定した。しかし、仮想視点ＶＰの視野方向を車両１が曲がる方向とし、特定領域ＰＸの位置をその方向の車両画像１０６Ｐにおける中央部とすることで、車両１の進行方向に特定領域ＰＸの位置を設定してもよい。例えば、ウィンカースイッチ１３０ｄがオンとなる方向が左であれば、前方正面方向から左斜め４５［°］の方向に仮想視点ＶＰの視野方向を設定し、特定領域ＰＸの位置をその方向の中央部としてもよい。このようにすれば、車両１の前後進のみならず右左折の場合であっても特定領域ＰＸの位置が常に画像中央部に設定されるため、ドライバーは特定領域ＰＸの周囲も認識しやすい。
【0091】
＜３．第３の実施の形態＞次に、第３の実施の形態について説明する。第３の実施の形態における画像処理システム１２０の構成及び処理は、第１の実施の形態とほぼ同様であるため、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では特定領域ＰＸの位置は、仮想視点ＶＰに応じて予め決定されたが、第３の実施の形態では特定領域ＰＸの位置は車両１の周辺に存在する物体の位置（方向及び距離）に応じて決定される。これにより、車両１の周辺に存在する物体の位置に特定領域ＰＸの位置が設定されるので、ドライバーが運転操作を行う際により注意を要するべき位置に特定領域ＰＸを設定することができる。
【0092】
図１４は、第３の実施の形態における画像処理システム１２０のブロック図である。第１の実施の形態の構成に加えて、制御部１０１は、プログラムに従って実現される機能として物体検出部１０１ｃをさらに備えている。
【0093】
物体検出部１０１ｃは、物体情報取得部１５０から送信された物体データを取得し、車両１の周辺に存在する物体の位置を検出する。例えば、物体検出部１０１ｃは、車両情報取得部１３０の車両１のクリアランスソナー１５０ａ（クリアランスソナー１５０ａのうち左前方に設置されたもの）から一定レベルを超過する強度の物体データを取得した場合、車両１の左前方で距離０．５ｍに物体が存在する旨を検出する。物体検出部１０１ｃが物体の位置を左前方で距離０．５ｍと検出すると、透過率変更部１０１ａは、例えば仮想視点ＶＰの視野方向を車両左側となる方向に設定する。なお、レーダ１５０ｂからの物体データであっても、物体検出部１０１ｃは、車両１の周辺に存在する物体の位置を検出することができる。
【0094】
図１５は、第３の実施の形態における画像処理システム１２０の処理手順を示すフローチャートである。第１の実施の形態との相違点は、ステップＳ７１からＳ７３の処理を実行する点である。ステップＳ７１からＳ７３の処理は、物体検出部１０１ｃが物体情報取得部１５０から送信された物体データを取得し、特定領域ＰＸの範囲を検出された物体を含むように設定する処理である。
【0095】
ステップＳ７１は、ステップＳ２０でＮｏの判定がなされた後に実行される。ステップＳ７１が実行されると、物体検出部１０１ｃが物体情報取得部１５０から送信される豚地データを取得し、車両１の周辺に物体が存在するか判断する。（ステップＳ７１）。
【0096】
物体検出部１０１ｃが車両１の周辺に物体が存在すると判断する場合は（ステップＳ７１でＹｅｓ）、物体検出部１０１ｃは、かかる物体の位置（方向及び距離）を検出する（ステップＳ７２）。
【0097】
物体検出部１０１ｃが物体の位置を検出すると、透過率変更部１０１ａは、検出された物体の位置に基づき特定領域ＰＸの範囲について物体の外縁を含む範囲に設定する（ステップＳ７３）。物体の外縁は、周辺画像ＡＰ上における物体データの強度に基づいて決定すればよい。また、画像処理における、いわゆるパターンマッチングの手法を用いることもできる。この場合、予め車両１の周辺に存在しうる物体の外縁データを記憶部１０６に記憶しておけばよい。また、物体が車両１に対して相対的に移動している場合には、オプティカルフロー方式の手法を用いて物体の外縁を検出することもできる。この方式を用いた場合は、物体検出部１０１ｃは、時間的に連続する複数の撮影画像（フレーム）のそれぞれから特徴点を抽出し、それら複数の撮影画像間での特徴点の動きを示すオプティカルフローに基づいて物体の外縁を検出する。 なお、検出した障害物の方向に向けて仮想視点ＶＰの視野方向を設定し、仮想視点ＶＰの視野方向の中心に特定領域ＰＸの位置を設定してもよい。
【0098】
透過率変更部１０１ａが特定領域ＰＸの範囲を物体の外縁を含む範囲に設定すると、処理はステップＳ１８に戻り、透過率変更部１０１ａは、設定した特定領域ＰＸの透過率を高める処理を実行する。
【0099】
例えば、図１６に示すように、車両１の右前方付近に障害物ＯＢ１が存在する駐車場ＰＡに進入した場合、物体情報取得部１５０が障害物ＯＢ１の位置を検知すると、特定領域ＰＸは、右前方かつ下方に設定される。この場合、合成画像ＣＰは図１７に示すように表示され、ドライバー視点においてハンドルやインナーパネルにより遮られていた位置に特定領域ＰＸが設定される。ドライバーは、車室画像１０６ｂのうち特に障害物ＯＢ１の存在する範囲を高い透過率で透過して障害物ＯＢ１を視認できるので、車両１が障害物ＯＢ１と接触しないよう回避運転を行うことができる。
【0100】
図１５におけるステップＳ７１において、物体検出部１０１ｃが車両１の周辺に物体が存在しないと判断した場合は（ステップＳ７１でＮｏ）、処理は終了する。車両１の周辺に物体が存在しないと判断した以上、特定領域ＰＸの範囲を変更する必要がないからである。
【0101】
このように、第３の実施の形態では、特定領域ＰＸの位置は車両１の周辺に存在する物体の位置に応じて決定される。これにより、ドライバーが運転操作する際に、より注意を要するべき位置に特定領域ＰＸを設定することができる。したがって、ドライバーは、物体を回避して車両１を操作でき、車両１の運転操作を安全に行うことができる。
【0102】
＜４．第４の実施の形態＞次に、第４の実施の形態について説明する。第４の実施の形態における画像処理システム１２０の構成及び処理は、第１の実施の形態とほぼ同様であるため、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では特定領域ＰＸの位置は、仮想視点ＶＰに応じて予め決定されたが、第４の実施の形態では特定領域ＰＸの位置は車両１を構成する部位に応じて決定される。車両１を構成する部位とは、ボンネットやドアー、インナーパネル、ハンドル、シート等の部品、さらにピラーやルーフ等の車体における一定領域である。これにより、車両１を構成する部位に特定領域ＰＸが設定されるので、透過率を高めるべき領域を限定することができ、画像処理の処理負荷を軽減することができる。特に、ドアーやピラー等のガラスで囲まれた部位の透過率を高める場合に好適である。かかる部位は、本来透過しているガラスで囲まれているため、該当する領域（ドアーやピラー等）のみ透過率を高める処理を実行すればよいからである。
【0103】
図１８は、第４の実施の形態における画像処理システム１２０のブロック図である。第４の実施の形態の記憶部１０６が記憶する車両画像データ１０６Ｐは、車両部位データ１０６ｃを含んでいる。車両部位データ１０６ｃは、車体画像データ１０６ａ及び車室画像データ１０６ｂのうち車両の部位に相当するデータである。例えば、車両部位データ１０６ｃは、車室画像データ１０６ｂで示される画像におけるドアー部やピラー部等から構成される。透過率変更部１０１ａは、記憶部１０６から車両部位データ１０６ｃを読み出し、読み出した車両部位の透過率を高める処理を実行する。なお、車両部位データ１０６ｃは、車両１の周辺に存在する物体の位置と車両部位が重複する場合に、かかる車両部位に相当する車両部位データ１０６ｃが選択される。この場合、物体の位置は、物体情報取得部１５０からの物体データを用いればよい。また、タッチパネル１１０ａに対するドライバーの接触操作により、接触された車両部位を選択してもよい。
【0104】
図１９は、第４の実施の形態における画像処理システム１２０の処理手順を示すフローチャートである。第１の実施の形態との相違点は、ステップＳ１７に代えてステップＳ１７ａを実行する点である。ステップＳ１７ａの処理は、透過率変更部１０１ａが、車両部位データ１０６ｃを記憶部１０６から読み出し、車両画像１０６Ｐのうち読み出した車両部位に相当する範囲について特定領域ＰＸを設定する処理である。ステップＳ１７が実行されると、透過率変更部１０１ａが特定領域ＰＸの透過率を高める処理（ステップＳ１８）を実行し、ステップＳ１９以下の前述の処理が実行される。
【0105】
例えば、図２０に示すように、駐車領域ｐａに駐車すべく駐車場ＰＡへ進入した場合、ドライバーは、車両１の左前方に駐車している駐車車両ＶＥと接触しないよう注意を払う必要がある。この場合、ステアリングセンサ１３０ｃで車両１の左方向への進行、及びレーダ１５０ｂで駐車車両ＶＥの位置を検出すれば、透過率変更部１０１ａは、車室画像１０６ｂにおいて車両１の左Ａピラーに駐車車両の画像が重複すると判断できる。このように判断した場合、図２１に示すように、仮想視点ＶＰを車両前方とした合成画像ＣＰにおいて、左Ａピラーに相当する領域１０６ｃを特定領域ＰＸに設定し、かかる領域の透過率を高める処理が実行される。これにより、ドライバーは、駐車車両ＶＥと接触しないよう容易に注意を払いつつ、駐車領域ｐａに車両１を駐車させることができる。
【0106】
このように、第４の実施の形態では、特定領域ＰＸの位置は車両１を構成する部位に応じて決定される。これにより、透過率を高めるべき領域を限定することができ、画像処理の処理負荷を軽減することができる。
【0107】
＜５．変形例＞以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0108】
図２２は、変形例における画像処理システム１２０のブロック図である。同図に示すように、制御部１０１は、プログラムに従って実現される機能として視線検出部１０１ｄを備える。このような構成により、ドライバーの視線方向に特定領域ＰＸを設定し、ドライバーが参照したい方向の車両画像１０６Ｐを透過させて合成画像ＣＰを表示させることができる。この場合、ドライバーの目視による安全確認を補助することができるため、ドライバーはより安全に車両１を運転操作することができる。この視線検出部１０１ｄは、ドライバー情報取得部１６０の視線センサ１６０ａから視線データを取得し、ドライバーの視線方向を検出する。ドライバー情報取得部１６０の視線センサ１６０ａから視線データを取得し、ドライバーの視線方向を検出する。透過率変更部１０１ａは、視線検出部１０１ｄが検出したドライバーの視線方向に特定領域ＰＸを設定する。例えば、図２３に示すように、車両１の左側方に障害物ＯＢ２が存在する駐車場ＰＡに進入した場合、ドライバーが左側方を目視すれば、仮想視点ＶＰの視野方向も左側方に設定される。ドライバーの視線方向に特定領域ＰＸが設定されるため、図２４に示すように、ドライバーは車両左側方の障害物ＯＢ２を高い透過率の車室画像１０６ｂを透して視認することができる。なお、ドライバーが視線を移動した数秒後（例えば２秒後）に、ドライバーの視線方向の画像を表示してもよい。この場合、ドライバーが表示装置１１０に視線を向けた際には、数秒前に視線を向けた方向の画像を表示することができ、ドライバーは目視した周辺の様子を数秒後に表示装置１１０で確認することができる。
【0109】
また、上記実施の形態の処理手順では、合成画像の生成処理（ステップＳ１５）を特定領域の透過率を高める処理（ステップＳ１８）の前に実行していたが、必ずしもこのような処理手順に限定されるものではない。すなわち、合成画像の生成処理（ステップＳ１５）を特定領域の透過率を高める処理（ステップＳ１８）の後であって、合成画像の出力処理の前に実行してもよい。
【0110】
また、上記実施の形態の処理手順では、各処理（各ステップ）を直列的に実行していたが、必ずしもこのような直列的な処理手順に限定されるものではない。例えば、撮影画像の取得処理（ステップＳ１１）、仮想視点の位置の決定処理（ステップＳ１２）、及び周辺画像の生成処理（ステップＳ１３）と、車両画像又は車室画像を読み出す処理（ステップＳ１４）、車両画像の透過率を高める処理（ステップＳ１６）、特定領域を設定する処理（ステップＳ１７）、及び特定領域の透過率を高める処理（ステップＳ１８）とを並列的に実行してもよい。この場合、かかる並列処理により生成された周辺画像と透過率が高められた特定領域のデータを用いて、合成画像を生成する処理（ステップＳ１５）を実行すればよい。
【0111】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【0112】
１ 車両２０ カメラ
１００ 画像処理装置
１０１ 制御部
１０２ 画像生成部
１０３ 画像取得部
１０４ 画像出力部
１０５ 信号受信部
１０６ 記憶部
１１０ 表示装置
１２０ 画像処理システム
１３０ 車両情報取得部
１４０ ナビゲーション部
１５０ 物体情報取得部
１６０ ドライバー情報取得部