(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-20
(45)【発行日】2022-05-30
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
B60R 1/26 20220101AFI20220523BHJP
B60R 11/02 20060101ALI20220523BHJP
B60R 1/04 20060101ALI20220523BHJP
H04N 7/18 20060101ALI20220523BHJP
G06T 1/00 20060101ALI20220523BHJP
B60R 1/20 20220101ALI20220523BHJP
B60R 1/06 20060101ALI20220523BHJP
【ＦＩ】
B60R1/26 200
B60R11/02 C
B60R1/04 G
H04N7/18 J
G06T1/00 330Z
B60R1/20 100
B60R1/26 100
B60R1/06 G
【請求項の数】
2
(21)【出願番号】P 2018094220
(22)【出願日】2018-05-16
(65)【公開番号】P2019199151
(43)【公開日】2019-11-21
【審査請求日】2021-01-08
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(72)【発明者】
【氏名】山本 耕太
(72)【発明者】
【氏名】本田 圭助
【審査官】菅 和幸
(56)【参考文献】
【文献】特開２００７－２３５５２８（ＪＰ，Ａ）
【文献】特開２００４－０４８６２１（ＪＰ，Ａ）
【文献】特開２０１０－２８７１６３（ＪＰ，Ａ）
【文献】国際公開第２０１４／１９８８０３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｒ １／０６
Ｂ６０Ｒ １１／０２
Ｂ６０Ｒ １／００
Ｂ６０Ｒ １／０４
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
車両の後部に設けられ、前記車両の後方を撮影するリアカメラのリアカメラ撮影画像、および、前記車両の側面部に設けられ、前記車両のサイドドアが閉状態のときは、その撮影範囲に前記車両の車体による死角が含まれ、かつ、その撮影範囲が前記リアカメラの撮影範囲の一部と重複した状態で前記車両の後方に向かう成分を含む方向を撮影する一方、前記サイドドアが開状態のときは、前記サイドドアの開度に応じて、撮影方向が変わるか、または、前記サイドドアにより撮影範囲の少なくとも一部が遮蔽されるサイドカメラのサイドカメラ撮影画像を取得する撮影画像取得部と、前記サイドドアの開状態／閉状態を検出すると共に、前記サイドドアが開状態のときは前記開度を検出するサイドドア状態検出部と、
前記サイドドア状態検出部により前記サイドドアの閉状態が検出されているときは、前記サイドカメラの前記死角が前記リアカメラの撮影結果に基づいて補われるように、前記撮影画像取得部により取得された前記リアカメラ撮影画像に基づく画像と、前記撮影画像取得部により取得された前記サイドカメラ撮影画像に基づく画像とを一定の態様で合成することによって、前記車体により遮蔽されていない領域にはユーザーが車両のサイドミラーを視認したときに確認できる風景と同等の風景が前記サイドカメラの撮影結果に基づいて記録され、かつ、前記車体により遮蔽された領域にはサイドミラーを視認したときには前記車体により遮蔽されて確認できない部分の風景が前記リアカメラの撮影結果に基づいて記録された表示画像を生成する一方、
前記サイドドア状態検出部により前記サイドドアの開状態が検出されているときにおいて、前記サイドドアの開度に応じて前記サイドカメラの撮影方向が変わる場合には、前記サイドドアが閉状態のときの前記サイドカメラの撮影範囲と、前記サイドドア状態検出部により検出された前記開度で開く前記サイドカメラの撮影範囲とで重複する範囲のうち、前記サイドカメラの死角であった部分を除いた範囲である第１範囲に対応する領域が、前記サイドカメラ撮影画像に基づく画像によって形成され、かつ、前記サイドドアが閉状態のときの前記サイドカメラの撮影範囲から前記第１範囲を除いた範囲である第２範囲のうち、前記サイドカメラの死角であった部分を含み、前記リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、前記リアカメラ撮影画像に基づく画像によって形成されることによって、前記サイドドアが閉状態のときの前記表示画像における前記車体により遮蔽されていない領域において、前記サイドカメラの撮影結果を利用できる範囲については前記サイドカメラの撮影結果が利用される一方、前記サイドカメラの撮影結果を利用できない範囲についてのみ前記リアカメラの撮影結果が利用された前記表示画像を生成し、
前記サイドドアの開度に応じて撮影範囲の少なくとも一部が前記サイドドアにより遮蔽される場合には、前記サイドカメラの撮影範囲のうち、前記サイドドアで遮蔽されない部分に対応する領域が、前記サイドカメラ撮影画像に基づく画像によって形成され、かつ、前記サイドドアで遮蔽される部分であって、前記リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、前記リアカメラ撮影画像に基づく画像によって形成されることによって、前記サイドドアが閉状態のときの前記表示画像における前記車体により遮蔽されていない領域において、前記サイドカメラの撮影結果を利用できる範囲については前記サイドカメラの撮影結果が利用される一方、前記サイドカメラの撮影結果を利用できない範囲についてのみ前記リアカメラの撮影結果が利用された前記表示画像を生成する画像処理部と、
前記画像処理部により生成された前記表示画像に基づく画面を表示装置に表示する表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項2】
サイドドアの開状態／閉状態を検出すると共に、前記サイドドアが開状態のときは開度を検出するサイドドア状態検出部を有する画像処理装置による画像処理方法であって、前記画像処理装置の撮影画像取得部が、車両の後部に設けられ、前記車両の後方を撮影するリアカメラのリアカメラ撮影画像、および、前記車両の側面部に設けられ、前記車両のサイドドアが閉状態のときは、その撮影範囲に前記車両の車体による死角が含まれ、かつ、その撮影範囲が前記リアカメラの撮影範囲の一部と重複した状態で前記車両の後方に向かう成分を含む方向を撮影する一方、前記サイドドアが開状態のときは、前記サイドドアの開度に応じて、撮影方向が変わるか、または、前記サイドドアにより撮影範囲の少なくとも一部が遮蔽されるサイドカメラのサイドカメラ撮影画像を取得する第１ステップと、
前記画像処理装置の画像処理部が、前記サイドドア状態検出部により前記サイドドアの閉状態が検出されているときは、前記サイドカメラの前記死角が前記リアカメラの撮影結果に基づいて補われるように、前記撮影画像取得部により取得された前記リアカメラ撮影画像に基づく画像と、前記撮影画像取得部により取得された前記サイドカメラ撮影画像に基づく画像とを一定の態様で合成することによって、前記車体により遮蔽されていない領域にはユーザーが車両のサイドミラーを視認したときに確認できる風景と同等の風景が前記サイドカメラの撮影結果に基づいて記録され、かつ、前記車体により遮蔽された領域にはサイドミラーを視認したときには前記車体により遮蔽されて確認できない部分の風景が前記リアカメラの撮影結果に基づいて記録された表示画像を生成する一方、
前記サイドドア状態検出部により前記サイドドアの開状態が検出されているときにおいて、前記サイドドアの開度に応じて前記サイドカメラの撮影方向が変わる場合には、前記サイドドアが閉状態のときの前記サイドカメラの撮影範囲と、前記サイドドア状態検出部により検出された前記開度で開く前記サイドカメラの撮影範囲とで重複する範囲のうち、前記サイドカメラの死角であった部分を除いた範囲である第１範囲に対応する領域が、前記サイドカメラ撮影画像に基づく画像によって形成され、かつ、前記サイドドアが閉状態のときの前記サイドカメラの撮影範囲から前記第１範囲を除いた範囲である第２範囲のうち、前記サイドカメラの死角であった部分を含み、前記リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、前記リアカメラ撮影画像に基づく画像によって形成されることによって、前記サイドドアが閉状態のときの前記表示画像における前記車体により遮蔽されていない領域において、前記サイドカメラの撮影結果を利用できる範囲については前記サイドカメラの撮影結果が利用される一方、前記サイドカメラの撮影結果を利用できない範囲についてのみ前記リアカメラの撮影結果が利用された前記表示画像を生成し、
前記サイドドアの開度に応じて撮影範囲の少なくとも一部が前記サイドドアにより遮蔽される場合には、前記サイドカメラの撮影範囲のうち、前記サイドドアで遮蔽されない部分に対応する領域が、前記サイドカメラ撮影画像に基づく画像によって形成され、かつ、前記サイドドアで遮蔽される部分であって、前記リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、前記リアカメラ撮影画像に基づく画像によって形成されることによって、前記サイドドアが閉状態のときの前記表示画像における前記車体により遮蔽されていない領域において、前記サイドカメラの撮影結果を利用できる範囲については前記サイドカメラの撮影結果が利用される一方、前記サイドカメラの撮影結果を利用できない範囲についてのみ前記リアカメラの撮影結果が利用された前記表示画像を生成する第２ステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記表示画像に基づく画面を表示装置に表示する第３ステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理方法に関し、特に、サイドカメラの撮影画像に基づく画像と、リアカメラの撮影画像に基づく画像とを合成して表示する画像処理装置および当該画像処理装置による画像処理方法に用いて好適なものである。
【背景技術】
【0002】
従来、車両の側面部（特にサイドミラーの近辺）にサイドカメラを設け、車両の後方に向かう成分を含む方向を撮影方向としてサイドカメラにより撮影を実行し、撮影画像に基づく画像を表示装置（例えば、ダッシュボードや、バックミラー、サイドミラー等に設けられた液晶表示パネル）に表示するようにしたシステムが知られている。このシステムによれば、運転手を含むユーザーは、表示装置に表示された画像を視認することによって、サイドミラーに映る風景に相当する風景を明確に確認することができ、ユーザーの利便性を向上することができる。
【0003】
また、従来、上述したサイドカメラの撮影画像に基づく画像を表示するシステムについて、車両の後方を撮影するリアカメラの撮影画像を取得可能に構成し、サイドカメラの死角がリアカメラの撮影結果で補われるように、サイドカメラおよびリアカメラの撮影画像に基づく画像を合成して表示するシステムが提案されている。サイドカメラの死角とは、サイドカメラの撮影範囲のうち、車両の車体に遮蔽されて風景が撮影されない部分である。このシステムによれば、ユーザーは、表示装置に表示された画像を視認することによって、サイドカメラの死角となる部分の風景についても確認することができ、ユーザーの利便性をより効果的に向上することができる。
【0004】
なお、特許文献１には、フロントカメラ、リアカメラ、および、左右のサイドミラー（ドアミラー）に設けられた左右のサイドカメラを備え、これらカメラの撮影結果に基づいて車両周辺画像を生成し表示するシステムに関し、以下の技術が記載されている。すなわち、サイドドアが開いたときに、サイドドアの開度に応じてサイドミラーを回転させ、サイドドアの状態にかかわらず、サイドカメラが撮影する方向（車両に対する相対的な方向）を一定にする。その上で、サイドドアが開いたことによるサイドカメラの位置の変化に伴う位置ずれを補正する画像処理をサイドカメラの撮影画像に対して施し、画像処理を施した後の撮影画像に基づいて車両周辺画像を生成する技術が特許文献１には記載されている。この特許文献１の技術によれば、ドアの開閉に起因して不自然な車両周辺画像が生成されることを防止できる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１７－００７４７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したシステムのように、サイドカメラの撮影画像に基づく画像と、リアカメラの撮影画像に基づく画像とを合成して表示するシステムでは、多くの場合、サイドカメラはサイドドアに取り付けられるか、または、車両の側面部であって、サイドドアの回動軸の前方に取り付けられる。一方で、サイドカメラの撮影画像に基づく画像と、リアカメラの撮影画像に基づく画像とを合成して表示するシステムでは、サイドドアが開状態となった場合であっても、表示される風景の範囲（車両を中心とする相対的な範囲）を同程度の範囲とし、できるだけ表示される風景の欠損を防止することが求められる。サイドドアの状態にかかわらずユーザーが継続して車両の後方の一定の範囲の状況を的確に確認することができるようにするためである。
【0007】
しかしながら、このシステムにおいて、サイドカメラがサイドドアに取り付けられている場合、サイドドアの状態が閉状態から開状態に変化すると、サイドカメラの撮影方向が変化してしまい、サイドドアが閉状態のときと開状態のときとで表示装置に表示される風景の範囲が変わってしまうという問題がある。また、このようなシステムにおいて、サイドカメラがサイドドアの回動軸の前方に取り付けられている場合、サイドドアの状態が閉状態から開状態に変化すると、サイドカメラの撮影範囲がサイドドアによって遮蔽されてしまい、表示装置に表示される風景が欠損してしまうという問題がある。
【0008】
サイドドアが閉状態のときと開状態のときとで表示装置に表示される風景の範囲が変わってしまうという課題については、特許文献１に記載された技術を応用し、サイドドアの開度に応じて、サイドカメラが搭載されたサイドミラーを回転させるようにすることによって解決することが可能である。しかしながら、この場合、サイドドアの開度に応じて俊敏にサイドミラーを回転させる物理的な構造を限られたスペースに設ける必要があるため、製造コストの増大を招いてしまう。
【0009】
本発明は、このような問題を解決するために成されたものであり、サイドカメラの撮影画像とリアカメラの撮影画像とを合成して表示する画像処理装置について、製造コストの増大を抑制した上で、サイドドアが開状態となった場合であっても、サイドドアが閉状態のときに表示されていた範囲と同程度の範囲の風景を、できるだけ欠損することなく表示できるようにすることを目的とする。
【課題を解決するための手段】
【0010】
上記した課題を解決するために、本発明の画像処理装置は、車両の後部に設けられ、車両の後方を撮影するリアカメラのリアカメラ撮影画像、および、車両の側面部に設けられ、車両のサイドドアが閉状態のときは、その撮影範囲がリアカメラの撮影範囲の一部と重複した状態で車両の後方に向かう成分を含む方向を撮影する一方、サイドドアが開状態のときは、サイドドアの開度に応じて、撮影方向が変わるか、または、サイドドアにより撮影範囲の少なくとも一部が遮蔽されるサイドカメラのサイドカメラ撮影画像を取得する。また、画像処理装置は、サイドドアの開状態／閉状態を検出すると共に、サイドドアが開状態のときは開度を検出する。そして、画像処理装置は、サイドドアが閉状態のときは、サイドカメラの死角がリアカメラの撮影結果で補われるように、取得したリアカメラ撮影画像に基づく画像と、取得したサイドカメラ撮影画像に基づく画像とを一定の態様で合成することによって、車体により遮蔽されていない領域にはユーザーが車両のサイドミラーを視認したときに確認できる風景と同等の風景がサイドカメラの撮影結果に基づいて記録され、かつ、車体により遮蔽された領域にはサイドミラーを視認したときには車体により遮蔽されて確認できない部分の風景がリアカメラの撮影結果に基づいて記録された表示画像を生成する。一方、画像処理装置は、サイドドアが開状態のときにおいてサイドドアの開度に応じてサイドカメラの撮影方向が変わる場合には、サイドドアが閉状態のときのサイドカメラの撮影範囲と、サイドドア状態検出部により検出された開度で開くサイドカメラの撮影範囲とで重複する範囲のうち、サイドカメラの死角であった部分を除いた範囲である第１範囲に対応する領域が、サイドカメラ撮影画像に基づく画像によって形成され、かつ、サイドドアが閉状態のときのサイドカメラの撮影範囲から第１範囲を除いた範囲である第２範囲のうち、サイドカメラの死角であった部分を含み、リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、リアカメラ撮影画像に基づく画像によって形成されることによって、サイドドアが閉状態のときの表示画像における車体により遮蔽されていない領域において、サイドカメラの撮影結果を利用できる範囲についてはサイドカメラの撮影結果が利用される一方、サイドカメラの撮影結果を利用できない範囲についてのみリアカメラの撮影結果が利用された表示画像を生成し、サイドドアの開度に応じて撮影範囲の少なくとも一部がサイドドアにより遮蔽される場合には、サイドカメラの撮影範囲のうち、サイドドアで遮蔽されない部分に対応する領域が、サイドカメラ撮影画像に基づく画像によって形成され、かつ、サイドドアで遮蔽される部分であって、リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、リアカメラ撮影画像に基づく画像によって形成されることによって、サイドドアが閉状態のときの表示画像における車体により遮蔽されていない領域において、サイドカメラの撮影結果を利用できる範囲についてはサイドカメラの撮影結果が利用される一方、サイドカメラの撮影結果を利用できない範囲についてのみリアカメラの撮影結果が利用された表示画像を生成する。その上で、画像処理装置は、生成した表示画像に基づく画面を表示装置に表示する。
【発明の効果】
【0011】
上記のように構成した本発明によれば、サイドカメラがサイドドアに設けられている場合において、サイドドアが開状態の場合は、サイドドアが閉状態のときの撮影範囲のうち、撮影方向の変更に伴って撮影されなくなる部分の少なくとも一部が、リアカメラの撮影結果に基づいて補われた状態で画像が表示されるため、サイドドアが開状態となったときも、サイドドアが閉状態のときに表示装置に表示されていた範囲と同程度の範囲の風景を表示することができる。また、本発明によれば、サイドカメラがサイドドアの回動軸の前方に設けられている場合において、サイドドアが開状態の場合は、サイドドアが閉状態のときの撮影範囲のうち、サイドドアによって遮蔽される部分の少なくとも一部が、リアカメラの撮影結果に基づいて補われた状態で画像が表示されるため、サイドドアが開状態となったときも、サイドドアが閉状態のときに表示装置に表示されていた風景をできるだけ欠損することなく表示できる。また、本発明によれば、サイドドアの開度に応じて俊敏にサイドミラーを回転させる物理的な構造は必要ないため、製造コストの増大を抑制できる。
【図面の簡単な説明】
【0012】
【図1】本発明の第１実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図2】リアカメラおよび右サイドカメラの設置位置および撮影範囲を説明するための図である。
【図3】右サイドカメラ撮影画像、リアカメラ撮影画像および表示画像の一例を示す図である。
【図4】重複残存関係および乖離関係を示す図である。
【図5】表示画像において、補完画像および残存重複画像が記録される領域を示す図である。
【図6】本発明の一実施形態に係る画像処理装置の動作例を示すフローチャートである。
【図7】右サイドカメラの設置位置および撮影範囲を説明するための図である。
【図8】右サイドドアによって右サイドカメラの撮影範囲が遮蔽される様子を示す図である。
【図9】本発明の第２実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図10】本発明の第２実施形態に係る画像処理装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0013】
＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、運転手を含むユーザーが車両の右サイドミラーＭＲまたは左サイドミラーＭＬを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示装置２に表示する装置である。
以下、本発明の第１実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、運転手を含むユーザーが車両の右サイドミラーＭＲまたは左サイドミラーＭＬを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示装置２に表示する装置である。
【0014】
図１に示すように、画像処理装置１には、表示装置２、リアカメラ３、右サイドカメラ４、左サイドカメラ５、右サイドドア開度センサー６および左サイドドア開度センサー７が接続されている。
【0015】
表示装置２は、ダッシュボードの中央部や、センターコンソール等の運転手が画面を視認可能な位置に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。
【0016】
リアカメラ３は、車両の後部に設けられ、車両の後方を撮影する撮影装置である。右サイドカメラ４は、車両の右サイドドアＤＲの右サイドミラーＭＲに設けられた撮影装置である。左サイドカメラ５は、車両の左サイドドアＤＬの右サイドミラーＭＬに設けられた撮影装置である。
【0017】
図２は、リアカメラ３および右サイドカメラ４の設置位置および撮影範囲を説明するための図である。図２では、車両の前部座席の右サイドドアＤＲは閉状態である。右サイドドアＤＲが閉状態とは、右サイドドアＤＲが完全に閉まっている状態を意味し、右サイドドアＤＲが開状態とは、閉状態以外の状態を意味する。車両において、右サイドミラーＭＲは、右サイドドアＤＲに取り付けられており、右サイドミラーＭＲは、右サイドドアＤＲの回動に連動して移動する。左サイドドアＤＬに設けられた左サイドミラーＭＬについても同様である。
【0018】
以下の説明では、右サイドカメラ４と左サイドカメラ５とを区別しない場合は「サイドカメラ４，５」と表現し、右サイドミラーＭＲと左サイドミラーＭＬとを区別しない場合は「サイドミラーＭＲ，ＭＬ」と表現し、右サイドドアＤＲと左サイドドアＤＬとを区別しない場合は「サイドドアＤＲ，ＤＬ」と表現する。
【0019】
図２に示すように、リアカメラ３は、車両の後端において、車両の幅方向の中央に設けられており、車両の後方に向かう方向を撮影方向（光軸の方向）として撮影を実行する。図２において、ＨＢは、リアカメラ３の撮影範囲を示している。以下、リアカメラの撮影範囲を「リアカメラ撮影範囲ＨＢ」という。リアカメラ３は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ３は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ３が生成し、出力する撮影画像を「リアカメラ撮影画像」という。
【0020】
図２に示すように、右サイドカメラ４は、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向（光軸の方向）として撮影を実行する。図２において、ＨＲは、右サイドドアＤＲが閉状態のときの右サイドカメラ４の撮影範囲を示している。右サイドカメラ４は、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲ＨＢの水平画角よりも小さい。以下、右サイドドアＤＲが閉状態のときの右サイドカメラ４の撮影範囲を「閉状態時撮影範囲ＨＲ」という。
【0021】
図２に示すように、右サイドドアＤＲが閉状態の場合、右サイドカメラ４の撮影範囲に、車両の車体に遮蔽された死角範囲ＤＨが形成される。このため、閉状態時撮影範囲ＨＲのうち、死角範囲ＤＨについては風景が撮影されない。また、図２に示すように、車両の右サイドドアＤＲが閉状態のときは、右サイドカメラ４の閉状態時撮影範囲ＨＲには、リアカメラ３のリアカメラ撮影範囲ＨＢと重複する範囲が形成される。
【0022】
右サイドカメラ４は、右サイドドアＤＲが開状態のときは、右サイドドアＤＲの開度に応じて、車両の前後方向に対する相対的な撮影方向が変化する（この点については、後に図４を用いて詳述する）。右サイドカメラ４は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ４が生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。
【0023】
左サイドカメラ５は、右サイドカメラ４と同一の性能の撮影装置であり、左サイドドアＤＬに取り付けられた左サイドミラーＭＬに、右サイドカメラ４と同様の態様で設置されている。左サイドカメラ５は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ５が生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。
【0024】
右サイドドア開度センサー６は、右サイドドアＤＲの開度を所定の周期で検出し、右サイドドアＤＲの開度に応じた検出値を出力する。本実施形態では、右サイドドアＤＲが閉状態のときの開度は「０°」であり、開状態のときの開度は「０°」を上回り、所定の最大値以下の範囲で変移する。左サイドドア開度センサー７は、左サイドドアＤＬの開度を所定の周期で検出し、左サイドドアＤＬの開度に応じた検出値を出力する。
【0025】
図１に示すように、画像処理装置１は、機能構成として、撮影画像取得部１０、サイドドア状態検出部１１、画像処理部１２および表示制御部１３を備えている。上記各機能ブロック１０～１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。また、図１に示すように、画像処理装置１は、記憶手段として、ルックアップテーブル記憶部１４を備えている。ルックアップテーブル記憶部１４は、後述するように、各種ルックアップテーブルを記憶する。
【0026】
撮影画像取得部１０は、リアカメラ３からリアカメラ撮影画像を所定の周期で入力し、取得する。また、撮影画像取得部１０は、右サイドカメラ４から右サイドカメラ画像を所定の周期で入力し、取得する。また、撮影画像取得部１０は、左サイドカメラ５から左サイドカメラ画像を所定の周期で入力し、取得する。
【0027】
サイドドア状態検出部１１は、右サイドドアＤＲの開状態／閉状態を検出すると共に、右サイドドアＤＲが開状態のときは、右サイドドアＤＲの開度を検出する。また、サイドドア状態検出部１１は、左サイドドアＤＬの開状態／閉状態を検出すると共に、左サイドドアＤＬが開状態のときは、左サイドドアＤＬの開度を検出する。右サイドドアＤＲに関するサイドドア状態検出部１１の処理について詳述すると、サイドドア状態検出部１１は、右サイドドア開度センサー６から検出値を所定の周期で入力し、取得する。サイドドア状態検出部１１は、取得した検出値が「０°」を示す値の場合は、右サイドドアＤＲが閉状態であることを検出する。サイドドア状態検出部１１は、取得した検出値が「０°」以外を示す値の場合は、右サイドドアＤＲが開状態であることを検出すると共に、検出値に基づいて、右サイドドアＤＲの開度を検出する。
【0028】
画像処理部１２は、サイドドア状態検出部１１によりサイドドアＤＲ，ＤＬの閉状態が検出されているときは、サイドカメラ４，５の死角がリアカメラ３の撮影結果に基づいて補われるように、撮影画像取得部１０により取得されたリアカメラ撮影画像に基づく画像と、撮影画像取得部１０により取得されたサイドカメラ撮影画像に基づく画像とを一定の態様で合成して表示画像を生成する。一方で、画像処理部１２は、サイドドア状態検出部１１によりサイドドアＤＲ，ＤＬの開状態が検出されているときは、サイドドアＤＲ，ＤＬが閉状態のときのサイドカメラ４，５の撮影範囲のうち、撮影方向の変更によって撮影されなくなる部分の少なくとも一部がリアカメラ３の撮影結果に基づいて補われるように、リアカメラ撮影画像に基づく画像とサイドカメラ撮影画像に基づく画像とをサイドドア状態検出部１１により検出された開度に応じた態様で合成して表示画像を生成する。
【0029】
以下、画像処理部１２の処理について、右サイドカメラ４の右サイドカメラ撮影画像、および、リアカメラ３のリアカメラ撮影画像に基づいて、右側表示画像（表示画像）を生成する場合を例にして詳述する。なお、ユーザーは、図示しない操作部を操作して、表示装置２に表示する画面として、右サイドミラーＭＲに対応する画面と、左サイドミラーＭＬに対応する画面との何れかを選択することが可能である。画像処理部１２は、右サイドミラーＭＲに対応する画面が選択された場合は、以下で説明する右側表示画像を生成し、左サイドミラーＭＬに対応する画面が選択された場合は、左サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて、左側表示画面を生成する。
【0030】
画像処理部１２は、撮影画像取得部１０からリアカメラ撮影画像および右サイドカメラ撮影画像を所定の周期で入力し、入力した撮影画像に基づいて表示画像生成処理を実行する。表示画像生成処理とは、表示画像（本例の場合は、右表示画像）を生成する処理である。画像処理部１２は、所定の周期で表示画像生成処理を実行して右側表示画像を生成し、表示制御部１３に出力する。画像処理部１２が実行する表示画像生成処理は、右サイドドアＤＲが閉状態の場合と開状態の場合とで異なるため、以下では、各場合において画像処理部１２が実行する表示画像生成処理について順番に説明する。
【0031】
＜右サイドドアＤＲが閉状態の場合＞
まず、右サイドドアＤＲが閉状態の場合に画像処理部１２が実行する表示画像生成処理について説明する。この場合のリアカメラ３のリアカメラ撮影範囲ＨＢと右サイドカメラ４の閉状態時撮影範囲ＨＲとの関係は図２を用いて説明した通りである。
まず、右サイドドアＤＲが閉状態の場合に画像処理部１２が実行する表示画像生成処理について説明する。この場合のリアカメラ３のリアカメラ撮影範囲ＨＢと右サイドカメラ４の閉状態時撮影範囲ＨＲとの関係は図２を用いて説明した通りである。
【0032】
図３（Ａ）は、右サイドドアＤＲが閉状態のときに右サイドカメラ４が生成する右サイドカメラ撮影画像の一例を示す図である。図３（Ｂ）は、図３（Ａ）の右サイドカメラ撮影画像が生成された環境と同じ環境でリアカメラ３が生成するリアカメラ撮影画像の一例を示す図である。図３（Ａ）に示すように、右サイドカメラ撮影画像の左端部には、車体の画像が記録された死角領域ＤＡＲが形成されている。死角領域ＤＡＲは、右サイドカメラ４の閉状態時撮影範囲ＨＲのうち、死角範囲ＤＨ（図２参照）に対応する領域である。右サイドカメラ４は、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域ＤＡＲの態様（位置、形状）は一定である。また、図３（Ａ）の例では、死角領域ＤＡＲ以外の領域には、地面に形成された白線の画像と、水平線を示す画像が記録されている。図３（Ｂ）に示すように、リアカメラ撮影画像にも右サイドカメラ撮影画像と同様に、白線を示す画像および水平線を示す画像が記録されている。
【0033】
さて、画像処理部１２は、サイドドア状態検出部１１により右サイドドアＤＲが閉状態であることが検出されている場合、以下の処理を実行する。すなわち、画像処理部１２は、ルックアップテーブル記憶部１４に記憶されたリア用右側基準ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像、補完画像に変換する。
【0034】
リア用右側基準ルックアップテーブルとは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、「右サイドドアＤＲが閉状態のときの右サイドカメラ４」のことであり、所定の撮影画像を、右サイドドアＤＲが閉状態のときの右サイドカメラ４の視点に視点変換する際に概念的に用いられる。右側仮想カメラの撮影範囲は、閉状態時撮影範囲ＨＲと一致する。
【0035】
リア用右側基準ルックアップテーブルは、右サイドカメラ撮影画像の死角領域ＤＡＲを構成する全てのドットのドット位置が定義されたドット位置定義情報と、右サイドカメラ撮影画像の各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報とを有する。従って、リア用右側基準ルックアップテーブルにより、右サイドカメラ撮影画像の死角領域ＤＡＲを構成する全てのドットのドット位置を認識可能であると共に、死角領域ＤＡＲを構成する全てのドットについて、リアカメラ撮影画像を構成するドットのうち、どのドットが対応しているのかを認識することが可能である。なお、上述したように、右サイドカメラ撮影画像の全領域における死角領域ＤＡＲの態様（位置、形状）は一定であるため、右サイドカメラ撮影画像の死角領域ＤＡＲを構成する全てのドットのドット位置は事前に特定されている。
【0036】
リア用右側基準ルックアップテーブルの対応関係情報は、リアカメラ３の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系における右側仮想カメラおよびリアカメラ３の配置位置および配置角度、リアカメラ３の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、右側仮想カメラの仕様、視点変換に用いる投影面の態様、その他の要素を反映して事前に適切に設定されている。画像処理部１２は、リア用右側基準ルックアップテーブルを用いて、右サイドカメラ撮影画像の死角領域ＤＡＲを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。
【0037】
画像処理部１２は、生成した補完画像を、右サイドカメラ撮影画像の死角領域ＤＡＲに合成（重畳）することにより、右側表示画像を生成する。図３（Ｃ）は、図３（Ａ）の右サイドカメラ撮影画像と、図３（Ｂ）のリアカメラ撮影画像とに基づいて生成される右側表示画像を示す図である。図３（Ｃ）では、右サイドカメラ撮影画像と補完画像との境界に破線を引いている。図３（Ａ）と図３（Ｃ）との比較で明らかな通り、右側表示画像では、右側仮想カメラにより車体を透過して仮想的に撮影される死角範囲ＤＨの風景の画像が、死角領域ＤＡＲに記録された状態となる。
【0038】
＜右サイドドアＤＲが開状態の場合＞
次に、右サイドドアＤＲが開状態の場合に、画像処理部１２が実行する表示画像生成処理について説明する。右サイドドアＤＲが開状態の場合、現時点の右サイドカメラ４の撮影範囲と、閉状態時撮影範囲ＨＲ（右サイドドアＤＲが閉状態のときの右サイドカメラ４の撮影範囲）とは、以下の２つの関係の何れかとなる。以下、右サイドドアＤＲが開状態の場合の現時点の右サイドカメラ４の撮影範囲を「開状態時撮影範囲ＨＱ」と表現し、閉状態時撮影範囲ＨＲと区別する。開状態時撮影範囲ＨＱは、右サイドドアＤＲの開度に応じて態様（車両に対する相対的な態様）が変化する。
次に、右サイドドアＤＲが開状態の場合に、画像処理部１２が実行する表示画像生成処理について説明する。右サイドドアＤＲが開状態の場合、現時点の右サイドカメラ４の撮影範囲と、閉状態時撮影範囲ＨＲ（右サイドドアＤＲが閉状態のときの右サイドカメラ４の撮影範囲）とは、以下の２つの関係の何れかとなる。以下、右サイドドアＤＲが開状態の場合の現時点の右サイドカメラ４の撮影範囲を「開状態時撮影範囲ＨＱ」と表現し、閉状態時撮影範囲ＨＲと区別する。開状態時撮影範囲ＨＱは、右サイドドアＤＲの開度に応じて態様（車両に対する相対的な態様）が変化する。
【0039】
１つ目の関係は、閉状態時撮影範囲ＨＲに、開状態時撮影範囲ＨＱと重複した部分が含まれている重複残存関係である。図４（Ａ）は、重複残存関係のときの閉状態時撮影範囲ＨＲおよび開状態時撮影範囲ＨＱの状態の一例を示している。図４（Ａ）に示すように、重複残存関係の場合、閉状態時撮影範囲ＨＲには、開状態時撮影範囲ＨＱと重複した残存重複範囲ＨＰが形成される。右サイドドアＤＲの開度が一定の角度以内の場合、閉状態時撮影範囲ＨＲと開状態時撮影範囲ＨＱとの関係が重複残存関係となる。残存重複範囲ＨＰ（ただし、残存重複範囲ＨＰに死角範囲ＤＨが含まれる場合は、死角範囲ＨＤを除く範囲）が、特許請求の範囲の「第１範囲」に相当する。
【0040】
２つ目の関係は、閉状態時撮影範囲ＨＲに、開状態時撮影範囲ＨＱと重複した部分がない乖離関係である。図４（Ｂ）は、乖離関係のときの閉状態時撮影範囲ＨＲおよび開状態時撮影範囲ＨＱの状態の一例を示している。図４（Ｂ）に示すように、乖離状態の場合、閉状態時撮影範囲ＨＲには、開状態時撮影範囲ＨＱと重複した部分は形成されない。右サイドドアＤＲの開度が一定の角度を超えると、閉状態時撮影範囲ＨＲと開状態時撮影範囲ＨＱとの関係が乖離関係となる。
【0041】
画像処理部１２は、サイドドア状態検出部１１により右サイドドアＤＲが開状態であることが検出されている場合、表示画像生成処理として、以下の処理を実行する。すなわち、画像処理部１２は、サイドドア状態検出部１１により検出された右サイドドアＤＲの開度に基づいて、リア用右側加工ルックアップテーブルを生成し、ルックアップテーブル記憶部１４に記憶する。
【0042】
リア用右側加工ルックアップテーブルとは、リアカメラ撮影画像を、「閉状態時撮影範囲ＨＲのうち、残存重複範囲ＨＰ（ただし、死角範囲ＤＨを除く）を除いた部分であって、リアカメラ撮影範囲ＨＢに含まれる部分を、右側仮想カメラで仮想的に撮影したときの撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。なお、閉状態時撮影範囲ＨＲから、「残存重複範囲ＨＰ（ただし、死角範囲ＤＨを除く）」を除いた部分は、特許請求の範囲の「第２範囲」に相当する。
【0043】
以下、「閉状態時撮影範囲ＨＲのうち、残存重複範囲ＨＰ（ただし、死角範囲ＤＨを除く）を除いた部分であって、リアカメラ撮影範囲ＨＢに含まれる部分」を「補完可能範囲ＨＨ」とする。補完可能範囲ＨＨには、死角範囲ＤＨが含まれる。図４（Ａ）の例では、閉状態時撮影範囲ＨＲのうち、残存重複範囲ＨＰを除く全ての範囲が、リアカメラ撮影範囲ＨＢに含まれるため、残存重複範囲ＨＰを除く全ての範囲が、補完可能範囲ＨＨに相当する。また、図４（Ｂ）の例では、残存重複範囲ＨＰが存在しないため、閉状態時撮影範囲ＨＲのうち、リアカメラ撮影範囲ＨＢに含まれる部分が補完可能範囲ＨＨに相当する。
【0044】
画像処理部１２は、以下のドット位置定義情報、および、以下の対応関係情報を有するリア用右側加工ルックアップテーブルを生成する。ドット位置定義情報は、「右側仮想カメラの仮想的な撮影画像の全領域のうち、補完可能範囲ＨＨに対応する領域を構成する全てのドットのドット位置」が定義された情報である。また、対応関係情報は、仮想撮影画像の各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた情報を有する。以下の説明では、右側仮想カメラの仮想的な撮影画像を「仮想撮影画像」という。
【0045】
ここで、右サイドドアＤＲの開度によって、補完可能範囲ＨＨの態様は一意に定まる。従って、右サイドドアＤＲの開度によって、仮想撮影画像における補完可能範囲ＨＨに対応する領域の態様（位置、形状）は一意に定まる。つまり、右サイドドアＤＲの角度と、仮想撮影画像における補完可能範囲ＨＨに対応する領域の態様とには、開度を変数として利用した計算式で表現可能な関係性がある。これを踏まえ、画像処理部１２は、右サイドドアＤＲの開度をパラメーターの１つとして利用する所定のアルゴリズムを用いて、仮想撮影画像において補完可能範囲ＨＨに対応する領域を構成する全てのドットのドット位置が定義されたドット位置定義情報を生成する。
【0046】
また、画像処理部１２は、リア用右側加工ルックアップテーブルの対応関係情報として、リア用右側基準ルックアップテーブルの対応関係情報の内容と同一の情報を生成する。
【0047】
なお、リア用右側加工ルックアップテーブルを生成する方法は、本実施形態で例示する方法に限られない。例えば、サイドドア状態検出部１１が検出可能な開度ごとに、適切な内容のリア用右側加工ルックアップテーブルが事前に登録され、画像処理部１２が、右サイドドアＤＲの開度に対応するリア用右側加工ルックアップテーブルを選択する構成でもよい。また、画像処理部１２が、リア用右側基準ルックアップテーブルを加工してリア用右側加工ルックアップテーブルを生成する構成でもよい。
【0048】
画像処理部１２は、リア用右側加工ルックアップテーブルを生成した後、当該テーブルを用いてリアカメラ撮影画像を補完画像に変換する。補完画像は、仮想撮影画像の補完可能範囲ＨＨに対応する領域を構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた画像である。
【0049】
更に、画像処理部１２は、サイドドア状態検出部１１により検出された右サイドドアＤＲの開度に基づいて、閉状態時撮影範囲ＨＲと開状態時撮影範囲ＨＱとの関係が重複残存関係であるか、乖離関係であるかを判定する。そして、重複残存関係の場合、画像処理部１２は、サイド用右側加工ルックアップテーブルを生成し、ルックアップテーブル記憶部１４に記憶する。一方、乖離関係の場合、画像処理部１２は、サイド用右側加工ルックアップテーブルを生成しない。
【0050】
サイド用右側加工ルックアップテーブルとは、右サイドカメラ撮影画像を、「右側仮想カメラにより残存重複範囲ＨＰを仮想的に撮影したときの撮影画像」に変換するために用いられるマッピングテーブルである。以下、サイド用右側加工ルックアップテーブルを用いて生成される画像を「残存重複画像」という。
【0051】
サイド用右側加工ルックアップテーブルは、仮想撮影画像（右側仮想カメラの仮想的な撮影画像）の領域のうち、残存重複範囲に対応する領域を構成する全てのドットのドット位置が定義されたドット位置定義情報と、仮想撮影画像の各ドットのドット位置と、サイドカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報とを有する。従って、サイド用右側加工ルックアップテーブルにより、仮想撮影画像における残存重複範囲に対応する領域を構成する全てのドットのドット位置を認識可能であると共に、当該領域を構成する全てのドットについて、右サイドカメラ撮影画像を構成するドットのうち、どのドットが対応しているのかを認識することが可能である。
【0052】
ここで、右サイドドアＤＲの開度によって、残存重複範囲ＨＰの態様は一意に定まる。従って、右サイドドアＤＲの開度によって、仮想撮影画像における残存重複範囲ＨＰに対応する領域の態様（位置、形状）は一意に定まる。これを踏まえ、画像処理部１２は、右サイドドアＤＲの開度をパラメーターの１つとして利用する所定のアルゴリズムを用いて、サイド用右側加工ルックアップテーブルのドット位置定義情報を生成する。
【0053】
また、画像処理部１２は、右サイドドアＤＲの開度をパラメーターの１つとする所定のアルゴリズムを用いて、サイド用右側加工ルックアップテーブルの対応関係情報を生成する。当該所定のアルゴリズムは、現時点の右サイドカメラ４の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系における右側仮想カメラの配置位置および配置角度、車両座標系における移動後の右サイドカメラ４の位置および角度、右サイドカメラ４の仕様、視点変換に用いる投影面の態様、その他の要素を反映して、対応関係情報を生成するためのアルゴリズムである。
【0054】
画像処理部１２は、サイド用右側加工ルックアップテーブルの生成後、当該テーブルを用いて、右サイドカメラ撮影画像を残存重複画像に変換する。残存重複画像は、右側仮想カメラの仮想撮影画像の残存重複範囲ＨＰに対応する領域を構成するドットの画素値が、右サイドカメラ撮影画像の対応するドットの画素値によって置き換えられた画像である。
【0055】
重複残存関係の場合において、補完画像および残存重複画像を生成すると、画像処理部１２は、補完可能範囲ＨＨに対応する領域に補完画像が配置され、残存重複範囲ＨＰに対応する領域に残存重複画像が配置されるように補完画像および残存重複画像を合成して、右側表示画像を生成する。図５（Ａ）は、図４（Ａ）の状態の場合に生成される右側表示画像において、補完画像が記録される領域、および、残存重複画像が記録される領域を示す図である。図５（Ａ）の右側表示画像には、理想的には、図３（Ｃ）の表示画像と同内容の風景の画像が記録される。
【0056】
一方、乖離関係の場合において、補完画像を生成すると、画像処理部１２は、補完可能範囲ＨＨに対応する領域に補完画像が位置し、それ以外の領域が塗りつぶされた右側表示画像を生成する。図５（Ｂ）は、図４（Ｂ）の状態の場合に生成される右側表示画像において、補完画像が記録される領域を示している。図５（Ｂ）の表示画像には、図３（Ｃ）の表示画像より少しだけ小さい範囲で、風景の画像が記録される。
【0057】
以上、右サイドドアＤＲが閉状態の場合、および、開状態の場合の表示画像生成処理を説明した。画像処理部１２は、以上の表示画像生成処理を所定の周期で実行し、表示画像生成処理により生成した右側表示画像を表示制御部１３に出力する。なお、詳細は省略するが、画像処理部１２は、左サイドミラーＭＬに対応する画面の表示がユーザーにより指示されている場合は、リアカメラ撮影画像および左サイドカメラ撮影画像に基づいて、上述した処理と同様の表示画像生成処理を行い、左側表示画像を生成する。
【0058】
表示制御部１３は、所定の周期で画像処理部１２から表示画像（右側表示画像または左側表示画像）を入力し、表示画像に基づく画面を表示装置２に表示する。この結果、リアカメラ３およびサイドカメラ４，５の撮影結果がリアルタイムに反映された動画として、車両のサイドミラーＭＲ，ＭＬを視認したときに確認できる風景と同等の風景が、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示装置２に表示される。
【0059】
以上のように、本実施形態に係る画像処理装置１は、サイドドアＤＲ，ＤＬが閉状態のときは、サイドカメラ４，５の死角がリアカメラ３の撮影結果で補われるように、リアカメラ撮影画像に基づく画像と、サイドカメラ撮影画像に基づく画像とを一定の態様で合成して表示画像を生成する。一方、画像処理装置１は、サイドドアＤＲ，ＤＬが開状態のときは、サイドドアＤＲ，ＤＬが閉状態のときのサイドカメラ４，５の撮影範囲のうち、撮影方向の変更によって撮影されなくなる部分（全てではなく、一部の場合もある）がリアカメラ３の撮影結果に基づいて補われた表示画像を生成する。画像処理装置１は、生成した表示画像に基づく画面を表示装置２に表示する。
【0060】
この構成によれば、サイドドアＤＲ，ＤＬが開状態の場合は、サイドドアＤＲ，ＤＬが閉状態のときのサイドカメラ４，５の撮影範囲のうち、撮影方向の変更に伴って撮影されなくなる部分が、リアカメラ３の撮影結果に基づいて補われた状態で画像が表示される。このため、サイドドアＤＲ，ＤＬが開状態となったときも、サイドドアＤＲ，ＤＬが閉状態のときに表示装置２に表示されていた範囲と同程度の範囲の風景を表示することができる。また、本実施形態によれば、サイドドアＤＲ，ＤＬの開度に応じて俊敏にサイドミラーＭＲ，ＭＬを回転させる物理的な構造は必要ないため、製造コストの増大を抑制できる。
【0061】
次に、画像処理装置１の画像処理部１２が実行する表示画像生成処理を、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて右側表示画像を生成する場合を例にしてフローチャートを用いて説明する。上述したように、画像処理装置１は、所定の周期で表示画像生成処理を実行する。
【0062】
図６に示すように、画像処理部１２は、サイドドア状態検出部１１により右サイドドアＤＲが閉状態であることが検出されているか、開状態であることが検出されているかを判定する（ステップＳＡ１）。閉状態であることが検出されている場合（ステップＳＡ１：「閉状態」）、画像処理部１２は、ルックアップテーブル記憶部１４に記憶されたリア用右側基準ルックアップテーブルを用いて、リアカメラ撮影画像を、補完画像に変換する（ステップＳＡ２）。画像処理部１２は、生成した補完画像を、右サイドカメラ撮影画像の死角領域ＤＡＲに重畳することにより、右側表示画像を生成する（ステップＳＡ３）。その後、画像処理部１２は、表示画像生成処理を終了する。
【0063】
一方、ステップＳＡ１において、サイドドア状態検出部１１により右サイドドアＤＲが開状態であることが検出されていると判定した場合（ステップＳＡ１：「閉状態」）、画像処理部１２は、以下の処理を実行する（ステップＳＡ４）。すなわち、画像処理部１２は、サイドドア状態検出部１１により検出された右サイドドアＤＲの開度に基づいて、リア用右側加工ルックアップテーブルを生成する。次いで、画像処理部１２は、ステップＳＡ４で生成したリア用右側加工ルックアップテーブルを用いてリアカメラ撮影画像を補完画像に変換する（ステップＳＡ５）。
【0064】
次いで、画像処理部１２は、サイドドア状態検出部１１により検出された右サイドドアＤＲの開度に基づいて、閉状態時撮影範囲ＨＲと開状態時撮影範囲ＨＱとの関係が重複残存関係であるか、乖離関係であるかを判定する（ステップＳＡ６）。重複残存関係の場合（ステップＳＡ６：「重複残存関係」）、画像処理部１２は、サイド用右側加工ルックアップテーブルを生成する（ステップＳＡ７）。次いで、画像処理部１２は、サイド用右側加工ルックアップテーブルを用いて、右サイドカメラ撮影画像を、残存重複画像に変換する（ステップＳＡ８）。次いで、画像処理部１２は、補完可能範囲ＨＨに対応する領域に補完画像が位置し、残存重複範囲ＨＰに対応する領域に残存重複画像が位置するように補完画像および残存重複画像を合成して、表示画像を生成する（ステップＳＡ９）。その後、画像処理部１２は、表示画像生成処理を終了する。
【0065】
一方、ステップＳＡ６において、閉状態時撮影範囲ＨＲと開状態時撮影範囲ＨＱとの関係が乖離関係であると判定した場合（ステップＳＡ６：「乖離関係」）、画像処理部１２は、補完可能範囲ＨＨに対応する領域に補完画像が位置し、それ以外の領域が塗りつぶされた表示画像を生成する（ステップＳＡ１０）。その後、画像処理部１２は、表示画像生成処理を終了する。
【0066】
＜第２実施形態＞
次に、第２実施形態について説明する。以下の第２実施形態の説明では、第１実施形態と同一の構成要素については、同一の符号を付し、その詳細な説明を省略する。
次に、第２実施形態について説明する。以下の第２実施形態の説明では、第１実施形態と同一の構成要素については、同一の符号を付し、その詳細な説明を省略する。
【0067】
上述した第１実施形態では、サイドカメラ４，５は、サイドドアＤＲ，ＤＬのサイドミラーＭＲ，ＭＬに設けられていた。一方、本実施形態では、右サイドカメラ４Ａおよび左サイドカメラ５Ａは、車両の側面部であって、サイドドアＤＲ，ＤＬの回動軸よりも前方に設けられている。
【0068】
図７は、右サイドカメラ４Ａの設置位置および撮影範囲を説明するための図である。図７では、車両の前部座席の右サイドドアＤＲは閉状態である。図７に示すように、右サイドカメラ４Ａは、車両の右サイドドアＤＲの回動軸よりも前方であって、車両の前端部に近い位置に設けられている。右サイドカメラ４Ａは、車両の後方に向かう方向に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向（光軸の方向）として撮影を実行する。
【0069】
図７に示すように、右サイドドアＤＲが閉状態の場合、右サイドカメラ４Ａの撮影範囲（以下、「右サイドカメラ撮影範囲ＭＭ」という）に、車両の車体に遮蔽された死角範囲ＭＸが形成される。このため、右サイドカメラ４Ａの撮影範囲のうち、死角範囲ＭＸについては風景が撮影されない。また、図７に示すように、車両の右サイドドアＤＲが閉状態のときは、右サイドカメラ４Ａの右サイドカメラ撮影範囲ＭＭと、リアカメラ３のリアカメラ撮影範囲ＨＢとが、死角範囲ＭＸを含む範囲で重複する。本実施形態では、右サイドカメラ４Ａは、右サイドドアＤＲに取り付けられていないため、右サイドカメラ４Ａは、右サイドドアＤＲの回動に伴って移動しない。従って、右サイドドアＤＲが開状態か閉状態かにかかわらず、右サイドカメラ４Ａの右サイドカメラ撮影範囲ＭＭ（車両に対する相対的な範囲）は一定である。
【0070】
一方、右サイドドアＤＲが開状態のときは、右サイドドアＤＲの開度に応じて、右サイドドアＤＲにより右サイドカメラ撮影範囲ＭＭの少なくとも一部が遮蔽される。図８（Ａ）、（Ｂ）はそれぞれ、右サイドドアＤＲによって右サイドカメラ撮影範囲ＭＭが遮蔽されている様子を示している。図８（Ａ）に示すように、右サイドカメラ撮影範囲ＭＭは、右サイドドアＤＲの開度が一定以内の場合、その一部が右サイドドアＤＲによって遮蔽される。一方、図８（Ｂ）に示すように、右サイドカメラ撮影範囲ＭＭは、右サイドドアＤＲの開度が一定を超えると、その全部が右サイドドアによって遮蔽される。
【0071】
左サイドカメラ５Ａは、右サイドカメラ４Ａと同一の性能の撮影装置であり、右サイドカメラ４Ａと同様の態様で車両に設置されている。
【0072】
図９は、本実施形態に係る画像処理装置１Ａの機能構成例を示すブロック図である。図９に示すように、画像処理装置１Ａは、機能構成として、第１実施形態に係る画像処理部１２に代えて画像処理部１２Ａを備えている。
【0073】
画像処理部１２Ａは、サイドドア状態検出部１１によりサイドドアＤＲ，ＤＬの閉状態が検出されているときは、サイドカメラ４，５の死角がリアカメラ３の撮影結果に基づいて補われるように、撮影画像取得部１０により取得されたリアカメラ撮影画像に基づく画像と、撮影画像取得部１０により取得されたサイドカメラ撮影画像に基づく画像とを一定の態様で合成して表示画像を生成する。一方で、画像処理部１２Ａは、サイドドア状態検出部１１によりサイドドアＤＲ，ＤＬの開状態が検出されているときは、サイドドアＤＲ，ＤＬが閉状態のときのサイドカメラ４，５の撮影範囲のうち、サイドドアＤＲ，ＤＬによって遮蔽される部分の少なくとも一部がリアカメラ３の撮影結果に基づいて補われるように、リアカメラ撮影画像に基づく画像とサイドカメラ撮影画像に基づく画像とをサイドドア状態検出部１１により検出された開度に応じた態様で合成して表示画像を生成する。
【0074】
以下、画像処理部１２Ａが実行する表示画像生成処理について、右サイドカメラ４Ａの右サイドカメラ撮影画像、および、リアカメラ３のリアカメラ撮影画像に基づいて、右側表示画像を生成する場合を例にして詳述する。画像処理部１２Ａは、撮影画像取得部１０から右サイドカメラ撮影画像およびリアカメラ撮影画像を所定の周期で入力し、以下の表示画像生成処理を実行する。
【0075】
画像処理部１２Ａは、サイドドア状態検出部１１により右サイドドアＤＲが閉状態であることが検出されている場合、第１実施形態に係る画像処理部１２と同様の処理を実行する。すなわち、画像処理部１２Ａは、ルックアップテーブル記憶部１４に記憶されたリア用右側基準ルックアップテーブルを利用して、リアカメラ撮影画像を補完画像に変換し、補完画像を右サイドカメラ撮影画像に重畳（合成）して右側表示画像を生成する。
【0076】
一方、右サイドドアＤＲが開状態の場合、右サイドカメラ撮影範囲ＭＭの一部が右サイドドアＤＲによって遮蔽された状態（以下、「第１状態」という。図８（Ａ）参照）と、右サイドカメラ撮影範囲ＭＭの全部が右サイドドアＤＲによって遮蔽された状態（以下、「第２状態」という。図８（Ｂ）参照）との何れかの状態となる。
【0077】
図８（Ａ）に示すように、第１状態の場合、右サイドカメラ撮影範囲ＭＭには、死角範囲ＭＸのほか、右サイドドアＤＲによって遮蔽された遮蔽範囲ＭＹと、右サイドドアＤＲによって遮蔽されない非遮蔽範囲ＭＺとが形成される。一方、図８（Ｂ）に示すように、第２状態の場合、右サイドカメラ撮影範囲ＭＭには、死角範囲ＭＸのほかに遮蔽範囲ＭＹが形成され、被遮蔽範囲ＭＺは形成されない。
【0078】
画像処理部１２Ａは、サイドドア状態検出部１１により右サイドドアＤＲが開状態であることが検出されている場合、以下の処理を実行する。すなわち、画像処理部１２Ａは、サイドドア状態検出部１１により検出された右サイドドアＤＲの開度に基づいて、リア用右側加工ルックアップテーブルを生成し、ルックアップテーブル記憶部１４に記憶する。
【0079】
本実施形態に係るリア用右側加工ルックアップテーブルは、リアカメラ撮影画像を、「死角範囲ＭＸおよび遮蔽範囲ＭＹ（ただし、リアカメラ撮影範囲ＨＢに含まれる範囲を限度とする）を、右側仮想カメラで仮想的に撮影したときの撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。本実施形態では、右側仮想カメラは、右サイドカメラ４Ａと同じ配置位置および配置角度で、車体を透過した状態で撮影を実行する仮想的な撮影装置である。以下では、右サイドカメラ撮影範囲ＭＭのうち、「死角範囲ＭＸおよび遮蔽範囲ＭＹ（ただし、リアカメラ撮影範囲ＨＢに含まれる範囲を限度とする）」を、「遮蔽時補完範囲ＭＡ」と表現する。
【0080】
リア用右側加工ルックアップテーブルを生成した後、画像処理部１２Ａは、当該テーブルを用いてリアカメラ撮影画像を補完画像に変換する。次いで、画像処理部１２Ａは、サイドドア状態検出部１１の検出結果に基づいて、第１状態であるか、第２状態であるかを検出する。第１状態の場合、画像処理部１２Ａは、サイドカメラ撮影画像のうち、遮蔽時補完範囲ＭＡに対応する領域に補完画像を合成することによって右側表示画像を生成する。一方、第２状態の場合、画像処理部１２Ａは、補完画像を右側表示画像とする。
【0081】
以上の処理により生成される右側表示画像は、右サイドカメラ撮影範囲ＭＭのうち、非遮蔽範囲ＭＺに対応する領域が、サイドカメラ撮影画像に基づく画像によって形成され、かつ、右サイドドアＤＲで遮蔽される部分であって、リアカメラ３の撮影結果に基づいて補完可能な部分に対応する領域が、リアカメラ撮影画像に基づく画像によって形成されている。画像処理部１２Ａは、生成した右側表示画像を表示制御部１３に出力する。
【0082】
以上、詳しく説明したように、本実施形態に係る画像処理装置１Ａは、サイドドアＤＲ，ＤＬが開状態のときは、サイドドアＤＲ，ＤＬが閉状態のときのサイドカメラ４，５の撮影範囲のうち、サイドドアＤＲ，ＤＬによって遮蔽される部分（全てではなく、一部の場合もある）がリアカメラ３の撮影結果に基づいて補われた表示画像を生成する。
【0083】
この構成によれば、サイドドアＤＲ，ＤＬが開状態の場合は、右サイドカメラ４の撮影範囲のうち、サイドドアＤＲ，ＤＬによって遮蔽される部分が、リアカメラ３の撮影結果に基づいて補われた状態で画像が表示されるため、サイドドアＤＲ，ＤＬが開状態となったときも、サイドドアＤＲ，ＤＬが閉状態のときに表示装置２に表示されていた風景をできるだけ欠損することなく表示できる。
【0084】
次に、本実施形態に係る画像処理装置１Ａの画像処理部１２Ａが実行する表示画像生成処理を、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて表示画像を生成する場合を例にして図１０のフローチャートを用いて説明する。上述したように、画像処理装置１Ａは、所定の周期で、表示画像生成処理を実行する。
【0085】
図１０に示すように、画像処理部１２Ａは、サイドドア状態検出部１１により右サイドドアＤＲが閉状態であることが検出されているか、開状態であることが検出されているかを判定する（ステップＳＢ１）。閉状態であることが検出されている場合（ステップＳＡ１：「閉状態」）、画像処理部１２Ａは、ルックアップテーブル記憶部１４に記憶されたリア用右側基準ルックアップテーブルを用いて、リアカメラ撮影画像を、補完画像に変換する（ステップＳＢ２）。画像処理部１２Ａは、生成した補完画像を、右サイドカメラ撮影画像の遮蔽時補完範囲ＭＡに対応する領域に合成することにより、表示画像を生成する（ステップＳＢ３）。その後、画像処理部１２Ａは、表示画像生成処理を終了する。
【0086】
一方、ステップＳＢ１において、サイドドア状態検出部１１により右サイドドアＤＲが開状態であることが検出されていると判定した場合（ステップＳＢ１：「閉状態」）、画像処理部１２Ａは、以下の処理を実行する（ステップＳＢ４）。すなわち、画像処理部１２Ａは、サイドドア状態検出部１１により検出された右サイドドアＤＲの開度に基づいて、ルックアップテーブル記憶部１４に記憶されたリア用右側基準ルックアップテーブルを加工し、リア用右側加工ルックアップテーブルを生成する。次いで、画像処理部１２Ａは、リア用右側加工ルックアップテーブルを生成した後、当該テーブルを用いてリアカメラ撮影画像を補完画像に変換する（ステップＳＢ５）。
【0087】
次いで、画像処理部１２Ａは、サイドドア状態検出部１１により検出された右サイドドアＤＲの開度に基づいて、第１状態であるか、第２状態であるかを判定する（ステップＳＢ６）。第１状態の場合（ステップＳＢ６：「第１状態」）、画像処理部１２Ａは、ステップＳＢ５で生成した補完画像を右サイドカメラ撮影画像に合成することによって表示画像を生成する（ステップＳＢ７）。その後、画像処理部１２Ａは、表示画像生成処理を終了する。一方、第２状態の場合（ステップＳＢ６：「第２状態」）、画像処理部１２Ａは、ステップＳＢ５で生成した補完画像を表示画像とする。その後、画像処理部１２Ａは、表示画像生成処理を終了する。
【0088】
以上、本発明の実施形態を説明したが、上記各実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。
【0089】
例えば、第１実施形態では、リアカメラ３が魚眼カメラにより構成され、サイドカメラ４，５が標準カメラにより構成されていたが、リアカメラ３やサイドカメラ４，５のどのようなカメラにより構成するかは、第１実施形態の例に限定されない。第２実施形態についても同様である。
【0090】
また、第１実施形態では、表示装置２は、ダッシュボードの中央部や、センターコンソール等の運転手が画面を視認可能な位置に設けられた表示パネルであった。この点に関し、表示装置２は、第１実施形態で例示したものに限られない。例えば、表示装置２は、サイドミラーや、バックミラーに設けられた装置であってもよく、車内においてサイドミラーＭＲ，ＭＬの近傍に設けられた専用の装置であってもよく、ユーザーが所有する携帯端末であってもよい。第２実施形態についても同様である。
【0091】
また、第１実施形態では、表示装置２に、右サイドミラーＭＲに対応する画面と、左サイドミラーＭＬに対応する画面との何れかの画面がユーザーの指示に応じて択一的に表示される構成であった。この点に関し、表示装置２の表示領域が分割されて、各画面が同時に表示される構成でもよい。第２実施形態についても同様である。
【符号の説明】
【0092】
１，１Ａ 画像処理装置
２ 表示装置
３ リアカメラ
４，４Ａ 右サイドカメラ（サイドカメラ）
５，５Ａ 左サイドカメラ（サイドカメラ）
１０ 撮影画像取得部
１１ サイドドア状態検出部
１２ 画像処理部
１３ 表示制御部
２ 表示装置
３ リアカメラ
４，４Ａ 右サイドカメラ（サイドカメラ）
５，５Ａ 左サイドカメラ（サイドカメラ）
１０ 撮影画像取得部
１１ サイドドア状態検出部
１２ 画像処理部
１３ 表示制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
