特許 7076896 表示制御装置、表示制御方法及びカメラモニタリングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-20

(45)【発行日】2022-05-30

(54)【発明の名称】表示制御装置、表示制御方法及びカメラモニタリングシステム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220523BHJP

   B60R 1/26 20220101ALI20220523BHJP

   B60R 11/02 20060101ALI20220523BHJP

【ＦＩ】

H04N7/18 J

B60R1/26 200

B60R11/02 C

【請求項の数】 5

(21)【出願番号】P 2018018434

(22)【出願日】2018-02-05

(65)【公開番号】P2019135816

(43)【公開日】2019-08-15

【審査請求日】2020-08-27

【前置審査】

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】谷口 敬大

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２００６－２４８３８４（ＪＰ，Ａ）

【文献】特開２０１７－１８８７４４（ＪＰ，Ａ）

【文献】特開２０１８－０５８５２１（ＪＰ，Ａ）

【文献】特開２０１８－０５５０７５（ＪＰ，Ａ）

【文献】特開２００８－１４１５７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

車両のサイドミラーの取り付け位置に設置される撮像装置に接続される表示制御装置であって、
前記撮像装置により撮影される画像データの各画素の座標を変換する変換部と、
前記変換部により座標が変換されることで生成される表示画像データを表示部に出力する出力部と、を有し、
前記変換部は、
前記表示部において表示される前記表示画像データが、光学部材を介して虚像として視認される、前記サイドミラーの鏡面部分に相当する位置で前記撮像装置が撮影した場合の画像データの各画素の座標と、前記撮像装置が設置される前記車両のサイドミラーの取り付け位置で前記撮像装置が撮影した場合の画像データの各画素の座標との対応関係に基づいて、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とする表示制御装置。

【請求項2】

前記対応関係を示す変換情報を格納する格納部を更に有し、
前記変換部は、前記格納部より前記変換情報を読み込み、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とする請求項１に記載の表示制御装置。

【請求項3】

前記対応関係を変更する指示を受け付ける受付部を更に有し、
前記変換部は、前記受付部が受け付けた指示に応じた前記変換情報を、前記格納部より読み込むことを特徴とする請求項２に記載の表示制御装置。

【請求項4】

車両のサイドミラーの取り付け位置に設置される撮像装置に接続される表示制御装置の表示制御方法であって、
前記撮像装置により撮影される画像データの各画素の座標を変換する変換工程と、
前記変換工程において座標が変換されることで生成される表示画像データを表示部に出力する出力工程と、を有し、
前記変換工程は、
前記表示部において表示される前記表示画像データが、光学部材を介して虚像として視認される、前記サイドミラーの鏡面部分に相当する位置で前記撮像装置が撮影した場合の画像データの各画素の座標と、前記撮像装置が設置される前記車両のサイドミラーの取り付け位置で前記撮像装置が撮影した場合の画像データの各画素の座標との対応関係に基づいて、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とする表示制御方法。

【請求項5】

車両のサイドミラーの取り付け位置に設置され、前記車両の後方を撮影する撮像装置と、
前記撮像装置に接続される表示制御装置と、
前記表示制御装置より出力される表示画像データを表示する表示装置と、
前記表示装置の出射光を反射する光学部材と、を有するカメラモニタリングシステムであって、
前記表示制御装置は、
前記撮像装置により撮影される画像データの各画素の座標を変換する変換部と、
前記変換部により座標が変換されることで生成される表示画像データを前記表示装置に出力する出力部と、を有し、
前記変換部は、
前記表示装置において表示される前記表示画像データが、前記光学部材を介して虚像として視認される、前記サイドミラーの鏡面部分に相当する位置で前記撮像装置が撮影した場合の画像データの各画素の座標と、前記撮像装置が設置される前記車両のサイドミラーの取り付け位置で前記撮像装置が撮影した場合の画像データの各画素の座標との対応関係に基づいて、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とするカメラモニタリングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御方法及びカメラモニタリングシステムに関する。

【背景技術】

【0002】

従来より、車両にカメラモニタリングシステムを搭載し、車両後方の撮影画像を車内の表示装置等に表示することで、電子化したミラーとして機能させる表示制御技術が知られている。

【0003】

例えば、下記特許文献１には、車両のサイドミラーの位置に撮像装置を設置し、撮影画像を表示装置に表示することで、電子化したサイドミラーとして機能するカメラモニタリングシステムが開示されている。また、下記特許文献１には、更に、表示装置に表示する撮影画像を、凹面鏡を介して虚像として運転者に視認させることで、運転者からの焦点距離を長くし、運転者の目の負担を軽減させる構成が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－３２９７６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記カメラモニタリングシステムの場合、運転者が視認する虚像の位置と、撮像装置が設置される位置とが一致していない。このため、運転者は、視認した虚像に対して違和感を感じることが考えられる。

【0006】

本発明は上記課題に鑑みてなされたものであり、カメラモニタリングシステムにおいて視認される虚像に対する違和感を低減させることを目的とする。

【課題を解決するための手段】

【0007】

一態様によれば、表示制御装置は以下のような構成を有する。すなわち、
車両のサイドミラーの取り付け位置に設置される撮像装置に接続される表示制御装置であって、
前記撮像装置により撮影される画像データの各画素の座標を変換する変換部と、
前記変換部により座標が変換されることで生成される表示画像データを表示部に出力する出力部と、を有し、
前記変換部は、
前記表示部において表示される前記表示画像データが、光学部材を介して虚像として視認される、前記サイドミラーの鏡面部分に相当する位置で前記撮像装置が撮影した場合の画像データの各画素の座標と、前記撮像装置が設置される前記車両のサイドミラーの取り付け位置で前記撮像装置が撮影した場合の画像データの各画素の座標との対応関係に基づいて、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とする。

【発明の効果】

【0008】

カメラモニタリングシステムにおいて視認される虚像に対する違和感を低減させることが可能になる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。

【図2】撮像装置が設置される位置、撮像装置の撮影範囲及び撮影方向を示す図である。

【図3】光学部材の機能を説明するための図である。

【図4】撮像装置が設置される位置と、運転者により視認される虚像の位置との位置関係を示す図である。

【図5】変換情報の一例を示す図である。

【図6】表示制御装置のハードウェア構成の一例を示す図である。

【図7】第１の実施形態における表示制御装置の視点変換部の機能構成の一例を示す図である。

【図8】第１の実施形態における表示制御装置の視点変換部による視点変換処理の流れを示すフローチャートである。

【図9】第２の実施形態における表示制御装置の視点変換部の機能構成の一例を示す図である。

【図10】第２の実施形態における表示制御装置の視点変換部による視点変換処理の流れを示すフローチャートである。

【図11】第３の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。

【図12】第３の実施形態におけるカメラモニタリングシステムにおいて、撮像装置が設置される位置、撮像装置の撮影範囲を示す図である。

【発明を実施するための形態】

【0010】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

【0011】

［第１の実施形態］
＜カメラモニタリングシステムのシステム構成＞
はじめに、車両に搭載されるカメラモニタリングシステムのシステム構成について説明する。図１は、第１の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図１に示すように、カメラモニタリングシステム１００は、撮像装置１１０、１１１と、表示制御装置１２０と、表示装置１３０、１３１と、光学部材１４０、１４１とを有する。なお、本実施形態において、カメラモニタリングシステム１００は、車両のイグニッションスイッチがＯＮ状態になることで起動し、ＯＦＦ状態になることで停止するものとする。ただし、カメラモニタリングシステム１００は、車両の運転者の指示に基づいて起動、停止するように構成してもよい。

【0012】

撮像装置１１０、１１１は、車両のサイドミラーの位置に設置され、車両後方を撮影する。撮像装置１１０、１１１は、撮影した撮影画像を左右反転することで得られる画像データ（左側画像データ、右側画像データ）を、表示制御装置１２０に送信する。

【0013】

表示制御装置１２０には、視点変換プログラムがインストールされており、当該視点変換プログラムが実行されることで、表示制御装置１２０は、視点変換部１２１として機能する。視点変換部１２１は、変換情報格納部１２２より変換情報を読み出し、左側画像データ及び右側画像データを変換することで、左側表示画像データ及び右側表示画像データを生成する。更に、視点変換部１２１は、生成した左側表示画像データ及び右側表示画像データを、それぞれ、表示装置１３０、１３１に出力する。

【0014】

表示装置１３０、１３１は、それぞれ、左側表示画像データまたは右側表示画像データを表示する。なお、表示装置１３０により表示された左側表示画像データは、光学部材１４０を介して、虚像として車両の運転者により視認される。また、表示装置１３１により表示された右側表示画像データは、光学部材１４１を介して、虚像として車両の運転者により視認される。

【0015】

＜撮像装置の設置例＞
次に、撮像装置１１０、１１１の設置例（撮像装置１１０、１１１が設置される位置、撮像装置１１０、１１１の撮影範囲及び撮影方向）について説明する。図２は、撮像装置が設置される位置、撮像装置の撮影範囲及び撮影方向を示す図である。

【0016】

図２に示すように、撮像装置１１０は、車両２００の左側のサイドミラーが本来取り付けられる位置またはその近傍に設置される。撮像装置１１０は、車両２００後方の網掛け領域２１０を撮影範囲として撮影を行う。このときの撮影方向は、矢印２２０に示すとおりである。同様に、撮像装置１１１は、車両２００の右側のサイドミラーが本来取り付けられる位置またはその近傍に設置される。撮像装置１１１は、車両２００後方の網掛け領域２１１を撮影範囲として撮影を行う。このときの撮影方向は、矢印２２１に示すとおりである。

【0017】

＜光学部材の機能＞
次に、表示装置１３０、１３１に表示された左側表示画像データまたは右側表示画像データを、虚像として車両２００の運転者に視認させるための光学部材１４０、１４１の機能について説明する。なお、光学部材１４０の機能と光学部材１４１の機能とは基本的に同じであるため、ここでは、光学部材１４１の機能について説明する。

【0018】

図３は、光学部材の機能を説明するための図である。図３に示すように、光学部材１４１は、凹面鏡３０１と凹面鏡３０２とを含む。凹面鏡３０１は、表示装置１３１により出射された右側表示画像データの出射光を反射する。凹面鏡３０２は、凹面鏡３０１で反射した右側表示画像データの出射光を更に反射する。凹面鏡３０２で反射した右側表示画像データの出射光は、車両２００の運転者３００の視覚によってとらえられる。

【0019】

ここで、凹面鏡３０１は、表示装置１３１が設置された位置から距離Ｌ１だけ離れた位置に設置されている。このため、凹面鏡３０１で反射した右側表示画像データの出射光は、凹面鏡３０１の反射側の位置において、凹面鏡３０１の後方の距離Ｌ１の位置にある虚像３１１として視認されることになる。

【0020】

同様に、凹面鏡３０２は、虚像３１１の位置から距離Ｌ２だけ離れた位置に設置されている。このため、凹面鏡３０２で反射した右側表示画像データの出射光は、凹面鏡３０２の反射側の位置において（つまり、車両２００の運転者３００により）、凹面鏡３０２の後方の距離Ｌ２の位置にある虚像３１２として視認されることになる。

【0021】

＜撮像装置が設置される位置と虚像の位置との位置関係＞
次に、撮像装置１１０、１１１が設置される位置と、車両２００の運転者３００により視認される虚像の位置との位置関係について説明する。図４は、撮像装置が設置される位置と、運転者により視認される虚像の位置との位置関係を示す図である。

【0022】

上述したように、表示装置１３０により表示された左側表示画像データは、光学部材１４０を介して運転者３００により虚像として視認される。また、表示装置１３１により表示された右側表示画像データは、光学部材１４１を介して運転者３００により虚像として視認される。

【0023】

ここで、光学部材１４０は、虚像４００が車両２００の左側側面から少し離れた位置において視認されるよう構成されている。同様に、光学部材１４１は、虚像４０１が車両２００の右側側面から少し離れた位置において視認されるよう構成されている。これは、一般的な車両におけるサイドミラーの鏡面部分が、車両の左側側面（または右側側面）から少し離れた位置にあることを考慮したものである。

【0024】

仮に、一般的な車両におけるサイドミラーの鏡面部分が、虚像４００の位置にあるとすると、当該サイドミラーを介して、車両の運転者３００により車両後方が視認される際の方向及び領域は、矢印４２０で示す方向及び網掛け領域４１０で示す領域となる。換言すると、車両２００の運転者３００により虚像４００として視認される左側表示画像データは、撮像装置１１０を、虚像４００の位置に設置し、矢印４２０を撮影方向、網掛け領域４１０を撮影範囲として撮影されたものであることが望ましい。

【0025】

しかしながら、実際には、図２を用いて説明したとおり、撮像装置１１０は車両２００の左側側面に設置され、矢印２２０を撮影方向、網掛け領域２１０を撮影範囲としている。つまり、一般的な車両において、虚像４００の位置と、撮像装置１１０が設置された位置とは一致していない。このため、車両２００の運転者３００は、虚像４００として視認する方向及び領域に違和感を感じることになる。そこで、視点変換部１２１では、当該違和感を低減させるように、左側画像データを変換して、左側表示画像データを生成する。

【0026】

同様に、一般的な車両におけるサイドミラーの鏡面部分が、虚像４０１の位置にあるとすると、当該サイドミラーを介して、車両の運転者３００により車両後方が視認される際の方向及び領域は、矢印４２１で示す方向及び網掛け領域４１１で示す領域となる。換言すると、車両２００の運転者３００により虚像４０１として視認される右側表示画像データは、撮像装置１１１を、虚像４０１の位置に設置し、矢印４２１を撮影方向、網掛け領域４１１を撮影範囲として撮影されたものであることが望ましい。

【0027】

しかしながら、実際には、図２を用いて説明したとおり、撮像装置１１１は車両２００の右側側面に設置され、矢印２２１を撮影方向、網掛け領域２１１を撮影範囲としている。つまり、一般的な車両において、虚像４０１の位置と、撮像装置１１０が設置された位置とが一致していない。このため、車両２００の運転者３００は、虚像４０１として視認する方向及び領域に違和感を感じることになる。そこで、視点変換部１２１では、当該違和感を低減させるように、右側画像データを変換して、右側表示画像データを生成する。

【0028】

＜変換情報の詳細＞
次に、視点変換部１２１が左側画像データ及び右側画像データを、左側表示画像データ及び右側表示画像データに変換する際に参照する、変換情報格納部１２２の変換情報について説明する。図５は、変換情報の一例を示す図である。

【0029】

このうち、図５（ａ）は、視点変換部１２１が左側画像データを左側表示画像データに変換する際に参照する変換情報５１０の一例を示す図である。図５（ａ）に示すように、変換情報５１０は、情報の項目として、撮像装置の"視点位置"、"視点方向"、"画像座標"と、虚像の"視点位置"、"視点方向"、"画像座標"とを含む。

【0030】

変換情報５１０において、撮像装置の"視点位置"には、撮像装置１１０が設置された位置を示す座標（"座標Ｐ_ＬＣ"）が格納される。また、撮像装置の"視点方向"には、撮像装置１１０の撮影方向を示す６軸のレンズパラメータ（"レンズパラメータＤ_ＬＣ"）が格納される。更に、撮像装置の"画像座標"には、対応する視点位置、視点方向で撮像装置１１０が撮影した左側画像データの各画素の座標が格納される。

【0031】

また、変換情報５１０において、虚像の"視点位置"には、虚像４００の位置を示す座標（"座標Ｐ_ＬＩ"）が格納される。また、撮像装置の"視点方向"には、虚像４００の位置に撮像装置１１０を設置した場合の、撮影方向を示す６軸のレンズパラメータ（"レンズパラメータＤ_ＬＣ"）が格納される。更に、虚像の"画像座標"には、対応する視点位置、視点方向で撮像装置１１０が撮影した画像データの各画素の座標が格納される。

【0032】

図５（ａ）では、撮像装置の"画像座標"＝"ｘ_Ｌ１，ｙ_Ｌ１"、・・・"ｘ_Ｌｎ，ｙ_Ｌｍ"と、虚像の"画像座標"＝"Ｘ_Ｌ１，Ｙ_Ｌ１"、・・・"Ｘ_Ｌｎ，Ｙ_Ｌｍ"とが対応付けられている。なお、撮像装置の"画像座標"と虚像の"画像座標"が対応付けられているとは、例えば、"ｘ_Ｌ１、ｙ_Ｌ１"と"Ｘ_Ｌ１、Ｙ_Ｌ１"の場合、以下のような関係にある。
・車両２００の後方を、視点位置＝"座標Ｐ_ＬＣ"、視点方向＝"レンズパラメータＤ_ＬＣ"で、撮像装置１１０が撮影した場合の、車両２００の後方にある被写体Ａの画像データ上での座標が、"ｘ_Ｌ１、ｙ_Ｌ１"である。
・車両２００の後方を、視点位置＝"座標Ｐ_ＬＩ"、視点方向＝"レンズパラメータＤ_ＬＩ"で、撮像装置１１０が撮影した場合の、車両２００の後方にある被写体Ａの画像データ上での座標が、"Ｘ_Ｌ１、Ｙ_Ｌ１"である。

【0033】

つまり、変換情報５１０において、撮像装置の"画像座標"及び虚像の"画像座標"には、同一の被写体を異なる視点位置、視点方向で撮影した際の画像データ上の対応点の座標が格納される。

【0034】

同様に、図５（ｂ）は、右側画像データを右側表示画像データに変換する際に参照される変換情報５２０の一例を示す図である。図５（ｂ）に示すように、変換情報５２０は、情報の項目として、撮像装置の"視点位置"、"視点方向"、"画像座標"と、虚像の"視点位置"、"視点方向"、"画像座標"とを含む。

【0035】

変換情報５２０において、撮像装置の"視点位置"には、撮像装置１１１が設置された位置を示す座標（"座標Ｐ_ＲＣ"）が格納される。また、撮像装置の"視点方向"には、撮像装置１１１の撮影方向を示す６軸のレンズパラメータ（"レンズパラメータＤ_ＲＣ"）が格納される。更に、撮像装置の"画像座標"には、対応する視点位置、視点方向で撮像装置１１１が撮影した右側画像データの各画素の座標が格納される。

【0036】

また、変換情報５２０において、虚像の"視点位置"には、虚像４０１の位置を示す座標（"座標Ｐ_ＲＩ"）が格納される。また、撮像装置の"視点方向"には、虚像４０１の位置に撮像装置１１１を設置した場合の、撮影方向を示す６軸のレンズパラメータ（"レンズパラメータＤ_ＲＣ"）が格納される。更に、虚像の"画像座標"には、対応する視点位置、視点方向で撮像装置１１１が撮影した画像データの各画素の座標が格納される。

【0037】

図５（ｂ）では、撮像装置の"画像座標"＝"ｘ_Ｒ１，ｙ_Ｒ１"、・・・"ｘ_Ｒｎ，ｙ_Ｒｍ"と、虚像の"画像座標"＝"Ｘ_Ｒ１，Ｙ_Ｒ１"、・・・"Ｘ_Ｒｎ，Ｙ_Ｒｍ"とが対応付けられている。なお、撮像装置の"画像座標"と虚像の"画像座標"が対応付けられているとは、例えば、"ｘ_Ｒ１、ｙ_Ｒ１"と"Ｘ_Ｒ１、Ｙ_Ｒ１"の場合、以下のような関係にある。
・車両２００の後方を、視点位置＝"座標Ｐ_ＲＣ"、視点方向＝"レンズパラメータＤ_ＲＣ"で、撮像装置１１１が撮影した場合の、車両２００の後方にある被写体Ｂの画像データ上での座標が、"ｘ_Ｒ１、ｙ_Ｒ１"である。
・車両２００の後方を、視点位置＝"座標Ｐ_ＲＩ"、視点方向＝"レンズパラメータＤ_ＲＩ"で、撮像装置１１１が撮影した場合の、車両２００の後方にある被写体Ｂの画像データ上での座標が、"Ｘ_Ｒ１、Ｙ_Ｒ１"である。

【0038】

つまり、変換情報５２０において、撮像装置の"画像座標"及び虚像の"画像座標"には、同一の被写体を異なる視点位置、視点方向で撮影した際の画像データ上の対応点の座標が格納される。

【0039】

＜表示制御装置のハードウェア構成＞
次に、表示制御装置１２０のハードウェア構成について説明する。図６は、表示制御装置のハードウェア構成の一例を示す図である。図６に示すように、表示制御装置１２０は、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３を有する。また、表示制御装置１２０は、ＧＰＵ（Graphic Processing Unit）６０４、Ｉ／Ｆ（Interface）装置６０５を有する。なお、表示制御装置１２０の各部は、バス６０６を介して相互に接続されている。

【0040】

ＣＰＵ６０１は、ＲＯＭ６０２にインストールされている各種プログラム（例えば、視点変換プログラム等）を実行するデバイスである。ＲＯＭ６０２は、不揮発性メモリであり、ＣＰＵ６０１によって実行される各種プログラムを格納する、主記憶デバイスとして機能する。ＲＡＭ６０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ６０３は、ＲＯＭ６０２にインストールされている各種プログラムがＣＰＵ６０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

【0041】

ＧＰＵ６０４は、画像処理を行う専用の集積回路であり、本実施形態では、視点変換プログラムを実行するＣＰＵ６０１からの指示に基づき、表示装置１３０、１３１に表示される左側表示画像データ、右側表示画像データの生成等を行う。Ｉ／Ｆ装置６０５は、撮像装置１１０、１１１及び表示装置１３０、１３１と、表示制御装置１２０とを接続するための接続デバイスである。

【0042】

＜表示制御装置の機能構成＞
次に、表示制御装置１２０の機能構成について説明する。図７は、第１の実施形態における表示制御装置の視点変換部の機能構成の一例を示す図である。上述したとおり、表示制御装置１２０には、視点変換プログラムがインストールされており、カメラモニタリングシステム１００が起動することで、表示制御装置１２０は、当該視点変換プログラムを実行する。これにより、表示制御装置１２０は、左側画像データ取得部７０１、右側画像データ取得部７１１、左側画像データ変換部７０２、右側画像データ変換部７１２、左側表示画像データ生成部７０３、右側表示画像データ生成部７１３として機能する。

【0043】

左側画像データ取得部７０１、右側画像データ取得部７１１は、撮像装置１１０、１１１より送信された左側画像データ、右側画像データを取得する。左側画像データ取得部７０１、右側画像データ取得部７１１は、取得した左側画像データ、右側画像データをフレーム単位で左側画像データ変換部７０２、右側画像データ変換部７１２に送信する。

【0044】

左側画像データ変換部７０２、右側画像データ変換部７１２は、変換部の一例であり、変換情報格納部１２２に格納された変換情報５１０、５２０に基づいて、左側画像データ、右側画像データの各画素の座標を変換する。なお、左側画像データ、右側画像データの変換は、変換情報５１０、５２０を参照する代わりに、一般的な変換方法（例えば、投影面の座標変換、アフィン変換等）を用いて、計算により求めてもよい。

【0045】

左側表示画像データ生成部７０３、右側表示画像データ生成部７１３は、出力部の一例である。左側表示画像データ生成部７０３、右側表示画像データ生成部７１３は、各画素の座標が変換された左側画像データ、右側画像データから、表示装置１３１、１３２に表示するのに適した領域を抽出し、左側表示画像データ、右側表示画像データを生成する。また、左側表示画像データ生成部７０３、右側表示画像データ生成部７１３は、生成した左側表示画像データ、右側表示画像データを表示装置１３０、表示装置１３１に出力する。

【0046】

＜視点変換部による視点変換処理の流れ＞
次に、表示制御装置１２０の視点変換部１２１による視点変換処理の流れについて説明する。図８は、第１の実施形態における表示制御装置の視点変換部による視点変換処理の流れを示すフローチャートである。

【0047】

このうち、図８（ａ）は、左側画像データについての視点変換処理の流れを示すフローチャートである。ステップＳ８０１において、左側画像データ取得部７０１は、変換情報格納部１２２より、変換情報５１０を読み込む。ステップＳ８０２において、左側画像データ取得部７０１は、撮像装置１１０より左側画像データを取得する。

【0048】

ステップＳ８０３において、左側画像データ変換部７０２は、変換情報５１０に基づいて、左側画像データの各画素の座標を変換する。ステップＳ８０４において、左側表示画像データ生成部７０３は、各画素の座標が変換された左側画像データに基づいて、左側表示画像データを生成し、表示装置１３０に出力する。

【0049】

ステップＳ８０５において、左側画像データ取得部７０１は、視点変換処理を終了するか否かを判定し、終了しないと判定した場合には（ステップＳ８０５においてＮｏの場合には）、ステップＳ８０２に戻る。一方、ステップＳ８０５において、終了すると判定した場合には（ステップＳ８０５においてＹｅｓの場合には）、左側画像データ取得部７０１は、左側画像データについての視点変換処理を終了する。

【0050】

一方、図８（ｂ）は、右側画像データについての視点変換処理の流れを示すフローチャートである。ステップＳ８１１において、右側画像データ取得部７１１は、変換情報格納部１２２より、変換情報５２０を読み込む。ステップＳ８１２において、右側画像データ取得部７１１は、撮像装置１１１より右側画像データを取得する。

【0051】

ステップＳ８１３において、右側画像データ変換部７１２は、変換情報５２０に基づいて、右側画像データの各画素の座標を変換する。ステップＳ８１４において、右側表示画像データ生成部７１３は、各画素の座標が変換された右側画像データに基づいて、右側表示画像データを生成し、表示装置１３１に出力する。

【0052】

ステップＳ８１５において、右側画像データ取得部７１１は、視点変換処理を終了するか否かを判定し、終了しないと判定した場合には（ステップＳ８１５においてＮｏの場合には）、ステップＳ８１２に戻る。一方、ステップＳ８１５において、終了すると判定した場合には（ステップＳ８１５においてＹｅｓの場合には）、右側画像データ取得部７１１は、右側画像データについての視点変換処理を終了する。

【0053】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態における表示制御装置は、
・撮像装置により撮影された画像データの各画素の座標を変換し、表示装置（表示部）に表示する。
・その際、表示装置により表示される表示画像データが、光学部材を介して虚像として視認される位置と、撮像装置が設置される位置との位置関係（視点位置、視点方向）に基づいて、画像データの各画素の座標を変換する。

【0054】

これにより、第１の実施形態における表示制御装置によれば、運転者により視認される虚像の位置と、撮像装置が設定された位置との違いを吸収することができる。この結果、電子化したサイドミラーとして機能するカメラモニタリングシステムにおいて、虚像に対する運転者の違和感を低減させることができる。

【0055】

［第２の実施形態］
上記第１の実施形態では、虚像の視点方向が固定であるとして説明した。これに対して、第２の実施形態では、虚像の視点方向を、車両の運転者の指示に基づいて可変とする場合について説明する。一般的な車両におけるサイドミラーの鏡面部分も、車両の運転者の指示に基づいて、視点方向を変更させることができるからである。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

【0056】

＜表示制御装置の機能構成＞
図９は、第２の実施形態における表示制御装置の視点変換部の機能構成の一例を示す図である。図７との相違点は、左側指示受付部９０１、左側画像データ変換部９０２、右側指示受付部９１１、右側画像データ変換部９１２を有する点である。

【0057】

左側指示受付部９０１は、車両２００の運転者３００より、左側表示画像データについて、視点方向を変更する指示を受け付ける。また、左側指示受付部９０１は、受け付けた指示を、左側画像データ変換部９０２に通知する。

【0058】

左側画像データ変換部９０２は、変換情報格納部１２２より変換情報５１０を読み込み、読み込んだ変換情報５１０に基づいて、左側画像データの各画素の座標を変換する。なお、変換情報格納部１２２には、虚像の"視点方向"が異なる複数の変換情報が格納されており、左側画像データ変換部７０２は、左側指示受付部９０１より通知された指示に応じた、虚像の"視点方向"を有する変換情報を読み込む。

【0059】

右側指示受付部９１１は、車両２００の運転者３００より、右側表示画像データについて、視点方向を変更する指示を受け付ける。また、右側指示受付部９１１は、受け付けた指示を、右側画像データ変換部９１２に通知する。

【0060】

右側画像データ変換部９１２は、変換情報格納部１２２より変換情報５２０を読み込み、読み込んだ変換情報５２０に基づいて、右側画像データの各画素の座標を変換する。なお、変換情報格納部１２２には、虚像の"視点方向"が異なる複数の変換情報が格納されており、右側画像データ変換部９１２は、右側指示受付部９１１より通知された指示に応じた、虚像の"視点方向"を有する変換情報を読み込む。

【0061】

<視点変換部による視点変換処理の流れ＞
次に、表示制御装置１２０の視点変換部１２１による視点変換処理の流れについて説明する。図１０は、第２の実施形態における表示制御装置の視点変換部による視点変換処理の流れを示すフローチャートである。

【0062】

このうち、図１０（ａ）は、左側画像データについての視点変換処理の流れを示すフローチャートであり、図８（ａ）との相違点は、ステップＳ１００１である。ステップＳ１００１において、左側指示受付部９０１は、車両２００の運転者３００より、左側の視点方向を変更する旨の指示があったか否かを判定する。ステップＳ１００１において、指示がなかったと判定した場合には（ステップＳ１００１においてＮｏの場合には）、ステップＳ８０５に進む。

【0063】

一方、ステップＳ１００１において、指示があったと判定した場合には（ステップＳ１００１においてＹｅｓの場合には）、当該指示を受け付け、左側画像データ変換部９０２に通知した後、ステップＳ８０１に戻る。これにより、左側画像データ変換部９０２では、通知された指示に応じた、虚像の"視点方向"を有する変換情報を、変換情報格納部１２２より読み込む。この結果、左側画像データ変換部９０２では、左側画像データについて、車両２００の運転者３００の指示に応じた変換を実現することができる。

【0064】

図１０（ｂ）は、右側画像データについての視点変換処理の流れを示すフローチャートであり、図８（ｂ）との相違点は、ステップＳ１０１１である。ステップＳ１０１１において、右側指示受付部９１１は、車両２００の運転者３００より、右側の視点方向を変更する旨の指示があったか否かを判定する。ステップＳ１０１１において、指示がなかったと判定した場合には（ステップＳ１０１１においてＮｏの場合には）、ステップＳ８１５に進む。

【0065】

一方、ステップＳ１０１１において、指示があったと判定した場合には（ステップＳ１０１１においてＹｅｓの場合には）、当該指示を受け付け、右側画像データ変換部９１２に通知した後、ステップＳ８１１に戻る。これにより、右側画像データ変換部９１２では、通知された指示に応じた、虚像の"視点方向"を有する変換情報を、変換情報格納部１２２より読み込む。この結果、右側画像データ変換部９１２では、右側画像データについて、車両２００の運転者３００の指示に応じた変換を実現することができる。

【0066】

＜まとめ＞
以上の説明から明らかなように、第２の実施形態における表示制御装置は、
・表示装置により表示される表示画像データが、光学部材を介して虚像として視認される位置と、撮像装置が設置される位置との位置関係（視点位置、視点方向）に基づいて、画像データの各画素の座標を変換する。
・その際、車両の運転者の指示に応じた位置関係（視点方向）に基づいて、画像データの各画素の座標を変換する。

【0067】

これにより、第２の実施形態における表示制御装置によれば、一般的な車両においてサイドミラーの鏡面部分を動作させるのと同様の処理を、電子化したサイドミラーにおいて実現することが可能となる。

【0068】

［第３の実施形態］
上記第１及び第２の実施形態では、２台の撮像装置が車両２００に設置されたカメラモニタリングシステムについて説明した。しかしながら、カメラモニタリングシステムのシステム構成はこれに限定されない。以下、図１１及び図１２を用いて、他のカメラモニタリングシステムのシステム構成について説明する。

【0069】

図１１は、第３の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。また、図１２は、第３の実施形態におけるカメラモニタリングシステムにおいて、撮像装置が設置される位置、撮像装置の撮影範囲を示す図である。

【0070】

図１１（ａ）は、１台の撮像装置１１０１を、図１２（ａ）に示すように、車両２００の後方中央位置に設置し、視点変換処理を、カメラモニタリングシステム１１００において実現する様子を示している。この場合、カメラモニタリングシステム１１００は、電子化したルームミラーとして機能する。

【0071】

図１２（ａ）に示すように、撮像装置１１０１は、車両２００後方の網掛け領域１２１０を撮影範囲として撮影を行う。そして、撮像装置１１０１により撮影された中央画像データに基づいて、表示制御装置１２０が中央表示画像データを生成し、表示装置１１０２が、当該中央表示画像データを表示する。なお、表示装置１１０２により表示される中央表示画像データは、光学部材１１０３を介して、虚像として、車室内の中央位置において運転者により視認される。

【0072】

一方、図１１（ｂ）は、３台の撮像装置１１０、１１１、１１０１を、図１２（ｂ）に示すように、車両２００のサイドミラーの位置または後方中央位置に設置し、視点変換処理を、カメラモニタリングシステム１１１０において実現する様子を示している。なお、カメラモニタリングシステム１１１０は、電子化したサイドミラーとして機能するものとする。

【0073】

図１２（ｂ）に示すように、撮像装置１１０１は、撮像装置１１０、１１１の撮影範囲外の領域を撮影範囲として撮影を行う。このため、表示制御装置１２０では、撮像装置１１０により撮影された左側画像データに、撮像装置１１０１により撮影された中央画像データ（撮像装置１１０の撮影範囲外の領域の中央画像データ）を合成したうえで、左側表示画像データを生成する。

【0074】

同様に、表示制御装置１２０では、撮像装置１１１により撮影された右側画像データに、撮像装置１１０１により撮影された中央画像データ（撮像装置１１０の撮影範囲外の領域の中央画像データ）を合成したうえで、右側表示画像データを生成する。これにより、カメラモニタリングシステム１１１０によれば、車両２００の運転者３００は、撮像装置１１０、１１１の撮影範囲外の領域を含む左側表示画像データ及び右側表示画像データを、虚像として視認することができる。

【0075】

［その他の実施形態］
上記第１乃至第３の実施形態では、運転者により視認される虚像の位置と、撮像装置が設置される位置との違いを吸収するために、画像データの各画素の座標を変換するものとして説明した。しかしながら、運転者により視認される虚像の位置と、撮像装置が設置される位置との違いを吸収するための方法はこれに限定されず、運転者により視認される虚像の位置と、撮像装置が設置される位置とが一致するように、光学部材を設計してもよい。これにより、画像データの各画素の座標を変換する必要がなくなる。

【0076】

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0077】

１００ ：カメラモニタリングシステム
１１０、１１１ ：撮像装置
１２０ ：表示制御装置
１２１ ：視点変換部
１３０、１３１ ：表示装置
１４０、１４１ ：光学部材
２００ ：車両
３００ ：運転者
３０１、３０２ ：凹面鏡
４００、４０１ ：虚像
５１０、５２０ ：変換情報
７０１ ：左側画像データ取得部
７０２ ：左側画像データ変換部
７０３ ：左側表示画像データ生成部
７１１ ：右側画像データ取得部
７１２ ：右側画像データ変換部
７１３ ：右側表示画像データ生成部
９０１ ：左側指示受付部
９０２ ：左側画像データ変換部
９１１ ：右側指示受付部
９１２ ：右側画像データ変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】