特開 2023-164507 電子ミラーの映像合成装置及び映像合成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023164507

(43)【公開日】2023-11-10

(54)【発明の名称】電子ミラーの映像合成装置及び映像合成方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231102BHJP

   H04N 5/77 20060101ALI20231102BHJP

   H04N 5/92 20060101ALI20231102BHJP

   G06T 3/00 20060101ALI20231102BHJP

   G06T 1/00 20060101ALI20231102BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 V

H04N5/77

H04N5/92

G06T3/00 780

G06T1/00 330Z

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023143801

(22)【出願日】2023-09-05

(62)【分割の表示】P 2022014222の分割

【原出願日】2017-01-20

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】堤竹 秀行

(57)【要約】

【課題】本実施形態は、視野の一部を遮断する遮断物が存在したとしても、遮断物の映像を半透明化して、有効映像（補足映像）に置き換える処理を行う電子ミラーを提供する。
【解決手段】一実施形態は、車両のサイドカメラの死角となる部分の映像を半透明化し、この半透明化部分に、リアカメラの映像の上部領域と下部領域を互いに異なる仮想平面の映像にそれぞれ射影変換して合成する映像合成装置である。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両に搭載されて車両の後方の映像を表示する電子ミラーの映像合成装置において、
第１位置から、第１視野により前記車両の後方となる第１風景の第１映像を取得するリアカメラと、
前記第１位置よりも前記車両の前方となる第２位置から、前記第１風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第２視野により、第２映像を取得するサイドカメラと、
前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にする半透明化処理部と、
前記第２映像において前記半透明化映像の輪郭にラインを付加することができるエッジ処理部と、
前記第1映像の一部であって、前記サイドカメラの視点位置に射影変換されかつ前記第２映像の前記半透明化映像の部分に対応した射影変換映像を得る射影変換部と、
前記射影変換映像を前記第２映像の前記半透明化映像の部分に合成する合成部と、を備え、
前記射影変換映像は、
第１の前記射影変換部により、前記リアカメラの視点の映像が、前記車両の後方の遠方平面位置に基づいて前記サイドカメラの視点の映像に射影変換された第１射影変換映像の一部と、
第２の前記射影変換部により、前記リアカメラの視点の映像が、前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置に基づいて前記サイドカメラの視点の映像に射影変換された第２射影変換映像の一部を含み、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記半透明化映像の部分に対応した前記射影変換映像の上側領域が前記第１射影変換映像の前記一部であり、
前記半透明化映像の部分に対応した前記射影変換映像の下側領域が前記第２射影変換映像の前記一部であり、
さらに前記第１射影変換又は前記第２射影変換では、前記遠方平面位置及び前記地面位置が、前記車両の走行速度に応じた設定に応じて調整され、
前記合成部を含む映像処理装置には、記録再生装置が接続されており、前記車両の特別に設定された走行スピード、振動、音などに応答して前記合成部における映像信号が当該記録再生装置に記録される、
電子ミラーの映像合成装置。

【請求項2】

さらに前記リアカメラ及び前記サイドカメラの各レンズ前にヒータをさらに設けており、また前記ラインの太さ、色、濃度の何れかを変更する手段を備える、請求項１記載の電子ミラーの映像合成装置。

【請求項3】

車両に搭載されて車両の後方の映像を表示する電子ミラーにおいて、第１位置から、第１視野により前記車両の後方となる第１風景の第１映像を取得するリアカメラと、前記第１位置よりも前記車両の前方となる第２位置から、前記第１風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第２視野により、第２映像を取得するサイドカメラと、前記リアカメラ及び前記サイドカメラからの前記第１映像及び前記第２映像を処理する映像処理装置を用いる電子ミラーの映像合成方法において、
前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にし、
前記第２映像において前記半透明化映像の輪郭にラインを付加し、
前記第1映像の一部を、前記サイドカメラの視点位置に射影変換して、射影変換映像を生成し、この射影変換映像を前記第２映像の前記半透明化映像の部分に合成する方法であり、
前記射影変換映像としては、
第１射影変換部により、前記リアカメラの視点の映像を前記車両の後方の遠方平面位置に基づいて前記サイドカメラの視点の映像に射影変換した第１射影変換映像の一部を有し、
また第２射影変換部により、前記リアカメラの視点の映像を前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置に基づいて前記サイドカメラの視点の映像に射影変換した第２射影変換映像の一部を有し、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記半透明化映像の部分に対応した前記射影変換映像の上側領域が前記第１射影変換映像の前記一部であり、
前記半透明化映像の部分に対応した前記射影変換映像の下側領域が前記第２射影変換映像の前記一部であり、
さらに前記第１射影変換又は前記第２射影変換では、前記遠方平面位置及び前記地面位置が、前記車両の走行速度に応じた設定に応じて調整し、
記録再生装置を設け、前記車両の特別に設定された走行スピード、振動、音などに応答して前記合成に係る映像信号が当該記録再生装置に記録されるようにした、
電子ミラーの映像合成方法。

【請求項4】

さらに前記リアカメラ及び前記サイドカメラの各レンズ前をヒータで温めることを可能とし、また前記ラインの太さ、色、濃度の何れかを変更可能としている、請求項３記載の電子ミラーの映像合成方法。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、電子ミラーの映像合成装置及び映像合成方法に関する。

【背景技術】

【0002】

例えば、車に複数のカメラを搭載し、従来のバックミラー、サイドミラーの像の代わりに、前記カメラからの映像を表示器に表示することができる、いわゆる電子ミラーがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４８８３９７７号公報

【特許文献2】特許第５５００８７７号公報

【特許文献3】特開２０１１－２１３１８６号公報

【特許文献4】特開２０１４－１９７８１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子ミラーシステムにおいては、複数のカメラはそれぞれ１台の車に対する取り付け位置が異なる。そのために、複数のカメラがそれぞれ車の後方の風景を撮影した場合、一方のカメラの視野によれば撮影可能な有効領域であっても、他方のカメラの視野によれば撮影不可能な死角領域（無効領域）がある。

【0005】

上記したように、電子ミラーにおいては、複数のカメラがそれぞれ車の後方の風景を撮影した場合、カメラによって有効領域の映像、無効領域の映像が生じる。

【0006】

そこで、本実施形態では、視野の一部を遮断する遮断物が存在したとしても、遮断物の映像を半透明化して、有効映像（補足映像）に置き換え、自然な合成映像を得ることができる、電子ミラーの映像合成装置及び映像合成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

一実施形態によれば、車両に搭載されて車両の後方の映像を表示する電子ミラーの映像合成装置において、
第１位置から、第１視野により前記車両の後方となる第１風景の第１映像を取得するリアカメラと、
前記第１位置よりも前記車両の前方となる第２位置から、前記第１風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第２視野により、第２映像を取得するサイドカメラと、
前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にする半透明化処理部と、
前記第２映像において前記半透明化映像の輪郭にラインを付加することができるエッジ処理部と、
前記第1映像の一部であって、前記サイドカメラの視点位置に射影変換されかつ前記第２映像の前記半透明化映像の部分に対応した射影変換映像を得る射影変換部と、
前記射影変換映像を前記第２映像の前記半透明化映像の部分に合成する合成部と、を備え、
前記射影変換映像は、
第１の前記射影変換部により、前記リアカメラの視点の映像が、前記車両の後方の遠方平面位置に基づいて前記サイドカメラの視点の映像に射影変換された第１射影変換映像の一部と、
第２の前記射影変換部により、前記リアカメラの視点の映像が、前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置に基づいて前記サイドカメラの視点の映像に射影変換された第２射影変換映像の一部を含み、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記半透明化映像の部分に対応した前記射影変換映像の上側領域が前記第１射影変換映像の前記一部であり、
前記半透明化映像の部分に対応した前記射影変換映像の下側領域が前記第２射影変換映像の前記一部であり、
さらに前記第１射影変換又は前記第２射影変換では、前記遠方平面位置及び前記地面位置が、前記車両の走行速度に応じた設定に応じて調整され、
前記合成部を含む映像処理装置には、記録再生装置が接続されており、前記車両の特別に設定された走行スピード、振動、音などに応答して前記合成部における映像信号が当該記録再生装置に記録される、電子ミラーの映像合成装置が提供される。

【図面の簡単な説明】

【0008】

【図1】図１は、車を示す平面図である。

【図2】図２は、図１の車を示す側面図である。

【図3】図３は、一実施形態が適用された電子ミラーシステムのブロック構成図である。

【図4】図４は、図３の電子ミラーシステムの基本的な一動作例を説明するために示したイメージ図である。

【図5】図５は、図３の電子ミラーシステムの射影変換を伴う一動作例を説明するために示したイメージ図である。

【図6】図６は、射影変換のための基本的原理を説明するために示した説明図である。

【図7】図７は、射影変換のための行列式の例を示す説明図である。

【図8】図８は、車則面の映像の輝度平均化処理を説明するために示した説明図である。

【図9】図９は、完全死角領域に合成される画像を生成する他の例を示す説明図である。

【図10】図１０は、完全死角領域に疑似画像が合成された例を示す説明図である。

【図11】図１１は、完全死角領域に疑似画像が合成された他の例を示す説明図である。

【図12】図１２は、道路を走行する車が速度に応じて車から基準平面位置（遠方平面位置と、地面位置）までの距離が変化する例を示す説明図である。

【図13】図１３は、車から基準（仮想）平面位置までの距離が延長されて遠方平面位置となった場合の電子ミラーの映像例を示す図である。

【図14】図１４は、車から基準（仮想）平面位置までの距離が短縮されて近距離平面位置となった場合の電子ミラーの映像例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施の形態について図面を参照して説明する。図１は車１００を平面的に示している。図２は図１の車を側面から示している。

【0010】

車１００は、後方のトランクルームの上、或はナンバープレートの近くに第１カメラ１０１が配置されて、後方の風景を撮影可能である。また車１００は、サイドミラーの場所に、それぞれ第２カメラ１０２Ｒ，第３カメラ１０２Ｌが配置されて、これらも後方の風景を撮影可能である。

【0011】

上記したように、複数のカメラ１０１、１０２Ｒ、１０２Ｌはそれぞれ１台の車１００に対する取り付け位置が異なる。よって複数のカメラがそれぞれ車の後方の風景を撮影した場合、一方のカメラ１０１の視野Ｗ１によれば撮影可能な有効領域であっても、他方のカメラ１０２Ｒや１０２Ｌの視野（例えばＷ２）によれば撮影不可能な死角領域（無効領域＝視野Ｗ３）がある。

【0012】

つまり、本電子ミラーの映像合成装置の一実施形態によると、第１カメラ１０１は、第１位置（例えばトランクルーム位置）から、第１視野Ｗ１により第１風景の第１映像（リア映像）を取得する。第２カメラ１０２Ｒは、前記第１位置（トランクルーム位置）とは異なる第２位置（運転席の横方向のサイド位置、サイドドア位置）から、前記第１風景の方向に風景遮断物（自車側面）を一部に配置させた第２視野Ｗ２により、第２映像を取得する。このために第２映像の一部には、自車側面の映像が含まれている。

【0013】

ここで後述する映像処理装置２００は、第２映像の一部に第１映像の一部を補足映像として接続する。この場合、第２映像に含まれる風景遮断物（自車側部）の映像を半透明化映像に処理し、この半透明化映像に補足映像を重ねて表示する。また、半透明化映像の輪郭（つまり車のサイドの輪郭）の部分で第２映像と補足映像の境界を設けて、補足映像を第２映像に接続して第３映像を得る。

【0014】

上記した半透明化映像の領域に重ね表示される補足映像は、遠方平面位置に基づいて射影変換されたもと、前記遠方平面よりも撮影位置に近づいた地面位置に基づいて射影変換されたものが接続（或いは合成、或は繋ぎ合わせ）された映像である。

【0015】

さらに第１及び第２カメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、補足映像の上側領域が遠方平面位置に基づいて射影変換された映像であり、補足映像の下側領域が前記地面位置に基づいて射影変換された映像である。

【0016】

さらにまた、風景遮断物の映像は、複数フレームの輝度の平均化処理がなされて半透明化される。これにより、車のドア（ミラー効果を有する）に、隣を並走する車や、すれ違う車、ランプの光などが映り、画像化されるのを防止できる。

【0017】

また補足映像の下側領域には、周囲映像の色から近似された色の塗り込み映像が存在する。これにより、車の下側の部分（道路）が推定により表示され、画面全体としての安定感が得られる。

【0018】

図３は、上記した処理を行うための電気的処理ブロックを示している。図３において、１０１、１０２Ｒ、１０２Ｌは、それぞれ第１カメラ（リアカメラと称してもよい）、第２カメラ１０２Ｒ（右サイドカメラと称してもよい）、第３カメラ１０Ｌ（左サイドカメラと称してもよい）であり、各カメラ１０１、１０２Ｒ、１０２Ｌの撮影信号は、映像処理装置２００に入力される。

【0019】

即ち、第１カメラ１０１の撮影信号は、第１映像処理部２２１の映像切出し部２２１ａに入力する。第２カメラ１０２Ｒ（右サイドカメラと称してもよい）の撮影信号は、第２映像処理部２２２の映像切出し部２２２ａに入力し、第３カメラ１０２Ｌ（左サイドカメラと称してもよい）の撮影信号は、第３映像処理部２２３の映像切出し部２２３ａに入力する。

【0020】

上記の第１カメラ１０１、第２カメラ１０２Ｒ、第３カメラ１０２Ｌは、使用する映像領域よりも広い領域を含む広角領域映像を取得している。それぞれの切出し部２２１ａ、２２２ａ、２２２ｂは、それぞれ広角領域映像から、使用する使用映像領域を切出している。この切出し位置及び切出し領域は、車の速度、車の振動、ハンドル操作方向に応じて可変される場合もある。またユーザ操作により、その切出し位置及び又は切出し領域は、その通常設定位置を可変可能である。これは、映像の監視実験やテストを行う場合にも有効である。

【0021】

第１映像処理部２２１において、映像切出し部２２１ａが切出した映像信号は、射影変換部２２１ｂ、２２１ｃにおいて、射影変換された後、合成部２３０に入力される。射影変換部２２１ｂ、２２１ｃは、それぞれ射影のための基準位置が異なるが、第１カメラ１０１の視点位置を、第２カメラ１０２の視点位置に変換する。

【0022】

即ち、射影変換部２２１ｂ、２２１ｃは、遠方平面位置に基づいて射影変換された映像と、前記遠方平面よりも撮影位置に近づいた地面位置に基づいて射影変換された映像を得ることができ、この映像を補足映像として合成部２３０に出力する。

【0023】

一方、第２映像処理部２２２において、映像切出し部２２２ａが切出した映像信号は、射影変換部２２２ｂにおいて射影変換される。なおこの射影変換部２２２ｂの処理は、省略されることもある。また第３映像処理部２２３においても、映像切出し部２２３ａが切出した映像信号は、射影変換部２２３ｂにおいて射影変換される。この射影変換部２２３ｂの処理も、省略されることもある。射影変換部２２２ｂ、２２３ｂで変換される変換程度は、先の射影変換部２２１ｂ、２２１ｃで変換される変換程度よりも小さいことは明らかである。

【0024】

射影変換は、平面射影変換技術或いはホモグラフィ変換技術とも称され、ある視点（第１視点）から見た仮想平面の平面図形を、別の視点（第２視点）からみた仮想平面の平面図形に変換する技術である。

【0025】

上記した第２映像処理部２２２が取得した映像信号には、自車側面の映像（右側ドアの側面を後方向に向かって撮影した映像、つまり風景遮断物映像）が含まれる。同様に、第３映像処理部２２３が取得した映像信号には、自車側面の映像（左側ドアの側面を後方向に向かって撮影した映像、つまり風景遮断物映像）が含まれる。

【0026】

車に対する第２カメラ（サイドカメラ）１０２Ｒの取り付け位置は、決まっているので、第２映像内において風景遮断物映像の領域が、画角のどの領域に存在するかは予めわかっている。同様に、車に対する第３カメラ（サイドカメラ）１０２Ｌの取り付け位置は、決まっているので、第３映像内において風景遮断物映像の領域が、画角のどの領域に存在するかも予めわかっている。

【0027】

そこで、第２映像の一部に含まれる風景遮断物映像（自車右側面の映像）は、輝度平均化処理部２２２ｃにおいて、輝度の平均化処理が行われる。この平均化の理由は、車のドア（ミラー効果を有する）に、隣を並走する車や、すれ違う車、ランプの光などが映り、画像化されるのを防止するためである。同様に、第３映像の一部に含まれる風景遮断物映像（自車左側面の映像）は、輝度平均化処理部２２３ｃにおいて、輝度の平均化処理が行われる。

【0028】

次に、輝度平均化された第２映像の一部に含まれる風景遮断物映像（自車右側面の映像）は、半透明化処理部２２２ｄにおいて、半透明化処理される。また、輝度平均化された第３映像の一部に含まれる風景遮断物映像（自車左側面の映像）も、半透明化処理部２２３ｄにおいて、半透明化処理される。半透明化の程度は、電子コントローラ２５０からの情報で任意に制御可能であってもよい。

【0029】

さらに、半透明化処理部２２２ｄから出力された第２映像は、エッジ処理部２２２ｅに入力され、風景遮断物映像のエッジ（輪郭）処理を受けることができる。同様に半透明化処理部２２３ｅから出力された第３映像も、エッジ処理部２２３ｅに入力され、風景遮断物映像のエッジ（輪郭）処理を受けることができる。エッジ処理は、例えば、輪郭にラインを付ける、或は点線を付ける、などの処理（エッジラインの付加処理）である。

【0030】

なおエッジラインは、車の運転状況及び又は外部環境に応じて、その色、太さ、濃さなどの要素が種々変更される場合があるし、またユーザ操作により、これらの要素が調整される場合がある。

【0031】

例えば、車が後退運転されているときは、エッジをクリアにし、障害物と車側面或いは車進行方向との間隔を分かり易くすることができる。

【0032】

第１映像処理部２２１において上記処理を受けた第１映像信号と、第２映像処理部２２２において上記処理を受けた第２映像信号と、第３映像処理部２２３において上記処理を受けた第３映像信号とは、合成部２３０において合成される。

【0033】

電子コントローラ２５０は、車の速度情報Ｊ１、各種マニュアル操作情報Ｊ２、右折・左折・直進・後退の状態を示す方向情報Ｊ３、時間帯情報Ｊ４、ライト点灯情報、外気温度情報、室内温度情報、その他を把握している。

【0034】

速度情報Ｊ１は、例えば射影変換部２２１ｂ、２２１ｃ、２２２ｂ、２２３ｂにおいて、例えば、カメラの視点位置を変更するための基準となる基準平面（基準画像）とカメラとの間隔を自動調整するための調整情報として利用することができる。

【0035】

マニュアル操作情報Ｊ２は、例えば、画像の切出しエリアの基準位置を調整するための情報、射影変換を行うための基準平面を初期設定或いは調整するための情報などがある。

【0036】

また、方向情報Ｊ３は、例えば、映像の切出しエリアの拡張処理、拡大処理、切出しエリアの位置修正処理、半透明化処理、エッジの太さ、色、及び濃度などの変更処理、などを行うときの制御情報として利用可能である。例えば、車が前進しているときは、半透明化の透明度が高く（薄く）する。また車が左旋回、或は右旋回しているときはエッジが太く濃くなり、車の横に位置する障害物との距離をドライバーが認識しやすくする。

【0037】

また時間帯情報Ｊ４は、カメラの感度調整を行う場合に利用可能である。周囲が暗いときはカメラの撮影信号の検出感度を高くし、周囲が明るいときは、該検出感度を抑えるなどすることができる。

【0038】

さらにまたセンサ情報としては、各種の情報がある。外の湿度情報、外気温度情報などもある。これらのセンサ情報を利用することにより、よりカメラから適切な映像を得ることができる。例えば、外が雨であれば、カメラの横に設けた圧縮空気クリーナでレンズ周りの水やほこりを除去してもよい。このために、カメラのレンズ前に圧縮空気を吹き付ける吹出し口があってもよい。さらには、雪などがカメラの前方に付着すると氷結することがあるので、カメラのレンズ前にヒータをさらに設けてもよい。

【0039】

本システムでは、表示器２２６は、車の室内であって、ドライバーが見やすい位置に配置される。なお後部座席の前や助手席の前にドライバー以外の人が見れるように表示器が増設されていてもよい。

【0040】

また図３の映像処理装置２００の内部或いはその一部は、ソフトウエアにより実現されることが可能である。また前記内部或いはその一部は、記憶媒体に記録されたソフトウエアにより動作する処理装置であってもよい。さらには、当該ソフトウエアは、外部から通信手段により伝送されるものであり、前記内部或いはその一部は、該ソフトウエアを受信して実行する装置であってもよい。また上記映像処理装置２００には、記録再生装置が接続されていてもよく、例えば特別に設定された走行スピード、振動、音などに応答して映像信号が記録再生装置に記録されてもよい。

【0041】

図４は、映像合成の基本的処理を説明するための説明図である。リア映像４１０は、リアカメラ１０１が撮像した映像から切出されたリア映像である。サイド映像４２０は、右サイドカメラ１０２Ｒが撮像した映像から切り出されたサイド映像である。

【0042】

図４は、リア映像４１０と右サイドカメラ１０２Ｒからのサイド映像４２０を示しているが、実際の装置は、左側の左サイドカメラ１０２Ｌからのサイド映像も使用される。ここでは、説明を簡単化するために、リア映像４１０とサイド映像４２０との関係で、実施形態を説明する。

【0043】

上記のサイド映像４２０の一部（左側）には、車の側面の映像Ａ０（自車側面映像或いは風景遮断物の映像と称してもよい）が映り込んでいる。この移り込み領域（映像Ａ０の領域）は、右サイドカメラ１０２Ｒにとっては、車の後方風景に対する死角領域である。

【0044】

そこで、この映像Ａ０の領域を透かし処理（半透明化処理部２２２ｄによる半透明化処理）して、リア映像４１０の一部の映像（映像Ａ０に対応する領域の映像）を重ね、合成部２３０にて合成する。

【0045】

すると合成映像４３０に示すように、半透明化された風景遮断物映像に対して、リア映像の一部が重ねて表示される。合成映像４３０において、エッジライン４３５は、半透明化された映像Ａ０と、右サイドカメラ１０２Ｒが撮影した映像との境界（繋ぎ位置、接続位置、輪郭などと称してもよい）を表している。このエッジライン４３５は、エッジ処理部２２２ｅにおいて、付加される。

【0046】

このエッジライン４３５は、前進運転或いは後退運転するときに、自車の車幅をドライバーが認識するときに有用である。このエッジライン４３５は、例えば屋外が暗いとき、明るいときなど周囲状況に応じて、そのライン幅、ライン色、輝度（濃さ）などが可変されてもよい。これにより、ドライバーの注意を促すことも可能となる。

【0047】

さらに合成映像４３０において、半透明化された映像Ａ０の上部領域Ａ１と下部領域Ａ２との間に非表示ライン４３２が示されている。このライン４３２は、映像として表示されるものではなく、説明の都合で示している。

【0048】

尚、図４或いは後で説明する図面においてもそうであるが、多数のひし形の図形が示されているが、この図形は実際の映像には表示されない。このひし形の図形は、視点変換が行われた結果、四角形が、ひし形に変形したことを理解させるために示したものである。実際の映像には、この多数のひし形は、表示されない。

【0049】

先の上部領域Ａ１と下部領域Ａ２の各映像は、リアカメラ１０１の視点によるリア映像４１０が、右サイドカメラ１０２Ｒの視点の映像に視点変換された映像である。この場合、上部領域Ａ１の変換基準位置は、遠方平面位置４１２であり、下部領域Ａ２の変換基準位置は、遠方平面位置４１２よりも、カメラ位置に近づいた地面位置４１３である。この遠方平面位置４１２と地面位置４１３は、右サイドカメラ１０２Ｒのサイド映像４２０では、図示の４２２、４２３に対応する。

【0050】

図５は、リアカメラ１０１の視点によるリア映像４１０が、先の遠方平面位置に基づいて右サイドカメラ１０２Ｒの視点の映像に射影変換された第１射影変換映像４１０Ｈを示している（図４の射影変換部２２１ｂにおいて変換処理される）。またリアカメラ１０１の視点によるリア映像４１０が、先の遠方平面位置に基づいて右サイドカメラ１０２Ｒの視点の映像に射影変換された第２射影変換映像４２０Ｈを示している（図３の射影変換部２２１ｃにおいて変換処理される）。

【0051】

なお上記の遠方平面位置、地面平面位置は、運転者が、運転する前にマニュアルにより、位置調整してもよい。また後述するように、予め設定された位置に車の速度に応じて自動的に変化する方式が採用されてもよい。

【0052】

上記第１射影変換映像４１０Ｈの一部（Ｐ１を含む周辺）及び第２射影変換映像４２０Ｈの一部（Ｐ２を含む周辺）が切り取られて、それぞれ半透明化された映像Ａ０の上部領域Ａ１と下部領域Ａ２とに合成される。この場合、射影変換映像４１０Ｈと射影変換映像４２０Ｈから上部領域Ａ１と下部領域Ａ２が切り取られる場合、各領域の映像及び、これらの映像と第２カメラのサイド映像に映像が自然に繋がるように上部領域Ａ１と下部領域Ａ２が切り取られる。

【0053】

さらに右サイドカメラ１０２Ｒのサイド映像４２０において風景遮断物の映像の領域には、リアカメラ１０１の死角領域も存在する。つまり両カメラの死角領域が存在する。

【0054】

この死角領域は、完全死角領域４３３である。この領域は、車の後部の下の領域（通常は道路面）に相当する。図５では、合成映像４２０の左下に示されている。この完全死角領域４３３は、映像が無いために、何らかの処理を行わない場合、真っ暗、或は真っ白の映像となる可能性がある。

【0055】

そこで、本システムでは、この領域に対しては、例えば、完全死角領域４３３の周囲の映像の色或いは類似する色の映像データを充填して補間している。

【0056】

つまり本システムは、リアカメラ１０１、右サイドカメラ１０２Ｒ、左サイドカメラ１０２Ｌが撮像した映像をできるだけ有効に活用している。

【0057】

図６は、視点を変換するときの考え方を示している。例えば、視点Ｃ１が第１カメラの視点であり、視点Ｃ２が第２カメラの視点であるとする。まず、視点Ｃ１の基準平面Ｐ１の画素Ａ１―Ｄ１を、仮想平面Ｐの画素Ａ－Ｄに一旦置き換える。次に、仮想平面Ｐの画素Ａ－Ｄを、視点Ｃ２の第２カメラの仮想平面Ｐ２の画素Ａ２－Ｄ２に変換する。

【0058】

ここで、仮想平面Ｐ１，Ｐ２が同じ位置（先の地面位置）であれば、第１カメラで撮影した地面の映像を、第２カメラで撮像した映像の如く変換することができる。

【0059】

例えば、平面Ｐ上に、ある４つの点Ａ-Ｄがあるとき、これらの各点は、視点Ｃ１から撮影した映像では仮想平面Ｐ１上のＡ１-Ｄ１に、視点Ｃ２から撮影した映像では仮想平面Ｃ２上のＡ２ーＤ２にそれぞれ対応する。

【0060】

ここで、Ａ１-Ｄ１とＡ２-Ｄ２の対応関係が決定されれば、第１カメラで撮影した映像を第２カメラで撮影した映像の如く変換することができる。この対応関係は射影変換（またはホモグラフィ変換）と呼ばれ、行列で表現することができる。

【0061】

図７はその変換行列Ｈを示したものである。いま、仮想平面Ｐ１上でのＡ１－Ｄ１の座標を(ｘｉ, ｙｉ, １)としたとき、この変換行列Ｈにより仮想平面Ｐ２での座標(ｕｉ, ｖｉ, １)に変換されることを示している。ここで、ｉは０, １, ２, ３を意味し、座標は２次元平面に１成分を加えた３次元の同次座標系で表現している。

【0062】

すなわち、Ａ１-Ｄ１とＡ２-Ｄ２の各座標はそれぞれ以下のように対応する。

【0063】

Ａ１: (ｘ０, ｙ０, １)、Ｂ１: (ｘ１, ｙ１, １)、Ｃ１: (ｘ２, ｙ２, １)、Ｄ１: (ｘ３, ｙ３, １)Ａ２: (ｕ０, ｖ０, １)、Ｂ２: (ｕ１, ｖ１, １)、Ｃ２: (ｕ２, ｖ２, １)Ｄ２: (ｕ３, ｖ３, １),
図７において、(ｘｉ, ｙｉ, １)と(ｕｉ, ｖｉ, １)が既知であれば、行列成分ｈ０－ｈ７を求めることができる。

【0064】

変換行列Ｈの成分は８であるので、４つの点の対応関係がわかればｈ０－ｈ７が求まることになる。ｉ＝０，１，２，３に対して式を展開し、ｈ０－ｈ７を括りだしたものを図７(図７の下の方の行列式)に示す。この式によりｈ０－ｈ７を求めることができる。

【0065】

この変換行列Ｈにより、視点ｃ１からみた仮想平面Ｐ１の任意の点を視点ｃ２から見た仮想平面Ｐ２上の点に変換することが可能となる。

【0066】

図８は、図３で示した輝度平均化部２２２ｃ、２２３ｃによりの輝度平均化された映像の例を示している。例えば映像５１０に示すように、車の右側をバスが通過するものとする。この場合、自車側面がミラーのように機能しバスが映る。この状態が、そのまま右サイドカメラ１０２Ｒにより、撮像されると、右サイドカメラ１０２Ｒが撮影した映像にもバスの映像Ｂ１が存在する（映像５１０、５１１参照）。

【0067】

車は、走行しているので映り込む映像は種々（バス、風景、家屋等）である。そこで、本システムでは、車の側面の映像Ｂ１の輝度を平均化した映像Ｂ１２とする（映像５１２を参照）。輝度を平均化した映像Ｂ１２を半透明化処理した場合は、映像５１３に示すように、映り込んだ映像は、半透明化映像に対して大きな影響がなくなる。映像５１１の場合は、輝度平均化処理を行わない場合の映像であり、半透明化映像の部分に邪魔となる映像が映り込む。しかし本システムによると、半透明化部分の映像を見やすくすることができる。

【0068】

図９は、完全死角領域４３３を埋める（或いは塗りつぶす）場合の、他の実施形態を示す説明図である。車に前方を撮影する第４カメラが存在した場合、その撮影した映像の一部映像４６６を合成映像４３０の一部に埋め込むことができる。この場合、前方カメラが撮影した映像を切出す切出し部と、切出した映像の前後方向を変換する変換部と、時間調整部とが用いられる。そして時間調整された一部映像４６６が疑似映像として、合成部２３０に送られ、完全死角領域４３３の映像として用いられる。

【0069】

図１０は、標準のカメラを用いた電子ミラーにおいて、合成映像４３０が表示部２２６に表示された例である。図１０では、右半分側の映像を示しているが、表示部２２６には、左半分側の映像も表示される。左半分側の映像においても半透明化映像に補足映像が重ねて表示され、半透明化映像の輪郭の部分でリアカメラからの映像と補足映像との境界を示すラインが表示される。

【0070】

図１１は、視野角が標準よりも広いパノラマ撮影が可能な第１、第２、第３カメラを用いた場合に得られる合成映像４３０Ａの例を示している。この合成映像４３０Ａにおいても完全死角領域４３１Ａが生じるので、この部分が周囲の色或いは模様と同様な色、或いは模様により埋められる。

【0071】

図１２は、道路を走行する車５０２、５０２を平面的に示している。車５０２は、速度に応じて、車から基準平面位置（例えば、図４で示した遠方平面位置と、地面位置）までの距離が自動調整される場合がある。速度が遅いときは（例えば０Ｋｍ／Ｈ－３５Ｋｍ／Ｈ）、比較的近い後続車（例えば車５０３）に注意し、速度が中速のときは（例えば３５Ｋｍ／Ｈ―６５Ｋｍ／Ｈ上）のときはさらに遠い後続車に注意し、それ以上の高速のときは（例えば６５Ｋｍ／Ｈ以上）のときはさらに遠い後続車に注意したい場合がある。

【0072】

このような場合、ユーザの設定により、車から基準平面位置（例えば、図４で示した遠方平面位置と、地面位置）までの距離が自動調整されてもよい。

【0073】

図１３は、基準平面位置（仮想平面位置）が遠い場合の合成映像４３０の一例であり、図１４は、基準平面位置が近い場合の合成映像４３０の一例である。図１３の例では、基準平面位置が遠い場合、遠方後方のビルディングの縦方向のラインは、第１映像と第２映像とで一致している。しかし、近くの車の映像に関しては、第１映像と第２映像との接続部で、段差が生じる。

【0074】

これに対して、図１４に示すように、基準平面位置（仮想平面位置）が近い場合、遠方後方のビルディングの縦方向のラインは、第１映像と第２映像とでずれ（段差）が生じる。しかし、近くの車の映像に関しては、第１映像と第２映像との接続部ではスムーズな接続となる。

【0075】

したがって、車の速度に応じて、仮想平面位置を調整することにより、運転者が注目したい距離の後方物体を明確にすることができる。

【0076】

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また特許請求の範囲に記載された各要素を分離、或は結合することも本発明に含まれる。

【符号の説明】

【0077】

１００・・・車、１０１・・・第１カメラ、１０２・・・第２カメラ・・・１０２Ｒ、第３カメラ・・・１０２Ｌ、２００・・・映像処理装置、２２１ａ，２２２ａ，２２３ａ・・・映像切出し部、２２１ｂ、２２１ｃ，２２２ｂ，２２３ｂ・・・射影変換部、２２２ｃ，２２３ｃ・・・輝度平均化部、２２２ｄ，２２３ｄ・・・半透明化処理部、２２２e，２２３e・・・エッジ処理部、２３０・・・合成部、２２６・・・表示部、２５０・・・電子コントローラ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】