特許 7304922 周辺監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-29

(45)【発行日】2023-07-07

(54)【発明の名称】周辺監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230630BHJP

   B60R 1/26 20220101ALI20230630BHJP

   B60R 1/20 20220101ALI20230630BHJP

【ＦＩ】

H04N7/18 J

B60R1/26 100

B60R1/20 100

【請求項の数】 3

(21)【出願番号】P 2021180137

(22)【出願日】2021-11-04

(62)【分割の表示】P 2018016819の分割

【原出願日】2018-02-01

(65)【公開番号】P2022009997

(43)【公開日】2022-01-14

【審査請求日】2021-12-01

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(72)【発明者】

【氏名】山本 耕太

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１５－２１０６４９（ＪＰ，Ａ）

【文献】特許第５４９５０７１（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２６

Ｂ６０Ｒ １／２０

(57)【特許請求の範囲】

【請求項1】

自動車に搭載される周辺監視システムであって、
ディスプレイと、
自動車の後方の、当該自動車のリアバンパーを含む範囲を撮影するカメラと、
前記カメラが撮影した画像である撮影画像から生成した、前記カメラが撮影する範囲より狭い範囲の前記自動車の周辺のようすを表す周辺画像を前記ディスプレイに表示する周辺画像表示手段と、
少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、
前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを有し、
前記周辺画像は、当該自動車のリアバンパーの画像部分を下部に含み、
前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の下部の前記リアバンパーの画像部分に少なくとも部分的に重なるように前記小窓を配置し、当該小窓に前記障害物画像を表示することを特徴とする周辺監視システム。

【請求項2】

請求項１記載の周辺監視システムであって、
前記障害物画像表示手段は、
前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、前記小窓の周辺画像上の配置位置を、前記障害物方向が左方向であるときには周辺画像上の左よりの位置とし、前記障害物方向が右方向であるときには周辺画像上の右よりの位置とすることを特徴とする周辺監視システム。

【請求項3】

請求項１または２記載の周辺監視システムであって、
前記障害物画像抽出手段は、前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分のみを障害物画像として抽出することを特徴とする周辺監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車周辺の障害物をユーザに提示する技術に関するものである。

【背景技術】

【0002】

自動車周辺の障害物をユーザに提示する技術としては、自動車の後方を撮影するバックカメラの撮影画像の一部の領域である狭視野領域の画像である注目撮影画像を表示装置に表示すると共に、撮影画像の狭視野領域外に含まれる障害物の画像を抽出し、表示している注目撮影画像上に合成表示する技術が知られている（たとえば、特許文献１）。

【0003】

また、この技術では、注目撮影画像上の障害物の画像の合成位置を、上下方向について注目撮影画像の上部、左右方向について障害物が存在している方向側としている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許５４９５０７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した、自動車の後方を撮影するバックカメラの撮影画像の一部の領域である狭視野領域の画像である注目撮影画像上の、上下方向について注目撮影画像の上部、左右方向について障害物が存在している方向側の位置に、障害物の画像を合成して表示する技術によれば、狭視野領域の設定如何によっては、障害物の画像によって注目撮影画像のユーザにとって注意を要する画像部分（たとえば、他車両の像）が隠されてしまうことがある。

【0006】

そこで、本発明は、車両周辺を撮影するカメラの撮影画像から抽出した障害物の画像部分を、撮影画像から生成した周辺のようすを表す画像上に、ユーザにとって注意を要する画像部分を隠蔽しないように合成して表示する周辺監視システムを提供することを課題とする。

【課題を解決するための手段】

【0007】

前記課題達成のために、本発明は、自動車に搭載される周辺監視システムに、ディスプレイと、自動車の後方の、当該自動車のリアバンパーを含む範囲を撮影するカメラと、前記カメラが撮影した画像である撮影画像の少なくとも一部から生成した、前記自動車の周辺のようすを表す周辺画像を前記ディスプレイに表示する周辺画像表示手段と、少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを備えたものである。ここで、前記周辺画像は、当該自動車のリアバンパーの画像部分を下部に含む。また、前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の下部の前記リアバンパーの画像部分に少なくとも部分的に重なるように前記小窓を配置し、当該小窓に前記障害物画像を表示する。

【0008】

このような周辺監視システムによれば、ディスプレイに表示されている周辺画像の下部の前記リアバンパーの画像部分に少なくとも部分的に重なるように前記小窓を配置して障害物画像を表示するので、障害物画像の表示によって、周辺画像のユーザにとって注意を要する画像部分が隠蔽されてしまうことが抑止される。

【0009】

また、前記課題達成のために、本発明は、自動車に搭載される周辺監視システムに、ディスプレイと、自動車の周辺を撮影するカメラと、前記カメラが撮影した画像である撮影画像の少なくとも一部から前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成し、生成した俯瞰画像に、前記自動車を表す図形を合成した周辺画像を前記ディスプレイに表示する周辺画像表示手段と、少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを備えたものである。ここで、前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の前記自動車を表す図形上に前記小窓を配置し、当該小窓に前記障害物画像を表示する。

【0010】

このような周辺監視システムによれば、ディスプレイに表示されている周辺画像の自動車を表す図形上に小窓を配置して障害物画像を表示するので、障害物画像の表示によって、周辺画像のユーザにとって注意を要する画像部分が隠蔽されてしまうことが抑止される。

【0011】

ここで、これらの周辺監視システムは、前記障害物画像表示手段において、前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、前記小窓の周辺画像上の配置位置を、前記障害物方向が左方向であるときには周辺画像上の左よりの位置とし、前記障害物方向が右方向であるときには周辺画像上の右よりの位置とするように構成してもよい。

【0012】

なお、以上の周辺監視システムは、前記障害物画像抽出手段において、前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分のみを障害物画像として抽出するように構成してもよい。

【発明の効果】

【0013】

以上のように、本発明によれば、車両周辺を撮影するカメラの撮影画像から抽出した障害物の画像部分を、撮影画像から生成した周辺のようすを表す画像上に、ユーザにとって注意を要する画像部分を隠蔽しないように合成して表示する周辺監視システムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る周辺監視システムの構成を示すブロック図である。

【図2】本発明の実施形態に係る周辺監視システムのディスプレイとバックカメラの配置を示す図である。

【図3】本発明の実施形態に係る周辺監視システムの表示モードを示す図である。

【図4】本発明の実施形態に係る障害物情報合成処理を示すフローチャートである。

【図5】本発明の実施形態に係る周辺監視システムの表示例を示す図である。

【図6】本発明の実施形態に係る周辺監視システムの他の表示例を示す図である。

【図7】本発明の実施形態に係る周辺監視システムの他の表示例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る周辺監視システムの構成を示す。
周辺監視システムは自動車に搭載されているシステムであり、図示するように、周辺監視システムは、ディスプレイ１、合成画像生成部２、障害物検出部３、障害物画像生成部４、ビュー変換処理部５、画像メモリ６、自動車後方を撮影するバックカメラ７、自動車の変速器の状態やシフトレバーの位置等から自動車が後進状態にあるかどうかを検出する後進検出センサ８、入力装置９、制御部１０を備えている。

【0016】

ここで、このような周辺監視システムは、ＣＰＵやメモリや各種周辺装置を備えたコンピュータを用いて構成されるものであってよく、この場合、合成画像生成部２、障害物検出部３、障害物画像生成部４、ビュー変換処理部５、制御部１０などは、ＣＰＵが所定のコンピュータプログラムを実行することにより具現化するものであってよい。

【0017】

ここで、図２ａに示すように、ディスプレイ１は、車内のフロントシート前方の左右方向について中央の位置においてダッシュボード内に設置されている。
また、バックカメラ７は、魚眼レンズや広角レンズ等の水平方向に画角の広いレンズを備えたカメラであり、図２ｂに示すように、自動車の後部に設置され、自動車後方を撮影する。

【0018】

このような構成において、制御部１０は、後進検出センサ８が自動車が後進状態にあることを検出すると後進モードを設定し、後進検出センサ８が自動車が後進状態にあることを検出しなくなったならば後進モードを解除する。

【0019】

そして、後進モードが設定されている期間中、バックカメラ７が撮影した撮影画像は画像メモリ６に格納され、障害物検出部３は、画像メモリ６に格納された撮影画像に対して画像認識処理を施して、撮影画像中の、他車両などの障害物の像の領域を検出する。また、後進モードが設定されている期間中、障害物画像生成部４は、障害物検出部３が検出した障害物の像の領域に従って、撮影画像中の障害物の像の画像部分を障害物画像として抽出する。

【0020】

次に、後進モードが設定されている期間中、ビュー変換処理部５は、表示モードに応じた変換処理を施した画像である後方画像を生成する。
ここで、制御部１０は、入力装置９を介したユーザ操作に従って、表示モードとして、ワイドビュー、ノーマルビュー、トップビューのいずれかを設定する。
そして、ビュー変換処理部５は、表示モードがワイドビューのときには、バックカメラ７で図３ａ１に示すバックカメラ７の画角θ１の範囲を撮影した画像である撮影画像を、図３ａ２に示すように、そのまま後方案内画像として生成する。

【0021】

また、ビュー変換処理部５は、表示モードがノーマルビューのときには、バックカメラ７の撮影画像から、図３ｂ１に示すバックカメラ７の画角θ１内の角度θ２の範囲を撮影した画像部分を抽出して歪みを補正した、図３ｂ２に示すような画像を後方画像として生成する。

【0022】

また、ビュー変換処理部５は、表示モードがトップビューのときには、バックカメラ７の撮影画像から、図３ｃ１に示す自動車後方の領域Ａの範囲を撮影した画像部分を抽出し、抽出した画像部分を、視点変換処理によって、領域Ａの範囲を上方より観察したようすを表す画像に変換した、図３ｃ２に示すような画像を後方画像として生成する。

【0023】

ここで、図３ａ２、ｂ２、ｃ２に示すように、本実施形態では、各表示モードにおいて、自車のリアバンパーの像３０１が後方画像の下部に表れるように、バックカメラ７の配置や、ノーマルビューやトップビューにおいて撮影画像から抽出し後方画像に含める範囲を設定している。

【0024】

また、後進モードが設定されている期間中、合成画像生成部２は、ビュー変換処理部５が生成した後方画像に、図３ａ３、ｂ３、ｃ３に示す、車幅の延長線や自動車後端からの自動車の前後方向に所定距離となる地点を後方画像上で表すガイド図形３０２を合成した後方案内画像を生成し、ディスプレイ１に表示する。

【0025】

また、後進モードが設定されている期間中、合成画像生成部２は、障害物の情報をユーザに提示するために、障害物情報合成処理を行う。
以下、この合成画像生成部２が行う障害物情報合成処理について説明する。
図４に、この障害物情報合成処理の手順を示す。
図示するように、合成画像生成部２は、障害物情報合成処理において、表示モードを調べる（ステップ４０２、４０４、４０６）。
そして、表示モードがワイドビューであるときには（ステップ４０６）、まず、後述する検知枠の表示が行われているときには、これを消去する（ステップ４１２）。そして、障害物検出部３が障害物を検知しているかどうかを調べ（ステップ４１４）、検知していなければ、ステップ４０２からの処理に戻る。

【0026】

一方、障害物検出部３が障害物を検知している場合には（ステップ４１４）、障害物検出部３が検出している撮影画像中の障害物の像の領域に基づいて、後方案内画像上において、後方案内画像中の障害物の像の領域を囲む枠である検知枠を、ディスプレイ１に表示されている後方案内画像上に合成表示する（ステップ４１６）。そして、ステップ４０２からの処理に戻る。

【0027】

このような処理によれば、表示モードがワイドビューであるときには、他車などの障害物の像がバックカメラ７の撮影画像に含まれているときには、図５ａ１、図５ａ２に示すように、ディスプレイ１に表示されている後方案内画像上に、後方案内画像中の障害物の像の部分を囲む検知枠５０１が合成表示される。そして、この検知枠５０１により、ユーザの障害物への注意が喚起される。

【0028】

図４に戻り、次に、表示モードがノーマルビューであるときには（ステップ４０４）、まず、後述する小窓の表示が行われているときには、これを消去する（ステップ４２２）。そして、障害物検出部３が検出した障害物の像の領域であって、当該領域のｎ％以上が後方案内画像の内に含まれていない障害物の像の領域が存在するかどうかを調べる（ステップ４２４）。ｎ％としては、領域のｎ％以上が後方案内画像の内に含まれていれば、障害物の像のおおよその部分が、後方案内画像中に表れることとなる値を設定する。具体的には、たとえば、ｎ％としては、80%≦ｎ％≦100％）を満たす値を設定する。

【0029】

そして、領域のｎ％以上が後方案内画像の内に含まれていない障害物の像の領域が存在しない場合には（ステップ４２４）、ステップ４０２からの処理に戻る。
一方、領域のｎ％以上が後方案内画像の内に含まれていない障害物の像の領域が存在する場合には（ステップ４２４）、撮影画像から、歪みを補正した障害物の像を含む所定サイズの矩形の画像を障害物画像として生成し、後方案内画像上に配置した所定サイズの小窓（子画面、ワイプ）中に表示する（ステップ４２６）。ここで、小窓を配置する後方案内画像上の位置は、上下方向について下部とする。また小窓を配置する後方案内画像上の位置は、左右方向について、その障害物の像の領域が存在する方向側端の位置、すなわち、その障害物の像の領域が自動車の左側の領域であれば、後方案内画像上の左側端の位置、右側の領域であれば右側端の位置とする。

【0030】

そして、ステップ４０２からの処理に戻る。
このような処理によれば、表示モードがノーマルビューであるときに、後方案内画像によっておおよその部分が表れていない障害物が、バックカメラ７の撮影画像中に含まれている場合には、図５ｂ１に示すように、障害物画像５０２が後方案内画像上に配置した小窓内に合成表示される。ここで、図５ｂ１は、障害物が自動車の右側にある場合を示しており、この場合、図示するように、障害物画像５０２が表示される小窓の位置は、後方案内画像の右下隅となる。

【0031】

そして、このような小窓内の障害物画像５０２の表示によって、障害物画像５０２が表す障害物が、自動車の右側に存在することがユーザに提示される。
そして、その後、図５ｂ２に示すように、障害物のおおよその部分が後方案内画像中に表れるようになると小窓による障害物画像５０２の表示は消去される。また、障害物の像がバックカメラ７の撮影画像中に含まれなくなった場合にも、小窓による障害物画像５０２の表示は消去される。

【0032】

なお、図５ｂ３は、障害物が自動車の左側にあるときの、障害物画像５０２の表示を表している。図示するように、この場合には、障害物画像５０２が表示される小窓は、後方案内画像の左下隅に配置され、小窓内の障害物画像５０２によって、障害物画像５０２が表す障害物が自動車の左側に存在することがユーザに提示される。

【0033】

ここで、以上のように、本実施形態では、表示モードがノーマルビューであるときには、障害物画像５０２を表示する小窓を後方案内画像の下部の、おおよそ自車のリアバンパーの像３０１が表れる部分に配置しているので、障害物画像５０２によって、後方案内画像中の障害物の画像部分等のユーザにとって注意を要する画像部分が隠蔽されてしまうことは抑制される。

【0034】

図４に戻り、次に、表示モードがトップビューであるときには（ステップ４０２）、小窓の表示が行われているときには、これを消去する（ステップ４３２）。そして、障害物検出部３が検出した障害物の像の領域であって、全体が後方案内画像外に含まれている障害物の像の領域、すなわち、部分的にも後方案内画像の内に含まれていいない障害物の像の領域が存在するかどうかを調べる（ステップ４３４）。

【0035】

そして、全体が後方案内画像の外に含まれている障害物の像の領域が存在しない場合には（ステップ４３４）、ステップ４０２からの処理に戻る。
一方、全体が後方案内画像の外に含まれている障害物の像の領域が存在する場合には（ステップ４３４）、撮影画像から、歪みを補正した障害物の像を含む矩形の画像を障害物画像５０２として生成し、後方案内画像上に配置した所定サイズの小窓（子画面、ワイプ）中に表示する（ステップ４３６）。ここで、小窓を配置する後方案内画像上の位置は、上下方向について中央とする。また、小窓を配置する後方案内画像上の位置は、左右方向について、その障害物の像の領域が存在する方向側端の位置とする。

【0036】

そして、ステップ４０２からの処理に戻る。
このような処理によれば、表示モードがトップビューであるときに、後方案内画像に表れていない障害物が、バックカメラ７の撮影画像中に含まれている場合には、図５ｃ１に示すように、障害物画像５０２が後方案内画像上に配置した小窓内に表示される。ここで、図５ｃ１は、障害物が自動車の右側にある場合を示しており、この場合、図示するように、障害物画像５０２が表示される小窓の位置は、後方案内画像上の上下方向について中央の、左右方向について右端の位置となる。

【0037】

そして、このような小窓内の障害物画像５０２の表示によって、障害物画像５０２が表す障害物が、自動車の右側に存在することがユーザに提示される。
そして、その後、図５ｃ２に示すように、障害物の部分が後方案内画像中に表れるようになると小窓による障害物画像５０２の表示は消去される。また、障害物の像がバックカメラ７の撮影画像中に含まれなくなった場合にも、小窓による障害物画像５０２の表示は消去される。

【0038】

なお、図５ｃ３は、障害物が自動車の左側にあるときの、障害物画像５０２の表示を表している。図示するように、この場合には、障害物画像５０２が表示される小窓は、後方案内画像上の上下方向について中央の、左右方向について左端の位置に表示され、小窓内の障害物画像５０２によって、障害物画像５０２が表す障害物が、自動車の左側に存在することがユーザに提示される。

【0039】

ここで、以上のように、本実施形態では、表示モードがトップビューであるときには、障害物画像５０２を後方案内画像の左右端の、自車の後進の進路上に重ならない位置に表示しているので、障害物画像５０２によって、ユーザにとって注意を要する、後方案内画像中の進路のようすを表す画像部分等が隠蔽されてしまうことは抑制される。

【0040】

以上、合成画像生成部２が行う障害物情報合成処理について説明した。
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、表示モードがノーマルビューであるときに、障害物画像５０２として障害物の像を含む矩形の画像を後方案内画像の左下隅や右下隅に配置した矩形の小窓内に表示したが、これは、図６ａ、ｂに示すように、小窓や障害物画像５０２の形状を、後方案内画像中の自車のリアバンパーの像３０１の小窓を配置する部分の形状に倣った形状としてもよい。

【0041】

また、以上の実施形態では、表示モードがトップビューであるときに、障害物画像５０２を表示する小窓の後方案内画像上の位置を、上下方向について中央の位置としたが、この小窓の上下方向の位置は、自車に対する障害物の方向に応じて変化させるようにしてもよい。

【0042】

すなわち、たとえば、図７ａ１に示すように、障害物７０１が自車７００の真後ろ方向にあるときには、図７ａ２に示すように、障害物画像５０２を表示する小窓の上下方向の位置を後方案内画像の上方の位置とし、図７ｂ１に示すように、障害物７０１が自車７００の斜め後ろ方向にあるときには、図７ｂ２に示すように、障害物画像５０２表示する小窓の上下方向の位置を後方案内画像の中央の位置とし、図７ｃ１に示すように、障害物７０１が自車７００の側方方向にあるときには、図７ｃ２に示すように、障害物画像５０２表示する小窓の上下方向の位置を後方案内画像の下方の位置とするようにしてもよい。

【0043】

ここで、このような表示位置の制御は、たとえば、図７ａ１、ｂ１、ｃ１に示す自車７００の左右方向に対する、障害物検出部３が検出した障害物の方向の角度γが０度から９０度に変化するに従って、障害物画像５０２表示する小窓の上下方向の位置が、後方案内画像の下端の位置から上端の位置まで変化するように、障害物画像５０２表示する小窓の上下方向の位置を定めることにより行うことができる。

【0044】

また、以上の実施形態は、表示モードがトップビューであるときに、図７ｄ１、ｄ２に示すように、後方案内画像に、自車の後部を表す図形７１０を合成して表示するものとし、障害物画像５０２の表示位置を、自車の後部を表す図形７１０に重なる位置とするようにしてもよい。

【0045】

なお、この場合にも、図７ｄ１、ｄ２に示すように、障害物の方向が自車の左方向であるときには自車の後部を表す図形７１０上の左よりの位置に、障害物の方向が自車の右方向であるときには自車の後部を表す図形７１０上の右よりの位置に障害物画像５０２を表示する小窓を配置する。

【0046】

また、以上の実施形態は、バックカメラ７を用いて自動車後方のようすをユーザに提示する場合について示したが、本実施形態は、任意方向について、カメラを用いて自動車の周辺のようすをユーザに提示する場合について同様に適用可能である。

【符号の説明】

【0047】

１…ディスプレイ、２…合成画像生成部、３…障害物検出部、４…障害物画像生成部、５…ビュー変換処理部、６…画像メモリ、７…バックカメラ、８…後進検出センサ、９…入力装置、１０…制御部、３０２…ガイド図形、５０２…障害物画像、７０１…検知枠。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】