(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022009997
(43)【公開日】2022-01-14
(54)【発明の名称】周辺監視システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20220106BHJP
B60R 1/26 20220101ALI20220106BHJP
B60R 1/20 20220101ALI20220106BHJP
【FI】
H04N7/18 J
B60R1/26 100
B60R1/20 100
【審査請求】有
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2021180137
(22)【出願日】2021-11-04
(62)【分割の表示】P 2018016819の分割
【原出願日】2018-02-01
(71)【出願人】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(72)【発明者】
【氏名】山本 耕太
【テーマコード(参考)】
5C054
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC12
5C054FE14
5C054FE18
5C054HA30
(57)【要約】
【課題】障害物の画像を、注意を要する画像部分を隠蔽しないように撮影画像に合成表示する「周辺監視システム」を提供する。
【解決手段】第1の表示モードで、バックカメラ7の視点から後方を観察したようすを表す後方案内画像を表示する(b1)。第1の表示モードでは、撮影画像から抽出した障害物の画像部分である障害物画像502を、後方案内画像の下部に含まれる自車のリアバンパーの像301が表れる部分に配置した小窓内に表示する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
自動車に搭載される周辺監視システムであって、
ディスプレイと、
自動車の後方の、当該自動車のリアバンパーを含む範囲を撮影するカメラと、
前記カメラが撮影した画像である撮影画像の少なくとも一部から生成した、前記自動車の周辺のようすを表す周辺画像を前記ディスプレイに表示する周辺画像表示手段と、
少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、
前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを有し、
前記周辺画像は、当該自動車のリアバンパーの画像部分を下部に含み、
前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の下部の前記リアバンパーの画像部分に少なくとも部分的に重なるように前記小窓を配置し、当該小窓に前記障害物画像を表示することを特徴とする周辺監視システム。
【請求項2】
自動車に搭載される周辺監視システムであって、
ディスプレイと、
自動車の周辺を撮影するカメラと、
前記カメラが撮影した画像である撮影画像の少なくとも一部から前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成し、生成した俯瞰画像に、前記自動車を表す図形を合成した周辺画像を前記ディスプレイに表示する周辺画像表示手段と、
少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、
前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを有し、
前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の前記自動車を表す図形上に前記小窓を配置し、当該小窓に前記障害物画像を表示することを特徴とする周辺監視システム。
【請求項3】
請求項1または2記載の周辺監視システムであって、
前記障害物画像表示手段は、
前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、前記小窓の周辺画像上の配置位置を、前記障害物方向が左方向であるときには周辺画像上の左よりの位置とし、前記障害物方向が右方向であるときには周辺画像上の右よりの位置とすることを特徴とする周辺監視システム。
【請求項4】
請求項1、2または3記載の周辺監視システムであって、
前記障害物画像抽出手段は、前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分のみを障害物画像として抽出することを特徴とする周辺監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車周辺の障害物をユーザに提示する技術に関するものである。
【背景技術】
【0002】
自動車周辺の障害物をユーザに提示する技術としては、自動車の後方を撮影するバックカメラの撮影画像の一部の領域である狭視野領域の画像である注目撮影画像を表示装置に表示すると共に、撮影画像の狭視野領域外に含まれる障害物の画像を抽出し、表示している注目撮影画像上に合成表示する技術が知られている(たとえば、特許文献1)。
【0003】
また、この技術では、注目撮影画像上の障害物の画像の合成位置を、上下方向について注目撮影画像の上部、左右方向について障害物が存在している方向側としている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した、自動車の後方を撮影するバックカメラの撮影画像の一部の領域である狭視野領域の画像である注目撮影画像上の、上下方向について注目撮影画像の上部、左右方向について障害物が存在している方向側の位置に、障害物の画像を合成して表示する技術によれば、狭視野領域の設定如何によっては、障害物の画像によって注目撮影画像のユーザにとって注意を要する画像部分(たとえば、他車両の像)が隠されてしまうことがある。
【0006】
そこで、本発明は、車両周辺を撮影するカメラの撮影画像から抽出した障害物の画像部分を、撮影画像から生成した周辺のようすを表す画像上に、ユーザにとって注意を要する画像部分を隠蔽しないように合成して表示する周辺監視システムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題達成のために、本発明は、自動車に搭載される周辺監視システムに、ディスプレイと、自動車の後方の、当該自動車のリアバンパーを含む範囲を撮影するカメラと、前記カメラが撮影した画像である撮影画像の少なくとも一部から生成した、前記自動車の周辺のようすを表す周辺画像を前記ディスプレイに表示する周辺画像表示手段と、少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを備えたものである。ここで、前記周辺画像は、当該自動車のリアバンパーの画像部分を下部に含む。また、前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の下部の前記リアバンパーの画像部分に少なくとも部分的に重なるように前記小窓を配置し、当該小窓に前記障害物画像を表示する。
【0008】
このような周辺監視システムによれば、ディスプレイに表示されている周辺画像の下部の前記リアバンパーの画像部分に少なくとも部分的に重なるように前記小窓を配置して障害物画像を表示するので、障害物画像の表示によって、周辺画像のユーザにとって注意を要する画像部分が隠蔽されてしまうことが抑止される。
【0009】
また、前記課題達成のために、本発明は、自動車に搭載される周辺監視システムに、ディスプレイと、自動車の周辺を撮影するカメラと、前記カメラが撮影した画像である撮影画像の少なくとも一部から前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成し、生成した俯瞰画像に、前記自動車を表す図形を合成した周辺画像を前記ディスプレイに表示する周辺画像表示手段と、少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを備えたものである。ここで、前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の前記自動車を表す図形上に前記小窓を配置し、当該小窓に前記障害物画像を表示する。
【0010】
このような周辺監視システムによれば、ディスプレイに表示されている周辺画像の自動車を表す図形上に小窓を配置して障害物画像を表示するので、障害物画像の表示によって、周辺画像のユーザにとって注意を要する画像部分が隠蔽されてしまうことが抑止される。
【0011】
ここで、これらの周辺監視システムは、前記障害物画像表示手段において、前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、前記小窓の周辺画像上の配置位置を、前記障害物方向が左方向であるときには周辺画像上の左よりの位置とし、前記障害物方向が右方向であるときには周辺画像上の右よりの位置とするように構成してもよい。
【0012】
なお、以上の周辺監視システムは、前記障害物画像抽出手段において、前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分のみを障害物画像として抽出するように構成してもよい。
【発明の効果】
【0013】
以上のように、本発明によれば、車両周辺を撮影するカメラの撮影画像から抽出した障害物の画像部分を、撮影画像から生成した周辺のようすを表す画像上に、ユーザにとって注意を要する画像部分を隠蔽しないように合成して表示する周辺監視システムを提供することができる。
【図面の簡単な説明】
【0014】
【
図1】本発明の実施形態に係る周辺監視システムの構成を示すブロック図である。
【
図2】本発明の実施形態に係る周辺監視システムのディスプレイとバックカメラの配置を示す図である。
【
図3】本発明の実施形態に係る周辺監視システムの表示モードを示す図である。
【
図4】本発明の実施形態に係る障害物情報合成処理を示すフローチャートである。
【
図5】本発明の実施形態に係る周辺監視システムの表示例を示す図である。
【
図6】本発明の実施形態に係る周辺監視システムの他の表示例を示す図である。
【
図7】本発明の実施形態に係る周辺監視システムの他の表示例を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について説明する。
図1に、本実施形態に係る周辺監視システムの構成を示す。
周辺監視システムは自動車に搭載されているシステムであり、図示するように、周辺監視システムは、ディスプレイ1、合成画像生成部2、障害物検出部3、障害物画像生成部4、ビュー変換処理部5、画像メモリ6、自動車後方を撮影するバックカメラ7、自動車の変速器の状態やシフトレバーの位置等から自動車が後進状態にあるかどうかを検出する後進検出センサ8、入力装置9、制御部10を備えている。
【0016】
ここで、このような周辺監視システムは、CPUやメモリや各種周辺装置を備えたコンピュータを用いて構成されるものであってよく、この場合、合成画像生成部2、障害物検出部3、障害物画像生成部4、ビュー変換処理部5、制御部10などは、CPUが所定のコンピュータプログラムを実行することにより具現化するものであってよい。
【0017】
ここで、
図2aに示すように、ディスプレイ1は、車内のフロントシート前方の左右方向について中央の位置においてダッシュボード内に設置されている。
また、バックカメラ7は、魚眼レンズや広角レンズ等の水平方向に画角の広いレンズを備えたカメラであり、
図2bに示すように、自動車の後部に設置され、自動車後方を撮影する。
【0018】
このような構成において、制御部10は、後進検出センサ8が自動車が後進状態にあることを検出すると後進モードを設定し、後進検出センサ8が自動車が後進状態にあることを検出しなくなったならば後進モードを解除する。
【0019】
そして、後進モードが設定されている期間中、バックカメラ7が撮影した撮影画像は画像メモリ6に格納され、障害物検出部3は、画像メモリ6に格納された撮影画像に対して画像認識処理を施して、撮影画像中の、他車両などの障害物の像の領域を検出する。また、後進モードが設定されている期間中、障害物画像生成部4は、障害物検出部3が検出した障害物の像の領域に従って、撮影画像中の障害物の像の画像部分を障害物画像として抽出する。
【0020】
次に、後進モードが設定されている期間中、ビュー変換処理部5は、表示モードに応じた変換処理を施した画像である後方画像を生成する。
ここで、制御部10は、入力装置9を介したユーザ操作に従って、表示モードとして、ワイドビュー、ノーマルビュー、トップビューのいずれかを設定する。
そして、ビュー変換処理部5は、表示モードがワイドビューのときには、バックカメラ7で
図3a1に示すバックカメラ7の画角θ1の範囲を撮影した画像である撮影画像を、
図3a2に示すように、そのまま後方案内画像として生成する。
【0021】
また、ビュー変換処理部5は、表示モードがノーマルビューのときには、バックカメラ7の撮影画像から、
図3b1に示すバックカメラ7の画角θ1内の角度θ2の範囲を撮影した画像部分を抽出して歪みを補正した、
図3b2に示すような画像を後方画像として生成する。
【0022】
また、ビュー変換処理部5は、表示モードがトップビューのときには、バックカメラ7の撮影画像から、
図3c1に示す自動車後方の領域Aの範囲を撮影した画像部分を抽出し、抽出した画像部分を、視点変換処理によって、領域Aの範囲を上方より観察したようすを表す画像に変換した、
図3c2に示すような画像を後方画像として生成する。
【0023】
ここで、
図3a2、b2、c2に示すように、本実施形態では、各表示モードにおいて、自車のリアバンパーの像301が後方画像の下部に表れるように、バックカメラ7の配置や、ノーマルビューやトップビューにおいて撮影画像から抽出し後方画像に含める範囲を設定している。
【0024】
また、後進モードが設定されている期間中、合成画像生成部2は、ビュー変換処理部5が生成した後方画像に、
図3a3、b3、c3に示す、車幅の延長線や自動車後端からの自動車の前後方向に所定距離となる地点を後方画像上で表すガイド図形302を合成した後方案内画像を生成し、ディスプレイ1に表示する。
【0025】
また、後進モードが設定されている期間中、合成画像生成部2は、障害物の情報をユーザに提示するために、障害物情報合成処理を行う。
以下、この合成画像生成部2が行う障害物情報合成処理について説明する。
図4に、この障害物情報合成処理の手順を示す。
図示するように、合成画像生成部2は、障害物情報合成処理において、表示モードを調べる(ステップ402、404、406)。
そして、表示モードがワイドビューであるときには(ステップ406)、まず、後述する検知枠の表示が行われているときには、これを消去する(ステップ412)。そして、障害物検出部3が障害物を検知しているかどうかを調べ(ステップ414)、検知していなければ、ステップ402からの処理に戻る。
【0026】
一方、障害物検出部3が障害物を検知している場合には(ステップ414)、障害物検出部3が検出している撮影画像中の障害物の像の領域に基づいて、後方案内画像上において、後方案内画像中の障害物の像の領域を囲む枠である検知枠を、ディスプレイ1に表示されている後方案内画像上に合成表示する(ステップ416)。そして、ステップ402からの処理に戻る。
【0027】
このような処理によれば、表示モードがワイドビューであるときには、他車などの障害物の像がバックカメラ7の撮影画像に含まれているときには、
図5a1、
図5a2に示すように、ディスプレイ1に表示されている後方案内画像上に、後方案内画像中の障害物の像の部分を囲む検知枠501が合成表示される。そして、この検知枠501により、ユーザの障害物への注意が喚起される。
【0028】
図4に戻り、次に、表示モードがノーマルビューであるときには(ステップ404)、まず、後述する小窓の表示が行われているときには、これを消去する(ステップ422)。そして、障害物検出部3が検出した障害物の像の領域であって、当該領域のn%以上が後方案内画像の内に含まれていない障害物の像の領域が存在するかどうかを調べる(ステップ424)。n%としては、領域のn%以上が後方案内画像の内に含まれていれば、障害物の像のおおよその部分が、後方案内画像中に表れることとなる値を設定する。具体的には、たとえば、n%としては、80%≦n%≦100%)を満たす値を設定する。
【0029】
そして、領域のn%以上が後方案内画像の内に含まれていない障害物の像の領域が存在しない場合には(ステップ424)、ステップ402からの処理に戻る。
一方、領域のn%以上が後方案内画像の内に含まれていない障害物の像の領域が存在する場合には(ステップ424)、撮影画像から、歪みを補正した障害物の像を含む所定サイズの矩形の画像を障害物画像として生成し、後方案内画像上に配置した所定サイズの小窓(子画面、ワイプ)中に表示する(ステップ426)。ここで、小窓を配置する後方案内画像上の位置は、上下方向について下部とする。また小窓を配置する後方案内画像上の位置は、左右方向について、その障害物の像の領域が存在する方向側端の位置、すなわち、その障害物の像の領域が自動車の左側の領域であれば、後方案内画像上の左側端の位置、右側の領域であれば右側端の位置とする。
【0030】
そして、ステップ402からの処理に戻る。
このような処理によれば、表示モードがノーマルビューであるときに、後方案内画像によっておおよその部分が表れていない障害物が、バックカメラ7の撮影画像中に含まれている場合には、
図5b1に示すように、障害物画像502が後方案内画像上に配置した小窓内に合成表示される。ここで、
図5b1は、障害物が自動車の右側にある場合を示しており、この場合、図示するように、障害物画像502が表示される小窓の位置は、後方案内画像の右下隅となる。
【0031】
そして、このような小窓内の障害物画像502の表示によって、障害物画像502が表す障害物が、自動車の右側に存在することがユーザに提示される。
そして、その後、
図5b2に示すように、障害物のおおよその部分が後方案内画像中に表れるようになると小窓による障害物画像502の表示は消去される。また、障害物の像がバックカメラ7の撮影画像中に含まれなくなった場合にも、小窓による障害物画像502の表示は消去される。
【0032】
なお、
図5b3は、障害物が自動車の左側にあるときの、障害物画像502の表示を表している。図示するように、この場合には、障害物画像502が表示される小窓は、後方案内画像の左下隅に配置され、小窓内の障害物画像502によって、障害物画像502が表す障害物が自動車の左側に存在することがユーザに提示される。
【0033】
ここで、以上のように、本実施形態では、表示モードがノーマルビューであるときには、障害物画像502を表示する小窓を後方案内画像の下部の、おおよそ自車のリアバンパーの像301が表れる部分に配置しているので、障害物画像502によって、後方案内画像中の障害物の画像部分等のユーザにとって注意を要する画像部分が隠蔽されてしまうことは抑制される。
【0034】
図4に戻り、次に、表示モードがトップビューであるときには(ステップ402)、小窓の表示が行われているときには、これを消去する(ステップ432)。そして、障害物検出部3が検出した障害物の像の領域であって、全体が後方案内画像外に含まれている障害物の像の領域、すなわち、部分的にも後方案内画像の内に含まれていいない障害物の像の領域が存在するかどうかを調べる(ステップ434)。
【0035】
そして、全体が後方案内画像の外に含まれている障害物の像の領域が存在しない場合には(ステップ434)、ステップ402からの処理に戻る。
一方、全体が後方案内画像の外に含まれている障害物の像の領域が存在する場合には(ステップ434)、撮影画像から、歪みを補正した障害物の像を含む矩形の画像を障害物画像502として生成し、後方案内画像上に配置した所定サイズの小窓(子画面、ワイプ)中に表示する(ステップ436)。ここで、小窓を配置する後方案内画像上の位置は、上下方向について中央とする。また、小窓を配置する後方案内画像上の位置は、左右方向について、その障害物の像の領域が存在する方向側端の位置とする。
【0036】
そして、ステップ402からの処理に戻る。
このような処理によれば、表示モードがトップビューであるときに、後方案内画像に表れていない障害物が、バックカメラ7の撮影画像中に含まれている場合には、
図5c1に示すように、障害物画像502が後方案内画像上に配置した小窓内に表示される。ここで、
図5c1は、障害物が自動車の右側にある場合を示しており、この場合、図示するように、障害物画像502が表示される小窓の位置は、後方案内画像上の上下方向について中央の、左右方向について右端の位置となる。
【0037】
そして、このような小窓内の障害物画像502の表示によって、障害物画像502が表す障害物が、自動車の右側に存在することがユーザに提示される。
そして、その後、
図5c2に示すように、障害物の部分が後方案内画像中に表れるようになると小窓による障害物画像502の表示は消去される。また、障害物の像がバックカメラ7の撮影画像中に含まれなくなった場合にも、小窓による障害物画像502の表示は消去される。
【0038】
なお、
図5c3は、障害物が自動車の左側にあるときの、障害物画像502の表示を表している。図示するように、この場合には、障害物画像502が表示される小窓は、後方案内画像上の上下方向について中央の、左右方向について左端の位置に表示され、小窓内の障害物画像502によって、障害物画像502が表す障害物が、自動車の左側に存在することがユーザに提示される。
【0039】
ここで、以上のように、本実施形態では、表示モードがトップビューであるときには、障害物画像502を後方案内画像の左右端の、自車の後進の進路上に重ならない位置に表示しているので、障害物画像502によって、ユーザにとって注意を要する、後方案内画像中の進路のようすを表す画像部分等が隠蔽されてしまうことは抑制される。
【0040】
以上、合成画像生成部2が行う障害物情報合成処理について説明した。
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、表示モードがノーマルビューであるときに、障害物画像502として障害物の像を含む矩形の画像を後方案内画像の左下隅や右下隅に配置した矩形の小窓内に表示したが、これは、
図6a、bに示すように、小窓や障害物画像502の形状を、後方案内画像中の自車のリアバンパーの像301の小窓を配置する部分の形状に倣った形状としてもよい。
【0041】
また、以上の実施形態では、表示モードがトップビューであるときに、障害物画像502を表示する小窓の後方案内画像上の位置を、上下方向について中央の位置としたが、この小窓の上下方向の位置は、自車に対する障害物の方向に応じて変化させるようにしてもよい。
【0042】
すなわち、たとえば、
図7a1に示すように、障害物701が自車700の真後ろ方向にあるときには、
図7a2に示すように、障害物画像502を表示する小窓の上下方向の位置を後方案内画像の上方の位置とし、
図7b1に示すように、障害物701が自車700の斜め後ろ方向にあるときには、
図7b2に示すように、障害物画像502表示する小窓の上下方向の位置を後方案内画像の中央の位置とし、
図7c1に示すように、障害物701が自車700の側方方向にあるときには、
図7c2に示すように、障害物画像502表示する小窓の上下方向の位置を後方案内画像の下方の位置とするようにしてもよい。
【0043】
ここで、このような表示位置の制御は、たとえば、
図7a1、b1、c1に示す自車700の左右方向に対する、障害物検出部3が検出した障害物の方向の角度γが0度から90度に変化するに従って、障害物画像502表示する小窓の上下方向の位置が、後方案内画像の下端の位置から上端の位置まで変化するように、障害物画像502表示する小窓の上下方向の位置を定めることにより行うことができる。
【0044】
また、以上の実施形態は、表示モードがトップビューであるときに、
図7d1、d2に示すように、後方案内画像に、自車の後部を表す図形710を合成して表示するものとし、障害物画像502の表示位置を、自車の後部を表す図形710に重なる位置とするようにしてもよい。
【0045】
なお、この場合にも、
図7d1、d2に示すように、障害物の方向が自車の左方向であるときには自車の後部を表す図形710上の左よりの位置に、障害物の方向が自車の右方向であるときには自車の後部を表す図形710上の右よりの位置に障害物画像502を表示する小窓を配置する。
【0046】
また、以上の実施形態は、バックカメラ7を用いて自動車後方のようすをユーザに提示する場合について示したが、本実施形態は、任意方向について、カメラを用いて自動車の周辺のようすをユーザに提示する場合について同様に適用可能である。
【符号の説明】
【0047】
1…ディスプレイ、2…合成画像生成部、3…障害物検出部、4…障害物画像生成部、5…ビュー変換処理部、6…画像メモリ、7…バックカメラ、8…後進検出センサ、9…入力装置、10…制御部、302…ガイド図形、502…障害物画像、701…検知枠。