特許 7551699 カメラシステムおよびその制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-06

(45)【発行日】2024-09-17

(54)【発明の名称】カメラシステムおよびその制御方法、プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240909BHJP

【ＦＩ】

H04N7/18 J

【請求項の数】 15

(21)【出願番号】P 2022108513

(22)【出願日】2022-07-05

(65)【公開番号】P2024007203

(43)【公開日】2024-01-18

【審査請求日】2023-04-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】碇 大樹

【審査官】西田 光宏

(56)【参考文献】

【文献】特開２０１７－０１９４５９（ＪＰ，Ａ）

【文献】特開２０１９－１１６２２０（ＪＰ，Ａ）

【文献】特開２０２０－１９４０００（ＪＰ，Ａ）

【文献】特開２０１８－００８６３０（ＪＰ，Ａ）

【文献】特開２００５－０５７５３６（ＪＰ，Ａ）

【文献】特開２０１４－１１０６０４（ＪＰ，Ａ）

【文献】特開２０２１－１１３７６７（ＪＰ，Ａ）

【文献】特開２０１５－１６２１６５（ＪＰ，Ａ）

【文献】特開２００５－３０９８１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０２７２８９８（ＵＳ，Ａ１）

【文献】特開２０２１－１１７７２５（ＪＰ，Ａ）

【文献】特開２０２０－０１３３９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｑ ９／００－１１／００

Ｂ６０Ｒ １／００－１／０４

Ｂ６０Ｒ １／０８－１／３１

Ｂ６０Ｒ ２１／００－２１／１３

Ｂ６０Ｒ ２１／３４－２１／３８

Ｇ０２Ｂ ９／００－１７／０８

Ｇ０２Ｂ ２１／０２－２１／０４

Ｇ０２Ｂ ２５／００－２５／０４

Ｇ０３Ｂ ３５／００－３７／０６

Ｇ０８Ｇ １／００－９９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の側方を撮像する撮像手段と、
前記撮像手段により撮像された画像の一部である前記車両の死角領域において物体を検出する検出手段と、
前記撮像手段により撮像された画像から前記撮像された画像の一部の領域を切り出す切り出し手段と、
前記切り出し手段によって切り出された前記車両の側後方の領域の画像を表示する表示手段と、を有し、
前記切り出し手段は、前記検出手段によって画角中央よりも前方にある前方死角領域において物体が検出された場合、前記車両の側後方の領域と、前記切り出し領域とを切り出して合成することで表示画像を生成する、
ことを特徴とするカメラシステム。

【請求項2】

前記撮像手段は、画角中央の解像度よりも前記画角中央の周辺の解像度が高い画像を撮像する光学系を有することを特徴とする請求項１に記載のカメラシステム。

【請求項3】

前記検出手段によって物体が検出されなかった場合、
前記切り出し手段は、前記車両の側後方の領域の画像を切り出し、
前記表示手段は、前記切り出し手段によって切り出した前記車両の側後方の領域の画像を前記表示手段に表示する
ことを特徴とする請求項１に記載のカメラシステム。

【請求項4】

前記切り出し手段は、前記検出手段によって前記死角領域のうち前記前方死角領域よりも後方にある後方死角領域において物体が検出された場合、前記車両の側後方および検出された物体が含まれるように前記切り出し領域を切り出すことを特徴とする請求項１に記載のカメラシステム。

【請求項5】

前記後方死角領域は、前記撮像された画像の画角中央および画角下部後方の領域であり、
前記前方死角領域は、画角下部前方の領域である
ことを特徴とする請求項４に記載のカメラシステム。

【請求項6】

前記切り出し手段は、前記検出手段により検出された前記撮像手段から前記物体までの距離に基づいて切り出す
ことを特徴とする請求項１に記載のカメラシステム。

【請求項7】

前記検出手段により検出された前記撮像手段から前記物体までの距離の値が所定閾値以下であった場合、前記切り出し手段は、前記切り出し領域を切り出す
ことを特徴とする請求項１に記載のカメラシステム。

【請求項8】

前記検出手段は、前記物体の分類を検出し、
前記切り出し手段は、前記検出手段により検出された前記物体の分類に基づいて切り出す
ことを特徴とする請求項７に記載のカメラシステム。

【請求項9】

前記検出手段は、前記分類の画像の入力よって予め学習されることにより、前記撮像手段により撮像された画像に基づいて前記物体の分類を検出する
ことを特徴とする請求項８に記載のカメラシステム。

【請求項10】

前記検出手段により検出された前記撮像手段から前記物体までの距離の値が所定閾値である場合、前記検出手段は、接触の可能性がある物体であるという分類を検出し、
前記検出手段により接触の可能性がある物体を検出した場合、前記切り出し手段により前記切り出し領域の切り出しを行う
ことを特徴とする請求項７から９のいずれか１項に記載のカメラシステム。

【請求項11】

前記検出手段は、前記物体の分類を前記接触の可能性がある物体である移動する可能性のある物体と、静止物体と、で分ける
ことを特徴とする請求項１０に記載のカメラシステム。

【請求項12】

前記車両の側後方の領域と、前記切り出し手段によって切り出された前記切り出し領域と、に基づいて、表示画像を生成する生成手段を有し、
前記検出手段は、前記検出手段により検出された前記物体の分類を示す物体名情報を検出し、
前記生成手段は、前記検出手段により検出された前記物体名情報を前記表示画像へと合成する
ことを特徴とする請求項８に記載のカメラシステム。

【請求項13】

前記表示手段を複数有し、
前記検出手段によって画角中央よりも前方にある前方死角領域において物体が検出された場合、前記切り出し手段は、前記車両の側後方の切り出し領域と、検出された物体を含む切り出し領域とをそれぞれ切り出し、それぞれ異なる前記表示手段に表示する
ことを特徴とする請求項１に記載のカメラシステム。

【請求項14】

車両の側方を撮像する撮像工程と、
前記撮像工程により撮像された画像の一部である前記車両の死角領域において物体を検出する検出工程と、
前記撮像工程により撮像された画像から前記撮像された画像の一部の領域を切り出す切り出し工程と、
前記切り出し工程によって切り出された前記車両の側後方の領域の画像を表示する表示工程と、を有し、
前記切り出し工程は、前記検出工程によって画角中央よりも前方にある前方死角領域において物体が検出された場合、前記車両の側後方の領域と、前記切り出し領域とを切り出して合成することで表示画像を生成する、
ことを特徴とするカメラシステム制御方法。

【請求項15】

コンピュータが読み込み実行することで、前記コンピュータに、請求項１４に記載の各工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の運転操作を支援するカメラシステムに関する。

【背景技術】

【0002】

従来から、自動車といった車両では、左右後方を確認するためのドアミラー（サイドミラー）を備えている。近年、悪天候時の視認性向上や死角低減などを目的として、従来の鏡からなるドアミラーに代えて、車両周囲の画像をカメラ（以下、側方カメラ）で撮像し、モニターに表示する電子ミラー技術が知られている。

【0003】

このとき、側方カメラの役割として左右の後方確認の他に、車線変更支援や自車両の側方部の人や物の確認といった幅広い役割が考えられる。このような多種の役割を担うため、側方カメラは幅広い画角で撮影できることと左右の後方を高解像度で撮影できることを両立できるカメラが望ましい。言い換えると、側方カメラとして、車両進行方向から車両後方まで撮影可能な幅広い画角を持ちつつ、車両後方の画角方向を高解像度とすることができる光学系を用いることが望ましいと言える。

【0004】

そしてそのような側方カメラを用いて、車両側方の隣接車線の他車両などを検出し、電子ミラー用モニターの表示内容を変更することが考えられる。このようにすることで、車両側方に注意すべき場合のみ表示を広角とし、死角を減らすことで車両運転者が車両側方へ注意を向けることが可能となる。

【0005】

そこで例えば、特許文献１では、レーダー等のセンサーによって自車両の近接範囲の他車両の検出処理を実行する。そして他車両が検出されなければカメラからの挟角画像を電子ミラー用モニターに表示し、他車両が検出された場合は、広角画像を電子ミラー用モニターに表示する装置が提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１５－１３６０５６

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら特許文献１の技術では、例えば側方１８０度（車両進行の前方方向から後方まで）撮影可能なカメラを側方カメラに用いて、カメラ前方側で周辺車両等が検出された場合、カメラ映像に検出された車両を表示するために広角になり過ぎる懸念があった。そのような場合、広角表示によって車両後方確認方向が小さく表示されてしまい、ドアミラー本来の役割である後方確認の視認性が低下する恐れがあった。

【0008】

そこで本発明は、電子ミラーの後方確認の視認性を低下を抑制しつつ、適切に検出物体をモニタへ表示できるカメラシステムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のカメラシステムは、
車両の側方を撮像する撮像手段と、前記撮像手段により撮像された画像の一部である前記車両の死角領域において物体を検出する検出手段と、前記検出手段によって物体が検出された領域を含むように、前記撮像手段により撮像された画像から前記撮像された画像の一部である前記車両の側後方の領域を切り出す切り出し手段と、前記切り出し手段によって切り出された前記車両の側後方の領域の画像を表示する表示手段と、を有することを特徴としている。

【発明の効果】

【0010】

本発明によれば、電子ミラーの後方確認の視認性を低下を抑制しつつ、適切に検出物体をモニタへ表示できるカメラシステムを提供できる。

【図面の簡単な説明】

【0011】

【図1】本実施形態における自車両１０と撮像部の構成を示す図

【図2】実施形態１におけるカメラシステム１００の構成を示す図

【図3】本実施形態における撮像部２０、処理部１１０、統合処理部１３０の内部構成を示す図

【図4】本実施形態における撮像部２０、２１で撮像された画像と表示部１４０への表示の一例を示す図

【図5】本実施形態における処理部１１０が実行するフローチャートを示す図

【図6】本実施形態における統合処理部１３０が実行するフローチャートを示す図

【図7】本実施形態における撮像された画像内の領域定義の一例を示す図

【図8】本実施形態における目視可能領域５１での物体検出と表示部１４０への表示の一例を示す図

【図9】本実施形態における後方死角領域５２での物体検出と表示部１４０への表示の一例を示す図

【図10】実施形態１における前方死角領域５３での物体検出と表示部１４０への表示の一例を示す図

【図11】実施形態２におけるカメラシステム２００の構成を示す図

【図12】実施形態２における前方死角領域５３での物体検出と表示部１４０、１４２への表示の一例を示す図

【発明を実施するための形態】

【0012】

以下、本発明を実施するための形態について図面を用いて説明する。

【0013】

＜第１の実施形態＞
以下、本発明の実施形態１について説明する。

【0014】

図１は本発明の実施形態１における撮像部を設置した移動体である自車両を示す図である。図１に示すように自車両１０は自車両１０の周囲を撮影する側方カメラである撮像部２０および撮像部２１とを備える。撮像部２０および撮像部２１は同様の構成であり、撮像部２０を例に撮像領域について説明する。

【0015】

撮像部２０は本実施形態では画角１８０度程度の撮像範囲を有している。撮像部２０による撮像範囲は撮像範囲３０ａおよび撮像範囲３０ｂに分けられ、特に撮像範囲３０ｂは撮像部２０の光学系の特性によって高解像度で画像を取得できる領域を模式的に示している。図示されているように側方カメラである撮像部２０、２１は撮像範囲３０ｂで表される画角中央の光軸から離れた画角周辺領域が撮像範囲３０ａよりも高解像度で取得できる。そのためドアミラーの役割となる自車両１０の左右後方確認方向を高解像度で撮像することが可能である。撮像された画像は自車両１０の備える表示部に表示され、自車両１０の運転者は表示される画像を確認することで左右および左右後方の確認をすることが可能である。

【0016】

図２は本発明におけるカメラシステム１００の構成例を示す図である。カメラシステム１００は撮像部２０、２１と処理部１１０、１２０と統合処理部１３０及び表示部１４０、１４１で構成される。

【0017】

統合処理部１３０および処理部１１０、１２０は、演算や制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備える。また主記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備える（いずれも図示略）。ＲＯＭには、基本的な設定データや本実施形態に係るカメラ処理プログラムが記憶されており、ＣＰＵが、処理内容に応じたコンピュータプログラムをＲＯＭから呼び出してＲＡＭに展開し、各ブロックの動作を実行する。

【0018】

撮像部２０は右ドアミラーの代わりとして自車両１０の右側方、右側前方及び右側後方を撮像する。処理部１１０は撮像部２０と接続され、撮像部２０で撮像された画像を元に主に映像処理や物体検出といった処理を担う（詳細は後述）。また処理部１１０は統合処理部１３０とも接続され、統合処理部１３０から受け取った情報を元に撮像部２０を制御し、また撮像部２０で撮像された画像を元に処理した結果を統合処理部１３０へ送信する。

【0019】

撮像部２１は左ドアミラーの代わりとして自車両１０の左側方、右側前方及び左側後方を撮像する。処理部１２０は撮像部２１および統合処理部１３０と接続され、撮像部２１で撮像された画像を元に各種処理を実行するが、その役割は処理部１１０と同様である。

【0020】

表示部１４０は、液晶ディスプレイなどの表示手段である。表示部１４０は主に撮像部２０が撮像し、処理部１１０、統合処理部１３０が処理した自車両１０の右側後方に関する画像を受け取り表示する。よって右ドアミラーの代わりとなる表示部となる。また、表示部１４１は主に撮像部２１が撮像し、処理部１２０、統合処理部１３０が処理した自車両１０の左側方に関する画像を受け取り表示する。よって左ドアミラーの代わりとなる表示部となる。

【0021】

統合処理部１３０は処理部１１０、１２０および表示部１４０、１４１と接続され、カメラシステム１００全体の統合的な処理（カメラシステム制御）を担う。本実施形態では、主に撮像部２０または撮像部２１で撮像された画像を加工し、表示部１４０、１４１へ送付する役割を担う。

【0022】

次に図３を用いて撮像部２０、処理部１１０、統合処理部１３０の内部処理を詳細に説明する。なお、撮像部２１、処理部１２０は撮像部２０、処理部１１０と同様の内部処理となっており、説明は割愛する。

【0023】

まず、撮像部２０について説明する。撮像部２０は外部光から光学的な被写体像（光学像）を形成する光学部１０１を有する。この光学部１０１は複数枚のレンズを組み合わせ、２つの異なる画角を結像させる。即ち、光軸から離れた周辺の画角領域において高解像度な光学像を形成し、光軸周辺の狭い画角領域において低解像度の光学像を形成する光学特性を有する。そして、光学部１０１によって形成された光学像は画像センサ部１０２へ入力される。

【0024】

画像センサ部１０２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサである。これらイメージセンサには光電変換素子上の光電変換エリアである撮像素子受光面があり、前記光学像はそこで電気的な信号である電気信号に光電変換される。撮像素子により変換された電気信号は、画像センサ部１０２内部で所定の画像信号に変換処理され、後段の処理部１１０へ出力される。

【0025】

次に処理部１１０について説明する。映像処理部１１１は、撮像部２０から伝送された画像信号を映像に現像し、ＷＤＲ（Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）補正、ガンマ補正、ＬＵＴ処理、歪曲補正等の処理を行う。この処理により、表示部１４０に表示した際に視認しやすく、また後述する物体検出部１１２内部で行われる物体検出処理の検出率が向上するようになる。映像処理部１１１が処理した画像信号は物体検出部１１２および統合処理部１３０内部の画像切り出し部１３１に入力される。

【0026】

物体検出部１１２では、映像処理部１１１から出力された画像信号を用いて物体検出処理を行い、画像内に車両や人などの物体が存在するか否か判定する。物体の検出には深層学習を用いる。例えば、深層学習として、学習が容易で検出が速いＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を用いることが好ましい。また、その他の深層学習として、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎａｌ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。また、Ｆａｓｔ Ｒ－ＣＮＮ、Ｒ－ＣＮＮ等を用いてもよい。物体検出結果は、物体が検出された位置を示す矩形（バウンディングボックス）の４つの頂点座標である４点座標情報と、検出された物体の分類を示す物体名情報となる。また、人、車両などについての画像を深層学習を用いて予め学習させておくことで、映像処理部１１１から出力された画像信号を基に、検出した物体が人か、車両か、それ以外かを分類するようにしてもよい。また、接触のおそれがある物体か否かを分類するようにしてもよく、移動する可能性のある物体と静止物体（構造物など）を分類するようにしてもよい。例えば、人とポールの画像を深層学習を用いて予め学習させ、人は移動の可能性がある物体、ポールは静止物体と予め紐づけを行う。

【0027】

次に測距部１１３では自車両から物体検出部１１２で検出された物体までの距離を算出する。測距方法として例えば、車両等の検出物体の幅情報を事前に設定し、画像内の検出物体の幅の画素数と設定された幅情報および撮像部の撮影範囲の情報から比を用いて距離を推定する方法がある。また、その他の手法として、検出された物体の画像のボケといった情報を深層学習で解析することで距離値を算出するような方法であってもよい。前記物体検出部１１２の物体検出結果と併せて、測距部１１３によって推定されたその物体までの距離情報は後段の統合処理部１３０へ出力される。

【0028】

次に統合処理部１３０について説明する。統合処理部１３０はシステム全体の統合的な処理を担うが、ここでは本実施形態のカメラシステムに関わる部分を説明する。

【0029】

画像切出し部１３１は、映像処理部１１１から送付された画像信号を受け取り、その画像信号に対して切り出し処理を行う。本処理は、撮像部２０で撮像された画像信号からドアミラーと同様の目的のために右側後方画像を切り出す。また、このとき画像切り出し部１３１は処理部１１０内部の測距部１１３から物体検出結果と測距結果の距離情報を受け取る。そして、物体検出結果と測距結果の内容に応じて画像信号の切り出し方を変更する。この切り出し方の変更は、例えば、検出された物体が表示できるように変更する。また、本処理は検出された物体の種類や位置に応じて切り出し方を複数パターン変更するものであって、詳細は後述される。画像切出し部１３１によって切り出された画像信号は表示処理部１３２へ出力される。

【0030】

次に表示処理部１３２では表示部１４０に表示する画像を生成する。表示処理部１３２は処理部１１０の映像処理部１１１から受信した画像信号を基として例えば表示部１４０の表示解像度に合わせた表示画像を生成する。

【0031】

表示部１４０はドアミラーの代わりとなる電子ミラーの表示部であって、基本的には右側方カメラとなる撮像部２０の画像から画像切り出し部１３１によって切り出された右側後方の映像を表示する。

【0032】

表示画像の一例を図４に示す。図４（ａ）は、右側方カメラとなる撮像部２０によって撮像された画像の一例である。図１で前述したように撮像部２０は画角１８０度程度の撮像範囲を有していて、図４（ａ）には自車両１０の右側側方に対して前方から後方まで幅広く撮影されている。また、撮像部２０の光学系の特性によって光軸から離れた周辺画角領域が高解像度で取得できる特徴を有している。

【0033】

図４（ａ）において、切り出し領域４０は画像切り出し部１３１によって切り出される領域の一例を示している。画像切り出し部１３１はドアミラーの代わりとなるように右側後方の画像領域を切り出す動作を基本としている。切り出された画像は図４（ｂ）のようになり、この画像が表示部１４０に表示される。これにより、自車両１０の運転者はドアミラーの代わりとして表示部１４０を確認することで、自車両の側方後方確認が可能となる。本実施形態の場合は隣接車線後方領域が切り出されていて、そこを走行している他車両１１が表示される。本実施形態は、切り出し領域４０以外の自車両１０の周辺において、物体検出処理によって特に何も物体が検出されなかった場合の一例である。

【0034】

また、表示処理部１３２は処理部１１０の測距部１１３から物体検出結果と測距結果を受け取り、物体検出結果の内容に応じて、画像切出し部１３１から受け取った画像を加工し、表示内容を変更する。さらに、その内容が警告を発する必要ありの場合には前述の表示画像に対して警告画像を合成する。例えば、自車両１０周辺で物体検出された場合、警告を発する必要ありと判断する。これにより自車両１０の周囲に車両運転者が注意を払うべき物体が存在した場合など適切に運転者に警告を通知することが可能となる。警告画像の一例は物体検出の一例と併せて後述される。また、表示処理部１３２の機能は画像切り出し部１３１が有していてもよい。

【0035】

図５は、処理部１１０が実行するカメラシステム処理の一例を示すフローチャートである。処理部１１０内の不図示のＣＰＵが処理内容に応じたプログラムをＲＯＭから呼び出してＲＡＭに展開し、本フローチャートを実行する。なお、本フローチャート実施時は、自車両１０は走行状態でも停止状態でもどちらでもよく、エンジン起動中は常に実行されているものである。

【0036】

まずステップＳ１０１では、処理部１１０は自車両１０の側方カメラである撮像部２０、２１を制御し、特に画像センサ部１０２を適切に設定、制御することで撮像データを取得する。これにより前述の図４（ａ）のような自車両側方の撮像データを取得できる。

【0037】

次にステップＳ１０２では、映像処理部１１１を制御し、前述の撮像データの画像信号に対して各種画像処理を実行し、視認しやすくかつ物体検出しやすい映像に現像する。なお、本実施形態では図４に示したように光学系の特性によって歪みを持った画像を用いて説明しているが、映像処理部１１１で歪曲補正を実施し、歪みを除去した画像を生成して後段で扱っても良い。

【0038】

次にステップＳ１０３では物体検出部１１２を制御し、映像処理部１１１で処理された画像を用いて物体検出処理を実行する。これにより図４（ａ）で示したような画像内の自車両１０の周辺に物体があった場合に、その物体の位置と種類を検出することが可能となる。

【0039】

次にステップＳ１０４では、測距部１１３を制御し、物体検出部１１２で検出された物体に対して自車両からの距離を算出する。これにより検出された物体が自車両１０の近傍にあるのか遠方にあるのかを把握することが可能となる。本距離値を活用することで後段の統合処理部１３０にて、検出された物体の自車両までの近さに応じて処理を分けるといった制御が可能となる。

【0040】

次にステップＳ１０５では、映像処理部１１１によって処理された画像信号を後段の統合処理部へデータ送信する。また、物体検出部１１２による物体検出結果（バウンディングボックスの座標情報と物体分類を示す物体名情報）と測距部１１３によって算出された物体までの距離情報を後段の統合処理部へデータ送信する。本処理で送信する物体検出結果と距離情報は同時に送信する画像信号を用いて処理された内容となる。言い換えると画像信号はフレーム毎に送信されるが、送信される画像信号のフレームと物体検出結果および距離情報のフレームは揃った状態でデータ送信される。

【0041】

図６は、統合処理部１３０が実行するカメラシステム処理の一例を示すフローチャートである。統合処理部１３０内の不図示のＣＰＵが処理内容に応じたプログラムをＲＯＭから呼び出してＲＡＭに展開し、本フローチャートを実行する。なお、本フローチャート実施時は、自車両１０は走行状態でも停止状態でもどちらでもよく、エンジン起動中は常に実行されているものである。

【0042】

ステップＳ２０１では統合処理部１３０は、前段の処理部１１０から画像信号と物体検出結果と検出された物体までの距離情報を受信する。これらは前述のとおり共通の同一フレーム内の情報となる。受信した各種データは統合処理部１３０内の画像切り出し部１３１の切り出し方の制御や表示処理部１３２内部での表示内容の制御に利用される。

【0043】

次にステップＳ２０２では、受信した物体検出結果を参照し、物体を検出したかどうかの判定をする。物体を検出していた場合はステップＳ２０３へ進み、物体を何も検出していなかった場合はステップＳ２０４へ進む。

【0044】

次にステップＳ２０３では、受信した物体検出結果のうち位置を示す座標情報を参照し、検出された物体が受信した画像信号内部の所定の領域内で検出されたかどうかの判定をする。このときの所定の領域について、図７を用いて説明する。図７は処理部１１０から受信した画像信号を示しており、画像内部が各領域に分けられている様子を示す図である。まず後方監視領域５０は自車両の右側後方を示す領域で言い換えるとドアミラーの代わりとして運転手が通常確認する方向を示す領域である。次に目視可能領域５１は自車両１０の運転者が運転席から目視で確認可能な方向を示す領域である。よって後方監視領域５０と目視可能領域５１は合わせて非死角領域と言える。次に後方死角領域５２は自車両１０の運転者が運転席から目視で確認できない死角となる領域であって、さらに後方監視領域５０に近い後方方向の死角を示す領域である。後方死角領域５２は、撮像部２０の画角下部後方である。次に画角中央よりも前方にある前方死角領域５３は自車両１０の運転者が運転席から目視で確認できない死角となる領域であって、さらに後方監視領域５０から遠い前方方向の死角を示す領域である。この領域は運転席のドアウィンドウの下方向の領域であって、運転席からはドアウィンドウ越しに視認できない死角領域となる。前方死角領域５２は、撮像部２０の画角下部前方である。最後に対象外領域５４は自車両１０から上空方向を示す領域である。よって対象外領域５４は表示部１４０に表示すべき領域としても物体検出すべき領域としても対象外としてよい領域となる。画像内部の各領域をどのように分けるかはユーザもしくはシステムにより予め決定される。

【0045】

このように側方カメラになる撮像部２０に画角１８０度程度の撮像範囲を有する光学系を用いた場合、ドアミラーの役割となる後方監視領域５０は周辺画角領域となる。さらにその光学系が光軸から離れた周辺の画角領域において高解像度な光学像を形成できる特性を有していた場合、後方監視領域５０には高解像度な領域が割り当たる。よって本領域を表示部１４０に表示させた場合、運転者は良好に後方監視領域を確認することが可能となる。一方で中心画角付近は低解像度領域となり、本実施形態のように後方死角領域５２等が割り当たる。しかしながら死角領域は自車両１０の周辺を注視すべきであって、遠方の確認の重要性は低い。よって低解像度領域であっても問題は発生しにくい。

【0046】

なお、検出された物体が複数の領域に跨っていた場合には、物体の接地位置を算出し、設置位置がどの領域かで判断するものでよい。

【0047】

そして本ステップＳ２０３のおける所定領域とは、本実施形態では後方死角領域５２および前方死角領域５３を合わせた死角領域全体を示す。つまり自車両１０の運転者が表示部１４０で確認できる後方監視領域５０や目視で確認できる目視可能領域５１でのみ物体が検出されていた場合はステップＳ２０４へ進み、前述の死角領域で物体が検出されていた場合にはステップＳ２０５へ進む。もし複数の領域で複数の物体が検出されていた場合には、死角領域で１つでも物体が検出されていればステップＳ２０５へ進むものとする。また対象外領域５４で物体を検出していた場合、その検出結果は無視され、本判定処理に結果を及ぼさないものとする。

【0048】

次にステップＳ２０４では、画像切り出し部１３１を制御し前述の後方監視領域５０を表示領域として切り出し、表示処理部１３２を用いて表示部１４０に表示する画像を生成する。本処理は撮像された画像データ内で何も物体が検出されなかった場合、もしくは前述の所定の領域内で物体が検出されなかった場合の表示画像の生成処理となる。前述した図４は、他車両１１が後方監視領域内に存在しているため、死角領域には物体が何も存在しない一例となっている。よって、図４を用いて説明した切り出し領域４０と本ステップで切り出される後方監視領域５０は同様の領域を示す。よって、ステップＳ２０４では前述の図４で説明したように画像を切り出すことを示している。

【0049】

次にステップＳ２０５では、検出された物体の位置が前方死角領域５３か否か判断する。後方監視領域５０から遠い前方死角領域５３であればステップＳ２１０へ進み、前方死角領域５３ではなく、後方監視領域５０から近い後方死角領域５２であればステップＳ２０６へ進む。

【0050】

次にステップＳ２０６では、前段の処理部１１０から受信した物体までの距離情報を参照し、検出されている物体までの距離が所定閾値以下かどうか判断する。例えば検出された物体が自車両１０から所定メートル以内であるか否かの判断である。所定距離以内であると判断された場合にはステップＳ２０８へ進み、所定距離を超えて自車両から離れていると判断された場合にはステップＳ２０７へ進む。

【0051】

次にステップＳ２０７では、前段の処理部１１０から受信した物体の分類を示す物体名情報を参照し、検出されている物体が所定の物体かどうか判断する。所定の物体とは本実施形態では人やバイク、自動車といった接触の可能性がある障害物のことを指す。検出された物体が所定の物体で合った場合ステップＳ２０８へ進み、検出された物体が所定の物体ではなかった場合、ステップＳ２０４へ進む。つまり、検出物体が所定距離を超えて離れていて、所定の物体でなければステップＳ２０４の処理を実施する。また、検出物体が所定距離以内で近いか、また検出物体が所定距離を超えて離れていても、注視すべき所定の物体であった場合にはステップＳ２０８の処理を実施する。

【0052】

ここで、ステップＳ２０４への分岐処理に関して図８を用いて補足する。図８（ａ）は処理部１１０から受信した画像信号を示しており、画像内部での物体検出の様子を示す図である。図８（ａ）では後方監視領域５０以外の領域でカラーコーン（登録商標）６１および人６２が画像内に含まれている。まず、人６２に関して、ステップＳ２０２の物体検出したか、という分岐はＹｅｓとなるが、ステップＳ２０３の検出位置が所定の領域か、という分岐は人６２が画像内で目視可能領域５１に含まれているため、Ｎｏとなり、ステップＳ２０４の処理の実行となる。また、カラーコーン６１に関して、ステップＳ２０３の検出位置が所定の領域か、という分岐はカラーコーン６１が画像内で後方死角領域５２に含まれているため、Ｙｅｓとなる。そして図８（ａ）の例ではカラーコーン６１の検出位置が所定距離よりも離れており、カラーコーンは注視すべき所定物体にも含まれていないものとする。よってステップＳ２０７まで進み、ステップＳ２０７の分岐はＮｏとなり、ステップＳ２０４の処理の実行となる。その結果、画像切り出し部１３１はドアミラーの代わりとなるように後方監視領域５０を切り出す動作をするため、表示処理部１３２で生成される表示用画像は図８（ｂ）となる。

【0053】

次にステップＳ２０８では、後方監視領域５０と検出された物体を含むように画像切り出し部１３１によって受信した画像信号から画像領域を切り出す処理をする。本処理は画像信号内で後方死角領域５２で物体が検出された場合であって、さらに検出された物体が所定距離以内か、または所定距離を超えて離れていても検出された物体が所定物体であった場合の表示画像の生成処理となる。本処理を図９を用いて説明する。

【0054】

図９（ａ）は処理部１１０から受信した画像信号を示しており、画像内部での物体検出の様子を示す図である。図９（ａ）では後方監視領域５０以外の領域で人６０が画像内に含まれている。人６０に関して、ステップＳ２０２の物体検出したか、という分岐はＹｅｓとなり、ステップＳ２０３の検出位置が所定の領域か、という分岐も人６０が画像内で後方死角領域５２に含まれているため、Ｙｅｓとなる。そして、人６０が所定距離以内にて検出されていればステップＳ２０８の処理となる。また、人６０が所定距離以内にて検出されなかったとしてもステップＳ２０７にて所定物体に人が含まれていればＹｅｓとなり、ステップＳ２０８の処理となる。ステップＳ２０８では、後方監視領域５０と検出された物体である人６０を含む切り出し領域５５を画像切り出し部１３１を用いて元の画像信号から切り出す。

【0055】

次にステップＳ２０９では、前述のステップＳ２０８による切り出し領域５５の画像を用いて、表示処理部１３２によって表示用画像を生成する。さらに本処理では切り出し領域５５内部に検出された物体が表示されているため、その強調処理を行う。一例を図９（ｂ）に示す。図９（ｂ）では検出された物体である人６０に対して、物体検出結果であるバウンディングボックスの座標情報を用いて枠付け処理を行っている。これにより人６０を囲むように枠線が画像内に描画される。また、物体検出結果である物体分類を示す物体名情報を用いて、アラート文７０を生成し、画像内に合成表示している。このような表示用画像を表示処理部１３２で生成し、表示部１４０に表示することで、自車両１０の運転者は、自車両１０の周辺のどの位置にどのような物体があるかを迅速に把握し、安全走行のためどう注意して運転すべきか、を迅速に判断することが可能となる。

【0056】

次にステップＳ２１０では、後方監視領域５０と検出された物体を含む領域をそれぞれ別々に画像切り出し部１３１によって受信した画像信号から切り出し、それぞれの画像を表示用に合成する処理をする。本処理は画像信号内で前方死角領域５３で物体が検出された場合の表示画像の生成処理となる。なお、図７で示した通り前方死角領域５３は、目視可能領域５１の下方にあり、自車両１０の近距離となる領域となる。また、物体の分類や物体までの距離に応じた制御を実施してもよい。本処理を図１０を用いて説明する。

【0057】

図１０（ａ）は処理部１１０から受信した画像信号を示しており、画像内部での物体検出の様子を示す図である。図１０（ａ）では後方監視領域５０以外の領域でボール６３が画像内に含まれている。ボール６３に関して、ステップＳ２０２の物体検出したか、という分岐はＹｅｓとなり、ステップＳ２０３の検出位置が所定の領域か、という分岐もボール６３が画像内で前方死角領域５３に含まれているため、Ｙｅｓとなる。そして、ステップＳ２１０の処理となる。ステップＳ２１０では、後方監視領域５０に加えて、検出された物体であるボール６３を含む切り出し領域５６を画像切り出し部１３１を用いて元の画像信号から切り出す。そして、切り出し領域５６の画像を必要に応じて拡大や縮小処理し、別途切り出された後方監視領域５０に合成し、合成画像を生成する。

【0058】

次にステップＳ２１１では、前述のステップＳ２１０による合成画像を用いて、表示処理部１３２によって表示用画像を生成する。本処理では切り出し領域５６内部に検出された物体が表示されているため、そのアラート処理を行う。一例を図１０（ｂ）に示す。図１０（ｂ）では検出された物体であるボール６３を含む切り出し領域５６に対して縮小処理が実施され、画像左下部分に合成されている。図上の枠点線は縮小された切り出し領域５６であって、合成画像領域を明確にするため描画されている。また、物体が検出された位置情報を用いて、アラート文７１を生成し、画像内に合成表示している。このような表示用画像を表示処理部１３２で生成し、表示部１４０に表示することで、自車両１０の運転者は、ドアミラーの代わりとしての後方確認と、自車両周辺の物体を注視しての安全確認の両立が可能となる。

【0059】

このとき、もし前方死角領域５３で検出された物体の表示をステップＳ２０８で説明した後方死角領域５２で検出された物体表示と同様の手法で表示してしまうと、後方確認方向の画像が小さくなってしまう。これにより、ドアミラーの代わりとしての後方確認の視認性が低下してしまう恐れがある。一方で、後方確認方向と近しい位置で物体を検出した場合は、ステップＳ２０８の手法で表示した方が運転者は迅速に物体の位置を把握し、安全確認することができる。よって物体検出結果に応じてステップＳ２０８とステップＳ２１０のように画像の切り出し方を変更することで運転者に対して適切な検出物体の位置の把握と後方確認の視認性の両立という価値を提供することが可能となる。

【0060】

次にステップＳ２１２では、表示処理部１３２によって生成された画像を表示部１４０へ送信する。これによりステップＳ２０４、ステップＳ２０９、ステップＳ２１１のいずれかの方法で生成された表示画像は表示部１４０へ表示される。

【0061】

以上で本フローチャートは終了となる。本フローチャートによって物体検出結果に応じて表示部１４０への表示方法は適切に切り替えられ、自車両１０の運転者は適切な検出物体の位置の把握と後方確認の視認性の両立が可能となる。

【0062】

以上の本実施形態により、撮像部を側方カメラとして用いて物体検出した場合に、後方確認の視認性を低下させることなく、適切に検出物体のモニタへの表示をすることが可能となる。これにより車両運転者は後方確認と自車両周辺の安全性の確認を両立することが可能となる。

【0063】

＜第２の実施形態＞
実施形態１では前方死角領域５３で物体が検出された場合、その画像を後方監視領域の画像と合成し、ドアミラーの代わりとなる表示部１４０に表示する方法について説明した。実施形態２では、検出された物体の画像をドアミラーの代わりとなる表示部以外に表示する場合について説明する。

【0064】

図１１は、本発明の実施形態２における撮像およびカメラシステム２００の構成例を示す図である。カメラシステム２００は撮像部２０、２１と処理部１１０、１２０と統合処理部１３０及び表示部１４０、１４１、１４２で構成される。実施形態２のカメラシステム２００では、統合処理部１３０に表示部１４２が接続されている点が実施形態１と異なる。それ以外の部分は実施形態１と同様である。よって、実施形態２の統合処理部１３０内部の表示処理部１３２は表示部１４２へ表示出力することが可能な構成となる。

【0065】

なお、表示部１４０および表示部１４１は実施形態１と同様に左右のドアミラーの代わりとなる側方カメラ（撮像部２０、２１）の電子ミラー用モニタの表示部として主に使用されるので、表示部を複数有している。

【0066】

表示部１４２は、ドアミラーの代わりとなる電子ミラー用モニタ以外の表示部であって、例えば、自車両の状態（燃費履歴やエアコン表示等）を示す液晶モニタや、カーナビゲーション用のモニタ等である。また、インストルメントパネル（インパネ）の各種メーター表示を液晶モニタで表示している車両であれば、そのような表示部であってもよい。

【0067】

次に図１２を用いて実施形態２の特徴的な動作を説明する。本処理は実施形態１の図７で説明した画像信号内で前方死角領域５３で物体が検出された場合の実施形態２における表示画像の生成処理の説明である。なお、図７で示した通り前方死角領域５３は、目視可能領域５１の下方にあり、自車両１０の近距離となる前方方向の死角領域となる。

【0068】

図１２（ａ）は処理部１１０から受信した画像信号を示しており、画像内部での物体検出の様子を示す図である。図１２（ａ）では前方死角領域５３の領域内でボール６３が画像内に含まれている。よってこの場合、処理フローとしては実施形態１の図６で示したフローチャートのステップＳ２１０およびステップＳ２１１に当たる処理を実行する。よってここでは、実施形態２において、ステップＳ２１０およびステップＳ２１１の代わり実行する処理を説明する。

【0069】

実施形態２では、後方監視領域５０に加えて、検出された物体であるボール６３を含む切り出し領域５６を画像切り出し部１３１を用いて元の画像信号から切り出す。そして、切り出し領域５６の画像を必要に応じて拡大や縮小処理し、後方監視領域５０の切り出し画像とは別にして画像を保持する。

【0070】

そして、後方監視領域５０の切り出し画像と前方死角領域５３の切り出し画像は、表示処理部１３２によって別々の表示部へ送信される。まず後方監視領域５０の切り出し画像は、表示処理部１３２によってドアミラーの代わりとなる電子ミラー用モニタの表示部１４０へ送信される。表示部１４０では図１２（ｂ）に示したような画像が表示され、運転者は、ドアミラーの役割として後方を表示部１４０を通して確認可能となる。また、前方死角領域５３内の切り出し領域５６の画像は、表示処理部１３２によって表示部１４２へ送信される。表示部１４２は本実施形態では、カーナビゲーション用のモニタである。よって表示処理部１３２ではカーナビゲーション用の画像に検出された物体が表示されている前方死角領域５３の切り出し画像を合成する。さらに合成画像に対して、物体が検出された位置情報を用いてアラート文７２を生成し、画像内に合成し、表示部１４２へ送信する。これにより表示部１４２では図１２（ｃ）に示したような画像が表示され、運転者は自車両１０の周辺の物体の位置を把握することができる。

【0071】

以上の図１２による表示方法は、実施形態１の図６で示したフローチャートのステップＳ２１０およびステップＳ２１１に該当するため、実施形態２の場合であっても、実施形態１と同様に物体検出結果に応じて表示方法は切り替えられる。例えば、後方死角領域５２で物体を検出した場合は、実施形態１と同様にステップＳ２０８やステップＳ２０４の表示方法となり、前方死角領域５３で物体を検出した場合には、図１２で説明した表示方法となる。

【0072】

以上の本実施形態により、前方死角領域５３で物体を検出した場合、実施形態１と異なり、表示部１４０で表示するドアミラーの役割となる画像表示に影響を与えずに、検出した物体を表示することが可能となる。そして、運転者に適切に検出物体を確認することが可能となる。これにより後方確認の視認性が低下させることなく、車両運転者は後方確認と自車両周辺の安全性の確認を両立することが可能となる。

【0073】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

【0074】

本発明は、情報処理装置のみならず以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0075】

１００ カメラシステム
１０ 自車両
２０、２１ 撮像部
３０ 撮像部が撮像する画角
１１０、１２０ 処理部
１３０ 統合処理部
１４０、１４１ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】