(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】表示制御装置、撮像装置、及び移動装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20241111BHJP
B60R 1/20 20220101ALI20241111BHJP
B60R 1/25 20220101ALI20241111BHJP
G08G 1/16 20060101ALI20241111BHJP
【FI】
H04N7/18 J
B60R1/20 100
B60R1/25
G08G1/16 C
(21)【出願番号】P 2022190102
(22)【出願日】2022-11-29
【審査請求日】2023-06-13
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】川田 淳
(72)【発明者】
【氏名】小島 安弘
【審査官】中村 直行
(56)【参考文献】
【文献】特開2016-213759(JP,A)
【文献】特開2005-123968(JP,A)
【文献】米国特許出願公開第2022/0067394(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 1/20
B60R 1/25
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御装置であって、
前記周辺領域を撮影する撮像部の撮影領域から一部の領域を選択する選択部と、
前記撮像部により撮影された画像から前記一部の領域に対応する切り出し画像を切り出す画像生成部と、
前記切り出し画像、及び前記自車両
と前記一部の領域
との位置
関係を示す
位置画像を前記表示部に表示させる表示制御部とを有することを特徴とする表示制御装置。
【請求項2】
前記選択部は、移動体を検出可能な検出部の検出結果に基づいて、前記一部の領域を選択することを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記選択部は、前記自車両に接近する移動体のうち前記自車両に最も近い移動体が前記切り出し画像に含まれるように、前記一部の領域を選択することを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記選択部は、前記自車両に接近し、かつ前記自車両からの距離が所定の範囲内である移動体のうち前記自車両に最も近い移動体が前記切り出し画像に含まれるように、前記一部の領域を選択することを特徴とする請求項2に記載の表示制御装置。
【請求項5】
前記選択部は、前記撮影領域から複数の一部の領域を選択し、
前記画像生成部は、前記画像から前記複数の一部の領域ごとに対応する複数の切り出し画像を生成し、
前記表示制御部は、前記複数の切り出し画像、及び前記自車両
と前記複数の一部の領域
の各領域との位置
関係を示す複数の
位置画像を前記表示部に表示させることを特徴とする請求項1又は2に記載の表示制御装置。
【請求項6】
移動体を検出可能な検出部が前記一部の領域の外側の領域において前記自車両に接近する第1移動体を検出した場合、前記表示制御部は前記第1移動体の接近を示す情報を前記表示部に表示させることを特徴とする請求項1又は2に記載の表示制御装置。
【請求項7】
前記表示制御部は、前記
位置画像の前記第1移動体が前記自車両に接近する方向の側の表示を変化させることを特徴とする請求項6に記載の表示制御装置。
【請求項8】
前記表示制御部は、前記自車両と前記第1移動体との距離に応じて前記表示を異ならせることを特徴とする請求項7に記載の表示制御装置。
【請求項9】
前記表示制御部は、前記自車両に対する前記撮影領域の位置を示す第2範囲の前記第1移動体が前記自車両に接近する方向の側の表示を変化させることを特徴とする請求項6に記載の表示制御装置。
【請求項10】
前記位置画像は、アイコンであることを特徴とする請求項1又は2に記載の表示制御装置。
【請求項11】
請求項1又は2に記載の表示制御装置と、
撮像素子とを有することを特徴とする撮像装置。
【請求項12】
請求項1又は2に記載の表示制御装置と、
自車両の周辺領域を撮影する撮像部と、
移動体を検出可能な検出部と、
前記周辺領域に関する情報を表示する表示部とを有することを特徴とする移動装置。
【請求項13】
前記撮像部は、第1の周辺領域を撮影する第1撮像部と、前記第1の周辺領域とは異なる第2の周辺領域を撮影する第2撮像部とを備えることを特徴とする請求項
12に記載の移動装置。
【請求項14】
前記表示部は、第1の周辺領域に関する情報を表示する第1表示部と、前記第1の周辺領域とは異なる第2の周辺領域に関する情報を表示する第2表示部とを備えることを特徴とする請求項
12に記載の移動装置。
【請求項15】
自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御方法であって、
前記周辺領域を撮影する撮像部の撮影領域から一部の領域を選択するステップと、
前記撮像部により撮影された画像から前記一部の領域に対応する切り出し画像を切り出すステップと、
前記切り出し画像、及び前記自車両
と前記一部の領域
との位置
関係を示す
位置画像を前記表示部に表示させるステップとを有することを特徴とする表示制御方法。
【請求項16】
請求項
15に記載の表示制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、撮像装置、及び移動装置に関する。
【背景技術】
【0002】
従来、車載カメラが撮影した自車両の周囲の画像を表示デバイスに表示する構成が提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記構成において、車載カメラに広角レンズを搭載した場合、広範囲の画像を取得可能であるが、情報量が多くなり、ユーザ(運転手)の認識性を低下させてしまうため、画像の一部を切り出して表示する必要がある。しかしながら、画角が変更された場合、ユーザは自車両に対してどの範囲の画像を見ているかを認識することができなくなってしまう。特許文献1には、モードに応じてカメラの撮影領域が変更したことを示すアイコンを表示デバイスに表示させる記載があるものの、ユーザに撮影領域のどの範囲の画像を見ているかを認識させる構成については開示されていない。
【0005】
本発明は、ユーザに自車両に対してどの範囲の画像を見ているかを認識させることが可能な表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一側面としての表示制御装置は、自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御装置であって、周辺領域を撮影する撮像部の撮影領域から一部の領域を選択する選択部と、撮像部により撮影された画像から一部の領域に対応する切り出し画像を切り出す画像生成部と、切り出し画像、及び自車両と一部の領域との位置関係を示す位置画像を前記表示部に表示させる表示制御部とを有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、ユーザに自車両に対してどの範囲の画像を見ているかを認識させることが可能な表示制御装置を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態に係る移動体の一例である自動車を示す図である。
【
図2】本発明の実施形態に係る移動体の一例である自動車の構成を示す図である。
【
図3】車載カメラが備える撮像光学系の説明図である。
【
図4】実施例1の表示制御装置の動作の説明図である。
【
図5】実施例1の表示デバイスの表示面に表示される内容の一例を示す図である。
【
図6】実施例1の表示デバイスの表示面に表示されるアイコンの例を示す図である。
【
図7】実施例1の表示デバイスの表示面に表示されるアイコンの例を示す図である。
【
図8】実施例1の表示制御装置の動作を示すフローチャートである。
【
図9】実施例2の表示制御装置の動作の説明図である。
【
図10】実施例2の表示デバイスの表示面に表示される内容の一例を示す図である。
【
図11】実施例3の表示制御装置の動作の説明図である。
【
図12】実施例3の表示デバイスの表示面に表示される内容の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
[実施例1]
図1は、本実施例の撮像部を備える移動体(移動装置)の一例である自動車(以下、自車両)を示す図である。
図1に示されるように、自車両100は、自車両100の周囲を撮影する側方カメラである車載カメラ(撮像部)20,21を備える。本実施例では、車載カメラ(第1撮像部)20は自車両100の右側の周辺領域を撮影し、車載カメラ21(第2撮像部)は自車両100の左側の周辺領域を撮影する。車載カメラ20,21は同様の構成であり、車載カメラ20を例に撮像領域(全画角)について説明する。
【0010】
車載カメラ20は、本実施例では画角180度程度の撮像範囲を有する。車載カメラ20による撮像範囲は撮像範囲30a,30bに分けられ、特に撮像範囲30bは車載カメラ20の光学系の特性によって高解像度で画像を取得できる領域を模式的に示している。図示されているように側方カメラである車載カメラ20は、撮像範囲30bで表される画角中央の光軸から離れた画角周辺領域が撮像範囲30aよりも高解像度で取得できる。そのため、ドアミラーを用いて確認する自車両100の左右後方を高解像度で撮像することが可能である。撮像された画像(撮像画像)は自車両100に設けられた表示デバイス40に表示され、自車両100の運転者は表示される画像を確認することで左右及び左右後方を確認することが可能である。
【0011】
なお、車載カメラ20,21は、本実施例では自車両100の左右の周辺領域を撮影するように設けられているが、本発明はこれに限定されない。車載カメラ20,21は例えば、自車両100の前側や後側の周辺領域を撮影するように設けられてもよい。
【0012】
図2は、自車両100の構成を示す図である。自車両100は、表示制御装置10、車載カメラ20,21、移動体検出センサ(検出部)30、及び表示デバイス(表示部)40を有する。なお、本実施例では、表示制御装置10と表示デバイス40は別々に構成されているが、一体的に構成されてもよい。また、表示制御装置10は、車載カメラ20,21に搭載されていてもよい。
【0013】
車載カメラ20,21は、撮像光学系と該撮像光学系により形成された像を撮像する撮像素子とを備え、自車両100と共に移動して自車両100の周辺領域を撮影する。車載カメラ20,21は、撮影した画像を表示制御装置10に送信する。本実施例では、撮像光学系として広角レンズが使用される。広角レンズについては後述する。
【0014】
移動体検出センサ30は、自動車や自動二輪車等の移動体を検出可能に構成される。移動体検出センサ30は、検出結果を表示制御装置10に送信する。
【0015】
表示デバイス40は、自車両100の周辺領域に関する情報を表示するためのディスプレイである。表示デバイス40は、例えば、液晶ディスプレイや有機ELディスプレイである。自車両100の周辺領域に関する情報とは例えば、車載カメラ20,21により撮影された画像や、移動体検出センサ30により検出された移動体に関する情報である。表示デバイス40は本実施例では、自車両100の右側の周辺領域に関する情報を表示する表示デバイス(第1表示部)と自車両100の左側の周辺領域に関する情報を表示する表示デバイス(第2表示部)とを備える。なお、表示デバイス40は、本実施例では自車両100の左右の周辺領域に関する情報を表示するが、本発明はこれに限定されない。表示デバイス40は例えば、自車両100の前側や後側の周辺領域に関する情報を表示してもよい。
【0016】
表示制御装置10は、少なくとも一つのプロセッサやメモリ等を含むコンピュータ(例えばECU:Electronic Control Unit)により構成される。表示制御装置10は、選択部10a、画像生成部10b、及び表示制御部10cを備え、表示デバイス40を制御する。選択部10aは、車載カメラ20,21の撮影領域から一部の領域(画角)である選択領域を選択する。画像生成部10bは、車載カメラ20,21により撮影された画像から選択部10aにより選択された選択領域に対応する切り出し画像を切り出す。表示制御部10cは、切り出し画像、及び自車両100に対する選択領域の位置を示す切り出し範囲(第1範囲)を表示デバイス40に表示させる。撮像光学系として広角レンズを使用した場合、広範囲の画像を取得可能であるが、広範囲の画像は情報量が多く、ユーザの認識性を低下させてしまう。また、画角が変更された場合、ユーザは自車両100に対してどの範囲の画像を見ているかを認識することができなくなってしまう。そこで、本実施例では、画像生成部10bが車載カメラ20,21により撮影された画像から切り出した切り出し画像を表示デバイス40に表示させることで、ユーザの認識性を向上させることができる。また、自車両100に対する選択領域の位置を示す切り出し範囲を表示デバイス40に表示させることで、ユーザに自車両100に対してどの範囲の画像を見ているかを認識させることができる。
【0017】
また、本実施例では、移動体検出センサ30が選択領域の外側の領域において自車両100に接近する移動体(第1移動体)を検出した場合、表示制御部10cは該移動体の接近を示す情報を表示デバイス40に表示させる。例えば、表示制御部10cは、切り出し範囲の移動体202が自車両100に接近する方向の側の表示(切り出し範囲の一部や、切り出し範囲の近傍の領域)を変化させる。これにより、ユーザは、画角外から接近する移動体を認識可能である。
【0018】
以下、
図3を参照して、車載カメラ20,21が備える撮像光学系について説明する。なお、車載カメラ20,21が備える撮像光学系の特性は必ずしも同じでなくてもよいが、本実施例においては、車載カメラ20,21が備える撮像光学系は略同じ特性を有するものとし、車載カメラ20が備える撮像光学系について例示的に説明する。
【0019】
図3(a)は、車載カメラ20が備える撮像光学系の光学特性を説明するための図であり、車載カメラ20が備える撮像素子の撮像面上(像面上)での結像高さ(像高)yと半画角(光軸と入射光線とがなす角度)θとの関係を表す射影特性y(θ)を表している。
図3(a)では、半画角θを横軸とし、像高yを縦軸として示している。
【0020】
車載カメラ20が備える撮像光学系は、
図3(a)に示されるように、半画角θの単位量に対する像高yの増加量である解像度が領域によって異なる。局所的な解像度は、射影特性y(θ)の半画角θでの微分値dy(θ)/dθで表される。すなわち、
図3(a)の射影特性y(θ)の傾きが大きいほど解像度が高いといえる。
【0021】
本実施例では、車載カメラ20,21は、以下の条件式(1)を満たす射影特性y(θ)を有する撮像光学系を備える。該撮像光学系では、中心寄りの領域が撮像範囲30aに相当し、半画角θが所定の半画角θa以上の外寄りの領域が撮像範囲30bに相当する。このような撮像光学系を逆異画角レンズと呼ぶ場合がある。
【0022】
0.20<2×f×tan(θmax/2)/y(θmax)<0.95 (1)
ここで、fは、撮像光学系の焦点距離である。θmaxは、撮像光学系が有する最大の半画角である。
【0023】
また、車載カメラ20,21は、撮像素子の撮像面の周辺領域に関して、以下の条件式(2),(3)を満足することが好ましい。
【0024】
0.35Lh≦Lb≦0.5Lh (2)
0.35Lh≦Lf≦0.5Lh (3)
ここで、Lbは、自車両100後方の被写体の撮像面上での像位置と撮像面の中心との距離である。Lfは、自車両100前方の被写体の撮像面上での像位置と撮像面の中心との距離である。Lhは、撮像面上にて上記2つの像位置が離れる方向に延びる辺の長さである。
【0025】
条件式(2),(3)は、
図3(b)に示されるように、撮像面11aの最周辺領域R3を有効に使用するための条件を示している。条件式(2),(3)を満足しないと、高解像度の最周辺領域R3で撮像することができず、撮像画像から詳細な情報を得ることが困難になるため、好ましくない。言い換えれば、条件式(2),(3)を満足することで、最周辺領域R3で高解像度撮像を行うことができる。そして、最周辺領域R3で得られた高解像度の部分画像を切り出して表示デバイス40に出力して表示させることで、運転者は前方及び後方の詳細な情報を得ることができる。ただし、最周辺領域R3ではない低解像度の部分画像を切り出して表示デバイス40に出力して表示した場合、運転者は少なくとも光軸方向に被写体が存在するか否かを把握することは可能である。
【0026】
本実施例では、車載カメラ20,21は、上述した構成を有するため、最周辺領域R3が自車両100の前方及び後方を撮像できるように、自車両100に設置される。例えば、車載カメラ20,21の光軸は自車両100の側方に地面(水平面)とほぼ平行となるように、最周辺領域R3が自車両100の前方及び後方を撮像できる角度となるように設置される。
【0027】
以下、表示制御装置10の動作について説明する。
図4は、表示制御装置10の動作の説明図である。本実施例では、選択部10aは、移動体検出センサ30の検出結果に基づいて、撮影領域から選択領域を選択する。具体的には、選択部10aは、移動体検出センサ30から自車両100に接近する移動体のうち自車両100に最も近い移動体に関する情報を取得する。次に、選択部10aは、自車両100に接近する移動体のうち自車両100に最も近い移動体が切り出し画像に含まれるように、選択領域を選択する。なお、本実施例では、車線が2である(車線が片側2車線である)場合について説明するが、車線が1や3以上の場合であっても本発明を適用可能である。
【0028】
図4(a)は、移動体201,202が走行中の自車両100に接近している状況を示している。
図4(a)では、移動体201が自車両100に最も近く、移動体202が移動体201の次に自車両100に近いものとする。
図4(a)の状況において、選択部10aは、移動体検出センサ30から検出結果を取得する。検出結果は例えば、移動体201,202が走行中の自車両100に接近していることや、移動体201が自車両100に最も近く、移動体202が移動体201の次に自車両100に近いことである。選択部10aは、自車両100に最も近い移動体201が切り出し画像に含まれるように、車載カメラ20の撮影領域から選択領域301を選択する。画像生成部10bは、車載カメラ20により撮影された画像から選択領域301に対応し、移動体201を含む切り出し画像を切り出す。表示制御部10cは、
図5(a)に示されるように、画像生成部10bにより切り出された切り出し画像41aを表示デバイス40に表示させる。また、表示制御部10cは、自車両100を示すアイコン42a及び自車両100に対する選択領域301の位置を示す切り出し範囲42bを含むアイコン42を表示デバイス40に表示させる。
【0029】
また、表示制御部10cは、ユーザに画角外から接近する移動体202を認識させるために、切り出し範囲42bの移動体202が自車両100に接近する方向の側の表示を変化させる。表示制御部10cは、本実施例では、
図5(a)に示されるように、切り出し範囲42bの移動体202が自車両100に接近する方向の側の一部42cの色を変化させる。なお、ユーザに画角外から接近する移動体202を認識させることが可能であれば、表示方法はこれに限定されない。例えば、切り出し範囲42bの移動体202が自車両100に接近する方向の側の表示を点滅させてもよいし、切り出し範囲42bの移動体202が自車両100に接近する方向の側の枠線を太くしてもよい。
【0030】
また、表示制御部10cは、自車両100と移動体202との距離に応じて切り出し範囲42bの移動体202が自車両100に接近する方向の側の表示を異ならせてもよい。例えば、表示制御部10cは、
図6(a)に示されるように、アイコン42bに自車両100と移動体202との距離に関する情報を追加してもよい。また、表示制御部10cは、
図6(b)に示されるように、自車両100と移動体202との距離が近づくにつれて切り出し範囲42bの移動体202が自車両100に接近する方向の側の一部42cを太くしてもよい。更に、表示制御部10cは、
図6(c)に示されるように、自車両100と移動体202との距離が近づくにつれて切り出し範囲42bの移動体202が自車両100に接近する方向の側の表示の点滅の間隔を短くしてもよい。
【0031】
また、表示制御部10cは、
図7に示されるように、自車両100に対する撮影領域の位置を示す撮影範囲(第2範囲)42eをアイコン42に含ませてもよい。また、表示制御部10cは、撮影範囲42eの移動体202が自車両100に接近する方向の側の表示を変化させてもよい。
図7では、撮影範囲42eの移動体202が自車両100に接近する方向の側の一部42fの色を変化させている。
【0032】
図4(b)は、
図4(a)の状況から移動体201が自車両100を追い越し、自車両100から離れ、移動体202が自車両100に接近している状況を示している。
図4(b)では、移動体201が自車両100に最も近く、移動体202が移動体201の次に自車両100に近いものとする。
図4(b)の状況において、選択部10aは、移動体検出センサ30から検出結果を取得する。検出結果は例えば、移動体201が自車両100から離れ、移動体202が自車両100に接近していることや、移動体201が自車両100に最も近く、移動体202が移動体201の次に自車両100に近いことである。選択部10aは、自車両100に接近している移動体のうち自車両100に最も近い移動体202が切り出し画像に含まれるように、車載カメラ20の撮影領域から選択領域302を選択する。画像生成部10bは、車載カメラ20により撮影された画像から選択領域302に対応し、移動体202が含まれる切り出し画像を切り出す。表示制御部10cは、
図5(b)に示されるように、画像生成部10bにより切り出された切り出し画像41bを表示デバイス40に表示させる。このとき、表示制御部10cは、自車両100を示すアイコン42a及び自車両に対する選択領域302の位置を示す切り出し範囲42dを含むアイコン42を表示デバイス40に表示させる。なお、
図4(b)の状況では、画角外から接近する移動体が存在しないため、表示制御部10cは自車両100に接近する移動体を示す情報を表示デバイス40に表示させない。
【0033】
以下、上述した表示制御装置10の動作の流れについて説明する。
図8は、本実施例の表示制御装置10の動作を示すフローチャートである。本フローは、表示制御装置10に電力が供給されると、開始される。なお、本実施例では、表示制御装置10に電力が供給される場合は、例えば、自車両100のイグニッションスイッチ(スタートスイッチ)がONされた場合や、自車両100のシフトレバーがパーキング以外に変更された場合である。
【0034】
ステップS101では、表示制御部10cは、予め選択されている選択領域(初期状態で設定されている選択領域)に対応する切り出し画像、及び自車両100に対する選択領域の位置を示す切り出し範囲を含むアイコンを表示デバイス40に表示させる。
【0035】
ステップS102では、表示制御部10cは、移動体検出センサ30の検出結果を用いて、自車両100の背後(後側)から自車両100に移動体が接近しているかどうかを判定する。表示制御部10cが自車両100の背後から自車両100に移動体が接近していると判定した場合、ステップS103の処理が実行される。また、表示制御部10cが自車両100の背後から自車両100に移動体が接近していないと判定した場合、ステップS101の処理が実行される。
【0036】
ステップS103では、選択部10aは、自車両100の背後から自車両100に接近している移動体のうち自車両100に最も近い移動体が切り出し画像に含まれるように、車載カメラ20の撮影領域から選択領域を選択する。また、画像生成部10bは、車載カメラ20により撮影された画像から選択領域に対応する切り出し画像を切り出す。
【0037】
ステップS104では、表示制御部10cは、移動体検出センサ30の検出結果を用いて、自車両100の背後から自車両100に接近している移動体のうち自車両100に2番目以降に近い移動体の向きを取得する。取得された情報は、ユーザに画角外から接近する移動体を認識させるために使用される。
【0038】
ステップS105では、表示制御部10cは、画像生成部10bにより切り出された切り出し画像、及び自車両100に対する選択領域の位置を示す切り出し範囲を含むアイコンを表示デバイス40に表示させる。
【0039】
ステップS106では、表示制御装置10は、本フローを終了するかどうかを判定する。表示制御装置10は、電力の供給が終了したり、ユーザによる操作で終了を指示されたりすることで本フローを終了すると判定する。表示制御装置10が本フローを終了すると判定した場合、本フローを終了する。また、表示制御装置10が本フローを終了しないと判定した場合、ステップS102の処理が実行される。
【0040】
以上説明したように、本実施例の構成によれば、ユーザに自車両に対してどの範囲の画像を見ているかを認識させることが可能である。更に、表示していない範囲についても移動体があることをアイコン等で表示することで、ユーザは表示範囲外にも移動体が存在することを把握することができる。
[実施例2]
実施例1では車線が片側2車線である場合について説明したが、本実施例では車線が片側3車線である場合について説明する。本実施例の移動体の一例である自動車(以下、自車両)100は、実施例1で説明した自車両100と同様の構成を有する。本実施例では、実施例1と異なる構成についてのみ説明し、共通の構成については説明を省略する。
【0041】
本実施例では、選択部10aは、自車両100に接近し、かつ自車両100からの距離が所定の範囲内である移動体のうち自車両100に最も近い移動体が切り出し画像に含まれるように、選択領域を選択する。自車両100からの距離とは、自車両100の中心位置からの距離であってもよいし、移動体検出センサ30からの距離であってもよい。例えば、自車両100の右側に設けられた移動体検出センサ30を基準とする場合、自車両100の右側に向かう方向(自車両100の進行方向及び重力方向に直交する方向)からの距離を車線の幅(3.5m)よりも短い2m以内に設定すればよい。このように設定することで、自車両100が走行する車線から離れた車線を走行する移動体が切り出し画像に含まれるように選択領域が選択されることを抑制することができる。
【0042】
ここで、自車両100が走行している第1車線に隣接する車線を走行している第1移動体と第1車線から離れた車線を走行している第2移動体が存在し、第2移動体が第1移動体よりも自車両100に近い場合について説明する。第1移動体と第2移動体は共に、自車両100に接近しているものとする。このような場合、ユーザは、自車両100に近い第2移動体ではなく、第1車線に隣接する車線を走行している第1移動体を認識したいと考える。しかしながら、実施例1の構成では、自車両100に最も近い第2移動体が切り出し画像に含まれるように、選択領域が選択される。一方、本実施例の構成では、移動体は自車両100からの距離が所定の範囲内であるという条件を満足する必要があるため、自車両100に最も近い第2移動体ではなく、第1移動体が切り出し画像に含まれるように、選択領域が選択される。すなわち、自車両100から最も近い移動体が自車両100から離れた車線を走行している移動体である場合に該移動体が切り出し画像に含まれるように選択領域が選択されることを抑制することができる。これにより、表示制御装置10は、自車両100の周辺の移動体のうち、ユーザが最も気にかける(知りたい)移動体を表示することが可能になる。
【0043】
図9は、表示制御装置10の動作の説明図である。
図9では、自車両100、移動体203,204はそれぞれ、車線500,501,502を走行している。また、移動体204が自車両100に最も近く、移動体203が移動体204の次に自車両100に近いものとする。
図9(a)の状況において、選択部10aは、自車両100に接近し、かつ自車両100からの距離が所定の範囲内である移動体のうち自車両100に最も近い移動体203が切り出し画像に含まれるように、選択領域303を選択する。所定範囲は、自車両100の右側に設けられた移動体検出センサ30を基準として、自車両100の右側に向かう方向において2m、自車両100の前側に向かう方向において0m、自車両100の後側に向かう方向において20mで設定されている。画像生成部10bは、車載カメラ20により撮影された画像から選択領域303に対応し、移動体203が含まれる切り出し画像を切り出す。表示制御部10cは、
図10に示されるように、画像生成部10bにより切り出された切り出し画像41cを表示デバイス40に表示させる。このとき、表示制御部10cは、自車両100を示すアイコン43a、自車両100に対する選択領域303の位置を示す切り出し範囲43b、及び上述した所定の範囲を示すアイコン43cを含むアイコン43を表示デバイス40に表示させる。
【0044】
また、表示制御部10cは、ユーザに画角外から接近する移動体204を認識させるために、切り出し範囲43bの移動体204が自車両100に接近する方向の側の表示を変化させてもよい。表示制御部10cは、本実施例では、
図10に示されるように、切り出し範囲43bの移動体204が自車両100に接近する方向の側の一部43dの色を変化させる。
[実施例3]
実施例1,2では、車両の片側について、1つの選択領域に対応する切り出し画像と切り出し範囲を1つの表示デバイスに表示させる場合について説明した。本実施例では車両の片側について、複数の選択領域ごとに対応する切り出し画像と切り出し範囲を複数の表示デバイスに表示させる場合について説明する。すなわち、表示デバイス40は、本実施例では、自車両100の右側の周辺領域に関する情報を表示する表示デバイス(第1表示部)を複数有する。また、表示デバイス40は、本実施例では、自車両100の左側の周辺領域に関する情報を表示する表示デバイス(第2表示部)を複数有する。なお、表示デバイス40は、第1表示部及び第2表示部をそれぞれ複数有してもよい。本実施例の移動体の一例である自動車(以下、自車両)100は、実施例1で説明した自車両100と同様の構成を有する。本実施例では、実施例1,2と異なる構成についてのみ説明し、共通の構成については説明を省略する。
【0045】
図11は、表示制御装置10の動作の説明図である。
図11では、自車両100の右側前方を移動体205が走行し、右側後方を移動体206が走行している。
図11では、移動体205が自車両100に最も近く、移動体206が移動体205の次に自車両100に近いものとする。
図11の状況において、選択部10aは、移動体205が切り出し画像に含まれるように、選択領域304を選択すると共に、移動体206が切り出し画像に含まれるように、選択領域305を選択する。画像生成部10bは、車載カメラ20により撮影された画像から選択領域304に対応し、移動体205を含む切り出し画像と、選択領域305に対応し、移動体206を含む切り出し画像を切り出す。表示制御部10cは、
図12(a)に示されるように、画像生成部10bにより切り出された切り出し画像41dを表示デバイス40のうち一つの表示デバイスに表示させる。このとき、表示制御部10cは、自車両100を示すアイコン44a及び自車両100に対する選択領域304の位置を示す切り出し範囲44bを含むアイコン44を表示デバイス40に表示させる。また、表示制御部10cは、
図12(b)に示されるように、画像生成部10bにより切り出された切り出し画像41eを、切り出し画像41dを表示していないほうの表示デバイスに表示させる。このとき、表示制御部10cは、自車両100を示すアイコン45a及び自車両100に対する選択領域305の位置を示す切り出し範囲45bを含むアイコン45を表示デバイス40に表示させる。
【0046】
なお、全ての切り出し画像と切り出し範囲を1つの表示デバイスに表示させてもよい。この場合、表示デバイス40は1つでもよい。この場合、例えば、
図12(a)及び
図12(b)の画像が一つの表示デバイスに表示されることになる。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0047】
なお、上記各実施例では、車載カメラ20,21に広角レンズを用いたが、必ずしも広角レンズでなくともよい。例えば、自車両100の前方、側方、及び後方それぞれを撮影するために3台の撮像装置を用いてもよい。
【0048】
本実施形態の開示は、以下の構成及び方法を含む。
【0049】
(構成1)
自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御装置であって、
前記周辺領域を撮影する撮像部の撮影領域から一部の領域を選択する選択部と、
前記撮像部により撮影された画像から前記一部の領域に対応する切り出し画像を切り出す画像生成部と、
前記切り出し画像、及び前記自車両と前記一部の領域との位置関係を示す位置画像を前記表示部に表示させる表示制御部とを有することを特徴とする表示制御装置。
(構成2)
前記選択部は、移動体を検出可能な検出部の検出結果に基づいて、前記一部の領域を選択することを特徴とする構成1に記載の表示制御装置。
(構成3)
前記選択部は、前記自車両に接近する移動体のうち前記自車両に最も近い移動体が前記切り出し画像に含まれるように、前記一部の領域を選択することを特徴とする構成2に記載の表示制御装置。
(構成4)
前記選択部は、前記自車両に接近し、かつ前記自車両からの距離が所定の範囲内である移動体のうち前記自車両に最も近い移動体が前記切り出し画像に含まれるように、前記一部の領域を選択することを特徴とする構成2又は3に記載の表示制御装置。
(構成5)
前記選択部は、前記撮影領域から複数の一部の領域を選択し、
前記画像生成部は、前記画像から前記複数の一部の領域ごとに対応する複数の切り出し画像を生成し、
前記表示制御部は、前記複数の切り出し画像、及び前記自車両と前記複数の一部の領域の各領域との位置関係を示す複数の位置画像を前記表示部に表示させることを特徴とする構成1乃至4の何れか一つの構成に記載の表示制御装置。
(構成6)
移動体を検出可能な検出部が前記一部の領域の外側の領域において前記自車両に接近する第1移動体を検出した場合、前記表示制御部は前記第1移動体の接近を示す情報を前記表示部に表示させることを特徴とする構成1乃至5の何れか一つの構成に記載の表示制御装置。
(構成7)
前記表示制御部は、前記位置画像の前記第1移動体が前記自車両に接近する方向の側の表示を変化させることを特徴とする構成6に記載の表示制御装置。
(構成8)
前記表示制御部は、前記自車両と前記第1移動体との距離に応じて前記表示を異ならせることを特徴とする構成7に記載の表示制御装置。
(構成9)
前記表示制御部は、前記自車両に対する前記撮影領域の位置を示す第2範囲の前記第1移動体が前記自車両に接近する方向の側の表示を変化させることを特徴とする構成6に記載の表示制御装置。
(構成10)
前記位置画像は、アイコンであることを特徴とする構成1乃至9の何れか一つの構成に記載の表示制御装置。
(構成11)
構成1乃至10の何れか一つの構成に記載の表示制御装置と、
撮像素子とを有することを特徴とする撮像装置。
(構成12)
構成1乃至10の何れか一つの構成に記載の表示制御装置と、
自車両の周辺領域を撮影する撮像部と、
移動体を検出可能な検出部と、
前記周辺領域に関する情報を表示する表示部とを有することを特徴とする移動装置。
(構成13)
前記撮像部は、第1の周辺領域を撮影する第1撮像部と、前記第1の周辺領域とは異なる第2の周辺領域を撮影する第2撮像部とを備えることを特徴とする構成12に記載の移動装置。
(構成14)
前記表示部は、第1の周辺領域に関する情報を表示する第1表示部と、前記第1の周辺領域とは異なる第2の周辺領域に関する情報を表示する第2表示部とを備えることを特徴とする構成12又は13に記載の移動装置。
(方法1)
自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御方法であって、
前記周辺領域を撮影する撮像部の撮影領域から一部の領域を選択するステップと、
前記撮像部により撮影された画像から前記一部の領域に対応する切り出し画像を切り出すステップと、
前記切り出し画像、及び前記自車両と前記一部の領域との位置関係を示す位置画像を前記表示部に表示させるステップとを有することを特徴とする表示制御方法。
(構成15)
方法1に記載の表示制御方法をコンピュータに実行させることを特徴とするプログラム。
【0050】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0051】
100 自動車(自車両)
10 表示制御装置
10a 選択部
10b 画像生成部
10c 表示制御部
20 車載カメラ(撮像部)
40 表示デバイス(表示部)