(58)【調査した分野】(Int.Cl.,DB名)
各車両が撮影した画像とその画像に映っている前方車両の前記前方車両情報とを各車両から収集して、収集した画像と前方車両情報とを関連付けてサーバ(20)に蓄積する収集ステップ(S16)と、
前記収集ステップで収集された各画像の中から、車間距離の計測を望む対象車両が撮影した画像に映っている前方車両である対象前方車両と同一形状の前方車両が映っている画像を検索する検索ステップ(S42)と、
前記検索ステップで検索された画像に関連付けて前記サーバに蓄積された前記前方車両情報を用いて、前記対象車両と前記対象前方車両との車間距離を算出する第3の距離算出ステップ(S35)とを含むことを特徴とする請求項6又は7に記載の車間距離計測方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ナンバープレートはそれほど大きくないため、前方車両との距離が遠い場面や夜間の場面などでは、画像からナンバープレートを認識できないことがある。仮に、認識できたとしても車間距離の変化に対する画像でのナンバープレートの寸法(画素数)の変化は非常に小さいので、車間距離の計測精度が著しく劣る。また、カメラ性能にも依存し、実用的な精度を確保するためにはそれなりに高額なカメラが必要となる。なお、ステレオカメラやレーザー光により車間距離を計測する方法も考えられるが、ステレオカメラの方法の場合には複数のカメラを用意する必要があり、レーザー光の方法の場合にはレーザー光による距離計測装置を用意する必要があるので、高価となってしまう。
【0006】
本発明は上記問題に鑑みてなされたものであり、実用的な精度を確保でき、かつ安価に前方車両との車間距離を計測できる車間距離計測装置及び車間距離計測方法を提供することを課題とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の車間距離計測装置
(10)は、前方車両(3、31、32)を撮影する撮影手段(4)を備える車両(2)に搭載され、
前記車両が前方車両に接近した時に前記撮影手段が撮影した画像である接近時画像(81)から前方車両のナンバープレート(35)を認識する認識手段(S12)と、
前記認識手段が認識したナンバープレートの画像上の寸法に基づき前記車両と前方車両との車間距離を基準距離として算出する第1の距離算出手段(S14)と、
前記接近時画像上での前方車両の寸法を基準寸法として算出する寸法算出手段(S15)と、
前記接近時画像と、前記基準距離と前記基準寸法との情報である前方車両情報とを関連付けて蓄積する記憶手段(51、S16)と、
前記記憶手段に蓄積された画像の中から、前記撮影手段が撮影した画像(82)に映っている前方車両と同一形状の前方車両が映っている画像を検索し、検索された画像に関連付けて記憶されている前記前方車両情報を前記記憶手段から取得する取得手段(S22)と、
前記取得手段が取得した前記前方車両情報を用いて、前記撮影手段が撮影した画像
(82)での前方車両の寸法から前記車両と前方車両との車間距離を算出する第2の距離算出手段(
S23)と、
を備えることを特徴とする。
【0008】
また、本発明の車間距離計測方法は、車両が前方車両(3、31、32)に接近した時に前記前方車両を撮影する近接時撮影ステップ(S11)と、
前記近接時撮影ステップで撮影された接近時画像(81)から前記前方車両のナンバープレート(35)を認識する認識ステップ(S12)と、
前記認識ステップで認識されたナンバープレートの画像上の寸法に基づき前記車両と前記前方車両との車間距離を基準距離として算出する第1の距離算出ステップ(S14)と、
前記接近時画像上での前方車両の寸法を基準寸法として算出する寸法算出ステップ(S15)と、
前記接近時画像と、前記基準距離と前記基準寸法との情報である前方車両情報とを関連付けて前記車両に搭載された記憶手段(51)に蓄積する記憶ステップ(S16)と、
前記前方車両情報を得た以降は、新たに前記前方車両を撮影し、前記新たに前記前方車両を撮影した画像(82)に映っている前方車両と同一形状の前方車両が映っている画像を前記記憶手段から検索し、検索された画像に関連付けて記憶されている前記前方車両情報を前記記憶手段から取得する取得ステップ(S22)と、
前記新たに前記前方車両を撮影した画像(82)上での前方車両(312)の寸法と、
前記取得ステップで取得した前記前方車両情報とから前記車両と前記前方車両との車間距離を算出する第2の距離算出ステップ(
S23)と、
を含むことを特徴とする。
【0009】
本発明では、前方車両を撮影する撮影手段を車両に搭載し、その車両が前方車両に接近した時に撮影手段が撮影した画像(接近時画像)に映ったナンバープレートの画像上の寸法から車間距離(基準距離)を算出するとともに、接近時画像上での前方車両の寸法(基準寸法)を算出する。そして、本発明は、それら基準距離、基準寸法の情報(前方車両情報)を用いて、画像での前方車両の寸法から車間距離を算出する。このように、一旦前方車両情報が得られた場合には、以降はナンバープレートよりも大きい前方車両の寸法から車間距離を算出できるので、前方車両との距離が遠い場面や夜間の場面であっても車間距離を実用的な精度で計測することができる。また、接近時以外はナンバープレートを認識する必要がないので、安価な撮影手段を用いることができる。つまり、安価に車間距離を計測できる。また、前方車両の車種が異なると、同一の車間距離であっても画像に映る前方車両の寸法が変わってくるが、本発明では、前方車両への接近時にその前方車両の車種(実際の寸法)が反映された前方車両情報を計測により得ているので、前方車両がどの車種であっても車間距離を計測することができる。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を図面を参照しながら説明する。
図1は、本発明が適用された車間距離計測システムの構成を示している。
図1の車間距離計測システム1は、自車両2とその前方車両3との車間距離を計測するシステムである。その車間距離計測システム1は、自車両2に搭載される車載器10と、外部に設置されたサーバ20とを備えている。
【0012】
車載器10は、カメラ4と通信部6とそれらと接続した制御部5とを備えている。カメラ4は、例えば自車両2のルームミラーの裏側に取り付けられ、自車両2が走行している間継続して、自車両2の前方を撮影、つまり自車両2の前方を走行している前方車両3を撮影するカメラである。そのカメラ4は、例えば自車両2の走行履歴を記録するドライビングレコーダ用のカメラと兼用することができる。カメラ4で撮影された画像は制御部5に送られる。
【0013】
通信部6は、アンテナ、変調回路、復調回路等から構成され、サーバ20(厳密には、サーバ20の通信部23)との間で各種情報の無線通信(送受信)を行う部分である。すなわち、通信部6は、制御部5から送られてきた情報を変調してサーバ20に送信するとともに、サーバ20からの情報を受信して受信した情報を復調して制御部5に送る。
【0014】
制御部5は、CPU、ROM、RAM等から構成されたコンピュータであり、カメラ4が撮影した画像や、通信部6で受信されたサーバ20からの情報に基づいて、自車両2と前方車両3との車間距離を算出する。詳細には、制御部5は、カメラ4で撮影された画像での前方車両3の車両幅(車両幅ピクセル数)に基づいて車間距離を算出する。車間距離の算出方法の詳細は後述する。また、制御部5は、EEPROM、フラッシュメモリ等のメモリ51を備え、そのメモリ51には後述する前方車両情報が記憶される。また、メモリ51には、カメラ4で撮像された画像でのナンバープレートの寸法(例えば横幅)と車間距離との関係が予め記憶されている。具体的には、自車両2と前方車両3との車間距離が所定の基準距離L0の時にカメラ4で撮像された画像でのナンバープレートの横幅ピクセル数(基準横幅ピクセル数)がD0としたとき、メモリ51には、それら基準距離L0及び基準横幅ピクセル数D0が記憶されている。
【0015】
サーバ20は、記憶部22と通信部23とそれらと接続したCPU21とを備えている。記憶部22は、ハードディスクドライブ等、各種情報を記憶する部分であり、本実施形態では、記憶部22には、車載器10が搭載された各車両2から送られてきた情報(その情報の詳細は後述する)が記憶される。
【0016】
通信部23は、アンテナ、変調回路、復調回路等から構成され、車載器10を備えた各車両2(厳密には車載器10の通信部6)との間で各種情報の無線通信(送受信)を行う部分である。すなわち、通信部23は、各車両2からの情報を受信して受信した情報を復調してCPU21に送るとともに、CPU21から送られてきた情報を変調して特定の車両2に送信する。なお、車載器10の通信部6とサーバ20の通信部23の間の通信方法は、インターネットを利用した通信や携帯電話回線を利用した通信など、どの通信方法であっても良い。
【0017】
CPU21は、車両2と前方車両3との車間距離の計測に必要な前方車両情報を記憶部22から読み出して、読み出した前方車両情報を通信部23に送信させるなどの処理を行う。CPU21が行う処理の詳細は後述する。
【0018】
次に、自車両2と前方車両3との車間距離の計測方法を説明する。上述したように、制御部5は、カメラ4が撮影した画像での前方車両3の車両幅に基づいて、その前方車両3との車間距離を算出する。そのためには、制御部5は、画像に映った前方車両3の車両幅ピクセル数と車間距離との関係を示した前方車両情報を予め持っておく必要がある。この前方車両情報は前方車両3の車種に応じて変わってくる。つまり、同一の車間距離であっても車種が異なると前方車両の車両幅ピクセル数が変わってくる。そのため、ある特定の車種の前方車両情報を事前に調べておいたとしても、その前方車両情報は、他の車種の前方車両との車間距離計測には用いることができない。
【0019】
そこで、制御部5は、車間距離を計測する場面で、実際に前方を走行している前方車両の前方車両情報を計測する情報計測処理を実行する。そして、その情報計測処理で前方車両情報が得られた場合には、以降、その前方車両情報を用いて車両幅から前方車両との車間距離を計測する第1距離計測処理を実行する。以下、それら情報計測処理、第1距離計測処理の詳細を説明する。なお、制御部5は、情報計測処理に先行して、サーバ20から前方車両情報の取得を試みて、前方車両情報を取得できた場合にはその前方車両情報を用いて車間距離を計測する第2距離計測処理を行う。そして、その第2距離計測処理にてサーバ20から前方車両情報を取得できなかった場合に情報計測処理を実行する。ここでは、説明の便宜上、情報計測処理、第1距離計測処理から説明をし、その後に、第2距離計測処理を説明する。
【0020】
図2は、情報計測処理のフローチャートを示している。この情報計測処理による前方車両情報の計測は、
図3に示すように、画像に映った前方車両のナンバープレートが認識できる程度に自車両2が前方車両31に接近した時に行われることを想定している。より具体的には、認識した前方車両31のナンバープレートが画像上で所定の大きさ以上となったときに自車両2が前方車両31に充分接近したと判断している。
【0021】
図2の処理を開始すると、先ず、カメラ4が撮影した画像をカメラ4から取得する(S11)。
図4は、S11で取得した画像を例示している。
図4の画像81には、前方車両31(
図3参照)に相当する領域311(以下、単に前方車両311という)が含まれている。
【0022】
次に、S11で取得した画像81から、前方車両311のナンバープレート35(
図4参照)の認識を試みる(S12)。画像に基づくナンバープレートの認識は公知のどの手法を用いても良いが、例えば、特開2012−63869号公報に記載の手法を用いることができる。すなわち、ナンバープレートのテンプレート画像を予めメモリ51(
図1参照)に記憶しておき、S11で取得した画像81の中から、メモリ51に記憶されたテンプレート画像の画像領域35(
図4参照)を探索する。
【0023】
次に、画像からナンバープレートを認識できたか否かを判断する(S13)。認識できない場合には(S13:No)、
図2のフローチャートの処理を終了する。この場合には、
図3に示す場面、つまり前方車両への接近時の場面ではなく、自車両と前方車両との距離が離れていて画像に映ったナンバープレートが小さすぎの場面や、夜間でナンバープレートが不鮮明の場面が想定される。この場合には、次回の
図2の処理の実行時に、再度、ナンバープレートの認識の試みが行われる。
【0024】
ナンバープレートを認識できた場合には(S13:Yes)、認識したナンバープレートの寸法に基づいて、特許文献1に記載の方法と同様の方法で、前方車両との車間距離を算出する(S14)。具体的には、認識したナンバープレート35からそのナンバープレート35の横幅ピクセル数D(
図4参照)を算出する。そして、算出した横幅ピクセル数Dと、メモリ51に記憶された上記基準距離L0と基準横幅ピクセル数D0とに基づいて、以下の式1により、前方車両31との車間距離L1(
図3参照)を算出する。なお、下記式1は、特許文献1に記載の式と同じである。
L1=(L0×D0)/D ・・・(式1)
【0025】
次に、S11で取得した画像81での前方車両311の車両幅W1(
図4参照)を算出する(S15)。具体的には、S15では、先ず、画像81から前方車両311を認識する。具体的には、例えば、一般的な車両の後姿のテンプレート画像をメモリ51に予め記憶しておき、画像81の中からそのテンプレート画像と良くマッチした領域311(前方車両)を探索する。そして、認識した前方車両311の左端と右端の間のピクセル数W1を、車両幅として算出する。S14で算出した車間距離L1(基準車間距離)とS15で算出した車両幅W1(基準車両幅)とが、
図3の前方車両31に対する前方車両情報となる。
【0026】
次に、S11で取得した画像と、S14、S15で算出した前方車両情報(基準車間距離L1、基準車両幅W1)とを、メモリ51に記憶するとともに、通信部6(
図1参照)を介してサーバ20に送信する(S16)。画像及び前方車両情報をメモリ51に記憶する際には、それらを関連付けて記憶する。なお、毎回の前方車両情報の計測場面で
図2の処理が実行されS16で画像及び前方車両情報がメモリ51に記憶されることにより、メモリ51には、複数種類の画像及び前方車両情報が蓄積されることになる。その後、
図2のフローチャートの処理を終了する。
【0027】
S16でサーバ20に送信された画像と前方車両情報とは、サーバ20の通信部23(
図1参照)に受信される。そして、CPU21は、通信部23が受信した画像と前方車両情報とを関連付けて記憶部22に記憶(蓄積)しておく。ここで、
図5は、記憶部22に記憶された画像と前方車両情報とのデータベース220の概念図を示している。そのデータベース220には、車載器10を搭載した各車両から送信された各画像Xが格納される画像格納欄221と、各前方車両情報Yが格納される情報格納欄222とが設けられている。画像格納欄221の各欄と、情報格納欄222の各欄とは相互に関連付けられている。各車両からは各種車種の前方車両情報が送られてくるので、データベース220には、車種毎の前方車両情報が蓄積されることになる。
【0028】
図2の処理により、前方車両情報を計測した以降は、制御部5は、その前方車両情報(計測情報)を用いて、画像での前方車両の車両幅から車間距離を計測する第1距離計測処理に移行する。ここで、
図6はその第1距離計測処理のフローチャートを示している。この
図6の処理は、
図7に示すように、
図2の処理で計測した前方車両情報に対応する前方車両31(
図3の場面と同じ前方車両31)との車間距離を引き続き計測する場面で実行されることを想定している。なお、
図6の処理は、前方車両との車間距離の計測を行う間中、一定間隔おきに繰り返し実行される。
【0029】
図6の処理を開始すると、先ず、カメラ4が撮影した画像をカメラ4から取得する(S21)。
図8は、S21で取得した画像を例示している。
図8の画像82には、前方車両31に相当する領域312(以下、単に前方車両312という)が含まれている。
図3の場面に比べて、
図7の場面のほうが、自車両2と前方車両31との距離が離れているとすると、
図8の前方車両312の寸法は、
図4の前方車両311の寸法よりも小さくなり、前方車両312のナンバープレートは認識しづらくなっている。ナンバープレートの寸法のみから車間距離を計測する手法では、
図7の場面では、車間距離が計測できないか、計測できたとしても低精度の車間距離が得られてしまう。
【0030】
次に、先のS16でメモリ51に記憶された最新の前方車両情報をメモリ51から取得する(S22)。なお、先のS16では、メモリ51に画像も蓄積したので、S22では、メモリ51に蓄積された画像の中から、S21で取得した画像82(
図8参照)に映っている前方車両312と同一形状(同一車種)の前方車両が映っている画像を検索する(パターンマッチングをする)。そして、検索した画像に関連付けて記憶された前方車両情報をメモリ51から取得しても良い。これによって、
図7の前方車両31との車間距離の追従計測中に、自車両2とその前方車両31の間に他車両が割り込んできた場合であっても、その他車両の割り込みが解除された後は、
図2により前方車両情報を再計測しなくても、前方車両31との車間距離の計測を再開することができる。なお、S22において、メモリ51に記憶された画像とのパターンマッチングを行わない場合、つまり、単に最新の前方車両情報をメモリ51から読み出す場合には、先のS16では、前方車両情報のみをメモリ51に記憶するようにしても良い。
【0031】
次に、S22で取得した前方車両情報を用いて、S21で取得した画像82での前方車両312の車両幅W2(
図8参照)からその前方車両312(
図7の前方車両31)との車間距離を算出する(S23)。具体的には、S23では、先ず、画像82から前方車両312を認識する。その認識方法は、S15と同様に、例えば、一般的な車両のテンプレート画像をメモリ51に記憶しておき、そのテンプレート画像とのパターンマッチングにより画像82から前方車両312を探索すれば良い。次に、認識した前方車両312の左端と右端の間のピクセル数W2を、車両幅として算出する。そして、算出した車両幅W2(ピクセル数)と、S22で取得した前方車両情報(基準車間距離L1、基準車両幅W1)とに基づいて、以下の式2により、前方車両312との車間距離Lを算出する。なお、下記式2は、特許文献1に記載の式と同じである。
L=(L1×W1)/W2 ・・・(式2)
【0032】
その後、
図6のフローチャートの処理を終了する。制御部5は、車間距離Lを計測した場合には、例えばその車間距離Lが閾値未満の場合にはドライバーに警告を発する処理を行ったり、車間距離Lが所定の車間距離となるように自車両2の駆動系(エンジン)を制御したりする。
【0033】
次に、上記第2距離計測処理、つまり、サーバ20から前方車両情報を取得して、その取得した前方車両情報を用いて車間距離を計測する処理の詳細を説明する。
図9は、その第2距離計測処理のフローチャートを示している。この
図9の処理は、
図10に示すように、自車両2と前方車両32とが離れていて、その前方車両32の前方車両情報が未計測の場面で実行されることを想定している。また、
図11は、
図9の処理に対応して、サーバ20のCPU21が実行する処理のフローチャートを示している。
【0034】
図9の処理を開始すると、先ず、カメラ4が撮影した画像をカメラ4から取得する(S31)。このS31で取得した画像には、
図10の前方車両32が映っている。次に、S31で取得した画像を通信部6(
図1参照)を介してサーバ20に送信する(S32)。このとき、どの車両2から送信された画像であるのかを特定できるように、車両2を特定する情報を画像に付してサーバ20に送信する。
【0035】
S32で送信された画像はサーバ20の通信部23(
図1参照)に受信されて、CPU21は、その通信部23で受信された画像を取得する(
図11のS41)。次に、CPU21は、S41で取得した画像と、記憶部22に記憶されたデータベース220(
図5参照)に格納された各画像Xとのパターンマッチング(照合)を行う(S42)。すなわち、CPU21は、データベース220に格納された各画像Xの中から、S41で取得した画像に映っている前方車両32(
図10参照)と同一形状(同一車種)、言い換えると同一輪郭の前方車両が映っている画像を検索する。なお、S42では、画像Xに映っている前方亜車両の輪郭の大きさと、S41で取得した画像に映っている前方車両の輪郭の大きさとの差異は問わない。
【0036】
S42によるパターンマッチングにより、データベース220の中にS41の画像とマッチングできた画像がある場合には(S43:Yes)、その画像に関連付けてデータベース220に格納されている前方車両情報を、通信部23を介して、S41で取得した画像を送信してきた車両2(
図10の車両2)に送信する(S44)。例えば、S42により、
図5の画像X2とマッチングできた場合には、その画像X2に関連付けて記憶された前方車両情報Y2、つまり、画像X2に映っている前方車両の前方車両情報Y2を、車両2に送信する。このとき、S41で取得した画像には送信元の車両2を特定する情報(車載器10のIDなど)が付されているので、その情報で特定される車両2に前方車両情報を送信する。その後、
図11のフローチャートの処理を終了する。
【0037】
一方、マッチングできた画像が無い場合には(S43:No)、そのまま
図11のフローチャートの処理を終了する。
【0038】
図9の説明に戻り、制御部5は、S32で画像をサーバ20に送信した後、次に、サーバ20からの前方車両情報(
図11のS44で送信された前方車両情報)を通信部6を介して取得する(S33)。制御部5は、S33で取得した前方車両情報をメモリ51に記憶しておく。なお、
図11のS44の処理が行われなかった場合(S43:No)には、S33では、前方車両情報を取得できないことになる。
【0039】
次に、サーバ20からの前方車両情報を取得できたか否かを判断して(S34)、取得できた場合には(S34:Yes)、取得した前方車両情報を用いて、
図6のS23と同様の方法で、前方車両32(
図10参照)との車間距離を算出する(S35)。すなわち、S31で取得した画像での前方車両の車両幅と、S33で取得した前方車両情報(基準車間距離、基準車両幅)とを上記式2に代入することで、車間距離を算出する。これにより、
図10の前方車両32に接近してその前方車両32の前方車両情報を計測しなくても、その前方車両32との車間距離を得ることができる。その後、
図9のフローチャートの処理を終了する。
【0040】
なお、S33で前方車両情報を一旦取得した場合には、以降は、サーバ20との通信(S32、S33の処理)を行う必要が無いので、今回の
図9の処理が終了した後は、次回以降は
図6の処理により、前方車両32との車間距離の計測を引き続き行う。
【0041】
一方、サーバ20からの前方車両情報を取得できなかった場合には(S34:No)、そのまま
図9のフローチャートの処理を終了する。この場合には、この
図9の処理では、
図10の前方車両32との車間距離の計測が行われないことになる。この場合には、先に説明した
図2の処理に移行して、自車両2が前方車両32に接近した時に、その前方車両32に対する前方車両情報の計測を行う。その後、
図6の処理により、計測した前方車両情報を用いて前方車両32との車間距離の計測を行う。
【0042】
以上説明したように、本実施形態によれば、ナンバープレートより大きい車両幅から車間距離を計測しているので、夜間や前方車両との距離が遠い場面でも実用的な精度の車間距離を得ることができる。車両幅は、車両の他の寸法(車高など)に比べて大きいので、その車両幅を用いることは車間距離の計測に好適である。また、ステレオカメラのように複数のカメラを設ける必要がなく、前方車両への接近時以外は前方車両を認識できる程度の画素数のカメラがあれば良いので、安価に車間距離を計測できる。
【0043】
また、車間距離の計測場面で前方車両情報を計測し、又はサーバから取得しているので、車間距離の計測対象となる前方車両がどの車種であっても、その前方車両との車間距離を計測できる。また、各車両が計測した前方車両情報をサーバに送信し、それを蓄積することで、サーバに、車種毎の前方車両情報のデータベースを構成できる。これにより、サーバ側で前方車両情報を用意しなくても良く、将来、新たな車種が市場に投入された場合にも対応することができる。
【0044】
なお、本発明は上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で種々の変更が可能である。例えば、上記実施形態では、前方車両の画像での車両幅を用いて車間距離を計測していたが、車高など、前方車両の他の寸法を用いて車間距離を計測しても良い。例えば車高を用いる場合には、
図2のS15や
図6のS23や
図9のS35では、画像での前方車両の車高(ピクセル数)を算出することになる。
【0045】
また、上記実施形態では、車載器10に通信部6が設けられている例を示したが、その通信部6が設けられてないとしても良い。この場合には、サーバ20からの前方車両情報は取得できないが、
図2、
図6の処理により、車間距離を計測することができる。また、上記実施形態では、各車両が計測した前方車両情報をサーバに送信し、それを蓄積することで、サーバに、車種毎の前方車両情報のデータベースを構成していたが、サーバ側で車種毎の前方車両情報を用意しても良い。この場合には、
図2のS16では、サーバに前方車両情報を送信する必要がなくなる。
【0046】
また、上記実施形態では、認識した前方車両31のナンバープレートが画像上で所定の大きさ以上となったときに自車両2が前方車両31に充分接近したと判断したが、本発明はこれに限定されるものではなく、超音波センサ、赤外線センサ、レーザーレーダなどのその他の距離計測手段を用いて自車両2が前方車両31に充分接近したと判断するようにしても良い。