ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024131469
(43)【公開日】2024-09-30
(54)【発明の名称】車両走行制御装置
(51)【国際特許分類】
G08G 1/09 20060101AFI20240920BHJP
【ＦＩ】
G08G1/09 D
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023041741
(22)【出願日】2023-03-16
(71)【出願人】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】100099793
【弁理士】
【氏名又は名称】川北 喜十郎
(74)【代理人】
【識別番号】100154586
【弁理士】
【氏名又は名称】藤田 正広
(74)【代理人】
【識別番号】100182051
【弁理士】
【氏名又は名称】松川 直宏
(74)【代理人】
【識別番号】100179280
【弁理士】
【氏名又は名称】河村 育郎
(74)【代理人】
【識別番号】100180747
【弁理士】
【氏名又は名称】小森 剛彦
(72)【発明者】
【氏名】溝口 雅人
(72)【発明者】
【氏名】小山 哉
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB05
5H181CC04
5H181CC05
5H181LL01
5H181LL04
5H181LL09
(57)【要約】
【課題】信号機の青点灯を検出するための検出領域を用いる信号停止制御を改善する。
【解決方法】車両走行制御装置は、車両の外の信号機を撮像可能な車載カメラ、信号停止制御を実行可能な制御部、メモリ、を有する。制御部は、停止した時の車載カメラの撮像画像から、信号機の青点灯を検出するための画像中の検出領域を設定するとともに、画像中の基準物の情報をメモリに記録する。制御部は、検出範囲の設定後の撮像画像での基準物とメモリの基準物との差に基づいて、検出領域を調整し、調整した検出領域により信号機の青点灯を判断する。
【選択図】図１３
【解決方法】車両走行制御装置は、車両の外の信号機を撮像可能な車載カメラ、信号停止制御を実行可能な制御部、メモリ、を有する。制御部は、停止した時の車載カメラの撮像画像から、信号機の青点灯を検出するための画像中の検出領域を設定するとともに、画像中の基準物の情報をメモリに記録する。制御部は、検出範囲の設定後の撮像画像での基準物とメモリの基準物との差に基づいて、検出領域を調整し、調整した検出領域により信号機の青点灯を判断する。
【選択図】図１３
【特許請求の範囲】
【請求項1】
車両に設けられて、前記車両の外の信号機を撮像可能な車載カメラと、
前記車載カメラの撮像画像を解析して赤点灯している信号機の手前で停止する信号停止制御を実行可能な制御部と、
前記制御部が使用するメモリと、を有し、
前記制御部は、
停止した時の前記車両の前記車載カメラの撮像画像から、前記信号機の青点灯を検出するための画像中の検出領域を設定するとともに、画像中の基準物の情報を抽出して前記メモリに記録し、
検出範囲の設定後の前記車載カメラの撮像画像について前記検出領域において前記信号機の青点灯を判断して再発進するために、検出範囲の設定後の前記撮像画像での前記基準物と、前記メモリに記録されている停止時の前記撮像画像での前記基準物との差に基づいて、前記検出領域を調整する、
車両走行制御装置。
前記車載カメラの撮像画像を解析して赤点灯している信号機の手前で停止する信号停止制御を実行可能な制御部と、
前記制御部が使用するメモリと、を有し、
前記制御部は、
停止した時の前記車両の前記車載カメラの撮像画像から、前記信号機の青点灯を検出するための画像中の検出領域を設定するとともに、画像中の基準物の情報を抽出して前記メモリに記録し、
検出範囲の設定後の前記車載カメラの撮像画像について前記検出領域において前記信号機の青点灯を判断して再発進するために、検出範囲の設定後の前記撮像画像での前記基準物と、前記メモリに記録されている停止時の前記撮像画像での前記基準物との差に基づいて、前記検出領域を調整する、
車両走行制御装置。
【請求項2】
前記制御部は、
前記基準物として、停止時の前記撮像画像において立設して撮像され得る立設基準物を抽出して、停止時の前記撮像画像での前記立設基準物の位置および範囲の情報を前記メモリに記録し、
検出範囲の設定後の前記撮像画像を横方向の１ライン分で解析することにより、検出範囲の設定後の前記撮像画像での前記立設基準物の位置および範囲を特定し、
前記立設基準物の横方向の位置の差に基づいて前記検出領域の位置を横方向へ移動させること、および、前記立設基準物の横方向の幅の差に基づいて前記検出領域の範囲を拡縮すること、の中の少なくとも横方向への位置移動を実行し、
調整後の前記検出領域を用いて、前記車載カメラの撮像画像での前記信号機の青点灯を判断する、
請求項１記載の、車両走行制御装置。
前記基準物として、停止時の前記撮像画像において立設して撮像され得る立設基準物を抽出して、停止時の前記撮像画像での前記立設基準物の位置および範囲の情報を前記メモリに記録し、
検出範囲の設定後の前記撮像画像を横方向の１ライン分で解析することにより、検出範囲の設定後の前記撮像画像での前記立設基準物の位置および範囲を特定し、
前記立設基準物の横方向の位置の差に基づいて前記検出領域の位置を横方向へ移動させること、および、前記立設基準物の横方向の幅の差に基づいて前記検出領域の範囲を拡縮すること、の中の少なくとも横方向への位置移動を実行し、
調整後の前記検出領域を用いて、前記車載カメラの撮像画像での前記信号機の青点灯を判断する、
請求項１記載の、車両走行制御装置。
【請求項3】
前記制御部は、
前記信号機の青点灯を検出して前記車両を再発進させる制御を開始した後においても、前記検出領域の位置および範囲の中の少なくとも一方を調整して前記車載カメラの撮像画像での前記信号機の青点灯を判断し、
再発進制御を開始した後に前記検出領域において前記信号機が青点灯していないと判断する場合には、前記車両を再停止させる、
請求項１または２記載の、車両走行制御装置。
前記信号機の青点灯を検出して前記車両を再発進させる制御を開始した後においても、前記検出領域の位置および範囲の中の少なくとも一方を調整して前記車載カメラの撮像画像での前記信号機の青点灯を判断し、
再発進制御を開始した後に前記検出領域において前記信号機が青点灯していないと判断する場合には、前記車両を再停止させる、
請求項１または２記載の、車両走行制御装置。
【請求項4】
前記制御部は、
前記検出領域を、停止時の撮像画像において前記信号機が撮像されている部分より小さい範囲であって、かつ、前記信号機の青点灯部分を含み得る範囲に設定する、
請求項３記載の、車両走行制御装置。
前記検出領域を、停止時の撮像画像において前記信号機が撮像されている部分より小さい範囲であって、かつ、前記信号機の青点灯部分を含み得る範囲に設定する、
請求項３記載の、車両走行制御装置。
【請求項5】
前記制御部は、
検出範囲の設定後の前記撮像画像の、調整した前記検出領域について青点灯しているか否かを判断し、
青点灯している場合には、前記車両を再発進させる制御を実行し、
青点灯していない場合には、前記車両を停止させる制御を実行する、
請求項４記載の、車両走行制御装置。
検出範囲の設定後の前記撮像画像の、調整した前記検出領域について青点灯しているか否かを判断し、
青点灯している場合には、前記車両を再発進させる制御を実行し、
青点灯していない場合には、前記車両を停止させる制御を実行する、
請求項４記載の、車両走行制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両走行制御装置に関する。
【背景技術】
【0002】
自動車といった車両が走行する道路には信号機が設置される。信号機の点灯色がたとえば赤色である場合、車両は、その手前で停止することが求められる。停止している車両は、信号機の点灯色が青色になると、再発進して走行を再開する。
車両の走行制御装置は、このような信号機での停止制御を実行できるようにすることが望まれる。特許文献１、２は、信号機に設けられる赤色、黄色、青色の各点灯色や矢印点灯を判別するために、領域を設定することを開示する。
そして、このように領域を設定することにより、車両の走行制御装置は、撮像画像の全体を処理することなく、その一部についての軽い負荷の処理により、短時間で青点灯を検出することが可能になる。
車両の走行制御装置は、このような信号機での停止制御を実行できるようにすることが望まれる。特許文献１、２は、信号機に設けられる赤色、黄色、青色の各点灯色や矢印点灯を判別するために、領域を設定することを開示する。
そして、このように領域を設定することにより、車両の走行制御装置は、撮像画像の全体を処理することなく、その一部についての軽い負荷の処理により、短時間で青点灯を検出することが可能になる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－０５３６１９号公報
【特許文献2】特開２０２１－００２２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述するように領域を設定する信号停止のための走行制御では、信号機の青点灯を誤検出する可能性が残されている。
たとえば上述する信号停止のための走行制御は、車載カメラが設けられる車両が、停止制御中には移動しないことを前提として、その後の処理で使用する領域を設定している。一方で、車両は、信号での停止制御中に、たとえば後続車により軽く追突されてしまうと、停止制御が実行されているにもかかわらず、前へ移動してしまう可能性がある。また、車両の制動装置の性能が低下していると、車両は、停止制御中であっても進行方向へ微妙に移動してしまう可能性はゼロではない。
このような移動が信号停止制御中に生じると、車両の走行制御装置は、設定されている領域において、信号機が青点灯していることを判断できなくなる可能性がある。
また、移動後などでの検出領域に信号機以外のたとえば青色の標識などが含まれてしまうと、車両の走行制御装置は、信号機が青点灯に変化していると誤判断してしまう可能性がある。特に、設定する領域を、信号機の相対的な移動などを考慮して、信号機の実際の撮像サイズより大きくしてしまうと、移動が生じていない場合においても信号機の周囲の背景に含まれ得る青色の標識などに基づいて、信号機の青点灯を誤検出してしまう可能性が高まる。
たとえば上述する信号停止のための走行制御は、車載カメラが設けられる車両が、停止制御中には移動しないことを前提として、その後の処理で使用する領域を設定している。一方で、車両は、信号での停止制御中に、たとえば後続車により軽く追突されてしまうと、停止制御が実行されているにもかかわらず、前へ移動してしまう可能性がある。また、車両の制動装置の性能が低下していると、車両は、停止制御中であっても進行方向へ微妙に移動してしまう可能性はゼロではない。
このような移動が信号停止制御中に生じると、車両の走行制御装置は、設定されている領域において、信号機が青点灯していることを判断できなくなる可能性がある。
また、移動後などでの検出領域に信号機以外のたとえば青色の標識などが含まれてしまうと、車両の走行制御装置は、信号機が青点灯に変化していると誤判断してしまう可能性がある。特に、設定する領域を、信号機の相対的な移動などを考慮して、信号機の実際の撮像サイズより大きくしてしまうと、移動が生じていない場合においても信号機の周囲の背景に含まれ得る青色の標識などに基づいて、信号機の青点灯を誤検出してしまう可能性が高まる。
【0005】
このように車両の車両走行制御装置では、信号機の青点灯を検出するための検出領域を用いる信号停止制御について改善することが求められている。
【課題を解決するための手段】
【0006】
本発明の一実施の形態に係る車両走行制御装置は、車両に設けられて、前記車両の外の信号機を撮像可能な車載カメラと、前記車載カメラの撮像画像を解析して赤点灯している信号機の手前で停止する信号停止制御を実行可能な制御部と、前記制御部が使用するメモリと、を有し、前記制御部は、停止した時の前記車両の前記車載カメラの撮像画像から、前記信号機の青点灯を検出するための画像中の検出領域を設定するとともに、画像中の基準物の情報を抽出して前記メモリに記録し、検出範囲の設定後の前記車載カメラの撮像画像について前記検出領域において前記信号機の青点灯を判断して再発進するために、検出範囲の設定後の前記撮像画像での前記基準物と、前記メモリに記録されている停止時の前記撮像画像での前記基準物との差に基づいて、前記検出領域を調整する。
【発明の効果】
【0007】
本発明において、再発進を判断するための検出範囲の設定後の撮像画像についての、信号機の青点灯を検出するための画像中の検出領域は、再発進を判断するための検出範囲の設定後の撮像画像での基準物と信号機との位置関係に基づいて調整される。すなわち、本発明では、再発進を判断するための検出範囲の設定後の撮像画像に用いる検出領域は、信号機の青点灯を検出するための画像中の検出領域を設定する際に使用した停止時の撮像画像での検出領域をそのままに用いない。
その結果、たとえば停止して検出領域を抽出した後に車両が制御部の制御によらずに移動することが仮にあったとしても、移動後の撮像画像における信号機に対して検出領域を合わせるように調整できるため、制御部は、信号機が青点灯にあることを確からしく検出することができる。そして、信号機が青点灯していることを確からしく検出した上で、制御部は、車両を再発進させることができる。
これに対して、仮にたとえば、検出範囲の設定後の撮像画像において停止時の撮像画像での検出領域をそのまま用いてしまうと、停止して検出領域を抽出した後に車両が制御部の制御によらずに移動してしまうことにより、信号機の青点灯の部分が、検出範囲から外れてしまう可能性がある。また、検出範囲についての信号機からずれた画像部分にたとえば青色の標識や看板などが撮像されて、それを青点灯と誤検出してしまう可能性がある。特に、検出範囲が、画像中の信号機またはその青点灯部分より大きく設定されて、信号機の背景を含むように設定されてしまう場合、停止後に車両が移動していなくとも、信号機の背景の青色の標識や看板を青点灯と誤検出してしまう可能性がある。
本発明では、これらの誤検出が生じ難くなり、信号機が青点灯していることを確からしく検出することができる。車両は、信号機が青点灯している状態において、それに応じて再発進することができる。
このように本発明では、信号機の青点灯を検出するための検出領域を用いる信号停止制御を改善することができる。
その結果、たとえば停止して検出領域を抽出した後に車両が制御部の制御によらずに移動することが仮にあったとしても、移動後の撮像画像における信号機に対して検出領域を合わせるように調整できるため、制御部は、信号機が青点灯にあることを確からしく検出することができる。そして、信号機が青点灯していることを確からしく検出した上で、制御部は、車両を再発進させることができる。
これに対して、仮にたとえば、検出範囲の設定後の撮像画像において停止時の撮像画像での検出領域をそのまま用いてしまうと、停止して検出領域を抽出した後に車両が制御部の制御によらずに移動してしまうことにより、信号機の青点灯の部分が、検出範囲から外れてしまう可能性がある。また、検出範囲についての信号機からずれた画像部分にたとえば青色の標識や看板などが撮像されて、それを青点灯と誤検出してしまう可能性がある。特に、検出範囲が、画像中の信号機またはその青点灯部分より大きく設定されて、信号機の背景を含むように設定されてしまう場合、停止後に車両が移動していなくとも、信号機の背景の青色の標識や看板を青点灯と誤検出してしまう可能性がある。
本発明では、これらの誤検出が生じ難くなり、信号機が青点灯していることを確からしく検出することができる。車両は、信号機が青点灯している状態において、それに応じて再発進することができる。
このように本発明では、信号機の青点灯を検出するための検出領域を用いる信号停止制御を改善することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態を、図面に基づいて説明する。
【0010】
［第一実施形態］
図１は、本発明の第一実施形態に係る自動車１の走行環境の一例の説明図である。
図１には、車両の一例として乗用の自動車１が示されている。車両には、この他にもたとえばトラックやバスなどの大型の自動車、小型のパーソナルモビリティ、モータサイクル、がある。
図１は、本発明の第一実施形態に係る自動車１の走行環境の一例の説明図である。
図１には、車両の一例として乗用の自動車１が示されている。車両には、この他にもたとえばトラックやバスなどの大型の自動車、小型のパーソナルモビリティ、モータサイクル、がある。
【0011】
図１の自動車１は、道路１０を走行している。道路１０には、信号機１１、行き先などを案内するための標識１２、看板、などが設けられる。信号機１１、標識１２、看板などは、道路１０を走行する自動車１の乗員が視認し易くなるように、道路１０沿いに立設される支柱１４，１５に取り付けられることが一般的である。信号機１１は、たとえば交差点において自動車１の走行停止を指示する装置である。信号機１１が赤点灯である場合、自動車１は、道路１０に設けられた停止線１３の手前で停止しなければならない。信号機１１が黄点灯である場合、自動車１は、停止線１３の手前で停止できるように減速しなければならない。信号機１１が青点灯である場合、自動車１は、停止線１３を越えて交差点などへ進むことができる。自動車１の乗員であるドライバは、自動車１を走行させる場合、これらの信号機１１、標識１２、看板などを視認しながら、自動車１の走行を操作または管理することが求められる。
【0012】
図２は、図１の走行環境における自動車１からの撮像画像２０の説明図である。
図１の自動車１は、後述するように車載カメラ３６が設けることができる。車載カメラ３６は、図１に示すように自動車１の走行方向である前方へ向けて車室に設けられてよい。このような車載カメラ３６は、図２に示すように、自動車１の車室から前方を視た画像を撮像することができる。そして、図２の撮像画像２０には、自動車１の前部であるフードとともに、図１の自動車１の外に実在する停止線１３、信号機１１、看板などが撮像されている。
なお、車載カメラ３６は、この他にもたとえば自動車１の周囲３６０度を全体的に撮像するものであってもよい。周囲３６０度を全体的に撮像する車載カメラ３６は、車内と車外とを撮像してもよい。また、自動車１には、複数台の車載カメラ３６が、互いの画角をずらして設けられてもよい。複数台の車載カメラ３６は、所定の位置関係で設けられて、共通に撮像している撮像物までの距離を演算できる配置とされてもよい。
図１の自動車１は、後述するように車載カメラ３６が設けることができる。車載カメラ３６は、図１に示すように自動車１の走行方向である前方へ向けて車室に設けられてよい。このような車載カメラ３６は、図２に示すように、自動車１の車室から前方を視た画像を撮像することができる。そして、図２の撮像画像２０には、自動車１の前部であるフードとともに、図１の自動車１の外に実在する停止線１３、信号機１１、看板などが撮像されている。
なお、車載カメラ３６は、この他にもたとえば自動車１の周囲３６０度を全体的に撮像するものであってもよい。周囲３６０度を全体的に撮像する車載カメラ３６は、車内と車外とを撮像してもよい。また、自動車１には、複数台の車載カメラ３６が、互いの画角をずらして設けられてもよい。複数台の車載カメラ３６は、所定の位置関係で設けられて、共通に撮像している撮像物までの距離を演算できる配置とされてもよい。
【0013】
このような車外の撮像画像２０が得られることにより、自動車１の走行制御装置３０は、ドライバの運転操作を支援する制御を実行したり、ドライバの運転操作によらない自動運転により自動車１の走行を制御したり、することが可能である。自動車１の走行制御装置３０は、たとえば車載カメラ３６の撮像画像２０を解析して撮像画像２０の信号機１１が赤点灯であると判断した場合、信号機１１の手前の停止線１３で停止するように自動車１の走行を制御することが可能である。このような自動車１の走行制御装置３０は、信号停止制御可能なものである。
【0014】
図３は、図１の自動車１の走行制御装置３０の基本的な構成図である。
図３の走行制御装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、メモリ３２、タイマ３３、入出力ポート３４、および、これらが接続される制御バス３５、を有する。入出力ポート３４には、上述した車載カメラ３６、車外通信装置３７、などが接続される。
図３の走行制御装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、メモリ３２、タイマ３３、入出力ポート３４、および、これらが接続される制御バス３５、を有する。入出力ポート３４には、上述した車載カメラ３６、車外通信装置３７、などが接続される。
【0015】
車外通信装置３７は、道路１０などに対して設置される基地局１００との間で無線通信路を確立する。基地局１００は、キャリアによるものでも、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ）用のものでもよい。車外通信装置３７は、基地局１００を通じて、基地局１００に接続されているサーバ装置１０１との間で、情報を送受する。なお、サーバ装置１０１は、基地局１００と対応するように分散して設けられてもよい。５Ｇ通信用の基地局１００には、サーバ装置１０１としての機能を設けることが可能である。５Ｇ通信用の基地局１００に設けられているサーバ装置１０１は、車外通信装置３７との間で高速大容量の通信を実行することが可能である。
【0016】
入出力ポート３４は、自動車１の走行制御のために使用する各種の装置が接続される。入出力ポート３４には、図３の車外を撮像する車載カメラ３６、車外通信装置３７の他に、加速度センサ、速度センサ、ドライバの操作の検出センサ、Ｌｉｄａｒ、赤外線センサ、車内カメラ、車内用の無線通信機、などが接続されてもよい。なお、自動車１には、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった規格に準拠した車ネットワークが設けられる。自動車１の走行制御のために使用する各種の装置は、直接には、車ネットワークに接続されていてもよい。この場合、図３の走行制御装置３０は、車ネットワークでの情報入出力を制御する車内通信デバイスを備え、車内通信デバイスを通じて他の制御装置との間で情報を入出力してよい。また、車内通信デバイスは、入出力ポート３４に接続されても、制御バス３５に接続されてもよい。
【0017】
タイマ３３は、時間および時刻を計測する。
【0018】
メモリ３２は、たとえば不揮発性の半導体メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、などで構成されてよい。メモリ３２は、ＣＰＵ３１が実行するプログラムおよびデータを記録する。このようなデータには、自動車１において検出した撮像画像２０などの情報、高精度地図データなどが記録されてよい。
【0019】
ＣＰＵ３１は、メモリ３２に記録されているプログラムを読み込んで実行する。これにより、自動車１の走行を制御する制御部が実現される。
制御部としてのＣＰＵ３１は、メモリ３２に記録されている各種の情報に基づいて自動車１の走行状態を判断し、走行状態に応じた制御のための制御値を生成し、不図示の駆動制御装置、操舵制御装置、および制動制御装置へ出力する。駆動制御装置は、自動車１に設けられるエンジン、モータなどの動力源の動作を、制御値に基づいて制御する。操舵制御装置は、自動車１に設けられる操舵部材の動作を、制御値に基づいて制御する。制動制御装置は、自動車１に設けられる制動部材の動作を、制御値に基づいて制御する。制動部材は、モータの回生動作によるものでもよい。
制御部としてのＣＰＵ３１は、メモリ３２に記録されている各種の情報に基づいて自動車１の走行状態を判断し、走行状態に応じた制御のための制御値を生成し、不図示の駆動制御装置、操舵制御装置、および制動制御装置へ出力する。駆動制御装置は、自動車１に設けられるエンジン、モータなどの動力源の動作を、制御値に基づいて制御する。操舵制御装置は、自動車１に設けられる操舵部材の動作を、制御値に基づいて制御する。制動制御装置は、自動車１に設けられる制動部材の動作を、制御値に基づいて制御する。制動部材は、モータの回生動作によるものでもよい。
【0020】
次に、信号停止制御について説明する。
図４は、図３のＣＰＵ３１が走行中に実行する信号停止制御のフローチャートである。
ＣＰＵ３１は、図４の信号停止制御を、自動車１の走行中に繰り返しに実行してよい。自動車１は、自動車１に乗員が乗車してから、自動車１が駐車して乗員が降車するまでの期間において移動する。移動中に、自動車１は、走行と停止とを繰り返す。ＣＰＵ３１は、たとえば、自動車１のスタートボタンが操作されることにより図４の信号停止制御を開始し、再度スタートボタンが操作されるまで図４の信号停止制御を繰り返しに実行すればよい。
ここでは、まず、図４において実線枠で示されている信号停止のための基本的な処理について説明する。
図４は、図３のＣＰＵ３１が走行中に実行する信号停止制御のフローチャートである。
ＣＰＵ３１は、図４の信号停止制御を、自動車１の走行中に繰り返しに実行してよい。自動車１は、自動車１に乗員が乗車してから、自動車１が駐車して乗員が降車するまでの期間において移動する。移動中に、自動車１は、走行と停止とを繰り返す。ＣＰＵ３１は、たとえば、自動車１のスタートボタンが操作されることにより図４の信号停止制御を開始し、再度スタートボタンが操作されるまで図４の信号停止制御を繰り返しに実行すればよい。
ここでは、まず、図４において実線枠で示されている信号停止のための基本的な処理について説明する。
【0021】
ステップＳＴ１において、ＣＰＵ３１は、自車である自動車１が走行中であるか否かを判断する。ＣＰＵ３１は、たとえば速度センサの検出速度、車載カメラ３６の撮像画像２０の時系列的な変化、などの自車情報に基づいて、自車が０ではない有意な速度で走行中であるか否かを判断してよい。そして、自車がたとえば停止していて走行中でない場合、ＣＰＵ３１は、本制御を終了する。自車が０ではない有意な速度で走行中である場合、ＣＰＵ３１は、処理をステップＳＴ２へ進める。
【0022】
ステップＳＴ２において、ＣＰＵ３１は、車載カメラ３６の最新の撮像画像２０を取得する。
【0023】
ステップＳＴ３において、ＣＰＵ３１は、取得している撮像画像２０を解析する。ＣＰＵ３１は、たとえば取得している撮像画像２０の全体を解析して、撮像されている物を抽出または特定する。たとえば図１に示す信号機１１、標識１２、看板などの撮像物が車載カメラ３６の撮像画角の範囲内にある場合、その撮像物の像が撮像画像２０に含まれる。ＣＰＵ３１は、たとえば撮像物ごとのパータンマッチングまたは機械学習結果を用いて、撮像画像２０に含まれる撮像物を抽出または特定してよい。
なお、抽出または特定する撮像物を中空の信号機１１や標識１２に限定する場合、ＣＰＵ３１は、撮像画像２０の全体ではなく、たとえば明らかな路面部分を除いて撮像画像２０を解析してもよい。
なお、抽出または特定する撮像物を中空の信号機１１や標識１２に限定する場合、ＣＰＵ３１は、撮像画像２０の全体ではなく、たとえば明らかな路面部分を除いて撮像画像２０を解析してもよい。
【0024】
ステップＳＴ４において、ＣＰＵ３１は、撮像物に自車が走行する道路１０または車線についての信号機１１が抽出されているか否かを判断する。ステップＳＴ３において撮像画像２０に含まれる撮像物として信号機１１が抽出されていない場合、ＣＰＵ３１は、信号機１１が抽出されていないと判断する。また、ステップＳＴ３において信号機１１が抽出されている場合であっても、信号機１１の撮像向きや撮像画像２０中の位置に基づいて自車が走行する道路１０または車線についての信号機１１ではないと判断する場合、ＣＰＵ３１は、信号機１１が抽出されていないと判断してよい。これらの場合、ＣＰＵ３１は、処理をステップＳＴ５へ進める。逆に、自車が走行する道路１０または車線についての信号機１１が抽出されている場合、ＣＰＵ３１は、処理をステップＳＴ６へ進める。
【0025】
ステップＳＴ５において、ＣＰＵ３１は、通常の走行制御を継続する。その後、ＣＰＵ３１は、本制御を終了する。
【0026】
ステップＳＴ６において、ＣＰＵ３１は、撮像画像２０についての信号機１１の画像部分を解析して、信号機１１の点灯色が青でないか否かを判断する。信号機１１は、停電などの事態が生じていない場合、赤色、青色、または黄色のいずれかに点灯している。ただし、信号機１１には、点灯期間において高速で点滅するものがある。この信号機１１の点滅周期と車載カメラ３６の撮像周期と合致していない場合、車載カメラ３６の撮像画像２０に含まれる信号機１１は、赤色、青色、または黄色のいずれにも点灯しない状態で撮像される可能性がある。信号機１１の点灯色が青でないか否かを判断することにより、ＣＰＵ３１は、信号機１１が赤点灯または黄点灯である場合、および、信号機１１の点灯色が撮像画像２０において特定できない場合において、信号機１１の点灯色が青でないと判断し、処理をステップＳＴ７へ進める。撮像画像２０において信号機１１の点灯色が青でないと判断しない場合、すなわち撮像画像２０において信号機１１の点灯色が青である場合、ＣＰＵ３１は、処理をステップＳＴ５へ進める。この場合、ＣＰＵ３１は、通常の走行制御を継続する。なお、前回以前の本制御により後述するステップＳＴ７の減速制御を開始している場合、ＣＰＵ３１は、その減速制御から通常の走行制御へ復帰するように制御を実行してよい。
【0027】
ステップＳＴ７において、ＣＰＵ３１は、通常の走行制御を中断して、信号機１１の手前の停止線１３で停止するように減速制御を実行し、停止線１３の手前で自車を停止させる。なお、前回以前の本制御により既に減速制御を開始している場合、ＣＰＵ３１は、その減速制御を継続すればよい。継続的に実行される減速制御において、ＣＰＵ３１は、信号機１１の黄点灯部分４２の抽出に基づいて減速制御を開始し、信号機１１が赤点灯に替わったことを検出した場合に、停止線１３の手前で自車が確実に停止するように減速度を高める制御を実行してもよい。
【0028】
ステップＳＴ８において、ＣＰＵ３１は、自車が停止しているか否かを判断する。減速制御の結果、自車は、信号機１１の手前の停止線１３において停止する。ＣＰＵ３１は、たとえば、速度センサの検出速度が０となっている場合、または車載カメラ３６により時間間隔を開けて撮像された複数の画像において変化がない場合、自車が停止していると判断してよい。この場合、ＣＰＵ３１は、処理をステップＳＴ９へ進める。それ以外の場合、ＣＰＵ３１は、本制御を終了する。
【0029】
ステップＳＴ９において、ＣＰＵ３１は、取得している車載カメラ３６の停止中の撮像画像２０について、信号機１１の青点灯を検出するための検出領域５０を設定する。信号機１１は、基本的に、赤点灯部分４３、黄点灯部分４２、青点灯部分４１が水平方向または上下方向に並んでいる一方に長尺な外形を有する。ＣＰＵ３１は、信号機１１の赤点灯にしたがって停止している最中の撮像画像２０において、信号機１１が撮像されている長尺な範囲の中で、赤点灯の部分とは反対側の部分について、青点灯を検出するための検出領域５０を設定すればよい。
信号停止のための基本的な処理は、ステップＳＴ９において青点灯を検出するための検出領域５０を設定することにより終了する。
信号停止のための基本的な処理は、ステップＳＴ９において青点灯を検出するための検出領域５０を設定することにより終了する。
【0030】
図５は、図３のＣＰＵ３１が信号停止後に実行することができる一般的な信号停止後制御のフローチャートである。
ＣＰＵ３１は、図４の信号停止制御のステップＳＴ１からステップＳＴ９の処理を実行する場合、図５の信号停止後制御を実行することが可能である。
ＣＰＵ３１は、図４の信号停止制御においてステップＳＴ９の処理を実行した場合に、または、自動車１の走行中に、図５の信号停止後制御を繰り返しに実行してよい。
ＣＰＵ３１は、図４の信号停止制御のステップＳＴ１からステップＳＴ９の処理を実行する場合、図５の信号停止後制御を実行することが可能である。
ＣＰＵ３１は、図４の信号停止制御においてステップＳＴ９の処理を実行した場合に、または、自動車１の走行中に、図５の信号停止後制御を繰り返しに実行してよい。
【0031】
ステップＳＴ１１において、ＣＰＵ３１は、自車が通常の走行制御を中断して、信号停止中であるか否かを判断する。ＣＰＵ３１は、たとえば図４のステップＳＴ７の処理の実行により自車が停止しているか否かを判断してよい。自車が信号停止中でない場合、ＣＰＵ３１は、本制御を終了する。自車が信号停止中である場合、ＣＰＵ３１は、処理をステップＳＴ１２へ進める。
【0032】
ステップＳＴ１２において、ＣＰＵ３１は、車載カメラ３６の最新の撮像画像２０を取得する。車載カメラ３６は、自車が信号停止中においても、周期的に画像を撮像する。
【0033】
ステップＳＴ１３において、ＣＰＵ３１は、取得している最新の撮像画像２０についての検出領域５０を解析して、信号停止のきっかけとなった信号機１１が青点灯であるか否かを判断する。自車が信号で停止し続けている場合、車載カメラ３６の撮像画角は、基本的にステップＳＴ９でのものと同じになる。信号機１１は、所定の時間が経過すると、赤点灯から青点灯に切り替わる。したがって、ＣＰＵ３１は、ステップＳＴ９で設定した検出領域５０を用いて、信号停止のきっかけとなった信号機１１が青点灯であるか否かを判断することができる。信号機１１が青点灯へ変化していない場合、ＣＰＵ３１は、処理をステップＳＴ１４へ進める。信号機１１が青点灯へ変化している場合、ＣＰＵ３１は、処理をステップＳＴ１５へ進める。
【0034】
ステップＳＴ１４において、ＣＰＵ３１は、信号停止状態を維持する制御を実行する。ＣＰＵ３１は、自車を停止する制御を継続する。その後、ＣＰＵ３１は、本制御を終了する。
【0035】
ステップＳＴ１５において、ＣＰＵ３１は、中断している通常の走行制御へ復帰するための再発進制御を実行する。ＣＰＵ３１は、停止している自車の走行を開始し、自車を加速させる再発進制御を実行する。その後、ＣＰＵ３１は、ステップＳＴ５などによる通常の走行制御へ復帰してよい。なお、停止からの加速制御は、通常の走行制御の一部として実行されてもよい。この場合、ＣＰＵ３１は、ステップＳＴ１の判断に使用する走行中を示すフラグを立てればよい。その後、ＣＰＵ３１は、本制御を終了する。
【0036】
【0037】
図６は、信号機１１が黄点灯である場合での撮像画像２０の説明図である。図６の撮像画像２０では、信号機１１の黄点灯部分４２が含まれている。この場合、ＣＰＵ３１は、ステップＳＴ６において信号機１１の点灯色が青ではないと判断し、ステップＳＴ７の減速制御を実行する。また、ＣＰＵ３１は、ステップＳＴ８において自車が停止していないと判断する。撮像画像２０の信号機１１が黄点灯である場合、ＣＰＵ３１は、自車の減速制御のみを実行する。
【0038】
図７は、信号機１１が赤点灯である場合での撮像画像２０の説明図である。図７の撮像画像２０には、信号機１１の赤点灯部分４３が含まれている。この場合、ＣＰＵ３１は、ステップＳＴ６において信号機１１の点灯色が青ではないと判断し、ステップＳＴ７の減速制御を実行する。また、ＣＰＵ３１は、ステップＳＴ８において自車が停止していると判断し、ステップＳＴ９において撮像画像２０について青点灯を検出するための検出領域５０を設定する。図７の信号機１１は、横型である。この場合、ＣＰＵ３１は、信号機１１の赤点灯部分４３の左側の、黄点灯部分４２を超えた位置に、青点灯部分４１を検出するための検出領域５０を設定すればよい。
また、自車が停止した後、ＣＰＵ３１は、図５の信号停止後制御のステップＳＴ１１において信号停止中であると判断し、設定した検出領域５０を用いて、撮像画像２０の信号機１１が青点灯へ変化したか否かを判断する。信号機１１が赤点灯を維持している場合、ＣＰＵ３１は、停止制御を維持する。
また、自車が停止した後、ＣＰＵ３１は、図５の信号停止後制御のステップＳＴ１１において信号停止中であると判断し、設定した検出領域５０を用いて、撮像画像２０の信号機１１が青点灯へ変化したか否かを判断する。信号機１１が赤点灯を維持している場合、ＣＰＵ３１は、停止制御を維持する。
【0039】
図８は、信号機１１が青点灯である場合での撮像画像２０の説明図である。図８の撮像画像２０には、信号機１１の青点灯部分４１が含まれている。自車が信号停止をしている場合、ＣＰＵ３１は、図５のステップＳＴ１３において最新の撮像画像２０の検出領域５０が青点灯であると判断し、ステップＳＴ１５の再発進制御を実行する。自車である自動車１は、再発進した後に、通常の走行に復帰する。また、ＣＰＵ３１は、図４の走行中の信号停止制御のステップＳＴ１において走行中であると判断し、走行方向にある次の信号機１１のための判断を開始する。
【0040】
このように自動車１の走行制御装置３０は、信号停止制御を実行することにより、道路１０に設置される信号機１１の点灯色に応じて、自動車１の移動中に信号で停止して再発進することが可能になる。
しかしながら、上述した信号停止制御では、自動車１に設けられる車載カメラ３６の撮像画像２０により信号機１１を撮像し、その撮像画像２０に基づいて青点灯を判断して走行の停止と再発進とを制御する。このため、自動車１は、必ずしも良好な制御の下で走行できるとは限らない。
しかしながら、上述した信号停止制御では、自動車１に設けられる車載カメラ３６の撮像画像２０により信号機１１を撮像し、その撮像画像２０に基づいて青点灯を判断して走行の停止と再発進とを制御する。このため、自動車１は、必ずしも良好な制御の下で走行できるとは限らない。
【0041】
たとえば、車載カメラ３６の撮像画像２０に基づく信号機１１の青点灯の判断においては、信号機１１の青点灯を誤検出する可能性がある。信号機１１の青点灯を誤検出してしまうと、ＣＰＵ３１は、再発進の制御を実行してしまうことになる。ＣＰＵ３１は、再発進の後に再度、信号機１１が赤点灯であること、または青点灯ではないことを検出するまで、再停止する制御を実行することができない。再停止する制御を実行するまで、自動車１は、走行し続けてしまう。
【0042】
図９は、図１の横型の信号機１１の撮像環境と、検出領域５０の設定との一例の関係の説明図である。
図９の撮像画像２０では、赤点灯の信号機１１の後側に、青色を用いた道路案内の標識１２が撮像されている。また、道路案内の標識１２ではなく、青色を用いた広告用の看板が撮像されることもあり得る。
図９の撮像画像２０では、赤点灯の信号機１１の後側に、青色を用いた道路案内の標識１２が撮像されている。また、道路案内の標識１２ではなく、青色を用いた広告用の看板が撮像されることもあり得る。
【0043】
ＣＰＵ３１は、このような撮像画像２０について、信号機１１の青点灯を検出するための検出領域５０を設定する。図９の検出領域５０は、信号機１１の青点灯部分４１を確実に含むように、信号機１１の像の周囲を含むように設定することが考えられる。
この場合での信号停止後の最新の撮像画像２０には、図９と同様に、青色を用いた標識１２または看板が検出領域５０に含まれる。ＣＰＵ３１は、信号機１１の青点灯の検出領域５０に、青色が含まれることに基づいて、信号機１１が青点灯に変化したと誤って判断してしまう可能性がある。このように信号機１１の青点灯を検出するために画像中に設定する検出領域５０が、信号機１１についての画像中の撮像サイズより大きい場合、ＣＰＵ３１は、信号機１１の周囲にある背景の画像成分の色をも信号機１１の青点灯であると誤検出してしまう可能性がある。
この場合での信号停止後の最新の撮像画像２０には、図９と同様に、青色を用いた標識１２または看板が検出領域５０に含まれる。ＣＰＵ３１は、信号機１１の青点灯の検出領域５０に、青色が含まれることに基づいて、信号機１１が青点灯に変化したと誤って判断してしまう可能性がある。このように信号機１１の青点灯を検出するために画像中に設定する検出領域５０が、信号機１１についての画像中の撮像サイズより大きい場合、ＣＰＵ３１は、信号機１１の周囲にある背景の画像成分の色をも信号機１１の青点灯であると誤検出してしまう可能性がある。
【0044】
また、このような撮像画像２０に対して検出領域５０を設定して信号機１１の青点灯を判断する方法は、停止制御中の自動車１が動くことがなく、車載カメラ３６が撮像する車外が基本的に変化しないことを前提にしている。このように撮像画像２０の所定の位置に信号機１１が撮像されることを前提として信号機１１の青点灯を検出することにより、ＣＰＵ３１は、撮像画像２０の全体を処理することなく軽い処理負荷で且つ短時間で青点灯を検出することが可能である。
しかしながら、自動車１は、自動車１の走行制御装置３０が停止制御を実行してしまうにもかかわらず、移動してしまう可能性がある。たとえば、後続車により軽く追突された場合、自動車１は、停止制御を実行していても、前へ移動する。また、自動車１の制動装置の性能が低下している場合、自動車１は、停止制御中に進行方向へ微妙に移動してしまう可能性もある。これらの外乱や制御の脱調の可能性をゼロにすることは、極めて困難である。
しかしながら、自動車１は、自動車１の走行制御装置３０が停止制御を実行してしまうにもかかわらず、移動してしまう可能性がある。たとえば、後続車により軽く追突された場合、自動車１は、停止制御を実行していても、前へ移動する。また、自動車１の制動装置の性能が低下している場合、自動車１は、停止制御中に進行方向へ微妙に移動してしまう可能性もある。これらの外乱や制御の脱調の可能性をゼロにすることは、極めて困難である。
【0045】
図１０は、縦型の信号機１１についての検出領域５０の設定例の説明図である。
図１０の縦型の信号機１１では、ＣＰＵ３１は、赤点灯部分４３の下側に、青点灯の検出領域５０を設定するとよい。この場合でも、検出領域５０には、図９の場合と同様の課題が生じ得る。
図１０の縦型の信号機１１では、ＣＰＵ３１は、赤点灯部分４３の下側に、青点灯の検出領域５０を設定するとよい。この場合でも、検出領域５０には、図９の場合と同様の課題が生じ得る。
【0046】
図１１は、方向指示機１６を有する信号機１１についての複数の検出領域の設定例の説明図である。
図１１の信号機１１は、その下側に、左折点灯部分、直進点灯部分、および右折点灯部分を有する方向指示機１６が設けられている。この場合、ＣＰＵ３１は、自車が走行する方向についての点灯部分について、信号機１１についての第一の検出領域５０とは別に、第二の検出領域５１を設定してもよい。ＣＰＵ３１は、信号機１１そのものの青点灯のための第一の検出領域５０と、方向指示機１６についての第二の検出領域５１との、複数の検出領域を設定してもよい。方向指示機１６についての別の検出領域５１には、信号機１１についての検出領域５０と同様の課題が生じ得る。
図１１の信号機１１は、その下側に、左折点灯部分、直進点灯部分、および右折点灯部分を有する方向指示機１６が設けられている。この場合、ＣＰＵ３１は、自車が走行する方向についての点灯部分について、信号機１１についての第一の検出領域５０とは別に、第二の検出領域５１を設定してもよい。ＣＰＵ３１は、信号機１１そのものの青点灯のための第一の検出領域５０と、方向指示機１６についての第二の検出領域５１との、複数の検出領域を設定してもよい。方向指示機１６についての別の検出領域５１には、信号機１１についての検出領域５０と同様の課題が生じ得る。
【0047】
このように自動車１の走行制御装置３０は、信号機１１の青点灯を検出するための検出領域５０を用いる信号停止制御について改善することが望まれる。
【0048】
そこで、本実施形態では、信号機１１の青点灯部分４１などに対して設定する検出領域５０を、信号機１１についての実際の撮像サイズより小さくなるように設定する。
図１２は、本実施形態において信号機１１の撮像画像２０の青点灯部分４１に対して設定する検出領域５０の設定例の説明図である。
図１２の検出領域５０は、信号機１１の外形に収まり、かつ、信号機１１の青点灯部分４１の略全体が含まれるように、設定されている。信号停止中に自動車１が動かない場合、図１２の検出領域５０には、信号機１１の周囲の背景の画像成分が含まれ得なくなる。
本実施形態のＣＰＵ３１は、図４のステップＳＴ９において、図１２の検出領域５０を設定する。
このように本実施形態では、検出領域５０を、停止時の撮像画像２０において信号機１１が撮像されている部分より小さい範囲であって、かつ、信号機１１の青点灯部分４１を含む範囲に設定する。
図１２は、本実施形態において信号機１１の撮像画像２０の青点灯部分４１に対して設定する検出領域５０の設定例の説明図である。
図１２の検出領域５０は、信号機１１の外形に収まり、かつ、信号機１１の青点灯部分４１の略全体が含まれるように、設定されている。信号停止中に自動車１が動かない場合、図１２の検出領域５０には、信号機１１の周囲の背景の画像成分が含まれ得なくなる。
本実施形態のＣＰＵ３１は、図４のステップＳＴ９において、図１２の検出領域５０を設定する。
このように本実施形態では、検出領域５０を、停止時の撮像画像２０において信号機１１が撮像されている部分より小さい範囲であって、かつ、信号機１１の青点灯部分４１を含む範囲に設定する。
【0049】
また、本実施形態では、信号停止時の撮像画像２０に基づいて信号機１１の青点灯部分４１に対して検出領域５０を設定するとともに撮像されている基準物を抽出する。また、その基準物を用いて位置や範囲を調整した検出領域５０を用いて、信号停止後の撮像画像２０についての信号機１１の青点灯を検出する検出領域５０を調整する。以下、具体的に説明する。
【0050】
図４の信号停止制御においてステップＳＴ９の処理の後、ＣＰＵ３１は、処理をステップＳＴ２１へ進める。
ステップＳＴ２１において、信号停止時の撮像画像２０について、さらに、基準物を抽出する。ＣＰＵ３１は、信号機１１の青点灯部分４１に対する検出領域５０とともに基準物を抽出する。
ステップＳＴ２２において、ＣＰＵ３１は、検出領域５０および基準物についての情報をメモリ３２に記録する。その後、ＣＰＵ３１は、図４の信号停止制御を終了する。
ステップＳＴ２１において、信号停止時の撮像画像２０について、さらに、基準物を抽出する。ＣＰＵ３１は、信号機１１の青点灯部分４１に対する検出領域５０とともに基準物を抽出する。
ステップＳＴ２２において、ＣＰＵ３１は、検出領域５０および基準物についての情報をメモリ３２に記録する。その後、ＣＰＵ３１は、図４の信号停止制御を終了する。
【0051】
ここで、基準物は、撮像画像２０に撮像されている固定的な物ものであれば利用可能であるが、好ましくは、支柱１４，１５、電柱などのように、撮像画像２０において縦に延在するものにするとよい。図２の撮像画像２０には、信号機１１の支柱１４と、標識１２の支柱１５と、が含まれている。ＣＰＵ３１は、ステップＳＴ３の画像解析処理において、これらの支柱１４，１５や電柱を抽出することが可能である。この場合、ＣＰＵ３１は、ステップＳＴ３の画像解析処理において抽出している支柱１４，１５または電柱の１つを、基準物として抽出してよい。
【0052】
また、ＣＰＵ３１は、メモリ３２に、撮像画像２０における検出領域５０の位置および範囲の情報とともに、撮像画像２０における基準物の位置および範囲の情報を記録してよい。これらの情報は、撮像画像２０を基準として、撮像画像２０における検出領域５０と基準物との相対的な位置関係６１を示す情報になる。
なお、ＣＰＵ３１は、撮像画像２０における検出領域５０または基準物の位置を、たとえば、撮像画像２０の左上画素を原点とした検出領域５０または基準物の左上画素の位置により、メモリ３２に記録してよい。
また、ＣＰＵ３１は、撮像画像２０における検出領域５０または基準物の範囲を、たとえば、範囲の左上画素の位置と、範囲の右下画素の位置と、により、メモリ３２に記録してよい。
この場合、メモリ３２には、撮像画像２０の左上画素を原点にした、撮像画像２０における検出領域５０の左上画素の位置および右下画素の位置と、撮像画像２０における基準物の左上画素の位置および右下画素の位置と、が記録されることになる。
なお、ＣＰＵ３１は、撮像画像２０における検出領域５０または基準物の位置を、たとえば、撮像画像２０の左上画素を原点とした検出領域５０または基準物の左上画素の位置により、メモリ３２に記録してよい。
また、ＣＰＵ３１は、撮像画像２０における検出領域５０または基準物の範囲を、たとえば、範囲の左上画素の位置と、範囲の右下画素の位置と、により、メモリ３２に記録してよい。
この場合、メモリ３２には、撮像画像２０の左上画素を原点にした、撮像画像２０における検出領域５０の左上画素の位置および右下画素の位置と、撮像画像２０における基準物の左上画素の位置および右下画素の位置と、が記録されることになる。
【0053】
【0054】
図１３は、図３のＣＰＵ３１が本実施形態において信号停止後に実行する信号停止後制御のフローチャートである。
図１３において、図５と同様の処理については同一の番号を使用し、その説明を省略する。ＣＰＵ３１は、ステップＳＴ１２において車載カメラ３６の最新の撮像画像２０を取得した後、処理をステップＳＴ３１へ進める。
この際、メモリ３２には、信号機１１が赤点灯していることに基づいて停止した時の自動車１の車載カメラ３６の撮像画像２０から抽出した情報が記録されている。具体的には、メモリ３２には、青点灯を検出するための画像中の検出領域５０の位置および範囲の情報とともに、基準物としての電柱または支柱１４，１５の画像中の位置および範囲の情報が記録される。これらは、検出領域５０と基準物との画像中での相対的な位置関係６１を示す情報として利用できる。また、メモリ３２には、画像中で基準物を特定するために使用する色などの特徴の情報が併せて記録されるとよい。
図１３において、図５と同様の処理については同一の番号を使用し、その説明を省略する。ＣＰＵ３１は、ステップＳＴ１２において車載カメラ３６の最新の撮像画像２０を取得した後、処理をステップＳＴ３１へ進める。
この際、メモリ３２には、信号機１１が赤点灯していることに基づいて停止した時の自動車１の車載カメラ３６の撮像画像２０から抽出した情報が記録されている。具体的には、メモリ３２には、青点灯を検出するための画像中の検出領域５０の位置および範囲の情報とともに、基準物としての電柱または支柱１４，１５の画像中の位置および範囲の情報が記録される。これらは、検出領域５０と基準物との画像中での相対的な位置関係６１を示す情報として利用できる。また、メモリ３２には、画像中で基準物を特定するために使用する色などの特徴の情報が併せて記録されるとよい。
【0055】
ステップＳＴ３１において、ＣＰＵ３１は、ステップＳＴ１２で取得した最新の撮像画像２０を解析して、メモリ３２に記録されている基準物についての、最新の撮像画像２０での位置および範囲を抽出する。本実施形態では、ＣＰＵ３１は、道路１０に立設されている電柱または支柱１４，１５を、基準物として選択している。これらの立設基準物は、撮像画像２０において上下方向に沿って延在する。このため、ＣＰＵ３１は、ステップＳＴ３と同様にステップＳＴ１２で取得した最新の撮像画像２０の全体を解析するのではなく、たとえば撮像画像２０の横方向の１ライン分の画素５２を解析し、立設基準物と同じ特徴を有する画素を、最新の撮像画像２０での位置および範囲を抽出してよい。これにより、ＣＰＵ３１は、軽い処理負荷により、立設基準物の位置および範囲を抽出することができる。
たとえば信号停止制御中に自動車１が立設基準物へ近づいている場合、最新の撮像画像２０での立設基準物の幅が広くなり、立設基準物と同じ特徴を有する画素の数は増える。
また、信号停止制御中に自動車１の向きが変化している場合、最新の撮像画像２０での立設基準物の位置が変化し、立設基準物と同じ特徴を有する画素の位置も変化する。
基準物として立設基準物を用いることにより、ＣＰＵ３１の処理負荷を軽減しつつ、立設基準物の位置および範囲の変化を良好に抽出できる。
たとえば信号停止制御中に自動車１が立設基準物へ近づいている場合、最新の撮像画像２０での立設基準物の幅が広くなり、立設基準物と同じ特徴を有する画素の数は増える。
また、信号停止制御中に自動車１の向きが変化している場合、最新の撮像画像２０での立設基準物の位置が変化し、立設基準物と同じ特徴を有する画素の位置も変化する。
基準物として立設基準物を用いることにより、ＣＰＵ３１の処理負荷を軽減しつつ、立設基準物の位置および範囲の変化を良好に抽出できる。
【0056】
ステップＳＴ３２において、ＣＰＵ３１は、ステップＳＴ３１の解析による基準物の情報を基準にして、メモリ３２に記録されている検出領域５０の位置および範囲を調整する。
ＣＰＵ３１は、今回の処理に係る検出範囲の設定後の最新の撮像画像２０での基準物の位置および範囲と、メモリ３２に記録されている信号停止時の撮像画像２０での基準物の位置および範囲との差に基づいて、検出領域５０の位置および範囲を調整すればよい。
たとえば、検出範囲の設定後の最新の撮像画像２０での基準物の位置が、信号停止時の撮像画像２０での基準物の位置と比べて、画像中で左側へ移動している場合、ＣＰＵ３１は、検出領域５０の位置を、基準物の移動量で左方向へ移動させる。
逆に、検出範囲の設定後の最新の撮像画像２０での基準物の位置が、信号停止時の撮像画像２０での基準物の位置と比べて、画像中で右側へ移動している場合、ＣＰＵ３１は、検出領域５０の位置を、基準物の移動量で右方向へ移動させる。
また、検出範囲の設定後の最新の撮像画像２０での画素数による基準物の幅が、信号停止時の撮像画像２０での画素数による基準物の幅と比べて、増加している場合、ＣＰＵ３１は、検出領域５０の上下左右の範囲を、基準物の増加割合で拡大する。
逆に、検出範囲の設定後の最新の撮像画像２０での画素数による基準物の幅が、信号停止時の撮像画像２０での画素数による基準物の幅と比べて、減少している場合、ＣＰＵ３１は、検出領域５０の上下左右の範囲を、基準物の減少割合で縮小する。
このようにＣＰＵ３１は、検出範囲の設定後の撮像画像２０を横方向の１１ライン分の画素５２のみを解析することにより得た、検出範囲の設定後の撮像画像２０での電柱または支柱１４，１５といった立設基準物の位置および範囲を用いて、画像中の検出領域５０の位置および範囲を調整する。ＣＰＵ３１は、電柱または支柱１４，１５といった立設基準物の横方向の位置の差に基づいて、検出領域５０を横方向へ移動させる。また、ＣＰＵ３１は、立設基準物の幅の差に基づいて、検出領域５０を拡縮する。
なお、ＣＰＵ３１は、さらに立設基準物の幅の差などに基づいて、たとえば、検出領域５０を縦方向へ移動させてもよい。
また、ＣＰＵ３１は、検出領域５０の位置および範囲の中の、少なくとも一方のみを調整してもよい。この場合、ＣＰＵ３１は、検出領域５０の範囲より検出領域５０の位置を調整するとよい。これにより、検出範囲に、信号機１１の青点灯部分４１が含まれ易くなる。
なお、図１１のように方向指示機１６についての第二の検出領域５１が設定されている場合、ＣＰＵ３１は、上述した第一の検出領域５０と同様の処理により第二の検出領域５１の位置および範囲についても調整するとよい。
ＣＰＵ３１は、今回の処理に係る検出範囲の設定後の最新の撮像画像２０での基準物の位置および範囲と、メモリ３２に記録されている信号停止時の撮像画像２０での基準物の位置および範囲との差に基づいて、検出領域５０の位置および範囲を調整すればよい。
たとえば、検出範囲の設定後の最新の撮像画像２０での基準物の位置が、信号停止時の撮像画像２０での基準物の位置と比べて、画像中で左側へ移動している場合、ＣＰＵ３１は、検出領域５０の位置を、基準物の移動量で左方向へ移動させる。
逆に、検出範囲の設定後の最新の撮像画像２０での基準物の位置が、信号停止時の撮像画像２０での基準物の位置と比べて、画像中で右側へ移動している場合、ＣＰＵ３１は、検出領域５０の位置を、基準物の移動量で右方向へ移動させる。
また、検出範囲の設定後の最新の撮像画像２０での画素数による基準物の幅が、信号停止時の撮像画像２０での画素数による基準物の幅と比べて、増加している場合、ＣＰＵ３１は、検出領域５０の上下左右の範囲を、基準物の増加割合で拡大する。
逆に、検出範囲の設定後の最新の撮像画像２０での画素数による基準物の幅が、信号停止時の撮像画像２０での画素数による基準物の幅と比べて、減少している場合、ＣＰＵ３１は、検出領域５０の上下左右の範囲を、基準物の減少割合で縮小する。
このようにＣＰＵ３１は、検出範囲の設定後の撮像画像２０を横方向の１１ライン分の画素５２のみを解析することにより得た、検出範囲の設定後の撮像画像２０での電柱または支柱１４，１５といった立設基準物の位置および範囲を用いて、画像中の検出領域５０の位置および範囲を調整する。ＣＰＵ３１は、電柱または支柱１４，１５といった立設基準物の横方向の位置の差に基づいて、検出領域５０を横方向へ移動させる。また、ＣＰＵ３１は、立設基準物の幅の差に基づいて、検出領域５０を拡縮する。
なお、ＣＰＵ３１は、さらに立設基準物の幅の差などに基づいて、たとえば、検出領域５０を縦方向へ移動させてもよい。
また、ＣＰＵ３１は、検出領域５０の位置および範囲の中の、少なくとも一方のみを調整してもよい。この場合、ＣＰＵ３１は、検出領域５０の範囲より検出領域５０の位置を調整するとよい。これにより、検出範囲に、信号機１１の青点灯部分４１が含まれ易くなる。
なお、図１１のように方向指示機１６についての第二の検出領域５１が設定されている場合、ＣＰＵ３１は、上述した第一の検出領域５０と同様の処理により第二の検出領域５１の位置および範囲についても調整するとよい。
【0057】
ステップＳＴ３３において、ＣＰＵ３１は、ステップＳＴ１２で取得している最新の撮像画像２０についての、ステップＳＴ３２にて位置および範囲を調整した調整後の検出領域５０に基づいて、信号機１１が青点灯へ変化しているか否かを判断する。
本実施形態では、検出領域５０を、停止時の撮像画像２０において信号機１１が撮像されている部分より小さい範囲であって、かつ、信号機１１の青点灯部分４１を含む範囲に設定している。したがって、調整後の検出領域５０には、信号機１１のみが含まれている可能性が高い。その結果、ＣＰＵ３１は、信号機１１の周囲の背景などの青色の標識１２などに基づいて、信号機１１が青点灯へ変化していると誤って判断し難い。
また、本実施形態では、そのような小さい検出領域５０の位置および範囲を、基準物の位置および範囲の変化に応じて、調整している。したがって、調整後の検出領域５０には、信号機１１についての青点灯部分４１が高い確実性で含まれている可能性が高い。その結果、ＣＰＵ３１は、調整後の検出領域５０において、信号機１１の青点灯部分４１の青点灯の有無を、高い確実性で判断することができる。
このようにＣＰＵ３１は、検出領域５０での青点灯の判断において、信号機１１が青点灯へ変化していると誤って判断し難い。たとえば停止制御中に自動車１が移動したとしても、ＣＰＵ３１は、信号機１１が青点灯へ変化していると誤って判断し難い。
そして、実際に信号機１１が青点灯している場合、ＣＰＵ３１は、検出領域５０での青点灯の判断において、信号機１１が青点灯していると判断する。この場合、ＣＰＵ３１は、処理をステップＳＴ１５へ進める。ステップＳＴ１５において、ＣＰＵ３１は、中断している通常の走行制御へ復帰するために、自動車１を再発進させる再発進制御を実行する。その後、ＣＰＵ３１は、処理をステップＳＴ３４へ進める。
逆に、信号機１１が青点灯していない場合、ＣＰＵ３１は、検出領域５０での青点灯の判断において、信号機１１が青点灯していないと判断する。信号機１１が青点灯していない場合には、信号機１１の点灯色が撮像画像２０に含まれていない場合を含む。この場合、ＣＰＵ３１は、処理をステップＳＴ１４へ進める。ステップＳＴ１４において、ＣＰＵ３１は、自動車１を停止させる制御を実行して、信号停止状態を維持する。その後、ＣＰＵ３１は、本制御を終了する。
なお、図１１のように方向指示機１６についての第二の検出領域５１が設定されている場合、ＣＰＵ３１は、上述した第一の検出領域５０と同様の処理により第二の検出領域５１についての点灯の有無を判断してよい。
本実施形態では、検出領域５０を、停止時の撮像画像２０において信号機１１が撮像されている部分より小さい範囲であって、かつ、信号機１１の青点灯部分４１を含む範囲に設定している。したがって、調整後の検出領域５０には、信号機１１のみが含まれている可能性が高い。その結果、ＣＰＵ３１は、信号機１１の周囲の背景などの青色の標識１２などに基づいて、信号機１１が青点灯へ変化していると誤って判断し難い。
また、本実施形態では、そのような小さい検出領域５０の位置および範囲を、基準物の位置および範囲の変化に応じて、調整している。したがって、調整後の検出領域５０には、信号機１１についての青点灯部分４１が高い確実性で含まれている可能性が高い。その結果、ＣＰＵ３１は、調整後の検出領域５０において、信号機１１の青点灯部分４１の青点灯の有無を、高い確実性で判断することができる。
このようにＣＰＵ３１は、検出領域５０での青点灯の判断において、信号機１１が青点灯へ変化していると誤って判断し難い。たとえば停止制御中に自動車１が移動したとしても、ＣＰＵ３１は、信号機１１が青点灯へ変化していると誤って判断し難い。
そして、実際に信号機１１が青点灯している場合、ＣＰＵ３１は、検出領域５０での青点灯の判断において、信号機１１が青点灯していると判断する。この場合、ＣＰＵ３１は、処理をステップＳＴ１５へ進める。ステップＳＴ１５において、ＣＰＵ３１は、中断している通常の走行制御へ復帰するために、自動車１を再発進させる再発進制御を実行する。その後、ＣＰＵ３１は、処理をステップＳＴ３４へ進める。
逆に、信号機１１が青点灯していない場合、ＣＰＵ３１は、検出領域５０での青点灯の判断において、信号機１１が青点灯していないと判断する。信号機１１が青点灯していない場合には、信号機１１の点灯色が撮像画像２０に含まれていない場合を含む。この場合、ＣＰＵ３１は、処理をステップＳＴ１４へ進める。ステップＳＴ１４において、ＣＰＵ３１は、自動車１を停止させる制御を実行して、信号停止状態を維持する。その後、ＣＰＵ３１は、本制御を終了する。
なお、図１１のように方向指示機１６についての第二の検出領域５１が設定されている場合、ＣＰＵ３１は、上述した第一の検出領域５０と同様の処理により第二の検出領域５１についての点灯の有無を判断してよい。
【0058】
ステップＳＴ３４において、ＣＰＵ３１は、再発進後に所定の時間が経過したか否かを判断する。ＣＰＵ３１は、ステップＳＴ１５の処理において、再発進後の経過時間をタイマ３３に計測させてよい。
そして、タイマ３３の計測時間が、所定の経過時間に達していない場合、ＣＰＵ３１は、処理をステップＳＴ１２へ戻す。ＣＰＵ３１は、図１３のステップＳＴ１２からステップＳＴ３４の処理を繰り返す。そして、タイマ３３の計測時間が、所定の経過時間に達すると、ＣＰＵ３１は、処理をステップＳＴ３５へ進める。
このようにＣＰＵ３１は、再発進制御を開始した後、所定の時間が経過するまでは、図１３のステップＳＴ１２からステップＳＴ３４の処理を繰り返す。そして、その間に検出領域５０の判断により信号機１１が青点灯ではないと判断することがあると、ＣＰＵ３１は、ステップＳＴ３３の処理の後にステップＳＴ１４の処理を実行して、再発進している自車を再停止させる制御を実行する。これにより、ＣＰＵ３１は、仮に信号機１１の青点灯を誤って判断することがあったとしても、その判断の直後に時間を開けずに、自車である自動車１を再停止することができる。このような再発進後の再停止の判断ができない場合、ＣＰＵ３１は、十分に再発進をして図４の走行中の信号停止制御のステップＳＴ６において信号機１１が青点灯ではないと判断するまで、減速停止のための制御を実行することができない。また、この図４のステップＳＴ６の処理をする前には、ステップＳＴ３において最新の撮像画像２０の全体を解析する処理をしなければならない。ＣＰＵ３１は、再発進後に、比較的長い時間で走行した後でなければ、自動車１の走行を停止させることができない。この場合、自動車１のドライバなどの乗員は、自動車１がふらついているように感じて、不安を感じる可能性が高い。本実施形態では、そのような印象を与え難い。
逆に、タイマ３３の計測時間が、所定の経過時間に達すると、ＣＰＵ３１は、処理をステップＳＴ３５へ進める。この場合、タイマ３３の計測時間が、所定の経過時間に達するまでの期間において、ＣＰＵ３１は、調整した検出領域５０において信号機１１が青点灯していると判断し続けていることになる。ＣＰＵ３１が信号機１１の青点灯を誤って判断している可能性は極めて低い。
そして、タイマ３３の計測時間が、所定の経過時間に達していない場合、ＣＰＵ３１は、処理をステップＳＴ１２へ戻す。ＣＰＵ３１は、図１３のステップＳＴ１２からステップＳＴ３４の処理を繰り返す。そして、タイマ３３の計測時間が、所定の経過時間に達すると、ＣＰＵ３１は、処理をステップＳＴ３５へ進める。
このようにＣＰＵ３１は、再発進制御を開始した後、所定の時間が経過するまでは、図１３のステップＳＴ１２からステップＳＴ３４の処理を繰り返す。そして、その間に検出領域５０の判断により信号機１１が青点灯ではないと判断することがあると、ＣＰＵ３１は、ステップＳＴ３３の処理の後にステップＳＴ１４の処理を実行して、再発進している自車を再停止させる制御を実行する。これにより、ＣＰＵ３１は、仮に信号機１１の青点灯を誤って判断することがあったとしても、その判断の直後に時間を開けずに、自車である自動車１を再停止することができる。このような再発進後の再停止の判断ができない場合、ＣＰＵ３１は、十分に再発進をして図４の走行中の信号停止制御のステップＳＴ６において信号機１１が青点灯ではないと判断するまで、減速停止のための制御を実行することができない。また、この図４のステップＳＴ６の処理をする前には、ステップＳＴ３において最新の撮像画像２０の全体を解析する処理をしなければならない。ＣＰＵ３１は、再発進後に、比較的長い時間で走行した後でなければ、自動車１の走行を停止させることができない。この場合、自動車１のドライバなどの乗員は、自動車１がふらついているように感じて、不安を感じる可能性が高い。本実施形態では、そのような印象を与え難い。
逆に、タイマ３３の計測時間が、所定の経過時間に達すると、ＣＰＵ３１は、処理をステップＳＴ３５へ進める。この場合、タイマ３３の計測時間が、所定の経過時間に達するまでの期間において、ＣＰＵ３１は、調整した検出領域５０において信号機１１が青点灯していると判断し続けていることになる。ＣＰＵ３１が信号機１１の青点灯を誤って判断している可能性は極めて低い。
【0059】
ステップＳＴ３５において、ＣＰＵ３１は、通常の走行制御への復帰処理を実行する。その後、ＣＰＵ３１は、本制御を終了する。
【0060】
このような制御により、ＣＰＵ３１は、信号機１１の点灯色にしたがった再発進の確実性を高めることができる。信号停止中に外乱や脱調などの不具合があって、信号停止中の自動車１に不測の移動が生じたとしても、ＣＰＵ３１は、誤った青点灯の認識に基づいて再発進し難くなる。また、再発進をしたとしても、ＣＰＵ３１は、その後の青不点灯を再確認することにより、即時的に自動車１を再停止させることができる。再停止するまでの移動量および移動期間は、最小限に抑えられる。
【0061】
なお、信号機１１とともに撮像される基準物についての画像中の位置および範囲の変化を用いることなく、検出領域５０の位置および範囲を調整することは、極めて困難である。この場合、ＣＰＵ３１は、撮像画像２０の一部である検出領域５０のみについて青点灯の判定処理をするのではなく、図４のステップＳＴ３と同様に撮像画像２０の全体の解析により信号機１１を抽出し、さらにその信号機１１の点灯色を判断する必要がある。この場合のＣＰＵ３１の処理負荷は、検出領域５０のみについて処理をする場合と比べて、極めて大きい。特に、信号停止中に自動車１が移動してしまうことがあると、ＣＰＵ３１は、本来的には、青点灯の判断に検出領域５０を使用することができない。ＣＰＵ３１は、図４のステップＳＴ３と同様に撮像画像２０の全体の解析を再実行して信号機１１を抽出し、さらにその信号機１１の点灯色を判断する必要がある。本実施形態では、このような信号停止中の移動があったとしても、信号機１１の青点灯を容易にかつ短時間で判断することができる。
【0062】
また、上述した再発進制御を開始した後の所定の経過時間は、安全のためには長くすることが望ましい。ただし、経過時間を長くし過ぎると、自動車１が大きく移動してしまう。信号停止の際の信号機１１が、車載カメラ３６の撮像範囲外となる可能性がある。したがって、経過時間は、たとえば信号機１１の各色の点灯での点滅周期や、車載カメラ３６の撮像周期などを勘案して、これらの周期の最小公倍数の期間にしてよい。このような経過時間の設定であれば、その経過時間中の少なくとも１つの撮像画像２０は、信号機１１の点灯色を撮像することができる。
【0063】
図１４は、図１３の制御による検出領域５０の調整処理例の説明図である。
図１４は、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２の各々のタイミングでの信号機１１およびその支柱１４の位置が模式的に示されている。時間は、紙面の上から下へ流れる。紙面の左右方向は、撮像画像２０での信号機１１およびその支柱１４の撮像位置を模式的に示している。
図１４は、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２の各々のタイミングでの信号機１１およびその支柱１４の位置が模式的に示されている。時間は、紙面の上から下へ流れる。紙面の左右方向は、撮像画像２０での信号機１１およびその支柱１４の撮像位置を模式的に示している。
【0064】
図１４の時刻Ｔ０において、信号機１１は、赤点灯している。この場合、ＣＰＵ３１は、自車を停止させる。また、ＣＰＵ３１は、信号機１１の赤点灯部分４３に基づいて、青点灯を検出するための検出領域５０を設定する。
その後、ＣＰＵ３１は、信号機１１が青点灯に変化したと判断するまで、信号停止制御を繰り返して継続している。しかしながら、信号停止制御の自動車１が移動してしまうと、撮像画像２０での信号機１１の撮像位置は、ずれる。時刻Ｔ２では、信号機１１の撮像位置は、時刻Ｔ１の位置より左側へずれている。また、信号機１１の支柱１４の撮像位置も、信号機１１と同様に、時刻Ｔ１の位置より左側へずれる。その結果、検出領域５０は、信号機１１の撮像範囲に収まっているものの、信号機１１の青点灯部分４１から外れている。ＣＰＵ３１は、この検出領域５０において青点灯を判断しようとしても、それを判断することはできない。
その後、ＣＰＵ３１は、信号機１１が青点灯に変化したと判断するまで、信号停止制御を繰り返して継続している。しかしながら、信号停止制御の自動車１が移動してしまうと、撮像画像２０での信号機１１の撮像位置は、ずれる。時刻Ｔ２では、信号機１１の撮像位置は、時刻Ｔ１の位置より左側へずれている。また、信号機１１の支柱１４の撮像位置も、信号機１１と同様に、時刻Ｔ１の位置より左側へずれる。その結果、検出領域５０は、信号機１１の撮像範囲に収まっているものの、信号機１１の青点灯部分４１から外れている。ＣＰＵ３１は、この検出領域５０において青点灯を判断しようとしても、それを判断することはできない。
【0065】
このため、本実施形態のＣＰＵ３１は、時刻Ｔ２での撮像画像２０についての図１３のステップＳＴ３２の調整処理において、検出領域５０の位置および範囲を調整する。ＣＰＵ３１は、信号機１１とともに撮像されている立設基準物としての支柱１４の画像中の位置および範囲を基準として、信号機１１と支柱との相対的な位置関係６１が維持されるように、検出領域５０の位置および範囲を調整する。具体的には、上述した例のように、ＣＰＵ３１は、時刻Ｔ２の撮像画像２０の１ライン分の画素５２の解析処理により、支柱１４の幅の位置および範囲を特定し、信号機１１についても支柱１４と同様のずれが生じているものとして、検出領域５０の位置および範囲を調整する。ＣＰＵ３１は、たとえば、時刻Ｔ２の撮像画像２０での支柱１４の位置と、時刻Ｔ０の撮像画像２０での支柱１４の位置との差により、検出領域５０の位置をずらしてよい。また、ＣＰＵ３１は、支柱１４の幅Ｄ２についての支柱１４の幅Ｄ１に対する増減分により、検出領域５０のサイズを増減してよい。
【0066】
これにより、時刻Ｔ２において示すように、検出領域５０は、信号機１１の撮像範囲に収まり、かつ、信号機１１の青点灯部分４１と重なるように、位置および範囲が調整され得る。このような調整後の検出領域５０を用いて、信号機１１の青点灯を判断することにより、ＣＰＵ３１は、信号機１１の青点灯の有無を確からしく判断することができる。
【0067】
以上のように、本実施形態において、再発進を判断するための検出範囲の設定後の撮像画像２０についての、信号機１１の青点灯を検出するための画像中の検出領域５０は、再発進を判断するための検出範囲の設定後の撮像画像２０での基準物と信号機１１との位置関係に基づいて調整される。すなわち、本実施形態では、再発進を判断するための検出範囲の設定後の撮像画像２０に用いる検出領域５０は、信号機１１の青点灯を検出するための画像中の検出領域５０を設定する際に使用した停止時の撮像画像２０での検出領域５０をそのままに用いない。
その結果、たとえば停止して検出領域５０を抽出した後に自動車１が制御部としてのＣＰＵ３１の制御によらずに移動することが仮にあったとしても、移動後の撮像画像２０における信号機１１に対して検出領域５０の位置および範囲を合わせるように調整できる。その結果、ＣＰＵ３１は、信号機１１が青点灯にあることを確からしく検出することができる。そして、信号機１１が青点灯していることを確からしく検出した上で、ＣＰＵ３１は、自動車１を再発進させることができる。
これに対して、仮にたとえば、検出範囲の設定後の撮像画像２０において停止時の撮像画像２０での検出領域５０をそのまま用いてしまうと、停止して検出領域５０を抽出した後に自動車１がＣＰＵ３１の制御によらずに移動してしまうことにより、信号機１１の青点灯の部分が、検出範囲から外れてしまう可能性がある。また、検出範囲についての信号機１１からずれた画像部分にたとえば青色の標識１２や看板などが撮像されて、それを青点灯と誤検出してしまう可能性がある。特に、検出範囲が、画像中の信号機１１またはその青点灯部分４１より大きく設定されて、信号機１１の背景を含むように設定されてしまう場合、停止後に自動車１が移動していなくとも、信号機１１の背景の青色の標識１２や看板を青点灯と誤検出してしまう可能性がある。
本実施形態では、これらの誤検出が生じ難くなり、信号機１１が青点灯していることを確からしく検出することができる。自動車１は、信号機１１が青点灯している状態において、それに応じて再発進することができる。
このように本実施形態では、信号機１１の青点灯を検出するための検出領域５０を用いる信号停止制御を改善することができる。
その結果、たとえば停止して検出領域５０を抽出した後に自動車１が制御部としてのＣＰＵ３１の制御によらずに移動することが仮にあったとしても、移動後の撮像画像２０における信号機１１に対して検出領域５０の位置および範囲を合わせるように調整できる。その結果、ＣＰＵ３１は、信号機１１が青点灯にあることを確からしく検出することができる。そして、信号機１１が青点灯していることを確からしく検出した上で、ＣＰＵ３１は、自動車１を再発進させることができる。
これに対して、仮にたとえば、検出範囲の設定後の撮像画像２０において停止時の撮像画像２０での検出領域５０をそのまま用いてしまうと、停止して検出領域５０を抽出した後に自動車１がＣＰＵ３１の制御によらずに移動してしまうことにより、信号機１１の青点灯の部分が、検出範囲から外れてしまう可能性がある。また、検出範囲についての信号機１１からずれた画像部分にたとえば青色の標識１２や看板などが撮像されて、それを青点灯と誤検出してしまう可能性がある。特に、検出範囲が、画像中の信号機１１またはその青点灯部分４１より大きく設定されて、信号機１１の背景を含むように設定されてしまう場合、停止後に自動車１が移動していなくとも、信号機１１の背景の青色の標識１２や看板を青点灯と誤検出してしまう可能性がある。
本実施形態では、これらの誤検出が生じ難くなり、信号機１１が青点灯していることを確からしく検出することができる。自動車１は、信号機１１が青点灯している状態において、それに応じて再発進することができる。
このように本実施形態では、信号機１１の青点灯を検出するための検出領域５０を用いる信号停止制御を改善することができる。
【0068】
特に、本実施形態では、基準物として、停止時の撮像画像２０において立設して撮像され得る電柱または支柱を抽出している。この場合、ＣＰＵ３１は、停止時の撮像画像２０での立設基準物である電柱または支柱１４，１５の位置および範囲の情報をメモリ３２に記録し、その後の検出範囲の設定後の撮像画像２０において電柱または支柱１４，１５を抽出する必要がある。この際、ＣＰＵ３１は、画像に立設して撮像される電柱または支柱１４，１５を基準物として抽出しているため、検出範囲の設定後の撮像画像２０を横方向の１ライン分の画素５２で解析するだけで、検出領域５０の位置および範囲を確からしく調整するための情報を得ることができる。具体的にはたとえば、ＣＰＵ３１は、電柱または支柱１４，１５の横方向の位置の差に基づいて、検出領域５０を横方向へ移動させてよい。また、ＣＰＵ３１は、電柱または支柱１４，１５の横方向の幅の差に基づいて、検出領域５０を縦方向へ移動させ、または、検出領域５０を拡縮してよい。これにより、ＣＰＵ３１は、検出範囲の設定後の撮像画像２０の解析処理において電柱または支柱１４，１５の全体を抽出するように画像全体を解析する必要がない。ＣＰＵ３１は、検出範囲の設定後の撮像画像２０に基づく検出領域５０の調整処理を短時間で実行することができる。
【0069】
本実施形態では、ＣＰＵ３１は、信号機１１の青点灯を検出して自動車１を再発進させる制御を開始した後においても、検出領域５０の位置および範囲を調整して車載カメラ３６の撮像画像２０での信号機１１の青点灯を判断し、再発進制御を開始した後に信号機１１が青点灯していないと判断する場合には、再発進制御の後に自動車１を再停止させる。これにより、ＣＰＵ３１は、青点灯を誤判断して自動車１を再発進させた後においても、信号機１１が実際には青点灯していないことを確認して、再発進させた自動車１を再び停止させることができる。
【0070】
特に、本実施形態では、検出領域５０は、停止時の撮像画像２０において信号機１１が撮像されている部分より小さい範囲であって、かつ、信号機１１の青点灯部分４１を含む範囲に設定される。これにより、検出範囲には、信号機１１の周囲の背景が含まれにくくなる。
そして、このように検出領域５０を小さく設定しても、本実施形態では、その小さい検出領域５０の位置および範囲を、同時に撮像され得る基準物の撮像部分に基づいて撮像画像２０ごとに調整するため、撮像画像２０に対して設定する検出領域５０から信号機１１の青点灯部分４１が外れてしまうことは起き難い。
そして、このように検出領域５０を小さく設定しても、本実施形態では、その小さい検出領域５０の位置および範囲を、同時に撮像され得る基準物の撮像部分に基づいて撮像画像２０ごとに調整するため、撮像画像２０に対して設定する検出領域５０から信号機１１の青点灯部分４１が外れてしまうことは起き難い。
【0071】
［第二実施形態］
次に、本発明の第二実施形態について説明する。以下、上述した実施形態との相違点について主に説明する。上述した実施形態と同様の特徴については、上述した実施形態と同一の符号を用いて説明を省略する。
本実施形態では、サーバ装置１０１が、自動車１の走行を制御する。
次に、本発明の第二実施形態について説明する。以下、上述した実施形態との相違点について主に説明する。上述した実施形態と同様の特徴については、上述した実施形態と同一の符号を用いて説明を省略する。
本実施形態では、サーバ装置１０１が、自動車１の走行を制御する。
【0072】
図１５は、本発明の第二実施形態に係る、自動車１の走行を制御するサーバ装置１０１の説明図である。
図１５のサーバ装置１０１は、サーバ通信デバイス１０２、サーバタイマ１０３、サーバメモリ１０４、サーバＣＰＵ１０５、および、これらが接続されるサーババス１０６、を有する。
図１５のサーバ装置１０１は、サーバ通信デバイス１０２、サーバタイマ１０３、サーバメモリ１０４、サーバＣＰＵ１０５、および、これらが接続されるサーババス１０６、を有する。
【0073】
サーバ通信デバイス１０２は、たとえばインターネットなどの通信網に接続される。サーバ通信デバイス１０２は、図３に示すように、通信網に接続されているたとえば基地局１００を通じて、道路１０を走行する自動車１の車外通信装置３７との間で、情報を送受する。
【0074】
サーバタイマ１０３は、時刻または時間を計測する。
【0075】
サーバメモリ１０４は、サーバＣＰＵ１０５が実行するプログラムおよびデータを記録する。サーバメモリ１０４は、たとえば不揮発性の半導体メモリ、ＨＤＤ、ＲＡＭ、などで構成されてよい。
【0076】
サーバＣＰＵ１０５は、サーバメモリ１０４に記録されているプログラムを読み込んで実行する。これにより、サーバ制御部が実現される。サーバ制御部としてのサーバＣＰＵ１０５は、サーバ装置１０１の動作を管理する。サーバ制御部は、自動車１の走行を遠隔的に制御または支援する、自動車１の走行制御装置として機能し得る。この場合、サーバＣＰＵ１０５は、サーバ通信デバイス１０２を用いて、自動車１からその移動に関する情報を取得し、走行制御装置３０のＣＰＵ３１が自車の走行制御に使用することができる情報を自動車１へ送信する。
【0077】
そして、走行制御装置として機能するサーバＣＰＵ１０５は、自動車１の走行を制御または管理するために、自動車１から取得した情報を用いた図４の走行中の信号停止制御と図１３の信号停止後制御とを実行することができる。この場合、自動車１の走行制御装置３０のＣＰＵ３１は、サーバ装置１０１のサーバＣＰＵ１０５の制御の下で、自車を信号機１１の手前の停止線１３において停止させたり、停止後に再発進させたり、することになる。
【0078】
【0079】
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
【符号の説明】
【0080】
１…自動車（車両）、１０…道路、１１…信号機、１２…標識、１３…停止線、１４，１５…支柱（立設基準物）、１６…方向指示機、２０…撮像画像、３０…走行制御装置（車両走行制御装置）、３１…ＣＰＵ（制御部）、３２…メモリ、３３…タイマ、３４…入出力ポート、３５…制御バス、３６…車載カメラ、３７…車外通信装置、４１…青点灯部分、４２…黄点灯部分、４３…赤点灯部分、５０…検出領域（第一の検出領域）、５１…第二の検出領域、５２…１ライン分の画素、６１…位置関係、１００…基地局、１０１…サーバ装置、１０２…サーバ通信デバイス、１０３…サーバタイマ、１０４…サーバメモリ、１０５…サーバＣＰＵ、１０６…サーババス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】