特許 7176460 移動支援システム、移動支援方法、及び移動支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】移動支援システム、移動支援方法、及び移動支援プログラム

(51)【国際特許分類】

   B60Q 1/14 20060101AFI20221115BHJP

   F21V 23/00 20150101ALI20221115BHJP

【ＦＩ】

B60Q1/14 A

F21V23/00 113

【請求項の数】 12

(21)【出願番号】P 2019071705

(22)【出願日】2019-04-04

(65)【公開番号】P2020168957

(43)【公開日】2020-10-15

【審査請求日】2021-08-25

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(72)【発明者】

【氏名】稲葉 正樹

(72)【発明者】

【氏名】佐藤 崇浩

(72)【発明者】

【氏名】堀田 隆介

【審査官】竹中 辰利

(56)【参考文献】

【文献】特開２００８－２９６７５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｑ １／１４

Ｆ２１Ｖ ２３／００

(57)【特許請求の範囲】

【請求項1】

移動体に搭載されて移動体外を撮像して画像を生成する撮像部（１０）と、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出部（２２）と、
前記予兆光に基づいて前記移動体の制御を行う制御部（２４）と、
他移動体からの直接光を検出するライト検出部（２１）と、
を備え、
前記制御部は、前記直接光に基づいて前記制御を行い、
前記移動体は、車両であり、
前記制御部は、前記予兆光が検出された場合に前記車両のヘッドライトをロービームにするロービーム制御を行い、
前記制御部は、前記予兆光検出部にて前記予兆光が検出されてから所定時間以内に前記ライト検出部にて前記直接光が検出されないときは、前記ロービーム制御を解除する、移動支援システム。

【請求項2】

移動体に搭載されて移動体外を撮像して画像を生成する撮像部（１０）と、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出部（２２）と、
前記予兆光に基づいて前記移動体の制御を行う制御部（２４）と、
他移動体からの直接光を検出するライト検出部（２１）と、
を備え、
前記制御部は、前記直接光に基づいて前記制御を行い、
前記制御部は、前記予兆光が検出された場合と前記直接光が検出された場合とで異なる前記制御を行う、移動支援システム。

【請求項3】

前記制御部は、前記予兆光が検出された前記画像内の位置に応じた前記制御を行う、請求項１又は２に記載の移動支援システム。

【請求項4】

前記移動体が移動している進路の形状を示す進路形状情報を取得する進路情報取得部（２３）をさらに備え、
前記予兆光検出部は、前記画像における光の位置と前記進路形状情報とに基づいて前記予兆光を検出する、
請求項１～３のいずれかに記載の移動支援システム。

【請求項5】

前記進路情報取得部は、前記画像に基づいて前記進路形状情報を取得する、請求項４に記載の移動支援システム。

【請求項6】

移動体に搭載されて移動体外を撮像して画像を生成する撮像部（１０）と、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出部（２２）と、
前記予兆光に基づいて前記移動体の制御を行う制御部（２４）と、
とを備え、
前記予兆光検出部は、前記予兆光を学習した学習モデルを用いて、前記画像から前記予兆光を検出する、移動支援システム。

【請求項7】

移動体に搭載されて移動体外を撮像して画像を生成する撮像ステップと、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出ステップと、
前記予兆光に基づいて前記移動体の制御を行う制御ステップと、
他移動体からの直接光を検出するライト検出ステップと、
を含み、
前記制御ステップは、前記直接光に基づいて前記制御を行い、
前記移動体は、車両であり、
前記制御ステップは、前記予兆光が検出された場合に前記車両のヘッドライトをロービームにするロービーム制御を行い、
前記制御ステップは、前記予兆光検出ステップにて前記予兆光が検出されてから所定時間以内に前記ライト検出ステップにて前記直接光が検出されないときは、前記ロービーム制御を解除する、移動支援方法。

【請求項8】

移動体に搭載されて移動体外を撮像して画像を生成する撮像ステップと、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出ステップと、
前記予兆光に基づいて前記移動体の制御を行う制御ステップと、
他移動体からの直接光を検出するライト検出ステップと、
を含み、
前記制御ステップは、前記直接光に基づいて前記制御を行い、
前記制御ステップは、前記予兆光が検出された場合と前記直接光が検出された場合とで異なる前記制御を行う、移動支援方法。

【請求項9】

移動体に搭載されて移動体外を撮像して画像を生成する撮像ステップと、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出ステップと、
前記予兆光に基づいて前記移動体の制御を行う制御ステップと、
とを備え、
前記予兆光検出ステップは、前記予兆光を学習した学習モデルを用いて、前記画像から前記予兆光を検出する、移動支援方法。

【請求項10】

コンピュータに、
移動体に搭載されて移動体外を撮像して生成された画像を取得する画像取得ステップと、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出ステップと、
前記予兆光に基づいて前記移動体の制御を行う制御ステップと、
他移動体からの直接光を検出するライト検出ステップと、
を実行させ、
前記制御ステップは、前記直接光に基づいて前記制御を行い、
前記移動体は、車両であり、
前記制御ステップは、前記予兆光が検出された場合に前記車両のヘッドライトをロービームにするロービーム制御を行い、
前記制御ステップは、前記予兆光検出ステップにて前記予兆光が検出されてから所定時間以内に前記ライト検出ステップにて前記直接光が検出されないときは、前記ロービーム制御を解除する、移動支援プログラム。

【請求項11】

コンピュータに、
移動体に搭載されて移動体外を撮像して画像を生成する撮像ステップと、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出ステップと、
前記予兆光に基づいて前記移動体の制御を行う制御ステップと、
他移動体からの直接光を検出するライト検出ステップと、
を実行させ、
前記制御ステップは、前記直接光に基づいて前記制御を行い、
前記制御ステップは、前記予兆光が検出された場合と前記直接光が検出された場合とで異なる前記制御を行う、移動支援プログラム。

【請求項12】

コンピュータに、
移動体に搭載されて移動体外を撮像して画像を生成する撮像ステップと、
前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出ステップと、
前記予兆光に基づいて前記移動体の制御を行う制御ステップと、
とを実行させ、
前記予兆光検出ステップは、前記予兆光を学習した学習モデルを用いて、前記画像から前記予兆光を検出する、移動支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体に搭載された撮像装置によって生成された画像に基づいて移動体の移動を制御するための移動支援システム、移動支援方法、及び移動支援プログラムに関するものである。

【背景技術】

【0002】

車両のドライバを支援するシステムの一つとして、オートマチックハイビームシステムやアダプティブハイビームシステム（以下、両者を合わせて「自動ライト制御システム」という。）が知られている。オートマチックハイビームシステムでは、例えば、ヘッドライト点灯時に対向車を検知すると、自動的に自車両のヘッドライトをハイビームからロービームに切り替える。また、アダプティブハイビームでは、例えば、対向車を検知すると、ハイビームが照射している範囲のうち対向車がいる部分だけに投光しないように配光をコントロールする。これらの自動ライト制御システムによって、自車両のハイビームによって対向車のドライバに幻惑を与えてしまうことを回避できる。

【0003】

これらの自動ライト制御システムでは、自車両に搭載された撮像装置で自車両の前方を撮影して、撮影画像から対向車のヘッドライトを検出することで、対向車を検知する。特許文献１では、対向車が死角にあってヘッドライトを直接観察できない場合であっても、そのような対向車から発生する光のオーラ（間接照射）を検出し、当該オーラの中心周辺を関心領域として対向車のヘッドライトを探査する車両用車両走行支援システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５６１７０５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の従来技術では、対向車のヘッドライトを直接観察してからしか自動ライト制御をできず、自動ライト制御が起動するまでの間に、対向車にハイビームを照射することになり、対向車のドライバに幻惑を与えてしまう。なお、同様の問題は、車両以外の移動体にも同様に生じる。すなわち、撮像装置を備えて移動する進路の画像に応じて制御される移動体においても、対向する移動体（以下、「対向移動体」という。）が死角にある場合には、対向移動体の存在に基づく移動体の制御を行うことができない。

【0006】

本発明は、対向移動体が死角にあるときに対向移動体の出現を予測して移動体の制御を行うことができる移動支援システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様の移動支援システムは、移動体に搭載されて移動体外を撮像して画像を生成する撮像部（１０）と、前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出部（２２）と、前記予兆光に基づいて前記移動体の制御を行う制御部（２４）とを備えた構成を有している。

【0008】

この構成により、他移動体が死角にいて他移動体からの直接光を観察できない状況であっても他移動体の出現を予測して移動体制御を行うことができる。

【0009】

本発明の一態様の移動支援方法は、移動体に搭載されて移動体外を撮像して画像を生成する撮像ステップと、前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出ステップと、前記予兆光に基づいて前記移動体の制御を行う制御ステップとを含む構成を有している。

【0010】

本発明の一態様の移動支援プログラムは、コンピュータに、移動体に搭載されて移動体外を撮像して生成された画像を取得する画像取得ステップと、前記画像から、他移動体からの光の反射光を予兆光として検出する予兆光検出ステップと、前記予兆光に基づいて前記移動体の制御を行う制御ステップとを実行させる構成を有している。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の実施の形態のライト制御システムの構成を示すブロック図である。

【図2】図２は、本発明の実施の形態において画像から予兆光を検出する例を示す図である。

【図3】図３は、本発明の実施の形態の車両走行支援システムによって実行される車両走行支援方法のフロー図である。

【図4】図４は、本発明の実施の形態の制御部によるライト制御の処理のフロー図である。

【図5】図５は、本発明の実施の形態の予兆光検出部にて用いる学習モデルを生成するための学習装置の構成を示すブロック図である。

【図6】図６は、本発明の実施の形態の時系列画像データ取得部にて取得される画像の例を示す図である。

【図7】図７は、図６の画像に対して付与されるアノテーションの例を示す図である。

【図8】図８は、本発明の実施の形態の学習装置によって実行される学習方法のフロー図である。

【図9】図９は、図８のステップＳ８２の学習データ生成（ｉ）のフロー図である。

【図10】図１０は、図８のステップＳ８５の学習データ生成（ｉｉ）のフロー図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

【0013】

以下の説明では、移動支援システムが、移動体としての車両に適用され、自動で車両のライト制御を行う自動ライト制御システムとして応用される例を説明する。ただし、移動支援システムは、車両以外の移動体の移動支援をするシステムであってよく、また、ライト以外の移動体の機能を制御するシステムであってもよい。

【0014】

図１は、ライト制御システムの構成を示すブロック図である。図１に示すように、ライト制御システム１００は、車両に搭載され、撮像装置１０と、情報処理装置２０とを備えている。撮像装置１０は、撮影によって画像を生成して情報処理装置２０に出力する。情報処理装置２０は、画像に基づいてヘッドライトを制御するための制御情報を出力する。車両は、この制御情報に従ってライト制御を行う。

【0015】

なお、情報処理装置２０は、車両外に設置されて、通信ネットワークを介して車両と通信を行ってもよい。この場合には、車両は通信ネットワークを介して撮像装置１０で生成された画像を情報処理装置２０に送信し、情報処理装置２０は、車両から送信された画像に基づいて制御情報を生成して、当該車両に返信してよい。さらに、この場合に、１つの情報処理装置２０が複数の車両によって共用されてもよい。また、情報処理装置２０は、コンピュータによって実現されてよい。具体的には、情報処理装置２０は、汎用のプロセッサが本実施の形態の移動支援プログラムを実行することでその機能が実現されてもよい。

【0016】

撮像装置１０は、車両に搭載されて車両外を撮像して画像データを生成する。撮像装置１０は、光を受けることで輝度の２次元配置の情報を含む情報（本実施の形態では、この情報を「画像」ないし「画像データ」という。）を生成するものであってよく、典型的には、２次元配置された画素のＲＧＢ値（即ち、ＲＧＢ画像）を取得するカメラである。撮像装置１０は、これに限られず、例えば、各画素についてＲＧＢ値に加えて深さ情報も取得するものであってもよく、あるいは、熱分布画像を生成するカメラであってもよく、輝度変化を捉えるイベントカメラであってもよい。撮像装置１０は、所定の時間間隔（例えば３０ｆｐｓ）で連続的に撮影を行うことで、時系列の画像データを生成する。

【0017】

撮像装置１０は、車両の前方を撮影するように車両に固定される。すなわち、撮像装置１０の撮影方向（光軸方向）は、車両の直進時の進行方向にほぼ一致している。なお、撮像装置１０の撮影方向は、これに限られず、特に移動支援システムがライト制御以外の車両制御や車両以外の移動体の制御に用いられる場合には、その制御対象に応じて撮像装置１０の撮像方向を設定してよい。また、撮像装置１０の撮像方向は、車両の舵角その他に応じて動的に変化するものであってもよい。

【0018】

情報処理装置２０は、撮像装置１０で生成された画像データを入力して、車両のヘッドライトを制御するための制御情報を出力する。撮像装置１０からの画像データは、ヘッドライト検出部２１、予兆光検出部２２、及び進路情報取得部２３に入力される。

【0019】

なお、上記のように、撮像装置１０は、所定の時間間隔で連続的に画像データを生成するが、情報処理装置２０は、撮像装置１０で生成された画像データをすべて取り込んで、取り込んだすべての画像データについて以下に説明する処理を行ってもよいし、撮像装置１０で生成された画像データを間引いて、撮像の時間間隔より長い一定の時間間隔で入力された画像データについて以下に説明する処理を行ってもよい。なお、情報処理装置２０において処理される１画像を「フレーム」ともいう。

【0020】

ヘッドライト検出部２１は、入力された画像データに対して画像認識を行うことで、画像から、他車両のヘッドライトの直接光を検出する。ヘッドライト検出部２１は、他車両のヘッドライトの直接光を検出したときに、ヘッドライト検出フラグをＴｒｕｅにする。この直接光を検出する方法には、従来技術を採用してよい。

【0021】

予兆光検出部２２は、入力された画像データに対して画像認識を行うことで、画像から、他車両からの光の反射光を予兆光として検出する。このために、予兆光検出部２２は、学習モデル２２１を備えており、画像を学習モデル２２１に入力することで、学習モデル２２１の出力として、画像における予兆光の有無の可能性（尤度）及びその位置の情報からなる尤度マップを取得する。

【0022】

予兆光検出部２２は、尤度マップにおける最大尤度が所定の閾値を上回っている場合に、予兆光が検出されたと判断して、予兆フラグをＴｒｕｅにする。予兆光検出部２２は、予兆フラグをＴｒｕｅにした場合には、同時に計時を開始する。

【0023】

なお、予兆光検出部２２における予兆フラグをＴｒｕｅにするか否かの判断は、上記のように尤度マップの最大尤度を閾値と比較する方法に限られず、予兆光検出部２２は、例えば、尤度マップにおける尤度の平均値が所定の閾値を上回る場合に予兆フラグをＴｒｕｅにしてもよいし、尤度マップにおいて閾値を超えた画素数が所定の閾値以上である場合に予兆フラグをＴｒｕｅにしてもよい。

【0024】

図２は、画像から予兆光を検出する例を示す図である。図２の例では、画像には前方に向かって右方向に湾曲して延びる道路が映っている。また、この画像では、右に曲がった道路の奥から来る対向車はまだ映っていない（よって直接光は映っていない）が、右に曲がった道路の奥の方のガードレールで反射した対向車のヘッドライトの反射光が観察される。

【0025】

なお、学習モデル２２１は、例えば、Ｓｏｆｔｍａｘの出力値として予兆光である可能性（尤度）を出力するセマンティックセグメンテーションを行うニューラルネットワークモデルであってよい。予兆光の検出のための学習モデルは、セグメンテーション手法に限られず、例えば、単純な予兆光の有無を判断する２クラス分類モデルであってよく、あるいは、物体検出モデルであってもよい。

【0026】

進路情報取得部２３は、車両が走行している道路の形状を示す進路形状情報を取得する。進路情報取得部２３は、画像に対して画像認識を行うことで進路形状情報を取得する。具体的には、進路情報取得部２３は、画像に対してセマンティックセグメンテーションを行うことで、画像における道路、ガードレール、空等のそれぞれの領域を認識し、道路が先細って消失する位置を他車両が出現する候補位置として、当該候補位置を基準として、画像内に重点領域を設定する。

【0027】

進路情報取得部２３にて設定された重点領域の情報は、予兆光検出部２２に出力される。予兆光検出部２２は、検出された予兆光が重点領域に含まれる場合には、その予兆光の有無の可能性（尤度）について、当該尤度を増加させる修正を行う。このように、予兆光検出部２２は、画像における光の位置と、進路形状情報に応じた重点領域との関係に基づいて予兆光を検出する。

【0028】

なお、進路形状情報を用いた予兆光の検出は上記の例に限られない。例えば、進路情報取得部２３が、セマンティックセグメンテーションの結果を進路形状情報として出力し、予兆光検出部２２は、道路、ガードレール等の光を反射可能な領域として認識された領域のみから予兆光を検出し、あるいは、そのような領域を重点領域とするようにしてよい。

【0029】

また、進路情報取得部２３は、画像認識以外の方法で進路形状情報を取得してもよい。例えば、進路情報取得部２３は、地図情報を記憶した記憶部と、ＧＰＳ受信機を備えており、ＧＰＳ受信機で車両の現在位置を取得して、現在位置の情報を地図情報に適用することで、車両が走行している道路の形状を示す進路形状情報を取得してよい。

【0030】

なお、ヘッドライト検出部２１は、上記の予兆光検出部２２と同じ方法で対向車のヘッドライトを検出してもよい。また、ヘッドライト検出部２１と予兆光検出部２２とが一体となって、画像からヘッドライトの直接光と反射光としての予兆光とを同時に検出するようにしてもよい。

【0031】

さらに、ヘッドライト検出部２１は、先に（例えば、前のフレームで）予兆光検出部２２にて予兆光が検出されている場合には、予兆光が検出された画像内の位置の情報も特徴の一つとして用いて直接光を検出するようにしてよい。具体的には、例えば、ヘッドライト検出部２１は、予兆光が検出された位置の周囲に重点領域を設定し、あるいは、予兆光の位置とユークリッド距離が近い位置に重点領域を設定し、重点領域から直接光を検出しやすくしてよい。

【0032】

制御部２４は、ヘッドライトを制御するための制御情報を出力する。制御部２４は、ヘッドライト検出フラグがＴｒｕｅである場合には、予兆フラグをＦａｌｓｅにして、車両のヘッドライトを強制的にロービームにするロービーム制御を行うための制御情報を出力する。制御部２４は、ヘッドライト検出フラグ及び予兆フラグのいずれもがＦａｌｓｅである場合は、車両のヘッドライトを強制的にハイビームにするハイビーム制御を行う。

【0033】

制御部２４は、ヘッドライト検出フラグがＦａｌｓｅである場合であっても、予兆フラグがＴｒｕｅであれば、車両のヘッドライトを強制的にロービームにするロービーム制御を行うための制御情報を出力する。ただし、制御部２４は、予兆フラグをＴｒｕｅにしたときに開始した計時が所定の時間に達してもヘッドライト検出フラグがＴｒｕｅにならない場合には、予兆フラグをＦａｌｓｅにして、ロービーム制御を解除する制御情報を出力する。

【0034】

すなわち、予兆フラグをいったんＴｒｕｅにした後には、予兆光を検出しなくなっても、予兆フラグはＴｒｕｅのまま維持され、制御部２４はロービーム制御を維持するが、予兆フラグをＴｒｕｅにしてから所定時間内にヘッドライト検出フラグがＴｒｕｅにならない場合には、制御部２４は、予兆フラグをＦａｌｓｅにしてロービーム制御を解除する。かかる制御によって、死角にある対向車に起因する予兆光ではない光を予兆光と誤判断した場合にロービーム制御を解除できる。なお、制御部２４は、予兆フラグをＴｒｕｅにしてから所定時間以上経過したか否かを時間によって判断してもよいし、フレーム数によって判断してもよい。

【0035】

また、制御部２４は、ハイビームとロービームとを自動で切り替える自動制御（オートモード）と、ドライバの操作に従ってハイビームとロービームとを切り替える手動制御（マニュアルモード）とを切り替えて行うことができる。制御部２４は、マニュアルモードの場合には本実施の形態のロービーム制御の機能をオフにしてもよいし、マニュアルモードの場合にも、ハイビーム時に強制的にロービームにする制御に、本実施の形態のロービーム制御を適用してもよい。

【0036】

また、車両のヘッドライトは、制御部２４からの制御情報によって制御されるが、ロービーム制御のための制御情報を受けている間のみ強制的にロービームに切り替え、制御情報が停止すると強制的なロービームを解除してよく、あるいは、ロービームにするための制御情報を受けたときにロービームに切り替えて、ハイビームにするための制御情報を受けたときにハイビームに切り替えるようにしてもよい。

【0037】

また、上述のように、制御部２４は、直接光が検出された場合にも、予兆光が検出された場合にも、ロービーム制御を行うが、直接光が検出された場合と予兆光が検出された場合とでロービーム制御の具体的制御内容を変えてもよい。例えば、予兆光が検出された場合にロービームにするためのヘッドライトの照射角度を、直接光が検出された場合にロービームにするためのヘッドライトの照射角度よりもハイビームの照射角度に近くしてよい。すなわち、予兆光が検出された場合には、ハイビームから若干下向きにするようにヘッドライトの照射角度を制御し、直接光が検出された場合には、予兆光が検出された場合よりもさらに下を向くようにヘッドライトの照射角度を制御してよい。

【0038】

さらに、制御部２４は、予兆光検出部２２にて予兆光が検出された画像内の位置に応じたライト制御を行ってよい。例えば、制御部２４は、予兆光が画像の左寄りの位置から検出された場合には車両の前方左側に照射される光の照射角度のみを低くし、予兆光が画像の右寄りの一から検出された場合には車両の前方右側に照射される光の照射角度のみを低くし、予兆光が画像の中央付近の位置から検出された場合には車両の前方全体に照射される光の照射角度を低くするようなロービーム制御を行ってよい。

【0039】

また、上記の実施の形態では、予兆フラグがＴｒｕｅになると、予兆光検出部２２で予兆光を検出しなくなっても、ヘッドライト検出フラグがＦａｌｓｅである限り、予兆フラグをＴｒｕｅに維持してロービーム制御を維持するようにした。これに代えて、予兆光検出部２２は、予兆光を検出したときに予兆フラグをＴｒｕｅにするとともに、予兆光を検出しなくなったときに予兆フラグをＦａｌｓｅにしてよく、制御部２４は、予兆フラグがＦａｌｓｅになった場合に、それに応じてロービーム制御を解除するようにしてよい。また、この場合には、制御部２４は、予兆フラグがＴｒｕｅを維持している時間が所定時間以上となった場合、即ち、予兆フラグがＴｒｕｅであり、かつヘッドライト検出フラグがＦａｌｓｅである状態が所定時間以上継続した場合に、ロービーム制御を解除するようにしてよい。

【0040】

以上のように、本実施の形態のライト制御システム１０によれば、対向車が死角にあって直接観察できない段階で、その予兆光を検出してロービーム制御を行うので、ハイビームが対向車に届く前にロービーム制御を行うことができ、死角から出現した対向車のドライバに与える幻惑を低減できる。

【0041】

また、予兆光を検出するために撮像装置により得られる画像データを用いるので、簡易な構成で予兆光を検出できる。

【0042】

図３は、本実施の形態の車両走行支援システムによって実行される車両走行支援方法のフロー図である。車両走行支援方法では、撮像装置１０が撮像を行うと（ステップＳ３１）、撮像によって生成された画像データを情報処理装置２０に入力する。予兆光検出部２２は、撮像装置１０から入力された画像から他車両のヘッドライトの予兆光を検出する（ステップＳ３２）。また、ヘッドライト検出部２１は、撮像装置１０から入力された画像から他車両のヘッドライトの直接光を検出する（ステップＳ３３）。

【0043】

なお、予兆光の検出（ステップＳ３２）と直接光の検出（ステップＳ３３）とは並行して行われてよい。あるいは、直接光が検出された場合に予兆光の検出を省略してもよく、逆に予兆光が検出された場合に直接光の検出を省略してもよい。

【0044】

次に、制御部２４は、予兆光の検出結果及び直接光の検出結果に基づいてロービーム制御を行う（ステップＳ３４）。すなわち、予兆光又は直接光が検出された場合には、ロービーム制御を行うための制御情報を出力し、予兆光も直接光のいずれも検出されない場合には制御情報は出力せずに処理を終了する。

【0045】

ライト制御システム１００は、上記の処理を撮像装置１０にて画像が生成されるごとに行ってもよいし、撮像装置１０にて生成された画像を一定の間隔で間引いて上記の処理を行ってもよい。

【0046】

図４は、制御部によるライト制御の処理のフロー図である。ライト処理（ステップＳ３４）では、まず、制御部２４は、ヘッドライト検出フラグがＴｒｕｅであるかＦａｌｓｅであるかを判断する（ステップＳ４１）。直接光が検出されており、ヘッドライト検出フラグがＴｒｕｅである場合には（ステップＳ４１で「Ｔｒｕｅ」）、制御部２４は、ヘッドライトを強制的にロービームにする制御情報を出力する（ステップＳ４２）。

【0047】

制御部２４は、直接光が検出されておらず、ヘッドライト検出フラグがＦａｌｓｅである場合には（ステップＳ４１で「Ｆａｌｓｅ」）、予兆フラグがＴｒｕｅであるかＦａｌｓｅであるかを判断する（ステップＳ４３）。予兆フラグがＴｒｕｅである場合には（ステップＳ４３で「Ｔｒｕｅ」）、次に、制御部２４は、予兆フラグがＴｒｕｅになってから所定時間が経過しているか否か、即ち予兆光が最初に検出されてロービーム制御が行われてからの経過時間が所定の閾値に達しているか否かを判断する（ステップＳ４４）。

【0048】

予兆光検出から所定時間経過している場合には（ステップＳ４４でＹＥＳ）、制御部２４は、予兆フラグをＦａｌｓｅにしてヘッドライトをハイビームにする制御情報を出力する（ステップＳ４５）。一方、予兆フラグがＦａｌｓｅである場合には（ステップＳ４３で「Ｆａｌｓｅ」）、制御部２４は、ヘッドライトをハイビームにする制御情報を出力する（ステップＳ４７）。また、予兆光を検出した場合において（ステップＳ４３でＹＥＳ）、予兆光検出から所定時間が経過していないときは（ステップＳ４４でＮＯ）、制御部２４は、ヘッドライトをロービームにする制御情報を出力する（ステップＳ４６）。

【0049】

なお、予兆光検出からの経過時間に応じてロービーム制御を解除する機能は省略してもよい。この場合には、予兆フラグがＴｒｕｅである場合には（ステップＳ４３で「Ｔｒｕｅ」）、制御部２４は、ヘッドライトをロービームにする制御情報を出力する（ステップＳ４６）。

【0050】

図５は、予兆光検出部にて用いる学習モデルを生成するための学習装置の構成を示すブロック図である。学習装置５０は、全時系列画像データ取得部５１と、アノテーション入力部５２と、学習データ生成部５３と、学習部５４とを備えている。全時系列画像データ取得部５１は、撮像装置１０を搭載した車両が実際に道路を走行して得られた時系列の画像データ６１を取得する。アノテーション入力部５２は、全時系列画像データ取得部５１にて取得された画像データ６１に対して、予兆光となる領域を指定するアノテーション６２を入力する。このアノテーション６２の入力は、ライト制御システム１００の開発者ないし製造者によって行われてよい。

【0051】

図６は、全時系列画像データ取得部にて取得される画像の例を示す図である。また、図７は、図６の画像に対して付与されるアノテーションの例を示す図である。図７に示すように、アノテーション６２は、画像における予兆光に相当する領域を指定したマスクを生成することで、予兆光領域を指定する。反射光が生成され得る領域には、ガードレール、作、ポール、路面、縁石、建物、トンネルの壁、霧や雨粒などの領域がある。なお、画像内に複数の予兆光がある場合には、複数個所を予兆光として指定するアノテーションを付与してもよい。

【0052】

学習データ生成部５３には、全時系列画像データ取得部５１にて取得された画像データと、アノテーション入力部５２に入力されたアノテーション６２と組み合わせて、学習データ６３を生成する。学習部５４は、学習データ生成部５３で生成された学習データ６３を学習することで、予兆光を検出するための学習モデル２２１を生成する。

【0053】

学習部５４は、画像を入力とし、アノテーションしたマスクが出力されるように、例えば誤差逆伝播法を用いて学習を行う。生成される学習モデル２２１は、上述のように、例えば、Ｓｏｆｔｍａｘの出力値として予兆光である可能性（尤度）を出力するセマンティックセグメンテーションを行うニューラルネットワークモデルであってよい。

【0054】

図８は、本実施の形態の学習装置によって実行される学習方法のフロー図である。まず、学習データ生成部５３は、全時系列画像データ取得部５１にて取得された画像データ６１に対してアノテーション入力部５２からの入力に応じてアノテーション６２を付与し（ステップＳ８１）、学習データ６３を生成する（ステップＳ８２）。以下、ここでの学習データの生成を「学習データ生成（ｉ）」という。

【0055】

学習部５４は、学習データ６３を用いて学習を実行することで学習モデル２２１を生成する（ステップＳ８３）。学習部５４は、学習が終了したか否かを判断する（ステップＳ８４）。学習部５４は、所定回数（例えば、３回）の学習を行うと学習が終了したと判断する。学習が終了していない場合には（ステップＳ８４でＮＯ）、学習データ６３を生成して（ステップＳ８５）、再度学習を行う（ステップＳ８３）。以下、ステップＳ８５での学習データの生成を「学習データ生成（ｉｉ）」という。

【0056】

図９は、ステップＳ８２の学習データ生成（ｉ）のフロー図である。全時系列画像データ取得部５１が全時系列画像データを取得すると（ステップＳ９１）、学習データ生成部５３は、学習データ６３を追加するか否かをランダムに決定する（ステップＳ９２）。このとき、追加をする割合は任意に設定することができ、例えば１０％に設定できる。

【0057】

画像データ６１を追加すると判断した場合には（ステップＳ９２でＹＥＳ）、学習データ生成部５３は画像データ６１とアノテーション６２のセットからなる追加の学習データ６３を学習部５４に出力して（ステップＳ９３）、リターンする。学習データ６３を追加しない場合には（ステップＳ９２でＮＯ）、学習データ６３を追加することなく、リターンする。

【0058】

図１０は、ステップＳ８５の学習データ生成（ｉｉ）のフロー図である。全時系列学習データ取得部５１が全時系列学習データを取得すると（ステップＳ１０１）、学習部５４は、それまでの学習で得られている学習モデル５４を用いて推論を行う（ステップＳ１０２）。この推論では、学習モデル５４を用いて推論を行うことで、例えば、Ｓｏｆｔｍａｘの出力値として、予兆光の尤度マップを得る。そして、例えば、尤度マップにおける最大尤度があらかじめ設定された閾値を超えている場合には、予兆光があると判断し、尤度マップにおける最大尤度が当該閾値を超えていない場合には、予兆光はないと判断する。

【0059】

次に、学習部５４は、推論で得られた結果が誤判定であるか否かを判断する（ステップＳ１０３）。ここでは、学習データ６３に付与されたアノテーション６２と推論結果とを比較することで、予兆光がある画像について予兆光なしと推論した場合、及び予兆光がない画像について予兆光ありと推論した場合を誤判定と判断する。

【0060】

誤判定がなかった場合には（ステップＳ１０３でＮＯ）、そのままリターンする。誤判定があった場合には（ステップＳ１０３でＹＥＳ）、学習データ６３を追加して（ステップＳ１０４）、リターンする。

【0061】

以上のように、学習過程では、最初はランダムに学習データを選択し、その後は、それまでの学習モデルで推論を行い、誤判定が出なくなるまで学習データを追加する。または、規定ループ回数に達するまで学習データを追加するようにしてもよい。

【0062】

以上のようにして、画像データから予兆光を検出するための学習モデル２２１を学習データを利用した学習によって生成することができる。

【0063】

なお、上記の実施の形態では、移動体が車両である例を説明したが、この車両は、四輪車両、二輪車量、自転車のいずれであってもよい。また、車両は、ドライバによって運転されるものに限らず、自動ないし半自動で自律的に運転を行う車両であってもよい。また、移動体及び他移動体は車両に限らず、ロボット等、車輪以外の駆動手段によって移動をするものであってもよい。

【0064】

また、上記の実施の形態では、移動支援システムが、対向車の予兆光を検出して車両のライトを制御するライト制御システムとして応用される例を説明したが、移動支援システムは、移動体の他の制御を行うものであってもよい。例えば、移動支援システムは、予兆光の検出に応じて移動体の移動を減速し、あるいは徐行させる等の制御を行うシステムであってもよい。また、移動支援システムは、予兆光を検出したときにドライバに対向車が出現することをブザー等で報知し、あるいは、自車両を対向車と離れるように進路の左又は右に寄せて走行させるシステムであってもよい。

【産業上の利用可能性】

【0065】

以上のように、本発明は、他移動体が死角にいて他移動体からの直接光を観察できない状況であっても他移動体の出現を予測して移動体制御を行うことができるという効果を有し、移動体に搭載された撮像装置によって生成された画像に基づいて移動体の移動を制御するための移動支援システム等として有用である。

【符号の説明】

【0066】

１０…撮像装置、２０…情報処理装置、２１…ヘッドライト検出部、２２…予兆光検出部、２３…進路情報取得部、２４…制御部、５０…学習装置、５１…全時系列画像データ取得部、５２…アノテーション入力部、５３…学習データ生成部、５４…学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】