▶ パナソニックオートモーティブシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-26
(45)【発行日】2024-04-03
(54)【発明の名称】運転支援装置、車両および運転支援方法
(51)【国際特許分類】
G01S 15/931 20200101AFI20240327BHJP
G01S 15/86 20200101ALI20240327BHJP
G01S 7/524 20060101ALI20240327BHJP
G08G 1/16 20060101ALI20240327BHJP
【ＦＩ】
G01S15/931
G01S15/86
G01S7/524 R
G08G1/16 C
【請求項の数】
4
(21)【出願番号】P 2022140104
(22)【出願日】2022-09-02
(62)【分割の表示】P 2018206949の分割
【原出願日】2018-11-01
(65)【公開番号】P2022171735
(43)【公開日】2022-11-11
【審査請求日】2022-09-20
(73)【特許権者】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】吉田 崇
(72)【発明者】
【氏名】岡部 吉正
(72)【発明者】
【氏名】道口 将由
(72)【発明者】
【氏名】相原 祐一郎
【審査官】梶田 真也
(56)【参考文献】
【文献】特開２０１３－０５７５８４（ＪＰ，Ａ）
【文献】特開２００８－２７５４４２（ＪＰ，Ａ）
【文献】特開２００４－２８０４５１（ＪＰ，Ａ）
【文献】特開２００１－１０８７４５（ＪＰ，Ａ）
【文献】特開２００２－１３１４２８（ＪＰ，Ａ）
【文献】特開２００５－１５７７６５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ５／１８ － ７／６４
Ｇ０１Ｓ １３／００ － １７／９５
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
車両の周囲の環境情報を取得する環境情報取得部と、前記環境情報から、特定障害物がある可能性を示す、特定障害物候補を検出し、前記特定障害物候補の推定位置を算出するデータ処理部と、
音波を用いて障害物を検知する音波センサを制御する音波センサ制御部と、
前記音波センサの送受信方式は、パルス波を用いて、前記障害物の検知を行う第１モードと、周波数拡散変調方式を用いて特定の距離の障害物を検知する第２モードと、を選択可能であり、前記第１モードの中断時間を計測する時間管理部と、を備えた車両に搭載可能な運転支援装置であって、
前記音波センサ制御部は、前記中断時間が所定値を超えるときに、前記第２モードを中断して、前記第１モードを挿入する、
運転支援装置。
【請求項2】
請求項１に記載の運転支援装置であって、前記音波センサ制御部は、車速情報が所定値以下のときには、前記中断時間が前記所定値を超えても、前記第２モードを中断しない、
運転支援装置。
【請求項3】
請求項１に記載の運転支援装置であって、前記音波センサ制御部は、前記データ処理部が前記特定障害物候補を検出したときに、前記特定障害物候補の非検出時と比較して、前記音波センサの送信電力が大きくなるように制御する、
運転支援装置。
【請求項4】
請求項３に記載の運転支援装置であって、前記特定障害物は、人、車椅子、ベビーカー、または音波に対する反射率が低くかつ保護を必要とする移動体のいずれかを含む、
運転支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、運転支援装置、車両および運転支援方法に関する。
【背景技術】
【0002】
車両において、進路上の障害物を音波センサで検知し、検知結果に応じて車両の制御を行う技術がある。また、撮像画像に基づいて、音波センサの反射波による物体検知が困難となる所定物体に対して車両が近づいている状況下にあると判定された場合に、音波センサによる物体検知の感度を一時的に大きくする技術も知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－０８１０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、音波で人を検知する場合、人は音波に対する反射率が低い為に、人で反射したエコーの強度は弱くなってしまう。特に、降雨時の雨音、あるいはタイヤの走行音は背景雑音となり、背景雑音がエコーよりも大きくなってしまうと、感度を大きくしても背景雑音とエコーを区別する手段にはならないので、エコーを検知できなくなってしまう。そのため、雑音が存在する状況下においても車両の周囲に存在する人を検知する技術が求められている。
【0005】
本開示は、車両の周囲に存在する人を検知することができる運転支援装置、車両および運転支援方法を提供する。
【課題を解決するための手段】
【0006】
本開示に係る運転支援装置は、車両の周囲の環境情報を取得する環境情報取得部と、前記環境情報から、特定障害物がある可能性を示す、特定障害物候補を検出し、前記特定障害物候補の推定位置を算出するデータ処理部と、音波を用いて障害物を検知する音波センサを制御する音波センサ制御部と、前記音波センサの送受信方式は、パルス波を用いて、前記障害物の検知を行う第１モードと、周波数拡散変調方式を用いて特定の距離の障害物を検知する第２モードと、を選択可能であり、前記第１モードの中断時間を計測する時間管理部と、を備えた車両に搭載可能な運転支援装置である。前記音波センサ制御部は、前記中断時間が所定値を超えるときに、前記第２モードを中断して、前記第１モードを挿入する。
【発明の効果】
【0007】
本開示に係る運転支援装置、車両および運転支援方法によれば、雑音が存在する状況下においても、車両の周囲に存在する人を検知することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、本開示に係る運転支援装置、車両および運転支援方法の実施形態について説明する。
【0010】
（第１の実施形態）
第１の実施形態では、電磁波を用いて取得した車両の所定の方向の環境情報から特定の障害物がある可能性を示す特定障害物候補を検出すると、周波数拡散変調方式（スペクトラム拡散変調方式）で変調した音波を送信し、特定障害物候補で反射されたエコーを観測して、特定障害物が推定位置に存在するかを確認する。特定障害物は、障害物のうち車両の進行方向での存在を確認した場合には、車両の障害物への接近を中断する必要がある障害物である。特定障害物は、歩行者や幼児、人が乗車している車椅子またはベビーカー、あるいは音波に対する反射率が低くかつ保護を必要とする移動可能な物体である。電磁波を用いて取得した車両の所定の方向の環境情報は、具体的には、撮像装置、つまりカメラで撮影した車両後方の画像データである。
第１の実施形態では、電磁波を用いて取得した車両の所定の方向の環境情報から特定の障害物がある可能性を示す特定障害物候補を検出すると、周波数拡散変調方式（スペクトラム拡散変調方式）で変調した音波を送信し、特定障害物候補で反射されたエコーを観測して、特定障害物が推定位置に存在するかを確認する。特定障害物は、障害物のうち車両の進行方向での存在を確認した場合には、車両の障害物への接近を中断する必要がある障害物である。特定障害物は、歩行者や幼児、人が乗車している車椅子またはベビーカー、あるいは音波に対する反射率が低くかつ保護を必要とする移動可能な物体である。電磁波を用いて取得した車両の所定の方向の環境情報は、具体的には、撮像装置、つまりカメラで撮影した車両後方の画像データである。
【0011】
図１は、第１の実施形態による運転支援装置を含む車両の構成の一例を模式的に示すブロック図である。図２Ａおよび図２Ｂは、第１の実施形態による車両の一例を模式的に示す図であり、図２Ａは側面図であり、図２Ｂは上面図である。運転支援装置は、車両１に設けられ、カメラで撮影した車両後方の画像から車両１の進行方向側に存在する特定障害物候補を検出すると、特定障害物候補の推定位置を算出し、音波を用いて推定位置に特定障害物候補が存在するかを確認する装置である。なお、車両１として、自動車、バイク、列車などを例示することができる。
【0012】
車両１は、環境情報取得部としての撮像部１１と、音波センサ１２と、ギア検知部１３と、ＥＣＵ（Electronic Control Unit）１４と、加速制御部１５と、制動制御部１６と、ＨＭＩ（Human-Machine Interface）１７と、を備える。
【0013】
撮像部１１は、車両１の所定の範囲を撮像した環境情報としての画像データをＥＣＵ１４に出力する。ここでは、図２Ａおよび図２Ｂに示されるように、撮像部１１は、車両１の後部の例えばトランクパネル１０１に設けられる。そのため、所定の範囲は、車両１の後方である。撮像部１１は、ＦＰＤ－Ｌｉｎｋなどの通信線４１を介して接続される。
【0014】
音波センサ１２は、音波を送信信号として送信し、音波が車両１の外部の物体で反射されて返ってきたエコーを受信信号として受信する。音波センサ１２は、モードによって、パルス状の音波（以下、パルス波ともいう）あるいは連続した音波（以下、連続波ともいう）を送信する。音波センサ１２として、送信用振動子と受信用振動子とが兼用ものを用いることができる。この場合、音波センサ１２では、送信期間と受信期間とが切り替えられる。図２Ａおよび２Ｂに示されるように、音波センサ１２は、車両１のリアバンパ１０２の幅方向の中央付近に設けられる。ここでは、音波センサ１２が１つ設けられる場合が例示される。音波センサ１２は、ＬＡＮ（Local Area Network）、ＣＡＮ（Controller Area Network）などのネットワーク４２を介してＥＣＵ１４と接続される。音波センサ１２として、ソナーなどが用いられる。
【0015】
音波センサ１２は、変調部１２１と、復調部１２２と、を含む。図３Ａは、変調部の機能を模式的に示す図であり、図３Ｂは、復調部の機能を模式的に示す図である。変調部１２１は、図３Ａに示されるように、拡散信号ＳＳを用いた周波数拡散変調により、単一周波数のキャリアＣＴをスペクトル拡散した信号である送信信号ＳＴを生成する。つまり、グラフ８０１のように単一周波数に電力密度が集中したキャリアＣＴは、拡散信号ＳＳで変調されることによって、グラフ８０２のように電力密度が広い範囲の周波数に分散した送信信号ＳＴとなる。
【0016】
復調部１２２は、図３Ｂに示されるように、スペクトル拡散した信号である受信信号ＳＲを、拡散信号ＳＳを用いた復調により、単一周波数のキャリアＣＲに復元する。つまり、グラフ８０３のように、電力密度が広い範囲の周波数に分散した受信信号ＳＲが、拡散信号ＳＳで復調されることによって、グラフ８０４のように単一周波数に電力密度が集中したキャリアＣＴとなる。
【0017】
周波数拡散変調は、直接拡散方式、直線状周波数変調方式、周波数ホッピング方式を含む。直接拡散方式は、疑似ランダム変調方式または符号化変調方式とも呼ばれるが、ＰＮ符号（Pseudo Noise符号）を用いることから、以下の説明では、ＰＮ符号変調方式の呼称を用いる。直線状周波数変調方式は、チャープ変調方式ともいわれる。
【0018】
図４Ａおよび図４Ｂは、送信信号と受信信号の時間変化の一例を模式的に示す図である。図４Ａは、パルス方式で信号を送受信する場合を示し、図４Ｂは、周波数拡散変調して送受信する場合を示している。これらの図で、横軸は、時間を示し、縦軸は電力を示している。図示の通り、パルス方式での送信期間は短く、周波数拡散変調方式での送信期間は幅広である。ここでは、時刻ｔ１に送信信号ＳＴ１，ＳＴ２が音波センサ１２から送信され、送信信号ＳＴ１，ＳＴ２が特定障害物候補で反射された受信信号ＳＲ１，ＳＲ２が時刻ｔ２に音波センサ１２で受信されるものとする。音波で人または物体の検知を行う場合には、常に妨害や雑音が存在する。例えば、妨害としては音波送信の残響Ｎ１、音波の路面からの反射波Ｎ２があり、雑音としては背景雑音Ｎ３が存在する。音波送信の残響Ｎ１は、時間に依存して減衰し、路面からの反射波Ｎ２は送信電力に比例し、距離に依存して低下する。背景雑音Ｎ３は、送信電力、距離および時刻に関係せずに存在する。
【0019】
図４Ａのパルス方式の場合には、パルス状の送信信号ＳＴ１の送信時間であるパルス幅Ｗ１は非常に短いので、送信電力と送信時間の積である送信信号ＳＴ１の電力積は小さくなる。つまり、送信するエネルギーの総量は小さい。したがって、受信信号ＳＲ１の電力積も小さくなる。また、受信信号ＳＲ１の振幅は、距離の２乗に反比例して小さくなるので、場合によっては、受信信号ＳＲ１は、上記のような雑音の中に埋もれてしまい、受信信号ＳＲ１を検出するのは困難となる。
【0020】
一方、図４Ｂに示されるように、周波数拡散変調した場合には、送信信号ＳＴ２の送信期間Ｗ２は、パルス幅Ｗ１に比して極めて大きいので、送信信号ＳＴ２の電力積が大きくなる。つまり、送信するエネルギーの総量は大きい。したがって、受信信号ＳＲ２の電力積も図４Ａの場合に比して大きくなる。雑音のうち、路面からの反射波Ｎ２は、距離、すなわち位相が異なるので分離することができ、背景雑音Ｎ３は相関器で長時間積分することによって抑圧することができる。そのため、包絡線波形では受信信号ＳＲ２のレベルがノイズレベル以下であったとしても、特定障害物候補の距離を特定することができる。
【0021】
ここでは、周波数拡散変調方式としてＰＮ符号変調方式を用いて音波の変調および復調を行う場合を説明する。ＰＮ符号変調方式で使用される疑似ランダム符号として、Ｍ（Maximum-Length）系列符号、バーカーコード、Ｇｏｌｄ符号などがある。図５Ａは、ＰＮ符号変調方式を用いる場合の変調部の構成の一例を示す図であり、図５Ｂは、ＰＮ符号変調方式を用いる場合の復調部の構成の一例を示す図である。
【0022】
変調部１２１は、図５Ａに示されるように、後述する人確認モードの場合に、キャリアＣＴをｎビット（ｎは１以上の整数）のＰＮ符号ＰＮＣで変調して送信信号ＳＴＣにする乗算器によって構成される。具体的には、変調部１２１は、ＰＮ符号ＰＮＣのビット周期を単位として、ＰＮ符号ＰＮＣが１の場合にはキャリアＣＴの位相はそのままとし、ＰＮ符号ＰＮＣが０の場合には、キャリアＣＴの位相を反転させる。なお、単一周波数のキャリアは、ＰＮ符号変調によって、ＰＮ符号のビットレートに比例した帯域幅に電力密度が拡散される。
【0023】
図６Ａおよび図６Ｂは、キャリアのＰＮ符号を用いた変調または復調の一例を示す図であり、図６Ａは、ＰＮ符号で変調されていないキャリアの一例を示す図であり、図６Ｂは、ＰＮ符号で変調された送信信号の一例を示す図である。なお、ここでは、７ビットのＰＮ符号「１１１０１００」を用いて符号変調される場合を例示する。また、この例では、７ビットのＰＮ符号「１１１０１００」を単位として変調または復調が行われるので、この単位を周波数拡散信号の周期という。
【0024】
図６Ａに示されるキャリアに対して、７ビットのＰＮ符号を用いて符号変調すると、送信信号ＳＴＣは図６Ｂのような波形となる。ここでは、図中の左側ほど時間的に早く送信された波を示している。図６Ａに示されるように、キャリアをＰＮ符号のビット周期Ｔを単位として区切ると、キャリアは、成分Ｃ１～Ｃ７を含むことになる。図６Ｂに示されるように、「１１１０１００」のＰＮ符号を用いてキャリアを変調すると、成分Ｃ４，Ｃ６，Ｃ７で位相が反転し、その他の成分Ｃ１～Ｃ３，Ｃ５では位相は元のままとなる。音波センサ１２からは、図６Ｂに示される成分Ｃ１～Ｃ７を含む送信信号ＳＴＣが送信されることになる。
【0025】
復調部１２２は、特定障害物候補で反射した受信信号ＳＲＣが音波センサ１２で受信されるタイミングで、受信信号ＳＲＣをＰＮ符号ＰＮＣを用いて復調する。復調部１２２は、図５Ｂに示されるように、相関器によって構成され、乗算器１２３１と、ｎ－１個（ｎは１以上の整数）の遅延器１２３２と、加算器１２３３と、を有する。乗算器１２３１は、受信信号ＳＲＣにＰＮ符号ＰＮＣを乗算し、単一周波数のキャリアを後段の遅延器１２３２および加算器１２３３に出力する。遅延器１２３２は、復調されたキャリアを、ＰＮ符号ＰＮＣのビット周期Ｔだけ遅延させて出力する。乗算器１２３１と加算器１２３３との間に、ｎ－１個の遅延器１２３２が直列に接続され、各遅延器１２３２の出力側は加算器１２３３にも接続される。加算器１２３２は、乗算器１２３１およびｎ－１個の遅延器１２３２の出力を加算する。
【0026】
具体的には、復調部１２２は、ＰＮ符号ＰＮＣのビット周期Ｔを単位として、ＰＮ符号ＰＮＣが１の場合には受信信号ＳＲＣの位相はそのままとし、ＰＮ符号ＰＮＣが０の場合には、受信信号ＳＲＣの位相を反転させる。このとき、乗算器１２２５には受信信号を受信したタイミングでＰＮ符号ＰＮＣが入力される。
【0027】
図６Ｂに示されるＰＮ変調された送信信号が特定障害物候補で反射され、音波センサ１２に到達すると、受信信号も図６Ｂに示されるような波形となる。ただし、受信信号には雑音が加算されている。この受信信号を「１１１０１００」のＰＮ符号を用いて復調すると、成分Ｃ４，Ｃ６，Ｃ７で位相が反転し、その他の成分Ｃ１～Ｃ３，Ｃ５では位相は元のままとなる。つまり、図６Ａに示されるように、符号が消えて連続波となる。
【0028】
図５Ｂを用いて復調部１２２での動作の概要を説明する。ここでは、図６Ｂのような受信信号ＳＲＣが復調部１２２に入力されるものとする。後述する音波センサ制御部２４から送られてくるＰＮ符号ＰＮＣのタイミングで受信信号ＳＲＣが復調されると、成分Ｃ４，Ｃ６，Ｃ７では位相が反転され、他の成分では位相はそのままとなる。そして、復調されたキャリアは、ＰＮ符号ＰＮＣの遅延器１２３２へ出力される。なお、図６Ａに示されるキャリアの前には、何も信号が受信されていない状態にあるとする。
【0029】
各遅延器１２３２－１～１２３２－６ではＰＮ符号ＰＮＣのビット周期Ｔだけずらして、キャリアが出力される。すなわち、遅延器１２３２－１～１２３２－６に受信信号の成分Ｃｉ（ｉは１以上ｎ以下の整数）が入力されると、ビット周期Ｔだけ遅延された成分Ｃｉが後段の遅延器１２３２－２～１２３２－６または加算器１２３３へと出力される。また、乗算器１２３１および遅延器１２３２－１～１２３２－５は、後段の遅延器１２３２に出力する際に、加算器１２３３にも成分Ｃｉを出力する。
【0030】
加算器１２３２は、各遅延器１２３２－１～１２３２－６および乗算器１２３１からの出力を加算する。すなわち、加算器１２３３では、各遅延器１２３２－１～１２３２－６および乗算器１２３１から出力された成分Ｃ１～Ｃ７の波が加算される。例えば、遅延器１２３２－６～１２３２－１にそれぞれ成分Ｃ１～Ｃ６が入力された状態にあり、乗算器１２３１から成分Ｃ７が出力されるタイミングで、各遅延器１２３２－６～１２３２－１からはそれぞれ成分Ｃ１～Ｃ６が加算器１２３３に出力される。これによって、加算器１２３３では、成分Ｃ１～Ｃ７の波が加算され、出力振幅の大きな波形が得られることになる。つまり、ＰＮ符号ＰＮＣの１周期分のキャリア信号が相乗した状態で加算されたものが加算器１２３３から出力され、振幅が加算前の７倍になる。一方、受信信号に含まれる雑音は周波数も位相もランダムであり、加算で相乗し合う場合もあれば相殺し合う場合もあるので、必ず相乗し合うキャリア信号よりも、振幅が抑圧されることになる。一般的に、雑音が無相関のランダム雑音の場合には、ｎ段の加算によって振幅は√ｎ倍になるので、この例では加算器１２３３が出力するランダム雑音の振幅は√７倍になる。加算で７倍になるキャリア信号を基準とすると、ランダム雑音の振幅は１／√７倍になるので、Ｓ／Ｎ比を改善する変調利得（ノイズ抑圧比）が得られると言える。ここでは符号長ｎ＝７で説明しているが、符号長が長いほど大きな変調利得が得られるので、実際に用いられるＰＮ符号の符号長は、数十ビットから数百ビットに及ぶものが多い。一方、受信信号ＳＲＣの音波センサ１２への到着のタイミングと、ＰＮ符号ＰＮＣによる復調のタイミングと、がずれている場合には、受信信号ＳＲＣのＰＮ符号が消えず、電力密度が拡散されたままとなるので、大きな振幅の信号が得られない。また、パルス方式では、受信したパルスの振幅が敷居値を越えた時点を受信信号の受信時刻としてＥＣＵ１４に報告するが、周波数拡散方式では１周期分の信号成分Ｃ１～Ｃ７の波が相関器に収まり、加算されたときに出力振幅がピークを迎える。この、信号を受信してから相関器の出力がピークを迎えるまでの時間は、符号長が長いほど長くなるので、音波センサ１２がＥＣＵ１４に受信時刻を報告する際に符号長に応じた補正を加えるか、または音波センサ１２がピーク値を観測した時点を報告した時刻をＥＣＵ１４側で補正するか、いずれかの処理を加える必要がある。
【0031】
なお、図５Ｂは、復調部１２２がデジタルフィルタで構成される場合を示しているが、実施形態はこれに限定されない。例えば、復調部１２２をアナログフィルタで構成してもよい。
【0032】
ここで図１に戻って説明を続ける。ギア検知部１３は、車両１のギアが所定のギアポジションとなったかを判定する。ここでは、ギア検知部１３は、車両１のギアが後退ギアに移行した場合、あるいは車両１のギアが後退ギアから他のギアに移行した場合にギアポジションの変更が行われたことを示す信号をＥＣＵ１４に出力する。
【0033】
ＥＣＵ１４は、車両１の動作を制御する制御部である。本実施形態では、車両１の後退時に、撮像部１１からの画像データに特定障害物候補が検出された場合に、音波センサ１２を用いて特定障害物候補が推定位置に存在するかを確認し、特定障害物候補が推定位置に存在する場合に車両１を停止させたり、特定障害物候補に所定の距離以上近づかないようにしたりする制御を行う運転支援装置である。以下では、特定障害物が人である場合を例に挙げて説明する。
【0034】
ＥＣＵ１４は、モード切替部２１と、データ処理部である画像処理部２２と、制御情報算出部２３と、音波センサ制御部２４と、特定障害物候補確認部である人候補確認部２５と、推定位置補正部２６と、表示処理部２７と、を有する。
【0035】
モード切替部２１は、車両１の制御モードを、前進モードと、後退モードと、特定障害物確認モードである人確認モードと、後退制限モードと、の間で切り替える。音波センサ１２の制御モードは車両１の制御モードとは独立しており、送受信方式が通常のパルス方式である第１モードと、送受信方式が周波数拡散変調方式を用いる第２モードと、の間で切り替える。車両１の制御モードの一つである前進モードは、車両１が前進または停止しているときであり、撮像部１１を用いずに、音波センサ１２を用いてパルス方式である第１モードで物体を検知するモードである。後退モードは、車両１が後退しているときに、撮像部１１で車両１後方を撮像しながら、音波センサ１２で、前進モードと同様にパルス方式である第１モードで物体を検知するモードである。人確認モードは、撮像部１１で撮像された画像データから特定障害物候補である人候補が検出された場合に、音波センサ１２を用いて人候補の推定位置に人が存在するかを確認するモードである。人確認モードでは、概ね、音波センサ１２でパルス方式ではなく、周波数拡散変調方式を用いて人候補を検知し、人候補の推定位置に人が存在するか確認する。後退制限モードは、人が人候補の推定位置に存在することが確認された場合に、人に対して車両１が近づかないように車両１の動作を制限するモードである。音波センサ１２の制御モードは車両１の制御モードとは独立しており、前進モードおよび後退モードではパルス方式で物体を検知するモードである第１モードで制御し、人確認モードおよび後退制限モードでは、概ね、周波数拡散変調方式を用いる第２モードで制御するが、状況に応じて第１モードで制御することもある。
【0036】
モード切替部２１は、ギア検知部１３でギアが後退ギアとなったことが検知されると、前進モードから後退モードへと切り替え、撮像部１１を起動する。また、モード切替部２１は、後退モード中に、画像処理部２２で人候補が検出されると、人確認モードへと切り替える。モード切替部２１は、人確認モード中に、人候補確認部２５で人候補の存在が確認されると、後退制限モードへと切り替える。なお、モード切替部２１は、ギア検知部１３で、ギアが後退ギアから他のギアとなったことが検知された場合には、後退モード、人確認モードおよび後退制限モードのいずれかのモードから前進モードへと切り替え、撮像部１１を停止させる。
【0037】
画像処理部２２は、撮像部１１から画像データを受信する入力部を備え、撮像部１１で撮像される画像データから２本足で立つとみなされる人候補を検出する人候補検出処理と、人の推定位置情報を算出する推定位置算出処理と、を含む画像処理を実行する。
【0038】
人候補検出処理では、画像処理部２２は、撮像部１１で撮像された画像データから２本足で立つものを人候補として検出する。図７Ａ～図７Ｃは、撮像部で撮像された画像データの一例を示す図であり、図７Ａは画像データの一例であり、図７Ｂは推定位置の算出方法の一例を示す図であり、図７Ｃは画像データ上での推定位置の一例を示す図である。
【0039】
具体的には、図７Ｂに示されるように、画像処理部２２は、画像データ８２０についてエッジ検出を行い、一対の縦方向のエッジ８２１を足とみなし、この足が２本並んで立っている場合に、人候補として検出する。縦方向のエッジ８２１の検出の際には、エッジ８２１が水平方向に対して９０度を中心に所定の角度範囲にあるものを縦方向のエッジ８２１としてもよい。このように２本足であるものを人候補として検出すると、傘、コートまたはリュックなどで全体のシルエットが普通の人の外見と大きく違っている場合でも、人候補を正しく検出することができる。また、動物を人候補であるとする誤検知の発生も低減することができる。例えば、図７Ａに示されるように、人が傘をさしていて、膝よりも上の部分が隠れてしまっている画像データ８２０の場合でも、２本足の存在によって人候補として検出することができる。しかし逆に言うと、画像上に２本足に見えるシルエットがあれば、人候補として検出されることになり、例えば路面上に引かれた２本の線を人の足と誤認する場合がある。これが、画像だけでは人であると判断できず、音波センサによる確認を必要とする所以である。
【0040】
立ち位置算出処理では、画像処理部２２は、人候補検出処理で検出された人候補の画像データ上での推定位置を算出し、推定位置を、例えば車両１上に設けた座標系上での座標に換算する。図７Ｂに示されるように、画像処理部２２は、足とみなされた一対の縦方向のエッジ８２１の下端同士の中点８２２をそれぞれの足について求め、さらに、２つの中点８２２の中点８２３を求め、これを画像データ上の推定位置Ｐ’とする。例えば、図７Ｃに示されるように、画像データ上の推定位置Ｐ’は、画像データ８２０の左上の角部を原点Ｏ’とし、図の左右方向に延在する方向をＸ’軸とし、上下方向に延在する方向をＹ’軸とする座標系を用いて（ＸＰ’，ＹＰ’）と表される。
【0041】
また、画像処理部２２は、画像データ上の推定位置Ｐ’の座標と、撮像部１１の画角および取付角の情報と、を用いて、撮像部１１の設置位置を基準とした推定位置の３次元の方位角を算出する。そして、画像処理部２２は、この３次元の方位角を用いて、画像データ上の推定位置Ｐ’を路面上の推定位置Ｐに変換する。３次元の方位角は、俯角と水平面内の方位角とを用いて表すことができる。なお、公知の方法を用いて、撮像部１１の画角および取付角の情報から、人候補の推定位置の３次元の方位角を求めることができる。また、路面上の推定位置Ｐは、車両１の撮像部１１が設置されている位置を原点とした座標系で表されるものとする。
【0042】
図８Ａおよび図８Ｂは、３次元の方位角を用いた路面上の推定位置の求め方の一例を模式的に示す図である。図８Ａは、鉛直面内での撮像部と推定位置との間の関係を模式的に示す図であり、図８Ｂは、水平面内での撮像部と推定位置との間の関係を模式的に示す図である。車両１に設置された撮像部１１の位置を原点Ｏとし、この原点Ｏを通り、水平面と平行な面内で車両１の長さ方向に平行な方向に延在する軸をＹ軸とし、原点を通り、Ｙ軸に直交する水平面に平行な面内での軸をＸ軸とする。また、原点を通り、Ｘ軸およびＹ軸に垂直な軸をＺ軸とする。
【0043】
図８Ａに示されるように、撮像部１１（原点Ｏ）と推定位置Ｐとを結ぶ直線Ｌが水平面となす角度を俯角θａとする。この俯角θａは、撮像部１１の垂直画角と画像データ上の推定位置Ｐ’のＹ座標ＹＰ’と、撮像部１１の垂直方向の取付角とから求めることができる。また、撮像部１１の設置位置の路面からの高さＨは既知であるので、撮像部１１と推定位置Ｐとの間の水平距離Ｌｈは、次式（１）で求めることができる。
Ｌｈ＝Ｈ／ｔａｎθａ ・・・（１）
Ｌｈ＝Ｈ／ｔａｎθａ ・・・（１）
【0044】
図８Ｂに示されるように、水平面内で撮像部１１（原点Ｏ）と推定位置Ｐとを結ぶ直線ＬｈがＹ軸となす角度が水平面内での方位角θｂである。この方位角θｂは撮像部１１の水平画角と画像データ上の推定位置Ｐ’のＸ座標ＸＰ’と、撮像部１１の水平面内の取付角とから求めることができる。（１）式から撮像部１１と推定位置Ｐとの間の水平距離Ｌｈが求められているので、これと方位角θｂとから推定位置ＰのＸＹ平面内での座標（ＸＰ，ＹＰ）を求めることができる。すなわち、推定位置Ｐの座標は、次式（２）によって表される。
（ＸＰ，ＹＰ）＝（Ｌｈ・ｓｉｎθｂ，Ｌｈ・ｃｏｓθｂ） ・・・（２）
（ＸＰ，ＹＰ）＝（Ｌｈ・ｓｉｎθｂ，Ｌｈ・ｃｏｓθｂ） ・・・（２）
【0045】
以上のようにして、画像処理部２２によって、路面上の人候補の推定位置情報である座標（ＸＰ，ＹＰ）が求められる。なお、路面上の人候補の推定位置では、Ｚ座標については考慮しないものとする。
【0046】
制御情報算出部２３は、画像処理部２２からの人候補の推定位置情報あるいは後述する推定位置補正部２６からの補正された人候補の推定位置情報を用いて、音波センサ１２を制御する制御情報を算出する。図９は、撮像部と音波センサと人候補の推定位置との間の関係を模式的に示す図であり、図１０は、音波センサから送信された音波が人候補で反射されてエコーとして戻ってくる伝播時間の関係を模式的に示す図である。
【0047】
まず、制御情報算出部２３は、音波センサ１２と推定位置Ｐとの間の距離Ｌ１を算出し、音波センサ１２と推定位置Ｐとの間で伝播される音波の伝播時間を算出する。図２Ｂに示されるように、車両１上において、撮像部１１と音波センサ１２との間の位置関係は予めわかっているので、制御情報算出部２３は、撮像部１１を中心とした座標系上での音波センサ１２と推定位置Ｐとの間の距離Ｌ１を算出することができる。例えば、音波センサ１２の座標を（Ｘ１，Ｙ１）とすると、次式（３）によって距離Ｌ１を求めることができる。
Ｌ１＝｛（ＸＰ－Ｘ１）2＋（ＹＰ－Ｙ１）2｝1/2 ・・・（３）
Ｌ１＝｛（ＸＰ－Ｘ１）2＋（ＹＰ－Ｙ１）2｝1/2 ・・・（３）
【0048】
ついで、図１０に示されるように、制御情報算出部２３は、音波センサ１２と推定位置Ｐとの間の距離Ｌ１と、既知である音波の速度、すなわち音速Ｖと、を用いて、次式（４）によって、推定伝播時間Ｔ１を算出する。
Ｔ１＝Ｌ１／Ｖ ・・・（４）
Ｔ１＝Ｌ１／Ｖ ・・・（４）
【0049】
これによって、音波センサ１２が送信されてから推定位置Ｐで反射して戻ってくるまでの音波の推定飛行時間が算出される。図１０で、音波センサ１２から推定位置Ｐまでの推定伝播時間がＴ１であるので、推定飛行時間は推定伝播時間Ｔ１の２倍である２Ｔ１となる。制御情報算出部２３は、音波センサ１２の推定伝播時間Ｔ１を含む制御情報を音波センサ制御部２４に渡す。
【0050】
音波センサ制御部２４は、車両１の制御モードに応じて、音波センサ１２の動作を制御する。前進モードおよび後退モードでは、音波センサ制御部２４は、第１モードで音波センサ１２を制御し、音波センサ１２はパルス方式で物体の検知を行う。人確認モードでは、音波センサ制御部２４は、概ね第２モードで音波センサ１２を制御し、ＰＮ符号を用いてキャリアを変調するタイミングと、制御情報に基づいてＰＮ符号を用いて受信信号を復調するタイミングと、を制御する。
【0051】
また、第２モードでは、音波センサ制御部２４は、音波センサ１２での送信期間と受信期間との間の切り替えを行う。このとき、送信期間は、周波数拡散信号の１周期以上であり、推定飛行時間よりも短く設定される。これは、送信用振動子と受信用振動子とが兼用の音波センサ１２の場合には、送信信号の送信を終えた後でなければ、受信信号を受信できないからである。つまり、送信期間が推定飛行時間よりも長いと、推定位置に存在する人候補で反射したエコーである受信信号の先頭部分が受信されなくなってしまうからである。また、送信期間を周波数拡散信号の１周期以上とすることで、周波数拡散変調によって変調利得を得ることができる。
【0052】
また、音波センサ制御部２４は、推定飛行時間に基づいて、音波センサ１２に含まれるアンプのゲインを最適化する。すなわち、送信信号を送信してから、受信信号の受信が期待される時間帯でアンプの出力が飽和しないようにゲインを最適化する。音波センサ制御部２４は、アンプ出力のレベルが適切でなく、飽和している場合や過小である場合には、ゲインを補正する。
【0053】
送信期間および受信期間の切り替えのタイミングは、人候補の推定位置までの距離である推定距離に応じて変えることができる。図１１Ａおよび図１１Ｂは、周波数拡散変調した場合の送信信号の送信期間の調整を説明するための図である。図１１Ａは、推定距離が長い場合を示し、図１１Ｂは、推定距離が短い場合を示している。これらの図で、横軸は、時間を示し、縦軸は電力を示している。
【0054】
図１１Ａに示されるように、人候補までの推定距離が長い場合には、送信信号ＳＴ２の電力積を大きくすることで、包絡線波形では受信信号ＳＲ２のレベルがノイズレベル以下であったとしても、人候補の距離を特定することができる。このようにＰＮ符号の周期（符号長）を大きくすることで、送信信号ＳＴ２の送信期間Ｗ３を大きくすることができる。変調利得は符号長が長いほど大きくなるが、ＰＮ符号のビット周期が同じであれば、符号長が長いほど１周期のＰＮ符号を送信するのに要する時間が長くなる。
【0055】
図１１Ｂに示されるように、人候補までの推定距離が短い場合には、拡散信号であるＰＮ符号の周期を短くして、図１１Ａの場合の送信期間Ｗ３よりも短い送信期間Ｗ４とする。ただし、受信信号ＳＲ２を受信する時点で、送信信号の送信の残響Ｎ１が収まっている必要があるので、送信信号の送信の残響Ｎ１が収まった時刻に受信信号が受信されるようにＰＮ符号の周期が調整される。その結果、図１１Ａの場合に比して処理利得が下がってしまうが、音波は距離の二乗に反比例して減衰するので、距離が短ければ、その分、受信信号ＳＲ２の強度が強くなると期待できる。つまり、距離が短いために受信信号ＳＲ２のレベルが大きければ、処理利得が小さくても受信信号ＳＲ２を検出することができる可能性が高くなる。なお、人候補までの推定距離の長短は、相対的なものであってもよいし、ある基準値に対する推定距離の長短であってもよい。
【0056】
このように、人候補までの推定距離に応じて、周波数拡散信号の周期を変えることができる。例えば、上記したように、人候補までの推定距離が長ければ、周期が長いＰＮ符号が用いられ、人候補までの推定距離が短ければ、周期が短いＰＮ符号が用いられる。
【0057】
図１２Ａおよび図１２Ｂは、人候補までの推定距離が短い場合の信号の送受信の一例を模式的に示す図である。図１２Ａは、周波数拡散変調をした場合であり、図１２Ｂは、周波数拡散変調をしない場合である。これらの図で、横軸は、時間を示し、縦軸は電力を示している。ここでは、時刻ｔ１で送信信号ＳＴ１，ＳＴ２が音波センサ１２から送信され、送信信号ＳＴ１，ＳＴ２が人候補で反射された受信信号ＳＲ１，ＳＲ２が時刻ｔ５で音波センサ１２で受信されるものとする。
【0058】
図１２Ａに示されるように、人候補までの推定距離が図１１Ｂの場合よりも短い場合には、ＰＮ符号の周期が短くなってしまうので、周波数拡散変調をしても、低い変調利得しか得られない。しかし、このように人候補が音波センサ１２に近い場合には、図１２Ｂに示されるように、受信信号ＳＲ１の電力はノイズレベルよりも大きくなることが多いと考えられる。つまり、通常のパルス方式でも検知可能である確率が高い。
【0059】
そこで、音波センサ制御部２４は、音波センサ１２と人候補の推定位置との間の推定距離が所定の距離よりも大きい場合には、周波数拡散変調方式を選択し、音波センサ１２と人候補の推定位置との間の推定距離が所定の距離未満である場合には、通常のパルス方式を継続して人の検知を行ってもよい。所定の距離は、受信信号のレベルがノイズレベルよりも大きい値になると期待できる距離である。つまり、人確認モードでも、人候補までの推定距離が短ければ、周波数拡散変調方式を用いる第２モードではなく、通常のパルス方式を用いる第１モードで制御してよい。
【0060】
この使い分けを適用する場合、復調部１２２は、所定の距離よりも遠い距離に合わせた長い周波数拡散信号の周期にだけ対応できればよい。また、音波センサ制御部２４は、人候補の推定位置までの距離が近距離の場合にはパルス方式を選択し、中距離の場合には周波数拡散符号の周期が短い周波数拡散変調方式を選択し、長距離の場合には周波数拡散符号の周期が長い周波数拡散方式を選択するようにしてもよい。この場合の近距離、中距離、長距離も、相対的なものであってもよいし、ある基準値に対する推定距離の長短であってもよい。人候補までの推定距離が例えば第１基準値よりも短い場合には、近距離であるとし、第１基準値よりも長く第２基準値よりも短い場合には、中距離であるとし、第２基準値よりも長い場合には、長距離であるとしてもよい。
【0061】
このように人候補の推定位置までの距離にＰＮ符号の周期を変えることによって、人候補の推定位置までの距離に応じた符号化利得を得ることができる。特に、人候補が遠方に存在し、受信信号が微弱になる場合でも、大きな符号化利得が得られるので、人候補を検知することができる。また、人候補が近距離に存在する場合にも、距離に応じたＰＮ符号の周期が選択されるので、人候補を検知することができる。
【0062】
なお、人候補の推定位置が音波センサ１２から遠方にあり、背景雑音が支配的な妨害要因である場合には、音波センサ制御部２４は、送信電力を上げることで、より具体的には、前進モードまたは後退モードのときにおける送信電力よりも大きい送信電力とすることで、背景雑音よりも大きい受信電力の受信信号が得られる場合がある。このとき、音波センサ制御部２４は、送信電力を上げる制御を行った上で周波数拡散変調を行なってもよいし、周波数拡散変調を行うことなく、パルス波の送信電力を上げる制御を行ってもよい。これによって、より確実な検知を行うことができる。
【0063】
また、音波センサ制御部２４は、音波センサ１２から送信信号を送信する前に受信レベルを測定させた結果を受信し、ノイズレベルが所定値以下である場合には、周波数拡散変調を行うことなく、通常のパルス波の送信を行ってもよい。つまり、音波センサ制御部２４は、パルス波で障害物の検出を行う第１モードから、周波数拡散変調して特定障害物候補の確認を行う第２モードへと切り替えずに、第１モードのまま特定障害物候補の確認を行ってもよい。ノイズレベルが所定値以下である場合には、人候補で反射した受信信号を周波数拡散変調を行わなくても受信することができるので、人確認モードであっても、特定の距離の障害物の検知に限られる周波数拡散変調方式ではなく、不定の距離の障害物の検知が可能なパルス方式を継続することができる。
【0064】
音波センサ制御部２４は、音波センサ１２で送信信号を送信した後、送信信号が人候補で反射した受信信号の受信状況を人候補確認部２５に渡す。受信状況は、音波センサ１２で受信した受信信号と、音波センサ１２で送信信号を送信してから受信信号を受信するまでの音波（送信信号）の飛行時間と、を含む。なお、推定飛行時間に所定の許容範囲を加えた期間、受信信号を受信しなかった場合には、受信信号を受信しなかったとし、このときの飛行時間は、受信しなかったことを示す情報となる。本実施形態では、音波センサ１２が１個である構成で説明しているが、音波センサ１２が複数である構成でも本実施形態の技術は実施可能であり、水平面上に距離を置いて並べられた複数の音波センサ１２からの飛行時間を３辺測量に適用すれば、水平面上での座標を特定できることは言うまでも無い。つまり、音波センサ１２が複数あれば飛行時間の情報は複数になり、それは座標を特定し得る情報である。
【0065】
人候補確認部２５は、音波センサ１２での受信信号の受信状況に基づいて、画像処理部２２による人検知の信頼度評価を行う。具体的には、人候補確認部２５は、音波センサ１２で送信信号を送信してからの飛行時間を、人候補の位置から推定される推定飛行時間と比較し、その差が所定の誤差範囲内である場合には、推定位置に人候補が存在することを示す情報をモード切替部２１に渡す。複数の音波センサ１２を持つ場合には、複数の音波センサ１２について推定飛行時間と実際の飛行時間を各々比較し、誤差を二次元的に評価して所定範囲内である場合には、推定位置に人候補が存在することを示す情報をモード切替部２１に渡す。人候補確認部２５は、音波センサ１２での受信がない場合、及び、推定飛行時間と実際の飛行時間の差が、所定範囲より大きい場合は人候補の推定位置の補正を行う旨の情報を推定位置補正部２６に通知する。なお、この例では、音波センサ１２から得られる飛行時間と推定飛行時間を比較しているが、飛行時間および推定飛行時間に対応する位置情報を用いて比較してもよい。
【0066】
推定位置補正部２６は、人候補確認部２５から人候補の推定位置の補正を行う旨の情報を受けると、撮像部１１と推定位置とを結ぶ方向で、推定位置を補正する。推定位置の補正は、例えば撮像部１１と推定位置とを結ぶ方向で、現在の推定位置から有効なソナー検知範囲の直径分だけずらした位置とすることができる。補正した推定位置は、制御情報算出部２３に渡される。
【0067】
表示処理部２７は、モード切替部２１が車両１の状態を前進モードから後退モードに切り替えたときに、撮像部１１で撮像された画像データをＨＭＩ１７に表示する。また、表示処理部２７は、人確認モードが所定の時間継続した場合には、目視確認を促す情報をＨＭＩ１７に出力する。さらに、表示処理部２７は、モード切替部２１が車両１の状態を人確認モードから後退制限モードに切り替えたときに、車両１後部での歩行者の存在の注意喚起を示す情報をＨＭＩ１７に出力する。
【0068】
加速制御部１５は、車両１の加速を制御する。加速制御部１５は、後退制限モード中に、車速が所定の速度を超える操作がなされた場合に、加速を禁止する。
【0069】
制動制御部１６は、車両１の制動を制御する。制動制御部１６は、後退制限モード中で、人が車両１から所定の距離以内に存在する場合には、制動する。
【0070】
ＨＭＩ１７は、音声および表示の少なくともいずれか一方によって、車両１の運転者に情報を与えるとともに、運転者からの操作を受け付ける運転者インタフェースである。ＨＭＩ１７は、例えばスピーカー付きのタッチパネルである。
【0071】
つぎに、このような運転支援装置を含む車両１の動作について説明する。図１３は、第１の実施形態による運転支援方法の手順の一例を示すフローチャートである。まず、車両１が後退ギア以外のポジションにギアが位置する前進モードにあるときに（ステップＳ１１）、ギア検知部１３が、ギアが後退ギアに切り替わったかを判定する（ステップＳ１２）。前進モードでは、車両１の後方に設けられている撮像部１１は停止状態にある。ギアが後退ギアに切り替わっていない場合（ステップＳ１２でＮｏの場合）には、ステップＳ１１に戻る。
【0072】
一方、ギアが後退ギアに切り替わった場合（ステップＳ１２でＹｅｓの場合）には、モード切替部２１は、車両１の制御モードを前進モードから後退モードに切り替える（ステップＳ１３）。後退モードに切り替わると、モード切替部２１は、車両１の後方に設けられている撮像部１１を起動する（ステップＳ１４）。その後、表示処理部２７は、撮像部１１で撮像された画像データをＨＭＩ１７に表示させ（ステップＳ１５）、画像処理部２２は、画像データを用いて人候補検出処理を行う（ステップＳ１６）。検出の結果、人候補が存在しない場合（ステップＳ１７でＮｏの場合）には、ステップＳ１５へと処理が戻る。なお、後退モードでは、音波センサ１２は、パルス方式で障害物の検知を行っている。
【0073】
人候補が存在する場合（ステップＳ１７でＹｅｓの場合）には、モード切替部２１は、車両１の制御モードを後退モードから人確認モードへと切り替える（ステップＳ１８）。
【0074】
また、画像処理部２２は、人候補の路面上での推定位置を算出する（ステップＳ１９）。推定位置の算出では、人候補の画像データ上の推定位置が求められ、画像データ上の推定位置と撮像部１１の取付角および画角とから、推定位置の３次元の方位角が算出され、３次元の方位角と撮像部１１の設置高さとを用いて、人候補の路面上での推定位置が算出される。
【0075】
その後、制御情報算出部２３は、音波センサ１２を人確認モードで制御する際に使用する制御情報を算出する（ステップＳ２０）。制御情報の算出では、人候補の路面上での推定位置と、音波センサ１２の車両１上での設置位置と、から音波センサ１２と推定位置との間の推定距離が求められる。そして、推定距離と音速とから推定位置までの制御情報としての音波の推定伝播時間が求められる。
【0076】
その後、音波センサ制御部２４は、周波数拡散変調した送信信号を音波センサ１２から送信するように制御する（ステップＳ２１）。これによって、音波センサ１２からは周波数拡散変調された送信信号が送信される。
【0077】
推定位置に人が存在する場合には、送信信号が人で反射され、反射された送信信号は、受信信号として音波センサ１２へと到達する。つまり、音波センサ１２から送信信号が送信された後、制御情報中の推定伝播時間の２倍の時間（推定飛行時間）が経過した後に、音波センサ１２に受信信号が到達することになる。一方、推定位置に人候補が存在しない場合には、受信信号は反射されず、各音波センサ１２には受信信号が返らない。また、人候補が推定位置とは異なる位置に存在する場合には、制御情報中の推定伝播時間の２倍の時間とは異なる時間に受信信号が到達することになる。音波センサ１２は、このような受信信号の受信状況を取得し（ステップＳ２２）、受信状況を人候補確認部２５に渡す。このとき、周波数拡散方式の場合、前述の様に反射波の先頭部分を受信してから相関器の出力がピーク値を迎えるまで時間差があるので、音波センサ１２側または人候補確認部２５で受信時刻を補正してから人候補確認を行う必要がある。
【0078】
その後、表示処理部２７は、人確認モードに切り替わってから所定の時間が経過したかを判定する（ステップＳ２３）。所定の時間が経過した場合（ステップＳ２３でＹｅｓの場合）には、表示処理部２７は、後方の目視を運転者に促す情報をＨＭＩ１７に出力する（ステップＳ２４）。目視を促す情報は、表示可能な情報でもよいし、音声情報でもよい。
【0079】
その後、あるいは所定の時間が経過していない場合（ステップＳ２３でＮｏの場合）には、人候補確認部２５は、推定位置に人候補が存在するか否かを判定する（ステップＳ２５）。推定位置に人候補が存在しない場合（ステップＳ２５でＮｏの場合）には、推定位置補正部２６は、路面上での人候補の推定位置を補正する（ステップＳ２６）。なお、人候補確認部２５は、送信信号を送信してから推定飛行時間が経過した時刻とは大きく異なる時刻に受信信号を受信した場合、あるいは受信信号を受信しなかった場合には、人候補が推定位置に存在しないとする。そして、処理がステップＳ２０に戻る。
【0080】
また、推定位置に人候補が存在する場合（ステップＳ２５でＹｅｓの場合）には、人候補確認部２５は、推定位置に人候補が存在することを示す情報をモード切替部２１に通知し、モード切替部２１は、制御モードを人確認モードから後退制限モードへと切り替える（ステップＳ２７）。また、表示処理部２７は、ＨＭＩ１７に人が所定の範囲内に存在することを示す人注意喚起情報を出力する。人注意喚起情報は、表示可能な情報でもよいし、音声情報でもよい。後退制限モード中では、加速制御部１５は、車速が所定の速度を超える加速を禁止し、制動制御部１６は、人が所定の距離以内のときには制動する。
【0081】
その後、人候補確認部２５は、画像データ中から人候補が居なくなったかを判定する（ステップＳ２８）。画像データ中に人候補がいる場合（ステップＳ２８でＮｏの場合）には、人候補が居なくなるまで待ち状態となる。また、画像データ中から人候補が居なくなった場合（ステップＳ２８でＹｅｓの場合）には、ステップＳ１３へと処理が戻る。
【0082】
なお、連続波を送信信号として送信する場合には、音波センサ制御部２４は、音波センサ１２から送信信号を送信してから、推定飛行時間よりも短い時間で連続波の送信信号を送信する送信期間と、連続波の受信信号を受信する受信期間と、が繰り返すように音波センサ１２を制御する。受信期間は、送信期間が終了した後、推定飛行時間にマージンを取った期間とされる。そして、この処理が繰り返し行われる。
【0083】
また、復調部１２２の構成は、図５Ｂに示される構成のものに限られず、種々のものを用いることができる。図１４は、復調部の他の構成例を示す図である。この復調部１２２は、スライディング相関器によって構成される。復調部１２２は、乗算器１２３１、ｎ－１個の遅延器１２３２および加算器１２３３を含むフィルタ１３０Ａ～１３０Ｃが３つ並列に配置されている。また、フィルタ１３０Ｂ，１３０Ｃには、フィルタ１３０ＡよりもＰＮ符号の乗算器１２３１への入力を遅らせる遅延器１３１Ｂ，１３１Ｃが設けられている。フィルタ１３０Ｂの乗算器１２３１へのＰＮ符号の入力は、フィルタ１３０Ｃの乗算器１２３１へのＰＮ符号の入力よりも遅くなるように遅延器１２１Ｂ，１３１Ｃが設定される。ここでは、フィルタ１３０Ａを基準にして、０．５Ｔ、１Ｔだけ遅れてＰＮ符号がフィルタ１３０Ｂ，１３０Ｃに入力されるように設定されている。
【0084】
このような構成では、受信信号ＳＲＣの入力とＰＮ符号ＰＮＣの入力とがいずれかのフィルタ１３０Ａ～１３０Ｃで一致する可能性が高まる。例えば、受信信号ＳＲＣの入力に対してＰＮ符号ＰＮＣの入力のタイミングが、フィルタ１３０Ａ，１３０Ｃでは合わないが、フィルタ１２０Ｂでは合う場合もある。この場合には、フィルタ１３０Ａ，１３０Ｃでは、出力されるキャリアからＰＮ符号が消えず、振幅が小さい信号が得られるが、フィルタ１２０Ｂでは、出力されるキャリアからＰＮ符号が消えて振幅が大きな連続波となる信号が得られる。なお、いずれの場合でも雑音は加算平均で小さくなる。
【0085】
このように、復調のタイミングを変えたフィルタ１３０Ａ～１３０Ｃを並列動作させることで、人候補の推定位置に誤差があり、受信信号ＳＲＣのＰＮ符号の位相が少しずれていた場合でも、複数のフィルタ１３０Ａ～１３０Ｃのうち出力振幅が最大のもので受信信号を検知することができる。また、どのフィルタ１３０Ａ～１３０Ｃの出力振幅が最大になったかを特定することで、基準となるフィルタからのずれに基づいて音波センサ１２と人候補との間の正しい距離を特定することができる。なお、図１４では、フィルタ１３０Ａ～１３０Ｃが３つ設けられる場合が示されているが、任意の数のフィルタを設けることができる。
【0086】
図１５は、復調部の他の構成例を示す図である。この復調部１２２は、相関器によって構成される。復調部１２２は、ｎ－１個の遅延器１２３４と、使用されるＰＮ符号に合わせて遅延器１２３４の出力側あるいは受信信号ＳＲＣの出力側に設けられるインバータ１２３５と、入力された受信信号ＳＲＣおよび各遅延器１２３４の出力を加算する加算器１２３６と、を備える。図１５の復調部１２２では、受信信号ＳＲＣをＰＮ符号ＰＮＣで復調する乗算器が設けられていないが、回路上に固定されたインバータ１２３５により信号が反転される。このような構成の復調部１２２では、各遅延器１２３４に固定の反転／非反転パターンにマッチするビットが乗ったときに加算器１２３６に入力される信号の位相が同位相になり、全ての信号が相乗した状態で加算されてピーク値が出力される。送信信号の送信時を基準として復調部１２２でピーク値を出力するタイミングを取得することで、人候補の実際の位置と推定位置とのずれを求めることができ、その結果、音波センサ１２と人候補との間の距離を求めることができる。この相関器は符号１周期分の信号を加算する状態となったときに大振幅を出力し、それ以外のタイミングでは大振幅を出力しないので、外見的には１周期分の幅広パルスの信号が、ビット周期１Ｔの幅に圧縮された様に見える。これは、相関器が１周期分の受信電力をビット周期１Ｔの間に集中させた、とも言える。この性質を捉えて、周波数拡散変調方式をパルス圧縮方式と呼ぶことがある。なお、遅延器の前でＰＮ符号ＰＮＣを打ち消す構成でも、相関器内の固定のインバータでＰＮ符号ＰＮＣを打ち消す構成でも、変調利得（ノイズ抑圧比）は同じであり、符号長が長いほうが大きな変調利得が得られる。
【0087】
（第１の実施形態の第１の変形例）
第１の実施形態では、周波数拡散変調方式としてＰＮ符号変調方式を用いる場合を例に挙げたが、実施形態がこれに限定されるものではない。第１の変形例では、周波数拡散変調方式として、チャープ変調方式を用いる場合を例に挙げる。なお、以下では、第１の実施形態と異なる部分のみ説明する。
第１の実施形態では、周波数拡散変調方式としてＰＮ符号変調方式を用いる場合を例に挙げたが、実施形態がこれに限定されるものではない。第１の変形例では、周波数拡散変調方式として、チャープ変調方式を用いる場合を例に挙げる。なお、以下では、第１の実施形態と異なる部分のみ説明する。
【0088】
図１６Ａは、チャープ変調方式での変調部の構成の一例を模式的に示す図であり、図１６Ｂは、チャープ変調方式での復調部の構成の一例を模式的に示す図である。図１７は、チャープ信号の一例を示す図である。変調部１２１は、図１６Ａに示されるように、単一周波数のキャリアＣＴに、拡散信号であるチャープ信号ＣＳを乗算する乗算器であり、これによって、送信信号ＳＴＣが生成される。チャープ信号ＣＳは、図１７に示されるように、時間に対して周波数が所定の変化率で変化する信号である。
【0089】
復調部１２２は、図１６Ｂに示されるように、遅延器１２２０と、乗算器１２２１と、狭帯域バンドパスフィルタ１２２２と、周波数検出器１２２３と、を有する。乗算器１２２１は、送信信号ＳＴＣが人候補で反射され、雑音を含む受信信号ＳＲＣにチャープ信号ＣＳを遅延量が可変な遅延器１２２０で遅延したものを乗算し、単一周波数のキャリアを出力する。復調部１２２のチャープ信号ＣＳは変調部１２１のチャープ信号ＣＳと同一であり、遅延器１２２０で与える遅延量は、人候補の推定位置に対応した音波の飛行時間である。狭帯域バンドパスフィルタ１２２２は、キャリア周波数と中心周波数が一致するフィルタであり、乗算器１２２１から出力されたキャリア中の雑音を除去する。周波数検出器１２２３は、狭帯域バンドパスフィルタを通過したキャリアの周波数を検出する。
【0090】
図１８は、チャープ変調方式の場合の人候補の推定位置の補正方法の一例を示す図であり、図１９は、チャープ信号の周波数の時間に対する変化の一例を示す図である。これらの図で、横軸は時間を示し、縦軸は周波数を示している。人候補が推定位置に存在する場合には、遅延器１２２０で与える遅延量は、人候補の推定位置に対応した音波の飛行時間であるので、復調部１２２での受信信号の受信タイミングと、チャープ信号の復調のタイミングとが一致しており、受信信号に加えられたチャープ信号の周波数と、乗算器１２２１で掛け合わされるチャープ信号の周波数は同じになっている。そのため、グラフ８４０に示されるように、復調されたキャリアは、チャープ信号の周波数が打ち消され、基準となる周波数Ｆ０（キャリア周波数）を有することになる。人候補確認部２５は、この基準となる周波数Ｆ０を保持している。
【0091】
人候補が推定位置よりも近くに存在する場合には、遅延器１２２０で与える遅延量は、人候補の推定位置に対応した音波の飛行時間なので、復調部１２２でのチャープ信号の復調タイミングに比して、受信信号が早く到着する。復調タイミングでは、チャープ信号は時間に比例して周波数が下がる信号であるので、早く到着した分だけ、受信信号の周波数が下がっている。このような受信信号を、人候補の推定位置に対応した時間だけ遅延したチャープ信号を用いて復調すると、グラフ８４２に示されるように、復調されたキャリアの周波数Ｆ１は、基準となる周波数Ｆ０よりも低くなる。また、復調タイミングよりも前の時間では、復調されていない成分で、周波数Ｆ１よりも大きい周波数Ｆ１ａが現れている。周波数Ｆ１ａの成分は、狭帯域バンドパスフィルタ１２２３によって除去される。
【0092】
人候補が推定位置よりも遠くに存在する場合には、遅延器１２２０で与える遅延量は、人候補の推定位置に対応した音波の飛行時間なので、復調部１２２でのチャープ信号の復調タイミングに比して、受信信号が遅れて到着する。チャープ信号は時間に比例して周波数が下がる信号であるので、復調タイミングでは、遅く到着した分だけ、受信信号の周波数が上がっている。このような受信信号を人候補の推定位置に対応した時間だけ遅延したチャープ信号を用いて復調すると、グラフ８４４に示されるように、復調されたキャリアの周波数Ｆ２は、基準となる周波数Ｆ０よりも高くなる。また、チャープ信号による復調が終了したタイミングよりも後の時間では、復調されていない成分で、周波数Ｆ２よりも小さい周波数Ｆ２ａが現れている。周波数Ｆ２ａの成分は、狭帯域バンドパスフィルタ１２２３によって除去される。
【0093】
図１９に示されるように、チャープ信号は、時間の経過とともに周波数が一定の割合で減少していく信号である。そこで、例えば基準となる周波数Ｆ０とグラフ８４２で検知される周波数Ｆ１との間の周波数差ΔＦを、図１９から時間差Δｔに変換することができる。そして、この時間差Δｔと音速Ｖとを用いることで、人候補の推定位置からのずれが求められる。例えば、この場合には、撮像部１１と推定位置とを結ぶ方向で、推定された推定位置よりも算出したずれの分だけ車両１側に近い位置に人候補が存在することになる。グラフ８４４で検知される周波数Ｆ２の場合にも同様にして人の推定位置を補正することができる。この場合には、撮像部１１と推定位置とを結ぶ方向で、推定された推定位置よりも算出したずれの分だけ車両１から離れる位置に人候補が存在することになる。このような人候補の位置の補正は、ＥＣＵ１４の人候補確認部２５で行われる。
【0094】
また、受信状況が送信信号を送信してから所定の時間内に受信信号を受信しなかったことを示す場合には、人候補確認部２５は、人候補の推定位置の補正を行う旨の情報を推定位置補正部２６に通知する。
【0095】
なお、図１６Ｂは、復調部１２２がアナログフィルタで構成される場合を示しているが、実施形態の変形例はこれに限定されない。例えば、復調部１２２をベースバンド処理が可能なデジタルフィルタで構成してもよい。この場合には、復調部１２２は、相関器によって構成される。相関器では、積分期間を送信信号の送信期間に対応して変えることによって、送信信号の送信期間を長くすることができる。これによって、帯域幅の変更がアナログフィルタの場合に比して容易となり、高いＳ／Ｎ比の改善が得られる。また、ＰＮ符号変調方式とチャープ変調方式とを組み合わせて送信してもよい。
【0096】
（第１の実施形態の第２の変形例）
第２の変形例では、周波数拡散変調方式として、周波数ホッピング方式を用いる場合を例に挙げる。なお、以下では、第１の実施形態と異なる部分のみ説明する。
第２の変形例では、周波数拡散変調方式として、周波数ホッピング方式を用いる場合を例に挙げる。なお、以下では、第１の実施形態と異なる部分のみ説明する。
【0097】
図２０は、周波数ホッピング方式での変調部および復調部の構成の一例を模式的に示す図である。変調部１２１および復調部１２２は、ＦＭ（Frequency Modulation）変調器で構成され、復調部１２２は遅延器１２２５と接続される。変調部１２１では、周波数に対する電力密度がグラフ８５１のようなキャリアに、時間に対する周波数が疑似ランダムなグラフ８５５で示されるホッピングパターンＨＰを用いて周波数拡散変調される。その結果、周波数に対する電力密度がグラフ８５２のような送信信号ＳＴＣが送信される。
【0098】
復調部１２２では、周波数に対する電力密度がグラフ８５３のような雑音を含む受信信号ＳＲＣが、時間に対する周波数が疑似ランダムなグラフ８５６で示されるホッピングパターンＨＰを用いて復調される。復調部１２２には遅延器１２２５を介してホッピングパターンＨＰが入力される。遅延器１２２５は、変調部１２１に入力されてから推定飛行時間だけ遅れてホッピングパターンＨＰを復調部１２２に出力するように構成される。また、遅延器１２２５では、ホッピングパターンＨＰの周波数変化の方向を変調部１２１に入力したホッピングパターンと逆になるように復調部１２２に出力する。これによって、実際の送信信号の飛行時間が推定飛行時間と一致する場合には、周波数変化が打ち消されて、グラフ８５４ａのように、電力分布が集中した一定周波数のキャリア信号が得られる。ＰＮ符号変調方式の場合と同様に、遅延器と加算器を組み合わせて復調されたキャリア信号をホッピングパターンＨＰの周期に渡って加算することにより、処理利得を得ることもできる。しかし、実際の送信信号の飛行時間が推定飛行時間と一致しない場合には、グラフ８５４ｂのように、周波数変化が打ち消されず、電力密度が拡散されたままのキャリアが得られる。そのため、電力密度がキャリア周波数に集中するように、遅延器１２２５の遅延時間を調整することによって、送信信号の送信から受信信号の受信までの間に遅延された時間を取得することができる。音波センサ１２は、この遅延した時間を音波の飛行時間として報告する。ＥＣＵ１４の人候補確認部２５はソナーから報告された音波の飛行時間と人候補の位置までの距離を照合し、許容誤差範囲内であれば、人候補の位置に実際に人が居ると判定する。また、音波センサ１２が復調器の出力にキャリアを検出しなかった場合は、音波センサ１２は飛行時間を報告せず、ＥＣＵ１４の人候補確認部２５は音波センサ１２から音波の飛行時間の報告が無ければ、人候補の位置に実際に人が居ると判定しない。なお、送信信号の飛行時間と推定飛行時間とが一致するとは、多少のずれを含んでいてもよく、送信信号の飛行時間と推定飛行時間とが相応する場合を含むものである。
【0099】
第１の実施形態では、環境情報取得部である撮像部１１で撮像された画像データから、データ処理部である画像処理部２２で特定障害物候補である人候補を検出し、人候補の推定位置を算出する。モード切替部２１は、人候補が検出されると、所定の方向に存在する障害物の有無を検知する第１モードから、人候補が推定位置に存在するかを確認する第２モードと、を切り替える。音波センサ制御部２４は、第２モードのときに、音波を周波数拡散変調方式で変調した送信信号を音波センサ１２から送信させ、送信信号を送信した後に、送信信号が人候補で反射され、音波センサ１２で受信された受信信号を復調させる制御を行う。人候補確認部２６は、音波センサ１２での受信信号の受信状況に基づいて、人候補が推定位置に存在するかを確認する。音波を周波数拡散方式で変調し、送信期間を周波数拡散信号の周期まで長くして送信信号の電力積を変調しない場合よりも上げることで、人候補で反射された受信信号の電力積も変調しない場合よりも上げることができる。人候補の推定位置に応じて音波センサ１２での受信信号の復調タイミングと受信信号の受信タイミングとを一致させると、周波数拡散信号の周期に渡って信号を加算することにより、復調信号とノイズの比率、即ちＳ／Ｎ比が改善され、この変調利得によってノイズレベルよりも大きな受信信号を得ることができる。その結果、雑音が存在する状況下においても、撮像部１１で検出された人候補の推定位置に存在する人候補の存在を検知することができる。
【0100】
また、復調タイミングと受信信号の受信タイミングとのずれを検出することで、人候補の実際の位置の推定位置からのずれを求めることができる。例えば、チャープ変調方式では、人候補の実際の位置が推定位置からずれている場合に、復調されたキャリアの周波数が、人候補が推定位置に居る場合に比して変化する。この周波数変化が推定位置と実際に存在する位置との間の伝播時間のずれに対応し、実際の位置の推定位置からのずれがわかり、人候補の実際の位置を特定することができる。
【0101】
なお、駐車場などでは、他の車両の送信信号を受信して妨害を受けることがあり、また、自車両の送信信号の長さを長くすると、他の車両に妨害を与える可能性が高くなる。送信信号の長さが短い場合でも、多重反射によって、エコーが長時間残ることがある。しかし、第１の実施形態で説明したＰＮ符号変調およびチャープ変調は周波数拡散変調と呼ばれる変調方式の一種であり、信号の帯域幅を広げることで、周波数が一定であるノイズの妨害を受けにくくなる。また、妨害となる信号が、周波数拡散変調されている別の信号である場合でも、ＰＮ符号の符号位相またはチャープ変調の走引開始時刻の様に、復調の鍵になるタイミングが違っていれば、周波数拡散変調された信号同士が互いに与える妨害は小さくなるという性質がある。つまり、第１の実施形態による運転支援装置を備えた車両１が向き合う様な状況があっても、どちらの車両１も大きな妨害を受けずに人候補の検知を行うことができる。
【0102】
また、制御情報算出部２３は、推定位置と第１音波センサとの間の推定距離を算出し、音波センサ制御部２４は、第２モードのときに、推定距離が所定値よりも大きい場合に、第１モードでの送信電力よりも大きい送信電力で、音波の送信信号を音波センサ１２から送信する制御を行う。推定距離が所定値よりも大きい場合には、雑音は背景雑音がメインとなり、第１モードでの送信電力よりも大きい送信電力で音波を送信することで、ノイズレベルよりも大きな受信信号が得られる。その結果、雑音が存在する状況下においても、撮像部１１で検出された人候補の推定位置に存在する人候補の存在を検知することができる。
【0103】
また、画像データから人候補を検出した場合に、人確認モードに切り替えるようにしたので、人候補を検出していない期間は、通常のパルス方式で他の障害物を検知することができる。さらに、画像データ中の一対の縦方向のエッジが２本並んでいる場合に、人候補が存在するものとして検知するようにした。これによって、人が傘をさしている場合、あるいは防寒服を着たりまたはリュックサックを背負っていたりしている場合のように、上体のシルエットに影響されることがないので、人全体のシルエットを用いて人候補を検知する場合に比して、人候補を容易に検知することができる。
【0104】
また、第１の実施形態では、画像データから人候補を検出した場合を紹介したが、人候補を検出する手段は、カメラ撮影画像の処理に限定されない。例えば、第１モードで受信したエコーが微弱で、音波の反射率が低い物体の存在が推定される場合には、第２モードを利用し、Ｓ／Ｎを改善した状態で物体の有無を確認するような機能を構成してもよい。
【0105】
（第２の実施形態）
第１の実施形態では、１周期分の周波数拡散信号を用いて変調された受信信号を復調する例を示したが、受信信号の入力タイミングと周波数拡散信号を用いた復調タイミングとがずれてしまった場合に問題を生じる部分がある。第２の実施形態では、前記課題に対策した運転支援装置、車両および運転支援方法について説明する。また、ここでは、周波数拡散変調方式としてＭ系列ＰＮ符号変調方式を用いる場合を例に挙げる。
第１の実施形態では、１周期分の周波数拡散信号を用いて変調された受信信号を復調する例を示したが、受信信号の入力タイミングと周波数拡散信号を用いた復調タイミングとがずれてしまった場合に問題を生じる部分がある。第２の実施形態では、前記課題に対策した運転支援装置、車両および運転支援方法について説明する。また、ここでは、周波数拡散変調方式としてＭ系列ＰＮ符号変調方式を用いる場合を例に挙げる。
【0106】
図２１は、ＰＮ符号を用いた復調タイミングに対する受信信号の入力タイミングによる位相の一致度合の一例を示す図である。第１の実施形態と同様に、７ビットのＰＮ符号「１１１０１００」を用いる場合を示す。また、１周期のＭ系列ＰＮ符号を、ＰＮ符号の１ビット周期Ｔごとに循環遅延してビットの一致度合を算出している。一致度合は、ビットの一致数から不一致数を引いたものである。図に示されるように、遅延がＰＮ符号の１周期の整数倍（０Ｔ，７Ｔ）の場合には、一致度合は最大となり、遅延がＰＮ符号の１周期の整数倍以外の場合には、一致数と不一致数とが相殺する。
【0107】
ＰＮ符号と受信信号の位相とが不一致である場合、言い換えると、復調タイミングと受信信号のタイミングとがずれている場合には、一致数と不一致数とが相殺して出力が小さくなる。逆に、ＰＮ符号と受信信号の位相とが一致する場合には、すべて一致となって出力が大きくなる。この性質を利用して、符号の位相、すなわち遅延量を知ることができる。
【0108】
ＰＮ符号は、少なくとも１周期分を送信する必要があるが、遅延時間の推定に誤差があった場合には、１周期分のＰＮ符号の送信だけでは、正負が相殺しない問題が生じる。図２２は、１周期分のＰＮ符号を送信した場合の問題点を説明するための図である。ここでは、図５Ｂまたは図１５に示される復調部１２２（相関器）でＰＮ符号の１周期を検波区間（相関検出の積分区間）とし、ＰＮ符号を用いた復調タイミングに対して、受信信号が遅延して入力された場合の一致度合を示すものである。
【0109】
１周期分のＰＮ符号で変調された送信信号の場合には、受信信号の受信とＰＮ符号を用いた復調タイミングとが一致している場合、すなわち遅延差が±０Ｔの場合には、相関器の内部が有意な値を取る。ここで、有意な値とは、受信信号とＰＮ符号とが一致しているのか不一致であるのか確定しない状態を含まないことを言う。
【0110】
しかし、受信信号の受信とＰＮ符号を用いた復調タイミングとが少しでも前後にずれると、検波区間内に無信号区間が生じる。図２２中で「？」マークを付した部分である。このような無信号区間は不定となり、一致度合を算出することができない。すなわち、一致数と不一致数とが相殺できなくなり、検波結果（相関検出の出力）が不確定になる。このように、１周期分のＰＮ符号だけでは、一致数と不一致数とが相殺しないという問題が生じる。
【0111】
そこで、第２の実施形態では、１周期分のＰＮ符号の前後に、連続する符号位相を付加したＰＮ符号を変調に用いる。図２３は、第２の実施形態によるＰＮ符号の一例を示す図である。第２の実施形態によるＰＮ符号５００は、１周期分のＰＮ符号からなる本体部５１０と、本体部５１０の前後に付加される拡張部５２１，５２２と、を有する。拡張部５２１は、本体部５１０の前に付加され、拡張部５２２は、本体部５１０の後ろに付加される。拡張部５２１，５２２は、ＰＮ符号の１周期未満の長さを有する。拡張部５２１は、本体部５１０の最も後ろのビット５１２から所定の数のビット列５１６と同じ配列を有する。拡張部５２２は、本体部５１０の最も前のビット５１１から所定の数のビット列５１５と同じ配列を有する。ここでは、拡張部５２１，５２２の長さが３ビットである場合を例示している。つまり、受信信号の受信とＰＮ符号を用いた復調タイミングとが一致する場合の前後３ビット周期分において、検波結果を出力することができる。なお、図では、拡張部５２１，５２２は、本体部５１０の前後に設けられる場合を示しているが、本体部５１０の前および後ろのうち少なくとも一方に設けられていればよい。第２の実施形態では、変調部１２１は、図２３に示したようなＰＮ符号を用いてキャリアの変調を行う。
【0112】
図２４は、第２の実施形態によるＰＮ符号を用いた場合のＰＮ符号を用いた復調と受信信号の受信のタイミングとの一例を示す図である。この図に示されるように、遅延差が－３Ｔから＋３Ｔの範囲で、検波区間の全体に渡って有意な検波結果が出力される。また、どの符号位相で最大の出力が得られるかを調べることにより、遅延差を特定することができる。すなわち、遅延差が－３Ｔから＋３Ｔの範囲であれば、人候補の実際の位置と推定位置との誤差を求めることができる。
【0113】
なお、ＰＮ符号変調の場合だけではなく、チャープ変調で１周期分のチャープ信号を用いて変調を行う場合にも、変調部１２１は上記と同様に本体部に拡張部を付加したチャープ信号を用いることができる。
【0114】
図２５Ａ～図２５Ｇは、チャープ信号の一例を説明するための図である。図２５Ａは、１周期分のチャープ信号の時間に対する周波数の変化を示す図であり、図２５Ｂは、図２５Ａのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。図２５Ｃは、連続送信する場合のチャープ信号の時間に対する周波数の変化を示す図であり、図２５Ｄは、拡張したチャープ信号の時間に対する周波数の変化の一例を示す図であり、図２５Ｅは、図２５Ｄのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。図２５Ｆは、第２の実施形態による拡張したチャープ信号の時間に対する周波数の変化の一例を示す図であり、図２５Ｇは、図２５Ｆのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。これらの図において、横軸は時間を示し、縦軸は周波数を示している。
【0115】
図２５Ａに示される１周期Ｔ分のチャープ信号を用いてキャリアを変調した送信信号が人候補で反射した受信信号を受信する場合を考える。受信信号の受信および復調のタイミングが合わないと、図２５Ｂに示されるように、期待する信号が得られない区間が発生する。
【0116】
ＰＮ符号変調の場合には、図２３のように１周期分のＰＮ符号の本体部５１０の前後に拡張部５２１，５２２を付加した。チャープ信号を連続送信する場合には、図２５Ｃに示されるような周波数の変化を示すチャープ信号を送信する。そこで、この図２５Ｃから１周期Ｔ分のチャープ信号を本体部とし、その前後から拡張部を抽出すると、図２５Ｄに示されるような周波数の時間変化を示す拡張されたチャープ信号が得られる。この拡張されたチャープ信号を用いてキャリアを変調した場合には、受信信号の受信と復調とのタイミングが一致しなければ、周波数が不連続に変化する部分があるため、不一致期間の分だけ、図２５Ｅに示されるように、本来とは異なる周波数を有する信号が発生してしまう。
【0117】
そこで、第２の実施形態では、１周期Ｔ分のチャープ信号を連続性を持って前後に拡張する。すなわち、図２５Ｆに示されるように、１周期Ｔ分のチャープ信号を本体部５３０とし、この本体部５３０の前後に、本体部５３０での時間に対する周波数の変化が連続する拡張部５３１を設けたものを拡張したチャープ信号とする。図２５Ｆに示される拡張されたチャープ信号を用いてキャリアを変調した場合には、周波数の不連続な部分が現れないので、図２５Ｇに示されるように、検波区間の全体に渡って人候補の推定位置と実際の位置との距離差に応じた周波数の信号が得られる。その結果、第１の実施形態の第１の変形例で説明したように、得られる信号から推定した推定位置と実際の推定位置との間のずれを正しく特定することができる。
【0118】
なお、上記した説明では、本体部が周波数拡散信号の１周期分である場合を例に挙げたが、周波数拡散信号の周期の整数倍であってもよい。
【0119】
第２の実施形態では、変調部１２１は、ＰＮ符号の１周期分の本体部５１０の前後の少なくとも一方に所定のビット数の拡張部５２１，５２２を付加した拡張したＰＮ符号を用いてキャリアの変調を行う。これによって、人候補の推定位置、すなわち遅延時間に誤差があっても拡張部５２１，５２２の範囲内での誤差であれば、復調部１２２で一致と不一致とを相殺できないという問題が生じない。その結果、拡張部５２１，５２２の範囲内で、人候補の推定位置からの実際の位置のずれを検出することができる。
【0120】
また、変調部１２１は、チャープ信号の１周期分の本体部５３０の前後の少なくとも一方に、本体部５３０の周波数の時間に対する変化率と同じ変化率を有し、本体部５３０の前後で連続する所定の期間の拡張部５３１を付加した拡張したチャープ信号を用いてキャリアの変調を行う。これによって、受信信号の受信とチャープ信号を用いた復調とのタイミングがずれていても、人候補の推定位置と実際の位置との距離差に応じた周波数の信号が得られる。その結果、推定位置と実際の位置との間のずれを正しく特定することができる。
【0121】
（第３の実施形態）
周波数拡散変調方式では、特定の距離に障害物が存在するか否かがわかるだけであり、その他の距離の障害物を検知することができない。つまり、周波数拡散変調方式では、推定位置以外の位置に存在する他の障害物を検知することができない。第３の実施形態では、人確認モードの場合でも他の障害物を検知することができる運転支援装置、車両および運転支援方法について説明する。
周波数拡散変調方式では、特定の距離に障害物が存在するか否かがわかるだけであり、その他の距離の障害物を検知することができない。つまり、周波数拡散変調方式では、推定位置以外の位置に存在する他の障害物を検知することができない。第３の実施形態では、人確認モードの場合でも他の障害物を検知することができる運転支援装置、車両および運転支援方法について説明する。
【0122】
図２６は、第３の実施形態による車両の構成の一例を模式的に示すブロック図である。ここでは、上記した実施形態と異なる部分について説明する。第３の実施形態による車両１は、ＥＣＵ１４に時間管理部２８が設けられる。時間管理部２８は、通常のパルス波を用いて障害物の検知を行うモード（第１モード）から特定の距離の障害物を検知するモード（第２モード）に切り替わると、切り替わった時点から第１モードの中断時間の計時を開始し、第１モードの中断時間が所定の時間を超えた場合に、第２モードを一時的に中断して第１モードの挿入をモード切替部２１に指示する。モード切替部２１は、第１モードの挿入の指示を受けると、通常のパルス波を用いて障害物の検知を行う第１モードを所定の時間行った後に、再び中断前の第２モードに切り替える。時間管理部２８は、中断前の第２モードに切り替わった時点から再び中断時間の計時を開始する。
【0123】
図２７は、第３の実施形態による人確認モードにある場合のモードの切り替え制御処理の手順の一例を示すフローチャートである。時間管理部２８は、車両１の制御モードが通常のパルス波を用いて障害物の検知を行う第１モードから第２モードに切り替わると（ステップＳ５１）、第１モードの中断時間の計時を開始する（ステップＳ５２）。
【0124】
ついで、時間管理部２８は、人確認モードが終了したかを判定する（ステップＳ５３）。例えば、人候補の検出が無くなって後退モードに切り替わった場合、あるいは車両１のギアが後退ギアから後退ギア以外のギアポジションになり、前進モードに切り替わって、後方の人確認が不要になった場合は、人確認モードが終了したと判定する。
【0125】
人確認モードが終了していない場合（ステップＳ５３でＮｏの場合）には、時間管理部２８は、中断時間が挿入判定閾値を超えたかを判定する（ステップＳ５４）。中断時間が挿入判定閾値を超えていない場合（ステップＳ５４でＮｏの場合）には、時間管理部２８は、第２モードを継続する（ステップＳ５５）。その後、処理がステップＳ５３へと戻る。
【0126】
ステップＳ５４で中断時間が挿入判定閾値を超えている場合（ステップＳ５４でＹｅｓの場合）には、時間管理部２８は、第１モードの挿入をモード切替部２１に指示する。これによって、モード切替部２１は、第２モードから第１モードに切り替え（ステップＳ５６）、第１モードで検知を行う（ステップＳ５７）。第１モードでは、パルス波の送信信号が音波センサ１２から送信され、障害物からの反射波である受信信号を受信することで、障害物の検知を行う。第１モードを例えば所定の時間実行した後、モード切替部２１は、第１モードから、第２モードに切り替える（ステップＳ５８）。その後、処理がステップＳ５２へと戻る。なお、ステップＳ５７は第１モードの継続時間で次のステップに進める方法と、第１モードでの測定回数でステップに進める方法とがある。
【0127】
また、ステップＳ５３で人確認モードが終了した場合（ステップＳ５３でＹｅｓの場合）には、モード切替部２１は、第１モードへと切り替え（ステップＳ５９）、処理が終了する。
【0128】
なお、人確認モード中での第１モードの挿入の有無を、車両の速度によって決定してもよい。図２８は、第３の実施形態による車両の構成の他の例を模式的に示すブロック図である。なお、上記した実施形態と異なる部分について説明する。この例では、車両１は、車両１の速度を検知する車速センサ１８をさらに備える。車速センサ１８は、検知した車両の速度をＥＣＵ１４に出力する。
【0129】
時間管理部２８は、中断時間が所定の時間を超えた場合でも、車速センサ１８から取得した車速が所定値以下である場合には、第２モードを継続する。また、車速センサ１８から取得した車速が所定値より大きい場合には、時間管理部２８は、第２モードを一時的に中断して第１モードの挿入をモード切替部２１に指示する。
【0130】
【0131】
ステップＳ５４で中断時間が挿入判定閾値を超えた場合（ステップＳ５４でＹｅｓの場合）には、時間管理部２８は、車速センサ１８から車速を取得し（ステップＳ７１）、車速が継続判定閾値以下であるかを判定する（ステップＳ７２）。車速が継続判定閾値以下である場合（ステップＳ７２でＹｅｓの場合）には、モード切替部２１は、第２モードを継続する（ステップＳ５５）。これによって、例えば車速が停止状態に近い速度である場合には、第１モードによる他の障害物の検知よりも、人候補の検知を優先することができる。車速の継続判定閾値は例えばゼロとしてもよく、車両１が完全に停止しているときだけ第２モードの継続時間に制限を設けない様にしてもよい。その後、処理がステップＳ５３へと戻る。
【0132】
また、ステップＳ７２で車速が継続判定閾値を超えた場合（ステップＳ７２でＮｏの場合）には、ステップＳ５６へと処理が移る。
【0133】
第３の実施形態では、音波センサ１２の制御が第２モードにある状態が所定の時間よりも長く継続した場合に、パルス波を用いて障害物の検知を行う第１モードへと切り替えるようにした。これによって、人確認モードにあるときに、他の障害物を検知することができない状態を短くすることができる。
【0134】
（第４の実施形態）
第４の実施形態では、複数の音波センサを用いて、受信信号の電力を大きくすることができる運転支援装置、車両および運転支援方法について説明する。
第４の実施形態では、複数の音波センサを用いて、受信信号の電力を大きくすることができる運転支援装置、車両および運転支援方法について説明する。
【0135】
図３０は、第４の実施形態による運転支援装置を含む車両の構成の一例を模式的に示すブロック図である。図３１Ａおよび図３１Ｂは、第４の実施形態による車両の一例を模式的に示す図であり、図３１Ａは側面図であり、図３１Ｂは上面図である。また、以下では、上記した実施形態と異なる部分について説明する。
【0136】
第４の実施形態では、車両１には、複数の音波センサ１２が設けられる。ここでは、４つの音波センサ１２－１～１２－４が設けられる場合を示す。また、音波センサ１２－１～１２－４には、変調部および復調部は設けられていない。図３１Ａおよび図３１Ｂに示されるように、リアバンパ１０２にほぼ等間隔で同じ高さに４つの音波センサ１２－１～１２－４が設けられる。
【0137】
制御情報算出部２３は、制御情報として、各音波センサ１２－１～１２－４と推定位置との間の推定伝播時間と、最も推定伝播時間が長い音波センサと他の音波センサの推定伝播時間との差である時間差と、を算出し、音波センサ制御部２４に渡す。図３２は、撮像部と各音波センサと人候補の推定位置との間の関係を模式的に示す図であり、図３３は、音波センサから送信された送信信号が人候補で反射されて受信信号として戻ってくる伝播時間の関係を模式的に示す図である。
【0138】
推定伝播時間の算出は、第１の実施形態と同様の方法で算出される。図３２に示されるように、車両１上において、撮像部１１と音波センサ１２－１～１２－４との間の位置関係は予めわかっている。各音波センサ１２－１～１２－４の座標を（Ｘ１１，Ｙ１１）、（Ｘ１２，Ｙ１２）、（Ｘ１３，Ｙ１３）、（Ｘ１４，Ｙ１４）とすると、式（３）と同様の方法で、推定距離Ｌ１１～Ｌ１４が求められる。そして、推定距離Ｌ１１～Ｌ１４と算出時点の温度における音速Ｖとを用いて、式（４）と同様の方法で、推定伝播時間Ｔ１１～Ｔ１４が求められる。ここでは、推定伝播時間はＴ１４＞Ｔ１３＞Ｔ１１＞Ｔ１２であったとする。
【0139】
制御情報算出部２３は、各音波センサ１２－１～１２－４の推定伝播時間Ｔ１１～Ｔ１４から、最も推定伝播時間の長い音波センサを基準とした他の音波センサの推定伝播時間の差を算出する。図３３に示されるように最も推定伝播時間の長い音波センサは音波センサ１２－４であるので、この推定伝播時間Ｔ１４とその他の音波センサ１２－１～１２－３の推定伝播時間Ｔ１１～Ｔ１３との時間差ΔＴ１１～ΔＴ１３を算出する。時間差ΔＴ１１～ΔＴ１３は、次式（５－１）～（５－３）で示される。
ΔＴ１１＝Ｔ１４－Ｔ１１ ・・・（５－１）
ΔＴ１２＝Ｔ１４－Ｔ１２ ・・・（５－２）
ΔＴ１３＝Ｔ１４－Ｔ１３ ・・・（５－３）
ΔＴ１１＝Ｔ１４－Ｔ１１ ・・・（５－１）
ΔＴ１２＝Ｔ１４－Ｔ１２ ・・・（５－２）
ΔＴ１３＝Ｔ１４－Ｔ１３ ・・・（５－３）
【0140】
音波センサ制御部２４は、人確認モードでは、各音波センサ１２－１～１２－４からの音波が推定位置で相乗されるように、すなわち各音波センサ１２－１～１２－４からの音波が同時に推定位置に到達するように各音波センサ１２－１～１２－４からの音波の送信時刻を制御する。つまり、音波センサ制御部２４は、時間差ΔＴ１１～ΔＴ１３を用いて、各音波センサ１２－１～１２－４での音波の送信時刻を制御する。
【0141】
この場合には、音波センサ制御部２４は、推定位置から最も遠い音波センサ１２－４で音波を時刻ｔ１０で送信した後、時刻ｔ１０＋ΔＴ１３で音波センサ１２－１－１２－３から音波を送信し、時刻ｔ１０＋ΔＴ１１で音波センサ１２－１から音波を送信し、時刻ｔ１０＋ΔＴ１２で音波センサ１２－２から音波を送信するように制御する。このように、推定位置から最も遠い位置にある音波センサ１２－４を基準にして、時間差を設けて各音波センサ１２－１～１２－３から音波を送信すると、推定位置に同時刻に各音波が到達する。その結果、それぞれの音波が推定位置で合成され、強度の強い音波となる。また、強い音波が人候補で反射すると、反射波であるエコーも強度の強い音波となる。強度の強いエコーは、雑音に埋もれることがなく、各音波センサ１２－１～１２－４で検出することが可能になる。
【0142】
なお、このとき、すべての音波センサ１２の音波の送信開始時点の音波の位相が同位相であれば、音波が推定位置に到達した瞬間の音波の位相は同位相になり、合成で音波は加算される。また、音波センサ１２－１～１２－４間で送信周波数に差があれば、徐々に位相がずれていくことになるが、少なくとも音波到着直後の一定期間は同位相といえる状態になる。
【0143】
また、音波センサ制御部２４は、各音波センサ１２－１～１２－４で送信信号を送信した後、送信信号が人候補で反射した受信信号の受信状況を含む情報を人候補確認部２５に渡す。受信状況を含む情報は、各音波センサ１２－１～１２－４で送信信号を送信してから受信信号を受信するまでの音波の飛行時間を含む。
【0144】
なお、音波を送信してから各音波センサ１２－１～１２－４での推定飛行時間以上の長さの所定の期間、受信信号を受信しなかった場合には、受信信号を受信しなかったとし、伝播時間は、受信しなかったことを示す情報となる。
【0145】
第４の実施形態による運転支援方法は、第１の実施形態の図１３で示したものと同様である。ただし、音波センサ制御部２４は、ステップＳ２１で、複数の音波センサ１２－１～１２－４からの音波が同時に推定位置に到達するように音波の送信を制御する。
【0146】
なお、第４の実施形態の音波センサ１２－１～１２－４に、第１～第３の実施形態で説明した変調部１２１および復調部１２２を有する音波センサ１２－１～１２－４を適用して周波数拡散変調した音波を送信してもよく、通常のパルス方式で音波を送信してもよい。音波が周波数拡散方式で変調された連続波である場合、音波センサ１２－１～１２－４の発振周波数に差があると、推定位置に到達した音波の位相が同位相の状態から徐々にずれて行くことが考えられる。しかし、ＥＣＵ１４から音波センサ１２－１～１２－４に共通クロックを供給する方法、あるいはＥＣＵ１４と音波センサ１２－１～１２－４を結ぶ車載ＬＡＮのバス上に供給されている統一クロックを利用する方法で、キャリアの位相基準を作り、全ての音波センサ１２－１～１２－４で同期の取れたキャリアを周波数拡散変調する構成にすることで、位相ずれの課題は解決可能である。
【0147】
このように、第４の実施形態の運転支援装置では、撮像部１１で人候補を検知した場合に、画像データから人候補の推定位置と、複数の音波センサ１２－１～１２－４からの音波の推定伝播時間と、を算出する。そして、複数の音波センサ１２－１～１２－４からの音波が推定位置に同時に到達するように各音波センサ１２－１～１２－４を制御する。これによって、音波が推定位置で強め合い、人候補で反射された音波である受信信号の強度もノイズレベルよりも高くなる。推定位置に人が存在する場合には、強度の強い受信信号が各音波センサ１２－１～１２－４で検知され、人の存在を確認することができる。特に、降雨時あるいは車両１のタイヤの走行音が背景雑音として存在する場合でも、複数の音波センサ１２－１～１２－４からの合成された音波が反射されたエコーを検出することになるので、背景雑音にエコーが埋もれることなく、人を検知することができる。
【0148】
また、音波センサの送信信号の強度を大きくすることも、強度の強い受信信号を得る上で有効な手段である。例えば、人候補の推定位置が遠方にあって、エコーとノイズレベルの関係が図４Ａの様な大小関係にある場合。音波センサの送信信号ＳＴ１の強度を大きくすれば、受信信号ＳＲ１の信号レベルが比例して大きくなり、ノイズレベルを上回って検知が可能になると期待できる。検知を妨げる妨害としては音波送信の残響Ｎ１、音波の路面からの反射波Ｎ２があり、音波センサ１２の送信信号ＳＴ１の強度を大きくすると、それぞれ比例して大きくなるが、残響Ｎ１は短時間で収束するので影響は無く、路面からの反射波Ｎ２は、この場合は受信信号ＳＲ１の信号レベルを下回っているので、送信信号ＳＴ１の強度に比例して受信信号ＳＲ１と反射波Ｎ２が同じ比率で大きくなれば、反射波Ｎ２が受信信号ＳＲ１を上回って検知を妨げることは無い。
【0149】
音波を周波数拡散方式で変調する方法をＡ、音波が推定位置で相乗するよう送信タイミングを制御する方法をＢ、音波センサの送信信号の強度を大きくする方法をＣとすると、Ａ，Ｂ，Ｃの三つの方法は任意に組み合わせて実施可能であり、Ａ，Ｂ，Ｃをそれぞれ単独で行っても効果があるが、ＡとＢ，ＢとＣ，ＣとＡ、ＡとＢとＣを組み合わせて実施することにより、効果を大きくすることができる。例えば、背景雑音のレベルが高く、人候補の推定位置が遠方にあって、受信信号が小さいと予想される場合は、音波を周波数拡散方式で変調する方法：Ａ、音波が推定位置で相乗するよう送信タイミングを制御する方法：Ｂ、および音波センサの送信信号の強度を大きくする方法：Ｃを全て実施し、複数の音波センサ１２－１～１２－４でクロック位相を同期させる事が困難な構成であれば、音波を周波数拡散方式で変調する方法：Ａ、および音波センサの送信信号の強度を大きくする方法：Ｃを組み合わせて実施し、人候補の推定位置が比較的近くて、拡散信号の周期が短くなるときは、周波数拡散をせず、音波が推定位置で相乗するよう送信タイミングを制御する方法：Ｂ、および音波センサの送信信号の強度を大きくする方法：Ｃだけを行い、人候補の推定位置が近くて、路面からの反射波Ｎ２が支配的な妨害になる場合は、周波数拡散と送信信号の強度アップを避け、音波が推定位置で相乗するよう送信タイミングを制御する方法だけを行う様な制御方式としてもよい。
【0150】
（第５の実施形態）
第１～第４の実施形態では、推定位置に存在する人候補の高さが考慮されていない。第５の実施形態では、人候補の高さを考慮して推定位置に存在する人候補が人であるか否かを判定することができる運転支援装置、車両および運転支援方法について説明する。
第１～第４の実施形態では、推定位置に存在する人候補の高さが考慮されていない。第５の実施形態では、人候補の高さを考慮して推定位置に存在する人候補が人であるか否かを判定することができる運転支援装置、車両および運転支援方法について説明する。
【0151】
図３４は、第５の実施形態による車両の一例を模式的に示す側面図である。なお、ここでは、第１の実施形態の車両１を例に挙げて説明する。第５の実施形態では、車両１の後方のトランクパネル１０１に、音波センサ１９がさらに設けられる。音波センサ１９は、音波センサ１２よりも高い位置に設けられる。
【0152】
第５の実施形態による運転支援装置を含む車両１の構成は、第１の実施形態の図１と同様である。ただし、音波センサ制御部２４は、人確認モードのときに、音波センサ１２，１９から送信信号を送信し、人候補で反射した受信信号を各音波センサ１２，１９で受信するまでの音波の受信状況を取得する。受信状況として、各音波センサ１２，１９から送信信号を送信してから受信信号が返るまでの飛行時間を含む。音波センサ制御部２４は、受信状況を人候補確認部２５に渡す。
【0153】
人候補確認部２５は、各音波センサ１２，１９での飛行時間を用いて、人候補が人であるか否かを判定する機能をさらに有する。図３５は、第５の実施形態による人候補の判定方法の一例を示す図である。音波センサ１９は音波センサ１２よりも高い位置に設置されている。そのため、人候補の推定位置に実際には人が居らず、路上物１１０Ｂの様に低い位置に物体がある場合には、音波センサ１２での飛行時間は、音波センサ１９での飛行時間よりも大幅に短くなる。人候補の推定位置に実際に人が居れば、音波センサ１２での飛行時間は、音波センサ１９での飛行時間と同等になるので、人候補の推定位置に人が居る場合と、路上物があるだけである場合とを判別することができる。
【0154】
つまり、人候補確認部２５は、音波センサ１２での音波の飛行時間が音波センサ１９での音波の飛行時間と概ね同等である場合には、人候補は人１１０Ａであると判定する。また、人候補確認部２５は、音波センサ１２での音波の飛行時間が音波センサ１９での音波の飛行時間よりも大幅に短い場合には、人候補は人ではなく路上物１１０Ｂであると判定する。このように、人候補確認部２５は、推定位置に人候補が人１１０Ａであるか否かを判定することができる。
【0155】
図３６は、第５の実施形態による推定位置の人候補の判定処理の手順の一例を示すフローチャートである。音波センサ制御部２４は、高さの異なる音波センサ１２，１９から送信信号を送信するように制御し（ステップＳ７１）、各音波センサ１２，１９から送信信号が送信される。送信信号は、人候補で反射し、受信信号として各音波センサ１２，１９で検知される。各音波センサ１２，１９は、受信状況として飛行時間を人候補確認部２５に渡し、人候補確認部２５は、飛行時間を取得する（ステップＳ７２）。
【0156】
人候補確認部２５は、２つの音波センサ１２，１９の飛行時間に基づいて、人候補が人であるかを判定する（ステップＳ７３）。すなわち、人候補確認部２５は、音波センサ１２での飛行時間が音波センサ１９での飛行時間と同等であるか、あるいは音波センサ１２での飛行時間は音波センサ１９での飛行時間よりも大幅に短いかかを判定する。ここで、音波センサ１２での飛行時間が音波センサ１９での飛行時間と同等である場合には、人候補は人１１０Ａであると判定される。また、音波センサ１２での飛行時間が音波センサ１９での飛行時間よりも大幅に短い場合には、人候補は路上物１１０Ｂであると判定される。なお、音波センサ１２での飛行時間と音波センサ１９での飛行時間とが誤差の範囲で等しい場合を、音波センサ１２での飛行時間が音波センサ１９での飛行時間と同等であるとする。また、例えば、音波センサ１２での飛行時間と音波センサ１９での飛行時間とが誤差の範囲を考えて等しくなく、音波センサ１２での飛行時間が音波センサ１９での飛行時間よりも短い場合を、音波センサ１２での飛行時間が音波センサ１９での飛行時間よりも大幅に短いとする。
【0157】
判定の結果、人候補が人である場合（ステップＳ７４でＹｅｓの場合）には、例えば、モード切替部２１は、後退制限モードに切り替え（ステップＳ７５）、処理が終了する。また、人候補が人ではない場合（ステップＳ７４でＮｏの場合）には、例えば、モード切替部２１は、後退モードに切り替え（ステップＳ７６）、処理が終了する。
【0158】
なお、ここでは、音波センサ１９が音波センサ１２よりも高い位置に設けられる場合を示したが、高さ関係が逆であってもよい。また、ここでは、第１の実施形態の場合を例に挙げて説明したが、第１～第４の実施形態に対して第５の実施形態を適用することができる。
【0159】
第５の実施形態では、画像データに人候補を検出した場合に、他の音波センサ１２とは異なる高さに音波センサ１９を配置し、音波センサ１２，１９から人候補に向けて送信信号を送信したときの飛行時間の差によって、人候補が人であるか否かを判定した。これによって、人候補が実際に人であるか否かを確認することができるので、推定位置に存在する路上物を人と誤検知して後退制限モードに切り替えてしまうことを抑制することができる。
【0160】
なお、上記した説明では、車両１の後方に撮像部１１と音波センサ１２とを設け、車両１が後退する場合に画像データから検出された人候補を確認する場合を説明した。しかし、車両１の前方に撮像部１１と音波センサ１２とを設け、車両１が前進する場合に画像データから検出された人候補を確認するようにしてもよい。また、上記した説明では、環境情報取得部が撮像部１１であり、撮像部１１で撮像された画像データを用いて人候補の検出を行う場合を説明したが、環境情報取得部がレーダであってもよい。また、音波センサ１２が環境情報取得部でもあって、音波センサ１２が検知した物体が人であるか否かを、音波センサ１９が取得した距離情報を利用して確認する、という構成であってもよい。
【0161】
さらに、運転支援装置であるＥＣＵ１４の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩ（Large Scale Integrated Circuit）で実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ハードウェアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0162】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0163】
１ 車両
１１ 撮像部
１２，１９ 音波センサ
１３ ギア検知部
１４ ＥＣＵ
１５ 加速制御部
１６ 制動制御部
１７ ＨＭＩ
１８ 車速センサ
２１ モード切替部
２２ 画像処理部
２３ 制御情報算出部
２４ 音波センサ制御部
２５ 人候補確認部
２６ 推定位置補正部
２７ 表示処理部
２８ 時間管理部
１２１ 変調部
１２２ 復調部
１１ 撮像部
１２，１９ 音波センサ
１３ ギア検知部
１４ ＥＣＵ
１５ 加速制御部
１６ 制動制御部
１７ ＨＭＩ
１８ 車速センサ
２１ モード切替部
２２ 画像処理部
２３ 制御情報算出部
２４ 音波センサ制御部
２５ 人候補確認部
２６ 推定位置補正部
２７ 表示処理部
２８ 時間管理部
１２１ 変調部
１２２ 復調部
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25A】
【図25B】
【図25C】
【図25D】
【図25E】
【図25F】
【図25G】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31A】
【図31B】
【図32】
【図33】
【図34】
【図35】
【図36】