特許 7114963 撮像システム、撮像装置、撮像方法、および、撮像システムを搭載した移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-01

(45)【発行日】2022-08-09

(54)【発明の名称】撮像システム、撮像装置、撮像方法、および、撮像システムを搭載した移動体

(51)【国際特許分類】

   G01B 11/00 20060101AFI20220802BHJP

   G01B 11/30 20060101ALI20220802BHJP

   G06T 7/70 20170101ALI20220802BHJP

   G06T 7/00 20170101ALI20220802BHJP

【ＦＩ】

G01B11/00 H

G01B11/30 W

G06T7/70 A

G06T7/00 650A

【請求項の数】 10

(21)【出願番号】P 2018051833

(22)【出願日】2018-03-19

(65)【公開番号】P2019164017

(43)【公開日】2019-09-26

【審査請求日】2021-01-18

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】山田 学

【審査官】信田 昌男

(56)【参考文献】

【文献】特開平０９－００７０９９（ＪＰ，Ａ）

【文献】特開２００６－１４６９５６（ＪＰ，Ａ）

【文献】特開２０００－０８８５６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

移動体に搭載され、該移動体が移動する路面を撮像する撮像装置と、
音出力部から出力される音を発生する音発生部と、
前記撮像装置による撮像画像に含まれる被写体の車線の端を示す白線の画像の、該撮像画像内での、予め設定された前記白線の理想的な位置を示す基準ラインに対する位置を検出する検出部と、
前記検出部で検出された前記白線の画像の前記撮像画像内での前記基準ラインに対する位置に応じて、前記音発生部による前記音の発生を制御する音発生制御部と、
を備える
撮像システム。

【請求項2】

前記音出力部は、
前記移動体の、該移動体が移動する方向に対して左および右の位置にそれぞれ配置され、
前記音発生制御部は、
前記検出部により検出された前記白線の画像の前記撮像画像での前記基準ラインに対する位置に応じて、前記左の位置に配置される前記音出力部と、前記右の位置に配置される前記音出力部とのうち何れから音を出力するかを切り換える
請求項１に記載の撮像システム。

【請求項3】

前記音発生制御部は、
前記検出部により検出された前記白線の画像の前記撮像画像内での前記基準ラインに対する位置に応じて前記音発生部で発生する前記音を変化させる
請求項１または請求項２に記載の撮像システム。

【請求項4】

前記音発生制御部は、
前記検出部により検出された前記白線の画像の前記撮像画像内での前記基準ラインに対する位置に応じて前記音発生部で発生する前記音の音量を変化させる
請求項３に記載の撮像システム。

【請求項5】

前記音発生制御部は、
前記検出部により検出された前記白線の画像の前記撮像画像内での前記基準ラインに対する位置に応じて前記音発生部で発生する前記音の発生パターンを変化させる
請求項３または請求項４に記載の撮像システム。

【請求項6】

前記検出部は、
前記白線の画像の前記移動体の移動の方向に対して左右の端に基づき、該白線の画像の前記撮像画像内での位置を検出する
請求項１乃至請求項５の何れか１項に記載の撮像システム。

【請求項7】

前記検出部は、
前記白線の画像の前記移動体の移動の方向に対して左右の何れか一方の端に基づき、該白線の画像の前記撮像画像内での位置を検出する
請求項１乃至請求項５の何れか１項に記載の撮像システム。

【請求項8】

移動体に搭載され、該移動体が移動する路面を撮像する撮像部と、
音出力部から出力される音を発生する音発生部と、
前記撮像部による撮像画像に含まれる被写体の車線の端を示す白線の画像の、該撮像画像内での、予め設定された前記白線の理想的な位置を示す基準ラインに対する位置を検出する検出部と、
前記検出部で検出された前記白線の画像の前記撮像画像内での前記基準ラインに対する位置に応じて、前記音発生部による前記音の発生を制御する音発生制御部と、
を備える
撮像装置。

【請求項9】

移動体に搭載され、該移動体が移動する路面を撮像する撮像ステップと、
音出力部から出力される音を発生する音発生ステップと、
前記撮像ステップにより撮像された撮像画像に含まれる被写体の車線の端を示す白線の画像の、該撮像画像内での、予め設定された前記白線の理想的な位置を示す基準ラインに対する位置を検出する検出ステップと、
前記検出ステップにより検出された前記白線の画像の前記撮像画像内での前記基準ラインに対する位置に応じて、前記音発生ステップによる前記音の発生を制御する音発生制御ステップと、
を有する
撮像方法。

【請求項10】

請求項１乃至請求項７の何れか１項に記載の撮像システムを搭載した移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム、撮像装置、撮像方法、および、撮像システムを搭載した移動体に関する。

【背景技術】

【0002】

各種道路において、車両走行の安全性、快適性の確保、要修繕箇所の抽出などのため、路面のひび割れ率、わだち掘れ量、平坦性などの路面性状の測定が定期的に行われている。これらの測定を行う際には、対象路線において車両通行規制を行い、規制領域内で人手により測定を行うことが従来一般的であった。近年では、カメラやセンサを搭載した車両により走行しながら道路面の情報を取得することで、通行規制を行うことなく路面性状測定を実施する技術が提案されている。

【0003】

特許文献１には、車線と自車両との相対位置が所定の範囲外であれば、相対位置の距離に応じて警告音の音量や周波数を変える技術が開示されている。特許文献１によれば、自動操舵機能において自動操舵制御の開始時に、運転者に最適なラインで自動操舵制御を開始する事が可能となる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、車両にカメラを搭載し、走行しながら道路面を撮像する手法では、ひび割れの検出やわだち掘れの測定をする際には、測定精度を向上させるために、高解像度、且つ、１画素当たりの路面分解能が高い画像を用いることが好ましい。このとき、撮像範囲を広くすると、１画素当たりの路面分解能が低くなるため、撮像範囲が撮像すべき範囲をカバーしつつ、なるべく狭い範囲となるような画角設定とするのが望ましい。

【0005】

ところが、撮像範囲が撮像すべき範囲（計測に用いる範囲）を最低限でカバーするような画角設定とすると、例えば車両の走行軌跡が蛇行した場合に、撮像すべき範囲が撮像範囲からはみ出てしまうおそれがある。この場合において、撮像すべき範囲が撮像範囲に収まっているか否かを運転者が認識することが困難であるという問題があった。この問題点については、上述した特許文献１でも解決できていない。

【0006】

本発明は、上記に鑑みてなされたものであって、搭載した撮像装置で車両の進行中に路面の撮像を行う場合に、撮像すべき範囲が撮像範囲からはみ出さないような運転制御を容易に実行できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明は、移動体に搭載され、移動体が移動する路面を撮像する撮像装置と、音出力部から出力される音を発生する音発生部と、撮像装置による撮像画像に含まれる被写体の車線の端を示す白線の画像の、撮像画像内での、予め設定された白線の理想的な位置を示す基準ラインに対する位置を検出する検出部と、検出部で検出された白線の画像の撮像画像内での基準ラインに対する位置に応じて、音発生部による音の発生を制御する音発生制御部と、を備える。

【発明の効果】

【0008】

本発明によれば、搭載した撮像装置で車両の進行中に路面の撮像を行う場合に、撮像すべき範囲が撮像範囲からはみ出さないような運転制御を容易に実行できるようになるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、わだち掘れ量の計測を説明するための図である。

【図2】図２は、平坦性の計測を説明するための図である。

【図3】図３は、実施形態に係る撮像システムの構成例を示す図である。

【図4】図４は、実施形態に適用可能な、ステレオカメラによる、車両の進行方向の撮像範囲を説明するための図である。

【図5】図５は、実施形態に適用可能な、ステレオカメラによる、車両の道路幅方向の撮像範囲を説明するための図である。

【図6】図６は、実施形態に適用可能な、ステレオカメラによるステレオ撮像範囲の、車両の進行方向における重複を示す図である。

【図7】図７は、実施形態に係る、３台のステレオカメラを備える撮像システムの例を示す図である。

【図8】図８は、実施形態に係る撮像システムの概略的な構成の例を示すブロック図である。

【図9】図９は、実施形態に係る撮像システムのハードウェア構成の例を示すブロック図である。

【図10】図１０は、実施形態に係るステレオカメラの一例の構成を示すブロック図である。

【図11】図１１は、実施形態に適用可能な情報処理装置の一例の構成を示すブロック図である。

【図12】図１２は、実施形態に適用可能な情報処理装置の機能を説明するための一例の機能ブロック図である。

【図13】図１３は、実施形態に係る平坦性の算出処理を示す一例のフローチャートである。

【図14】図１４は、実施形態に適用可能なデプスマップの生成処理を示す一例のフローチャートである。

【図15】図１５は、実施形態に適用可能な三角法を説明するための図である。

【図16】図１６は、実施形態に適用可能な、カメラ位置および向きの推定処理を示す一例のフローチャートである。

【図17】図１７は、実施形態に適用可能な、カメラ位置および向きの推定処理を説明するための図である。

【図18】図１８は、実施形態に適用可能な、車両が路面の撮像を行うために走行する場合の、路面と、ステレオ撮像範囲との関係の例を示す図である。

【図19】図１９は、実施形態に係る警告音発生処理を示す一例のフローチャートである。

【図20】図２０は、実施形態に適用可能な道路面画像の例を示す図である。

【図21】図２１は、実施形態の変形例に係る警告音発生処理を示す一例のフローチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、撮像システム、撮像装置、撮像方法、および、撮像システムを搭載した移動体の実施形態を詳細に説明する。

【0011】

［既存の道路性状の検査方法の概略］
実施形態の説明に先んじて、既存の道路性状の検査方法について、概略的に説明する。道路性状を評価するための指標として、舗装の維持管理指数（ＭＣＩ：Maintenance Control Index）が定められている。ＭＣＩは、舗装の供用性を、「ひび割れ率」、「わだち掘れ量」および「平坦性」という３種類の路面性状値によって定量的に評価するものである。

【0012】

これらのうち、「ひび割れ率」は、路面を５０ｃｍのメッシュに分割した各領域において、ひび割れの本数およびパッチング面積に応じて、下記の通り、ひび割れ面積を算出し、算出結果を式（１）に適用して、ひび割れ率を求める。

【0013】

ひび割れ１本⇒０.１５ｍ²のひび
ひび割れ２本⇒０.２５ｍ²のひび
パッチング面積０～２５％⇒ひび割れ０ｍ²
パッチング面積２５～７５％⇒ひび割れ０.１２５ｍ²
パッチング面積７５％以上⇒ひび割れ０.２５ｍ²

【0014】

【数1】

【0015】

「わだち掘れ量」は、図１（ａ）および図１（ｂ）に例示されるように、１車線について２本発生する「わだち」の深さＤ₁およびＤ₂を計測し、計測された深さＤ₁およびＤ₂のうち大きい値を採用する。「わだち」の掘れ方には、幾つかのパターンがあるので、それぞれのパターンに合わせた計測方法が規定される。図１（ａ）は、２本の「わだち」の間が、２本の「わだち」の両端より高い場合、図１（ｂ）は、２本の「わだち」の間が、２本の「わだち」の両端より低い場合の計測方法の例を示している。

【0016】

平坦性は、路面の車両の進行方向に沿って、基準面からの高さを１．５ｍ間隔で３箇所、計測する。例えば、図２に示されるように、車両の下面に１．５ｍ間隔でＡ、Ｂ、Ｃの３箇所、測定器を設け、高さＸ₁、Ｘ₂およびＸ₃を計測する。計測された高さＸ₁、Ｘ₂およびＸ₃に基づき式（２）により変位量ｄを求める。この計測を、車両を移動させながら複数回実行する。これにより得られた複数の変位量ｄに基づき式（３）を計算し、平坦性σを算出する。

【0017】

【数2】

【0018】

【数3】

【0019】

上述した「ひび割れ率」、「わだち掘れ量」および「平坦性」の計測を、１００ｍの評価区間毎に実行する。損傷箇所が予め分かっている場合は、１００ｍを４０ｍ＋６０ｍなどより小さい単位に分割して計測を行う場合もある。１００ｍ単位で実行された計測結果に基づきＭＣＩを算出し、調書を作成する。

【0020】

ＭＣＩは、計測したひび割れ率Ｃ［％］、わだち掘れ量Ｄ［ｍｍ］、および、平坦性σ［ｍｍ」に基づき、表１に示される４つの式を計算して値ＭＣＩ、ＭＣＩ１、ＭＣＩ２およびＭＣＩ３を算出する。そして、算出された値ＭＣＩ、ＭＣＩ１、ＭＣＩ２およびＭＣＩ３のうち、最小値をＭＣＩとして採用する。採用されたＭＣＩに基づき表２に示す評価基準に従い評価を行い、評価区間の路面に修繕が必要か否かを判定する。

【0021】

【表1】

【0022】

【表2】

【0023】

［実施形態］
次に、実施形態に係る撮像システムについて説明する。実施形態では、ステレオ撮像が可能なカメラ（ステレオカメラ）を車両に取り付けて路面を撮像する。撮像されたステレオ撮像画像に基づき撮像位置から路面に対する奥行き情報を取得して路面の３次元形状を生成し、３次元路面データを作成する。この３次元路面データを解析することで、ＭＣＩを求めるために用いる「ひび割れ率」、「わだち掘れ量」および「平坦性」を取得することができる。

【0024】

より具体的に説明する。ステレオカメラは、所定の長さ（基線長と呼ぶ）を離して設けられた２つのカメラを備え、この２つのカメラで撮像された２枚ペアの撮像画像（ステレオ撮像画像と呼ぶ）を出力する。このステレオ撮像画像に含まれる２枚の撮像画像間で対応する点を探索することで、撮像画像中の任意の点について、奥行き距離を復元することができる。撮像画像の全域について奥行きを復元し、各画素を奥行き情報により表したデータを、デプスマップと呼ぶ。すなわち、デプスマップは、それぞれ３次元の情報を持つ点の集合からなる３次元点群情報である。

【0025】

このステレオカメラを車両の後方など１箇所に下向きに取り付け地面を撮像できるようにし、計測したい道路に沿って車両を移動させる。説明のため、測定のために車両に搭載するステレオカメラは、撮像範囲が、道路幅方向の規定の長さをカバーしているものとする。

【0026】

わだち掘れ量Ｄは、このステレオカメラにより撮像されたステレオ撮像画像から復元されたデプスマップ中の道路幅方向にストライプ状に切り取った部分の奥行き値を並べる。この奥行きの道路幅方向の変化に基づき、わだち掘れ深さＤ₁およびＤ₂を計算することができる。

【0027】

ひび割れ率Ｃは、路面を撮像した撮像画像を解析して「ひび」などを検出し、検出結果に基づき上述した式（１）による計算を行うことで取得する。

【0028】

ここで、車両の進行方向では、１回の撮像による撮像範囲が限定されるため、例えば１００ｍ区間のひび割れ率Ｃを１回の撮像による撮像画像に基づき計算することができない。そこで、車両を道路に従い移動させながら、撮像範囲の車両の進行方向の長さに応じた移動毎に順次、撮像を行う。このとき、前回の撮像における撮像範囲と、今回の撮像における撮像範囲とが、予め設計された重複率以上で重複するように、撮像のトリガを制御する。

【0029】

このように、車両の移動に応じて撮像のトリガを制御することで、計測したい道路の路面を漏れなく撮像できる。そのため、車両の進行に応じて順次撮像された撮像画像をスティッチングと呼ばれる画像処理などを用いて繋ぎ合わせて、例えば１００ｍ区間の路面の画像を含む１枚の画像を生成する。この画像を目視確認あるいは解析することで、道路面上のひび割れ率Ｃを計測できる。

【0030】

平坦性の測定は、Structure from Motion（以下、ＳｆＭ）と呼ばれる、異なる撮像地点の画像から十分に重複して撮像された画像に基づき、その撮像位置を推定する技術を使う。

【0031】

ＳｆＭの処理の概要について説明する。まず、撮像範囲を重複して撮像された画像を用い、それぞれの画像中で同一地点を撮像した点を対応点として検出する。対応点は、可能な限り多数を検出することが望ましい。次に、例えば１枚目の画像の撮像地点から、２枚目の画像の撮像地点へのカメラの移動を、回転と並進を未知パラメータとして、検出した対応点の座標を用いた連立方程式を立て、最もトータルの誤差が小さくなるようなパラメータを求める。このようにして、２枚目の画像の撮像位置を算出できる。

【0032】

上述したように、それぞれの撮像地点におけるステレオ撮像画像から、画像中の任意の点の奥行きがデプスマップとして復元できている。１枚目のステレオ撮像画像に対応するデプスマップに対して、２枚目のステレオ撮像画像に対応するデプスマップを、上述の連立方程式により求めた２枚目のカメラの撮像位置を原点としたデプスマップに座標変換する。これにより、２枚のデプスマップを、１枚目のデプスマップの座標系に統一することができる。換言すれば、２枚のデプスマップを合成して１枚のデプスマップを生成できる。

【0033】

この処理を、例えば１００ｍ区間において撮像した全てのステレオ撮像画像に基づくデプスマップについて行い合成することで、１つの３次元空間中に、１００ｍ区間の道路面が復元される。このようにして復元された道路面の奥行き値を上述の式（２）に適用することで、変位量ｄを算出できる。この変位量ｄを上述の式（３）に適用して、平坦性σを算出する。

【0034】

実施形態では、車両に搭載したステレオカメラによる撮像と、撮像されたステレオ撮像画像に対する画像処理を行うことによって、ＭＣＩを求めるための、道路面の平坦性σ、わだち掘れ量Ｄ、および、ひび割れ率Ｃを、纏めて計測することができる。実施形態では、この計測を、ステレオカメラとステレオ撮像画像に対する画像処理を行う情報処理装置とからなる撮像システムを用いて実施可能であり、ＭＣＩを簡易な構成により求めることが可能となる。

【0035】

［実施形態の概要］
実施形態では、この路面の３次元形状を生成するためのステレオカメラによる路面撮像に当たり、当該ステレオカメラが搭載された車両が路面撮像を実施しながら道路を移動中に、３次元形状の生成のため撮像されるべき撮像範囲に対して、ステレオカメラの撮像範囲の偏りやはみ出しが発生した場合に、警告を発するようにしている。これにより、ステレオカメラの撮像範囲が撮像すべき範囲を含んでいるか否かを運転者が容易に認識可能となり、撮像すべき範囲から当該撮像範囲がはみ出さないような運転制御を容易に実行できる。またこれにより、路面の３次元形状を生成するための路面撮像を、より効率的に実行できる。

【0036】

［実施形態に適用可能なカメラ配置］
次に、実施形態に適用可能なカメラ配置の例について説明する。図３は、実施形態に係る撮像システムの構成例を示す図である。図３（ａ）は、実施形態に係る撮像システムが車両１に搭載される様子を車両１の側面から示した図である。図３（ａ）において、図の左端に向けた方向が、車両１の進行方向とする。すなわち、図３（ａ）において、車両１の左端側が車両１の前部であり、右端側が車両１の後部である。図３（ｂ）は、当該車両１を後部側から見た例を示す図である。

【0037】

実施形態に係る撮像システムは、当該撮像システムを搭載する移動体としての車両１の車体後部に撮像装置取付用の取付部２を備える取付部材３を固定し、取付部２に１以上のステレオカメラ６を取り付ける。ここでは、図３（ｂ）に例示されるように、車両１の車体の幅方向の両端側に、２台のステレオカメラ６Ｌおよび６Ｒが取り付けられるものとする。各ステレオカメラ６Ｌおよび６Ｒは、車両１が移動する路面４を撮像する向きに取り付けられる。好ましくは、各ステレオカメラ６Ｌおよび６Ｒは、路面４を垂直方向から撮像するように取り付けられる。

【0038】

以降、ステレオカメラ６Ｌおよび６Ｒを区別する必要の無い場合には、ステレオカメラ６Ｌおよび６Ｒをステレオカメラ６として纏めて記述する。

【0039】

ステレオカメラ６は、例えば車両１の内部に設置された、例えばパーソナルコンピュータ（ＰＣ）５により制御される。作業者はＰＣ５を操作し、ステレオカメラ６による撮像開始を指示する。撮像開始が指示されると、ＰＣ５は、ステレオカメラ６による撮像を開始する。撮像は、ステレオカメラ６すなわち車両１の移動速度に応じてタイミング制御され、繰り返し実行される。

【0040】

作業者は、例えば必要な区間の撮像の終了に応じてＰＣ５を操作し撮像終了を指示する。ＰＣ５は、撮像終了の指示に応じて、ステレオカメラ６による撮像を終了させる。

【0041】

車両１に対して、さらに、左側用のスピーカ８Ｌと、右側用のスピーカ８Ｒと、が設置される。スピーカ８Ｌおよび８Ｒは、例えば車両１の運転席に対して左右に配置される。これらスピーカ８Ｌおよび８Ｒは、ＰＣ５の音声出力により、スピーカ８Ｌとスピーカ８Ｒとでそれぞれ独立して音を出力するように駆動される。スピーカ８Ｌおよび８Ｒは、空気振動としての音を出力する音出力部であるといえる。

【0042】

図４および図５は、実施形態に適用可能な、ステレオカメラ６の撮像範囲の例を示す図である。なお、図４および図５において、上述した図３と共通する部分には同一の符号を付して、詳細な説明を省略する。

【0043】

図４は、実施形態に適用可能な、ステレオカメラ６による、車両１の進行方向の撮像範囲（進行方向視野Ｖｐとする）を説明するための図である。なお、図４は、上述の図１と同様に、図の左端に向けた方向を、車両１の進行方向としている。進行方向視野Ｖｐは、図４に示されるように、ステレオカメラ６の画角αと、ステレオカメラ６の路面４に対する高さｈとに従い決定される。

【0044】

図５は、実施形態に適用可能な、ステレオカメラ６による、車両１の道路幅方向の撮像範囲を説明するための図である。図５は、車両１を後部側から見た図であり、図３（ｂ）と共通する部分には同一の符号を付して、詳細な説明を省略する。

【0045】

図５（ａ）において、ステレオカメラ６Ｌは、２つの撮像レンズ６Ｌ_Lおよび６Ｌ_Rを備える。撮像レンズ６Ｌ_Lおよび６Ｌ_Rを結ぶ線を基線、その長さを基線長と呼び、ステレオカメラ６Ｌは、基線が車両１の進行方向に対して垂直になるように配置される。ステレオカメラ６Ｒも同様に、基線長だけ離れた２つの撮像レンズ６Ｒ_Lおよび６Ｒ_Rを備え、基線が車両１の進行方向に対して垂直になるように配置される。

【0046】

図５（ｂ）は、実施形態に適用可能な、ステレオカメラ６Ｌおよび６Ｒの撮像範囲の例を示す。ステレオカメラ６Ｌにおいて、撮像レンズ６Ｌ_Lおよび６Ｌ_Rそれぞれの撮像範囲６０Ｌ_Lおよび６０Ｌ_Rは、基線長および高さｈに応じてずれて重ねられる。ステレオカメラ６Ｒについても同様に、撮像レンズ６Ｒ_Lおよび６Ｒ_Rそれぞれによる、撮像範囲６０Ｒ_Lおよび６０Ｒ_Rは、基線長および高さｈに応じてずれて重ねられる。

【0047】

以下、特に記載の無い限り、これら撮像範囲６０Ｌ_Lおよび６０Ｌ_R、ならびに、撮像範囲６０Ｒ_Lおよび６０Ｒ_Rを、それぞれ纏めてステレオ撮像範囲６０Ｌおよび６０Ｒと呼ぶ。ステレオカメラ６Ｌおよび６Ｒは、図５（ｂ）に示されるように、ステレオ撮像範囲６０Ｌおよび６０Ｒが、ステレオ撮像範囲６０Ｌの車両１の幅方向の一端と、ステレオ撮像範囲６０Ｒの当該幅方向の他端とが、領域６１において所定の重複率で重複するように、配置される。

【0048】

図６は、実施形態に適用可能な、ステレオカメラ６Ｌによるステレオ撮像範囲６０Ｌの、車両１の進行方向における重複を示す図である。なお、図６において、左カメラ視野Ｖ_Lおよび右カメラ視野Ｖ_Rは、それぞれステレオカメラ６Ｌにおける撮像レンズ６Ｌ_Lおよび６Ｌ_Rの視野（撮像範囲）を示している。移動中の車両１において、ステレオカメラ６Ｌにより２回の撮像を行ったものとする。ステレオカメラ６Ｌは、１回目は、ステレオ撮像範囲６０Ｌ（撮像範囲６０Ｌ_Lおよび６０Ｌ_R）の撮像を行い、２回目は、ステレオ撮像範囲６０Ｌに対して、車両１の進行方向に、車両１の移動距離に応じた距離だけ移動したステレオ撮像範囲６０Ｌ’（撮像範囲６０Ｌ_L’および６０Ｌ_R’）の撮像を行う。

【0049】

このとき、ステレオ撮像範囲６０Ｌとステレオ撮像範囲６０Ｌ’とが、進行方向視野Ｖｐに対して予め定められた進行方向重複率Ｄｒ以上の重複率で重複するように、ステレオカメラ６Ｌの撮像タイミングを制御する。このように、時間軸に沿ってステレオ撮像範囲６０Ｌおよび６０Ｌ’を順次撮像することで、ステレオ撮像範囲６０Ｌおよび６０Ｌ’を撮像した２枚のステレオ撮像画像を繋ぎ合わせる処理を容易とすることができる。

【0050】

なお、上述では、実施形態に係る撮像システムが２台のステレオカメラ６Ｌおよび６Ｒを用いるものとして説明したが、これはこの例に限定されない。例えば、実施形態に係る撮像システムは、図７（ａ）に示されるように、ステレオカメラ６Ｌおよび６Ｒに対してさらに１台のステレオカメラ（ステレオカメラ）６Ｃを加え、３台のステレオカメラ６Ｌ、６Ｒおよび６Ｃを用いて構成してもよい。

【0051】

図７（ａ）の例では、ステレオカメラ６Ｌおよび６Ｒの間隔が、ステレオカメラ６Ｌおよび６Ｒのみを用いる場合に比べて広げられ、その中央部にステレオカメラ６Ｃが配置されている。図７（ｂ）に示されるように、ステレオカメラ６Ｃの撮像レンズ６Ｃ_Lおよび６Ｃ_Rによる撮像範囲６０Ｃ_Lおよび６０Ｃ_Rにより、ステレオ撮像範囲６０Ｃが構成される。ステレオカメラ６Ｌ、６Ｃおよび６Ｒは、それぞれによる各ステレオ撮像範囲６０Ｌ、６０Ｃおよび６０Ｒが車両１の幅方向に所定の重複率で以て重複するように配置される。

【0052】

このように、１車線を撮像するために、３台のステレオカメラ６Ｌ、６Ｃおよび６Ｒを用いることで、車線の右側、中央および左側にそれぞれ撮像範囲を設定して撮像が可能となり、高画質（高解像）なステレオ撮像画像を、少ない台数のステレオカメラで撮像可能となる。ここで、特に道路幅は、一般的には、３．５ｍと規定されている。そこで、この道路幅の３．５ｍに対応して、ステレオカメラ６Ｌおよび６Ｒにより車線の道路幅方向の両端を撮像し、ステレオカメラ６Ｃにより中央部を撮像することが考えられる。

【0053】

なお、撮像範囲がこの規定される道路幅（３．５ｍ）をカバー可能な画角を有するステレオカメラを１台のみ用いて、撮像システムを構成してもよい。

【0054】

上述した構成において、ＰＣ５は、ステレオカメラ６Ｌおよび６Ｒで撮像された各ステレオ撮像画像を解析し、撮像すべき範囲の境界、例えば道路の白線を検出する。ＰＣ５は、撮像範囲境界とステレオカメラ６Ｌおよび６Ｒによる各ステレオ撮像範囲との位置関係に応じて、スピーカ８Ｌおよび８Ｒの何れから警告音を出力するかを制御する。例えば、撮像範囲が撮像範囲境界に対して所定以上に右に寄っている場合、右側設置用のスピーカ８Ｒから警告音を出力する。

【0055】

また、ＰＣ５は、撮像範囲が撮像範囲境界に対して寄っている度合いに応じて、警告音の発生パターン（音量、周波数、間欠発生の間隔、など）を変化させることができる。これにより、車両１の運転者は、警告音を聞くことで左右どちらにどれだけ走行軌跡が偏っているかを直感的に判断でき、撮像すべき範囲がステレオカメラ６Ｌおよび６Ｒによる各ステレオ撮像画像からはみ出さないような運転制御を容易に実現できる。

【0056】

［実施形態に係る撮像システムの構成］
次に、実施形態に係る撮像システムの構成について説明する。以下では、撮像システムが２台のステレオカメラを備えるものとして説明を行う。

【0057】

図８は、実施形態に係る撮像システムの概略的な構成の例を示すブロック図である。図８において、撮像システム１０は、撮像部１００₁および１００₂と、撮像制御部１０１と撮像範囲判定部１０２と、音発生制御部１０３と、音発生部１０４と、を含む。

【0058】

撮像部１００₁および１００₂は、それぞれ上述したステレオカメラ６Ｌおよび６Ｒに対応する。撮像制御部１０１は、それぞれ撮像部１００₁および１００₂の撮像タイミング、露光、シャッタ速度などの撮像動作を制御すると共に、各撮像部１００₁および１００₂から出力された各ステレオ撮像画像を取得する。

【0059】

撮像範囲判定部１０２は、撮像制御部１０１により取得された各ステレオ撮像画像を解析し、各ステレオ撮像画像に含まれる撮像範囲境界（例えば路面の白線）を検出する。撮像範囲判定部１０２は、検出された撮像範囲境界の、各ステレオ撮像画像における位置に基づき、車両１の走行軌跡が、撮像範囲境界に対して左右に偏っているか否かを判定する。このように、撮像範囲判定部１０２は、ステレオ撮像画像内での所定範囲の画像の位置を検出する検出部として機能する。

【0060】

音発生部１０４は、スピーカ８Ｌおよび８Ｒと、スピーカ８Ｌおよび８Ｒを駆動するための増幅器と、を含み、入力された音信号を音として出力する。音発生制御部１０３は、音発生部１０４により出力させる音の音信号を発生する。音発生制御部１０３は、撮像範囲判定部１０２による、車両１の走行軌跡が、撮像範囲境界に対して左右に偏っているか否かの判定結果に応じたパターンの音を出力させる音信号を生成する。

【0061】

図９は、実施形態に係る撮像システム１０のハードウェア構成の例を示すブロック図である。図９において、撮像システム１０は、ステレオカメラ６Ｌおよび６Ｒと、図３のＰＣ５に対応する情報処理装置５０と、スピーカ８Ｌおよび８Ｒと、を含む。

【0062】

情報処理装置５０は、所定のタイミングでトリガを生成し、生成したトリガをステレオカメラ６Ｌおよび６Ｒに送る。ステレオカメラ６Ｌおよび６Ｒは、このトリガに応じて同期して撮像を行う。ステレオカメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像は、情報処理装置５０に供給される。情報処理装置５０は、ステレオカメラ６Ｌおよび６Ｒから供給された各ステレオ撮像画像をストレージなどに記憶、蓄積する。情報処理装置５０は、蓄積したステレオ撮像画像に基づき、デプスマップの生成、生成したデプスマップの繋ぎ合わせ、などの画像処理を実行する。

【0063】

また、情報処理装置５０は、ステレオカメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像に基づき、車両１の走行軌跡の、撮像範囲境界に対する左右の偏り度合を判定し、判定結果に応じて、警告音を発生させるための音信号を生成する。ここでは、情報処理装置５０は、スピーカ８Ｌおよび８Ｒを駆動するための増幅器を内蔵するものとし、情報処理装置５０により発生された警告音の音信号に応じて、スピーカ８Ｌおよび８Ｒから音が出力される。

【0064】

以下では、情報処理装置５０が警告音を発生させるための音信号を生成し、生成された音信号によりスピーカ８Ｌおよび８Ｒから音を出力することを、「情報処理装置５０がスピーカ８Ｌおよび８Ｒから音を出力する」などのように記述する。

【0065】

図１０は、実施形態に係るステレオカメラ６Ｌの一例の構成を示すブロック図である。なお、ステレオカメラ６Ｒは、このステレオカメラ６Ｌと同様の構成にて実現可能であるので、ここでの説明を省略する。

【0066】

図１０において、ステレオカメラ６Ｌは、撮像光学系６００_Lおよび６００_Rと、撮像素子６０１_Lおよび６０１_Rと、駆動部６０２_Lおよび６０２_Rと、信号処理部６０３_Lおよび６０３_Rと、出力部６０４と、を含む。これらのうち、撮像光学系６００_L、撮像素子６０１_L、駆動部６０２_L、および、信号処理部６０３_Lは、上述した撮像レンズ６Ｌ_Lに対応する構成である。同様に、撮像光学系６００_R、撮像素子６０１_R、駆動部６０２_R、および、信号処理部６０３_Rは、上述した撮像レンズ６Ｌ_Rに対応する構成である。

【0067】

撮像光学系６００_Lは、画角α、焦点距離ｆを有する光学系であって、被写体からの光を撮像素子６０１_Lに投射する。撮像素子６０１_Lは、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いた光センサであって、投射された光に応じた信号を出力する。なお、撮像素子６０１_Lに、ＣＣＤ(Charge Coupled Device)による光センサを適用してもよい。駆動部６０２_Lは、撮像素子６０１_Lを駆動し、撮像素子６０１_Lから出力された信号に対してノイズ除去、ゲイン調整などの所定の処理を施して出力する。信号処理部６０３_Lは、駆動部６０２_Lから出力された信号に対してＡ／Ｄ変換を施して、当該信号をディジタル方式の画像信号（撮像画像）に変換する。信号処理部６０３_Lは、変換した画像信号に対してガンマ補正など所定の画像処理を施して出力する。信号処理部６０３_Lから出力された撮像画像は、出力部６０４に供給される。

【0068】

撮像光学系６００_R、撮像素子６０１_R、駆動部６０２_R、および、信号処理部６０３_Rの動作は、上述の撮像光学系６００_L、撮像素子６０１_L、駆動部６０２_L、および、信号処理部６０３_Lと同様なので、ここでの説明を省略する。

【0069】

駆動部６０２_Lおよび６０２_Rは、例えば情報処理装置５０から出力されたトリガが供給される。このトリガは、ステレオカメラ６Ｒに含まれる駆動部６０２_Lおよび６０２_Rと同期して、供給される。駆動部６０２_Lおよび６０２_Rは、このトリガに従い、撮像素子６０１_Lおよび６０１_Rから信号を取り込み、撮像を行う。

【0070】

ここで、駆動部６０２_Lおよび６０２_Rは、撮像素子６０１_Lおよび６０１_Rにおける露光を、一括同時露光方式により行う。この方式は、グローバルシャッタと呼ばれる。これに対して、ローリングシャッタは、画素位置の上から順番（ライン順）に光を取り込んでいく方式であるため、フレーム中の各ラインは、厳密に同じ時刻の被写体を写したものではない。ローリングシャッタ方式の場合、１フレームの撮像信号を取り込んでいる間にカメラもしくは被写体が高速に動いてしまうと、被写体の像がライン位置に応じてずれて撮像されてしまう。そのため、実施形態に係るステレオカメラ６Ｌおよび６Ｒでは、グローバルシャッタを用いて、投影幾何的に正しく道路形状が撮像されるようにする。

【0071】

出力部６０４は、信号処理部６０３_Lおよび６０３_Rから供給された各フレームの撮像画像を、１組のステレオ撮像画像として出力する。出力部６０４から出力されたステレオ撮像画像は、情報処理装置５０に送られ、蓄積される。

【0072】

図１１は、実施形態に適用可能な情報処理装置５０の一例の構成を示すブロック図である。図１１において、情報処理装置５０は、それぞれバス５０３０に接続されたＣＰＵ(Central Processing Unit)５０００と、ＲＯＭ(Read Only Memory)５００１と、ＲＡＭ(Random Access Memory)５００２と、グラフィクスＩ／Ｆ（インタフェース）５００３と、ストレージ５００４と、入力デバイス５００５と、データＩ／Ｆ５００６と、通信Ｉ／Ｆ５００７と、を備える。さらに、情報処理装置５０は、それぞれバス５０３０に接続されたカメラＩ／Ｆ５０１０と、オーディオＩ／Ｆ５０１１と、速度取得部５０２１と、を備える。

【0073】

ストレージ５００４は、データを不揮発に記憶する記憶媒体であって、ハードディスクドライブやフラッシュメモリを適用できる。ストレージ５００４は、ＣＰＵ５０００が動作するためのプログラムやデータが記憶される。

【0074】

ＣＰＵ５０００は、例えば、ＲＯＭ５００１やストレージ５００４に予め記憶されたプログラムに従い、ＲＡＭ５００２をワークメモリとして用い、この情報処理装置５０の全体の動作を制御する。グラフィクスＩ／Ｆ５００３は、ＣＰＵ５０００によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ５０２０が対応可能な表示信号を生成する。ディスプレイ５０２０は、グラフィクスＩ／Ｆ５００３から供給された表示信号に応じた画面を表示する。

【0075】

入力デバイス５００５は、ユーザ操作を受け付け、受け付けたユーザ操作に応じた制御信号を出力する。入力デバイス５００５としては、マウスやタブレットといったポインティングデバイスや、キーボードを適用できる。また、入力デバイス５００５とディスプレイ５０２０とを一体的に形成し、所謂タッチパネル構成としてもよい。

【0076】

データＩ／Ｆ５００６は、外部の機器との間でデータの送受信を行う。データＩ／Ｆ５００６としては、例えばＵＳＢ(Universal Serial Bus)を適用可能である。通信Ｉ／Ｆ５００７は、ＣＰＵ５０００の指示に従い、外部のネットワークに対する通信を制御する。

【0077】

カメラＩ／Ｆ５０１０は、各ステレオカメラ６Ｌおよび６Ｒに対するインタフェースである。各ステレオカメラ６Ｌおよび６Ｒから出力された各ステレオ撮像画像は、カメラＩ／Ｆ５０１０を介して、例えばＣＰＵ５０００に渡される。また、カメラＩ／Ｆ５０１０は、ＣＰＵ５０００の指示に従い上述したトリガを生成し、生成したトリガを各ステレオカメラ６Ｌおよび６Ｒに送る。

【0078】

オーディオＩ／Ｆ５０１１は、Ｄ／Ａ変換器を含み、例えばＣＰＵ５０００により生成された左右チャネルのディジタル方式の音声信号を、左右チャネルのアナログ方式の音声信号に変換して出力する。また、ここでは、オーディオＩ／Ｆ５０１１は、音声信号をスピーカ８Ｌおよび８Ｒを駆動可能に増幅する増幅回路を内蔵し、それぞれ増幅された左チャネルの音声信号（Ｌ出力）と、右チャネルの音声信号（Ｒ出力）とを出力し、スピーカ８Ｌおよび８Ｒに供給する。

【0079】

速度取得部５０２１は、車両１の速度を示す速度情報を取得する。車両１に各ステレオカメラ６Ｌおよび６Ｒが取り付けられている場合、速度取得部５０２１が取得する速度情報は、各ステレオカメラ６Ｌおよび６Ｒの、被写体（路面）に対する速度を示す。速度取得部５０２１は、例えば、ＧＮＳＳ(Global Navigation Satellite System)の信号を受信する機能を有し、受信したＧＮＳＳによる信号のドップラー効果に基づき車両１の速度を示す速度情報を取得する。これに限らず、速度取得部５０２１は、車両１から直接的に速度情報を取得することもできる。

【0080】

図１２は、実施形態に適用可能な情報処理装置５０の機能を説明するための一例の機能ブロック図である。図１２において、情報処理装置５０は、撮像画像取得部５００ａおよび５００ｂと、ＵＩ部５０１と、制御部５０２と、撮像画像記憶部５０３と、撮像制御部５０４と、を含む。情報処理装置５０は、また、マッチング処理部５１０と、３Ｄ情報生成部５１１と、３Ｄ情報取得部５２０と、状態特性値算出部５２１と、調書作成部５２２と、を含む。情報処理装置５０は、さらに、撮像範囲判定部５３０と、音発生制御部５３１と、を含む。

【0081】

これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０４、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１、調書作成部５２２、撮像範囲判定部５３０および音発生制御部５３１は、ＣＰＵ５０００上で動作するプログラムにより実現される。これに限らず、これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０４、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１、調書作成部５２２、撮像範囲判定部５３０および音発生制御部５３１の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

【0082】

撮像画像取得部５００は、各ステレオカメラ６Ｌおよび６Ｒから、ステレオ撮像画像を取得する。撮像画像記憶部５０３は、撮像画像取得部５００により取得されたステレオ撮像画像および進行方向撮像撮像を、例えばストレージ５００４に記憶する。また、撮像画像記憶部５０３は、ストレージ５００４から、記憶されたステレオ撮像画像および進行方向撮像撮像を取得する。

【0083】

ＵＩ部５０１は、入力デバイス５００５やディスプレイ５０２０に対する表示によるユーザインタフェースを実現する。制御部５０２は、この情報処理装置５０全体の動作を制御する。

【0084】

撮像制御部５０４は、上述した撮像制御部１０１に対応する。すなわち、撮像制御部５０４は、各ステレオカメラ６Ｌおよび６Ｒの被写体（路面４）に対する速度を示す速度情報を取得し、取得した速度情報と、予め設定される各ステレオカメラ６Ｌおよび６Ｒの画角α、高さｈと、に基づき、各ステレオカメラ６Ｌおよび６Ｒの同期撮像を指示するためのトリガを生成する。

【0085】

マッチング処理部５１０は、撮像画像取得部５００により取得されたステレオ撮像画像を構成する２枚の撮像画像を用いてマッチング処理を行う。３Ｄ情報生成部５１１は、３次元情報に係る処理を行う。例えば、３Ｄ情報生成部５１１は、マッチング処理部５１０によるマッチング処理の結果を用いて三角法などにより深度情報を求め、求めた深度情報に基づき３次元点群情報を生成する。

【0086】

３Ｄ情報取得部５２０は、３Ｄ情報生成部５１１によりステレオ撮像画像毎に求めた３次元点群情報を取得する。状態特性値算出部５２１は、３Ｄ情報取得部５２０により取得された各３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを用いて、ＭＣＩを求めるための、ひび割れ率Ｃ、わだち掘れ量Ｄおよび平坦性σの各状態特性値を算出する。調書作成部５２２は、状態特性値算出部５２１により算出された各状態特性値に基づきＭＣＩを求め、調書を作成する。

【0087】

撮像範囲判定部５３０は、上述した撮像範囲判定部１０２に対応し、撮像画像取得部５００により取得された各ステレオ撮像画像を解析し、各ステレオ撮像画像に含まれる撮像範囲境界を検出する。撮像範囲判定部１０２は、検出された撮像範囲境界の、各ステレオ撮像画像における位置に基づき、車両１の走行軌跡の、撮像範囲境界に対する左右の偏り度合を判定する。

【0088】

音発生制御部５３１は、上述した音発生制御部１０３に対応し、撮像範囲判定部５３０による、車両１の走行軌跡の、撮像範囲境界に対する左右の偏り度合の判定結果に応じたパターンの音を出力させる音信号を生成する。

【0089】

情報処理装置５０における実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。

【0090】

当該プログラムは、撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像画像記憶部５０３、撮像制御部５０４、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１、調書作成部５２２、撮像範囲判定部５３０および音発生制御部５３１を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ５０００がストレージ５００４などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部がＲＡＭ５００２などの主記憶装置上にロードされ、撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像画像記憶部５０３、撮像制御部５０４、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１、調書作成部５２２、撮像範囲判定部５３０および音発生制御部５３１が主記憶装置上に生成されるようになっている。

【0091】

［実施形態に適用可能なトリガ生成方法］
次に、実施形態に適用可能な、各ステレオカメラ６Ｌおよび６Ｒに対して撮像を指示するためのトリガの生成方法について、より詳細に説明する。実施形態において、撮像制御部１０１は、ステレオカメラ６Ｌおよび６Ｒの被測定物（路面４）に対するステレオ撮像範囲の、車両１の速度の方向の距離を、車両１が速度情報が示す速度で移動する時間に対して、当該時間より短い所定時間以下の時間間隔でトリガを生成する。

【0092】

すなわち、トリガは、ステレオカメラ６Ｌおよび６Ｒにおける路面４の撮影範囲が、車両１の進行方向に所定の重複率（進行方向重複率Ｄｒ）を保つように発生させる必要がある。これは、後述するように、各ステレオ撮像画像から撮像位置を算出する処理において、安定的に精度の高いカメラ位置を算出するため、十分な対応点を検出できるようにすることが目的である。進行方向重複率Ｄｒの下限値は、例えば実験的に「６０％」のように決定される。

【0093】

実施形態において、トリガの生成方法は、下記の３通りの方法を適用できる。
（１）一定時間間隔で生成する方法（第１の生成方法）
（２）カメラの移動速度を検出して生成する方法（第２の生成方法）
（３）撮像画像を用いて移動距離を算出して生成する方法（第３の生成方法）

【0094】

（第１の生成方法）
先ず、トリガの第１の生成方法について説明する。第１の生成方法においては、撮像中の車両１の最高速度Ｓｐｅｅｄと、撮像範囲の大きさ（撮像範囲の車両１の進行方向の長さ）と、からトリガの時間間隔を決める。速度取得部５０２１は、車両１におけるシステム設定値や、情報処理装置５０に対するユーザ入力により、車両１の最高速度Ｓｐｅｅｄを予め取得しておく。撮像制御部５０４は、速度取得部５０２１から最高速度Ｓｐｅｅｄを取得し、トリガの時間間隔を、取得した最高速度Ｓｐｅｅｄと、進行方向視野Ｖｐおよび進行方向重複率Ｄｒと、を用いて、下記の式（４）により算出する。なお、進行方向重複率Ｄｒは、上述した下限値が適用される。

【0095】

【数4】

【0096】

式（４）により、１秒間に生成すべきトリガ数ｆｐｓが算出される。トリガ数ｆｐｓの逆数が、生成すべき次のトリガまでの時間間隔となる。

【0097】

進行方向視野Ｖｐは、模式的には、図４を用いて説明したように、各ステレオカメラ６Ｌおよび６Ｒの路面４からの高さｈと、各ステレオカメラ６Ｌおよび６Ｒの画角αと、に基づき設定できる。実際は、さらに、各ステレオカメラ６Ｌおよび６Ｒの路面４に対する角度なども考慮して、進行方向視野Ｖｐを設定する。

【0098】

ここで、移動中の車両１が右もしくは左にカーブした際には、ステレオカメラ６Ｌおよび６Ｒのうち外側にあるカメラの移動量が大きくなる。そのため、車両１の最高速度Ｓｐｅｅｄをそのまま使うのではなく、外側カメラの位置に基づく回転移動の速度を使うと、より好ましい。

【0099】

撮像制御部５０４は、生成したトリガに応じて撮像されたステレオ撮像画像を、全て例えばストレージ５００４やＲＡＭ５００２に記憶し、蓄積する。

【0100】

（第２の生成方法）
次に、トリガの第２の生成方法について説明する。上述した第１の方法は、シンプルである一方、車両１が停止している状態や、所定の速度よりも低速で移動している状態では、最高速度Ｓｐｅｅｄに対して過剰に細かい間隔で撮像することになり、蓄積されるステレオ撮像画像の量が大きくなってしまう。第２の生成方法では、撮像制御部５０４は、カメラの移動速度を検出し、検出された移動速度に応じてトリガを生成する。

【0101】

撮像制御部５０４は、速度取得部５０２１により取得された速度情報が示す現在の車両１の速度を、式（４）の最高速度Ｓｐｅｅｄとして用いて、次のトリガまでの時間間隔を算出し、撮像を行う。第２の生成方法によれば、車両１の移動速度が小さいほど、トリガ生成の時間間隔が長くなり、無駄な撮像が行われることが抑制される。

【0102】

撮像制御部５０４は、生成したトリガに応じて撮像されたステレオ撮像画像を、全て例えばストレージ５００４やＲＡＭ５００２に記憶し、蓄積する。

【0103】

なお、この第２の生成方法と、上述した第１の生成方法は、組み合わせて実施することが可能である。

【0104】

（第３の生成方法）
次に、トリガの第３の生成方法について説明する。第３の生成方法では、上述した第１の生成方法と同様に、車両１の最高速度Ｓｐｅｅｄに基づいた一定時間間隔でトリガを生成する。ここで、第３の生成方法においては、トリガに応じて撮像されたステレオ撮像画像を、全て蓄積するのではなく、進行方向重複率Ｄｒが予め設定された値を下回った場合にのみ蓄積する。

【0105】

後述するが、車両１の進行方向に重複するように撮像されたステレオ撮像画像のみを用いて、カメラ（車両１）の移動距離を算出することが可能である。

【0106】

撮像制御部５０４は、最後に蓄積されたステレオ撮像画像と、直前に撮像されたステレオ撮像画像とを用いてカメラの移動距離を算出する。撮像制御部５０４は、算出した距離が、進行方向重複率Ｄｒの下限値に対応した移動距離を超えたか否かを判定する。撮像制御部５０４は、超えたと判定した場合には、直前に撮像されたステレオ撮像画像を蓄積する。一方、撮像制御部５０４は、超えていないと判定した場合は、直前に撮像したステレオ撮像画像を破棄する。

【0107】

これにより、車両１の現在速度を計測するためのセンサを用いずとも、移動速度が小さいときには無駄な画像蓄積が行われないことになる。

【0108】

［実施形態に適用可能な路面性状値の算出方法］
次に、実施形態に適用可能な路面性状値の算出方法について説明する。以下では、実施形態に適用可能な平坦性σ、わだち掘れ量Ｄおよびひび割れ率Ｃの計測方法について説明する。

【0109】

（平坦性）
図１３は、実施形態に適用可能な平坦性の算出処理を示す一例のフローチャートである。ステップＳ１００で、撮像画像取得部５００により、ステレオカメラ６Ｌおよび６Ｒにより撮像され、例えばストレージ５００４に記憶されたステレオ撮像画像が取得される。ステレオ撮像画像が取得されると、処理は、並列して処理が可能なステップＳ１０１ａおよびステップＳ１０１ｂに移行する。

【0110】

ステップＳ１０１ａでは、ステップＳ１００で取得されたステレオ撮像画像に基づきデプスマップが生成される。図１４および図１５を用いて、実施形態に適用可能なデプスマップの生成処理について説明する。図１４は、実施形態に適用可能なデプスマップの生成処理を示す一例のフローチャートである。

【0111】

ステップＳ１２０で、マッチング処理部５１０は、撮像画像取得部５００からステレオ撮像画像を取得する。次のステップＳ１２１で、マッチング処理部５１０は、取得したステレオ撮像画像を構成する２枚の撮像画像に基づきマッチング処理を行う。次のステップＳ１２２で、３Ｄ情報生成部５１１は、ステップＳ１２１のマッチング処理結果に基づき深度情報を計算し、３次元点群情報であるデプスマップを生成する。

【0112】

ステップＳ１２１およびステップＳ１２２の処理について、より具体的に説明する。実施形態では、ステレオ撮像画像を構成する２枚の撮像画像を用いて、ステレオ法により深度情報を計算する。ここでいうステレオ法は、２つのカメラにより異なる視点から撮像された２枚の撮像画像を用い、一方の撮像画像のある画素（参照画素）に対して、他方の撮像画像内における対応する画素（対応画素）を求め、参照画素と対応画素とに基づき三角法により深度（奥行き値）を算出する方法である。

【0113】

ステップＳ１２１で、マッチング処理部５１０は、撮像画像取得部５００から取得した、ステレオ撮像画像を構成する２枚の撮像画像を用い、基準となる一方の撮像画像における参照画素を中心とする所定サイズの領域に対応する、探索対象となる他方の撮像画像内の領域を、当該他方の撮像画像内で移動させて、探索を行う。

【0114】

対応画素の探索は、様々な方法が知られており、例えば、ブロックマッチング法を適用することができる。ブロックマッチング法は、一方の撮像画像において参照画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。また、他方の撮像画像において、対象画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。画素値に基づき、参照画素を含む領域と、対象画素を含む領域との類似度を計算する。探索対象の画像内でＭ画素×Ｎ画素のブロックを移動させながら類似度を比較し、最も類似度が高くなる位置のブロックにおける対象画素を、参照画素に対応する対応画素とする。

【0115】

類似度は、様々な計算方法により算出できる。例えば、式（５）に示される、正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）は、コスト関数の１つであって、コストを示す数値Ｃ_NCCの値が大きいほど、類似度が高いことを示す。式（５）において、値ＭおよびＮは、探索を行うための画素ブロックのサイズを表す。また、値Ｉ(ｉ，ｊ)は、基準となる一方の撮像画像における画素ブロック内の画素の画素値を表し、値Ｔ(ｉ，ｊ)は、探索対象となる他方の撮像画像における画素ブロック内の画素値を表す。

【0116】

【数5】

【0117】

マッチング処理部５１０は、上述したように、一方の撮像画像における、Ｍ画素×Ｎ画素の画素ブロックに対応する、他方の撮像画像における画素ブロックを、他方の撮像画像内で例えば画素単位で移動させながら式（５）の計算を実行し、数値Ｃ_NCCを算出する。他方の撮像画像において、数値Ｃ_NCCが最大となる画素ブロックの中心画素を、参照画素に対応する対象画素とする。

【0118】

図１４の説明に戻り、ステップＳ１２２で、３Ｄ情報生成部５１１は、ステップＳ１２１のマッチング処理により求められた、参照画素および対応画素に基づき、三角法を用いて奥行き値（深度情報）を算出し、ステレオ撮像画像を構成する一方の撮像画像および他方の撮像画像に係る３次元点群情報を生成する。

【0119】

図１５は、実施形態に適用可能な三角法を説明するための図である。図中のターゲット物体４０３（例えば路面４上の１点）までの距離Ｓを、各撮像素子４０２（撮像素子６０１_Lおよび６０１_Rに対応）に撮像された画像内の撮像位置情報から算出することが処理の目的である。すなわち、この距離Ｓが、対象となる画素の深度情報に対応する。距離Ｓは、下記の式（６）により計算される。

【0120】

なお、式（６）において、値ｂａｓｅｌｉｎｅは、カメラ４００ａおよび４００ｂ間の基線の長さ（基線長）を表す。これは、図５の例では、撮像レンズ６Ｌ_Lおよび６Ｌ_R（ステレオカメラ６Ｌの場合）による基線長に対応する。値ｆは、レンズ４０１（撮像レンズ６Ｌ_Lおよび６Ｌ_Rに対応）の焦点距離を表す。値ｑは、視差を表す。視差ｑは、参照画素と対応画素の座標値の差分に、撮像素子の画素ピッチを乗じた値である。対応画素の座標値は、ステップＳ１２１のマッチング処理の結果に基づき得られる。

【0121】

【数6】

【0122】

この式（６）が、２つのカメラ４００ａおよび４００ｂ、すなわち、撮像レンズ６Ｌ_Lおよび６Ｌ_Rを利用した場合の距離Ｓの算出方法となる。これは２つのカメラ４００ａおよび４００ｂ、すなわち、撮像レンズ６Ｌ_Lおよび６Ｌ_Rによりそれぞれ撮像された撮像画像から距離Ｓを算出するものである。実施形態では、この式（６）による算出方法を、ステレオカメラ６Ｌの撮像レンズ６Ｌ_Lおよび６Ｌ_R、ならびに、ステレオカメラ６Ｒの撮像レンズ６Ｒ_Lおよび６Ｒ_Rにより撮像された各撮像画像に適用して、画素毎に距離Ｓを算出する。

【0123】

図１３の説明に戻り、ステップＳ１０１ｂで、３Ｄ情報生成部５１１は、カメラ位置および向きを推定する。ここで、カメラ位置は、例えばステレオカメラ６Ｌを一体と捉えた場合のその中心座標を示す。ステップＳ１０１ｂの処理の詳細については、後述する。

【0124】

ステップＳ１０１ａおよびステップＳ１０１ｂの処理が終了すると、処理がステップＳ１０２に移行される。ステップＳ１０２で、３Ｄ情報生成部５１１は、時系列上で隣接する２つのデプスマップについて、ステップＳ１０１ｂで推定したカメラ位置および向きに基づき、前時刻のデプスマップの座標系に合うように、当該前時刻の次の次時刻のデプスマップの座標変換を行う。

【0125】

なお、前時刻および次時刻は、ステレオカメラ６Ｌおよび６Ｒにおいてトリガに応じて時系列上で連続的に実行された１回目の撮像と、２回目の撮像とにおいて、１回目の撮像が行われた時刻を前時刻、２回目の撮像が行われた時刻を次時刻としている。すなわち、前時刻のデプスマップは、１回目の撮像によるステレオ撮像画像に基づき生成されたデプスマップであり、次時刻のデプスマップは、２回目の撮像によるステレオ撮像画像に基づき生成されたデプスマップである。

【0126】

次のステップＳ１０３で、３Ｄ情報生成部５１１は、ステップＳ１０２で座標変換された次時刻のデプスマップを、前時刻のデプスマップに統合する。すなわち、ステップＳ１０２の座標変換により、前時刻および次時刻の２つのデプスマップが共通の座標系に並ぶため、これら２つのデプスマップを統合することができる。この、ステップＳ１０２およびステップＳ１０３の処理を、全ての時刻で撮像されたステレオ撮像画像に対して実施する。

【0127】

なお、図５や図７に示すように、ステレオカメラ６Ｌおよび６Ｒ、あるいは、ステレオカメラ６Ｌ、６Ｃおよび６Ｒを道路幅方向に複数台並べて用いる場合、道路幅方向に並んだステレオカメラ同士（例えばステレオカメラ６Ｌおよび６Ｒ）においても、同様にしてカメラ位置および向きを推定し、その後、デプスマップ統合を行う。

【0128】

また、上述した第３の生成方法における、カメラ（車両１）の移動距離は、ステップＳ１０２の座標変換、および、ステップＳ１０３のデプスマップ統合処理において、算出が可能である。

【0129】

次のステップＳ１０４で、３Ｄ情報取得部５２０は、３Ｄ情報生成部５１１から、ステップＳ１０３で統合されたデプスマップを取得する。そして、状態特性値算出部５２１は、３Ｄ情報取得部５２０に取得されたデプスマップに基づき、平坦性σを算出する。すなわち、デプスマップが統合されると、計測した区間の道路について路面形状が、１つの３次元空間中の点群として復元される。点群が復元されると、路面上の各サンプリング地点について、規定に従い前後１．５ｍ地点の座標を結んだ座標系を取り、中心部分の３次元点群までの距離を算出することで、式（２）と同様に変位量ｄを算出でき、式（３）に従い、この変位量ｄから平坦性σを算出できる。

【0130】

（わだち掘れ量）
わだち掘れ量Ｄについては、ステップＳ１０４で、状態特性値算出部５２１は、３Ｄ情報取得部５２０に取得されたデプスマップを道路幅方向にスキャンすることで、図１（ａ）および図１（ｂ）に示されるような深さＤ₁およびＤ₂を取得することができる。これら取得した深さＤ₁およびＤ₂と、デプスマップをスキャンした断面の情報に基づき、わだち掘れ量Ｄを求めることができる。

【0131】

（ひび割れ率）
状態特性値算出部５２１は、例えば、ステップＳ１０３において統合されたデプスマップに対し、ステップＳ１００で取得されたステレオ撮像画像を適用する。すなわち、状態特性値算出部５２１は、車両１の進行方向に、進行方向重複率Ｄｒで以て重複して撮像された各ステレオ撮像画像を統合する。状態特性値算出部５２１は、統合した画像に対して規定に従い５０ｃｍのメッシュを設定し、画像解析により各メッシュ内のひび、パッチングなどの情報を取得し、取得した情報に基づき規定に従いひび割れ率Ｃを算出する。

【0132】

（カメラ位置および向きの推定処理）
次に、上述した図１３のフローチャートにおけるステップＳ１０１ｂの、カメラ位置および向きの推定処理について、より詳細に説明する。図１６は、実施形態に適用可能な、カメラ位置および向きの推定処理を示す一例のフローチャートである。実施形態では、カメラ位置および向きを、上述したＳｆＭを用いて推定する。

【0133】

ステップＳ１３０で、３Ｄ情報生成部５１１は、撮像画像取得部５００からステレオ撮像画像を取得する。ここで、３Ｄ情報生成部５１１は、時系列上で連続的に撮像された２枚のステレオ撮像画像（前時刻のステレオ撮像画像、次時刻のステレオ撮像画像、とする）を取得する。次に、ステップＳ１３１で、３Ｄ情報生成部５１１は、取得した各ステレオ撮像画像から特徴点を抽出する。この特徴点抽出処理は、各ステレオ撮像画像の対応点として検出しやすい点を見つける処理であって、典型的には、画像中の変化があり、かつ変化が一様でないコーナーと呼ばれる点を検出する。

【0134】

次のステップＳ１３２で、３Ｄ情報生成部５１１は、前時刻のステレオ撮像画像内で特徴点として抽出された点と同じ場所を撮像した点を、次時刻のステレオ撮像画像内から検出する。この検出処理は、オプティカルフローと呼ばれる手法や、ＳＩＦＴ(Scale-Invariant Feature Transform)、ＳＵＲＦ(Speed-Upped Robust Feature)などに代表される特徴点マッチングと呼ばれる手法を適用することができる。

【0135】

次のステップＳ１３３で、３Ｄ情報生成部５１１は、カメラの初期位置および向きを推定する。３Ｄ情報生成部５１１は、ステップＳ１３２において各ステレオ撮像画像で検出された対応点の座標を固定値とし、次時刻のステレオ撮像画像を撮像したカメラの位置および向きをパラメータとして連立方程式を解くことで、カメラの位置を推定し、３次元座標を算出する（ステップＳ１３４）。

【0136】

図１７を参照しながら、カメラの初期位置および向きの推定方法について説明する。式（７）は、空間の点Ｘ_jを、カメラ（視点）Ｐ_iに投影した座標ｘ_ijの関係を表している。なお、式（７）において、値ｎが３次元空間における点の数、値ｍは、カメラ（撮像画像）の数をそれぞれ表す。

【0137】

【数7】

【0138】

各値Ｐは、それぞれのカメラについて、３次元空間の点の座標をその画像の２次元座標に変換する投影行列であって、次式（８）で表される。式（８）は、右辺に示す３次元座標の２行２列の変換行列と、３次元座標から２次元座標への射影変換ｆ_iから成る。

【0139】

【数8】

【0140】

図１７において、カメラに映った座標ｘ_ijのみが与えられた連立方程式を用いて、値Ｘ_jと値Ｐ_iとを算出する。この連立方程式の解法には、線形最小二乗法を用いることができる。

【0141】

次のステップＳ１３５で、３Ｄ情報生成部５１１は、ステップＳ１３４で算出されたカメラ位置を示す３次元座標を最適化する。連立方程式を解いて算出されたカメラの位置および向きは、十分な精度を有していない場合がある。そのため、算出された値を初期値として最適化処理を行うことで、精度を向上させる。

【0142】

画像上探索により取得された対応点座標と、ステップＳ１３４で算出された３次元座標および式（８）の投影行列をパラメータとして上述した式（７）により算出される２次元座標ｘ_ij（再投影座標と呼ばれる）と、の差は、残差と呼ばれる。カメラの位置および向きを算出するために用いた全てのステレオ撮像画像中の、全ての対応点について、この残差の総和が最小になるように、パラメータを最適化演算によって調整する。これを、バンドル調整と呼ぶ。バンドル調整による全体最適化を行うことで、カメラの位置および向きの精度を向上させることができる。

【0143】

以上が、通常のＳｆＭにおけるカメラ位置および向き推定のベース処理である。実施形態では、基線長が既知のステレオカメラ６Ｌおよび６Ｒを使用しているため、車両１の移動に応じて撮像範囲を重複させて撮像されたステレオ撮像画像における対応点の検出に加えて、ステレオ撮像画像を構成する２枚の撮像画像における対応点の探索が容易である。したがって、空間での３次元座標Ｘ_jが実スケール（現実の大きさ）で確定し、移動後のカメラの位置および向きも安定的に算出できる。

【0144】

なお、上述したように、実施形態に適用可能な撮像システム１０では、情報処理装置５０においてトリガを生成し、生成したトリガを各ステレオカメラ６Ｌおよび６Ｒに全てのカメラに分配することで、各ステレオカメラ６Ｌおよび６Ｒが同期して撮像を行う構成となっている。このとき、各ステレオカメラ６Ｌおよび６Ｒが有するクロック生成器や、情報処理装置５０においてトリガを分配するためのトリガ分配部品、情報処理装置５０や各ステレオカメラ６Ｌおよび６Ｒにおけるトリガ配線長の差異などの影響により、実際に各ステレオカメラ６Ｌおよび６Ｒがトリガを取り込んで撮像を実行するタイミングに僅かなズレが発生する可能性がある。この撮像タイミングのズレは、可能な限り抑制することが好ましい。

【0145】

特に基線長が既知であるステレオカメラ６Ｌおよび６Ｒの間では、撮像タイミングのズレを極力抑えることが望ましい。例えば、カメラＩ／Ｆ５０１０ａから各ステレオカメラ６Ｌおよび６Ｒにトリガ供給の配線を行う際に、トリガの品質確保のための中継器や、静電ノイズなどから保護するためにフォトカプラを経由する場合がある。この場合に、ステレオカメラ６Ｌおよび６Ｒ間でこれら中継器やフォトカプラを共有することが望ましい。

【0146】

［実施形態に係る警告音発生制御］
次に、実施形態に係る警告音の発生制御について、より詳細に説明する。図１８は、実施形態に適用可能な、車両１が路面４の撮像を行うために走行する場合の、路面４と、ステレオカメラ６Ｌおよび６Ｒによるステレオ撮像範囲６０Ｌおよび６０Ｒと、の関係の例を示す図である。実施形態に係る撮像システム１０では、１または複数のステレオカメラを用いて路面４の撮像を行う。ここでは、上述したように、２台のステレオカメラ６Ｌおよび６Ｒを用いて路面４を撮像するものとする。

【0147】

図１８（ａ）は、車両１が車線の中央部分を走行している例を示す。図１８（ａ）に示されるように、車両１の後部の取付部２に取り付けられたステレオカメラ６Ｌおよび６Ｒにより、ステレオカメラ６Ｌおよび６Ｒそれぞれのステレオ撮像範囲６０Ｌおよび６０Ｒが互いに重複部分を持ち、且つ、車両１が走行中の路面４における車線の幅方向全てが当該ステレオ撮像範囲６０Ｌおよび６０Ｒに収まるように撮像を行う。

【0148】

ここで、車線の端に配される白線４１と、車線のセンターラインである白線４２とにより、路面４に対する撮像範囲境界が定義されるものとする。図１８（ａ）の例では、ステレオ撮像範囲６０Ｌおよび６０Ｒは、白線４１および４２を共に含んでいる。この場合、車両１は、路面４０を正常に進行しているものとされ、ＭＣＩを求めるために十分な路面４の撮像画像を得ることが可能である。

【0149】

図１８（ｂ）は、車両１が進行方向に対して右に寄ってしまった例を示す。この場合、ステレオカメラ６Ｌおよび６Ｒによるステレオ撮像範囲６０Ｌおよび６０Ｒに含まれるべき白線４１および４２のうち、進行方向に対して左側の白線４１が当該ステレオ撮像範囲６０Ｌおよび６０Ｒに含まれない事態が起こり得る。この場合、本来撮像されるべき路面４の一部が撮像されないことになり、撮像データが有効に利用できないおそれがある。

【0150】

運転者は、車両１自体が車線をはみ出して走行している場合には、目視で知覚できる。一方、ステレオ撮像範囲６０Ｌおよび６０Ｒに、車線の幅方向に対するマージンが少ない場合、車両１自体は車線内中央付近を走行していたとしても、白線４１または４２がステレオ撮像範囲６０Ｌおよび６０Ｒ内に含まれていない事態も有り得る。この場合は、運転者が目視でその状態を知覚するのは困難である。

【0151】

そこで、実施形態では、路面４において撮像すべき範囲の、ステレオ撮像範囲６０Ｌおよび６０Ｒ内での位置に応じて警告音を発生させるようにする。例えば、当該撮像すべき範囲がステレオ撮像範囲６０Ｌおよび６０Ｒ内で進行方向に対して右に寄っている場合、車両１が左に寄って走行していると判定して左側用のスピーカ８Ｌから警告音を出力させる。これにより、運転者は、当該撮像すべき範囲がステレオ撮像範囲６０Ｌおよび６０Ｒに収まるような運転を容易に実行できる。

【0152】

なお、ステレオ撮像範囲６０Ｌおよび６０Ｒそのものが右に寄ると、車両１は、右に寄っている。また、撮像すべき範囲が、フロントの右から左に移動した場合、例えばステレオ撮像範囲６０Ｌおよび６０Ｒの右側に位置するセンターラインが右から左に移動した場合、車両１は、右に寄っていることになる。

【0153】

図１９は、実施形態に係る警告音発生処理を示す一例のフローチャートである。情報処理装置５０は、ステップＳ２００で、撮像画像取得部５００により、路面４をステレオカメラ６Ｌおよび６Ｒにより撮像した各ステレオ撮像画像を取得する。以下、ステレオカメラ６Ｌおよび６Ｒにより撮像した各ステレオ撮像画像を、これらを特に区別する必要の無い限り、纏めて道路面画像として説明を行う。

【0154】

次のステップＳ２０１で、情報処理装置５０は、撮像範囲判定部５３０により、ステップＳ２００で取得された道路面画像から撮像範囲境界を検出する。ここでは、例として、車線を区分する白線を撮像範囲境界として検出するものとする。

【0155】

撮像範囲判定部５３０による撮像範囲境界の検出処理について、図２０を用いて説明する。図２０は、実施形態に適用可能な道路面画像の例を示す図である。図２０（ａ）は、白線４１および４２が配された路面４の例を示し、ステレオカメラ６Ｌおよび６Ｒによるステレオ撮像範囲６０Ｌおよび６０Ｒは、それぞれの一部が重複部分を有し、且つ、車線の幅方向が収まるように配置されている。したがって、ステレオ撮像範囲６０Ｌおよび６０Ｒは、白線４１および４２の画像が含まれる。

【0156】

図２０（ｂ）および図２０（ｃ）は、それぞれ、ステレオカメラ６Ｌおよび６Ｒによる、あるタイミングにおけるステレオ撮像画像６１Ｌおよび６１Ｒの例を示す。この例では、ステレオカメラ６Ｌによるステレオ撮像画像６１Ｌに白線４１の画像が含まれ（図２０（ｂ））、ステレオカメラ６Ｒによるステレオ撮像画像６１Ｒに白線４２の画像が含まれている（図２０（ｃ））。撮像範囲判定部５３０は、ステレオ撮像画像６１Ｌおよび６１Ｒの組を１枚の道路面画像と見做し、この道路面画像に対して、例えばハフ変換による直線検出を実施し、検出された直線の中から進行方向に略平行な直線を探索し、探索された直線を車線を区分する白線４１または４２であると判定する。

【0157】

次のステップＳ２０２で、撮像範囲判定部５３０は、道路面画像内に、撮像範囲境界が２つ検出されたか否かを判定する。撮像範囲判定部５３０は、撮像範囲境界が２つ検出されなかったと判定した場合（ステップＳ２０２、「Ｎｏ」）、処理をステップＳ２２０に移行させる。

【0158】

ステップＳ２２０で、撮像範囲判定部５３０は、ステップＳ２０２で検出されなかった撮像範囲境界が、進行方向に対して右側の撮像範囲境界であるかを判定する。撮像範囲判定部５３０は、検出されなかった撮像範囲境界が進行方向に対して右側の撮像範囲境界であると判定した場合（ステップＳ２２０、「Ｙｅｓ」）、処理をステップＳ２２１に移行させる。

【0159】

ステップＳ２２１で、情報処理装置５０において、音発生制御部５３１は、左側用のスピーカ８Ｌに出力させるための警告音を発生させる。この場合、車両１の進行方向が左側に寄っており、撮像すべき範囲が既に道路面画像に収まっていないため、発生させる警告音の音量を、比較的大きな第１の音量とする。

【0160】

一方、撮像範囲判定部５３０は、ステップＳ２２０で、検出されなかった撮像範囲境界が進行方向に対して右側の撮像範囲境界ではない、すなわち、検出されなかった撮像範囲境界が進行方向に対して左側の撮像範囲境界であると判定した場合（ステップＳ２２０、「Ｎｏ」）、処理をステップＳ２２２に移行させる。ステップＳ２２２で、音発生制御部５３１は、右側用のスピーカ８Ｒに出力させるための警告音を、第１の音量で発生させる。

【0161】

撮像範囲判定部５３０は、上述したステップＳ２０２において、２つの撮像範囲境界が検出されたと判定した場合（ステップＳ２０２、「Ｙｅｓ」）、処理をステップＳ２０３に移行させる。

【0162】

ステップＳ２０３で、撮像範囲判定部５３０は、検出された各撮像範囲境界の、道路面画像内での位置に基づく判定を行う。具体的には、撮像範囲判定部５３０は、検出された各撮像範囲境界と、道路面画像の端と、の間の画素数が所定数以上であるか否かを判定する。

【0163】

ここでは、撮像範囲判定部５３０は、道路面画像の進行方向に対して左右の各端と、検出された２つの撮像範囲境界において、当該各端に近い各撮像範囲境界との間の画素数を計数する。図２０の例では、道路面画像の左端と、道路面画像に含まれる白線４１の画像との間の画素数（左側画素数とする）と、道路面画像の右端と、道路面画像に含まれる白線４２の画像との間の画素数（右側画素数とする）とが、それぞれ所定数以上であるか否かを判定する。

【0164】

撮像範囲判定部５３０は、各撮像範囲境界と、道路面画像の端と、の間の画素数が所定数以上ではない、すなわち、所定数未満であると判定した場合（ステップＳ２０３、「Ｎｏ」）、処理をステップＳ２１０に移行させる。ステップＳ２１０で、撮像範囲判定部５３０は、右側画素数が所定値未満であるか否かを判定する。ここで、撮像範囲境界（白線４１または４２）が道路面画像に含まれるが、画像端に近い位置にある場合は、車両１の走行軌跡が撮像すべき範囲の左右何れかに寄っていて、撮像すべき範囲が道路面画像からはみ出してしまうおそれがあると判断できる。

【0165】

撮像範囲判定部５３０は、右側画素数が所定値未満であると判定した場合（ステップＳ２１０、「Ｙｅｓ」）、処理をステップＳ２１２に移行させる。ステップＳ２１２で、音発生制御部５３１は、左側用のスピーカ８Ｌに出力させるための警告音を発生させる。この場合、車両１の進行方向が左側に寄っているが、撮像すべき範囲は道路面画像に収まっている状態であるため、発生させる警告音の音量を、比較的小さな第２の音量とする。第２の音量は、上述した第１の音量よりも小さい音量である。

【0166】

一方、撮像範囲判定部５３０は、右側画素数が所定値未満ではない、すなわち、左側画素数が所定値未満であると判定した場合（ステップＳ２１０、「Ｎｏ」）、処理をステップＳ２１１に移行させる。ステップＳ２１１で、音発生制御部５３１は、右側用のスピーカ８Ｒに出力させるための警告音を、第２の音量で発生させる。

【0167】

ステップＳ２１１、ステップＳ２１２、ステップＳ２２１またはステップＳ２２２で警告音が発生されると、この図１９のフローチャートにおける一連の処理が終了される。

【0168】

上述のステップＳ２０３において、撮像範囲判定部５３０は、各撮像範囲境界と、道路面画像の端と、の間の画素数が所定数以上であると判定した場合（ステップＳ２０３、「Ｙｅｓ」）、この図１９のフローチャートにおける一連の処理を終了させる。すなわち、この場合は、撮像すべき範囲が余裕を持って道路面画像に収まっているとして、警告音を発しない。

【0169】

上述した図１９のフローチャートによる処理は、例えばステレオカメラ６Ｌおよび６Ｒによる１回の撮像毎（１フレームの撮像毎）に実行される。これに限らず、図１９のフローチャートにおける処理を、ステレオカメラ６Ｌおよび６Ｒによる複数回の撮像毎に実行してもよい。

【0170】

なお、上述では、音発生制御部５３１は、撮像範囲境界が２つ検出されたか否かに応じて警告音の音量を第１の音量および第２の音量の２段階で制御しているが、これはこの例に限定されない。

【0171】

例えば、音発生制御部５３１は、撮像範囲境界が２つ検出されたか否かに応じて、警告音の周波数を変化させてもよい。この場合、ステップＳ２２０の判定において第１の周波数の警告音とし、ステップＳ２１０の判定においては、第１の周波数より低い第２の周波数の警告音とすることが考えられる。

【0172】

また例えば、音発生制御部５３１は、警告音を間欠発生の音とし、撮像範囲境界が２つ検出されたか否かに応じて、間欠発生の間隔を変えてもよい。この場合、ステップＳ２２０の判定において第１の間隔で警告音を発生し、ステップＳ２１０の判定においては、第１の周波数より間隔の長い第２の間隔で警告音を発生することが考えられる。

【0173】

さらにまた、音発生制御部５３１は、警告音の音量を、撮像範囲境界と道路面画像との間の画素数に応じて、警告音の音量、周波数、あるいは、間欠発生の間隔を変化させることも考えられる。

【0174】

［実施形態の変形例］
次に、実施形態の変形例について説明する。上述した実施形態における図１９のフローチャートによる処理では、路面４に配される左右の白線４１および４２を検出している。これに対して、実施形態の変形例では、路面４に配される左右の白線４１および４２のうち一方のみを検出して撮像範囲の判定を行う。

【0175】

実施形態の変形例では、道路面画像に対して白線４１または４２が理想的な位置に含まれる場合のラインを基準ラインとして予め設定する。基準ラインは、例えば、道路面画像における、進行方向に垂直な軸（Ｘ軸とする）の、画素単位の座標（Ｘ座標）で設定される。また、検出された白線４１または４２と基準ラインとがこれ以上離れていると撮像すべき範囲が道路面画像からはみ出すおそれがあると判定するための第１の閾値と、これ以上離れていると撮像すべき範囲が道路面画像からはみ出していると判定するための、第１の閾値より大きな第２の閾値と、を予め設定する。なお、これら、基準ライン、第１の閾値および第２の閾値は、車両１が走行する走行車線の車線幅に応じて設定する。

【0176】

実施形態の変形例に係る撮像範囲判定部５３０は、道路面画像に含まれる白線４１または４２の画像のＸ座標と、この基準ラインのＸ座標との差分と、第１の閾値および第２の閾値と、に基づき、撮像範囲の判定を行う。

【0177】

図２１は、実施形態の変形例に係る警告音発生処理を示す一例のフローチャートである。図２１のフローチャートにおいて、情報処理装置５０は、ステップＳ３００で、撮像画像取得部５００により、路面４をステレオカメラ６Ｌおよび６Ｒにより撮像した各ステレオ撮像画像を、道路面画像として取得する。次のステップＳ３０１で、情報処理装置５０は、撮像範囲判定部５３０により、ステップＳ３００で取得された道路面画像から撮像範囲境界を検出する。ここでは、例として、車線を区分する白線４１および４２のうち、左側の白線４１を撮像範囲境界として検出するものとする。

【0178】

ステップＳ３０２で、撮像範囲判定部５３０は、道路面画像内に、撮像範囲境界が検出されたか否かを判定する。撮像範囲判定部５３０は、撮像範囲境界が検出されなかったと判定した場合（ステップＳ３０２、「Ｎｏ」）、処理をステップＳ３２２に移行させる。この場合、車両１の進行方向が右に寄っており、且つ、撮像すべき範囲が既に道路面画像に収まっていないと判断できる。

【0179】

ステップＳ３２２で、音発生制御部５３１は、右側用のスピーカ８Ｒに出力させるための警告音を、上述した、比較的大きな音量である第１の音量で発生させる。

【0180】

撮像範囲判定部５３０は、ステップＳ３０２で、道路面画像内に、撮像範囲境界が検出されたと判定した場合（ステップＳ３０２、「Ｙｅｓ」）、処理をステップＳ３０３に移行させる。ステップＳ３０３で、撮像範囲判定部５３０は、検出された撮像範囲境界と、基準ラインとの間の画素数が第１の閾値未満であるか否かを判定する。撮像範囲判定部５３０は、当該画素数が第１の閾値未満ではない、すなわち、第１の閾値以上であると判定した場合（ステップＳ３０３、「Ｎｏ」）、処理をステップＳ３０４に移行させる。

【0181】

ステップＳ３０４で、撮像範囲判定部５３０は、ステップＳ３０１で検出された撮像範囲境界と、基準ラインとの間の画素数が第２の閾値未満であるか否かを判定する。撮像範囲判定部５３０は、当該画素数が第２の閾値未満ではない、すなわち、第２の閾値以上であると判定した場合（ステップＳ３０４、「Ｎｏ」）、処理をステップＳ３２０に移行させる。この場合、撮像すべき範囲が道路面画像から既にはみ出していると判断できる。

【0182】

ステップＳ３２０で、撮像範囲判定部５３０は、ステップＳ３０１で検出された撮像範囲境界の位置が、基準ラインに対して、進行方向の右側であるか否かを判定する。右側であると判定した場合（ステップＳ３２０、「Ｙｅｓ」）、処理をステップＳ３２１に移行させる。ステップＳ３２１で、音発生制御部５３１は、左側用のスピーカ８Ｌに出力させるための警告音を、第１の音量で発生させる。

【0183】

一方、撮像範囲判定部５３０は、ステップＳ３０１で検出された撮像範囲境界の位置が、基準ラインに対して、進行方向の右側ではない、すなわち、進行方向の左側であると判定した場合（ステップＳ３２０、「Ｎｏ」）、処理を上述したステップＳ３２２に移行させる。ステップＳ３２２で、音発生制御部５３１は、右側用のスピーカ８Ｒに出力させるための警告音を、第１の音量で発生させる。

【0184】

上述したステップＳ３０４で、撮像範囲判定部５３０は、ステップＳ３０１で検出された撮像範囲境界と、基準ラインとの間の画素数が第２の閾値未満であると判定した場合（ステップＳ３０４、「Ｙｅｓ」）、処理をステップＳ３１０に移行させる。この場合、撮像すべき範囲が道路面画像からはみ出す可能性があるが、未だはみ出していないと判断できる。

【0185】

ステップＳ３１０で、撮像範囲判定部５３０は、ステップＳ３０１で検出された撮像範囲境界の位置が、基準ラインに対して、進行方向の右側であるか否かを判定する。右側であると判定した場合（ステップＳ３１０、「Ｙｅｓ」）、処理をステップＳ３１１に移行させる。ステップＳ３１１で、音発生制御部５３１は、左側用のスピーカ８Ｌに出力させるための警告音を、比較的小さな音量である第２の音量で発生させる。

【0186】

一方、撮像範囲判定部５３０は、ステップＳ３０１で検出された撮像範囲境界の位置が、基準ラインに対して、進行方向の右側ではない、すなわち、進行方向の左側であると判定した場合（ステップＳ３１０、「Ｎｏ」）、処理をステップＳ３１２に移行させる。ステップＳ３１２で、音発生制御部５３１は、右側用のスピーカ８Ｒに出力させるための警告音を、第２の音量で発生させる。

【0187】

このように、撮像範囲の判定を、路面４に配される左右の白線４１および４２のうち一方のみを検出して行う場合であっても、車両１の進行方向が撮像すべき範囲に対して左右何れかに寄っているかを判定でき、運転者は、当該撮像すべき範囲がステレオ撮像範囲６０Ｌおよび６０Ｒに収まるような運転を容易に実行できる。

【0188】

なお、実施形態の変形例においても、上述の実施形態と同様に、音発生制御部５３１は、撮像範囲境界と基準ラインとの間の画素数が第２の閾値未満であるか否かに応じて警告音の音量を第１の音量および第２の音量の２段階で制御しているが、これはこの例に限定されない。

【0189】

例えば、音発生制御部５３１は、撮像範囲境界と基準ラインとの間の画素数に応じて、警告音の周波数を変化させてもよい。この場合、ステップＳ３２０の判定において第１の周波数の警告音とし、ステップＳ３１０の判定においては、第１の周波数より低い第２の周波数の警告音とすることが考えられる。

【0190】

また例えば、音発生制御部５３１は、警告音を間欠発生の音とし、撮像範囲境界と基準ラインとの間の画素数に応じて、間欠発生の間隔を変えてもよい。この場合、ステップＳ３２０の判定において第１の間隔で警告音を発生し、ステップＳ３１０の判定においては、第１の周波数より間隔の長い第２の間隔で警告音を発生することが考えられる。

【0191】

さらにまた、音発生制御部５３１は、警告音の音量を、撮像範囲境界と基準ラインとの間の画素数に応じて、警告音の音量、周波数、あるいは、間欠発生の間隔を変化させることも考えられる。

【0192】

なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

【符号の説明】

【0193】

１ 車両
４ 路面
５ ＰＣ
６，６Ｃ，６Ｌ，６Ｒ ステレオカメラ
６Ｌ_L，６Ｌ_R，６Ｒ_L，６Ｒ_R 撮像レンズ
８Ｌ，８Ｒ スピーカ
１０ 撮像システム
４１，４２ 白線
５０ 情報処理装置
６０Ｃ，６０Ｌ，６０Ｒ ステレオ撮像範囲
６０Ｃ_L，６０Ｃ_R，６０Ｌ_L，６０Ｌ_R，６０Ｒ_L，６０Ｒ_R 撮像範囲
１００₁，１００₂ 撮像部
１０１，５０４ 撮像制御部
１０２，５３０ 撮像範囲判定部
１０３，５３１ 音発生制御部
１０４ 音発生部
５００ 撮像画像取得部
５０３ 撮像画像記憶部
５０１１ オーディオＩ／Ｆ
５０２１ 速度取得部

【先行技術文献】

【特許文献】

【0194】

【文献】特開２００４－０８６４５５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】