▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-01
(45)【発行日】2022-11-10
(54)【発明の名称】撮像制御装置および撮像制御方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20221102BHJP
H04N 5/235 20060101ALI20221102BHJP
G03B 15/00 20210101ALI20221102BHJP
G03B 5/00 20210101ALI20221102BHJP
G03B 7/093 20210101ALI20221102BHJP
H04N 5/243 20060101ALI20221102BHJP
B60R 1/00 20220101ALI20221102BHJP
【ＦＩ】
H04N5/232 220
H04N5/235 300
G03B15/00 V
G03B5/00 L
G03B7/093
G03B15/00 Q
G03B15/00 R
H04N5/243
B60R1/00
【請求項の数】
11
(21)【出願番号】P 2018043119
(22)【出願日】2018-03-09
(65)【公開番号】P2019029986
(43)【公開日】2019-02-21
【審査請求日】2020-09-15
(31)【優先権主張番号】P 2017145999
(32)【優先日】2017-07-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】中田 洋平
(72)【発明者】
【氏名】大山 慎史
(72)【発明者】
【氏名】山口 拓也
(72)【発明者】
【氏名】竹内 一真
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開２０１６－０５２１３４（ＪＰ，Ａ）
【文献】特開２００９－１１８１３５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ５／２３５
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ ５／００
Ｇ０３Ｂ ７／０９３
Ｈ０４Ｎ ５／２４３
Ｂ６０Ｒ １／００
(57)【特許請求の範囲】
【請求項1】
車両に配置された撮像装置に前記車両の周囲を撮像させる撮像制御装置であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定する第１位置推定部と、
前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定される位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、前記第１位置推定部により推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定する路面推定部と、
前記路面推定部によって推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更する変更部と、
前記第１位置推定部により推定された前記車両が将来走行する位置を前記車両が通過するタイミングで、前記変更部によって変更された前記パラメータを用いて前記撮像装置に撮像させる制御部と、を備え、
前記第１位置推定部は、前記速度ベクトルを取得し、
前記変更部は、
前記路面推定部により推定された前記路面の前記進行方向に沿った高さの変化率と、前記速度ベクトルとから、前記タイミングで前記撮像装置の撮像面と平行な方向に前記撮像装置が移動する速度の大きさを推定し、
推定した前記平行な方向の速度の大きさが大きいほど、（ｉ）前記シャッタースピードを小さい値へ変更する、および、（ｉｉ）前記感度を大きい値へ変更する、の少なくとも一方を行う
撮像制御装置。
【請求項2】
車両に配置された撮像装置に前記車両の周囲を撮像させる撮像制御装置であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定する第１位置推定部と、
前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定される位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、前記第１位置推定部により推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定する路面推定部と、
前記路面推定部によって推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更する変更部と、
前記第１位置推定部により推定された前記車両が将来走行する位置を前記車両が通過するタイミングで、前記変更部によって変更された前記パラメータを用いて前記撮像装置に撮像させる制御部と、を備え、
前記路面推定部は、
前記第１位置推定部により推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率を推定し、
前記変更部は、
前記車両が将来走行すると推定された位置における前記路面の前記進行方向に沿った高さの変化率に応じて前記撮像装置のパラメータを変更する
撮像制御装置。
【請求項3】
さらに、前記車両の現在位置を推定する第２位置推定部を備え、
前記第１位置推定部は、前記第２位置推定部により推定された前記車両の前記現在位置をさらに用いて、前記車両の前記将来走行する位置を推定する
請求項１に記載の撮像制御装置。
【請求項4】
さらに、
前記車両の現在位置を推定する第２位置推定部を備え、
前記第１位置推定部は、前記第２位置推定部により推定された前記車両の前記現在位置をさらに用いて、前記車両の前記将来走行する位置を推定する
請求項２に記載の撮像制御装置。
【請求項5】
前記第１位置推定部は、前記速度ベクトルを取得し、前記変更部は、
前記路面推定部により推定された前記路面の前記進行方向に沿った高さの変化率と、前記速度ベクトルとから、前記タイミングで前記撮像装置の撮像面と平行な方向に前記撮像装置が移動する速度の大きさを推定し、
推定した前記平行な方向の速度の大きさが大きいほど、（ｉ）前記シャッタースピードを小さい値へ変更する、および、（ｉｉ）前記感度を大きい値へ変更する、の少なくとも一方を行う
請求項２に記載の撮像制御装置。
【請求項6】
前記変更部は、推定した前記平行な方向の速度の大きさに応じて、前記シャッタースピードを決定し、
決定した前記シャッタースピードにおいて前記撮像装置が撮像することにより得られた画像から物体を所定の認識アルゴリズムで認識する場合の認識率が所定値よりも大きくなるノイズレベルおよび露出を特定し、
決定した前記シャッタースピード、および、特定した前記露出に応じた感度に、前記撮像装置の前記パラメータを変更する
請求項１または３に記載の撮像制御装置。
【請求項7】
さらに、前記撮像装置により撮像された前記画像を取得し、取得した前記画像内の物体のブレを検知し、前記画像内の前記物体のブレを検知した場合、（ｉ）前記シャッタースピードをより小さい値へ変更する、および、（ｉｉ）前記感度をより大きい値へ変更する、の少なくとも一方を前記変更部に行わせるブレ補正部を備える
請求項１から６のいずれか１項に記載の撮像制御装置。
【請求項8】
さらに、前記撮像装置の複数回の撮像により得られる複数の画像のそれぞれに含まれる物体の位置の変化に基づいて、前記物体の移動速度を推定し、推定した前記移動速度の大きさが大きいほど、（ｉ）前記シャッタースピードを小さい値へ変更する、および、（ｉｉ）前記感度を大きい値へ変更する、の少なくとも一方を前記変更部に行わせる速度補正部を備える
請求項１から７のいずれか１項に記載の撮像制御装置。
【請求項9】
前記変更部は、前記撮像装置が配置されている環境の照度を検出する照度センサによる検出結果である照度が示す照度情報を取得し、取得した前記照度情報が示す照度が小さいほど、（ｉ）前記シャッタースピードを小さい値へ変更する、および、（ｉｉ）前記感度を大きい値へ変更する、の少なくとも一方を行う請求項１から８のいずれか１項に記載の撮像制御装置。
【請求項10】
車両に配置された撮像装置に前記車両の周囲を撮像させる撮像制御装置による撮像制御方法であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定し、
前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定される位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、推定した前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定し、
推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更し、
推定され前記車両が将来走行する位置を前記車両が通過するタイミングで、変更した前記パラメータを用いて前記撮像装置に撮像させ、
前記車両が将来走行する位置の推定において、前記速度ベクトルを取得し、
前記撮像装置のパラメータの変更において、
推定された前記路面の前記進行方向に沿った高さの変化率と、前記速度ベクトルとから、前記タイミングで前記撮像装置の撮像面と平行な方向に前記撮像装置が移動する速度の大きさを推定し、
推定した前記平行な方向の速度の大きさが大きいほど、（ｉ）前記シャッタースピードを小さい値へ変更する、および、（ｉｉ）前記感度を大きい値へ変更する、の少なくとも一方を行う
撮像制御方法。
【請求項11】
車両に配置された撮像装置に前記車両の周囲を撮像させる撮像制御装置による撮像制御方法であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定し、
前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定される位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、推定した前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定し、
推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更し、
推定され前記車両が将来走行する位置を前記車両が通過するタイミングで、変更した前記パラメータを用いて前記撮像装置に撮像させ、
前記路面の状態の推定において、
推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率を推定し、
前記撮像装置のパラメータの変更において、
前記車両が将来走行すると推定された位置における前記路面の前記進行方向に沿った高さの変化率に応じて前記撮像装置のパラメータを変更する
撮像制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両に配置されている撮像装置を制御する撮像制御装置および撮像制御方法に関する。
【背景技術】
【0002】
従来、特許文献１には、車両の前方を撮像装置により撮像し、これにより得られた撮像画像から特定の標示物を認識する報知処理装置が開示されている。特許文献１のように、車両の周囲を撮像することにより得られた画像を用いて、当該車両の自動運転または自動運転支援のために路面上の物体を認識することが知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－１０２００７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術では、車両に配置されている撮像装置により得られた画像から物体を容易に認識することが難しかった。
【0005】
そこで、本開示では、物体の認識が容易である画像を撮像装置に撮像させることができる撮像制御装置などを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る撮像制御装置は、車両に配置された撮像装置に前記車両の周囲を撮像させる撮像制御装置であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定する第１位置推定部と、前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定される位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、前記第１位置推定部により推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定する路面推定部と、前記路面推定部によって推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更する変更部と、前記第１位置推定部により推定された前記車両が将来走行する位置を前記車両が通過するタイミングで、前記変更部によって変更された前記パラメータを用いて前記撮像装置に撮像させる制御部と、を備える。
【0007】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0008】
本開示に係る撮像制御装置によれば、物体の認識が容易である画像を撮像装置に撮像させることができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、報知処理装置に関し、以下の問題が生じることを見出した。
本発明者は、「背景技術」の欄において記載した、報知処理装置に関し、以下の問題が生じることを見出した。
【0011】
特許文献１の技術では、砂利面、石畳などの悪路、凹凸、段差などの路面を車両が走行することによって、車両の姿勢に急激な変化が生じた場合、車両に配置されている撮像装置の姿勢も急激に変化する。このため、撮像装置により得られた画像にブレ、歪みなどが生じ、当該画像中に映り込んでいる物体（人を含む）を認識することが難しい。
【0012】
本開示の一態様に係る撮像制御装置は、車両に配置されている撮像装置に前記車両の周囲を撮像させる撮像制御装置であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定する第１位置推定部と、前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定される位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、前記第１位置推定部により推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定する路面推定部と、前記路面推定部によって推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更する変更部と、前記第１位置推定部により推定された前記将来走行する位置を前記車両が通過するタイミングで、前記変更部によって変更された前記パラメータを用いて前記撮像装置に撮像させる制御部と、を備える。
【0013】
これによれば、車両が将来走行する位置における路面を実際に通過するタイミングにおいて、予め推定した当該路面の形状または状態に応じて変更したパラメータで撮像装置に撮像させることができる。つまり、車両の進行方向に沿った路面の高さの変化率または路面の状態に応じて適切に設定したパラメータで撮像装置に撮像させることができるため、物体の認識が容易である画像を撮像装置に撮像させることができる。
【0014】
また、さらに、前記車両の現在位置を推定する第２位置推定部を備え、前記第１位置推定部は、前記第２位置推定部により推定された前記車両の前記現在位置をさらに用いて、前記車両の前記将来走行する位置を推定してもよい。
【0015】
このため、将来走行する位置を精度よく推定することができる。
【0016】
また、前記第１位置推定部は、前記速度ベクトルを取得し、前記変更部は、前記路面推定部により推定された前記路面の前記進行方向に沿った高さの変化率と、前記速度ベクトルとから、前記タイミングで前記撮像装置の撮像面と平行な方向に前記撮像装置が移動する速度の大きさを推定し、推定した前記平行な方向の速度の大きさが大きいほど、（ｉ）前記シャッタースピードを小さい値へ変更する、および、（ｉｉ）前記感度を大きい値へ変更する、の少なくとも一方を行ってもよい。
【0017】
このため、撮像装置の平行な方向の速度の大きさが大きいほど、シャッタースピードを小さい値へ変更する、および、感度を大きい値へ変更する、の少なくとも一方を行った状態で撮像装置に撮像させる。よって、得られた画像にブレ、歪みなどが生じることを低減できる。
【0018】
また、前記変更部は、推定した前記平行な方向の速度の大きさに応じて、前記シャッタースピードを決定し、決定した前記シャッタースピードにおいて前記撮像装置が撮像することにより得られた画像から物体を所定の認識アルゴリズムで認識する場合の認識率が所定値よりも大きくなるノイズレベルおよび露出を特定し、決定した前記シャッタースピード、および、特定した前記露出に応じた感度に、前記撮像装置の前記パラメータを変更してもよい。
【0019】
このため、画像中に映り込んでいる物体の認識率が向上するパラメータで撮像装置に撮像させることができる。よって、物体の認識が容易である画像を撮像装置に撮像させることができる。
【0020】
また、さらに、前記撮像装置により撮像された前記画像を取得し、取得した前記画像内の物体のブレを検知し、前記画像内の前記物体のブレを検知した場合、（ｉ）前記シャッタースピードをより小さい値へ変更する、および、（ｉｉ）前記感度をより大きい値へ変更する、の少なくとも一方を前記変更部に行わせるブレ補正部を備えてもよい。
【0021】
このため、変更部により変更されたパラメータで撮像した画像中にブレが生じている場合であっても、次のタイミングで撮像するときにはブレが生じないように変更したパラメータで撮像装置に撮像させることができる。
【0022】
また、さらに、前記撮像装置の複数回の撮像により得られる複数の画像のそれぞれに含まれる物体の位置の変化に基づいて、前記物体の移動速度を推定し、推定した前記移動速度の大きさが大きいほど、（ｉ）前記シャッタースピードを小さい値へ変更する、および、（ｉｉ）前記感度を大きい値へ変更する、の少なくとも一方を前記変更部に行わせる速度補正部を備えてもよい。
【0023】
このため、物体が撮像装置の撮像範囲内で移動している場合であっても、当該物体を適切なパラメータで撮像装置に撮像させることができる。
【0024】
また、前記変更部は、前記撮像装置が配置されている環境の照度を検出する照度センサによる検出結果である照度が示す照度情報を取得し、取得した前記照度情報が示す照度が小さいほど、（ｉ）前記シャッタースピードを小さい値へ変更する、および、（ｉｉ）前記感度を大きい値へ変更する、の少なくとも一方を行ってもよい。
【0025】
このため、照度に応じて、適切なパラメータで撮像装置に撮像させることができる。
【0026】
前記路面推定部は、前記第１位置推定部により推定された前記将来走行する位置における前記路面の前記進行方向に沿った高さの変化率を推定し、前記変更部は、前記車両が将来走行すると推定された位置における前記路面の前記進行方向に沿った高さの変化率に応じて前記撮像装置のパラメータを変更してもよい。
【0027】
このように構成すれば、将来車両が走行すると推定される位置における路面の進行方向に沿った高さの変化率に応じて撮像装置のパラメータを変更することができる。
【0028】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【0029】
以下、本発明の一態様に係る撮像制御装置および撮像制御方法について、図面を参照しながら具体的に説明する。
【0030】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0031】
【0032】
［１－１．構成］
図１は、実施の形態に係る車両の外観図を示す図である。
図１は、実施の形態に係る車両の外観図を示す図である。
【0033】
車両２００には、車両の前方を撮像する撮像装置２１０が配置されている。撮像装置２１０は、車両２００の前方に限らずに、車両２００の周囲を撮像すればよく、車両２００の左方向、右方向、後方向などを撮像してもよい。撮像装置２１０により撮像された画像は、車両２００の周囲の物体を認識するために利用される。認識された結果は、車両２００の自動運転または運転支援に利用される。
【0034】
車両２００の上部には、距離センサ２０１が配置されている。距離センサ２０１は、車両２００の周囲の物体までの距離を検出する。距離センサ２０１により検出された距離を示す距離情報は、例えば、自動運転または自動運転支援における当該車両２００の位置の推定に用いられる。
【0035】
撮像制御装置１００は、撮像装置２１０による撮像を制御する。
【0036】
次に、撮像制御装置１００を備える車両２００のハードウェア構成の具体例について図２を用いて説明する。
【0037】
図２は、実施の形態に係る撮像制御装置を備える車両のハードウェア構成の一例を示すブロック図である。
【0038】
図２に示すように、車両２００は、ハードウェア構成として、撮像制御装置１００と、撮像装置２１０と、距離センサ２０１と、運転制御装置３００とを備える。車両２００は、さらに、加速度センサ２０２と、照度センサ２０３とを備えていてもよい。
【0039】
撮像制御装置１００は、ハードウェア構成として、ＣＰＵ１０１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、メインメモリ１０２と、ストレージ１０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４とを備える。撮像制御装置１００は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）１０５を備えていてもよい。また、撮像制御装置１００は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であってもよい。
【0040】
ＣＰＵ１０１は、ストレージ１０３等に記憶された制御プログラムを実行するプロセッサである。例えば、ＣＰＵ１０１が、制御プログラムを実行することで、後述する図３に示す撮影制御装置１００の各ブロックが機能する。
【0041】
メインメモリ１０２は、ＣＰＵ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
【0042】
ストレージ１０３は、制御プログラム、コンテンツなどを保持する不揮発性の記憶領域である。
【0043】
通信ＩＦ１０４は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信ネットワークを介して撮像装置２１０と通信する通信インタフェースである。なお、通信ＩＦ１０４は、有線通信の通信インタフェースに限らずに無線通信の通信インタフェースであってもよい。また、通信ＩＦ１０４は、撮像装置２１０、運転制御装置３００、各種センサ２０１～２０３などとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。また、通信ＩＦ１０４は、インターネットなどの汎用ネットワークまたは専用ネットワークに通信接続可能な通信インタフェースであってもよい。
【0044】
ＧＮＳＳ１０５は、ＧＰＳ衛星を含む人工衛星から当該ＧＮＳＳ１０５の位置を示す情報を受信する。つまり、ＧＮＳＳ１０５は、車両２００の現在位置を検出する。
【0045】
撮像装置２１０は、レンズなどの光学系およびイメージセンサを有するカメラである。撮像装置２１０は、撮像制御装置１００と相互に通信可能に接続されている。
【0046】
距離センサ２０１は、車両２００の周囲の物体との距離を検出する。距離センサ２０１は、具体的には、車両２００の水平方向において３６０度全方位、および、垂直方向において所定の角度（例えば３０度）の角度範囲の検出範囲にある物体との距離を検出する。距離センサ２０１により検出された距離から車両２００の周囲の物体を含む地形の３次元形状を生成することができる。例えば、車両２００の周囲の物体を含む地形の３次元形状として、走行する車両２００の周囲の障害物および路面の３次元形状を生成することができる。なお、距離センサ２０１の検出範囲を上述のような範囲にすれば、車両が将来走行する路面を含む３次元形状を生成することができる。距離センサ２０１は、例えば、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などのレーザセンサである。
【0047】
加速度センサ２０２は、例えば、車両２００の３軸方向のそれぞれにおける加速度を検出するセンサである。加速度センサ２０２は、水平方向の２軸のそれぞれにおける加速度を検出するセンサであってもよい。加速度センサ２０２は、３軸方向のそれぞれにおける車両２００の加速度を検出することで、車両２００の速度ベクトルを検出する。
【0048】
照度センサ２０３は、撮像装置２１０が配置されている空間に配置され、当該空間の照度を検出する。照度センサ２０３は、例えば、車両２００の車内に配置されてもよい。
【0049】
運転制御装置３００は、車両２００の運転を制御する情報処理装置である。運転制御装置３００は、例えば、ＣＰＵ、メインメモリ、ストレージ、通信ＩＦなどを有する。運転制御装置３００は、撮像制御装置１００と共通の構成で実現されてもよい。つまり、運転制御装置３００は、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３、および通信ＩＦ１０４で実現されていてもよい。また、運転制御装置３００は、例えば、ＥＣＵで実現されていてもよく、撮像制御装置１００がＥＣＵで実現されている場合、撮像制御装置１００を実現するＥＣＵで実現されていてもよいし、撮像制御装置１００を実現するＥＣＵとは異なるＥＣＵで実現されていてもよい。
【0050】
次に、撮像制御装置を備える車両の機能構成について図３を用いて説明する。
【0051】
図３は、実施の形態に係る撮像制御装置を備える車両の機能構成の一例を示すブロック図である。
【0052】
車両２００は、機能構成として、撮像制御装置１００と、撮像装置２１０と、路面検出部２２０と、速度検出部２３０と、照度検出部２４０と、運転制御装置３００とを備える。
【0053】
撮像装置２１０は、車両２００の周囲を撮像することにより、車両２００の周囲の画像を生成する。撮像装置２１０は、異なる複数のタイミングで車両２００の周囲を撮像する。撮像装置２１０は、例えば、１／３０秒、１／２０秒などの所定のサンプリング周期で車両２００の周囲を撮像する。撮像装置２１０の撮影範囲は、距離センサ２０１の検出範囲と同様に、例えば、車両２００の水平方向において３６０度全方位、および、垂直方向において所定の角度（例えば３０度）の角度範囲を撮像範囲としてもよい。なお、撮像装置２１０の撮影範囲を上述のような範囲にすれば、車両が将来走行する路面を含む３次元形状を生成することができる。
【0054】
なお、撮像装置２１０のサンプリング周期は、１／３０秒、１／２０秒に限るものではない。また、撮像装置２１０は、所定のサンプリング周期で撮像しなくてもよく、ランダムな時間間隔で撮像してもよいし、状況に応じて撮像するタイミングを調整してもよい。
【0055】
路面検出部２２０は、車両２００の路面の形状または路面の状態を推定するための路面情報を検出する。路面検出部２２０は、例えば、車両２００から車両２００の周囲の物体までの距離を検出する。また、路面検出部２２０は、例えば、車両２００の周囲の路面におけるレーザの反射率を検出してもよい。路面検出部２２０は、例えば、センサ、より具体的には、距離センサ２０１により実現される。例えば、距離センサ２０１により検出される車両２００の周囲の路面までの距離情報が車両２００の路面の形状を推定するための路面情報、車両２００の周囲の路面におけるレーザの反射率が路面の状態を推定するための路面情報に対応する。
【0056】
速度検出部２３０は、車両２００の速度ベクトルを検出する。車両２００の速度ベクトルとは、例えば、車両２００の進行方向および、この進行方向に進む車両２００の速さを示す情報である。速度ベクトルは、移動速度ともいう。つまり、速度検出部２３０は、車両２００の進行方向および当該進行方向への移動速度の大きさを検出する。速度検出部２３０は、例えば、加速度センサ２０２により実現される。
【0057】
照度検出部２４０は、撮像装置２１０が配置されている空間の照度を検出する。照度検出部２４０は、例えば、車両２００の車内の照度を検出する。照度検出部２４０は、例えば、照度センサ２０３により実現される。
【0058】
運転制御装置３００は、車両２００の運転を制御する。具体的には、運転制御装置３００は、車輪の操舵を行うステアリング、車輪を回転駆動させるエンジン、モータなどの動力源、車輪の制動するブレーキなどを制御することで、車両２００の自動運転または運転支援を行う。例えば、運転制御装置３００は、車両２００の現在位置、車両２００の目的地、および周囲の道路情報を用いて、車両２００がどの道路を走行するかを示すグローバル経路を決定する。そして、運転制御装置３００は、決定したグローバル経路上において、車両２００が走行するローカル経路を示すローカル経路データを生成する。また、運転制御装置３００は、走行中に、撮像装置２１０により撮像された画像、および、距離センサ２０１により検出された物体までの距離の少なくとも一方を用いて、車両２００の進行方向に障害物を検出する。これにより、運転制御装置３００は、障害物を検出すれば、決定したグローバル経路において当該障害物を避けるローカル経路を示すローカル経路データを生成する。また、運転制御装置３００は、生成した経路データが示す経路上を走行するようにステアリング、動力源およびブレーキを制御する。運転制御装置３００は、生成した経路データ、障害物を検出した結果を示す障害物情報などを撮像制御装置１００に出力してもよい。
【0059】
撮像制御装置１００は、機能構成として、第１位置推定部１１０と、路面推定部１２０と、変更部１３０と、制御部１４０とを備える。撮像制御装置１００は、さらに、第２位置推定部１５０を備えていてもよい。また、撮像制御装置１００は、さらに、速度補正部（図示せず）を備えていてもよい。また、撮像制御装置１００は、さらに、ブレ補正部（図示せず）を備えていてもよい。
【0060】
第２位置推定部１５０は、車両２００の現在位置を推定する。第２位置推定部１５０は、例えば、ＧＮＳＳ１０５で受信された情報を用いて車両２００の現在位置を推定してもよい。この場合、第２位置推定部１５０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３およびＧＮＳＳ１０５により実現される。
【0061】
また、第２位置推定部１５０は、車両２００の操舵角および車輪速の履歴を用いて車両２００の現在位置を推定してもよい。この場合、第２位置推定部１５０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。車両２００の操舵角および車輪速の履歴は、通信ＩＦ１０４を介して、定期的にストレージ１０３が記憶していてもよい。また、車両２００の操舵角および車輪速の履歴は、車両２００のステアリングの変動履歴、および、車輪速の変動履歴を記憶している他のストレージから通信ＩＦ１０４を介して取得されてもよい。
【0062】
また、第２位置推定部１５０は、車両２００の加速度の履歴を用いて車両２００の現在位置を推定してもよい。この場合、第２位置推定部１５０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。加速度の履歴は、通信ＩＦ１０４を介して、定期的にストレージ１０３が記憶していてもよい。また、車両２００の加速度の履歴は、車両２００に配置されている加速度センサの検出結果を記憶している他のストレージから通信ＩＦ１０４を介して取得されてもよい。
【0063】
また、第２位置推定部１５０は、距離センサ２０１により検出された距離から生成した車両２００の周囲の地形の３次元形状と、予め取得されている地形の３次元形状とをマッチングさせることにより車両２００の現在位置を推定してもよい。この場合、第２位置推定部１５０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。距離センサ２０１により検出された距離を示す距離情報は、通信ＩＦ１０４を介して取得されてもよい。
【0064】
第１位置推定部１１０は、車両２００の速度ベクトルまたは経路データを取得し、取得した速度ベクトルまたは経路データを用いて車両２００の将来走行する位置を推定する。第１位置推定部１１０は、速度ベクトルを速度検出部２３０から取得してもよい。なお、第１位置推定部１１０は、第２位置推定部１５０により推定されている車両２００の現在位置の時間的な推移から算出される車両２００の進行方向および速さから速度ベクトルを取得してもよい。第１位置推定部１１０は、経路データを運転制御装置３００から取得してもよい。第１位置推定部１１０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。
【0065】
第１位置推定部１１０は、車両２００が将来走行すると推定される位置として、車両２００の経路データから特定される経路上における当該車両２００から所定の距離だけ離れた位置を推定してもよい。なお、所定の距離は、距離センサ２０１の検出可能な最大距離以下の距離としてもよい。また、所定の距離は、撮像装置２１０の所定のサンプリング周期（つまり、撮像装置２１０が１枚の画像を撮像してから次の画像を撮像するまでの時間）の間に車両２００が進む距離より大きい距離としてもよい。この場合、車両２００の速度を所定の速度（例えば５０ｋｍ／ｈ、１００ｋｍ／ｈなど）で固定していてもよい。
【0066】
また、第１位置推定部１１０は、車両２００が将来走行する位置として、所定時間後に当該車両２００が通過する位置を推定してもよい。この場合、第１位置推定部１１０は、車両２００の速度ベクトルから所定時間後に現在の進行方向に現在の速度で所定時間進んだ場合に到達する位置を将来走行する位置として推定してもよい。
【0067】
第１位置推定部１１０は、第２位置推定部１５０により車両２００の現在位置が推定されている場合、第２位置推定部１５０により推定された車両２００の現在位置をさらに用いて、車両２００が将来走行する位置を推定してもよい。
【0068】
路面推定部１２０は、車両２００に配置されている距離センサ２０１により検出された距離情報、または、撮像装置２１０により撮像された画像を取得し、取得した距離情報または画像を用いて、第１位置推定部１１０により推定された車両２００が将来走行する位置における路面の形状または路面の状態を推定する。具体的には、路面推定部１２０は、路面検出部２２０に対応する距離センサ２０１により検出された距離情報から生成された車両２００の周囲の物体を含む地形の３次元形状を生成し、生成した３次元形状を用いて車両２００が将来走行する位置における路面の形状を推定してもよい。
【0069】
例えば、路面推定部１２０は、距離センサ２０１により生成される距離情報から車両２００の周囲の物体を含む地形の３次元形状を生成する。また、路面は、距離センサ２０１の検出範囲、特に垂直方向において下側に位置するので、例えば、距離センサ２０１の検出範囲の下側の境界を含む一定の範囲から検出される物体までの距離から生成される３次元形状を路面の３次元形状としてもよい。または、距離センサ２０１による検出とともに、撮像装置２１０を用いて車両２００の周囲を撮像してもよい。この場合、路面推定部１２０は、例えば画像認識の技術を用いて撮像した画像に含まれる路面を特定し、生成した３次元形状のうち、特定した路面に対応する部分の３次元形状を路面の３次元形状としてもよい。
【0070】
また、路面推定部１２０は、撮像装置２１０により所定のサンプリング周期で得られる画像から、例えば画像認識の技術を用いて車両２００の周囲の物体を含む地形の３次元形状を生成ししてもよい。撮像装置２１０の撮像範囲には、路面が含まれるので、撮像される画像は路面の画像を含む。従って画像から生成した３次元形状には、路面の３次元形状が含まれる。路面推定部１２０は、画像に含まれる路面を特定してもよい。路面推定部１２０は、生成した３次元形状のうち、特定した路面に対応する部分の３次元形状を、路面の３次元形状としてもよい。
【0071】
路面推定部１２０は、生成した３次元形状を用いて車両２００が将来走行する位置における路面の形状を推定するのでもよい。
【0072】
ここでいう、車両２００が将来走行する位置における路面の形状とは、進行方向に沿って車両２００が路面を走行した場合における車両２００の高さが変化する割合を示す形状変化率を含んでいてもよい。つまり、車両２００が将来走行する位置における路面の形状とは、進行方向に沿った路面の高さの変化率を含む。路面の高さとは、鉛直方向の路面の位置である。
【0073】
また、路面推定部１２０は、距離センサ２０１により検出されたレーザの反射率を用いて路面の状態を推定してもよい。レーザの反射率は、路面の状態を推定するために用いる路面情報の一例である。また、路面推定部１２０は、撮像装置２１０により得られた路面の画像を用いて画像の輝度から路面の状態を推定してもよい。ここでいう路面の状態とは、砂利面、砂面、凍結、濡れ、石畳などを含む。路面の状態を推定することにより、路面の摩擦係数などで表される路面の滑りやすさを推定することができる。路面推定部１２０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。
【0074】
変更部１３０は、路面推定部１２０によって推定された路面の形状または路面の状態に応じて、撮像装置２１０のシャッタースピード、および、撮像装置２１０の感度の少なくとも一方である撮像装置２１０のパラメータを変更する。変更部１３０は、具体的には、路面推定部１２０により推定された路面の形状と、速度検出部２３０により検出された車両２００の速度とから、車両２００が将来走行すると推定される位置を通過するタイミングで、撮像装置２１０の撮像面と平行な方向に撮像装置２１０が移動する速度の大きさを推定する。そして、変更部１３０は、推定した撮像装置２１０の撮像面に平行な方向の速度の大きさが大きいほど、シャッタースピードを小さい値へ変更する、および、感度を大きい値へ変更する、の少なくとも一方を行う。変更部１３０は、例えば、ＣＰＵ１０１、メインメモリ１０２、およびストレージ１０３により実現される。
【0075】
変更部１３０は、例えば、以下の式１を用いて撮像装置２１０により得られる画像のブレ量を算出し、算出したブレ量を所定のブレ量よりも小さくするために、シャッタースピードを小さい値へ変更してもよい。
【0076】
ブレ量（ピクセル／シャッター）＝（ａｒｃｔａｎ（（形状変化率／自車速度）／ホイールベース）＊シャッタースピード）／垂直画角＊垂直解像度 （式１）
【0077】
例えば、車両２００のホイールベースが２０００ｍｍ、車両２００の走行速度が３０ｋｍ／ｈ、将来走行すると推定される位置における路面の形状変化率が１００％、シャッタースピードが１／１００秒、撮像装置２１０の垂直画角が６０度、撮像装置２１０の垂直解像度が１０８０ｐｘであるとする。この場合、式１を用いることで、ブレ量は１３．７７ｐｘ／ｓｈｕｔｔｅｒと算出できる。つまり、ブレ量を１０ｐｉｘ／ｓｈｕｔｔｅｒ以下に抑えようとすると、シャッタースピードを１／１３８秒以下に設定することが必要となることが分かる。なお、撮像装置２１０の速度は、車両２００の走行速度および路面の形状変化率を用いて求められる速度に対応している。
【0078】
また、式１の右辺には、路面の各状態（砂利面、砂面、凍結、濡れ、石畳など）に応じて予め定められた係数を乗じてもよいし、係数を加算してもよいし、これらの組合せであってもよい。
【0079】
このことから、必要となるシャッタースピードは、式１を用いることで算出できる。
【0080】
なお、変更部１３０は、上記式１を用いてシャッタースピードを算出しなくてもよく、上記式１の関係を満たすテーブルを用いて、シャッタースピードを算出してもよい。つまり、変更部１３０は、予め定められたシャッタースピード、路面の形状変化率および車両２００の速度の関係を用いて、シャッタースピードを算出してもよい。
【0081】
つまり、変更部１３０は、推定した撮像装置２１０の速度に応じて、ブレ量が所定のブレ量よりも少ないシャッタースピードを決定する。そして、変更部１３０は、決定したシャッタースピードにおいて撮像装置２１０が撮像することにより得られた画像から物体を所定の認識アルゴリズムで認識する場合の認識率が大きくなるノイズレベルおよび露出を特定する。変更部１３０は、決定したシャッタースピード、および、特定した露出に応じた感度に、撮像装置２１０のパラメータを変更する。
【0082】
図４は、異なる複数のシャッタースピードのそれぞれを実現可能なノイズレベルおよび露出の組合せを示すイメージ図である。図５は、所定の認識アルゴリズムを用いて画像を認識させた場合の認識率と、ノイズレベルおよび露出の組合せとを示すイメージ図である。なお、図４および図５においてノイズレベルおよび露出の数値は、任意の大きさを示している。
【0083】
図４は、任意のシャッタースピードを実現するためのノイズレベルおよび露出の関係を示す曲線が一意に特定されることが表現されている。つまり、図４では、シャッタースピード、ノイズレベル、および露出の３種類の変数による３次元的な曲面が表されている。なお、図４で表現される３次元的な曲面は、撮像装置２１０の撮像能力に応じて一意に求めることができる。ここでいう、撮像能力とは、撮像装置２１０のレンズの焦点距離、ｆ値など、あるいは、イメージセンサの撮像素子サイズ、感度などにより一意に定まる。図４で表現される３次元的な曲面は、撮像装置２１０に所定のキャリブレーションを行うことにより予め決定されていてもよい。
【0084】
図５は、ノイズレベル、露出、および認識率の３種類の変数による３次元的な曲面が表されている。当該曲面は、図５において、ドットが疎のハッチングで示される。図５で表現される３次元的な曲面は、所定の認識アルゴリズムにより一意に定まる。図５で表現される３次元的な曲面は、画像から物体を認識するテストを複数回繰り返すことにより予め決定されていてもよい。
【0085】
ここで、変更部１３０は、例えば、上記の式１により、シャッタースピードを１／２５０秒に決定した場合、図４で示される関係を用いて、シャッタースピードが１／２５０秒に対応するノイズレベルおよび露出の関係を示す曲線を特定する。そして、変更部１３０は、シャッタースピードが１／２５０秒に対応するノイズレベルおよび露出の関係を示す曲線を用いて、認識率が０～１の曲面（図５においてドットが密のハッチングで示される曲面）を図５で示される３次元空間に配置することで、ドットが疎の曲面との交線を求める。当該交線は、図５で示される３次元空間における曲線である。変更部１３０は、例えば、当該交線のうち認識率が最大となる点、つまり、ノイズレベルおよび露出を、撮像装置２１０のパラメータとして決定してもよい。
【0086】
また、変更部１３０は、さらに、照度検出部２４０による検出結果である照度が示す照度情報を取得し、取得した照度情報が示す照度が小さいほど、（ｉ）シャッタースピードを小さい値へ変更する、および、（ｉｉ）感度を大きい値へ変更する、の少なくとも一方を行ってもよい。具体的には、変更部１３０は、予め定められた、照度と撮像装置２１０のパラメータとの関係を用いて、シャッタースピードおよび感度の少なくとも一方を含むパラメータを変更してもよい。
【0087】
図３に戻り、制御部１４０は、第１位置推定部１１０により推定された車両２００が将来走行する位置をこの車両２００が実際に通過するタイミングで、変更部１３０によって変更されたパラメータを用いて撮像装置２１０に撮像させる。制御部１４０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。
【0088】
［１－２．動作］
次に、撮像制御装置１００の動作について説明する。
次に、撮像制御装置１００の動作について説明する。
【0089】
【0090】
撮像制御装置１００では、第２位置推定部１５０が車両２００の現在位置を推定する（Ｓ１１）。第２位置推定部１５０は、例えば、図７の（ａ）に示すように、時刻ｔ１における車両２００の位置ｘ１を推定する。撮像制御装置１００は、車両２００の現在位置として、車両２００の前輪の位置を推定してもよい。なお、第２位置推定部１５０による車両２００の現在位置の推定は行われなくてもよい。
【0091】
第１位置推定部１１０は、車両２００の速度ベクトルまたは経路データと、車両２００の現在位置とを取得し、取得した速度ベクトルまたは経路データを用いて車両２００の将来走行する位置を推定する（Ｓ１２）。第１位置推定部１１０は、例えば、図７の（ａ）に示すように、車両２００の前輪の位置ｘ１からＸ［ｍ］前方の路面３０１上の位置ｘ２を将来走行する位置として推定する。なお、第１位置推定部１１０は、車両２００の現在位置の推定が行われていない場合、または、撮像制御装置１００が第２位置推定部１５０を備えていない場合には、現在位置を用いずに、車両２００の将来走行する位置を推定する。
【0092】
路面推定部１２０は、車両２００に配置されている距離センサ２０１により検出された路面情報、または、撮像装置２１０により撮像された画像を取得し、取得した路面情報または画像を用いて、第１位置推定部１１０により推定された将来の走行する位置における路面の形状または路面の状態を推定する（Ｓ１３）。路面推定部１２０は、位置ｘ２における路面３０２の形状、例えば、車両２００の進行方向に沿った路面３０２の高さの変化率を推定する。例えば、前方に１００ｍｍ進むほど、１００ｍｍ高さが変化する場合、路面推定部１２０は、形状変化率が１００％の形状であると推定する。
【0093】
変更部１３０は、路面推定部１２０により推定された車両２００の進行方向に沿った路面の高さの変化率または路面の状態に応じて、撮像装置２１０のシャッタースピード、および、撮像装置２１０の感度の少なくとも一方である撮像装置２１０のパラメータを変更する（Ｓ１４）。変更部１３０は、車両２００が位置ｘ２に到達するまでの間、つまり時刻ｔ２までにパラメータを決定しておけばよい。
【0094】
制御部１４０は、第１位置推定部１１０により推定された車両２００が将来走行する位置を車両２００が実際に通過するタイミングで、変更部１３０によって変更されたパラメータを用いて撮像装置２１０に撮像させる（Ｓ１５）。制御部１４０は、図７の（ｂ）に示すように、車両２００が将来走行すると推定される位置ｘ２を車両２００の前輪が通過するタイミングである時刻ｔ２で、変更されたパラメータを用いて撮像装置２１０に撮像させる。
【0095】
図６に示す撮像制御方法は、車両２００の運転中において所定の周期で繰り返し行われる。なお、撮像制御方法の所定の周期と、撮像の周期とは同じであってもよいし、異なっていてもよい。これにより、車両２００の進行方向に沿った路面の高さの変化率または路面の状態が変化した場合、路面の高さの変化率または路面の状態に応じた適切なパラメータで撮像装置２１０に撮像させることができる。このため、所定の認識アルゴリズムの認識率が極力大きい画像を撮像装置２１０に撮像させることができる。
【0096】
［１－３．効果など］
本実施の形態に係る撮像制御装置１００によれば、車両２００が将来走行する位置における路面を通過するタイミングにおいて、予め推定した当該路面の形状または状態に応じて変更したパラメータで撮像装置２１０に撮像させることができる。つまり、路面の形状または状態に応じて適切に設定したパラメータで撮像装置２１０に撮像させることができるため、物体の認識が容易である画像を撮像装置２１０に撮像させることができる。
本実施の形態に係る撮像制御装置１００によれば、車両２００が将来走行する位置における路面を通過するタイミングにおいて、予め推定した当該路面の形状または状態に応じて変更したパラメータで撮像装置２１０に撮像させることができる。つまり、路面の形状または状態に応じて適切に設定したパラメータで撮像装置２１０に撮像させることができるため、物体の認識が容易である画像を撮像装置２１０に撮像させることができる。
【0097】
また、撮像制御装置１００によれば、車両２００の現在位置を推定し、現在位置をさらに用いて、車両２００の将来走行する位置を推定するため、将来走行する位置を精度よく推定することができる。
【0098】
また、撮像制御装置１００によれば、変更部１３０は、路面推定部１２０により推定された車両２００の進行方向に沿った路面の高さの変化率と速度ベクトルとから、将来走行する位置を実際に通過するタイミングで前記撮像装置の撮像面と平行な方向に前記撮像装置が移動する速度の大きさを推定してもよい。変更部１３０は、推定した平行な方向に撮像装置２１０が移動する速度の大きさが大きいほど、シャッタースピードを小さい値へ変更する、および、感度を大きい値へ変更する、の少なくとも一方を行う。よって、撮像装置２１０により得られた画像にブレ、歪みなどが生じることを低減できる。
【0099】
また、撮像制御装置１００によれば、推定した速度に応じて、シャッタースピードを決定し、決定したシャッタースピードにおいて撮像装置２１０が撮像することにより得られた画像から物体を所定の認識アルゴリズムで認識する場合の認識率が所定値よりも大きくなるノイズレベルおよび露出を特定し、決定したシャッタースピード、および、特定した露出に応じた感度に、撮像装置２１０のパラメータを変更する。このため、画像中に映り込んでいる物体の認識率が向上するパラメータで撮像装置２１０に撮像させることができる。よって、物体の認識が容易である画像を撮像装置２１０に撮像させることができる。
【0100】
例えば、運転制御装置３００が、走行中に、撮像装置２１０により撮像された画像を用いて、画像に含まれる物体を所定の認識アルゴリズムで認識することで、この物体を検出する場合、走行する路面の形状によらず物体の認識率を所定値よりも高くすることができる。物体とは、例えば、画像に含まれる障害物または路面などである。
【0101】
また、撮像制御装置１００によれば、照度検出部２４０による検出結果である照度が示す照度情報を取得し、取得した照度情報が示す照度が小さいほど、（ｉ）シャッタースピードを小さい値へ変更する、および、（ｉｉ）感度を大きい値へ変更する、の少なくとも一方を行う。このため、照度に応じて、適切なパラメータで撮像装置２１０に撮像させることができる。
【0102】
なお、本実施の形態では、距離センサ２０１の水平方向の検出範囲として、車両２００の水平方向において３６０度全方位を具体的な一例として説明したが、これに限定されない。例えば、車両２００が前進する場合であれば、距離センサ２０１の水平方向の検出範囲として、車両２００の前方を含む範囲を検出範囲としてもよい。また、例えば、車両２００が後退する場合であれば、距離センサ２０１の水平方向の検出範囲として、車両２００の後方を含む範囲を検出範囲としてもよい。
【0103】
また、撮像装置２１０の水平方向の撮影範囲として、車両２００の水平方向において３６０度全方位をしたが、これに限定されない。例えば、車両２００が前進する場合であれば、距離センサ２０１の水平方向の撮影範囲として、車両２００の前方を含む範囲を撮影範囲としてもよい。また、例えば、車両２００が後退する場合であれば、距離センサ２０１の水平方向の撮影範囲として、車両２００の後方を含む範囲を撮影範囲としてもよい。
【0104】
【0105】
【0106】
変形例１に係る撮像制御装置１００Ａは、実施の形態に係る撮像制御装置１００と比較して、さらに、速度補正部１６０を備える点が異なる。撮像制御装置１００Ａの速度補正部１６０以外の構成は、実施の形態の撮像制御装置１００と同様であるため、説明を省略する。また、撮像制御装置１００Ａのハードウェア構成は、図２で説明した実施の形態の撮像制御装置１００のハードウェア構成と同様である。例えば、図２で説明したＣＰＵ１０１が、制御プログラムを実行することで、図８に示す撮影制御装置１００Ａの各ブロックが機能する。なお、車両２００Ａは、撮像制御装置１００Ａを備える点が、実施の形態の車両２００と異なる。
【0107】
速度補正部１６０は、撮像装置２１０の複数回の撮像により得られる複数の画像間での物体の移動速度を推定し、推定した移動速度が大きいほど、（ｉ）シャッタースピードを小さい値へ変更する、および、（ｉｉ）感度を大きい値へ変更する、の少なくとも一方を変更部１３０に行わせる。具体的には、速度補正部１６０は、路面検出部２２０としての距離センサ２０１の検出結果から、撮像装置２１０の撮像範囲における、撮像装置２１０から物体までの距離と、撮像装置２１０の光軸に略直交する方向への移動速度の大きさとを推定し、推定した距離および移動速度を用いて、撮像装置２１０の複数回の撮像により得られる複数の画像間での物体の移動速度を推定してもよい。なお、この場合、物体の検出に利用される距離センサは、距離センサ２０１とは別に設けられた距離センサであってもよい。また、速度補正部１６０は、撮像装置２１０の複数回の撮像により得られる複数の画像を取得し、取得した複数の画像に写り込んでいる物体を特定することで、移動速度を推定してもよい。
【0108】
移動速度について、図１０を用いて具体的に説明する。
【0109】
図１０は、物体の複数の画像間での物体の移動速度について説明するための図である。なお、図１０の（ａ）は、時刻ｔ１１において前方を走行する他の車両４１０が撮像された画像４０１を示し、図１０の（ｂ）は、時刻ｔ１１よりも後の時刻ｔ１２において車両４１０が撮像された画像４０２を示す。図１０（ａ）、（ｂ）は、それぞれ、車両２００の前方の画像を示している。
【0110】
図１０に示すように、時刻ｔ１１で撮像された画像４０１から時刻ｔ１２で撮像された画像４０２の間に、車両４１０は、画像上を矢印の方向に距離Δｄだけ移動している。このため、移動速度は、Δｄ／（ｔ１２－ｔ１１）で算出することができる。なお、図１０では、実際に撮像された画像４０１、４０２で移動速度を説明しているが、当該画像４０１、４０２を撮像していなくても、距離センサにより検出された結果から移動速度を推定してもよい。
【0111】
速度補正部１６０は、予め定められた、物体の移動速度と、撮像装置２１０のパラメータとの関係を用いて、シャッタースピードおよび感度の少なくとも一方を含むパラメータを補正してもよい。つまり、速度補正部１６０は、変更部１３０により決定されたパラメータに対して、推定した物体の移動速度に応じた補正を行ってもよい。
【0112】
速度補正部１６０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。
【0113】
変更部１３０は、速度補正部１６０により変更されたシャッタースピード、および、感度の少なくとも一方に、撮像装置２１０のパラメータを補正する。
【0114】
次に、変形例１の撮像制御装置１００Ａの動作（撮像制御方法）について説明する。
【0115】
撮像制御装置１００Ａでは、実施の形態の撮像制御方法と比較して、さらに、ステップＳ２１、Ｓ２２が追加されている点が異なる。このため、ステップＳ２１、Ｓ２２について説明する。
【0116】
撮像制御装置１００Ａでは、ステップＳ１４の後において、速度補正部１６０が撮像装置２１０の撮像範囲における物体の移動速度を推定する（Ｓ２１）。
【0117】
速度補正部１６０は、変更部１３０により変更されたパラメータに対して、推定した移動速度に応じた補正を行い、変更部１３０にさらにパラメータを補正したパラメータに変更させる（Ｓ２２）。
【0118】
ステップＳ２２が終わると、ステップＳ１５が行われる。
【0119】
変形例１に係る撮像制御装置１００Ａによれば、速度補正部１６０は、撮像装置２１０の複数回の撮像により得られる複数の画像間での物体の移動速度を推定する。速度補正部１６０は、推定した移動速度の大きさが大きいほど（ｉ）シャッタースピードを小さい値へ変更する、および、（ｉｉ）感度を大きい値へ変更する、の少なくとも一方を変更部１３０に行わせる。このため、物体が撮像装置２１０により得られた画像中で移動している場合であっても、当該物体が撮像装置２１０の撮像範囲内で移動している場合であっても、当該物体を適切なパラメータで撮像装置２１０に撮像させることができる。
【0120】
【0121】
【0122】
変形例２に係る撮像制御装置１００Ｂは、実施の形態に係る撮像制御装置１００と比較して、さらに、ブレ補正部１７０を備える点が異なる。撮像制御装置１００Ｂのブレ補正部１７０以外の構成は、実施の形態の撮像制御装置１００と同様であるため、説明を省略する。また、撮像制御装置１００Ｂのハードウェア構成は、図２で説明した実施の形態の撮像制御装置１００と同様である。例えば、図２で説明したＣＰＵ１０１が、制御プログラムを実行することで、図１１に示す撮影制御装置１００Ｂの各ブロックが機能する。なお、車両２００Ｂは、撮像制御装置１００Ｂを備える点が、実施の形態の車両２００と異なる。
【0123】
ブレ補正部１７０は、撮像装置２１０により撮像された画像を取得し、取得した画像内の物体のブレを検知し、画像内の物体のブレを検知した場合、（ｉ）シャッタースピードをより小さい値へ変更する、および、（ｉｉ）感度をより大きい値へ変更する、の少なくとも一方を変更部１３０に行わせる。具体的には、ブレ補正部１７０は、撮像装置２１０から取得した画像に対して、画像全体のコントラスト値の和を算出し、算出した和が所定の閾値未満である場合に、当該画像内にブレが生じていると判断してもよい。つまり、ブレ補正部１７０は、当該画像内にブレが生じていると判断した場合、当該画像内の物体のブレを検知し、当該画像内の物体のブレが生じていないと判断した場合、当該画像内の物体のブレを検知しない。なお、ブレ補正部１７０は、画像全体に対して当該画像にブレが生じているかを判断しているとしたが、所定の画像処理を行うことにより、取得した画像における領域であって物体として例えば前方を走行している車両が映り込んでいる領域を特定し、特定した領域においてブレが生じているかを判断してもよい。ブレ補正部１７０は、変更部１３０により変更されたパラメータに対して、画像内の物体のブレを補正するために規定の補正を行う。
【0124】
ブレ補正部１７０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。
【0125】
変更部１３０は、ブレ補正部１７０により変更されたシャッタースピード、および、感度の少なくとも一方に、撮像装置２１０のパラメータを補正する。
【0126】
次に、変形例２の撮像制御装置１００Ｂの動作（撮像制御方法）について説明する。
【0127】
撮像制御装置１００Ｂでは、実施の形態の撮像制御方法と比較して、さらに、ステップＳ３１～Ｓ３４が追加されている点が異なる。このため、ステップＳ３１～Ｓ３４について説明する。
【0128】
撮像制御装置１０Ｂでは、ステップＳ１５の後において、ブレ補正部１７０は、撮像装置２１０により撮像された画像を取得する（Ｓ３１）。
【0129】
ブレ補正部１７０は、取得した画像にブレがあるか否かを判定する（Ｓ３２）。
【0130】
ブレ補正部１７０は、取得した画像にブレがあると判定した場合（Ｓ３２でＹｅｓ）、検知したブレを補正するために、変更部１３０により変更されたパラメータに対して規定の補正を行い、変更部１３０にさらにパラメータを補正したパラメータに変更させる（Ｓ３３）。
【0131】
制御部１４０は、第１位置推定部１１０により推定された将来走行する位置を車両２００が通過するタイミングで、変更部１３０によって変更されたパラメータを用いて撮像装置２１０に撮像させる（Ｓ３４）。
【0132】
一方、ブレ補正部１７０は、取得した画像にブレがないと判定した場合（Ｓ３２でＮｏ）、補正を行わず、次のステップＳ３４が行われる。
【0133】
変形例２に係る撮像制御装置１００Ｂによれば、ブレ補正部１７０は、撮像装置２１０により撮像された画像を取得し、取得した画像内の物体のブレを検知し、画像内の物体のブレを検知した場合、（ｉ）シャッタースピードを小さい値へ変更する、および、（ｉｉ）感度を大きい値へ変更する、の少なくとも一方を変更部１３０に行わせる。このため、変更部１３０により変更されたパラメータで撮像した画像中にブレが生じている場合であっても、次に撮像するときにはブレが生じないように変更したパラメータで撮像装置２１０に撮像させることができる。
【0134】
なお、ブレ補正部１７０は、照度検出部２４０による検出結果が取得できない場合にのみ、ブレ補正のための処理（ステップＳ３１～Ｓ３４）を行ってもよい。
【0135】
なお、変形例１および変形例２を組み合わせた構成の撮像制御装置としてもよい。
【0136】
なお、上記実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の撮像制御方法などを実現するソフトウェアは、次のようなプログラムである。
【0137】
すなわち、このプログラムは、コンピュータに、車両に配置された撮像装置に前記車両の周囲を撮像させる撮像制御装置による撮像制御方法であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定し、前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定された位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定し、推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更し、推定された前記車両が将来走行する位置を前記車両が通過するタイミングで、変更した前記パラメータを用いて前記撮像装置に撮像させる撮像制御方法を実行させる。
【0138】
以上、本開示の一つまたは複数の態様に係る撮像制御装置および撮像制御方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【0139】
本開示は、物体の認識が容易である画像を撮像装置に撮像させることができる撮像制御装置などとして有用である。
【符号の説明】
【0140】
１００、１００Ａ、１００Ｂ 撮像制御装置
１０２ メインメモリ
１０３ ストレージ
１０４ 通信ＩＦ
１０５ ＧＮＳＳ
１１０ 第１位置推定部
１２０ 路面推定部
１３０ 変更部
１４０ 制御部
１５０ 第２位置推定部
１６０ 速度補正部
１７０ ブレ補正部
２００、２００Ａ、２００Ｂ 車両
２１０ 撮像装置
２２０ 路面検出部
２３０ 速度検出部
２４０ 照度検出部
３００ 運転制御装置
３０１、３０２ 路面
１０２ メインメモリ
１０３ ストレージ
１０４ 通信ＩＦ
１０５ ＧＮＳＳ
１１０ 第１位置推定部
１２０ 路面推定部
１３０ 変更部
１４０ 制御部
１５０ 第２位置推定部
１６０ 速度補正部
１７０ ブレ補正部
２００、２００Ａ、２００Ｂ 車両
２１０ 撮像装置
２２０ 路面検出部
２３０ 速度検出部
２４０ 照度検出部
３００ 運転制御装置
３０１、３０２ 路面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】