特許 7559748 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240925BHJP

   G06V 10/26 20220101ALI20240925BHJP

   G06V 20/58 20220101ALI20240925BHJP

【ＦＩ】

G06T7/00 650B

G06V10/26

G06V20/58

【請求項の数】 17

(21)【出願番号】P 2021509055

(86)(22)【出願日】2020-03-13

(86)【国際出願番号】 JP2020011178

(87)【国際公開番号】W WO2020195969

(87)【国際公開日】2020-10-01

【審査請求日】2023-01-25

(31)【優先権主張番号】P 2019062941

(32)【優先日】2019-03-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】弁理士法人南青山国際特許事務所

(72)【発明者】

【氏名】青木 卓

(72)【発明者】

【氏名】佐藤 竜太

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１２－２２２７６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／２６

Ｇ０６Ｖ ２０／５８

(57)【特許請求の範囲】

【請求項1】

順次取得されるカメラの撮像画像に含まれる所定の領域の属性を前記撮像画像のピクセルごとに認識する認識処理を実行する画像処理部と、
前記所定の領域のそれぞれの前記ピクセルに対して、前記認識された属性に基づいて、前記認識処理の実行頻度を設定する制御部と、
を具備する情報処理装置であって、
前記画像処理部は、過去の撮像画像と前記現在の撮像画像における前記所定の領域の被撮像物と当該情報処理装置との間の距離情報と、前記過去の撮像画像の取得時と前記現在の撮像画像の取得時における当該情報処理装置の位置情報を用いて、過去の撮像画像の各ピクセルについて実行された認識処理の結果を現在の撮像画像の対応する各ピクセルに射影し、
前記制御部は、前記射影の結果、認識結果が同一となる領域について前記実行頻度を低く設定する
情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記画像処理部は、前記過去の撮像画像と前記現在の撮像画像との間で前記所定の領域についてオプティカルフローまたはブロックマッチングを用いて前記認識処理の結果を射影する
情報処理装置。

【請求項3】

請求項１に記載の情報処理装置であって、
前記制御部は、前記撮像画像に含まれる複数の領域について認識された属性相互の関係によって前記実行頻度を設定する
情報処理装置。

【請求項4】

請求項１に記載の情報処理装置であって、
前記制御部は、前記撮像画像内における前記所定の領域の位置に応じて前記実行頻度を設定する
情報処理装置。

【請求項5】

請求項１に記載の情報処理装置であって、
前記制御部は、前記所定の領域の被撮像物と当該情報処理装置との間の距離に応じて前記実行頻度を設定する
情報処理装置。

【請求項6】

請求項１に記載の情報処理装置であって、
前記制御部は、前記現在の撮像画像内の領域のうち、前記過去の撮像画像から前記現在の撮像画像へ射影できなかった領域に対して、前記認識処理の前記実行頻度を高く設定する
情報処理装置。

【請求項7】

請求項１に記載の情報処理装置であって、
前記画像処理部は、前記撮像画像内の全領域に対して一定周期で前記認識処理を実行する
情報処理装置。

【請求項8】

請求項７に記載の情報処理装置であって、
前記画像処理部は、当該情報処理装置が搭載された移動体の操舵角が所定の角度以上となった場合に、前記撮像画像内の全領域に対して前記認識処理を実行する
情報処理装置。

【請求項9】

請求項７に記載の情報処理装置であって、
前記画像処理部は、当該情報処理装置が搭載された移動体が所定の位置を移動している場合に、前記撮像画像内の全領域に対して前記認識処理を実行する
情報処理装置。

【請求項10】

順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行する画像処理部と、
前記所定の領域に対して、前記撮像画像に含まれる複数の領域について認識された属性相互の関係によって、前記認識処理の実行頻度を設定する制御部と、
を具備する情報処理装置。

【請求項11】

情報処理装置であって、
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行する画像処理部と、
前記所定の領域に対して、当該所定の領域の被撮像物と当該情報処理装置との間の距離に応じて、前記認識処理の実行頻度を設定する制御部と、
を具備する情報処理装置。

【請求項12】

情報処理装置であって、
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行する画像処理部と、
前記所定の領域に対して、当該情報処理装置が搭載された移動体の移動速度と前記撮像画像内における前記所定の領域の位置に応じて、前記認識処理の実行頻度を設定する制御部と、
を具備する情報処理装置。

【請求項13】

順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行する画像処理部と、
前記認識処理の結果の信頼度が低い領域または前記認識処理によって前記属性を認識できなかった領域に対して、前記認識処理の実行頻度を高く設定する制御部と、
を具備する情報処理装置。

【請求項14】

順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を、前記撮像画像内の全領域に対して一定周期で実行する画像処理部と、
前記所定の領域に対して、前記認識された属性に基づいて、前記認識処理の実行頻度を設定する制御部と、
を具備し、
前記画像処理部は、過去の撮像画像の各ピクセルについて実行された認識処理の結果を現在の撮像画像の対応する各ピクセルに射影し、前記射影できなかった領域の面積が所定の割合以上発生した場合に、前記撮像画像内の全領域に対して前記認識処理を実行する
情報処理装置。

【請求項15】

順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を、前記撮像画像内の全領域に対して一定周期で実行する画像処理部と、
前記所定の領域に対して、前記認識された属性に基づいて、前記認識処理の実行頻度を設定する制御部と、
を具備し、
前記画像処理部は、前記認識処理の結果の信頼度が低い領域または前記認識処理によって前記属性を認識できなかった領域の面積が所定の割合以上発生した場合に、前記撮像画像内の全領域に対して前記認識処理を実行する
情報処理装置。

【請求項16】

情報処理装置による情報処理方法であって、
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を前記撮像画像のピクセルごとに認識する認識処理を実行し、
前記所定の領域のそれぞれの前記ピクセルに対して、前記認識された属性に基づいて、前記認識処理の実行頻度を設定し、
過去の撮像画像と前記現在の撮像画像における前記所定の領域の被撮像物と前記情報処理装置との間の距離情報と、前記過去の撮像画像の取得時と前記現在の撮像画像の取得時における当該情報処理装置の位置情報を用いて、過去の撮像画像の各ピクセルについて実行された認識処理の結果を現在の撮像画像の対応する各ピクセルに射影し、
前記制御部は、前記射影の結果、認識結果が同一となる領域について前記実行頻度を低く設定する
情報処理方法。

【請求項17】

情報処理装置に、
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を前記撮像画像のピクセルごとに認識する認識処理を実行するステップと、
前記所定の領域のそれぞれの前記ピクセルに対して、前記認識された属性に基づいて、前記認識処理の実行頻度を設定するステップと、
過去の撮像画像と前記現在の撮像画像における前記所定の領域の被撮像物と当該情報処理装置との間の距離情報と、前記過去の撮像画像の取得時と前記現在の撮像画像の取得時における当該情報処理装置の位置情報を用いて、過去の撮像画像の各ピクセルについて実行された認識処理の結果を現在の撮像画像の対応する各ピクセルに射影するステップと、
前記射影の結果、認識結果が同一となる領域について前記実行頻度を低く設定するステップと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、撮像画像中から物体を認識する情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来から、画像中から所定のオブジェクト領域を検出する技術が存在する。

【0003】

下記特許文献１には、車両の周辺を撮像したフレーム画像のうち、基準時刻に取得した基準フレーム画像と基準時刻より過去に取得した過去フレーム画像との差分画像に基づいて車両の周辺に存在する障害物を検出する障害物検出装置が開示されている。

【0004】

下記特許文献２には、撮影された複数の画像のうち対象画像と少なくとも１つの参照画像から、対象画像の各部分の動きベクトルを検出し、上記複数の画像のうち２つの画像刊の差分画像を算出し、上記動きベクトルと差分画像とに基づいて、物体が存在する物体領域を検出する物体検出装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－９７７７７号公報

【文献】特開２０１５－１３８３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上記特許文献１及び２に記載の技術では、いずれも画像の全体同士の差分に基づいて物体を検出するため計算量が多くなり、また過去画像と類似した画像を処理することが多いため処理が冗長となってしまう。

【0007】

以上のような事情に鑑み、本技術の目的は、画像認識処理における冗長処理をなくして，計算量を削減することが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本技術の一形態に係る情報処理装置は、画像処理部と制御部とを有する。上記画像処理部は、順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行する。上記制御部は、上記所定の領域に対して、上記認識された属性に基づいて、上記認識処理の実行頻度を設定する。

【0009】

この構成により情報処理装置は、取得される撮像画像（フレーム）毎に一律に認識処理を実行するのではなく、画像中の領域の属性に基づいて認識処理の実行頻度を設定することで、画像認識処理における冗長処理をなくして、計算量を削減することができる。ここで属性とは、例えば路面、歩道、歩行者、自動車、自転車、信号機、標識、街路樹といった被撮像物を識別するものであってもよい。

【0010】

上記画像処理部は、上記撮像画像のピクセルごとに属性を認識し、上記制御部は、それぞれの上記ピクセルに対して上記認識処理の実行頻度を設定してもよい。

【0011】

上記画像処理部は、過去の撮像画像の各ピクセルについて実行された認識処理の結果を現在の撮像画像の対応する各ピクセルに射影し、上記制御部は、上記射影の結果、認識結果が同一となる領域について上記実行頻度を低く設定してもよい。

【0012】

これにより情報処理装置は、過去の認識結果を利用することで冗長処理を無くし計算量を削減することができ、また認識精度を安定させることができる。

【0013】

この場合上記画像処理部は、上記過去の撮像画像と上記現在の撮像画像における上記所定の領域の被撮像物と当該情報処理装置との間の距離情報と、上記過去の撮像画像の取得時と上記現在の撮像画像の取得時における当該情報処理装置の位置情報を用いて上記認識処理の結果を射影してもよい。

【0014】

またこれに代えて上記画像処理部は、上記過去の撮像画像と上記現在の撮像画像との間で上記所定の領域についてオプティカルフローまたはブロックマッチングを用いて上記認識処理の結果を射影してもよい。

【0015】

上記制御部は、上記撮像画像に含まれる複数の領域について認識された属性の関係によって上記実行頻度を設定してもよい。

【0016】

これにより情報処理装置は、撮像画像中の複数の領域の属性の関係性を判断することで例えば重要度を把握しそれに応じて実行頻度を設定することができる。ここで属性の関係を判断する複数の領域は、典型的には隣接する少なくとも２つの領域であり、例えば歩道、路面、人（歩行者）という各属性が認識された領域が存在する場合、歩道上の歩行者はそれほど危険ではないため当該歩行者の領域については実行頻度が低く設定される一方、路面上の歩行者は危険なため当該歩行者の領域については実行頻度が高く設定される。また路面上の自動車の周辺の歩行者の領域については実行頻度を高く設定するといったように、３つ以上領域の関係によって実行頻度が設定されてもよい。

【0017】

上記制御部は、上記撮像画像内における上記所定の領域の位置に応じて上記実行頻度を設定してもよい。

【0018】

これにより情報処理装置は、例えば撮像画像の中央部の領域の更新頻度を端部の領域の更新頻度よりも高く設定する等、位置に応じた更新頻度の設定により計算量を削減することができる。

【0019】

上記制御部は、上記所定の領域の被撮像物と当該情報処理装置との間の距離に応じて上記実行頻度を設定してもよい。

【0020】

これにより情報処理装置は、例えば情報処理装置から近い領域の更新頻度を遠い領域の更新頻度よりも高く設定する等、距離に応じた更新頻度の設定により計算量を削減することができる。

【0021】

上記制御部は、当該情報処理装置が搭載された移動体の移動速度と上記位置に応じて上記実行頻度を設定してもよい。

【0022】

これにより情報処理装置は、例えば高速移動中は画像中央の領域の更新頻度を画像端部の領域の更新頻度よりも高く設定し、低速移動中は画像中央の領域の更新頻度を画像端部の領域の更新頻度よりも低く設定する等、移動速度の変化に伴う重要領域の変化に対応することができる。

【0023】

上記制御部は、上記現在の撮像画像内の領域のうち、上記過去の撮像画像から上記現在の撮像画像へ射影できなかった領域に対して、上記認識処理の上記実行頻度を高く設定してもよい。

【0024】

これにより情報処理装置は、直前の撮像画像では観測されなかった領域の認識処理の実行頻度を高くすることで、既に観測された領域の認識処理に要する計算量を削減することができる。

【0025】

上記制御部は、上記認識処理の結果の信頼度が低い領域または上記認識処理によって上記属性を認識できなかった領域に対して、上記認識処理の実行頻度を高く設定してもよい。

【0026】

ここで、信頼度は認識処理の結果の正しさを示すものであり、信頼度は例えば、当該情報処理装置が搭載された移動体から撮像画像における所定の領域の被撮像物までの距離によって、当該情報処理装置が搭載された移動体の速度によって、撮像装置の解像度等の性能によって、被撮像物同士の重なり合いや位置関係によって、天候によって、撮像画像の明度によって、被撮像物が撮像された時間によって、などの方法により設定されてもよい。

【0027】

これにより、属性が不明な領域について重点的に認識処理を実行することで、後に属性を認識できる可能性を高めることができる。

【0028】

上記画像処理部は、上記撮像画像内の全領域に対して一定周期で上記認識処理を実行してもよい。

【0029】

これにより情報処理装置は、領域毎の部分的な認識処理によるエラーを定期的に補完することができる。

【0030】

上記画像処理部は、過去の撮像画像の各ピクセルについて実行された認識処理の結果を現在の撮像画像の対応する各ピクセルに射影し、上記射影できなかった領域の面積が所定の割合以上発生した場合に、上記撮像画像内の全領域に対して上記認識処理を実行してもよい。

【0031】

これにより情報処理装置は、現在の撮像画像において過去の撮像画像で未観測の領域が多い場合には、撮像画像の全領域について認識処理を実行することで、計算量の増加を抑えながらも認識精度を高めることができる。

【0032】

上記画像処理部は、当該情報処理装置が搭載された移動体の操舵角が所定の角度以上となった場合に、上記撮像画像内の全領域に対して上記認識処理を実行してもよい。

【0033】

これにより情報処理装置は、大きな操舵角を検出した場合には撮像対象も大きく変化すると考えられることから、撮像画像の全領域について認識処理を実行することで、過去の撮像画像で未観測の領域を検出することなく認識精度を高めることができる。

【0034】

上記画像処理部は、当該情報処理装置が搭載された移動体が所定の位置を移動している場合に、上記撮像画像内の全領域に対して上記認識処理を実行してもよい。

【0035】

これにより情報処理装置は、例えば急な坂やトンネル内等、撮像対象が大きく変化する位置の移動中は、撮像画像の全領域について認識処理を実行することで、過去の撮像画像で未観測の領域を検出することなく認識精度を高めることができる。

【0036】

上記画像処理部は、上記認識処理の結果の信頼度が低い領域または上記認識処理によって上記属性を認識できなかった領域の面積が所定の割合以上発生した場合に、上記撮像画像内の全領域に対して上記認識処理を実行してもよい。

【0037】

これにより情報処理装置は、属性が不明な領域が多い場合には、撮像画像の全領域について認識処理を実行することで、計算量の増加を抑えながらも認識精度を高めることができる。

【0038】

本技術の他の形態に係る情報処理方法は、
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行し、
上記所定の領域に対して、上記認識された属性に基づいて、上記認識処理の実行頻度を設定する、ことを含む。

【0039】

本技術の他の形態に係るプログラムは、情報処理装置に、
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行するステップと、
上記所定の領域に対して、上記認識された属性に基づいて、上記認識処理の実行頻度を設定するステップと、を実行させる。

【発明の効果】

【0040】

以上のように、本技術によれば、画像認識処理における冗長処理をなくして、計算量を削減することができる。しかし、当該効果は本技術を限定するものではない。

【図面の簡単な説明】

【0041】

【図1】本技術の一実施形態に係る車両制御システムの概略的な構成の一例を示すブロック図である。

【図2】上記車両制御システムが有する車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

【図3】上記車両制御システムの統合制御ユニットが有する機能ブロック構成を示した図である。

【図4】上記車両制御システムの画像認識処理の流れを示したフローチャートである。

【図5】上記統合制御ユニットが有する射影マップ生成部及びセマセグ射影部の処理を説明するための図である。

【図6】上記統合制御ユニットが有する未観測領域設定部の処理を説明するための図である。

【図7】上記統合制御ユニットが有する領域属性関係判定部及び更新優先度マップ生成部の処理を説明するための図である。

【図8】上記領域属性関係判定部及び更新優先度マップ生成部の処理の流れを示したフローチャートである。

【図9】上記更新優先度マップ生成部が用いる優先度テーブルの例を示した図である。

【図10】上記更新優先度マップ生成部によるマップ統合処理を説明するための図である。

【図11】上記統合制御ユニットが有する領域セマセグ部の処理を説明するための図である。

【図12】本技術の変形例に係る車両制御システムにおける画像認識処理の更新頻度及び更新領域の設定例を示した図である。

【図13】本技術の変形例に係る車両制御システムにおける画像認識処理の更新頻度及び更新領域の設定例を示した図である。

【図14】本技術の変形例に係る車両制御システムにおける画像認識処理の更新頻度及び更新領域の設定例を示した図である。

【図15】本技術の変形例に係る車両制御システムにおける領域セマセグ部による更新領域の設定例を示した図である。

【図16】本技術の変形例に係る車両制御システムにおける領域セマセグ部の処理を説明するための図である。

【発明を実施するための形態】

【0042】

以下、本技術に係る実施形態を、図面を参照しながら説明する。

【0043】

［車両制御システムの構成］

【0044】

図１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

【0045】

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

【0046】

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

【0047】

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

【0048】

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0049】

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

【0050】

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

【0051】

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

【0052】

ここで、図２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0053】

なお、図２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

【0054】

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

【0055】

図１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

【0056】

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

【0057】

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

【0058】

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

【0059】

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

【0060】

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

【0061】

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

【0062】

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

【0063】

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

【0064】

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

【0065】

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

【0066】

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

【0067】

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

【0068】

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

【0069】

なお、図１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

【0070】

また本実施形態では、統合制御ユニット７６００は、撮像部７４１０による撮像画像のピクセルごとに路面/歩道/歩行者/建物等の属性を認識するセマンティックセグメンテーション（セマセグ）を実行可能である。

【0071】

セマンティックセグメンテーションは、様々な実際のオブジェクトの形状、その他の
特徴情報に基づくオブジェクト識別用の辞書データ（学習済みデータ）と、撮影画像内のオブジェクトとの一致度に基づいて、画像内のオブジェクトが何であるかのオブジェクト識別を行う技術である。セマンティックセグメンテーションでは撮影画像の画素（ピクセル）単位で物体識別を行う。

【0072】

［車両制御システムの機能ブロック構成］
図３は、上記統合制御ユニット７６００に実装されたコンピュータプログラムの機能ブロック構成を示した図である。当該コンピュータプログラムは、それが格納されたコンピュータ読み取り可能な記録媒体として提供されてもよい。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、当該コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0073】

本実施形態において、統合制御ユニット７６００は、撮像部７４１０から順次取得される撮像画像について、そのピクセルごとに属性（車両／路面／歩道／歩行者／建物等）を認識するセマンティックセグメンテーション（セマセグ）を実行可能である。当該セマセグにより、撮像画像に含まれる被写体領域ごとに属性が認識されることになる。

【0074】

統合制御ユニット７６００は、当該認識処理の実行頻度（更新頻度）及びその対象となる領域を、当該属性に基づいて設定することができる。なお、当該処理に際し、一連の撮像画像のうち最初の撮像画像についてはその全体についてセマセグが実行され、それ以降の撮像画像について領域ごとに更新頻度が設定される。

【0075】

図３に示すように、統合制御ユニット７６００は、機能ブロックとして、相対移動推定部１１、射影マップ生成部１２、セマセグ射影部１３、未観測領域設定部１４、領域属性関係判定部１５、更新優先度マップ生成部１６、領域セマセグ部１７及びセマセグ統合部１８を有する。

【0076】

相対移動推定部１１は、測位部７６４０が生成した車両（撮像部７４１０）の時刻（Ｔ－１）及び時刻（Ｔ）における各位置情報を基に、車両の相対移動量データ（Ｒｔ）を生成して射影マップ生成部１２へ出力する。

【0077】

射影マップ生成部１２は、車外情報検出ユニット７４００が検出した時刻（Ｔ－１）における車両と被写体との間の撮像画像座標ごとの距離データ（ｚ）と、上記相対移動推定部１１から受信した相対移動量データ（Ｒｔ）とを基に、射影マップデータを生成してセマセグ射影部１３及び未観測領域設定部１４へ出力する。

【0078】

具体的には、射影マップ生成部１２は、撮像画像座標ごとの上記距離データ（ｚ）の全撮像画像座標分の集合（デプス画像データ）を３次元の点群データに変換し、当該点群データを、上記相対移動量データ（Ｒｔ）を用いて座標変換する。そして射影マップ生成部１２は、座標変換後の点群データを撮像画像平面に射影したデプス画像データを生成し、当該デプス画像データ中の距離データ（ｚ）及び時刻（Ｔ－１）における画像座標を基に、時刻（Ｔ）の撮像画像に時刻（Ｔ－１）の撮像画像の画素ごとの画像認識（セマセグ）結果を示す値を射影するための射影元の位置を示す射影マップデータを生成する。

【0079】

セマセグ射影部１３は、上記射影マップ生成部１２から受信した射影マップデータと、時刻（Ｔ－１）におけるセマセグ結果を基に、時刻（Ｔ）における撮像画像に当該セマセグ結果を射影した射影セマセグデータを生成し、セマセグ統合部１８へ出力する。

【0080】

未観測領域設定部１４は、上記射影マップ生成部１２から受信した射影マップデータを基に、時刻（Ｔ）における撮像画像に時刻（Ｔ－１）におけるセマセグ結果を射影できない領域、すなわち射影マップデータ中の、射影元の位置が示されていない未観測領域を検出し、それを示すデータを更新優先度マップ生成部１６へ出力する。

【0081】

領域属性関係判定部１５は、撮像画像に含まれる複数の領域について上記セマセグによって認識された属性の関係を判定する。例えば領域属性関係判定部１５は、歩道／路面領域と歩行者／自転車領域とが重なっている場合には、歩道／路面上に歩行者／自転車が存在すると判定する。

【0082】

更新優先度マップ生成部１６は、上記未観測領域設定部１４で検出された未観測領域及び上記領域属性関係判定部１５で判定された領域属性関係に基づいて、撮像画像の各領域に対してセマセグの更新の優先度（更新頻度）が設定された更新優先度マップを生成する。

【0083】

更新優先度マップ生成部１６は、例えば、未観測領域については更新優先度を高く設定し、また歩道上の歩行者の領域については更新優先度を低く、路面上の歩行者の領域については更新優先度を高く設定する。

【0084】

領域セマセグ部１７は、上記生成された更新優先度マップに基づいて、時刻（Ｔ）における撮像画像に対して領域毎のセマセグを実行し、その結果をセマセグ統合部１８へ出力する。

【0085】

セマセグ統合部１８は、上記セマセグ射影部１３から受信した時刻（Ｔ）における射影セマセグデータと、領域セマセグ部１７から受信した時刻（Ｔ）における領域セマセグデータとを統合して、時刻（Ｔ）における撮像画像全体のセマセグ結果データを出力する。

【0086】

このセマセグ結果データは、例えば、ＡＤＡＳの機能実現を目的とした協調制御や自動運転等を目的とした協調制御等に用いられ得る。

【0087】

これら機能ブロック（コンピュータプログラム）は、統合制御ユニット７６００ではなく上記車外情報検出ユニット７４００に実装されてもよい。この場合車外情報検出ユニットから出力されたセマセグ結果データを基に統合制御ユニット７６００によって上記ＡＤＡＳや自動運転のための協調制御が実行される。

【0088】

［車両制御システムの動作］
次に、以上のように構成された車両制御システムの動作について説明する。当該動作は、上記統合制御ユニット７６００のマイクロコンピュータ７６００及び車載ネットワークインタフェース７６８０、専用通信インタフェース７６３０等のハードウェアと、記憶部１６９０等に記憶されたソフトウェア（図３に示す各機能ブロック）との協働により実行される。

【0089】

図４は、上記車両制御システムによる画像認識処理の流れを示したフローチャートである。

【0090】

同図に示すように、まず相対移動推定部１１が、時刻（Ｔ－１）及び時刻（Ｔ）における車両の位置情報を取得し（ステップ１０１）し、時刻（Ｔ－１）から時刻（Ｔ）までの間の車両（撮像部）の相対移動距離を推定する（ステップ１０２）。

【0091】

続いて射影マップ生成部１２が、時刻（Ｔ－１）の撮像画像における車両と被写体との距離データを取得し（ステップ１０３）、当該距離データと上記相対移動距離データを基に射影マップデータを生成する（ステップ１０４）。

【0092】

続いて未観測領域設定部１４が、射影マップデータを基に、時刻（Ｔ）の撮像画像における時刻（Ｔ－１）の撮像画像と比較した未観測領域を算出し（ステップ１０５）、当該未観測領域の更新優先度を高く設定した更新優先度マップを生成する（ステップ１０６）。

【0093】

続いてセマセグ射影部１３が、上記射影マップデータを基に、時刻（Ｔ－１）におけるセマセグ結果を時刻（Ｔ）における撮像画像に射影する（ステップ１０７）。

【0094】

図５は、当該射影マップデータを用いた射影処理を示した図である。同図（Ｂ１）及び（Ｂ２）並びに以降の図面において濃淡の異なるグレースケールで表現された各領域は上記セマセグの認識結果を示す。すなわち、同一の色で着色された箇所について同一の属性が認識されたことを示す。

【0095】

同図に示すように、時刻Ｔ＝０において同図（Ａ１）に示す位置を走行中の車両が時刻Ｔ＝１において同図（Ａ２）に示す位置へ移動した場合、時刻Ｔ＝０の入力フレーム（Ｂ０）における各画素が時刻Ｔ＝１の入力フレームのどの画素に対応するかが上記位置情報及び距離情報から全画素について判明したとする。

【0096】

この場合、時刻Ｔ＝１の入力フレームのセマセグ結果（Ｂ１）が、同図（Ｂ２）に示すように、時刻Ｔ＝１の入力フレームの全領域に亘って射影されていることが分かる。これにより、時刻Ｔ＝１の入力フレームについてセマセグを実行する冗長処理が削減され、計算量が削減されると共に、認識精度（安定性）が向上する。

【0097】

図６は、未観測領域の算出処理を示した図である。同図（Ｂ２）に示すように、時刻Ｔ＝０において同図（Ａ１）に示す位置を走行中の車両が時刻Ｔ＝１において同図（Ａ２）に示す位置へ移動した場合、上記図５の場合とは異なり、時刻Ｔ＝１の入力フレーム中に、時刻Ｔ＝０の入力フレーム（Ｂ０）のセマセグ結果（Ｂ１）が射影できない未観測領域Ｒが生じている。

【0098】

このように、カメラの構図によって、次のフレームへセマセグ結果が全て射影できる場合と部分的に射影できない未観測領域が生じる場合とがある。

【0099】

図４に戻り、領域属性関係判定部１５は、射影マップデータに基づく射影セマセグデータを基に、撮像画像中の複数の領域の属性の関係を判定する（ステップ１０８）。

【0100】

続いて更新優先度マップ生成部１６は、当該判定された領域の属性の関係を基に、更新優先度マップを生成する（ステップ１０９）。

【0101】

図７は、領域属性関係判定処理及び更新優先度マップ生成処理を説明するための図である。

【0102】

同図（Ａ）に示す時刻（Ｔ－１）のセマセグ結果が、同図（Ｂ）に示す時刻（Ｔ）のセマセグ結果として射影された場合、領域属性関係判定部１５は、撮像画像左側において歩行者領域と歩道領域とが重なっていることを判定し、また撮像画像右側において歩行者領域と路面とが重なっていることを判定する。

【0103】

この場合、更新優先度マップ生成部１６は、同図（Ｃ）に示すように、歩道上の歩行者／自転車は、それほど危険な状況は想定されないことから、その領域については更新優先度を低く設定する。

【0104】

一方、更新優先度マップ生成部１６は、路面上の歩行者／自転車は危険な状況が想定されるため、その領域については更新優先度を高く設定する。なお、同図（Ｃ）及びこれ以降に図示される更新優先度マップにおいては、グレーの濃度が高い程、更新優先度が高いことを示している。

【0105】

その他、更新優先度マップ生成部１６は、歩道／路面と他の領域との境界領域は、物陰になり他の物体が急に飛び出してくる危険性があるため更新優先度を高く設定してもよい。

【0106】

また更新優先度マップ生成部１６は、２つの領域の属性の関係に限らず、３つ以上の領域の属性の関係を基に更新優先度マップを生成してもよい。

【0107】

例えば、更新優先度マップ生成部１６は、路面上の自動車領域の周辺の歩行者／自転車の領域は、自動車が歩行者／自転車を回避するために動きを変化させる可能性があるため、その領域について更新優先度を高く設定してもよい。

【0108】

また更新優先度マップ生成部１６は、路面上の複数の歩行者／自転車が近接している領域は、それら複数の歩行者／自転車がお互いの回避のために動きを変化させる可能性があるため、その領域について更新優先度を高く設定してもよい。

【0109】

図８は、上記領域属性関係判定処理及び更新優先度マップ生成処理のより詳細な流れを示したフローチャートである。また図９は、更新優先度の設定のために記憶部７６９０等に記憶される優先度テーブルの例を示した図である。

【0110】

同図に示すように、領域属性関係判定部１５は、上記ステップ１０８において、セマセグによって認識された全ての領域について、当該領域の周辺の領域の属性を判定する処理を繰り返す。

【0111】

そして更新優先度マップ生成部１６は、ステップ１０９において、上記判定された全ての領域について、当該領域と周辺の領域の属性の関係を基に、図９に示す優先度テーブルを参照して、各領域の更新優先度を設定する。

【0112】

図９に示す優先度テーブルでは、注目領域の属性が歩行者である場合が示されており、周辺の領域の属性が歩道であれば優先度は低く、路面であれば優先度は高く設定される。また周辺の領域属性として、路面以外に自動車や歩行者が検出されている場合には、さらに優先度が高く設定される。この場合の優先度は、危険度（事故の可能性等）と対応している。

【0113】

図４に戻り、更新優先度マップ生成部１６は、上記ステップ１０６において生成された未観測領域に基づく更新優先度マップと、上記ステップ１０９において生成された領域の属性の関係に基づく更新優先度マップを統合する（ステップ１１０）。

【0114】

図１０は、当該更新優先度マップの統合の様子を示した図である。同図（Ａ）に示すセマセグ結果から、未観測領域に基づいて同図（Ｂ）に示す更新優先度マップが得られ、領域の属性の関係に基づいて同図（Ｃ）に示す更新優先度マップが得られたとする。

【0115】

更新優先度マップ生成部１６は、この両更新優先度マップを統合して、同図（Ｄ）に示すような統合更新優先度マップを生成する。当該統合の結果、両更新優先度マップにおいて設定された領域同士が重なる領域については、各更新優先度マップにおける優先度が加算されることで、優先度が高く設定される。

【0116】

ここで更新優先度マップ生成部１６は、未観測領域に基づく更新優先度マップにおいて、検出精度を上げるため、統合に先立ち、検出された未観測領域をやや広げた領域を設定しておいてもよい。

【0117】

また更新優先度マップ生成部１６は、領域の属性の関係に基づく更新優先度マップにおいて、歩行者等の動きに対応するため、統合に先立ち、歩行者が検出された領域よりも広い領域を設定しておいてもよい。

【0118】

図４に戻り、続いて領域セマセグ部１７は、上記統合された更新優先度マップを基に、更新優先度（更新頻度）に応じて各領域のセマセグ処理を実行する（ステップ１１１）。

【0119】

図１１は、当該更新優先度マップに基づくセマセグ処理の例を示した図である。

【0120】

例えば同図（Ａ）に示すような更新優先度マップが得られた場合、領域セマセグ部１７は、同図（Ｂ）に示すように、優先度の高い領域の外接矩形を設定し、当該外接矩形の領域についてセマセグを実行する。

【0121】

同図（Ｃ）に示すように、領域セマセグ部１７は、計算リソースを考慮して、全ての外接矩形を処理しても遅延が発生しないと判断した場合には、設定した全ての外接矩形領域についてセマセグを実行する。

【0122】

一方、同図（Ｄ）及び同図（Ｅ）に示すように、計算リソースを考慮すると全ての外接矩形を処理すると遅延が発生すると判断した場合には、更新優先度の低い領域についてはセマセグ実行対象から除外してもよい。

【0123】

図４に戻り、最後に、セマセグ統合部１８が、時刻Ｔにおける射影後のセマセグ結果（ステップ１０７）と領域セマセグ結果（ステップ１１１）とを統合して、統合セマセグデータを出力して一連のセマセグ処理が完了する（ステップ１１２）。

【0124】

以上説明したように、本実施形態によれば、車両制御システム７０００の統合制御ユニット７６００は、取得される撮像画像（フレーム）毎に一律に認識処理を実行するのではなく、画像中の領域の属性に基づいてセマセグ処理の実行頻度を設定することで、冗長処理をなくして、計算量を削減することができる。

【0125】

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

【0126】

上述の実施形態では、射影マップ生成部１２は、車両と被写体との間の撮像画像座標ごとの距離データ（ｚ）と、車両の相対移動量データ（Ｒｔ）とを基に、射影マップデータを生成していた。これに代えて射影マップ生成部１２は、時刻（Ｔ－１）のフレームと時刻（Ｔ）のフレームとの間で、オプティカルフローまたはブロックマッチングを用いて射影マップを生成してもよい。

【0127】

上述の実施形態では、領域属性関係判定部１５及び更新優先度マップ生成部１６は、領域の属性の関係に基づいて更新優先度を設定したが、各領域の属性そのものに基づいて更新優先度を設定してもよい。例えば、信号や標識の領域については更新優先度が低く設定されてもよいし、移動速度を考慮して、歩行者よりも自転車の領域、自転車よりも自動車の領域について更新優先度が高く設定されてもよい。

【0128】

また、更新優先度マップ生成部１６は、未観測領域に基づく更新優先度マップと、領域の属性の関係に基づく更新優先度マップを統合することで、セマセグに用いる更新優先度マップを生成していた。更新優先度マップ生成部１６は、この２つの更新優先度マップに加えて、またこの２つの更新優先度マップのいずれか一方に代えて、他のパラメータを用いて生成した更新優先度マップを用いてもよい。図１２乃至図１４はそれらの更新優先度マップについて説明した図である。

【0129】

更新優先度マップ生成部１６は、撮像画像内の領域の位置に応じて更新優先度を設定してもよい。

【0130】

例えば図１２に示すように、更新優先度マップ生成部１６は、同図（Ａ）に示すような入力フレームのうち、同図（Ｂ）に示すように、車両の進行方向に近い画像の中央部の領域ほど、更新優先度を高く設定し、車両の進行方向ではない画像の端部の領域ほど、更新優先度を低く設定して更新優先度マップを生成してもよい。

【0131】

これ以外にも、更新優先度マップ生成部１６は、例えば画像の上部の更新優先度を画像の下部の更新優先度よりも高く設定してもよい。

【0132】

また更新優先度マップ生成部１６は、車両の移動（走行）速度と、撮像画像内の領域の位置に応じて更新優先度を設定してもよい。

【0133】

例えば図１３に示すように、更新優先度マップ生成部１６は、同図（Ａ）に示すような入力フレームが取得されたときに、車両が高速移動中（例えば時速８０ｋｍ等の閾値以上で走行）の場合には、一般にドライバーが周囲よりも前方を見る重要性が高いため、同図（Ｂ）に示すように、画像中央の領域の更新優先度を高く設定し、画像端部の更新優先度を低く設定する。

【0134】

一方、車両が低速移動中（例えば時速３０ｋｍ等の閾値以下で走行）の場合には、更新優先度マップ生成部１６は、一般にドライバーが前方よりも周囲を見る重要性が高いため、同図（Ｃ）に示すように、画像中央の領域の更新優先度を低く設定し、画像端部の領域の更新優先度を低く設定する。

【0135】

また更新優先度マップ生成部１６は、撮像画像中の被写体と車両との間の距離（ｚ）に応じて更新優先度を設定してもよい。

【0136】

例えば図１４に示すように、更新優先度マップ生成部１６は、同図（Ａ）に示すような入力フレームについて、同図（Ｂ）に示すようなデプスマップが得られた場合、同図（Ｃ）に示すように、車両からの距離が近い被写体の領域ほど、更新優先度を高く設定し、車両からの距離が遠い被写体ほど、更新優先度を低く設定してもよい。

【0137】

上述の実施形態において、更新優先度マップ生成部１６は、撮像画像のうち、セマセグによる属性の認識結果の信頼度が低い領域またはセマセグによって属性を認識できなかった領域に対して、更新優先度を高く設定してもよい。

【0138】

これにより更新優先度マップ生成部１６は、属性が不明な領域について重点的に認識処理を実行することで、後に撮像の構図が変化する等の理由により、属性を認識できる可能性を高めることができる。

【0139】

上述の実施形態においては、領域セマセグ部１７は、撮像画像の全体ではなく、更新優先度マップ生成部１６によって設定された領域についてのみセマセグを実行していた。しかし、領域セマセグ部１７は、定期的に撮像画像の全領域についてセマセグを実行してもよい。これにより、領域毎の部分的な認識処理によるエラーが定期的に補完される。

【0140】

図１５は、この場合の全領域についてのセマセグ（以下、全領域処理）の実行例を示した図である。同図（Ａ）は、上述の実施形態のように定期的な全領域処理を実行しない場合の時系列の処理例を示している。一方、同図（Ｂ）に示すように、定期的に全領域処理を実行する場合、遅延は大きくなるが、全領域処理後の認識結果は高精度となる。

【0141】

また同図（Ｃ）に示すように、領域セマセグ部１７は、定期的に全領域処理を実行しつつ、更新優先度により領域を限定したセマセグを実行する際に、遅延を許容してもよい。これにより遅延は発生するものの、領域限定時のセマセグにおいて、計算リソースの関係で処理を省略することなく、認識に必要な領域を全て処理することができる。

【0142】

ここで、全領域処理を実行するトリガについては様々なものが想定される。

【0143】

領域セマセグ部１７は、未観測領域（射影マップによって射影できなかった領域）の面積が所定の割合以上発生した場合に、全領域処理を実行してもよい。未観測領域が多く発生する場合には、領域を限定したセマセグとの計算量の差も少ないことから、領域セマセグ部１７は、全領域処理を実行することで、計算量の増加を抑えながらも認識精度を高めることができる。

【0144】

領域セマセグ部１７は、車両状態検出部７１１０によって検出された車両の操舵角が所定の角度以上となった場合に、全領域処理を実行してもよい。大きな操舵角が検出された場合には撮像対象の景色も大きく変化し、未観測領域も大きくなると考えられることから、領域セマセグ部１７は、そのような場合に全領域処理を実行することで、未観測領域をわざわざ検出するための計算量を省いて、認識精度を高めることができる。

【0145】

領域セマセグ部１７は、車両が所定の位置を移動している場合に、全領域処理を実行してもよい。位置情報としては、測位部７６４０が取得したＧＰＳ情報や地図情報が用いられる。

【0146】

例えば領域セマセグ部１７は、車両が所定値以上の勾配の上り坂または下り坂を走行中であることを検出した場合に全領域処理を実行してもよい。急勾配の上り坂や下り坂では、起伏の影響から、撮像対象の景色も大きく変化し、未観測領域も大きくなると考えられることから、領域セマセグ部１７は、そのような場合に全領域処理を実行することで、未観測領域をわざわざ検出するための計算量を省いて、認識精度を高めることができる。

【0147】

また領域セマセグ部１７は、車両がトンネルに入った場合及びトンネルから出た場合にも同様に、撮像対象の景色が大きく変化することから、全領域処理を実行してもよい。

【0148】

また領域セマセグ部１７は、撮像画像のうち、セマセグによる属性の認識結果の信頼度が低い領域またはセマセグによって属性を認識できなかった領域の面積が所定の割合（例えば５０％等）以上発生した場合に、全領域処理を実行してもよい。

【0149】

上述の実施形態において、領域セマセグ部１７は、図１１に示したように、優先度の高い領域の外接矩形を設定し、当該外接矩形の領域についてセマセグを実行していた。しかし、セマセグの対象とする領域の設定手法はこれに限られない。例えば、領域セマセグ部１７は、上記外接矩形で切り抜いた領域に代えて、セマセグの計算に必要と推定される画素領域のみをセマセグ対象として設定してもよい。

【0150】

すなわち、図１６（Ａ）に示すように、入力画像に対して複数回にわたって畳み込み演算を実行して最終セマセグ結果を得る場合（上部矢印の処理）、最終結果で必要な領域を計算するには、当該演算の逆をたどることで、必要な領域についてのみ演算すればよい（下部矢印の処理）。

【0151】

そこで領域セマセグ部１７は、同図（Ｂ）に示す更新優先度マップが得られた場合、同図（Ｃ）に示すように、当該更新優先度マップで示された優先度の高い領域を最終結果として得るために必要な領域を逆算してセマセグ対象領域を設定し、当該領域についてセマセグを実行してもよい。

【0152】

領域セマセグ部１７はこの場合においても、計算リソースを考慮して遅延が生じる場合には、優先度の低い領域についてはセマセグ対象から除外してもよい。

【0153】

上述の実施形態においては、情報処理装置としての統合制御ユニット７６００が搭載される移動体として車両（自動車）が示されたが、当該統合制御ユニット７６００と同様の情報処理が可能な情報処理装置が搭載される移動体は車両に限定されない。当該情報処理装置は、例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。この場合、上述した属性の関係（歩行者、車両、路面、歩道等）も移動体に応じて異なって認識される。

【0154】

また上記情報処理装置が搭載される対象は移動体に限定されない。例えば、監視カメラの撮像画像についても本技術は適用可能である。この場合、上述の実施形態において説明した車両の移動に伴う処理は実行されないが、監視カメラのパン・チルト・ズームに伴って撮像対象が変化し得ることから、上記領域の属性に加えて、未観測領域に基づく更新優先度マップの生成についても同様に適用可能である。

【0155】

［その他］
本技術は以下のような構成もとることができる。
（１）
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行する画像処理部と、
前記所定の領域に対して、前記認識された属性に基づいて、前記認識処理の実行頻度を設定する制御部と、
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記画像処理部は、前記撮像画像のピクセルごとに属性を認識し、
前記制御部は、それぞれの前記ピクセルに対して前記認識処理の実行頻度を設定する
情報処理装置。
（３）
上記（２）に記載の情報処理装置であって、
前記画像処理部は、過去の撮像画像の各ピクセルについて実行された認識処理の結果を現在の撮像画像の対応する各ピクセルに射影し、
前記制御部は、前記射影の結果、認識結果が同一となる領域について前記実行頻度を低く設定する
情報処理装置。
（４）
上記（３）に記載の情報処理装置であって、
前記画像処理部は、前記過去の撮像画像と前記現在の撮像画像における前記所定の領域の被撮像物と当該情報処理装置との間の距離情報と、前記過去のフレームの取得時と前記現在のフレームの取得時における当該情報処理装置の位置情報を用いて前記認識処理の結果を射影する
情報処理装置。
（５）
上記（３）に記載の情報処理装置であって、
前記画像処理部は、前記過去のフレームと前記現在のフレームとの間で前記所定の領域についてオプティカルフローまたはブロックマッチングを用いて前記認識処理の結果を射影する
情報処理装置。
（６）
上記（１）～（５）のいずれかに記載の情報処理装置であって、
前記制御部は、前記撮像画像に含まれる複数の領域について認識された属性の関係によって前記実行頻度を設定する
情報処理装置。
（７）
上記（１）～（６）のいずれかに記載の情報処理装置であって、
前記制御部は、前記撮像画像内における前記所定の領域の位置に応じて前記実行頻度を設定する
情報処理装置。
（８）
上記（１）～（７）のいずれかに記載の情報処理装置であって、
前記制御部は、前記所定の領域の被撮像物と当該情報処理装置との間の距離に応じて前記実行頻度を設定する
情報処理装置。
（９）
上記（１）～（８）のいずれかに記載の情報処理装置であって、
前記制御部は、当該情報処理装置が搭載された移動体の移動速度と前記位置に応じて前記実行頻度を設定する
情報処理装置。
（１０）
上記（３）～（９）のいずれかに記載の情報処理装置であって、
前記制御部は、前記現在の撮像画像内の領域のうち、前記過去の撮像画像から前記現在の撮像画像へ射影できなかった領域に対して、前記認識処理の前記実行頻度を高く設定する
情報処理装置。
（１１）
上記（１）～（１０）のいずれかに記載の情報処理装置であって、
前記制御部は、前記認識処理の結果の信頼度が低い領域または前記認識処理によって前記属性を認識できなかった領域に対して、前記認識処理の実行頻度を高く設定する
情報処理装置。
（１２）
上記（１）に記載の情報処理装置であって、
前記画像処理部は、前記撮像画像内の全領域に対して一定周期で前記認識処理を実行する
情報処理装置。
（１３）
上記（１２）に記載の情報処理装置であって、
前記画像処理部は、過去の撮像画像の各ピクセルについて実行された認識処理の結果を現在の撮像画像の対応する各ピクセルに射影し、前記射影できなかった領域の面積が所定の割合以上発生した場合に、前記撮像画像内の全領域に対して前記認識処理を実行する
情報処理装置。
（１４）
上記（１２）または（１３）に記載の情報処理装置であって、
前記画像処理部は、当該情報処理装置が搭載された移動体の操舵角が所定の角度以上となった場合に、前記撮像画像内の全領域に対して前記認識処理を実行する
情報処理装置。
（１５）
上記（１２）～（１４）のいずれかに記載の情報処理装置であって、
前記画像処理部は、当該情報処理装置が搭載された移動体が所定の位置を移動している場合に、前記撮像画像内の全領域に対して前記認識処理を実行する
情報処理装置。
（１６）
上記（１２）～（１５）のいずれかに記載の情報処理装置であって、
前記画像処理部は、前記認識処理の結果の信頼度が低い領域または前記認識処理によって前記属性を認識できなかった領域の面積が所定の割合以上発生した場合に、前記撮像画像内の全領域に対して前記認識処理を実行する
情報処理装置。
（１７）
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行し、
前記所定の領域に対して、前記認識された属性に基づいて、前記認識処理の実行頻度を設定する
情報処理方法。
（１８）
情報処理装置に、
順次取得されるカメラの撮像画像に含まれる所定の領域の属性を認識する認識処理を実行するステップと、
前記所定の領域に対して、前記認識された属性に基づいて、前記認識処理の実行頻度を設定するステップと
を実行させるプログラム。

【符号の説明】

【0156】

１１…相対移動推定部
１２…射影マップ生成部
１３…セマセグ射影部
１４…未観測領域設定部
１５…領域属性関係判定部
１６…更新優先度マップ生成部
１７…領域セマセグ部
１８…セマセグ統合部
７０００…車両制御システム
７４００…車外情報検出ユニット
７６００…統合制御ユニット
７６１０…マイクロコンピュータ
７６８０…車載ネットワークインタフェース
７６９０…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】