特表-19064825IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-64825情報処理装置と情報処理方法および制御装置と画像処理装置
<>
  • 再表WO2019064825-情報処理装置と情報処理方法および制御装置と画像処理装置 図000005
  • 再表WO2019064825-情報処理装置と情報処理方法および制御装置と画像処理装置 図000006
  • 再表WO2019064825-情報処理装置と情報処理方法および制御装置と画像処理装置 図000007
  • 再表WO2019064825-情報処理装置と情報処理方法および制御装置と画像処理装置 図000008
  • 再表WO2019064825-情報処理装置と情報処理方法および制御装置と画像処理装置 図000009
  • 再表WO2019064825-情報処理装置と情報処理方法および制御装置と画像処理装置 図000010
  • 再表WO2019064825-情報処理装置と情報処理方法および制御装置と画像処理装置 図000011
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年4月4日
【発行日】2020年12月3日
(54)【発明の名称】情報処理装置と情報処理方法および制御装置と画像処理装置
(51)【国際特許分類】
   G01C 3/00 20060101AFI20201106BHJP
   G01N 21/59 20060101ALI20201106BHJP
   G06T 5/00 20060101ALI20201106BHJP
【FI】
   G01C3/00 110
   G01N21/59 Z
   G06T5/00 740
【審査請求】未請求
【予備審査請求】未請求
【全頁数】22
【出願番号】特願2019-544313(P2019-544313)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年7月12日
(31)【優先権主張番号】特願2017-186019(P2017-186019)
(32)【優先日】2017年9月27日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】河田 諭志
(72)【発明者】
【氏名】神尾 和憲
(72)【発明者】
【氏名】鴇崎 友希
【テーマコード(参考)】
2F112
2G059
5B057
【Fターム(参考)】
2F112AD03
2F112BA20
2F112CA20
2F112EA20
2G059AA02
2G059BB01
2G059CC11
2G059EE01
2G059HH02
2G059KK04
2G059MM02
2G059MM03
2G059MM09
2G059MM10
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE11
5B057DA17
5B057DB03
5B057DB09
5B057DC22
(57)【要約】
透過率推定部11は、撮像画像から領域毎に透過率を推定する。透過率推定部11は、例えばダークチャンネル処理を用いて画素毎の透過率を推定する。透過率検出部12は、透過率推定部11で画素毎に推定した透過率と画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出する。透過率検出部12は、例えば撮像画像の全体または所定部分における透過率の対数平均値とデプス情報が示すデプスの平均値に基づいて煙霧の透過率を検出する。あるいは、透過率検出部12は、撮像画像から領域毎に推定した透過率の階調を領域毎のデプス情報が示すデプスの階調に変換して、階調変換後の透過率を煙霧の透過率とする。精度よく透過率を検出できるようになる。
【特許請求の範囲】
【請求項1】
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部
を備える情報処理装置。
【請求項2】
前記透過率検出部は、前記撮像画像の全体または所定部分における前記推定した透過率の対数平均値と前記デプス情報が示すデプスの平均値に基づいて前記煙霧の透過率を検出する
請求項1に記載の情報処理装置。
【請求項3】
前記透過率検出部は、前記推定した透過率の対数平均値と前記デプスの平均値に基づき前記撮像時における大気の散乱係数を算出して、前記大気の散乱係数と前記デプス情報に基づいて前記煙霧の透過率を検出する
請求項2に記載の情報処理装置。
【請求項4】
前記透過率検出部は、前記領域毎のデプス情報が示すデプスの階調を前記推定した透過率の階調に対応させる階調変換を行い、階調変換後のデプスを前記煙霧の透過率とする
請求項1に記載の情報処理装置。
【請求項5】
前記階調変換では、前記デプス情報が示すデプスを正規化して得られるヒストグラムを前記推定した透過率のヒストグラムに対応させる
請求項4に記載の情報処理装置。
【請求項6】
前記領域は、連続してあるいは所定画素間隔で設けられた1画素または複数画素の領域である
請求項1に記載の情報処理装置
【請求項7】
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出すること
を含む情報処理方法。
【請求項8】
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置。
【請求項9】
前記動作制御部は、前記透過率検出部で検出された透過率に基づきランプ駆動制御を行う
請求項8に記載の制御装置。
【請求項10】
前記動作制御部は、前記透過率検出部で検出された透過率に基づき点灯制御を行う
請求項9に記載の制御装置。
【請求項11】
前記動作制御部は、前記透過率検出部で検出された透過率に基づき光量制御を行う
請求項9に記載の制御装置。
【請求項12】
前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかを制御する
請求項9に記載の制御装置。
【請求項13】
前記動作制御部は、フォグランプのランプ駆動制御を行う
請求項9に記載の制御装置。
【請求項14】
前記動作制御部は、前記透過率検出部で検出された透過率に基づき、検出された前記透過率を外部へ出力する制御を行う
請求項8に記載の制御装置。
【請求項15】
前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき、移動動作を制御する
請求項8に記載の制御装置。
【請求項16】
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき、前記撮像画像から煙霧が除去された画像を生成する煙霧除去処理部と
を備える画像処理装置。
【請求項17】
前記煙霧除去処理部は、前記検出された透過率の逆数に応じてコントラストを調整して前記煙霧が除去された画像を生成する
請求項16に記載の画像処理装置。
【請求項18】
前記煙霧除去処理部は、前記撮像画像と前記検出された透過率を用いて透過率モデルに基づき前記煙霧が除去された画像を生成する
請求項16に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
この技術は、情報処理装置と情報処理方法および制御装置と画像処理装置に関し、精度よく透過率を検出できるようにする。
【背景技術】
【0002】
従来、霧や塵埃等の煙霧(ヘイズ)によって視認性が損なわれている撮像画像から透過率を計測する方法として、例えば非特許文献1に記載された方法が知られている。非特許文献1では、ダークチャンネル(Dark Channel)という局所領域におけるR,G,Bの最小値を用いて煙霧の密度を推定して、推定した煙霧の密度から透過率を算出している。また、特許文献2では、画素毎のダークチャンネルと局所領域のダークチャンネルのうち小さいものを最終的なダークチャンネルとして、透過率を算出している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013−058203号公報
【非特許文献】
【0004】
【非特許文献1】Kaiming He, Jian Sun, Xiaoou Tang, “Single Image Haze Removal Using Dark Channel Prior,” Computer Vision and Pattern Recognition, 2009. CVPR 2009.IEEE Conference on, pp.1956-1963, 2009.
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、ダークチャンネルを用いて透過率を推定する手法(Dark Channel Prior)では、撮像画像の三原色チャンネルにおける少なくとも1つの色チャンネルは強度が低いと仮定しており、最も暗い色チャンネル(ダークチャンネル)の画素値を、透過率の反転値と見なしている。したがって、撮像画像における白や明るい灰色の被写体領域における透過率を精度に計測することができない。
【0006】
そこで、この技術では、精度よく透過率を検出できる情報処理装置と情報処理方法および制御装置と画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
この技術の第1の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部
を備える情報処理装置にある。
【0008】
この技術においては、撮像画像から推定した透過率を用いて算出した撮像画像の全体または所定部分における対数平均値と、デプス情報が示すデプスの平均値とに基づいて撮像時における大気の散乱係数を算出する。さらに、算出した大気の散乱係数とデプス情報に基づいて煙霧の透過率を検出する。または、デプス情報が示すデプスの階調を撮像画像から推定した透過率の階調に変換する処理を行い、例えばデプス情報が示すデプスを正規化して得られるヒストグラムを推定した透過率のヒストグラムに対応させて、階調変換後のデプスを煙霧の透過率としてもよい。なお、領域は、連続してあるいは所定画素間隔で設けられた1画素または複数画素の領域である。
【0009】
この技術の第2の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出すること
を含む情報処理方法にある。
【0010】
この技術の第3の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置にある。
【0011】
この技術においては、撮像画像から領域毎に推定した透過率と領域毎のデプス情報とを用いて、撮像画像の撮像時における煙霧の透過率を検出して、この透過率に基づき動作制御、例えばランプ駆動制御を行う。ランプ駆動制御では、例えばフォグランプに対して、検出された透過率に基づき点灯制御や光量制御、領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかの制御を行う。また、検出された透過率に基づく動作制御では、検出された透過率を外部へ出力する制御を行う。さらに、動作制御では、検出された領域毎の透過率に基づき、移動動作を制御する。
【0012】
この技術の第4の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき、前記撮像画像から煙霧が除去された画像を生成する煙霧除去処理部と
を備える画像処理装置にある。
【0013】
この技術においては、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて検出された撮像画像の撮像時における煙霧の透過率の逆数に応じてコントラストを調整して煙霧が除去された画像を生成する。または、撮像画像と検出された透過率を用いて、透過率モデルに基づき煙霧が除去された画像の生成を行う。
【発明の効果】
【0014】
この技術によれば、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出される。したがって、精度よく透過率を検出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0015】
図1】透過率のモデルを示した図である。
図2】情報処理装置の構成を例示した図である。
図3】階調処理を例示した図である。
図4】制御装置の構成を示した図である。
図5】車両制御システムの概略的な構成の一例を示すブロック図である。
図6】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
図7】画像処理装置の構成を例示した図である。
【発明を実施するための形態】
【0016】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.透過率について
2.情報処理装置の構成と動作
3.制御装置の構成と動作
4.画像処理装置の構成と動作
【0017】
<1.透過率について>
撮像装置で取得される画像の画素位置xにおいて、情景放射(煙霧の影響のない被写体の本来の色)をJ(x)、煙霧によって分散した環境光(大気散乱光)をA、煙霧の透過率をt(x)とすると、撮像装置で取得される画像の画素値I(x)は、式(1)を用いて算出できることが知られている。なお、図1は透過率のモデルを示している。
I(x)=t(x)J(x)+(1−t(x))A ・・・(1)
【0018】
また、透過率t(x)は、撮像装置から被写体までの距離(デプス)d(x)と大気の散乱係数βを用いて式(2)で表すことができる。
t(x)=exp(−βd(x)) ・・・(2)
【0019】
<2.情報処理装置の構成と動作>
図2は、本技術の情報処理装置の構成を例示している。情報処理装置10は、透過率推定部11と透過率検出部12を有している。透過率推定部11は、撮像装置で取得された撮像画像から領域毎に透過率を推定する。透過率検出部12は、透過率推定部11で推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を領域毎に検出する。領域は、連続してあるいは所定画素間隔で設けられた1画素または複数画素の領域であり、透過率が推定される領域に対応するデプス情報、あるいはデプス情報が取得された領域に対応する透過率が得られている。なお、以下の説明では透過率の推定とデプス情報の取得が画素毎に行われているとして説明を行う。
【0020】
透過率推定部11は、非特許文献1に記載されている手法(以下「ダークチャンネル処理」という)を用いて画素毎の透過率を推定する。また、透過率推定部11は、文献「R. Fattal, “Single Image Dehazing,” ACM Transactions on Graphics, 2008」に記載された手法や文献「R. T. Tan, “Visibility in Bad Weather from a Single Image,” CVPR2008」に記載された手法などの一般的に知られている他の手法を用いて透過率を推定してもよい。
【0021】
以下、非特許文献1に記載されている手法であるダークチャンネル処理を用いて透過率マップを生成する場合の動作について説明する。ダークチャンネル処理では三原色の色チャンネルのうち少なくとも1つの色チャンネルは強度が低いと仮定しており、ダークチャンネルは、式(3)に示すように定義される。なお、式(3)においてcはRGB色成分のいずれかであり、Ω(x)は画素位置xを中心とする局所領域であり、yは局所領域内の座標を示している。
【0022】
【数1】
【0023】
ここで、ダークチャンネル処理では、強度が最も低い色チャンネルの画素値がダークチャンネルであり、ダークチャンネルにおける情景放射を式(4)に示すように「0」とすると、画素位置xの透過率は式(5)に基づいて推定できる。なお、「〜(チルダ)」が上に付されたtを「t」とも記す。
【0024】
【数2】
【0025】
透過率推定部11は、撮像装置で取得された撮像画像、例えば赤成分Rの画像と緑成分Gの画像と青成分Bの画像で構成されている撮像画像から環境光Aを推定する。透過率推定部11は、例えば撮像画像における輝度が最も高い画素を環境光とする。透過率推定部11は、推定した環境光Aを用いて式(5)の演算を行い、画素毎に透過率を推定して透過率検出部12へ出力する。
【0026】
透過率検出部12は、透過率推定部11で画素毎に推定した透過率と画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを出力する。デプス情報は、撮像装置から取得してもよくデプス測定装置から取得してもよい。例えば像面位相差画素が設けられたイメージセンサを用いた撮像装置では、撮像画像だけでなく像面位相差画素の画素信号を用いて被写体までの距離を示すデプス情報を得ることができる。このような撮像装置が用いられている場合、情報処理装置10は、撮像装置から撮像画像と撮像画像に対応するデプス情報を取得する。また、デプス測定装置としてTOF(Time of Flight)センサやLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)センサ等を用いてデプス情報を取得してもよい。デプス情報は被写体までの距離を精度よく示しているが、例えば距離が等しくとも撮像装置から被写体までの大気の状態によって透過率は変化する。そこで、透過率検出部12は、推定した透過率とデプス情報を用いることで、推定した透過率よりも精度よく煙霧の透過率を検出する。
【0027】
次に、透過率検出部12で行う第1の透過率検出動作について説明する。透過率検出部12は、撮像画像から画素毎に推定した透過率の対数平均値とデプス情報が示す画素毎のデプスの平均値に基づいて煙霧の透過率を検出する。例えば、透過率検出部12は、推定された透過率とデプス情報で示されたデプスの平均値を用いて散乱係数を算出する。推定された透過率t(x)とデプスd(x)と大気の散乱係数βの関係は上述の式(2)に示す関係であることから、散乱係数βの算出式は式(6)になる。
β=−(log(t(x))/d(x)) ・・・(6)
【0028】
したがって、透過率検出部12は、各画素の透過率t(x)とデプスd(x)から、透過率t(x)の対数の平均値E[log(t(x))]とデプスの平均値E[d(x)]を算出して、式(7)に基づき散乱係数βを算出する。さらに、透過率検出部12は、大気の散乱係数とデプス情報に基づいて煙霧の透過率を検出する。透過率検出部12は、算出された散乱係数βとデプスd(x)を用いて式(8)の演算を各画素で行い透過率t(x)を検出して、煙霧の透過率を画素毎に示す透過率マップを生成する。
β=−(E[log(t(x))]/E[d(x)]) ・・・(7)
(x)=exp(−βd(x)) ・・・(8)
【0029】
透過率検出部12は、推定された透過率とデプス情報で示されたデプスの平均値の算出において、撮像画像の各画素の透過率とデプスを全て用いてもよく、撮像画像の所定部分例えば中央部分の画素の透過率とデプスを用いてもよい。また、予め指定された画素間隔で抽出した画素の透過率とデプスを用いてもよい。なお、予め指定された画素間隔は、撮像画像全体で等しい画素間隔としてもよく、画像内の位置に応じて画素間隔の調整を行い、中央部分は周辺部分に比べて画素間隔を狭くしてもよい。
【0030】
次に、透過率検出部12で行う第2の透過率検出動作について説明する。透過率検出部12は、デプス情報が示すデプスの階調を推定した透過率の階調に対応させる階調変換を行うことで煙霧の透過率を検出する。例えば、透過率検出部12は、デプス情報が示すデプスの正規化と正規化後のデプスの階調を推定した透過率の階調に対応させる階調変換を行い、階調変換後のデプスを煙霧の透過率とする。すなわち、透過率検出部12は、デプスマップを正規化して、推定した透過率に応じた階調変換を行い、煙霧の透過率を画素毎に示す透過率マップを生成する。
【0031】
階調変換では、ヒストグラムの均等化等を行い、正規化後のデプスのヒストグラムを、推定した透過率のヒストグラムに対応させる。例えば階調変換では、正規化後のデプスのヒストグラムと透過率のヒストグラムのビンの数を等しくして、度数がピークとなるビンの位置、ピーク位置とピーク位置の度数、あるいはヒストグラム形状が等しくなるようにデプスの変換を行う。
【0032】
図3は、階調処理を例示している。図3の(a)は、所定距離を「1」として正規化したデプスのヒストグラムである。なお、所定距離は例えばデプス情報で示された画素毎のデプスの最大値とする。図3の(b)は推定した透過率のヒストグラムである。透過率検出部12は、図3の(a)に示すデプスのヒストグラムの例えばピーク位置が図3の(b)に示す推定した透過率のヒストグラムに対応するように階調処理を行い、図3の(c)に示すヒストグラムとなるデプスを煙霧の透過率とする。
【0033】
なお、第2の透過率検出動作で用いる画素は、第1の透過率検出動作と同様に、撮像画像全体の画素を用いてもよく、一部の領域例えば撮像画像の中央部分の領域の画素を用いてもよい。また、予め指定された画素間隔で袖手した画素を用いてもよい。なお、予め指定された画素間隔は、撮像画像全体で等しい画素間隔としてもよく、画像内の位置に応じて画素間隔の調整を行い、中央部分は周辺部分に比べて画素間隔を狭くしてもよい。
【0034】
このように、本技術の情報処理装置によれば、撮像画像に基づき領域毎に推定した透過率と領域毎のデプス情報に基づき、領域毎に透過率が検出されるので、撮像画像に基づいて推定した透過率に比べて、精度よく透過率を検出できるようになる。
【0035】
また、本技術の情報処理装置では、平滑化部13を設けてもよい。例えば、透過率を推定した画素が示す被写体位置と、この画素に対応するデプス情報が示すデプスの測定位置との誤差が大きい場合や、局所領域単位で透過率の算出が行われて局所領域の境界で透過率の変化が顕著である場合、検出された透過率に基づき後述するように煙霧除去処理を行うと、被写体のエッジ部分や局所領域の境界でハロー効果が発生するおそれがある。したがって、平滑化部13を設けてソフトマッティング処理等を行うことで、境界部分の透過率変化を滑らかにしてもよい。
【0036】
<3.制御装置の構成と動作>
次に、本技術の制御装置について説明する。図4は制御装置の構成を示している。制御装置30は、透過率推定部31と透過率検出部32および動作制御部33を有している。
【0037】
透過率推定部31は、上述の透過率推定部11と同様な処理を行い、撮像画像から例えば画素毎に透過率を推定して透過率検出部32へ出力する。透過率検出部32は、上述の透過率検出部12と同様な処理を行い、透過率推定部31で推定した透過率と例えば画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを動作制御部33へ出力する。動作制御部33は、透過率検出部32から出力された透過率マップに基づき煙霧の有無を判別する。また、動作制御部33は、煙霧の有無の判別結果や領域毎の透過率に基づき被制御部の動作を制御する。次に、制御装置を用いた車両制御システムについて説明する。
【0038】
図5は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0039】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図5に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
【0040】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0041】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0042】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0043】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であってもよいし、赤外線等の非可視光であってもよい。
【0044】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0045】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0046】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0047】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0048】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図5の例では、出力装置として、オーディオスピーカ12061、表示部2062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも1つを含んでいてもよい。
【0049】
図6は、撮像部12031の設置位置の例を示す図である。
【0050】
図6では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
【0051】
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0052】
なお、図6には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0053】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0054】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0055】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0056】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0057】
このように構成された移動体制御システムにおいて、撮像部12031では撮像画像とデプス情報を取得する。また、撮像部12031でデプス情報を取得できない場合、車外情報検出ユニット12030には、デプス情報の取得が可能な周囲情報検出センサを設ける。周囲情報検出センサとしては、TOF(Time of Flight)センサやLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)センサ等を用いる。車外情報検出ユニット12030は、撮像部12031から取得した撮像画像とデプス情報、あるいは撮像部12031から取得した撮像画像と周囲情報検出センサで取得されたデプス情報を統合制御ユニット12050へ出力する。
【0058】
統合制御ユニット12050には、透過率推定部31と透過率検出部32の機能を設けて、上述のように透過率の推定や検出を行い、透過率マップを生成する。また、ボディ系制御ユニット12020には、動作制御部33を設ける。
【0059】
ボディ系制御ユニット12020は、統合制御ユニット12050で生成された透過率マップに基づき被制御部例えばフォグランプ等のランプ駆動制御を行う。
【0060】
ボディ系制御ユニット12020は、ランプ駆動制御として点灯制御を行う。透過率マップの全体または部分領域について煙霧の有無を判定する。部分領域は、透過率マップの全体を複数に分割したときの各分割領域であってもよく、透過率マップ内の予め設定された位置に所定の領域サイズで設定された1または複数の領域であってもよい。
【0061】
ボディ系制御ユニット12020は、透過率マップの全体もしくは部分領域の平均値と閾値を比較して、透過率平均値が所定の閾値よりも低いか、もしくは透過率が所定の閾値よりも低い部分領域があるか判定する。また、動作制御部33は、透過率が所定の閾値よりも低い画素を検出して、検出した画素数が透過率マップの全体において所定の閾値よりも多いか、もしくは検出した画素数が所定の閾値よりも多い部分領域があるか判定する。ボディ系制御ユニット12020は、例えば透過率マップの全体の透過率平均値が所定の閾値よりも低い場合にフォグランプを点灯状態として、所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。また、ボディ系制御ユニット12020は、例えば透過率が所定の閾値よりも低い画素数が透過率マップの全体において所定の閾値よりも多い場合にフォグランプを点灯状態として、所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。
【0062】
ボディ系制御ユニット12020は、ランプ駆動制御として配光制御をさらに行うようにしてもよい。ボディ系制御ユニット12020は、例えば透過率平均値が所定の閾値よりも低い部分領域を検出した場合にフォグランプを点灯状態として配光制御を行い、透過率平均値が所定の閾値よりも低い部分領域の方向や部分領域に対応した照射角で光の照射を行う。また、ボディ系制御ユニット12020は、透過率平均値が所定の閾値よりも低い部分領域を検出していない場合にフォグランプを非点灯状態とする。また、ボディ系制御ユニット12020は、例えば透過率が所定の閾値よりも低い画素数が所定の閾値よりも多い部分領域を検出した場合にフォグランプを点灯状態として配光制御を行い、この部分領域の方向や部分領域に対応した照射角で光の照射を行う。また、ボディ系制御ユニット12020は、透過率が所定の閾値よりも低い画素数が所定の閾値よりも多い部分領域を検出していない場合にフォグランプを非点灯状態とする。
【0063】
さらに、ボディ系制御ユニット12020は、ランプ駆動制御として光量制御をさらに行うようにしてもよい。ボディ系制御ユニット12020は、透過率マップの全体もしくは部分領域の透過率平均値が所定の閾値よりも低い場合にフォグランプを点灯状態として光量制御を行い、透過率平均値が低くなるに伴い光量を多くする。また、ボディ系制御ユニット12020は、透過率平均値が所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。
【0064】
このように、移動体制御システムでは検出した透過率に基づいてランプ駆動制御が行われるので、例えば霧が濃いときにはフォグランプを自動的に点灯して、霧が晴れたときには自動的に消灯することができる。また、フォグランプの照射方向や照射角が自動的に調整されて、霧が濃い領域の視認性を向上させることができる。さらに、霧の濃さに応じてフォグランプの光量を最適な光量に自動的に調整することができる。なお、フォグランプは車両前方だけでなく車両後方に設けられてもよい。
【0065】
また、ランプ駆動制御はフォグランプの駆動制御に限られない。例えば、霧が濃いときにヘッドランプが上向き(ハイビーム)であると、前方の視認性が低下する。したがって、霧が濃いときにヘッドランプを下向き(ロービーム)とする制御や光量を低下させる制御を自動的に行うようにしてもよい。
【0066】
また、本技術の制御装置は、煙霧を生じる環境で使用される移動機器であれば、自動車に限らず船舶あるいは飛行体等に適用してもよい。また、検出された透過率に基づく動作制御では、検出された透過率を外部へ出力してもよい。例えばドローン等の無人飛行体に適用して上空から撮像を行い、撮像中に透過率を検出する。また、無人飛行体は、透過率が閾値よりも低下した場合、検出した透過率をコントロール側等に通知する。このような動作制御を行えば、煙霧の発生状況を上空から精度よく観測できるようになる。また、検出された透過率に基づく動作制御として移動方向を制御してもよい。例えば、無人飛行体は、領域毎に検出した透過率をコントロール側に通知して、あるいは領域毎に検出した透過率に基づき自動的に、煙霧の少ない方向に飛行ルートを選択しながら撮像を行うこともできる。
【0067】
<4.画像処理装置の構成と動作>
次に、本技術の画像処理装置について説明する。図7は画像処理装置の構成を例示している。画像処理装置50は、透過率推定部51と透過率検出部52および煙霧除去部53を有している。
【0068】
透過率推定部51は、上述の透過率推定部11と同様な処理を行い、撮像画像から例えば画素毎に透過率を推定して透過率検出部32へ出力する。透過率検出部52は、上述の透過率検出部12と同様な処理を行い、透過率推定部31で推定した透過率と例えば画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを煙霧除去部53へ出力する。煙霧除去部53は、透過率検出部52から出力された透過率マップに基づき、撮像装置で取得された撮像画像から煙霧を除去する。
【0069】
煙霧除去部53の第1の動作では、透過率マップで示された各画素の透過率t(x)の逆数に応じてコントラストを調整することで煙霧を除去する。この場合、煙霧除去部53は、処理対象画素を基準とした近傍領域内の画素(処理対象画素を含む)の画素値平均を処理対象画素の直流成分IDCとする。また、煙霧除去部53は、処理対象画素と近傍領域内の他の各画素との画素値の差分の平均値を処理対象画素のコントラスト成分IACとする。さらに、煙霧除去部53は、処理対象画素である画素位置xの直流成分IDC(x)とコントラスト成分IAC(x)と透過率t(x)を用いて式(9)の演算を行い、煙霧除去後の画素値すなわち情景放射J(x)を算出する。煙霧除去部53は、式(9)の演算を画素毎に行い、煙霧が除去された鮮明な撮像画像を復元する。
J(x)=IDC(x)+(1/t(x))IAC ・・・(9)
【0070】
煙霧除去部53の第2の動作では、撮像画像と検出された透過率を用いて透過率のモデルに基づいて煙霧を除去する。透過率のモデルを示す式(1)を変形すると、情景放射J(x)を算出する式(10)が得られる。したがって、煙霧除去部53は、式(10)の演算を画素毎に行い、煙霧が除去された鮮明な撮像画像を復元する。
J(x)=(I(x)−A))/t(x)+A ・・・(10)
【0071】
なお、透過率t(x)は「0」に近い値を取り得る場合があり、透過率t(x)が「0」に近い値となると煙霧が除去された撮像画像にノイズが目立つ場合が生じる。したがって、予め下限値t0を設定して、透過率t(x)が下限値t0よりも小さい場合は下限値t0を用いて煙霧除去を行うようにしてもよい。
【0072】
煙霧除去部53は、式(10)で用いる環境光Aとして、例えば上述のように撮像画像における輝度が最も高い画素を環境光とする。また、煙霧除去部53は、撮像装置から取得した撮像画像の全体もしくは一部領域の平均値を環境光Aとして用いてもよい。また、煙霧除去部53は、主成分分析あるいは独立成分分析によって環境光Aを推定してもよい。例えば煙霧除去部53は、三原色の各色成分を3次元の各ベクトルとして、撮像装置から取得した撮像画像の全体もしくは一部領域の画素値の各色成分を対応するベクトルのノルムとして、全体もしくは一部領域の画素値に基づく3次元ベクトルの主成分分析を行い、得られた主成分ベクトルを環境光Aとする。また、煙霧除去部53は、各画素の画素値I(x)、情景放射J(x)および透過率t(x)は独立であるとして、撮像装置から取得した撮像画像の全体もしくは一部領域の画素値を用いて独立成分分析を行い、各画素で式(1)の関係を満たす環境光Aを推定する。
【0073】
このように、画像処理装置では、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出されて、この検出された透過率に基づいて煙霧の除去が行われる。このため、撮像画像から推定した透過率に基づいて煙霧の除去を行う場合に比べて煙霧を精度よく除去して、鮮明な撮像画像を復元できるようになる。
【0074】
また、本願の画像処理装置を、煙霧を生じる環境で使用される電子機器、例えば監視装置に用いれば、監視対象の領域に煙霧が生じていても鮮明な撮像画像を得られるので、監視能力の低下を防止できる。また、本願の画像処理装置を上述の車両制御システムに用いれば、車両走行時に煙霧が生じていても煙霧が除去されている鮮明な撮像画像を得られる。したがって、煙霧が除去された撮像画像を利用して周辺環境を監視すれば、煙霧が生じても障害物等の検出を容易に行える。また、表示部12062のヘッドアップディスプレイ、バックモニター、電子化されたバックミラーやドアミラー等で煙霧が除去された撮像画像を表示すれば、運転者は煙霧が生じていても周辺状況を容易に把握できるようになる。
【0075】
明細書中において説明した透過率検出動作や検出した透過率に基づく制御動作、検出した透過率に基づく煙霧除去動作は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【0076】
例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0077】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0078】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【0079】
また、本技術の制御装置は以下のような構成も取ることができる。
(1) 撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置。
(2) 前記動作制御部は、前記透過率検出部で検出された透過率に基づきランプ駆動制御を行う(1)に記載の制御装置。
(3) 前記動作制御部は、前記透過率検出部で検出された透過率に基づき点灯制御を行う(2)に記載の制御装置。
(4) 前記動作制御部は、前記透過率検出部で検出された透過率に基づき光量制御を行う(2)または(3)のいずれかに記載の制御装置。
(5) 前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかを制御する(2)乃至(4)のいずれかに記載の制御装置。
(6) 前記動作制御部は、フォグランプのランプ駆動制御を行う(2)乃至(5)のいずれかに記載の制御装置。
(7) 前記動作制御部は、前記透過率検出部で検出された透過率に基づき、検出された前記透過率を外部へ出力する制御を行う(1)乃至(6)のいずれかに記載の制御装置。
(8) 前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき、移動動作を制御する(1)に記載の制御装置。
【産業上の利用可能性】
【0080】
この技術の情報処理装置と情報処理方法および制御装置と画像処理装置では、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出される。このため、精度よく透過率を検出できるようになる。したがって、煙霧を生じる環境で使用される移動機器や電子機器に適している。
【符号の説明】
【0081】
10・・・情報処理装置
11,31,51・・・透過率推定部
12,32,52・・・透過率検出部
13・・・平滑化部
30・・・制御装置
33・・・動作制御部
50・・・画像処理装置
53・・・煙霧除去部
図1
図2
図3
図4
図5
図6
図7
【国際調査報告】