(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-19
(45)【発行日】2024-11-27
(54)【発明の名称】画像処理装置、及び、画像処理方法
(51)【国際特許分類】
G06T 5/92 20240101AFI20241120BHJP
G06T 7/00 20170101ALI20241120BHJP
【FI】
G06T5/92
G06T7/00 350B
(21)【出願番号】P 2021030975
(22)【出願日】2021-02-26
【審査請求日】2023-10-11
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(73)【特許権者】
【識別番号】304020292
【氏名又は名称】国立大学法人徳島大学
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】荻島 葵
(72)【発明者】
【氏名】岡田 康貴
(72)【発明者】
【氏名】山田 浩
(72)【発明者】
【氏名】寺田 賢治
(72)【発明者】
【氏名】高名 智也
【審査官】岡本 俊威
(56)【参考文献】
【文献】国際公開第2019/194256(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 5/00- 5/94
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
第1条件で撮影された第1画像に対して、画像処理を行うことにより、変換された画像を生成する画像処理部を備え、
前記画像処理部は、前記変換された画像に基づいて算出される第1値と、前記第1条件と異なる第2条件で撮影された複数の第2画像に基づいて算出される第2値との差分の絶対値が、閾値未満となるまで、前記画像処理を行い、
前記第1値は前記変換された画像に含まれるすべての画素の輝度の平均値であり、前記第2値は前記複数の第2画像に含まれるすべての画像の輝度の平均値であり、前記画像の輝度は当該画像に含まれるすべての画素の輝度の平均値である
、
画像処理装置。
【請求項2】
前記画像処理は、前記第1画像の各画素の輝度を、前記複数の第2画像の各画素の輝度に基づいて補正する処理を含む、
請求項
1に記載の画像処理装置。
【請求項3】
前記画像処理は、前記第1画像の各画素を、R値、G値、B値によるRGB色空間で表した場合に、R値、G値、B値のうちR値が最大である画素のR値を、G値とB値との平均値に置き換える処理を含む、
請求項1
又は2に記載の画像処理装置。
【請求項4】
前記画像処理は、前記第1画像の各画素の輝度から各画素の照明光成分の輝度と反射率成分の輝度とを算出し、前記照明光成分の輝度を前記複数の第2画像の各画素の輝度に基づいて補正し、補正された前記照明光成分の輝度と前記反射率成分の輝度とから前記第1画像の各画素の輝度を補正する処理を含む、
請求項1から
3のいずれか1項に記載の画像処理装置。
【請求項5】
前記画像処理は、前記第1画像の各画素の輝度から各画素の照明光成分の輝度と反射率
成分の輝度とを算出し、前記第1画像の各画素の輝度を前記反射率成分の輝度に置き換える処理を含む、
請求項1から
4のいずれか1項に記載の画像処理装置。
【請求項6】
前記第1条件は撮影時刻が夜の時間帯であることであり、前記第2条件は撮影時刻が昼の時間帯であることである、
請求項1
から5のいずれか1項に記載の画像処理装置。
【請求項7】
コンピュータが、
第1条件で撮影された第1画像に対して、画像処理を行うことにより、変換された画像を生成し、
前記変換された画像に基づいて算出される第1値と、前記第1条件と異なる第2条件で撮影された複数の第2画像に基づいて算出される第2値との差分の絶対値が、閾値未満となるまで、前記画像処理を行う
際、
前記第1値は前記変換された画像に含まれるすべての画素の輝度の平均値であり、前記第2値は前記複数の第2画像に含まれるすべての画像の輝度の平均値であり、前記画像の輝度は当該画像に含まれるすべての画素の輝度の平均値である、
画像処理方法。
【請求項8】
前記画像処理は、前記第1画像の各画素を、R値、G値、B値によるRGB色空間で表した場合に、R値、G値、B値のうちR値が最大である画素のR値を、G値とB値との平均値に置き換える処理を含む、
請求項7に記載の画像処理方法。
【請求項9】
推定モデルにおける教師データの教師画像生成方法であって、
コンピュータが、
第1条件で撮影された第1画像に対して、画像処理を行うことにより、変換された画像を生成し、
前記変換された画像に基づいて算出される第1値と、前記第1条件と異なる第2条件で撮影された複数の第2画像に基づいて算出される第2値との差分の絶対値が、閾値未満となるまで、前記画像処理を施して前記教師データとする際、
前記第1値は前記変換された画像に含まれるすべての画素の輝度の平均値であり、前記第2値は前記複数の第2画像に含まれるすべての画像の輝度の平均値であり、前記画像の輝度は当該画像に含まれるすべての画素の輝度の平均値である、
ことを特徴とする教師画像生成方法。
【請求項10】
コンピュータが、
第1条件で撮影された第1画像に対して、画像処理を行うことにより、変換された画像を生成し、
前記変換された画像に基づいて算出される第1値と、前記第1条件と異なる第2条件で撮影された複数の第2画像に基づいて算出される第2値との差分の絶対値が、閾値未満となるまで、前記画像処理を施して教師データとする際、
前記第1値は前記変換された画像に含まれるすべての画素の輝度の平均値であり、前記第2値は前記複数の第2画像に含まれるすべての画像の輝度の平均値であり、前記画像の輝度は当該画像に含まれるすべての画素の輝度の平均値であり、
前記教師データを用いて機械学習した推定モデルによ
り、物体推定を行うことを特徴とする物体推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、及び、画像処理方法に関する。
【背景技術】
【0002】
深層学習等の機械学習を用いた、画像に対する物体検出技術がある。当該技術では、例えば、画像と当該画像に含まれる物体の名称との組を教師データとして用いて学習した、画像から当該画像に含まれる物体を推定する推定モデルを生成する。様々な環境条件で撮影された画像に対応する、性能の高い推定モデルを生成するには、教師データとして、様々な環境条件で撮影された画像が含まれていることが望ましい。また、性能の高い推定モデルを生成するには、より多くの画像を教師データとすることが望ましい。環境条件として、例えば、画像を撮影する際の時間帯、場所、天候、画角などによる条件が挙げられる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-187360号公報
【文献】特開2020-91453号公報
【文献】特開2007-333458号公報
【文献】特開2009-289189号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、様々な環境条件で撮影された画像を網羅的に収集するには、大きなコストがかかる。例えば、同じ位置で撮影された屋外の昼の画像と夜の画像とでは、画像に映り込んでいる物体(道路標識、車両、建物などの人工物、植物、動物、人、地形、岩などの自然物等)の形状等が同じであっても、物体の色や明度などが異なることがある。物体の形状が同じであっても、物体の色や明度が異なると、正確に物体を検出できないことがある。したがって、推定モデルの生成の際には、色や明度が異なる大量の物体の画像を教師データとして用意して学習することが求められる。
【0005】
また、一般に、ある特定の環境条件(例えば、昼の時間帯)で撮影された画像のみを教師データとして使用した推定モデルでは、当該特定の環境条件で撮影された画像に対しては、様々な環境条件で撮影された画像を教師データとした推定モデルよりも、性能が高くなる。しかし、ある特定の環境条件で撮影された画像のみを教師データとして使用した推定モデルでは、他の環境条件(例えば、夜の時間帯)で撮影された画像に対して推定を行うことは難しい。よって、この場合、様々な環境条件で撮影された画像に対応するには、環境条件ごとに推定モデルを用意することになり、コストがかかる。そこで、様々な環境条件で撮影された画像を、性能の高い1つ(あるいはより少ない数)の特定の環境条件に対応する推定モデルで推定することが求められる。
【0006】
本発明は、画像を特定の条件で撮影された画像に変換する画像処理装置、及び、画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明は、以下の手段を採用する。
即ち、第1の態様は、
第1条件で撮影された第1画像に対して、画像処理を行うことにより、変換された画像
を生成する画像処理部を備え、
前記画像処理部は、前記変換された画像に基づいて算出される第1値と、前記第1条件と異なる第2条件で撮影された複数の第2画像に基づいて算出される第2値との差分の絶対値が、閾値未満となるまで、前記画像処理を行う、
画像処理装置。
【0008】
開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した情報処理装置が読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。なお、情報処理装置は、例えば、コンピュータである。コンピュータは、パソコンや、サーバと呼ばれることもある。
【発明の効果】
【0009】
本発明によれば、画像を特定の条件で撮影された画像に変換する画像処理装置、及び、画像処理方法を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施形態の画像処理装置の構成例を示す図である。
【
図2】
図2は、情報処理装置のハードウェア構成例を示す図である。
【
図3】
図3は、実施形態の画像処理装置の画像処理の全体の動作フローの例を示す図である。
【
図4】
図4は、第1画像処理の動作フローの例を示す図である。
【
図5】
図5は、第2画像処理の動作フローの例を示す図である。
【
図6】
図6は、第3画像処理の動作フローの例を示す図である。
【
図7】
図7は、第4画像処理の動作フローの例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
【0012】
〈実施形態〉
(構成例)
図1は、本実施形態の画像処理装置の構成例を示す図である。画像処理装置100は、画像処理部102、入力部104、出力部106、通信部108、記憶部110を有する。画像処理装置100は、画像(元画像)を、ある特定の環境条件で撮影された画像に変換する画像処理を行う。環境条件として、例えば、画像を撮影する際の時間帯、場所、天候、画角、道路の混雑(渋滞)状況などによる条件が挙げられる。環境条件は、これらの組み合わせであってもよい。環境条件は、これらに限定されるものではない。環境条件は、条件の一例である。画像処理の対象となる元画像は、例えば、道路を走行する車両などに搭載されるカメラによって撮影された画像である。
【0013】
元画像は、例えば、当該特定の環境条件以外の環境条件で撮影された画像である。変換された画像は、例えば、当該特定の環境条件で撮影された画像を含むデータを教師データとして学習(機械学習)される推定モデルを生成する際の、教師データの画像として使用され得る画像である。推定モデル(学習済み推定モデル)は、例えば、所定の環境条件で撮影された画像と当該画像に含まれる物体との組を教師データとして学習された、画像から当該画像に含まれる物体の名称を推定する推定モデルである。また、変換された画像は
、例えば、当該推定モデルにより当該画像に含まれる物体の名称を推定される画像(推定対象の画像)として使用され得る。特定の環境条件は、例えば、撮影時刻が昼の時間帯であることである。このとき、特定の環境条件以外の環境条件は、例えば、撮影時刻が夜の時間帯であることである。
【0014】
画像処理装置100は、特定の環境条件以外の環境条件で撮影された画像を、特定の環境条件で撮影された画像と当該画像に含まれる物体の名称との組を教師データとして用いて学習(機械学習)した推定モデルの教師データに含まれる当該画像と同等の画像に、変換する。すなわち、画像処理装置100は、特定の環境条件以外の環境条件で撮影された画像を、推定モデルの教師データに含まれる画像の画像特性(特定の環境条件で撮影された画像の画像特性)に近づける画像処理を行う。機械学習として、周知の機械学習が適用され得る。ここで、推定モデルは、例えば、特定の環境条件で撮影された画像から当該画像に含まれる物体を推定するモデルとする。ここでの推定モデルは、特定の環境条件で撮影された画像を教師データとして用いて学習した推定モデルであればよい。当該推定モデルを、対象の推定モデルともいう。画像特性は、例えば、画像の画素の輝度、画像の画素のRGB色空間のR値などの画像に基づいて算出される値である。ここでは、画像処理装置100は、特定の環境条件以外の環境条件で撮影された画像を、対象の推定モデルの教師データに含まれる画像(特定の環境条件で撮影された画像)と同等の画像に変換する。例えば、変換された画像と対象の推定モデルとを利用して、変換された画像に含まれる物体の名称を推定することができる。また、変換された画像は、対象の推定モデルの性能を向上させるための教師データとして使用されてもよい。すなわち、画像処理装置100は、推定モデルにする対象の撮影データ(撮影された画像)に対して、教師データの撮影条件(特定の環境条件)で撮影された画像の画像特性に近づける画像処理を施して教師データとする画像を生成する。これにより、画像処理装置100は、特定の環境条件以外の環境条件で撮影された画像に対して所定の画像処理をすることで、画像処理された画像を、特定の環境条件で撮影された画像を教師データとする推定モデルの教師データの画像として、使用することができる。また、画像処理装置100は、推定モデルにおける教師データの画像特性に近づける画像処理を施した撮影データ(撮影された画像)を用いて、推定モデルによる物体推定(画像に含まれる物体の名称の推定)を行ってもよい。これにより、画像処理装置100は、特定の環境条件以外の環境条件で撮影された画像について、特定の環境条件で撮影された画像を教師データとした推定モデルを使用して、物体推定を行うことができる。
【0015】
ここでは、画像処理装置100は、夜の時間帯(特定の環境条件以外の環境条件)において撮影された画像を、昼の時間帯(特定の環境条件)において撮影された画像と同等の画像(単に、昼の時間帯において撮影された画像ともいう)に変換する画像処理を行う。例えば、夜の時間帯は、日没時刻から日出時刻まで、昼の時間帯は、日出時刻から日没時刻までである。また、夜の時間帯は、日没時刻の所定時間(例えば、2時間)後から日出時刻の所定時間(例えば、2時間)前まで、昼の時間帯は、日出時刻の所定時間(例えば、2時間)後から日没時刻の所定時間(例えば、2時間)前までとしてもよい。また、日出時刻、日没時刻によらず、昼の時間帯を10時から16時まで、夜の時間帯を20時から翌朝4時までなどとしてもよい。また、夜の時間帯は、昼の時間帯以外のすべての時間帯であってもよい。夜の時間帯、昼の時間帯は、ここに挙げたものに限定されるものではない。また、夜の時間帯の終了時刻から朝の時間帯の開始時刻までを朝方の時間帯、昼の時間帯の終了時刻から夜の時間帯の開始時刻までを夕方の時間帯としてもよい。
【0016】
画像処理部102は、記憶部110に格納される画像を取得する。画像処理部102は、取得した画像に対して、特定の環境条件の画像と同等の画像(単に、特定の環境条件で撮影された画像ともいう)に変換するための画像処理を行う。特定の環境条件が昼の時間帯に撮影されることである場合、例えば、画像処理は、明度正規化、赤色低減などである
。
【0017】
画像は、画像内の各画素がRGB(Red Green Blue)色空間による画素値によって表されるものとする。画像は、横方向にX個、縦方向にY個の画素を有しているとする。例えば、画像内の座標(x,y)で示される各画素が、赤を表すR値、緑を表すG値、青を表すB値によって表される。x、yは、例えば、それぞれ、1以上X以下の整数、1以上Y以下の整数である。R値、G値、B値は、画素値の例である。R値、G値、B値は、例えば、0以上255以下の整数で表される。また、画像は、画像内の各画素がRGB色空間による画素値に変換され得る他の形式(色空間)の画素値で表されてもよい。他の形式(色空間)として、例えば、YCbCr色空間、HSV色空間、HLS色空間、CMYK色空間などが挙げられる。
【0018】
入力部104は、利用者等による情報の入力を受け付ける入力手段である。入力部104は、キーボード、ポインティングデバイス等の入力装置である。
【0019】
出力部106は、利用者等に対する情報の表示等の出力を行う出力手段である。出力部106は、例えば、ディスプレイ等の表示装置である。出力部106は、画像処理によって変換された画像等を表示する。
【0020】
通信部108は、通信ネットワーク等を介して他の情報処理装置などと通信をする通信インタフェースである。通信部108は、他の情報処理装置などから、画像などを受信し、記憶部110に格納する。
【0021】
記憶部110は、画像と当該画像が撮影された日時とを対応付けて格納する。画像が撮影されるときに画像が生成されるとみなして、画像が撮影された日時を画像が生成された日時としてもよい。画像には、当該画像が撮影された際の環境条件(撮影日時、撮影場所、撮影時の天候、撮影時の画角など)が対応付けられてもよい。記憶部110は、画像処理の対象となる画像である、特定の環境条件以外の環境条件で撮影された画像を格納する。また、記憶部110は、画像処理装置100で使用される各種データ、値、情報等を格納する。また、記憶部110は、対象の推定モデルの教師データに含まれる画像(特定の環境条件で撮影された画像)、または、当該画像に関する情報(特定の環境条件で撮影された画像の輝度値(Y値)の平均値、標準偏差など)などを格納する。対象の推定モデルの教師データに含まれる画像は、少なくとも2以上の画像である。記憶部110に格納される画像等は、例えば、通信部108を介して、他の情報処理装置などから取得される。記憶部110は、画像処理部102で算出された値、データ、生成された画像等を格納する。
【0022】
図2は、情報処理装置のハードウェア構成例を示す図である。
図2に示す情報処理装置は、一般的なコンピュータの構成を有している。画像処理装置100は、
図2に示すような情報処理装置90によって実現される。
図2の情報処理装置90は、プロセッサ91、メモリ92、記憶部93、入力部94、出力部95、通信制御部96を有する。これらは、互いにバスによって接続される。メモリ92及び記憶部93は、コンピュータ読み取り可能な記録媒体である。コンピュータのハードウェア構成は、
図2に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
【0023】
情報処理装置90は、プロセッサ91が記録媒体に記憶されたプログラムをメモリ92の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、所定の目的に合致した機能を実現することができる。
【0024】
プロセッサ91は、例えば、CPU(Central Processing Unit)やDSP(Digital S
ignal Processor)である。
【0025】
メモリ92は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)を含む。メモリ92は、主記憶装置とも呼ばれる。
【0026】
記憶部93は、不揮発性記憶媒体を備える。記憶部93に備わる不揮発性記憶媒体は、例えば、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(HDD
、Hard Disk Drive)である。また、記憶部93は、リムーバブルメディア、即ち可搬記
録媒体を含むことができる。リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、あるいは、CD(Compact Disc)やDVD(Digital Versatile Disc)のようなディスク記録媒体である。記憶部93は、二次記憶装置とも呼ばれる。
【0027】
記憶部93は、各種のプログラム、各種のデータ及び各種のテーブルを読み書き自在に記録媒体に格納する。記憶部93には、オペレーティングシステム(Operating System :OS)、各種プログラム、各種テーブル等が格納される。記憶部93に格納される情報は、メモリ92に格納されてもよい。また、メモリ92に格納される情報は、記憶部93に格納されてもよい。
【0028】
オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信制御部96を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。外部装置等には、例えば、他のコンピュータ、外部記憶装置等が含まれる。
【0029】
入力部94は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力部94は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。
【0030】
出力部95は、LCD(Liquid Crystal Display)、EL(Electroluminescence)パ
ネル、CRT(Cathode Ray Tube)ディスプレイ、PDP(Plasma Display Panel)等の表示装置、プリンタ等の出力装置を含む。また、出力部95は、スピーカのような音声の出力装置を含むことができる。
【0031】
通信制御部96は、他の装置と接続し、情報処理装置90と他の装置との間の通信を制御する。通信制御部96は、例えば、LAN(Local Area Network)インタフェースボード、無線通信のための無線通信回路、有線通信のための通信回路である。LANインタフェースボードや無線通信回路は、インターネット等のネットワークに接続される。
【0032】
画像処理装置100を実現するコンピュータは、プロセッサが補助記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、画像処理部102、入力部104、出力部106、通信部108としての機能を実現する。一方、記憶部110は、主記憶装置または補助記憶装置の記憶領域に設けられる。
【0033】
(動作例)
〈全体の動作〉
図3は、本実施形態の画像処理装置100の画像処理の全体の動作フローの例を示す図である。ここでは、対象の推定モデルは、昼の時間帯(特定の環境条件)において撮影された画像を含む教師データを用いて学習した推定モデルとする。画像処理装置100は、昼の時間帯以外の時間帯(特定の環境条件以外の環境条件、ここでは、夜の時間帯とする)において撮影された画像を、所定の画像処理により、対象の推定モデルの教師データに
含まれる画像と同等の画像(昼の時間帯において撮影された画像)に変換する。ここでは、画像処理装置100の記憶部110には、画像処理の対象となる、夜の時間帯において撮影された画像(画像処理の対象となる画像)が格納されているとする。
【0034】
S101では、画像処理装置100の画像処理部102は、画像処理の対象となる画像(夜の時間帯において撮影された画像)を、記憶部110から取得する。
【0035】
S102では、画像処理部102は、画像の各画素において、RGB色空間におけるR値、G値、B値のうちR値が最大である画素を抽出する。ここでの画像は、S101からS102に進んだ場合、S101で取得した画像であり、S109からS102に進んだ場合は、S109の直前の画像処理で変換された画像である。当該画像を元画像とする。画像処理部102は、抽出した画素の数を計数する。画像処理部102は、元画像のすべての画素の数に対する計数した画素の数の割合を算出する。画像処理部102は、算出した割合が第1閾値以上であるか否かを判定する。第1閾値は、あらかじめ、記憶部110に格納されている。算出した割合が第1閾値以上である場合(S102;YES)、処理がS103にすすむ。算出した割合が第1閾値未満である場合(S102;NO)、処理がS104にすすむ。
【0036】
S103では、画像処理部102は、元画像に対して、元画像の赤色を低減する第2画像処理を行い、変換する。第2画像処理については、のちに説明する。
【0037】
S104では、画像処理部102は、元画像の各画素において、YCbCr色空間のY値を算出する。RGB色空間からYCbCr色空間への変換は、周知の変換式(計算式)により行われる。YCbCr色空間は、Y値(輝度)、Cb値、Cr値で表される。画像処理部102は、算出したY値のうち、最大のY値と最小のY値を抽出する。画像処理部102は、最大のY値と最小のY値との差分を算出する。画像処理部102は、算出した差分が第2閾値以上であるか否かを判定する。第2閾値は、あらかじめ、記憶部110に格納されている。算出した差分が第2閾値以上である場合(S104;YES)、処理がS105にすすむ。算出した差分が第2閾値未満である場合(S104;NO)、処理がS106にすすむ。
【0038】
S105では、画像処理部102は、元画像に対して、元画像の照明光成分を明度正規化する第3画像処理を行い、変換する。第3画像処理については、のちに説明する。
【0039】
S106では、画像処理部102は、元画像の画素において、YCbCr色空間のY値が第3閾値未満である画素を抽出する。第3閾値は、あらかじめ、記憶部110に格納されている。画像処理部102は、抽出した画素の数を計数する。画像処理部102は、元画像のすべての画素の数に対する計数した画素の数の割合を算出する。画像処理部102は、算出した割合が第4閾値以上であるか否かを判定する。第4閾値は、あらかじめ、記憶部110に格納されている。算出した割合が第4閾値以上である場合(S106;YES)、処理がS107にすすむ。算出した割合が第4閾値未満である場合(S106;NO)、処理がS108にすすむ。
【0040】
S107では、画像処理部102は、元画像に対して、元画像の反射率成分を明度正規化する第4画像処理を行い、変換する。第4画像処理については、のちに説明する。
【0041】
S108では、画像処理部102は、元画像に対して、元画像全体を明度正規化する第1画像処理を行い、変換する。第1画像処理については、のちに説明する。
【0042】
S109では、画像処理部102は、元画像に対して各種の画像処理を行って変換され
た画像と、記憶部110に格納される対象の推定モデルの教師データに含まれる画像(昼の時間帯において撮影されたすべての画像)とを比較することにより、変換された画像が昼の時間帯に撮影された画像と同等の画像であるか否かを判定する。昼の時間帯に撮影された画像と同等の画像とは、画像の画素値が昼の時間帯に撮影された画像の画素値と類似している画像である。
【0043】
画像処理部102は、例えば、昼の時間帯に撮影された各画像(画像a、画像b、画像c、・・・)について、当該画像のすべての画素のYCbCr色空間のY値の平均値(画像aの平均値Ya、画像bの平均値Yb、画像cの平均値Yc、・・・)を算出する。さらに、画像処理部102は、画像毎に算出されたY値の平均値(Ya、Yb、Yc、・・・)の、平均値AVG1(Ya、Yb、Yc、・・・の平均値(昼の時間帯に撮影されたすべての画像のY値の平均値))及び標準偏差σY(Ya、Yb、Yc、・・・の標準偏差)を算出する。また、画像処理部102は、変換された画像のすべての画素のYCbCr色空間のY値の平均値AVG2を算出する。画像処理部102は、変換された画像のY値の平均値AVG2と昼の時間帯に撮影されたすべての画像のY値の平均値AVG1との差分の絶対値(AVG2-AVG1の絶対値)を算出する。算出された差分の絶対値(AVG2-AVG1の絶対値)が算出した標準偏差σY未満である場合、変換された画像の画素値は昼の時間帯に撮影された画像の画素値と類似している。よって、画像処理部102は、算出された差分の絶対値(AVG2-AVG1の絶対値)が算出した標準偏差σY未満である場合、変換された画像が、昼の時間帯に撮影された画像と同等の画像であると判定する。一方、画像処理部102は、算出された差分の絶対値(AVG2-AVG1の絶対値)が算出した標準偏差σY以上である場合、変換された画像が、昼の時間帯に撮影された画像と同等の画像でないと判定する。閾値としての標準偏差σYの代わりに、標準偏差σYのX倍(例えば、0<X<3)の値や、所定の固定値が閾値として使用されてもよい。
【0044】
画像処理部102は、昼の時間帯に撮影された各画像のY値の平均値(Ya、Yb、Yc、・・・)、Y値の平均値の平均値AVG1、標準偏差σYを、あらかじめ算出しておき、記憶部110に格納しておいてもよい。また、画像処理部102は、昼の時間帯に撮影された各画像のY値の平均値(Ya、Yb、Yc、・・・)、Y値の平均値の平均値AVG1、標準偏差σYを、通信部108を介して、他の情報処理装置等から取得し、記憶部110に格納しておいてもよい。このとき、画像処理部102は、S109の処理の際に、記憶部110から、昼の時間帯に撮影された各画像のY値の平均値(Ya、Yb、Yc、・・・)、Y値の平均値の平均値AVG1、標準偏差σYを、取得する。
【0045】
YCbCr色空間のY値の代わりに、他の画素値(例えば、RGB色空間のR値、G値、B値)、R値とG値とB値との和などが使用されてもよい。また、複数の値が使用されてもよい。すなわち、例えば、複数の値(指標の値)についての差が、すべて閾値未満である場合に、変換された画像が昼の時間帯に撮影された画像(対象の推定モデルの教師データに含まれる画像)と同等の画像であると判定する。また、画像処理部102は、他の方法により、変換された画像が昼の時間帯に撮影された画像(対象の推定モデルの教師データに含まれる画像)と同等の画像であるか否かを判定してもよい。輝度、赤色、緑色、青色などは、指標の例である。Y値、R値、G値、B値、R値とG値とB値との和などは、指標の値の例である。
【0046】
変換された画像が昼の時間帯に撮影された画像と同等の画像でないと判定された場合(S109;NO)、処理がS102に戻る。変換された画像が昼の時間帯に撮影された画像と同等の画像であると判定された場合(S109;YES)、処理が終了する。これにより、夜の時間帯に撮影された画像が昼の時間帯に撮影された画像と同等の画像に変換される。また、変換された画像が、昼の時間帯に撮影された画像と同等の画像になるまで、
処理が繰り返される。
【0047】
S102、S104、S106のステップのうち、1乃至3のステップが省略されてもよい。S102が省略された場合、処理がS104に進む。S104が省略された場合、処理がS106に進む。S106が省略された場合、処理がS108に進む。S102、S104、S106のステップの順序が入れ替わってもよい。
【0048】
〈第1画像処理の動作〉
図4は、第1画像処理の動作フローの例を示す図である。第1画像処理は、
図3の動作フローのS108の処理である。第1画像処理は、元画像の画像全体の明度を正規化する処理である。
【0049】
S1101では、画像処理装置100の画像処理部102は、元画像の各画素を、RGB色空間からHSV色空間に変換する。RGB色空間からHSV色空間への変換は、周知の変換式(計算式)により行われる。HSV色空間は、色相(Hue(H値))、彩度(Saturation・Chroma(S値))、明度(Value・Brightness(V値))で表される。ここで、元画像の座標(x,y)の画素のV値を、I(x,y)とする。明度は、輝度ともいう。
【0050】
S1102では、画像処理部102は、元画像のすべての画素のV値の平均値Ia、標
準偏差σIを算出する。
【0051】
S1103では、画像処理部102は、I(x,y)、I
a、σ
Iを用いて、元画像の
すべての画素について、補正後のV値を算出する。座標(x,y)の画素の補正されたV値を、I′(x,y)とする。座標(x,y)の補正されたV値I′(x,y)は、次のように表される。
【数1】
【0052】
ここで、Naは、昼の時間帯に撮影された各画像(画像a、画像b、画像c、・・・)についてのすべての画素のHSV色空間のV値の平均値(画像aの平均値Aa、画像bの平均値Ab、画像cの平均値Ac、・・・)の平均値(Aa、Ab、Ac、・・・の平均値)である。σNは、昼の時間帯に撮影された各画像(画像a、画像b、画像c、・・・)についてのすべての画素のHSV色空間のV値の平均値(画像aの平均値Aa、画像bの平均値Ab、画像cの平均値Ac、・・・)の標準偏差(Aa、Ab、Ac、・・・の標準偏差)である。
【0053】
S1104では、画像処理部102は、各画素を、元画像の各画素のH値、S値、補正後のV値I′(x,y)を用いて、RGB色空間に変換する。HSV色空間からRGB色空間への変換は、周知の変換式(計算式)により行われる。画像処理部102は、変換された各画素のRGB色空間の画素値に基づいて、変換された画像を生成し、記憶部110に格納する。これにより、元画像の各画素の明度の正規化が行われる。一般に、夜の時間帯に撮影された画像は、昼の時間帯に撮影された画像に比べて暗い(Y値が小さい)。そこで、明度の正規化をすることにより、夜の時間帯に撮影された画像を、昼の時間帯に撮影された画像に近づけることができる。
【0054】
〈第2画像処理の動作〉
図5は、第2画像処理の動作フローの例を示す図である。第2画像処理は、
図3の動作フローのS103の処理である。第2画像処理は、元画像の赤色を低減したのち画像全体の明度を正規化する処理である。
【0055】
S1201では、画像処理装置100の画像処理部102は、画像の各画素において、RGB色空間におけるR値、G値、B値のうちR値が最大である画素を抽出する。画像処理部102は、抽出した画素のR値を、G値とB値との平均値((G値+B値)/2)に置き換える。
【0056】
S1202では、画像処理部102は、S1201で置き換えた画素について、置き換えたR値(=(G値+B値)/2)、及び、元のG値、B値を用いて、HSV色空間のH値を算出する。
【0057】
S1203では、画像処理部102は、S1201で置き換えた画素について、元のR値、G値、B値(置き換える前のR値、G値、B値)を用いて、HSV空間のS値、V値を算出する。
【0058】
S1204では、画像処理部102は、S1201で置き換えた画素について、S1202で算出されたHSV色空間のH値、S1203で算出されたHSV空間のS値、V値を用いて、RGB色空間のR値、G値、B値に変換する。また、S1201で置き換えなかった画素については、元のR値、G値、B値とする。画像処理部102は、S1201で置き換えた画素の変換されたR値、G値、B値、S1201で置き換えなかった画素の元のR値、G値、B値を用いて、新たな画像を生成し、記憶部110に格納する。
【0059】
S1205からS1208まででは、画像処理部102は、S1204で生成した新たな画像に対して、明度正規化処理を行う。S1205からS1208までの処理は、
図4のS1101からS1104までの処理と同様であるため、説明を省略する。画像処理部102は、変換された画像を記憶部110に格納する。これにより、元の画像の色相を維持した状態で赤色を低減し、明度の正規化を行うことができる。これにより、画像に含まれる車両の赤色ライトの影響を低減できる。車両の赤色ライトは、夜の時間帯に点灯されるが、昼の時間帯には点灯されないため、赤色ライトの影響を低減することで、画像を昼の時間帯に撮影された画像に近づけることができる。
【0060】
〈第3画像処理の動作〉
図6は、第3画像処理の動作フローの例を示す図である。第3画像処理は、
図3の動作フローのS105の処理である。第3画像処理は、元画像の照明光成分の明度を正規化する処理である。
【0061】
S1301では、画像処理装置100の画像処理部102は、元画像の各画素の画素値(R値、G値、B値)をYCbCr色空間の画素値(Y値、Cb値、Cr値)に変換する。
【0062】
S1302では、画像処理部102は、SSR(Single Scale Retinex)理論に基づき、各画素について、YCbCr色空間のY値から、照明光成分のY値L、反射率成分のY値Rを算出する。ここで、座標(x,y)のY値をI(x,y)、照明光成分のY値をL(x,y)、反射率成分のY値をR(x,y)とすると、次のように表される。
【数2】
【0063】
これらの式から、各画素の照明光成分のY値L、反射率成分のY値Rを求めることができる。
【0064】
S1303では、画像処理部102は、各画素の照明光成分のY値Lの平均値Ia、標
準偏差σIを算出する。
【0065】
S1304では、画像処理部102は、I(x,y)、I
a、σ
Iを用いて、元画像の
すべての画素について、補正後の照明光成分のY値Lを算出する。座標(x,y)の画素の補正された照明光成分のY値Lを、I′(x,y)とする。座標(x,y)の画素の補正された照明光成分のY値Lは、次のように表される。
【数3】
【0066】
ここで、Naは、昼の時間帯に撮影された各画像(画像a、画像b、画像c、・・・)についてのすべての画素のYCbCr色空間のY値の平均値(画像aの平均値Aa、画像bの平均値Ab、画像cの平均値Ac、・・・)の平均値(Aa、Ab、Ac、・・・の平均値)である。σNは、昼の時間帯に撮影された各画像(画像a、画像b、画像c、・・・)についてのすべての画素のYCbCr色空間のY値の平均値(画像aの平均値Aa、画像bの平均値Ab、画像cの平均値Ac、・・・)の標準偏差(Aa、Ab、Ac、・・・の標準偏差)である。なお、HSV色空間のV値と、YCbCr色空間のY値とは、同じ値である。ここで、照明光成分に対して補正を行うのは、画像の局所的コントラストを保つためである。
【0067】
S1305では、画像処理部102は、S1304で算出された、補正された照明光成分のY値(I′(x,y))と、S1302で算出された反射率成分のY値R(x,y)を用いて、補正されたY値を算出する。座標(x,y)の画素の補正されたY値は、I′(x,y)・R(x,y)によって算出される。
【0068】
S1306では、画像処理部102は、各画素を、S1301で算出されたCb値、Cr値、S1305で算出された補正されたY値を用いて、RGB色空間に変換する。YCbCr色空間からRGB色空間への変換は、周知の変換式(計算式)により行われる。画像処理部102は、変換された各画素のRGB色空間の画素値に基づいて、変換された画像を生成し、記憶部110に格納する。これにより、元画像の各画素の照明光成分の明度の正規化が行われる。第3画像処理により、高輝度のネオンや街灯などの照明光が強い個
所を抑制することができる。第3画像処理は、夜の時間帯に、街灯の多い街中などで撮影された画像を、昼の時間帯に撮影された画像に近づけることができる。
【0069】
〈第4画像処理の動作〉
図7は、第4画像処理の動作フローの例を示す図である。第3画像処理は、
図3の動作フローのS107の処理である。第4画像処理は、元画像の輝度を反射率成分へ変換をする処理である。
【0070】
S1401では、画像処理装置100の画像処理部102は、元画像の各画素の画素値(R値、G値、B値)をYCbCr色空間の画素値(Y値、Cb値、Cr値)に変換する。
【0071】
S1402では、画像処理部102は、SSR(Single Scale Retinex)理論に基づき、各画素について、YCbCr色空間のY値から、照明光成分のY値L、反射率成分のY値Rを算出する。照明光成分のY値L、反射率成分のY値Rの算出は、S1302と同様である。画像処理部102は、反射率成分のY値を変換される画像の輝度とする。
【0072】
S1403では、画像処理部102は、各画素を、S1402で算出された輝度(=反射率成分のY値)、S1401で算出されたCb値、Cr値を用いて、RGB色空間に変換する。YCbCr色空間からRGB色空間への変換は、周知の変換式(計算式)により行われる。画像処理部102は、変換された各画素のRGB色空間の画素値に基づいて、変換された画像を生成し、記憶部110に格納する。これにより、元画像の各画素の輝度の反射率成分への変換が行われる。第4画像処理により、元画像の輪郭情報を強調した画像を生成することができる。第4画像処理により生成された画像は、昼の時間帯に撮影された画像に第4画像処理を施した画像を教師データとする推定モデルの教師データの画像、推定対象の画像として使用されてもよい。
【0073】
(その他)
ここでは、特定の環境条件を昼の時間帯としているが、特定の環境条件は、これに限定されず、例えば、夜の時間帯、天候が晴れ、天候が雨、天候が曇り、撮影場所がトンネル内、撮影場所が屋外などであってもよい。特定の環境条件として、複数の環境条件が組み合わされてもよい。
【0074】
(実施形態の作用、効果)
画像処理装置100は、特定の環境条件以外の環境条件で撮影された画像を、特定の環境条件で撮影された画像と当該画像に含まれる物体の名称との組を教師データとして用いて学習(機械学習)した推定モデルの教師データに含まれる当該画像と同等の画像に、変換する。推定モデルは、例えば、昼の時間帯に撮影された画像と当該画像に含まれる物体の名称との組を教師データとして学習した、画像から画像に含まれる物体の名称を推定する推定モデルである。画像処理装置100は、昼の時間帯以外の時間帯(例えば、夜の時間帯)に撮影された画像を、昼の時間帯に撮影された画像と同等の画像に変換する。変換された画像は、推定モデルの教師データの画像や、推定モデルで物体の名称を推定される画像(推定対象の画像)として、使用され得る。画像処理装置100によれば、夜の時間帯に撮影された画像を昼の時間帯に撮影された画像に変換することで、昼の時間帯に撮影された画像を用いて学習した推定モデルで、夜の時間帯に撮影された画像を教師データの画像や推定対象の画像として使用することができる。特定の環境条件で撮影された画像を用いて学習した推定モデルは、様々な環境条件で撮影された画像を用いて学習した推定モデルよりも性能が高くなる。画像処理装置100によれば、特定の環境条件以外で撮影された画像を特定の環境条件で撮影された画像に変換することで、より性能の高い推定モデルを利用できるようになる。
【0075】
画像処理装置100は、元画像(夜の時間帯に撮影された画像)の状態に応じて、明度正規化処理、赤色低減後の明度正規化処理、照明光成分の明度正規化処理、輝度を反射率成分に変換する処理を行う。画像処理装置100は、元画像の状態に応じて、適切な画像変換処理を行い、昼の時間帯に撮影された画像に変換することができる。画像処理装置100は、R値、G値、B値のうちR値がもっとも大きい画素の割合が閾値以上の画像について、赤色低減を行い、明度正規化処理を行う。これにより、夜の時間帯に撮影された画像に含まれる車両のブレーキランプ等の赤色を低減し、明度の補正を行うことができる。画像処理装置100は、輝度(Y値)の最大値と最小値との差が閾値以上である画像について、照明光成分を抽出し、明度正規化処理を行う。これにより、夜の時間帯に撮影された画像に含まれる照明光の強い個所(高輝度のネオンや街灯)の明るさを抑えることができる。画像処理装置100は、輝度(Y値)が閾値よりも小さい画素の割合が閾値以上である画像について、輝度を反射率成分の輝度に置き換える処理をする。これにより、輪郭情報を強調した画像を生成することができる。
【0076】
従来、夜の時間帯に撮影された画像について推定モデルを用いて推定するには、夜の時間帯に撮影された画像を教師データとして学習した推定モデルを用意することが求められていた。また、昼の時間帯に撮影された画像について推定モデルを用いて推定するには、昼の時間帯に撮影された画像を教師データとして学習した推定モデルを用意することが求められていた。すなわち、特定の環境条件ごとに、推定モデルを用意することが求められていた。また、夜の時間帯に撮影された画像について、昼の時間帯に撮影された画像を教師データとして学習した推定モデルを用いて、推定すると、推定精度が低いという問題があった。さらに、1つの推定モデルで、夜の時間帯に撮影された画像にも、昼の時間帯に撮影された画像にも対応するには、夜の時間帯に撮影された画像および昼の時間帯に撮影された画像を教師データとして学習した推定モデルを用意することが求められていた。本実施形態の画像処理装置100は、夜の時間帯に撮影された画像を昼の時間帯に撮影された画像に変換する。これにより、変換された画像を用いることで、昼の時間帯に撮影された画像を教師データとして学習した推定モデルを使用して、夜の時間帯に撮影された画像について、推定精度を低下させることなく、推定することができる。画像処理装置100によれば、昼の時間帯に撮影された画像を教師データとして学習した推定モデルを用意すれば、夜の時間帯に撮影された画像でも、昼の時間帯に撮影された画像でも、推定することができる。当該推定モデルを学習する際も、昼の時間帯に撮影された画像を含む教師データを用意すればよく、夜の時間帯及び昼の時間帯に対応する推定モデルに比べ、教師データのデータ量を減らすことができる。つまり、教師データの種類やバリエーションを減らすことができる。
【0077】
〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0078】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、CPU、メモリ等のコンピュータを構成する要素を設け、そのCPUにプログラムを実行させてもよい。
【0079】
また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、8mmテープ、メモリカード等がある。
【0080】
また、コンピュータ等に固定された記録媒体としてハードディスクやROM等がある。
【0081】
以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。
【符号の説明】
【0082】
100 画像処理装置
102 画像処理部
104 入力部
106 出力部
108 通信部
110 記憶部
90 情報処理装置
91 プロセッサ
92 メモリ
93 記憶部
94 入力部
95 出力部
96 通信部