【文献】
Miguel Oliveria, Angel D. Sappa, Vitor Santos,Unsupervised Local Color Correction for Coarsely Registered Images,CVPR 2011,米国,IEEE,2011年 8月22日,p.201−p.208,URL,https://ieeexplore.ieee.org/document/5995658
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
図1は、実施例の色調補正装置100のシステム構成図である。
【0013】
色調補正装置100は、衛星画像データ格納部101、教師なし分類部102、ピクセル情報ヒストグラム作成部103、色調補正部104、色調補正済み衛星画像データ格納部105、色調補正済み衛星画像データ出力部106、特徴量テーブル111、及び色調補正処理パラメータテーブル112を有する。色調補正装置100の物理的な構成は
図2で説明する。
【0014】
衛星画像データ格納部101は、色調を補正する色調補正処理を実行する衛星画像データを取得し、取得した映像画像データを
図2に示すメモリ202に格納する。
【0015】
教師なし分類部102には、色調補正処理を実行する衛星画像データ、又は色調補正処理が実行された色調補正済み衛星画像データが入力される。
【0016】
色調補正済み衛星画像データが教師なし分類部102に入力された場合、色調補正装置100は、入力された色調補正済み衛星画像データに基づいて、特徴量テーブル111、及び色調補正処理パラメータテーブル112を更新する色調学習処理を実行する。色調学習処理は、教師なし分類部102及びピクセル情報ヒストグラム作成部103によって実行され、色調学習処理の詳細は
図5で説明する。
【0017】
一方、衛星画像データが教師なし分類部102入力された場合には、色調補正装置100は、入力された衛星画像データに色調補正処理を実行する。色調補正処理は、教師なし分類部102、ピクセル情報ヒストグラム作成部103、色調補正部104、色調補正済み衛星画像データ格納部105、及び色調補正済み衛星画像データ出力部106によって実行され、色調補正処理の詳細は
図7で説明する。
【0018】
教師なし分類部102は、衛星画像データ又は色調補正済み衛星画像データのピクセル値に基づいて、同じ地物を示すピクセルを同じクラスタに分類する。このため、一つのクラスタは同じ地物を示すピクセルの集合である。教師なし分類部102によるクラスタの分類には、例えば、k−means法等を用いる。
【0019】
色調学習処理においては、教師なし分類部102は、色調補正済み衛星画像データのピクセルをクラスタに分類した場合、各クラスタの特徴量に基づいて、特徴量テーブル111を更新する。特徴量テーブル111には、各クラスタの特徴量が登録される。特徴量は各クラスタのピクセル値の統計値(例えば、平均値又は分散等)である。なお、特徴量テーブル111の詳細は、
図3で説明する。
【0020】
ピクセル情報ヒストグラム作成部103は、教師なし分類部102によって分類されたクラスタに属する赤色、緑色、及び青色の波長域のピクセル値のヒストグラムを作成する。色調学習処理においては、ピクセル情報ヒストグラム作成部103は、作成した各クラスタのピクセル値のヒストグラムを色調補正処理パラメータテーブル112に登録する。色調補正処理パラメータテーブル112には、クラスタの特徴量の識別情報と、当該クラスタのピクセル値のヒストグラムとが登録される。色調補正処理パラメータテーブル112の詳細は、
図4で説明する。
【0021】
色調補正部104は、色調補正処理パラメータテーブル112を参照し、衛星画像データの各クラスタの特徴量に対応するヒストグラムを取得し、取得したヒストグラムに基づいて、衛星画像データの各クラスタの色調を補正する。
【0022】
色調補正済み衛星画像データ格納部105は、色調補正部104が色調を補正した衛星画像データ(色調補正済み衛星画像データ)をメモリ202に格納する。色調補正済み衛星画像データ出力部106は、色調補正済み衛星画像データを
図2に示すディスプレイ装置209又はプリンタ等の出力デバイスに出力する。
【0023】
図2は、実施例の色調補正装置100の物理的な構成を示すブロック図である。
【0024】
本実施例の色調補正装置100は、プロセッサ(CPU)201、メモリ202、補助記憶装置203及び通信インターフェース204を有する計算機によって構成される。
【0025】
プロセッサ201は、メモリ202に格納されたプログラムを実行する。メモリ202は、不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、不変のプログラム(例えば、BIOS)等を格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ201が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0026】
補助記憶装置203は、例えば、磁気記憶装置(HDD)、フラッシュメモリ(SSD)等の大容量かつ不揮発性の記憶装置であり、プロセッサ201が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置203から読み出されて、メモリ202にロードされて、プロセッサ201によって実行される。
【0027】
メモリ202には、特徴量テーブル111、及び色調補正処理パラメータテーブル112が格納される。また、メモリ202には、衛星画像データ格納部101、教師なし分類部102、ピクセル情報ヒストグラム作成部103、色調補正部104、色調補正済み衛星画像データ格納部105、及び色調補正済み衛星画像データ出力部106それぞれに対応するプログラムがロードされ、プロセッサ201がこれらのプログラムを実行することによって、これらの機能が実装される。
【0028】
色調補正装置100は、入力インターフェース205及び出力インターフェース208を有してもよい。入力インターフェース205は、キーボード206やマウス207等が接続され、オペレータからの入力を受けるインターフェースである。出力インターフェース208は、ディスプレイ装置209やプリンタ等の出力デバイスが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。
【0029】
通信インターフェース204は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
【0030】
プロセッサ201が実行するプログラムは、リムーバブルメディア(CD−ROM、フラッシュメモリ等)又はネットワークを介して色調補正装置100に提供され、非一時的記憶媒体である不揮発性の補助記憶装置203に格納される。このため、色調補正装置100は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
【0031】
色調補正装置100は、物理的に一つの計算機上で、若しくは、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、また、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、色調学習処理と色調補正処理とは別の計算機で実行されてもよい。
【0032】
また、色調補正装置100は、出力デバイスを有する端末にネットワークを介して接続され、端末からの要求を受け付け、色調補正処理を実行し、色調補正済み衛星画像データを端末に送信する。端末は、色調補正済み衛星画像データを受信し、受信した色調補正済み衛星画像データを出力デバイスに出力してもよい。
【0033】
図3は、実施例の特徴量テーブル111の説明図である。
【0034】
特徴量テーブル111は、特徴量ID301及び特徴量302を含む。特徴量ID301には、特徴量の識別情報が登録される。特徴量302には、特徴量が登録される。例えば、特徴量は、クラスタに属するピクセル値の統計値(平均値又は分散等)である。特徴量302に登録された特徴量から所定範囲内である特徴量のクラスタは同じ種類の地物であり、同じ特徴量の識別情報が付与されて管理される。
【0035】
図4は、実施例の色調補正処理パラメータテーブル112の説明図である。
【0036】
色調補正処理パラメータテーブル112は、特徴量ID401、ピクセル値402、赤ピクセル集計値403、緑ピクセル集計値404、及び青ピクセル集計値405を含む。
【0037】
特徴量ID401には、特徴量の識別情報が登録される。ピクセル値402には、ピクセルに格納される値(ピクセル値)が登録される。例えば、ピクセル値が8ビットであれば、
図4に示すように、ピクセル値402には0〜255の値が登録される。
【0038】
赤ピクセル集計値403には、色調補正済み衛星画像データの赤色の波長域の画像データにおいて、ピクセル値402に登録された値であるピクセルの数が登録される。緑ピクセル集計値404には、色調補正済み衛星画像データの緑色の波長域の画像データにおいて、ピクセル値402に登録された値であるピクセルの数が登録される。青ピクセル集計値405には、色調補正済み衛星画像データの青色の波長域の画像データにおいて、ピクセル値402に登録された値であるピクセルの数が登録される。
【0039】
なお、色調補正処理パラメータテーブル112は、特徴量ID401の代わりに、
図3に示す特徴量302を含めば、特徴量と当該特徴量のクラスタのヒストグラムとを関連付けて管理することができ、色調補正装置100は、特徴量テーブル111を有さなくてもよい。特許請求の範囲では、特徴量テーブル111及び色調補正処理パラメータテーブル112を含む概念を色調補正処理パラメータ情報と表す。
【0040】
図5は、実施例の色調学習処理のフローチャートである。
【0041】
まず、教師なし分類部102は、メモリ202に格納された色調補正済み衛星画像データを取得する(501)。
【0042】
次に、教師なし分類部102は、ステップ501の処理で取得した色調補正済み衛星画像データに対して教師なし分類を実施し、色調補正済み衛星画像データのピクセルをピクセル値に基づいてクラスタに分類する(502)。ステップ502の処理における教師なし分類処理について、
図6を用いて説明する。
【0043】
図6は、実施例の教師なし分類処理の説明図である。
【0044】
教師なし分類処理が実行される前の色調補正済み衛星画像データ600には、森601、コンクリート602、河川603、及び建造物604が撮影されている。色調補正済み衛星画像データ600に対して教師なし分類処理が実行された後の色調補正済み衛星画像データ610では、森601のピクセルが属するクラスタ1、コンクリート602のピクセルがクラスタ2、河川603のピクセルが属するクラスタ3、建造物604が属するクラスタ4に分類される。
【0045】
このように、教師なし分類処理では、教師なし分類部102は、同じ地物を示すピクセルを同じクラスタに属するように、色調補正済み衛星画像データのピクセルをクラスタに分類する。
【0046】
次に、教師なし分類部102は、ステップ502の処理で各ピクセルを分類したクラスタの特徴量を算出し、算出した特徴量に基づいて特徴量テーブル111を更新する(503)。具体的には、教師なし分類部102は、算出した特徴量が特徴量302に登録された特徴量から所定範囲内に含まれるレコードが特徴量テーブル111に存在するか否かを判定する。
【0047】
当該レコードが特徴量テーブル111に存在しない場合、教師なし分類部102は、特徴量テーブル111に新たなレコードを追加し、追加したレコードの特徴量ID301に新たな特徴量の識別情報を登録し、特徴量302に算出した特徴量を登録する。
【0048】
一方、当該レコードが特徴量テーブル111に存在する場合、教師なし分類部102は、当該レコードの特徴量302に登録された特徴量及び算出した特徴量に基づいて新たな特徴量を算出し、新たな特徴量を当該特徴量302に登録する。例えば、特徴量302に登録された特徴量と算出した特徴量との平均値が新たな特徴量として算出されてもよい。なお、算出した特徴量が特徴量302に登録された特徴量から所定範囲内に含まれるレコードが複数存在する場合、特徴量302に登録された特徴量が算出した特徴量に最も近いレコードの特徴量302を更新する。
【0049】
次に、ピクセル情報ヒストグラム作成部103は、ステップ502の処理で分類されたクラスタから、ステップ505及び506の処理が実行されていない一つのクラスタを選択する(504)。
【0050】
次に、ピクセル情報ヒストグラム作成部103は、ステップ504の処理で選択されたクラスタの赤色の波長域の画像データ、緑色の波長域の画像データ、及び青色の波長域の画像データからピクセル値のヒストグラムを作成する(505)。
【0051】
次に、ピクセル情報ヒストグラム作成部103は、ステップ505の処理で作成されたヒストグラムを、色調補正処理パラメータテーブル112のステップ503の処理で選択されクラスタの特徴量に対応するレコードに登録する(506)。
【0052】
具体的には、ピクセル情報ヒストグラム作成部103は、ステップ504の処理で選択したクラスタの特徴量が特徴量302に登録された特徴量から所定範囲内に含まれるレコードの特徴量ID301に登録された特徴量の識別情報を取得する。なお、算出した特徴量が特徴量302に登録された特徴量から所定範囲内に含まれるレコードが複数存在する場合、特徴量302に登録された特徴量が算出した特徴量に最も近いレコードの特徴量の識別情報を取得する。そして、ピクセル情報ヒストグラム作成部103は、色調補正処理パラメータテーブル112の特徴量ID401に取得した特徴量の識別情報が登録されたレコードの赤ピクセル集計値403、緑ピクセル集計値404、及び青ピクセル集計値405を、ステップ505の処理で作成したヒストグラムに基づいて更新する。例えば、ピクセル情報ヒストグラム作成部103は、ステップ505の処理で作成したヒストグラムの各色画像データの各ピクセル値のピクセル数を赤ピクセル集計値403、緑ピクセル集計値404、及び青ピクセル集計値
405に加算する。
【0053】
なお、ピクセル情報ヒストグラム作成部103は、色調補正処理パラメータテーブル112に特徴量ID401に取得した特徴量の識別情報が登録されたレコードが存在しない場合、新たなレコードを追加し、特徴量ID401に取得した特徴量の識別情報を登録し、赤ピクセル集計値403、緑ピクセル集計値404、及び青ピクセル集計値405にヒストグラムを登録する。
【0054】
次に、ピクセル情報ヒストグラム作成部103は、ステップ502の処理で分類された全てのクラスタにステップ504〜506の処理が実行されたか否かを判定する(507)。
【0055】
ステップ507の処理で、ステップ502の処理で分類された全てのクラスタにステップ504〜506の処理が実行されたと判定された場合(507:Yes)、ピクセル情報ヒストグラム作成部103は、色調学習処理を終了する。
【0056】
一方、ステップ507の処理で、ステップ502の処理で分類された全てのクラスタにステップ504〜506の処理が実行されてないと判定された場合(507:No)、ピクセル情報ヒストグラム作成部103は、ステップ504の処理に戻り、新たなクラスタを選択し、ステップ505、506及び507の処理を実行する。
【0057】
図7は、実施例の色調補正処理のフローチャートである。
【0058】
まず、教師なし分類部102は、メモリ202に格納された衛星画像データを取得する(701)。ステップ701の処理で取得した衛星画像データに色調補正処理が実行される。
【0059】
次に、教師なし分類部102は、ステップ701の処理で取得した衛星画像データに対して教師なし分類を実施し、衛星画像データのピクセルをピクセル値に基づいてクラスタに分類する(702)。なお、ステップ702の処理の詳細は、ステップ502の処理と同じであるので説明を省略する。
【0060】
次に、ピクセル情報ヒストグラム作成部103は、ステップ702の処理で分類されたクラスタから、ステップ704〜706の処理が実行されていない一つのクラスタを選択する(703)。
【0061】
次に、ピクセル情報ヒストグラム作成部103は、ステップ703の処理で選択されたクラスタの赤色の波長域の画像データ、緑色の波長域の画像データ、及び青色の波長域の画像データからピクセル値のヒストグラムを作成する(704)。
【0062】
次に、色調補正部104は、ステップ703の処理で選択されたクラスタの特徴量を算出し、特徴量テーブル111を参照し、算出した特徴量に最も近い特徴量の識別情報を取得する(705)。
【0063】
次に、色調補正部104は、色調補正処理パラメータテーブル112の特徴量ID401にステップ705の処理で取得した特徴量の識別情報が登録されたレコードに登録されたヒストグラムに基づいて、ステップ701の処理で取得した衛星画像データのピクセル値を補正する(706)。
【0064】
具体的には、色調補正部104は、ステップ701の処理で取得した衛星画像データの赤色の波長域の画像データ、緑色の波長域の画像データ、及び青色の波長域の画像データのピクセル値が、それぞれ、赤ピクセル集計値403、緑ピクセル集計値404、及び青ピクセル集計値405となるように、衛星画像データの色調を補正する。すなわち、色調補正部104は、ステップ701の処理で取得した衛星画像データのピクセル値のヒストグラムが、ステップ705の処理で取得した特徴量の識別情報が登録されたレコードに登録されたピクセル値のヒストグラムに近づくように、ステップ701の処理で取得した衛星画像データのピクセル値を補正する。
【0065】
次に、色調補正部104は、ステップ702の処理で分類された全てのクラスタにステップ703〜706の処理が実行されたか否かを判定する(707)。
【0066】
ステップ707の処理で、ステップ702の処理で分類された全てのクラスタにステップ703〜706の処理が実行されたと判定された場合(707:Yes)、色調補正済み衛星画像データ格納部105は、ステップ706の処理で色調が補正された色調補正済み衛星画像データをメモリ202に格納する(708)。そして、色調補正済み衛星画像データ出力部106は、ステップ706の処理で色調が補正された色調補正済み衛星画像データを出力デバイスに出力し(709)、色調補正処理を終了する。
【0067】
一方、ステップ707の処理で、ステップ702の処理で分類された全てのクラスタにステップ703〜706の処理が実行されてないと判定された場合(707:No)、ピクセル情報ヒストグラム作成部103は、ステップ703の処理に戻り、新たなクラスタを選択し、ステップ704〜706の処理を実行する。
【0068】
本実施例では、色調補正処理パラメータテーブル112では、クラスタの色調に関する情報としてピクセル値のヒストグラムが登録されたが、これに限定されない。例えば、クラスタのピクセル値の平均値又は分散等が登録されてもよい。この場合、ピクセル情報ヒストグラム作成部103は、衛星画像データ又は色調補正済み衛星画像データのクラスタのピクセル値の平均値又は分散等を算出する。
【0069】
以上によって、本実施例では、同じ地物を示すピクセルの集合であるクラスタの特徴量と当該クラスタの色調に関する情報とが登録された色調補正処理パラメータテーブルを参照し、衛星画像データのクラスタの色調に関する情報が、当該衛星画像データのクラスタの特徴量に対応する色調に関する情報に近づくように色調を補正するので、地物ごとに最適な色調で補正することができる。
【0070】
また、本実施例では、色調補正済み衛星画像データのピクセルをクラスタに分類し、当該クラスタの特徴量を算出し、当該クラスタの色調に関する情報を算出し、算出したクラスタの特徴量及びヒストグラムに基づいて色調補正処理パラメータテーブルを更新する。これによって、色調補正処理パラメータテーブルが、色調補正済み画像データに基づいて更新される。これによって、最新の地物に対応する最適な特徴量及び色調に関する情報が自動的に登録され、管理者等の作業負担を軽減しつつ、最適な色調で衛星画像データを補正することができる。
【0071】
また、本実施例では、色調補正済み衛星画像データのクラスタの特徴量から所定範囲内の特徴量が色調補正処理パラメータ情報に登録されていない場合、当該色調補正済み衛星画像データのクラスタの特徴量及び色調に関する情報を新たに色調補正処理パラメータテーブルに登録する。これによって、色調補正処理パラメータテーブルに登録されていない地物が撮影された場合であっても、当該地物のクラスタの特徴量及び色調に関する情報を自動的に色調補正処理パラメータテーブルに登録することができる。
【0072】
また、本実施例では、色調補正済み衛星画像データのクラスタの特徴量から所定範囲内の特徴量が色調補正処理パラメータ情報に登録されている場合、算出した特徴量と算出した特徴量から所定範囲内の特徴量とに基づいて新たな特徴量を算出し、色調補正処理パラメータ情報に登録された特徴量を新たな特徴量に更新する。これによって、色調補正処理済み衛星画像データに基づいて色調補正処理パラメータ情報に登録されたクラスタの特徴量を最適に更新でき、衛星画像データのクラスタが示す地物と当該クラスタの色調の補正に用いる色調補正処理パラメータのクラスタの地物とが同一である可能性を向上させることができ、より最適な色調で衛星画像データを補正することができる。
【0073】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0074】
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
【0075】
また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
【0076】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)等の記録媒体に置くことができる。
【0077】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。