【解決手段】撮像された画像を補正する画像処理装置であって、ブロックピクセルを取得する画像取得部と、ブロックピクセルに含まれるRGB値に基づいて、画像の明暗、濃度、輝度、色空間の変換を行う画像変換部と、変換された画像を出力する出力部と、を備え、画像変換部は、画像を二値化し、画像の明暗の面積比を算出し、明暗域を特定する明暗域を設定する二値化処理部と、RGB値に対応する波長域に変換する濃度変換部と、人目による可視が可能な最大波長の輝度に変換する輝度変換部と、色調の色空間を示すHSV値に変換する色空間変換部とを備えることを特徴とする。
前記画像を構成する前記ブロックピクセルに含まれる前記RGB値を示す数値データ、前記画像の二値化を示す面積比データ、前記画像の明暗を示す明暗データ、及び前記画像の輝度を示す輝度データを複数有する画像データを取得する取得部と、
予め取得された過去の画像データと、前記過去の画像データに紐づく参照情報との間における連関性を有する学習モデルが記憶された参照データベースと、
前記参照データベースを参照し、前記画像データに対する評価結果を生成する評価部と、を備えること
を特徴とする請求項1〜3の何れか1項記載の画像処理装置。
【発明を実施するための形態】
【0022】
以下、本発明を適用した実施形態における画像処理装置、画像処理システム、及び画像処理方法の一例について、図面を参照しながら説明する。
【0023】
図1を参照して、第1実施形態における画像処理装置1、及び画像処理システム100の一例について説明する。
【0024】
第1実施形態における画像処理システム100は、例えば
図1に示すように、画像処理装置1を有する。画像処理装置1は、例えば撮像装置2と接続するほか、例えば通信網4を介して他の端末5やサーバ6に接続されてもよい。
【0025】
画像処理装置1は、撮像対象となる対象物が撮像された画像3の画像データを取得する。画像処理装置1は、画像データに含まれるRGB色空間におけるR(赤)、G(緑)、及びB(青)の各要素の明度の値を取得する。画像処理装置1は、取得した画像3の画像データを、コンピュータのハードディスク等の記憶装置に記憶し、画像データの補正等の演算処理時には、画像処理装置1の作業メモリに適宜ロードされる。
【0026】
画像処理装置1は、取得した画像3を構成する画像データに含まれる複数のブロックピクセルを順次に走査する。画像処理装置1は、走査の結果により、各々のブロックピクセルに含まれるRGB値に基づいて、画像3の明暗、濃度、輝度、色空間の変換により、適宜に補正を行う。画像処理装置1は、例えば画像3の画像データを補正する際の処理装置として用いられるほか、画像処理装置1により取得された画像3の画像データを評価する評価装置として用いることができる。
【0027】
画像処理装置1は、例えば
図2に示すように、対象物を撮像し、画像3を構成する画像データを取得したあと、後述する二値化変換、濃度変換処理、輝度変換処理、色空間処理、補間処理、及び頻度変換を行い、それらの処理の後に補正変換された画像データを出力する。
【0028】
画像処理装置1は、後述する参照データベースを参照し、画像3を構成する画像データに対する評価結果を生成する。画像処理装置1は、例えば評価結果に対応する画像情報を出力する(
図2では濃度変換・輝度変換されたデフォルト画像データを出力)。画像データは、例えばブロックピクセルに含まれるRGB値を示す数値データ、及び画像3の輝度を示す輝度データ、撮影された場所や環境に関する位置データ、撮影条件や設定値等の撮影データ、撮像された画像データに紐づく各種のデータを複数有する。
【0029】
画像データは、画像3を構成する複数のブロックピクセルであって、例えばビットマップ形式、JPEG形式等のフォーマットが採用される。画像データは、色のついたドットと呼ばれる点の羅列・集合として表現され、格子状に細かい点に分割されており、その点の一つ一つに対して、色や輝度等の情報が付与されており、画像全体が表現される。
【0030】
画像データは、画像3を構成するRGBの三原色により示されるデータであり、それをJPEG形式の画像データに変換される場合は、通常色差や輝度といった画像成分に分けられる。
【0031】
画像データは、JPEG形式が対象としている写真等のフルカラー画像の場合は、例えば輝度より色の変化の度合いが少ない。そのため、色の成分を輝度と差分化し、ある間隔で色の成分だけ間引かれる。画像データは、間引く割合をサンプリングファクタと言うパラメータで指定することが可能であり、サンプリングファクタは、通常1、または2という値で、成分毎に横(H)と縦(V)の値を保持する。
【0032】
画像データは、例えばJPEG形式のファイルに変換される場合、画像成分の分解と共に、四角い小さな画像データに分割(サンプリング)される。画像データは、サンプリングファクタにより、画像3を構成する画像データの成分の中で、例えば最大のサンプリングファクタを8倍した値が、小さな画像の一辺の長さとなる。
【0033】
画像データは、例えば画像3が撮像された撮影者データ、撮影機器データ、位置データ、時間データ等を有してもよい。
【0034】
画像データは、例えば評価対象となる画像3に対し、それぞれ異なる2方向以上から撮像された位置データ、及び色データを有する。この場合、位置データ毎の相対的な位置関係の精度を向上させることができる。
【0035】
画像処理装置1は、例えば
図3(a)に示すように、取得した画像3を構成する画像データに基づき、画像データを構成する複数のブロックピクセルに含まれる補正前の各々のRGB値を順次に走査する。画像処理装置1は、取得した画像3の画像データを二値化し、画像データの明暗の面積比を算出する。画像処理装置1は、算出した面積比に応じて明暗域を特定し、黒の割合の高い明暗域を設定(黒比率:80.43%、白比率:19.57%)し、設定された明暗域に基づき、RGB値に対応する波長域を、相対感度として示される低い波長域に変換し、(波長:ローキー調域)、変換された波長域に基づき、各々の波長域に含まれるRGB値を、人目による可視が可能な最大波長の輝度に変換し、変換された最大波長のRGB値に基づき、色調の色空間の高い輝度を示すHSV値に変換する(色調&鮮やかさ:正常)。
【0036】
また、画像処理装置1は、画像3を構成する画像データの各々のブロックピクセルを細分化し、細分化されたブロックピクセルに基づいて、ブロックピクセルに含まれる各々の前記RGB値を補間する。画像処理装置1は、取得されたRGB値に基づき、画像の濃淡の頻度分布を判別し、特定濃度の区間に偏りがある場合は、他の濃度の区間に頻度を振り分ける(頻度分布:強)。
【0037】
次に、画像処理装置1は、補正後の画像3として、補正後のRGB値を含むブロックピクセルを含む画像データを出力する。
【0038】
また、画像処理装置1は、例えば
図3(b)に示すように、取得した画像3を構成する画像データに基づき、画像データを構成する複数のブロックピクセルに含まれる補正前の各々のRGB値を順次に走査する。画像処理装置1は、取得した画像3の画像データを二値化し、画像データの明暗の面積比を算出する。画像処理装置1は、算出した面積比に応じて明暗域を特定し、黒と白の割合が近い明暗域を設定(黒比率:51.50%、白比率:48.50%)し、設定された明暗域に基づき、RGB値に対応する波長域を、相対感度として示される中間の波長域に変換し、(波長:中間域)、変換された波長域に基づき、各々の波長域に含まれるRGB値を、人目による可視が可能な最大波長の輝度に変換し、変換された最大波長のRGB値に基づき、色調の色空間の弱い輝度を示すHSV値に変換する(色調:不足)。
【0039】
また、画像処理装置1は、画像3を構成する画像データの各々のブロックピクセルを細分化し、細分化されたブロックピクセルに基づいて、ブロックピクセルに含まれる各々の前記RGB値を補間する。画像処理装置1は、取得されたRGB値に基づき、画像の濃淡の頻度分布を判別し、複数濃度の区間で頻度分布が低い場合は、特定濃度の区間に集約する(頻度分布:弱)。
【0040】
次に、画像処理装置1は、補正後の画像3として、補正後のRGB値を含むブロックピクセルを含む画像データを出力する。
【0041】
(画像処理装置1)
次に、
図4を参照して、第1実施形態における画像処理装置1の一例を説明する。
図4(a)は、第1実施形態における画像処理装置1の構成の一例を示す模式図であり、
図4(b)は、第1実施形態における画像処理装置1の機能の一例を示す模式図である。
【0042】
画像処理装置1として、例えばパーソナルコンピュータ(PC)等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、IoT(Internet of Things)デバイス等の電子機器、Raspberry Pi(登録商標)等のシングルボードコンピュータが用いられてもよい。画像処理装置1は、例えば
図4(a)に示すように、筐体10と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、保存部104と、I/F105〜107とを備える。各構成101〜107は、内部バス110により接続される。
【0043】
CPU101は、画像処理装置1全体を制御する。ROM102は、CPU101の動作コードを格納する。RAM103は、CPU101の動作時に使用される作業領域である。保存部104は、画像データや参照データベース等の各種情報が保存される。保存部104として、例えばHDD(Hard Disk Drive)の他、SSD(solid state drive)やフロッピーディスク等のデータ保存装置が用いられる。なお、例えば画像処理装置1は、図示しないGPU(Graphics Processing Unit)を有してもよい。GPUを有することで、通常よりも高速演算処理が可能となる。
【0044】
I/F105は、撮像装置2との各種情報の送受信を行うためのインターフェースであるほか、例えばインターネット等の通信網4を介して、他の端末5やサーバ6等との各種情報の送受信を行うためのインターフェースでもよい。I/F106は、入力部分108との情報の送受信を行うためのインターフェースである。入力部分108として、例えばキーボードが用いられ、画像処理装置1の管理者等は、入力部分108を介して、各種情報又は画像処理装置1の制御コマンド等を入力する。I/F107は、出力部分109との各種情報の送受信を行うためのインターフェースである。出力部分109は、保存部104に保存された各種情報、又は画像処理装置1の処理状況等を出力する。出力部分109として、ディスプレイが用いられ、例えばタッチパネル式でもよい。
【0045】
<参照データベース>
保存部104に保存された参照データベースには、学習モデルが記憶される。学習モデルは、予め取得された過去の画像データと、過去の画像データに紐づく参照情報との間における連関性を有する。参照データベースには、例えば過去の画像データ、及び参照情報が記憶されてもよい。学習モデルは、例えば過去の画像データ、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。
【0046】
この場合、例えば連関性は、多対多の情報の間における繋がりの度合いを示す。連関性は、機械学習の過程で適宜更新される。このため、学習モデルは、例えば過去の画像データ、及び参照情報に基づいて最適化された連関性(例えば関数)を有する分類器を示す。このため、過去に評価対象の画像3の撮像状態を評価した結果を全て踏まえて構築された学習モデルを用いて、画像データに対する評価結果が生成される。これにより、評価対象の画像3が複雑な撮像状態を有する場合においても、最適な評価結果を生成することができる。また、画像データが、過去の画像データと同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、人間の視覚に近い画像となるような補正精度の向上を図ることができる。
【0047】
なお、連関性は、例えば各過去の画像データと各参照情報との間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。
【0048】
過去の画像データは、上述した画像データと同種の情報を示す。過去の画像データは、例えば過去に評価対象の画像3を評価した際に取得された画像データを複数含む。
【0049】
参照情報は、過去の画像データに紐づき、補正の評価対象となる画像3の撮像状態に関する情報を示す。参照情報は、例えば評価対象の画像3の種類や状態(例えば「黒比率:○○%」や「白比率:○○%」等)を示す二値化情報や明暗の面積比の最適値を示すデフォルト画像、評価対象の画像3を構成するブロックピクセルのピクセル数(例えば「縦・横:25px」、「縦・横:50px」等)の分割情報や分割されたブロックピクセルの数値画像、演算画像、または処理後の数値画像の最適値を示すデフォルト画像や、評価対象の画像3を構成するブロックピクセルの明暗の程度(例えば「ローキー調:460nm〜499nm」、「中間調:500nm〜549nm」、または「ハイキー調:550nm〜560nm」等)を示す各々の波長域の画像、各々の波長域の最適値を示すデフォルト画像や、評価対象の画像3を構成するブロックピクセルのRGB値に基づいて変換されたHSV値の色の種類や状態(例えば「鮮やかさ不足」、「色調不足」、または「色調&鮮やかさ正常」等)の色補正の最適値を示すデフォルト画像や、評価対象の画像3を構成するブロックピクセルのRGB値の頻度分布を表すスケルトン(エッジ強調)の種類や状態(例えば「強」、「弱」、または「正常」等)のエッジ強度、状態の最適値を示すデフォルト画像、等を含む。なお、参照情報に含まれる具体的な内容や設定、各種の最適値のデフォルト画像は、任意に追加や設定することができる。
【0050】
連関性は、例えば
図5に示すように、過去の画像データと参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の画像データに含まれる複数のデータ(
図5では「データA」〜「データC」)のそれぞれに対し、参照情報に含まれる複数のデータ(
図5では「参照A」〜「参照C」)の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の画像データに含まれる1つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。
【0051】
連関性は、例えば過去の画像データに含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、10段階、又は5段階等の3段階以上で示され、例えば線の特徴(例えば太さ等)で示される。例えば、過去の画像データに含まれる「データA」は、参照情報に含まれる「参照A」との間の連関度AA「85%」を示し、参照情報に含まれる「参照B」との間の連関度AB「73%」を示す。また、例えば、過去の画像データに含まれる「データB」は、参照情報に含まれる「参照A」との間の連関度BA「19%」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により学習モデルを構築する際、連関性が3段階以上の連関度を有するように設定してもよい。
【0052】
過去の画像データは、例えば過去の位置データと、過去の色データとを分割して、参照データベースに記憶されてもよい(図示せず)。この場合、過去の位置データ及び過去の色データの組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の画像データは、例えば上記に加え、過去の画像データ及び過去の色データの少なくとも何れかを分割して、参照データベースに記憶されてもよい。
【0053】
例えば、過去の位置データに含まれる「位置A」、及び過去の色データに含まれる「色A」の組み合わせは、「参照A」との間の連関度AAA「63%」を示し、「参照B」との間の連関度ABA「63%」を示す。この場合、過去の位置データ及び過去の色データをそれぞれ独立してデータを記憶させることができる。このため、評価結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。
【0054】
連関性は、例えば合成データと、類似度とを含んでもよい(図示せず)。合成データは、過去の位置データ又は過去の色データとの間における3段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式で参照データベースに記憶されるほか、例えば画像や文字列等の形式で記憶されてもよい。
【0055】
図4(b)は、画像処理装置1の機能の一例を示す模式図である。画像処理装置1は、画像取得部11と、画像変換部12として、二値化変換部と、濃度変換部と、輝度変換部と、色空間変換部と、補間処理部と、頻度変換部と、を備える。また、画像処理装置1は、取得部13と、評価部14と、記憶部15、出力部16と、を備え、例えば更新部17を有してもよい。なお、
図4(b)に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。
【0056】
<画像取得部11>
画像取得部11は、画像3の画像データを構成する複数のブロックピクセルを順次に取得する。画像取得部11は、撮像装置2等から画像3の画像データを取得するほか、例えば内蔵された図示しない撮像部から、画像データを取得する。なお、画像取得部11が画像3の画像データを取得する頻度及び周期は、任意である。
【0057】
画像取得部11は、画像処理装置1に送信された各種情報を受信する。画像取得部11は、例えば通信網4及びI/F105を介して、他の端末5等の外部端末から送信された画像データ等の各種情報を受信してもよい。
【0058】
<画像変換部12>
画像変換部12は、画像取得部11により取得された画像3の画像データの各種の変換を行う。画像変換部12は、例えば二値化変換部と、濃度変換部と、輝度変換部と、色空間変換部と、頻度変換部と、を備える。
【0059】
<二値化変換部>
二値化変換部は、画像取得部11により取得されたブロックピクセルに含まれるRGB値に基づき、ブロックピクセルを二値化のデータ形式に変換する。二値化変換部は、二値化された画像を構成するブロックピクセルにより、画像3の画像全体の明暗の面積比を算出する。面積比は、例えば
図3の(a)、及び
図3(b)に示されるような面積比(黒比率:80.43%、白比率:19.57%等)で示される。
【0060】
二値化変換部は、算出した画像3の面積比(黒色と白色の面積に占める割合)に基づいて、暗部として波長の低い帯域(ローキー域:例えば460nm〜499nm)、明部として波長の高い帯域(ハイキー域:例えば550nm〜560nm)、暗部(ローキー域)と明部(ハイキー域)の中間部として中間の帯域(中間域:500nm〜549nm)とし、対象部分を特定する。
【0061】
<濃度変換部>
濃度変換部は、二値化変換部により二値化された画像データの面積比に基づき、対応する対象部分に対する波長域を特定し、特定した波長の範囲内で各々のRGB値の濃度を変換する。濃度変換部は、例えば暗部〜明部に対するRGB値の濃度の変換を行う。
【0062】
また、濃度変換部は、補正対象が動画である場合は、複数枚の画像データの組み合せにより、各々の暗部〜明部の画像詳細が、より鮮明な可視化最大適度になるよう組み合わせることを繰り返し行う。
【0063】
<輝度変換部>
輝度変換部は、濃度変換部により変換された波長域に基づき、各々の波長域に含まれるRGB値を、人目による可視が可能な最大波長の輝度に変換する。人間の知覚は明暗を光量でなく、ほぼ光量の対数で知覚する。したがって、反射(透過)光量が等差のステップパターンは視覚的には明部が長く、暗部が急激に変化することとなる。輝度変換部は、濃度変換部により変換された波長域に基づき、その各々の波長域の中で、RGB値を人目に見えるような輝度に変換する。
【0064】
ここで、人間の知覚は、明暗を光量ではなく、ほぼ光量の対数で知覚し、人により感じ方に違いがある。これは、通常のデジタルカメラ等の撮像処理とは異なるものであり、人目に見えるための変換が必要となる。そのため、濃度変換部では、明暗の濃度変換として、光量(光度エネルギー)を光束の時間積分として、例えばある時間から経過の時間までの光束の時間積分として算出するようにしてもよい。高度エネルギーは、画像の例えば一般的に知られている技術であるウェーバー比を用いた数式、フェヒナーの仮説、暗所視と明所視の最大感度波長の差異(プルキンエシフト)に基づいて算出するようにしてもよい。
【0065】
ここでウェーバー比は、例えば弁別閾(気づくことができる最小の刺激差)は、原刺激の値に比例するという関係式により求められる。また、フェヒナーの仮説では、弁別閾を感覚の単位と捉え、人間の感覚の最小単位とし、弁別閾を基本の単位として間接的に感覚量を尺度化することにより求められる。二つの刺激の間の感覚の違いにより、刺激と弁別閾の連続的な変化とし、それらの関係性から、感覚量を求めるため指数関数の逆関数による対数関数から、フェヒナーの仮説(微分方程式を感覚量を刺激量の対数化)として算出する。
【0066】
<色空間変換部>
色空間変換部は、輝度変換部により変換されたRGB値に基づき、画像3の画像データを構成するRGB値の各々の色調の色空間を示すHSV値に変換する。
【0067】
ここで、HSV(値)とは、色を「色相(Hue)」、「彩度(Saturation)」、「明度(Value・Brightness)」の3要素で表現する方法であり、RGB(値)との違いとして、例えばRGBは原色の組み合わせで色を表現しているが、HSVは「鮮やかさ」や「明るさ」といった人間が直感的にわかりやすい方法で表現され。また、照明条件が変化しても色相には変化が少ないといった特徴を持つ。RGBが0.0を最小量、1.0を最大値とする範囲にあり、例えばRGB値が定義された色(ピクセルブロック)が与えられたとすると、それに相当するHSV値は、RGBの三つの値の内、最大のものをMAX、最小のものをMINとして変換される。
【0068】
HSV(値)では、Hは0.0から360.0まで変化し、色相が示された色環に沿った角度で表現される。Vは、0.0から1.0までの範囲で変化する彩度および明度である。角座標系で、Hの範囲は0から360までであるが、その範囲を超えるHは360.0で割った剰余(またはモジュラ演算)でこの範囲に対応させることができる。
【0069】
色空間変換部は、輝度変換部により変換されたRGB値(「R成分は何%、G成分は何%、B成分は何%」)に基づき、HSV値(「何色か(色相)、鮮やかな色か渋い色か(彩度)、明るい色か暗い色か(明度)」)に変換する。このため、人間の色に対する考え方、直感的に理解しやすい色調として算出することができる。これにより、人間の視覚に近い画像となるような補正精度の向上を図ることができる。
【0070】
<補間処理部>
補間処理部は、画像3の画像データを構成する各々のRGB値のブロックピクセルを細分化し、細分化されたブロックピクセルに基づいて、ブロックピクセルに含まれる各々のRGB値を補間する。これにより、公知の画像処理の技術(例えば「バイキュービック補間」)と組み合わせて、画像3の濃度が変化する部分の形状をなめらかに記録することができる。
【0071】
ここで「バイキュービック補間」とは、例えば対象の画像3の画像データにおいて、求めたい位置(x,y)の値(x,y)を、周囲の16点の画素値からの行列式を用いて、3次多項式による近似で求めることができる。補間処理部は、画像3の画像データ(数値画像)を構成するブロックピクセルを細分化(演算画像)し、細分化されたブロックピクセルに含まれるRGB値に対して演算を行う。これにより、画像3のRGB値の濃度が変化する部分の形状をなめらかにすることができる。
【0072】
<頻度変換部>
頻度変換部は、画像3の画像データのRGB値の濃度を、その発生の頻度に従って変更し、画像3の補正を行う。頻度変換部は、頻度変換では、画像3の画像データのヒストグラムに偏りがある場合、ダイナミックレンジ極端に小さい場合に、意図的に変更したい頻度分布を設定しておき、両者の画像データの変換テーブルを作成した上で、画像処理を行う。
【0073】
一般的に、変換すべき頻度分布は正規分布に近い形が見やすいとされているが、この場合、画像3の画像データのRGB値の範囲より、分割区間の数が多い場合は同じ値を別の区間に振り分けを行う。また頻度変換部は、画像3の画像データのRGB値の範囲より、複数濃度の区間で頻度分布が低いと判別した場合は、特定濃度の区間に集約する処理を行う。これにより、画像3の画像データの各々のRGB値のエッジの判別ができ、判別の結果に応じて、各々のエッジの濃淡を強調させることが可能となる。
【0074】
<取得部13>
取得部13は、評価対象の画像データを取得する。取得部13は、例えば入力部分108から入力された評価対象の画像データを取得するほか、例えば通信網4を介して端末5等から評価対象の画像データを取得してもよい。
【0075】
取得部13は、例えば評価装置を用いて学習方法を行う場合、取得部13は、複数の評価モデルによって予め導出されたテストデータに対する複数の判定結果と、複数のテストデータとを取得する。なお、例えば評価装置を用いて、テストデータに対する判定結果を導出する処理を行うことで、複数の判定結果を取得してもよい。
【0076】
<評価部14>
評価部14は、参照データベースを参照し、画像データに対する評価結果を生成する。評価部14は、例えば画像データを入力データとし、学習モデルに基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。
【0077】
評価部14は、例えば
図5に示した参照データベースを参照した場合、画像データに含まれるデータと同一又は類似するデータ(例えば「データA」:第1データとする)を選択する。第1データとして、画像データと一部一致又は完全一致するデータが選択されるほか、例えば類似するデータが選択される。画像データが行列等の数値で表される場合、選択される第1データに含まれる数値範囲を、予め設定してもよい。
【0078】
評価部14は、選択した第1データに紐づく参照情報、及び選択した第1データと参照情報との間における連関度(第1連関度)を選択し、選択した参照情報及び第1連関度に基づき評価結果を生成する。なお、第1連関度は、予め構築された連関性から選択されるほか、評価部14によって算出されてもよい。
【0079】
例えば評価部14は、第1データ「データA」に紐づく参照情報に含まれるデータ「参照A」、及び「データA」と「参照A」との間における第1連関度(連関度AA)「75%」を選択する。なお、参照情報及び第1連関度は、複数のデータを含んでもよい。この場合、上述した「参照A」及び「75%」に加えて、第1データ「データA」に紐づく参照情報「参照B」、及び「データA」と「参照B」との間における第1連関度(連関度AB)「12%」を選択し、「参照A」及び「75%」、並びに、「参照B」及び「12%」に基づき評価結果を生成してもよい。
【0080】
評価結果は、画像データを含んでもよい。また、第1連関度は、例えば百分率等の3段階以上で示される。
【0081】
評価部14は、例えば予め保存部104等に記憶された出力用フォーマット等の形式データを用いて、上述選択した参照情報及び第1連関度等を、ユーザが理解できる形式(例えば文字列)を示す評価結果を生成する。なお、評価結果を生成する際における形式の設定等は、例えば公知の技術を用いてもよい。
【0082】
評価部14は、例えば選択した第1連関度に基づいて、評価結果の内容を決定する。例えば評価部14は、「50%」以上の第1連関度に紐づく参照情報に基づいて、評価結果を生成し、「50%」未満の第1連関度に紐づく参照情報を評価結果に反映しないように設定されてもよい。なお、第1連関度に基づく判定基準は、例えば管理者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、評価部14は、例えば2以上の第1連関度を演算した結果や、2以上の第1連関度の比較に基づいて、評価結果の内容を決定してもよい。
【0083】
<記憶部15>
記憶部15は、保存部104に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部15は、各構成11、13〜14により取得又は生成された各種情報を、保存部104に保存する。
【0084】
<出力部16>
出力部16は、評価結果を出力する。出力部16は、I/F107を介して出力部分109に評価結果を送信するほか、例えばI/F105を介して、他の端末5等に評価結果を送信する。出力部16は、例えば
図3に示した評価対象の画像3の補正画像を再現した画像を表示するデータを、出力部分109等に出力する。
【0085】
<更新部17>
更新部17は、例えば参照データベースを更新する。更新部17は、過去の画像データと、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。例えば評価部14により生成された評価結果を踏まえ、管理者等が評価結果の内容における精度を判定し、判定結果を画像処理装置1が取得した場合、更新部17は、判定結果に基づき参照データベースに含まれる連関性を更新する。
【0086】
<通信網4>
通信網4は、例えば画像処理装置1等が通信回路を介して接続されるインターネット網等である。通信網4は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網4は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。
【0087】
<他の端末5>
他の端末5として、例えば画像処理装置1と同様に電子機器で具現化されたものが用いられる。他の端末5は、例えば複数の画像処理装置1と通信可能な中央制御装置等を示す。
【0088】
<サーバ6>
サーバ6には、例えば上述した各種情報が記憶される。サーバ6には、例えば通信網4を介して送られてきた各種情報が蓄積される。サーバ6には、例えば保存部104と同様の情報が保存され、通信網4を介して画像処理装置1と各種情報の送受信が行われてもよい。即ち、画像処理装置1は、保存部104の代わりにサーバ6を用いてもよい。
【0089】
(第1実施形態:画像処理システム100の動作の一例)
次に、第1実施形態における画像処理システム100の動作の一例について説明する。
図6は、第1実施形態における画像処理システム100の動作の一例を示すフローチャートである。
【0090】
<画像取得手段S110>
図2に示すように、画像3の画像データを取得する(画像取得手段S110)。画像取得部11は、画像取得部11は、画像3の画像データを構成する複数のブロックピクセルを順次に取得するようにしてもよい。
【0091】
例えば画像取得部11は、撮像装置2等から画像3の画像データを取得するほか、例えば内蔵された図示しない撮像部から、リアルタイムに画像データを取得するようにしてもよい。なお、画像取得部11は、静止画として画像3を取得する他、動画を取得するようにしてもよく、その場合は、1つの画像フレームごとに画像データを取得する。なお、画像データを取得する頻度及び周期は、任意である。また、画像3や動画の形式やフォーマットは、任意である。
【0092】
<画像変換手段S120>
次に、画像の明暗、濃度、輝度、色空間を変換する(画像変換手段S120)。画像変換部12は、ブロックピクセルに含まれるRGB値に基づいて、画像3の明暗、濃度、輝度、色空間の変換を行う。画像変換部12は、例えば二値化変換部と、濃度変換部と、輝度変換部と、色空間変換部と、頻度変換部とを備え、各々の変換を行うようにしてもよい。
【0093】
<二値化処理手段S130>
次に、画像を二値化し、明暗の面積比を算出する(二値化処理手段S130)。二値化処理部は、ブロックピクセルに含まれるRGB値を判別し、判別結果に基づいて画像3のRGB値を二値化し、画像3の明暗(例えば白黒)の面積比を算出する。二値化処理部は、算出した面積比に応じて明暗域を特定する。明暗域は、例えば面積比と明暗域とを各々対応付けるデータテーブル(図示せず)として、予め画像処理システム1の記憶部15に設定されていてもよい。
【0094】
<濃度変換手段S140>
次に、RGB値に対応する波長域に変換する(濃度変換手段S140)。濃度変換部は、二値化処理部により設定された明暗域を判別する。濃度変換部は、RGB値に応じて波長域を特定する。濃度変換部は、判別の結果に基づき、RGB値に対応する波長域に変換するようにしてもよい。波長域は、例えばRGB値と波長域とを各々対応付けるデータテーブル(図示せず)として、予め画像処理システム1の記憶部15に設定されていてもよい。
【0095】
<輝度変換手段S150>
次に、最大波長の輝度に変換する(輝度変換手段S150)。輝度変換部は、濃度変換部により変換された波長域を判別する。濃度変換部は、変換された波長域に応じてRGB値を最大波長の輝度を特定する。輝度変換部は、判別の結果に基づき、各々の波長域に含まれるRGB値を、人目による可視が可能な最大波長の輝度に変換するようにしてもよい。最大波長の輝度は、例えば最大波長の輝度を含む波長域とRGB値を各々対応付けるデータテーブル(図示せず)として、予め画像処理システム1の記憶部15に設定されていてもよい。
【0096】
<色空間変換手段S160>
次に、色調の色空間を示すHSV値に変換する(色空間変換手段S160)。色空間変換部は、輝度変換部により変換されたRGB値を判別する。色空間変換部は、変換されたRGB値に応じてHSV値を特定する。色空間変換部は、判別されたRGB値に基づき、色調の色空間を示すHSV値に変換するようにしてもよい。HSV値は、例えばHSV値とRGB値を各々対応付けるデータテーブル(図示せず)として、予め画像処理システム1の記憶部15に設定されていてもよい。
【0097】
<出力手段S170>
その後、変換された画像を出力する(出力手段S170)。出力部16は、例えば画像変換部12により変換された画像3を出力してもよい。出力部16は、評価結果を出力部分109等に出力するほか、例えば通信網4を介して他の端末5に出力するようにしてもよい。
【0098】
<補間処理手段S180>
また、ブロックピクセルに含まれるRGB値を補間する(補間処理手段S180)。補間処理部は、画像3を構成する各々のブロックピクセルを判別し、細分化する。補間処理部は、細分化されたブロックピクセルに基づいて、ブロックピクセルに含まれる各々のRGB値を補間するようにしてもよい。
【0099】
<頻度変換手段S190>
また、頻度分布を判別し、振り分け・集約する(頻度変換手段S190)。頻度変換部は、RGB値に基づき、画像3の濃淡の頻度分布を判別する。頻度変換部は、特定濃度の区間に偏りがあると判別した場合は、他の濃度の区間に頻度の振り分けを行う。また、頻度変換部は、複数の濃度の区間において頻度分布が低い場合は、特定濃度の区間に集約するようにしてもよい。
【0100】
これにより、第1実施形態における画像処理システム100の動作が終了してもよい。
【0101】
本実施形態によれば、画像取得部は、画像3を構成するブロックピクセルを順次に取得する。このため、さまざまな環境下で撮像された画像3を細かく取得することができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
【0102】
また、本実施形態によれば、二値化処理部は、二値化した画像3から明暗の面積比を算出し、算出結果から面積比に応じた明暗域を特定する。このため、画像3の白黒の明暗域を詳細に判別することができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
【0103】
また、本実施形態によれば、濃度変換部は、RGB値に対応する波長域に変換する。このため、画像3のRGB値の各々の濃度の波長域を詳細に判別することができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
【0104】
また、本実施形態によれば、輝度変換部は、波長域に含まれるRGB値を変換する。このため、人目による可視が可能な最大波長の輝度に可能することができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
【0105】
また、本実施形態によれば、色空間変換部輝度変換部は、RGB値に基づき、色調の色空間を示すHSV値に変換する。このため、人間が直感的に分かりやすい表示をすることができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
【0106】
(第2実施形態:画像処理システム100の動作の一例)
次に、第2実施形態における画像処理システム100の動作の一例について説明する。
図7は、第2実施形態における画像処理システム100の動作の一例を示すフローチャートである。
【0107】
<取得手段S210>
取得部13は、画像データを取得する(取得手段S210)。取得部13は、画像3を構成するブロックピクセルに含まれるRGB値を示す数値データ、画像3の二値化を示す面積比データ、画像3の明暗を示す明暗データ、及び画像3の輝度を示す輝度データを複数有する画像データを取得するようにしてもよい。取得部13は、例えば記憶部15を介して、評価対象の画像3の画像データを保存部104に保存する。
【0108】
<評価手段S220>
次に、評価結果を生成する(評価手段S220)。評価部14は、参照データベースを参照し、評価対象の画像データに対する評価結果を生成する。評価部14は、取得部13により取得された画像3の画像データを取得し、例えば保存部104に保存された参照データベースを取得する。評価部14は、例えば評価対象の画像データを入力データとし、関数等で示された連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。このとき、例えば評価部14は、1つの評価対象の画像データに対して、複数の参照情報を選択してもよい。
【0109】
評価部14は、1つの評価対象の画像データに対して、1つの評価結果を生成するほか、例えば複数の評価対象の画像データに対して1つの評価結果を生成してもよい。評価部14は、例えば保存部104に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部14は、例えば記憶部15を介して、評価結果を保存部104に保存する。
【0110】
<出力手段S230>
次に、評価結果を出力する(出力手段S230)。出力部16は、評価結果を出力部分109等に出力する。出力部16は、例えば通信網4を介して他の端末5又はサーバ6に出力してもよい。
【0111】
<更新手段S240>
次に、関係を連関度に反映する(更新手段S240)。更新部17は、例えば過去の評価対象の画像データと、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させてもよい。例えば評価部14により生成された評価結果を踏まえ、評価者等が評価結果の精度を判定した判定結果を画像処理装置1が取得した場合、更新部17は、判定結果に基づき参照データベースに記憶された連関性を更新する。
【0112】
これにより、第2実施形態における画像処理システム100の動作が終了する。なお、更新手段S240を実施する場合のタイミングは、任意である。
【0113】
本実施形態によれば、評価部14は、参照データベースを参照し、画像3の画像データに対する評価結果を生成する。このため、過去の結果を踏まえた評価結果を生成できるとともに、評価対象の画像3に対するRGB値を示す数値データ、画像3の二値化を示す面積比データ、画像3の明暗を示す明暗データ、及び画像3の輝度を示す輝度データを評価対象とすることができる。これにより、評価精度の向上を図ることが可能となる。
【0114】
また、本実施形態によれば、学習モデルは、過去の画像データと、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の画像データとは異なる未知の画像データを評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。
【0115】
また、本実施形態によれば、評価手段S220は、参照データベースを参照し、画像データに対する評価結果を生成する。このため、過去の結果を踏まえた評価結果を生成できるとともに、評価対象の画像3に対するRGB値を示す数値データ、画像3の二値化を示す面積比データ、画像3の明暗を示す明暗データ、及び画像3の輝度を示す輝度データを評価対象とすることができる。これにより、評価精度の向上を図ることが可能となる。
【0116】
本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。