特開 2023-127266 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023127266

(43)【公開日】2023-09-13

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム

(51)【国際特許分類】

   G06T 5/50 20060101AFI20230906BHJP

   G06T 1/00 20060101ALI20230906BHJP

【ＦＩ】

G06T5/50

G06T1/00 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022030947

(22)【出願日】2022-03-01

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】山中 祐治

(72)【発明者】

【氏名】菊地 太郎

(72)【発明者】

【氏名】澤田 圭人

(72)【発明者】

【氏名】高巣 修作

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CE16

5B057DA01

5B057DA16

5B057DA17

5B057DB02

5B057DB09

5B057DC25

(57)【要約】      （修正有）

【課題】構造物のカラー画像を効率良く取得可能とする画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置１０は、撮像対象の構造物（例えばトンネル）のモノクロ画像を撮像するモノクロ画像撮像部１１と、モノクロ画像に対応する構造物のカラー画像を撮像するカラー画像撮像部１２と、カラー画像撮像部１２により撮像されたカラー画像の色情報に基づき、カラー画像からモノクロ画像に重畳する領域である重畳領域８２を抽出する重畳領域決定部１６と、重畳領域決定部１６により抽出された重畳領域を、モノクロ画像撮像部１１により撮像されたモノクロ画像の対応位置に重畳して、重畳領域がカラー化される重畳画像を生成する重畳画像生成部１８と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像対象の構造物のモノクロ画像を撮像するモノクロ画像撮像部と、
前記モノクロ画像に対応する前記構造物のカラー画像を撮像するカラー画像撮像部と、
前記カラー画像撮像部により撮像された前記カラー画像の色情報に基づき、前記カラー画像から前記モノクロ画像に重畳する領域である重畳領域を抽出する重畳領域決定部と、
前記重畳領域決定部により抽出された前記重畳領域を、前記モノクロ画像撮像部により撮像された前記モノクロ画像の対応位置に重畳して、前記重畳領域がカラー化される重畳画像を生成する重畳画像生成部と、
を備える画像処理装置。

【請求項2】

前記重畳領域決定部は、物理モデルから求めたパラメータを用いて前記色情報と比較を行い、比較結果に基づき前記重畳領域を抽出する、
請求項１に記載の画像処理装置。

【請求項3】

前記重畳画像生成部は、前記重畳領域決定部により抽出された前記重畳領域のみを前記モノクロ画像に重畳する、
請求項１または２に記載の画像処理装置。

【請求項4】

前記重畳画像生成部は、前記重畳領域決定部により抽出された前記重畳領域の周囲を含む所定領域を前記モノクロ画像に重畳する、
請求項１または２に記載の画像処理装置。

【請求項5】

前記重畳画像生成部は、前記重畳領域を強調表示する標識を追加して前記重畳画像を生成する、
請求項３または４に記載の画像処理装置。

【請求項6】

前記構造物は点検対象のトンネルであり、
前記モノクロ画像、前記カラー画像は、前記トンネルの壁面を撮像した画像であり、
前記重畳領域は、前記壁面において異常が発生している可能性のある部分である、
請求項１～５のいずれか一項に記載の画像処理装置。

【請求項7】

撮像対象の構造物のモノクロ画像を撮像するモノクロ画像撮像ステップと、
前記モノクロ画像に対応する前記構造物のカラー画像を撮像するカラー画像撮像ステップと、
前記カラー画像撮像ステップにおいて撮像された前記カラー画像の色情報に基づき、前記カラー画像から前記モノクロ画像に重畳する領域である重畳領域を抽出する重畳領域決定ステップと、
前記重畳領域決定ステップにおいて抽出された前記重畳領域を、前記モノクロ画像撮像ステップにおいて撮像された前記モノクロ画像の対応位置に重畳して、前記重畳領域がカラー化される重畳画像を生成する重畳画像生成ステップと、
を含む画像処理方法。

【請求項8】

撮像対象の構造物のモノクロ画像を撮像するモノクロ画像撮像機能と、
前記モノクロ画像に対応する前記構造物のカラー画像を撮像するカラー画像撮像機能と、
前記カラー画像撮像機能により撮像された前記カラー画像の色情報に基づき、前記カラー画像から前記モノクロ画像に重畳する領域である重畳領域を抽出する重畳領域決定機能と、
前記重畳領域決定機能により抽出された前記重畳領域を、前記モノクロ画像撮像機能により撮像された前記モノクロ画像の対応位置に重畳して、前記重畳領域がカラー化される重畳画像を生成する重畳画像生成機能と、
をコンピュータに実行させる画像処理プログラム。

【請求項9】

モノクロカメラと、
カラーカメラと、
請求項１～６のいずれか一項に記載の画像処理装置と、
を備える画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システムに関する。

【背景技術】

【0002】

トンネルなどの構造物の維持管理において、従来の現場で目視確認などを行う人力での点検の代わりに、現場では構造物の撮像までを行い、構造物の撮像画像に基づき、撮影画像を確認して点検する手法や、撮影画像を画像処理によって自動的に判定を行い、管理作業を短時間で効率良く行う手法が知られている。

【0003】

ここで、撮影画像の解像度という観点では、カラー画像よりもモノクロ画像のほうが有利であるが、例えば、構造物の表面のひび割れや水漏れなどの変状の状態や点検時の構造物にチョーク等で記された書き込み等などを確認するという観点では、モノクロ画像よりもカラー画像のほうが望ましい。

【0004】

特許文献１には、画像処理装置において、複数の画像データを処理し重畳することでカラー画像を生成する手法において、重畳する画像を表示する色成分の配色を自由に選択可能とする手法について開示されている。

【0005】

特許文献２には、構造物の変異の計測を高精度に行われるとともに、計測結果をわかりやすく提示することを目的として、モノクロ画像とカラー画像を重畳する情報提示装置について開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

カラー画像を取得するために特許文献１，２に記載の従来手法を適用すると、モノクロ画像をカラー化する際に、画像全体をカラー化すると処理に時間やコストが掛かる。このため、効率的にカラー化する（所望のカラー画像を得る）という観点で改善の余地がある。

【0007】

本発明は、構造物のカラー画像を効率良く取得可能とすることを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決するために、本発明の一観点に係る画像処理装置は、撮像対象の構造物のモノクロ画像を撮像するモノクロ画像撮像部と、前記モノクロ画像に対応する前記構造物のカラー画像を撮像するカラー画像撮像部と、前記カラー画像撮像部により撮像された前記カラー画像の色情報に基づき、前記カラー画像から前記モノクロ画像に重畳する領域である重畳領域を抽出する重畳領域決定部と、前記重畳領域決定部により抽出された前記重畳領域を、前記モノクロ画像撮像部により撮像された前記モノクロ画像の対応位置に重畳して、前記重畳領域がカラー化される重畳画像を生成する重畳画像生成部と、を備える。

【発明の効果】

【0009】

構造物のカラー画像を効率良く取得できる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る画像処理システムの概略構成を示す斜視図

【図2】画像処理システムによるトンネルの壁面の撮像方法を説明する図

【図3】実施形態に係る画像処理装置の機能ブロック図

【図4】画像処理装置のハードウェア構成図

【図5】重畳画像生成処理のフローチャート

【図6】重畳画像の一例を示す図

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

【0012】

なお、以下の説明において、ｘ方向、ｙ方向、ｚ方向は互いに垂直な方向である。ｘ方向及びｙ方向は水平方向であり、ｚ方向は鉛直方向である。ｘ方向はモノクロカメラユニット２０、カラーカメラユニット３０、形状測定ユニット４０の配列方向であり、画像処理システム１が車両１００に設置されたときの車両１００の前後方向である。ｙ方向は、画像処理システム１が車両１００に設置されたときの車両１００の幅方向（左右方向）である。また、以下では説明の便宜上、ｚ正方向側を上側、ｚ負方向側を下側とも表現する場合がある。

【0013】

実施形態に係る画像処理システム１は、構造物を点検するために撮影した画像をカラー化するものである。以下では、構造物の一例としてトンネル２００を例示して説明する。この場合、画像処理システム１は、トンネル２００の壁面２０１を撮影した画像をカラー化する。

【0014】

なお、トンネル２００等の構造物の検査においては、ヒビ等の変状箇所に撮影前にチョーク等で印をつける（例えば、丸で囲む）等の作業を行っており、このチョーク等でつけた印を目立たせることも、画像をカラー化する一つの目的である。

【0015】

図１は、実施形態に係る画像処理システム１の概略構成を示す斜視図である。図１に示すように、画像処理システム１は、画像処理装置１０と、モノクロカメラユニット２０と、カラーカメラユニット３０と、形状測定ユニット４０を備える。

【0016】

画像処理装置１０は、モノクロカメラユニット２０、カラーカメラユニット３０、及び形状測定ユニット４０の動作を制御して、各ユニットから取得した情報に基づいて構造物点検用の画像（本実施形態では後述する重畳画像８０（図６参照））を生成する。

【0017】

モノクロカメラユニット２０は、検査対象のトンネル壁面２０１のモノクロ画像８１（図６参照）を撮像する装置ある。モノクロカメラユニット２０は、複数組（図１の例では３組）のモノクロカメラ２１と照明２２とを有する。モノクロカメラ２１は、トンネル壁面２０１のモノクロ画像を撮像する。照明２２は、対応するモノクロカメラ２１の撮像領域を照射する。図１に示すように、モノクロカメラ２１と照明２２の各組は、それぞれ異なる方向に向いて配置されている。これにより、一度の処理で撮像可能なトンネル壁面２０１の領域を増加できる。トンネル壁面２０１の半分以上を一度に撮像できるように各組が配置されるのが好ましい。

【0018】

カラーカメラユニット３０は、検査対象のトンネル壁面２０１のカラー画像を撮像する装置である。カラーカメラユニット３０は、複数組（図１の例では３組）のカラーカメラ３１と照明３２とを有する。カラーカメラ３１は、トンネル壁面２０１のカラー画像を撮像する。照明３２は、対応するカラーカメラ３１の撮像領域を照射する。図１に示すように、カラーカメラ３１と照明３２の各組は、それぞれ異なる方向に向いて配置されている。これにより、一度の処理で撮像可能なトンネル壁面２０１の領域を増加できる。トンネル壁面の半分以上を一度に撮像できるように各組が配置されるのが好ましい。

【0019】

また、カラーカメラ３１と照明３２の組数と、各組の設置方向は、モノクロカメラ２１と照明２２の組数と各組の方向と同一である。これにより、各モノクロカメラ２１が撮像するモノクロ画像８１に対応するカラー画像を撮像することができる。

【0020】

形状測定ユニット４０は、検査対象のトンネル壁面２０１の三次元形状を測定する装置である。形状測定ユニット４０は、形状測定手段として例えば周知のライダ（Lidar：Light Detection and Ranging または Laser Imaging Detection and Ranging）センサ４１を備える。なお、形状測定ユニット４０は、検査対象の形状を測定できる機能があればライダセンサ４１以外の要素を用いてもよい。

【0021】

また、画像処理システム１は、フレーム５０を備える。フレーム５０は、例えば図１に示すように複数の長尺状の部材をｘ方向及びｙ方向に組み合わせて、上方に水平面状の設置領域を有するように形成される。モノクロカメラユニット２０、カラーカメラユニット３０、及び形状測定ユニット４０は、それぞれフレーム５０上に固設される。図１の例では、モノクロカメラユニット２０、カラーカメラユニット３０、形状測定ユニット４０の順でｘ方向に沿って配列される構成を例示しているが、配列順はこれに限られない。

【0022】

また、フレームの幅方向（ｙ方向）の両側端部には、下方に突出して固定具６０が設けられる。固定具６０は、車両１００のルーフなどに固定可能に構成される。固定具６０は、フレーム５０の各端部において、ｘ方向に沿って複数個ずつ設けられるのが好ましい。

【0023】

なお、画像処理装置１０は、有線または無線によって各ユニットと通信可能に接続されていればよく、モノクロカメラユニット２０などと共にフレーム上に設置されてもよいし、遠隔位置に設置されてもよい。

【0024】

図２は、画像処理システム１によるトンネル２００の壁面２０１の撮像方法を説明する図である。図２には、検査対象のトンネル２００の進行方向と直交する断面が示される。つまり、トンネル２００の断面線から内側に向かって壁面２０１が存在する。

【0025】

本実施形態の画像処理システム１は、トンネル２００内の道路２１０を走行する車両１００のルーフ部分の上に固定具６０を介して搭載されて使用される。図２では、車両１００が紙面奥側に向けて走行している状態を図示している。画像処理システム１は、モノクロカメラユニット２０、カラーカメラユニット３０の各カメラ２１、３１の光軸方向が車両左側（路肩側）や上側を向くように設置される。このとき、画像処理システム１は、図面上ではトンネル２００の断面に沿った壁面２０１の概ね左半分（車両からみて路肩側の半分）を撮影することができる。

【0026】

ここで、各カメラユニット２０、３０の複数のカメラ２１、３１で撮像する画像は、それぞれ撮像領域がオーバーラップしていることが望ましい。これにより、車両１００を移動させながら各カメラユニット２０、３０による撮像を行うことで、トンネル２００の入口から出口までにおいて、紙面に対して左側半分の壁面２０１を漏れなく撮像できる。

【0027】

また、各カメラユニット２０、３０の撮像と併せて、形状測定ユニット４０のライダセンサ４１が放射状に光線を射出し、トンネル２００の断面形状情報を取得する。図中の破線は射出光線Ｌを模式的に示したものである。実際の光線Ｌの本数はより多く、トンネル２００の断面形状を高密度に測定できる。

【0028】

図２の例では、トンネル２００内では道路２１０の路肩側に歩道２２０がある。このため、車両１００は、歩道２２０がない場合と比較して、トンネル２００の路肩側の壁面２０１から遠い位置を移動している。このように、車両１００が道路２１０の最も路肩側の斜線を走行している条件が共通であっても、歩道２２０の有無によって壁面２０１との距離が異なるので、各カメラユニット２０、３０の撮像範囲も異なる。この相違を補完するため、例えば各カメラユニット２０、３０を車両１００の幅方向（ｙ方向）に沿って水平移動可能な構成としてもよい。これにより、歩道２２０の有無に依存せずに一度に撮像できる壁面２０１の範囲を均一化できる。

【0029】

例えば、各カメラユニット２０、３０の撮像範囲は、トンネル２００の壁面２０１と地面との境目までを撮像できるように調整されるのが好ましい。これにより、図２に示す断面線に沿って壁面２０１の全範囲を撮像することが可能となり、各カメラユニット２０、３０の撮像画像に基づく検査の精度を向上できる。

【0030】

図３は、実施形態に係る画像処理装置１０の機能ブロック図である。図３に示すように、画像処理装置１０は、上記のトンネル壁面２０１の検査用画像を撮像する機能に関して、モノクロ画像撮像部１１と、カラー画像撮像部１２と、モノクロ画像記憶部１３と、カラー画像記憶部１４と、色情報処理部１５と、重畳領域決定部１６と、形状測定部１７と、重畳画像生成部１８と、重畳画像記憶部１９と、を備える。

【0031】

モノクロ画像撮像部１１は、モノクロカメラユニット２０の複数のモノクロカメラ２１と照明２２とを制御して、撮像対象の構造物（本実施形態ではトンネル２００の壁面２０１）のモノクロ画像８１（図６参照）を撮像する。

【0032】

カラー画像撮像部１２は、カラーカメラユニット３０の複数のカラーカメラ３１と照明３２とを制御して、モノクロ画像８１に対応する構造物のカラー画像を撮像する。

【0033】

モノクロ画像記憶部１３は、モノクロ画像撮像部１１により撮像されたモノクロ画像８１を記憶する。

【0034】

カラー画像記憶部１４は、カラー画像撮像部１２により作成されたカラー画像を記憶する。

【0035】

色情報処理部１５は、カラー画像撮像部１２により撮像されたカラー画像の色情報を算出する。

【0036】

重畳領域決定部１６は、色情報処理部１５により算出されたカラー画像の色情報に基づき、カラー画像からモノクロ画像８１に重畳する領域である重畳領域８２（図６参照）を抽出する。

【0037】

形状測定部１７は、形状測定ユニット４０のライダセンサ４１を制御して、撮像対象（トンネル２００の壁面２０１）の形状を測定する。

【0038】

重畳画像生成部１８は、重畳領域決定部１６により抽出された重畳領域８２を、モノクロ画像撮像部１１により撮像されたモノクロ画像８１の対応位置に重畳して、重畳領域８２がカラー化される重畳画像８０（図６参照）を生成する。なお、重畳画像生成部１８は、複数のモノクロカメラ２１及びカラーカメラ３１により同時に撮像された複数の画像をカメラ配置などに応じて合成して、一枚の重畳画像８０として纏めて生成してもよい。

【0039】

重畳画像記憶部１９は、重畳画像生成部１８により生成された重畳画像８０を記憶する。

【0040】

重畳画像生成部１８により生成された重畳画像８０は、画像処理システム１の内部または外部に設けられる表示装置７０に表示される構成でもよい。

【0041】

図４は、画像処理装置１０のハードウェア構成図である。図４に示すように、画像処理装置１０は、物理的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、主記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、入力デバイスであるキーボード及びマウス等の入力装置１０４、ディスプレイ等の出力装置１０５、ネットワークカード等のデータ送受信デバイスである通信モジュール１０６、補助記憶装置１０７、などを含むコンピュータシステムとして構成することができる。

【0042】

図３を参照して説明した画像処理装置１０の各機能は、ＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェア（画像処理プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０６、入力装置１０４、出力装置１０５を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０７におけるデータの読み出し及び書き込みを行うことで実現される。すなわち、本実施形態に係る画像処理プログラムをコンピュータ上で実行させることで、画像処理装置１０は、図３のモノクロ画像撮像部１１と、カラー画像撮像部１２と、モノクロ画像記憶部１３と、カラー画像記憶部１４と、色情報処理部１５と、重畳領域決定部１６と、形状測定部１７と、重畳画像生成部１８と、重畳画像記憶部１９として機能する。

【0043】

図５を参照して、実施形態に係る画像処理方法について説明する。図５は、重畳画像生成処理のフローチャートである。図５の各処理は、画像処理装置１０により実施される。

【0044】

ステップＳ１では、色情報処理部１５は、カラー画像の各画素について色情報を求める。色情報処理部１５は、例えばカラー画像記憶部１４からカラー画像の情報を取得する。カラー画像がＲＧＢカラー画像である場合、色情報は、赤、緑、青チャンネルそれぞれの値をそのまま用いてもよいし、各チャンネル間の比を用いてもよい。または、ＲＧＢからＨＳＶ表色系に変換し、色相、彩度、明度を求めて、これらの情報を色情報としてもよい。

【0045】

ステップＳ２では、重畳領域決定部１６により、ステップＳ１で算出された色情報に基づき、重畳する領域（カラー画像からモノクロ画像８１に重畳する領域である重畳領域８２）の範囲が決定される。重畳領域決定部１６は、例えば、色情報処理部１５で求めた色情報の各値と、あらかじめ設定しておいた重畳領域決定パラメータとを比較処理し、その結果に基づき重畳領域８２の範囲を決定する。重畳領域決定部１６は、決定した重畳領域８２の画素の座標情報を重畳画像生成部１８に送る。

【0046】

重畳領域決定部１６の比較処理の一例を下記の（１）式に示す。

【0047】

【数1】

【0048】

上記（１）式のａは重畳領域決定パラメータである。Ｒ、Ｇ、Ｂは、それぞれ色情報処理部１５が算出した赤、緑、青チャンネルに対応する値である。例えばａ＝０．１としたときに、ある画素についての（１）式の出力が１の場合、赤チャンネルの強度が他のチャンネルよりも強いことを意味する。このため、赤色の変状等が写っている領域を重畳領域８２として決定することができる。

【0049】

または、色情報処理部１５でＨＳＶ表色系に変換した場合は、色相Ｈについて、重畳領域決定パラメータを色環の角度－６０度から＋６０度とし、Ｈの値と比較する。色相Ｈの値が重畳領域パラメータの範囲に収まっていたら、赤色の変状領域であるとして１を出力し、重畳領域８２としてその画素の座標情報を重畳画像生成部１８に送る。

【0050】

ステップＳ３では、重畳画像生成部１８により、カラー画像記憶部１４のカラー画像のうち、ステップＳ２で決定した重畳領域８２について、モノクロ画像記憶部１３のモノクロ画像８１と重畳して、重畳画像８０が生成される。重畳画像生成部１８は、画像全体ではなく、重畳領域決定部１６での比較結果に基づき、モノクロ画像８１とカラー画像を重畳する。例えば、カラー画像のうち重畳領域決定部１６の比較結果出力が１の座標の画素についてのみ、モノクロ画像８１への重畳処理を行い、重畳画像８０を生成する。

【0051】

重畳処理の詳細を述べる。図１のようにモノクロカメラ２１とカラーカメラ３１が車両１００の進行方向（ｘ方向）に沿って並んでいて、かつ、レンズの焦点距離などの仕様が同じで、かつシャッターの同期がとれている場合、モノクロ画像８１とカラー画像の座標系は設置位置の分だけ並進させた関係なので、重畳領域決定部１６からの座標情報と設計時に既知である並進情報により位置ずれなく重畳することができる。

【0052】

または、モノクロカメラ２１とカラーカメラ３１の配置が図１のように車両１００の進行方向に沿って並んでおらずレンズの仕様が異なる場合もあり得る。この場合でも、シャッターの同期がとれていれば、各カメラ２１、３１とライダセンサ４１との相対的な位置関係と、壁面２０１と各カメラ２１、３１との位置関係の情報により、位置ずれなく重畳することができる。各カメラ２１、３１とライダセンサ４１との相対的な位置関係は、設計時に既知の情報である。壁面２０１と各カメラ２１、３１との位置関係は、ライダセンサ４１の測定結果から求まる。例えば、形状測定部１７が測定した壁面２０１の形状から、ライダセンサ４１から壁面２０１までの距離を算出でき、さらに、各カメラ２１、３１とライダセンサ４１との相対的な位置関係から壁面２０１と各カメラ２１、３１との距離が算出でき、壁面２０１と各カメラ２１、３１との位置関係を求めることができる。このように、モノクロカメラ２１とカラーカメラ３１の配置が図１のように車両１００の進行方向に沿って並んでおらず、かつ、レンズの仕様が異なる場合でも、特許文献２に記載されているようなＳＩＦＴなどの特徴量を用いたマッチング処理を行わずとも、位置ずれなく簡易に重畳処理を行うことができる。

【0053】

また、各カメラ２１、３１のシャッターの同期がとれておらずにずれている場合でも、そのずれを撮影の事前あるいは事後に知ることができれば、同様にマッチング処理を行わずとも、位置ずれなく簡易に重畳処理を行うことができる。

【0054】

モノクロ画像８１にカラー画像の重畳領域８２を重畳する際には、重畳領域決定部１６で出力１の画素のみを重畳してもよいし、出力１の画素を含む矩形領域などの所定範囲を重畳してもよい。また、重畳領域８２の周囲を枠線８３などで囲み、重畳領域８２を強調表示してわかりやすくしてもよい。

【0055】

ステップＳ４では、重畳画像生成部１８により、生成した重畳画像８０が重畳画像記憶部１９に記憶される。また、生成した重畳画像８０を、画像処理システム１の内部または外部の表示装置７０に表示させてもよい。

【0056】

図６は、重畳画像８０の一例を示す図である。図６の例では、赤錆が写っている画素を模様付の領域として図示しており、これらの画素を重畳領域８２と判定している。そして、カラー画像のうち重畳領域８２を含む矩形領域をモノクロ画像８１に重畳している。さらに、重畳領域８２の周囲を枠線８３で囲んで、重畳領域８２を強調表示している。

【0057】

このように重畳領域８２を明示することで、赤錆等の変状やチョーキングといったカラー画像で確認したい箇所を、単純にモノクロ画像８１とカラー画像全体とを重畳した場合と比較して、効率よく画像確認をすることが可能となる。また、覆工表面のひびの幅はトンネル点検において修復作業の必要性を判断するための重要な項目であり、０．１ｍｍ程度の精度でひび幅を判別することが要求される。そのためには高解像度の壁面画像が必要であり、この観点からも必要な領域だけカラー画像を重畳するほうが好ましい。なぜならば、カラーセンサ（カラーカメラ３１の撮像画像）は一般的にモノクロセンサ（モノクロカメラ２１の撮像画像）よりも解像度が低い（モノクロセンサにカラーフィルタをのせてカラー化しているため）ためである。

【0058】

なお、図６の例では、重畳画像８０に枠線８３を追加する構成を例示したが、少なくとも重畳領域８２を強調表示できればよく、例えば矢印など枠線８３以外の標識を表示させる構成でもよい。これにより、重畳画像８０の中で重畳領域８２をより際立たせることができ、効率よく画像確認をすることが可能となる。

【0059】

また、図６の例では、重畳されるカラー画像の部分は、重畳領域８２を含む矩形の領域（枠線８３で囲まれる部分）であるが、この代わりにカラー画像から重畳領域８２のみをモノクロ画像８１に重畳させ、図６の例と同様に重畳領域８２の周囲に矩形などの枠線８３を表示する構成でもよい。

【0060】

ここで、重畳領域決定部１６の重畳領域決定パラメータａの決定手法についてさらに説明する。

【0061】

カラーカメラ３１で撮像したカラー画像に含まれる各画素の画素値（８ｂｉｔ画像であれば０～２５５が一般的）は、照明光の分光放射照度やセンサの分光感度などから、下記の（２）式により理論値を計算することができる。

【0062】

【数2】

【0063】

ここでｐは画素値であり、i(λ)は被写体に当たっている光の分光放射照度であり、s(λ)はラインセンサの分光感度であり、r(λ)は被写体の分光反射率である。tは時間であり、画素値ｐが露光時間ｔに比例することを意味する。Kは光量から画素値に変換する係数である。

【0064】

カラーカメラ３１の各チャンネルの画素値ｐＲ、ｐＧ、ｐＢは、上位の（２）式のｓ(λ)をそれぞれ各チャンネルの分光感度sR(λ)、sG(λ)、sB(λ)とすることで計算できる。これらの値はセンサの仕様に含まれており既知である。

【0065】

また、i(λ)は太陽光やトンネル壁面２０１に設置された照明光が含まれるが、トンネル２００の内部においては、画像処理システム１に具備された照明２２、３２の成分が支配的であり、これも設計時に既知である。

【0066】

赤錆は酸化鉄が主成分なので、例えば酸化鉄の分光反射率r(λ)を文献で調べ、あるいはサンプルがあればその分光反射率を実測して求めることができる。

【0067】

これらの値を（２）式に代入し、ＲＧＢ各チャンネルの理論上の画素値を求め、重畳領域決定パラメータとして用いることができる。

【0068】

例えば、各チャンネルについての以下の３つの条件式の（３）～（５）式を全て満足した場合に１を出力し、重畳領域８２としてその画素の座標情報を重畳画像生成部１８に送ればよい。

【0069】

ｐＲ(１－ｃ) < R < ｐＲ(１＋ｃ) ・・・（３）
ｐＧ(１－ｃ) < G < ｐＧ(１＋ｃ) ・・・（４）
ｐＢ(１－ｃ) < B < ｐＢ(１＋ｃ) ・・・（５）

【0070】

ここで、上記（３）～（５）式中のｃは、各理論値からの乖離率であり、例えば１０［％］である。

【0071】

このように物理モデルにより重畳領域決定パラメータを定めることで、過剰な検出や検出もれの少ない、より適切な重畳領域８２の決定が期待でき、また、それまでに撮影したことが無い変状についてもパラメータを設定することが可能となる。

【0072】

また、本実施形態の画像処理システム１が具備するカメラ２１、３１のセンサの感度波長域は可視域でなくともよい。例えば、赤外領域であれば温度分布を可視化することができ、コンクリートの浮きがあるところと無いところでは、伝熱特性が異なるため赤外線カメラを使うことで変状を検出することが可能である。このように各カメラ２１、３１の感度波長域を可視域外も含めることによって、検査対象の構造物の性質に応じてより検査精度の高い波長域を適用可能となるので、汎用性を高めることができる。

【0073】

本実施形態に係る画像処理システム１は、撮像対象の構造物（例えばトンネル２００）のモノクロ画像８１を撮像するモノクロ画像撮像部１１と、モノクロ画像８１に対応する構造物のカラー画像を撮像するカラー画像撮像部１２と、カラー画像撮像部１２により撮像されたカラー画像の色情報に基づき、カラー画像からモノクロ画像８１に重畳する領域である重畳領域８２を抽出する重畳領域決定部１６と、重畳領域決定部１６により抽出された重畳領域８２を、モノクロ画像撮像部１１により撮像されたモノクロ画像８１の対応位置に重畳して、重畳領域８２がカラー化される重畳画像８０を生成する重畳画像生成部１８と、を備える。

【0074】

この構成により、撮像画像全体をカラー化するのではなく、撮像画像のうち必要な個所のみをカラー化することでカラー化処理を効率化することが可能となり、構造物のカラー画像を効率良く取得できる。また、必要な個所のみをカラー化された重畳画像８０では、全体がカラー化されたカラー画像と比較して、カラー化された部分を際立たせることができるので、重畳画像８０を利用すれば構造物の点検における画像確認作業も効率化できる。

【0075】

また、本実施形態では、構造物は点検対象のトンネル２００である。モノクロ画像撮像部１１及びカラー画像撮像部１２により撮像されるモノクロ画像及びカラー画像は、トンネル２００の壁面２０１を撮像した画像である。重畳領域決定部１６により抽出される重畳領域８２は、壁面２０１において異常が発生している可能性のある部分である。

【0076】

トンネル２００等の構造物の検査においては、構造物を撮影した画像全体をカラー化するのではなく、ヒビ等の変状箇所についてのみカラー化すれば良い。さらに言えば、画像全体をカラー化するより、変状箇所等の点検が必要な個所のみをカラー化するほうが、構造物の点検作業では効率的である。したがって、本実施形態に係る画像処理システム１は、トンネル２００の壁面２０１など、点検対象の構造物に対する点検作業用の画像として、重畳画像８０を作成する場合に特に有用である。

【0077】

以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。

【符号の説明】

【0078】

１ 画像処理システム
１０ 画像処理装置
１１ モノクロ画像撮像部
１２ カラー画像撮像部
１６ 重畳領域決定部
１８ 重畳画像生成部
２１ モノクロカメラ
３１ カラーカメラ
８０ 重畳画像
８１ モノクロ画像
８２ 重畳領域
２００ トンネル（構造物）
２０１ 壁面

【先行技術文献】

【特許文献】

【0079】

【特許文献1】特許第５９７９３３６号公報

【特許文献2】国際公開第２０２０／０９０１５４号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】