(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024180574
(43)【公開日】2024-12-26
(54)【発明の名称】画像処理装置、画像処理装置の制御方法、及びプログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20241219BHJP
【FI】
G01N21/88 J
【審査請求】有
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2024180336
(22)【出願日】2024-10-15
(62)【分割の表示】P 2022141015の分割
【原出願日】2022-09-05
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】加藤 周
(72)【発明者】
【氏名】繁田 智行
(72)【発明者】
【氏名】栗原 圭吾
(57)【要約】
【課題】本発明は、画像に重畳表示された変状オブジェクトの色とその背景の色が類似する場合であっても、変状オブジェクトとその背景それぞれを識別することができる画像処理装置を提供することを目的とする。
【解決手段】構造物を撮影した画像を取得する取得手段と、前記構造物の変状の位置を示す変状オブジェクトであって、第1の変状オブジェクトおよび前記第1の変状オブジェクトとは異なる第2の変状オブジェクトを前記画像に重畳表示させる表示制御手段と、を備え、前記表示制御手段は、前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色を異なる色で表示する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
構造物を撮影した画像を取得する取得手段と、
前記構造物の変状の位置を示す変状オブジェクトであって、第1の変状オブジェクトおよび前記第1の変状オブジェクトとは異なる第2の変状オブジェクトを前記画像に重畳表示させる表示制御手段と、を備え、
前記表示制御手段は、前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色を異なる色で表示する、
ことを特徴とする画像処理装置。
【請求項2】
前記第1の変状オブジェクトと前記第2の変状オブジェクトのそれぞれの前記変状の種類に応じて、前記第1の変状オブジェクトと前記第2の変状オブジェクトのそれぞれの色を決定する決定手段を、備え、
前記表示制御手段は、前記第1の変状オブジェクトの色と前記第2の変状オブジェクトの色との間の色差が閾値よりも小さい場合、前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色を異なる色で表示する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1の変状オブジェクトの位置と前記第2の変状オブジェクトの位置との間の距離に基づいて、前記第1の変状オブジェクトと前記第2の変状オブジェクトとが重複するか否かを判定する判定手段を、備え、
前記表示制御手段は、前記判定手段が前記第1の変状オブジェクトと前記第2の変状オブジェクトとが重複すると判定した場合、前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色を異なる色で表示する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色は、色相、彩度、及び明度のいずれか1つ以上が異なる、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記変状は、ひび割れ、漏水、はく落、エフロレッセンス、鉄筋露出及び錆汁のいずれかのうち少なくとも1つである、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項6】
構造物を撮影した画像を取得する取得手段と、
前記構造物の変状の位置を示す第1の変状オブジェクトを前記画像に重畳表示させる表示制御手段と、を備え、
前記表示制御手段は、前記第1の変状オブジェクトの輪郭の一部を表示しないように、前記第1の変状オブジェクトを前記画像に重畳表示する、
ことを特徴とする画像処理装置。
【請求項7】
前記第1の変状オブジェクトの輪郭の一部は、前記第1の変状オブジェクトの長手方向の端部である、
ことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記変状は、ひび割れであり、前記第1の変状オブジェクトの輪郭の一部は、前記ひび割れの始点又は終点である、
ことを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記表示制御手段は、前記画像に、前記第1の変状オブジェクトとは異なる第2の変状オブジェクトであって、前記構造物の変状の位置を示す第2の変状オブジェクトを重畳表示させ、
前記第1の変状オブジェクトと前記第2の変状オブジェクトのそれぞれの前記変状の種類に応じて、前記第1の変状オブジェクトと前記第2の変状オブジェクトのそれぞれの色を決定する決定手段を備える、
ことを特徴とする請求項6に記載の画像処理装置。
【請求項10】
前記表示制御手段は、前記第1の変状オブジェクトと前記第2の変状オブジェクトを前記画像に重畳表示する順番を決定する、
ことを特徴とする請求項9に記載の画像処理装置。
【請求項11】
前記第1の変状オブジェクトの位置と前記第2の変状オブジェクトの位置との間の距離に基づいて、前記第1の変状オブジェクトと前記第2の変状オブジェクトとが重複するか否かを判定する判定手段を、備え、
前記判定手段は、前記第1の変状オブジェクトと前記第2の変状オブジェクトとが重複すると判定した場合、前記重複する位置における前記第1の変状オブジェクトの部分と前記第2の変状オブジェクトの部分のいずれかが端部であるかを判定し、
前記表示制御手段は、前記重複する位置における前記部分が前記端部である前記第1の変状オブジェクト又は前記第2の変状オブジェクトを、前記重複する位置における前記部分が前記端部でない前記第1の変状オブジェクト又は前記第2の変状オブジェクトに重畳して表示する、
ことを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色は、色相、彩度、及び明度のいずれか1つ以上が異なる、
ことを特徴とする請求項9に記載の画像処理装置。
【請求項13】
前記変状は、ひび割れ、漏水、はく落、エフロレッセンス、鉄筋露出及び錆汁のいずれかのうち少なくとも1つである、
ことを特徴とする請求項6に記載の画像処理装置。
【請求項14】
構造物を撮影した画像を取得する取得工程と、
前記構造物の変状の位置を示す変状オブジェクトであって、第1の変状オブジェクトおよび前記第1の変状オブジェクトとは異なる第2の変状オブジェクトを前記画像に重畳表示させる表示制御工程と、を備え、
前記表示制御工程において、前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色を異なる色で表示する、
ことを特徴とする画像処理装置の制御方法。
【請求項15】
コンピュータを、請求項1から5のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項16】
構造物を撮影した画像を取得する取得工程と、
前記構造物の変状の位置を示す第1の変状オブジェクトを前記画像に重畳表示させる表示制御工程と、を備え、
前記表示制御工程においては、前記第1の変状オブジェクトの輪郭の一部を表示しないように、前記第1の変状オブジェクトを前記画像に重畳表示する、
ことを特徴とする画像処理装置の制御方法。
【請求項17】
コンピュータを、請求項6から13のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関する。
【背景技術】
【0002】
近年、画像解析を用いて構造物の変状(例えば、ひび割れ)を検出することが行われている。例えば、特許文献1は、画像から構造物の変状を検出した結果を画面に表示する技術を提案している。特許文献1は、各変状の位置を示す線の色及び線種等を各変状の幅に応じて互いに異なるように画面に表示することができる。これにより、ユーザは画面上の各変状を視認することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、互いに色が類似する変状オブジェクトの一部と、対象(画像又は他の変状オブジェクトの一部)とが重複する場合、ユーザが変状オブジェクトと対象のそれぞれを視認しづらいといった課題がある。
【0005】
そこで、本発明は、画像に重畳表示された変状オブジェクトの色とその背景の色が類似する場合であっても、変状オブジェクトとその背景それぞれを識別することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の目的を達成するために、本発明の一実施形態に係る画像処理装置は、以下の構成を備える。すなわち、画像処理装置は、構造物を撮影した画像を取得する取得手段と、前記構造物の変状の位置を示す変状オブジェクトであって、第1の変状オブジェクトおよび前記第1の変状オブジェクトとは異なる第2の変状オブジェクトを前記画像に重畳表示させる表示制御手段と、を備え、前記表示制御手段は、前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色を異なる色で表示する、ことを特徴とする。
【発明の効果】
【0007】
本発明によれば、画像に重畳表示された変状オブジェクトの色とその背景の色が類似する場合であっても、変状オブジェクトとその背景それぞれを識別することができる画像処理装置を提供することを目的とすることができる。
【図面の簡単な説明】
【0008】
【
図1】画像処理装置のハードウェア構成の一例を示すブロック図。
【
図2】画像処理装置の機能構成の一例を示すブロック図。
【
図5】画像処理装置が実行する処理の一例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
(第1実施形態)
第1実施形態は、構造物の変状の位置を示す画像を画面に表示し、変状の種類に応じて、変状の輪郭線の色相、彩度、及び明度のいずれか1つ以上を変更する。なお、変状とは、自動車専用道路、橋梁、トンネル、及びダム等の構造物の損傷、劣化、及びその他の要因によりコンクリート面に生じるひび割れのことである。ひび割れとは、経年劣化及び地震の衝撃により構造物の壁面に生じる始点、終点、長さ及び幅を持つ線状の損傷のことである。
【0011】
図1は、画像処理装置のハードウェア構成の一例を示すブロック図である。
【0012】
以下に説明する実施形態では、コンピュータが画像処理装置100として動作する。なお、本実施形態の画像処理装置の処理は単一のコンピュータで実現してもよいし、必要に応じて複数のコンピュータに各機能を分散することで実現してもよい。複数のコンピュータは、互いに通信可能に接続されている。
【0013】
画像処理装置100は、制御部101、揮発性メモリ102、不揮発性メモリ103、記憶デバイス104、入力装置105、出力装置106、通信装置107、及びシステムバス108を有する。
【0014】
制御部101は、画像処理装置100の全体を統括して制御するCPU(Central Processing Unit)及びMPU(Micro Processor Unit)等の演算処理プロセッサを含む。
【0015】
揮発性メモリ102は、外部装置等から供給されるプログラム及びデータを一時記憶するRAM(Random Access Memory)である。
【0016】
不揮発性メモリ103は、制御部101のプロセッサが実行するプログラム及びパラメータを格納するROM(Read-Only Memory)である。
【0017】
記憶デバイス104は、画像処理装置100に内蔵されたハードディスク及びメモリーカード等の内部機器又は画像処理装置100に着脱可能に接続されたハードディスク及びメモリーカード等の外部機器である。記憶デバイス104は、半導体メモリ及び磁気ディスク等から構成されるメモリーカード及びハードディスク等を含む。また、記憶デバイス104は、DVD及びBlue-ray Disc等の光ディスクに対してデータの読み出し/書き込みを行うディスクドライブを含む。
【0018】
入力装置105は、ユーザ操作を受け付けるマウス、キーボード、及びタッチパネル等であり、受け付けたユーザ操作に係る指示を制御部101に出力する。
【0019】
出力装置106は、LCD(Liquid Crystal Display)及び有機ELディスプレイ等の表示装置であり、画像処理装置100が保有するデータ及び外部機器から供給されたデータを表示する。
【0020】
通信装置107は、インターネット及びLAN(Local Area Network)等のネットワークに通信可能に接続する装置である。
【0021】
システムバス108は、画像処理装置100を構成する各部間でのデータの送受信を可能にするアドレスバス、データバス及び制御バスを含む。
【0022】
不揮発性メモリ103は、制御部101が実行する基本的なソフトウェアであるOS(Operating System)及びOSと協働して応用的な機能を実現するアプリケーションを記憶している。また、不揮発性メモリ103は、画像処理装置100が後述する検査対象を撮影した画像から変状を検出する画像解析処理を実現するアプリケーションを格納している。
【0023】
本実施形態の画像処理装置100の処理は、制御部101がアプリケーションにより提供されるソフトウェアを読み込んで実行することにより実現される。なお、アプリケーションは画像処理装置100にインストールされたOSの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、画像処理装置100のOSが本実施形態における処理を実現するためのソフトウェアを有していてもよい。
【0024】
図2は、画像処理装置の機能構成の一例を示すブロック図である。
【0025】
画像処理装置100は、画像管理部211、画像保存部212、画像解析部213、解析結果保存部214、及び解析結果管理部215を有する。画像処理装置100の各機能は、ハードウェア及びソフトウェアにより実現される。なお、各機能部は、1つ以上のコンピュータ及びサーバをネットワークで接続したシステムとして構成されてもよい。
【0026】
画像管理部211は、画像の保存、削除、一覧表示、及び閲覧等を行う機能を有する。
【0027】
画像保存部212は、画像のデータを保存する。
【0028】
画像解析部213は、検査対象を撮影した画像から変状の検出を行うために、AI(Artificial Intelligence)の機械学習及び深層学習により作成された学習済みモデルを用いて画像解析を実行する。
【0029】
解析結果保存部214は、画像解析結果を保存する。
【0030】
解析結果管理部215は、解析結果保存部214に保存された画像解析結果の閲覧及び取得等を行う機能を有する。
【0031】
解析結果管理部215は、後述する画像解析結果の閲覧画面を出力装置106経由でユーザに提示する。
【0032】
解析結果管理部215は、解析結果保存部214に保存された画像解析結果の閲覧及び取得等を行う機能を有する。解析結果管理部215は、画像解析結果の閲覧画面(
図3に図示)及びパラメータ比較の閲覧画面(
図4に図示)をユーザに提示する。
【0033】
以下に、本実施形態の前提として、検査対象(例えば、コンクリート構造物)を撮影した画像から変状の検出を行うときのワークフローの一例について説明する。本実施形態では、コンクリート構造物の壁面をカメラで撮影した画像に対して学習モデルを用いた画像解析を行うことでコンクリート構造物の変状を検知する。
【0034】
現場で検査対象を撮影する場合、検査対象の変状を検出可能な十分な画像解像度で検査対象の全範囲を1枚の画像に写すことは困難である。そのため、検査対象範囲の一部を大写し(クローズアップ)で撮影する作業が、撮影範囲を徐々に変更することで行われる。そして、このような撮影手順で撮影された複数の画像それぞれに対して、拡大、縮小、回転、射影変換、色調整、及びノイズ除去等の画像処理を行う。その後、画像処理済みの複数の画像を繋ぎ合わせて1枚の合成画像が生成される。
【0035】
なお、画像を目視しながら手作業で変状を記録していく方法とは異なり、画像解析による変状の検出では、誤検出及び検出漏れが生じる可能性がある。このため、他の画像処理装置又は外部サーバが、変状の検出結果に対して確認及び修正を行う。例えば、変状がひび割れである場合、図面又は画像にひび割れ情報を重ねて、ひび割れの長さと幅を付記した解析結果(すなわち、変状オブジェクト)が作成される。なお、変状オブジェクトは、構造物に生じるひび割れ情報を図面又は画像に重畳したものに限られず、構造物に生じるあらゆる変状(例えば、錆汁及び漏水の箇所の情報)の情報を図面又は画像に重畳したものを含む。変状オブジェクトは、変状の部分を示す図形でありうる。例えば、変状オブジェクトは、変状の部分を包含する図形(具体例としては、円、矩形、又はこれらの輪郭線)であってもよいし、変状の形状に対する形状を有する図形(例えば、ひび割れに沿った所定の太さを有する線)であってもよい。
【0036】
図3は、画像解析結果の閲覧画面の一例を示す図である。
【0037】
画像解析結果の閲覧画面301は、解析画像毎の結果が閲覧できるようにした画面である。閲覧画面301において、画像ファイル名311、検知名称312、アップロード日時313、検知日時314、パラメータ315、解析画像一覧320、解析結果表示欄321、凡例表示欄323が表示される。
【0038】
画像ファイル名311において、画像解析を実行した画像ファイル名(例えば、「001.jpg」)が表示される。
【0039】
検知名称312において、検知名称(例えば、「001.jpg」)が表示される。
【0040】
アップロード日時313において、アップロード日時(例えば、「2022/07/19 13:45」)が表示される。
【0041】
検知日時314において、検知実行日時(例えば、「2022/07/19 21:45」)が表示される。
【0042】
パラメータ315において、パラメータ値(例えば、「検知量:多、短ひび割れ除去:中、ひび割れ幅:太」)が表示される。
【0043】
解析結果表示欄321において、画像解析により検出された変状としてひび割れ等の解析結果330が検出対象の画像に重ね合わせて表示される。解析結果330は、ひびの長さ及び太さ(幅)の実寸情報を含む。ひび割れの長さ及び太さ(幅)に応じて異なる表示形態(例えば、色や線種)で解析結果330は識別可能に表示される。
【0044】
凡例表示欄323において、ひび割れの長さ及び太さ(幅)の実寸情報とこれに対応する表示色、錆汁及び漏水にそれぞれ対応する表示色、及び輪郭線のチェックボックスなどが表示される。このように、変状の種類毎の表示形態と輪郭線のチェックボックスが表示される。また、表示形態は変更可能である。ひび割れの長さ及び太さ(幅)の実寸情報は、画像解像度と画像の画素数に基づいて計算され得る。また、変状の実寸情報を図面のデータと照らし合わせることで、解析結果330の座標は図面の座標系に合わせた数値に変換される。これにより、画像処理装置又は外部サーバによる解析結果330の閲覧及び編集が可能となる。
【0045】
輪郭線チェックボックス324におけるチェックの有無に応じて輪郭線の表示又は非表示を切り替える。これにより、ユーザは、解析結果表示欄321において輪郭線を表示するか否かを選択できる。
【0046】
図4は、パラメータ比較の閲覧画面の一例を示す図である。
【0047】
パラメータの比較閲覧画面401は、時系列及びパラメータ(検知量及び小領域除去の設定)で比較できるようにした画面である。比較閲覧画面401において、画像ファイル名311、検知名称312、アップロード日時313、検知日時314、パラメータ315、検知日時一覧420、解析結果表示欄321、凡例表示欄323、及び輪郭線チェックボックス324が表示される。
【0048】
画像ファイル名311~パラメータ315及び解析結果表示欄321~輪郭線チェックボックス324について、
図3で説明したので説明を省略する。
【0049】
検知日時一覧420において、検知日時(例えば、「2022/07/15 18:50」、「2022/07/14 19:50」、「2022/07/13 23:50」、「2022/07/13 09:50」)が表示される。
【0050】
図5は、画像処理装置が実行する処理の一例を示すフローチャートである。以下、
図3を参照しながら本処理の流れを説明する。
【0051】
本処理は、
図1に示す画像処理装置100の制御部101が不揮発性メモリ103に格納されているプログラムを揮発性メモリ102に展開して実行することで実現される。
【0052】
S501で制御部101は、アップロードされた画像の一覧を出力装置106に表示する。制御部101は、所望の画像ファイルの選択及び解析開始の指示を受け付ける。
【0053】
S502で画像解析部213は、選択された画像ファイルに対して画像解析を実行する。
【0054】
S503で制御部101は、画像解析部213による画像解析が完了したか否かを判定する。制御部101は、画像解析部213による画像解析が完了したと判定した場合(S503でYes)、処理はS504に進む。なお、S504の処理が不要である場合、処理はS505に進む。制御部101は、画像解析部213による画像解析が完了していないと判定した場合(S503でNo)、処理はS502に戻る。
【0055】
S504で制御部101は、変状の種類毎の表示色を決定した結果と、凡例とを関連付けた情報を出力装置106に表示する。ここで、制御部101が変状の種類毎の表示色を決定する方法を説明する。本実施形態の変状は、「ひび割れ」、「錆汁」、「漏水」の3種類のカテゴリーに分類されるが、これに限られることはない。例えば、変状は、はく落、エフロレッセンス、及び鉄筋露出を含むことができる。「ひび割れ」のカテゴリーはさらに、3種類(例えば、0.2mm未満、0.2mm-0.5mm未満、0.5mm以上)に分類される。そして、制御部101は、ユーザが構造物の変状に対し速やかに対処しなければならない重要度(あるいは危険度)の高さに応じて、「ひび割れ」、「錆汁」、「漏水」のカテゴリーの表示色を決定する。「漏水」のカテゴリーの重要度は最も高く、「錆汁」の重要度は2番目に高く、「ひび割れ」の重要度は最も低いものとする。各カテゴリーの重要度は、予めユーザによって設定されていても良い。制御部101は、各カテゴリーの重要度の高さに基づいて、「漏水」の色を最も濃い色で、「錆汁」を中間の濃度の色で、「ひび割れ」の色を薄い色でそれぞれ表示することを決定する。さらに、制御部101は、「ひび割れ」の3種類のカテゴリーの表示色について、各ひび割れ幅に応じて各ひび割れ幅のカテゴリーを表示する色を決定する。別の例として、「ひび割れ」、「錆汁」、及び「漏水」のようなカテゴリー毎に異なる表示色が決定されてもよい。これにより、変状の種類毎の表示色を決定した結果が得られる。なお、本情報は予め設定されていても良いし、ユーザによって任意に変更されても良い。
【0056】
S505で解析結果保存部214は、解析結果を保存する。また、解析結果管理部215は、閲覧画面301又は比較閲覧画面401の画像に解析結果を重畳した画像を、出力装置106に表示する。この際、制御部101は、解析結果350の一部と画像とが重複している位置における解析結果350の色と画像の色との間の色差dを、RGB色空間の色差式(例えば、下記の式(1))又はCIE DE2000で計算する。なお、重複している位置は、解析結果350の一部の位置のことであり、例えば二次元座標(x,y)で表される。
【0057】
・・・(式1)
ここで、dは色差であり、R
1,G
1,B
1は解析結果のRGB値であり、R
2,G
2,B
2は画像のRGB値である。
【0058】
制御部101は、色差dが閾値未満である場合、解析結果350の輪郭線の色の色相、彩度、及び明度のいずれか1つ以上を変更してもよい。制御部101は、例えば、色差dが閾値未満である場合、
図3に図示するように解析結果350の輪郭線の色を黒で表示し、画像の色を変更せずに表示する。ここで、制御部101は、解析結果350の輪郭線の全周の色を変更しているが、これに限定されず、輪郭線のうち一部の色を変更しても良く、あるいは解析結果350全体の色を変更しても良い。一方で、制御部101は、色差dが閾値以上である場合、解析結果350の輪郭線の色の色相、彩度、及び明度のいずれか1つ以上を変更せず、画像の色を変更しない。
【0059】
以上の通り、解析結果350と画像とが重複する位置における解析結果350の色と画像の色が互いに類似する場合に、画像の色を変更せずに解析結果350の輪郭線の色を例えば黒色に変更する。これにより、ユーザは、解析結果350と画像のそれぞれを視認しやすくなる。
【0060】
S506で制御部101は、輪郭線チェックボックス324にチェックがあるか否かを判定する。制御部101は、輪郭線チェックボックス324にチェックがあると判定した場合(S506でYes)、処理はS507に進む。制御部101は、輪郭線チェックボックス324にチェックがないと判定した場合(S506でNo)、処理は終了する。
【0061】
S507で制御部101は、解析結果330の所定の位置と解析結果340の所定の位置との間の距離d1(不図示)が、閾値よりも大きいか否かに基づいて、解析結果330と解析結果340とが重複するか否かを判定する。所定の位置は、解析結果330と解析結果340との重複を判定できる位置であれば任意の位置であってよい。所定の位置は、例えば、解析結果330と解析結果340それぞれの中心位置及び円周上のいずれかの位置であって良い。ここで、解析結果が重複するか否かに応じて解析結果の色を変更することは、解析結果の背景の色に応じて解析結果の色を変更することの一例である。上記の説明に戻って、閾値は、解析結果330の半径r1(不図示)と解析結果340の半径r2(不図示)との合計(=r1+r2)である。ここで、解析結果330と解析結果340は、互いに変状の種類が異なる解析結果を表す。例えば、解析結果330は、変状が「漏水」であることを示し、濃いグレーで表示される。一方で、解析結果340は、変状が「錆汁」であることを示し、薄いグレーで表示される。
【0062】
制御部101は、距離d1が閾値(=r1+r2)よりも小さい場合、解析結果330の一部の位置と解析結果340の一部の位置とが重複していると判定し(S507でYes)、処理はS508に進む。一方で、制御部101は、距離d1が閾値(=r1+r2)よりも小さくない(すなわち、大きい)場合、解析結果330の一部の位置と解析結果340の一部の位置が重複していないと判定し(S507でNo)、処理は終了する。
【0063】
ここで、制御部101は、解析結果330の一部と解析結果340の一部とが重複している位置における、解析結果330の色と解析結果340の色との間の色差dを、RGB色空間の色差式(例えば、上記の式(1))又はCIE DE2000で計算することができる。
【0064】
S508で制御部101は、解析結果330の輪郭線の色と解析結果340の輪郭線の色との間の色差dが大きくなるように、解析結果330の輪郭線の色と解析結果340の輪郭線の色をそれぞれ変更する。ここで、制御部101は、解析結果330の輪郭線の色と解析結果340の輪郭線の色について、色相、彩度、及び明度のいずれか1つ以上が異なるようにそれぞれ変更する。例えば、制御部101は、解析結果330の輪郭線の色を黒色に、解析結果340の輪郭線の色を白色にそれぞれ変更する。これにより、色差dが明度方向に大きくなり、ユーザは、解析結果330と解析結果340のそれぞれを視認しやすくなる。なお、解析結果330が第1の変状オブジェクトに相当し、解析結果340は第2の変状オブジェクトに相当する。
【0065】
以上の通り、第1実施形態によれば、第1の変状オブジェクトの一部と画像が重複する位置において、第1の変状オブジェクトの色と画像の色とが類似する場合に、第1の変状オブジェクトの色と画像の色との色差が大きくなるように第1の変状オブジェクトの輪郭線の色を変更する。これにより、ユーザは、第1の変状オブジェクトと画像のそれぞれを視認しやすくなる。また、第1の変状オブジェクトの一部と第2の変状オブジェクトの一部とが重複する位置において、第1の変状オブジェクトの色と第2の変状オブジェクトの色とが類似する場合に、双方の色差が大きくなるように第1の変状オブジェクトと第2の変状オブジェクトそれぞれの輪郭線の色を変更する。これにより、ユーザは第1の変状オブジェクトと第2の変状オブジェクトそれぞれを視認しやすくなる。
【0066】
(第2実施形態)
制御部101は、構造物のひび割れの位置をトレースした変状オブジェクトを画像に重畳する際に、変状オブジェクトの輪郭線の一部を表示しない変状オブジェクトを画像に重畳する。制御部101が画像に変状オブジェクトを重畳した結果は、
図4の解析結果430と解析結果440である。ここで、解析結果430の端部430aと端部430bにおける輪郭線(黒色の太線で図示)は表示されていない。端部430aと端部430bは、ひび割れの始点又は終点を表す。また、解析結果440の端部440a、端部440b、及び端部440cにおける輪郭線(黒色の太線で図示)は表示されていない。端部440a~端部430cは、ひび割れの始点又は終点を表す。
【0067】
次に、制御部101は、解析結果430の所定の位置(例えば、端部430aの位置)と、解析結果440の所定の位置(例えば、部分440dの位置)との間の距離と閾値の比較に基づいて、解析結果430と解析結果440とが重複するか否かを判定する。この判定方法は、第1実施形態と同様であるため細部の説明を省略する。制御部101は、上記の距離が閾値以下である場合、解析結果430と解析結果440とが重複すると判定する。
【0068】
さらに、制御部101は、解析結果430と解析結果440とが重複する位置において、解析結果430と解析結果440それぞれの部分が特定の部分(すなわち、端部)であるか否かに基づいて、解析結果430と解析結果440を画像に重畳表示する順番を決定する。制御部101は、重複する位置において解析結果430の部分が端部430aであり、解析結果440の部分が端部以外の部分440dであると判定した場合、解析結果440、解析結果430の順で画像に重畳表示することを決定する。
【0069】
ここで、制御部101が、解析結果430、解析結果440の順で画像に重畳表示した場合、解析結果430の端部430aの上に解析結果440が表示されるので、端部430aが解析結果440によって隠れてしまう。一方で、制御部101が解析結果440、解析結果430の順で画像に重畳表示した場合、
図4に図示するように、端部430aが解析結果440に隠れることなく表示される。このように、制御部101は、解析結果同士の重複を判定し、さらに重複位置において端部を有する解析結果を判定する。制御部101は、この判定結果に基づいて、重複位置において端部(すなわち、変状の始点又は終点)を有する解析結果を画像の最前面に描画する。
【0070】
これにより、ひび割れの始点から終点までを示す複数の変状オブジェクト(解析結果430、解析結果440)それぞれが画像に重畳表示されるため、ユーザは解析結果430と解析結果440それぞれを視認することができる。つまり、ユーザは、画像上でひび割れの始点又は終点を見落とすことがなくなり、変状(例えば、ひび割れ)の処置を迅速かつ的確に処置することができる。このように、本実施形態はインフラ点検の正確性向上に寄与することができるといった優れた効果を有する。
【0071】
(第3実施形態)
第1、2実施形態では、変状オブジェクトの輪郭線の表示色の変更方法に関して説明した。第3実施形態は、画像から構造物に例えば白色のチョークで描かれた図形(例えば、線、円、及び多角形)の位置を検出した場合に、チョークで描かれた図形の位置に対して重複する変状オブジェクトの輪郭線の一部の色を変更する。ここで、制御部101は、チョークで描かれた図形の位置の色(例えば、白色)と変状オブジェクトの輪郭線の一部の色との間の色差が大きくなるように、変状オブジェクトの輪郭線の一部の所定の色を例えば黒色に変更する。なお、制御部101は、画像上で検出されたチョークで描かれた図形の位置に対して重複しない変状オブジェクトの輪郭線の一部の色を変更しない。また、制御部101は、変状オブジェクトの輪郭線の一部の色の色相、彩度、及び明度のいずれか1つ以上を変更してもよい。これにより、ユーザは、チョークで描かれた図形の位置の色と変状オブジェクトの輪郭線の一部の色とを区別しやすくなるため、ユーザの視認性が更に向上する。
【0072】
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0073】
本明細書の開示は、以下の画像処理装置、方法、及びプログラムを含む。
(項目1)
構造物を撮影した画像における前記構造物の変状の位置を示す情報を取得する取得手段と、
前記構造物を撮影した画像に、前記構造物の変状の位置を示す第1の変状オブジェクトを重畳表示させる表示制御手段であって、前記重畳表示において、前記第1の変状オブジェクトの色を、前記第1の変状オブジェクトの背景の色に応じて決定する制御を行う表示制御手段と、を備える、
ことを特徴とする画像処理装置。
(項目2)
前記背景は、前記画像又は前記第1の変状オブジェクトとは異なる第2の変状オブジェクトである、
ことを特徴とする項目1に記載の画像処理装置。
(項目3)
前記背景の色は、前記第1の変状オブジェクトが重畳される部分における前記画像の色、又は前記第1の変状オブジェクトと重なっている前記第2の変状オブジェクトの色である、
ことを特徴とする項目2に記載の画像処理装置。
(項目4)
前記表示制御手段は、前記背景が前記画像であり、かつ、前記第1の変状オブジェクトの色と前記背景の色との色差が閾値よりも小さい場合、前記第1の変状オブジェクトの少なくとも一部の色を所定の色から変更する制御を行う、
ことを特徴とする項目2又は3に記載の画像処理装置。
(項目5)
前記表示制御手段は、前記背景が前記画像であり、かつ、前記色差が前記閾値よりも大きい場合、前記第1の変状オブジェクトの色を前記所定の色とする制御を行う、
ことを特徴とする項目4に記載の画像処理装置。
(項目6)
前記第1の変状オブジェクトと前記第2の変状オブジェクトそれぞれの前記変状の種類に応じて、前記第1の変状オブジェクトと前記第2の変状オブジェクトそれぞれの色を決定する決定手段と、
前記表示制御手段は、前記背景が前記第2の変状オブジェクトであり、かつ、前記決定手段の決定結果に基づく前記第1の変状オブジェクトの色と前記第2の変状オブジェクトの色との間の色差が閾値よりも小さい場合、前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色を互いに異なる色で表示するように、前記決定手段が決定した色を変更する制御を行う、
ことを特徴とする項目2に記載の画像処理装置。
(項目7)
前記表示制御手段は、前記背景が前記第2の変状オブジェクトであり、かつ、前記色差が前記閾値よりも大きい場合、前記第1の変状オブジェクトの色と前記第2の変状オブジェクトの色のそれぞれを前記決定手段の決定結果に基づく色とする制御を行う、
ことを特徴とする項目6に記載の画像処理装置。
(項目8)
前記表示制御手段は、前記第1の変状オブジェクトの輪郭の一部を表示しないように、前記第1の変状オブジェクトを前記画像に重畳表示する、
ことを特徴とする項目1に記載の画像処理装置。
(項目9)
前記第1の変状オブジェクトの所定の位置と前記第2の変状オブジェクトの所定の位置との間の距離に基づいて、前記第1の変状オブジェクトと前記第2の変状オブジェクトとが重複するか否かを判定する判定手段を備える、
ことを特徴とする項目2に記載の画像処理装置。
(項目10)
前記判定手段は、前記距離に基づいて前記第1の変状オブジェクトと前記第2の変状オブジェクトとが重複する場合、前記重複する位置における前記第1の変状オブジェクトの部分と前記第2の変状オブジェクトの部分のいずれが特定の部分を有するかを判定し、
前記表示制御手段は、前記判定手段の判定結果に基づいて、前記特定の部分を有する前記第1の変状オブジェクト又は前記第2の変状オブジェクトを前記画像の最前面に重畳表示し、
前記特定の部分は、変状の始点又は終点である、
ことを特徴とする項目9に記載の画像処理装置。
(項目11)
前記表示制御手段は、前記構造物の特定の変状種の変状の位置を示す、前記第1の変状オブジェクトと前記第2の変状オブジェクトの少なくとも一方を、前記画像の最前面に重畳する表示を行う、
ことを特徴とする項目2に記載の画像処理装置。
(項目12)
前記変状は、ひび割れ、漏水、はく落、エフロレッセンス、鉄筋露出及び錆汁のいずれかのうち少なくとも1つである、
ことを特徴とする項目1に記載の画像処理装置。
(項目13)
前記背景は、前記画像中の前記構造物に描かれた図形である、
ことを特徴とする項目1に記載の画像処理装置。
(項目14)
前記第1の変状オブジェクトの輪郭の色と前記第2の変状オブジェクトの輪郭の色は互いに、色相、彩度、及び明度のいずれか1つ以上が異なる、
ことを特徴とする請求項6に記載の画像処理装置。
(項目15)
前記第1の変状オブジェクトの輪郭の一部は、前記第1の変状オブジェクトの長手方向の端部である、
ことを特徴とする請求項8に記載の画像処理装置。
(項目16)
画像処理装置の取得手段が、構造物を撮影した画像における前記構造物の変状の位置を示す情報を取得する取得工程と、
前記画像処理装置の表示制御手段が、前記構造物を撮影した画像に、前記構造物の変状の位置を示す第1の変状オブジェクトを重畳表示させる表示制御工程であって、前記重畳表示において、前記第1の変状オブジェクトの色を、前記第1の変状オブジェクトの背景の色に応じて決定する制御を行う表示制御工程と、を備える、
ことを特徴とする方法。
(項目17)
コンピュータを、項目1から15のいずれか一項目に記載の画像処理装置の各手段として機能させるためのプログラム。
【0074】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0075】
100 画像処理装置
101 制御部
102 揮発性メモリ
103 不揮発性メモリ
104 記憶デバイス
105 入力装置
106 出力装置
107 通信装置
108 システムバス
211 画像管理部
212 画像保存部
213 画像解析部
214 画像解析結果保存部
215 画像解析結果管理部