IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特開2023-115826画像処理装置、画像処理システム、画像処理方法及びプログラム
<>
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図1
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図2
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図3
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図4
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図5
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図6
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図7
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図8
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図9
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図10
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図11
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図12
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図13
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図14
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図15
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図16
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図17
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図18
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図19
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図20
  • 特開-画像処理装置、画像処理システム、画像処理方法及びプログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023115826
(43)【公開日】2023-08-21
(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法及びプログラム
(51)【国際特許分類】
   G06T 3/00 20060101AFI20230814BHJP
   G06T 5/50 20060101ALI20230814BHJP
   H04N 23/60 20230101ALI20230814BHJP
【FI】
G06T3/00 750
G06T5/50
H04N5/232 290
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022018251
(22)【出願日】2022-02-08
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(72)【発明者】
【氏名】菊地 太郎
(72)【発明者】
【氏名】押切 幸治
【テーマコード(参考)】
5B057
5C122
【Fターム(参考)】
5B057AA16
5B057BA23
5B057CA01
5B057CA02
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB02
5B057CB08
5B057CB12
5B057CB16
5B057CD11
5B057CE08
5B057CE10
5B057DA03
5B057DA07
5B057DA16
5B057DB02
5B057DB05
5B057DB06
5B057DB09
5B057DC07
5B057DC40
5C122DA12
5C122DA13
5C122EA61
5C122FA02
5C122FH02
5C122FH10
5C122FH20
5C122FK40
5C122FL02
5C122FL08
5C122GC52
5C122HA13
5C122HA35
5C122HA86
5C122HB01
5C122HB05
5C122HB09
(57)【要約】
【課題】
複数の画像の位置を合わせて合成する場合に、複数の画像相互間の位置ずれが生じることが懸念されるが、この場合に複数の画像間の再度の位置合わせ処理を行う領域をユーザが指示することができないという課題がある。
【解決手段】
複数の画像間の位置合わせ処理を行う位置合わせ手段と、位置合わせ手段で位置合わせされた複数の画像を重ね合わせて合成した合成画像を生成する画像合成手段と、複数の画像間の位置合わせを再度行う再位置合わせ手段、を有し、再位置合わせ手段は、合成画像中または複数のそれぞれの画像のいずれかにおいて特定された特定領域での位置合わせを行う。
【選択図】図14
【特許請求の範囲】
【請求項1】
複数の画像を処理する画像処理装置であって、
前記複数の画像間の位置合わせ処理を行う位置合わせ手段と、
前記位置合わせ手段で位置合わせされた前記複数の画像を重ね合わせて合成した合成画像を生成する画像合成手段と、
前記複数の画像間の位置合わせを再度行う再位置合わせ手段、を有し、
再位置合わせ手段は、前記合成画像中または複数のそれぞれの画像のいずれかにおいて特定された特定領域での位置合わせを行う
ことを特徴とする画像処理装置
【請求項2】
請求項1に記載の画像処理装置において、
前記再位置合わせ手段は、前記特定領域での再度の位置合わせの実行を指示する指示操作を受け付ける受付画面に対する前記指示操作に基づいて、前記特定領域の位置合わせを再度行う
ことを特徴とする画像処理装置。
【請求項3】
請求項1乃至請求項2に記載の画像処理装置において、
前記受付画面を表示部に表示させる表示制御手段、
をさらに有する画像処理装置。
【請求項4】
請求項1乃至請求項3に記載の画像処理装置であって、
前記複数の画像は、モノクロ画像およびカラー画像をそれぞれ少なくとも1以上含む
ことを特徴とする画像処理装置
【請求項5】
請求項1乃至請求項4に記載の画像処理装置であって、
前記特定領域は構造部の過去の損傷個所を含む領域である、
ことを特徴とする画像処理装置
【請求項6】
請求項1乃至請求項5に記載の画像処理装置において、
前記特定領域を指示するための特定領域指示手段、
をさらに有する画像処理装置
【請求項7】
請求項1乃至請求項6の画像処理装置において、
前記特定領域指示手段は、前記画像合成手段による画像合成前のいずれかの画像において前記特定領域を指示する
ことを特徴とする画像処理装置
【請求項8】
請求項1乃至請求項6の画像処理装置において、
前記特定領域指示手段は、前記画像合成手段による画像合成後の画像において前記特定領域を指示する
ことを特徴とする画像処理装置
【請求項9】
請求項1乃至請求項8の画像処理装置において、
前記画像合成手段による画像合成前の画像または画像合成後の画像のいずれかを切り替え可能に表示させる表示制御部を備える
ことを特徴とする画像処理装置
【請求項10】
請求項1乃至請求項9に記載の画像処理装置と、
前記再位置合わせ手段による再位置合わせ後の画像を、通信回線を介して受信可能な外部端末と、
を有する画像処理システム
【請求項11】
複数の画像を処理する画像処理方法であって、
前記複数の画像間の位置合わせ処理を行う位置合わせステップと、
前記位置合わせ手段で位置合わせされた前記複数の画像を重ね合わせて合成した合成画像を生成する画像合成ステップと、
前記複数の画像間の位置合わせを再度行う再位置合わせステップ、を有し、
再位置合わせステップは、前記合成画像中または複数のそれぞれの画像のいずれかにおいて特定された特定領域での位置合わせを行う
ことを特徴とする画像処理方法
【請求項12】
コンピュータに、請求項11に記載の方法を実行させるプログラム
【発明の詳細な説明】
【技術分野】
【0001】
本開示内容は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
トンネル等の構造物は、コンクリートで覆工されているため、経年変化により、ひび割れ等の変状が起こる。変状を放置しておくと、コンクリート片が剥がれ落ちて、通行中の車両や人に損害を与える可能性がある。そのため、検査業者が、定期的な検査を行い、国又は都道府県の機関(以下「国等」と示す)に検査結果を報告している。この報告のため、検査業者は、国等によって定められた書類を提出する必要がある。
【0003】
まず、検査業者の処理の概要について説明する。
【0004】
図1は、従来の検査業者の処理を示した概念図である。
【0005】
検査業者は、トンネル検査の際に記載されたコメント等の野帳、トンネル内の変状部分を撮影することで得られた変状写真、及び、トンネルの長さ等を示し役所から入手したトンネル台帳に基づいて、国等への提出書類を作成する。提出書類は、変状展開図、写真位置図、写真台帳、及びトンネル点検結果総括表である。なお、ここでは、変状展開図に写真位置図が含まれている場合が示されている。
【0006】
変状展開図は、変状部分のひび割れ等を視覚的に表わした図面である。検査業者は、変状展開図を作成する場合、野帳、変状写真、及びトンネル台帳を確認しながら、パソコンのCAD(Computer-Aided Design)等により、ひび割れの線等の描画、ひび割れの線の幅の入力等を行なう。
【0007】
写真台帳は、変状写真を添付して、ひび割れ等の変状の判定結果等を記載するための台帳である。検査業者は、写真台帳に対して、変状写真を添付するとともに野帳のコメントを参考にして判定結果を含む診断情報を入力する。更に、写真台帳に添付した変状写真が、トンネルのどの部分の写真であるかを明確にするため、変状展開図上に、写真台帳に添付した変状写真と対応づける番号を入力する。
【0008】
トンネル点検結果総括表は、トンネルの長さ等の情報や判定結果を記載する表である。検査業者は、トンネル台帳を参考にして、トンネル点検結果総括表にトンネルの長さ等を記載し、野帳を参考にして、変状の判定結果を含む診断情報を入力する。更に、判定結果を示す変状部分と写真台帳に添付した変状写真とを関連付けるため、検査業者は、トンネル点検結果総括表上に、写真台帳に添付した変状写真と対応づける番号を入力する。
【0009】
特許文献1(特開2002―282180)では、トンネル内面のコンクリート性状の変化を記録したトンネルデータベースの処理システムであって、トンネル内面を展開した図面の中に疵に関する各種の情報が記録されたレイヤーを複数層有し、レイヤーは少なくとも覆工ブロックごとの目地情報を記録したレイヤーと、トンネル内面を一定の間隔ごとに区画したトンネル格子データを記録したレイヤーと、疵検査ごとの検査結果を記録したレイヤーとから成るトンネルデータベースシステム、が開示されている。
【0010】
特許文献2(特開2019―211410)では、構造物の展開画像上に描画を行う描画装置であって、第1の時期での前記構造物の第1の展開画像、及び当該第1の展開画像における診断対象の少なくとも一部に対して描画された第1の診断対象要素画像、並びに前記第1の時期よりも遅い第2の時期での前記構造物の第2の展開画像を重畳表示する表示制御手段と、前記第2の展開画像上で、前記第2の時期での前記構造物における診断対象の少なくとも一部に対して第2の診断対象要素画像の描画を受け付ける受付手段と、前記第1の診断対象要素画像の前記第1の展開画像における位置を示す第1の位置情報、及び前記第2の診断対象要素画像の前記第2の展開画像における位置を示す第2の位置情報を関連付けて記憶する記憶手段と、を有する描画装置が開示されている。
【0011】
特許文献3(特開2010―177882)では、撮影光学系が形成した被写体の画像を取り込む取込手順と、前記撮影光学系の収差に起因した影響を軽減するための幾何補正処理を、前記取込手順で取り込まれた画像へ施す処理手順と、前記幾何補正処理の実行の有無を、その幾何補正処理の対象となる画像の周辺部に含まれる縦横方向の高空間周波数成分の量に応じて制御する制御手順と、を含むことを特徴とするコンピュータ読み取り可能な画像処理プログラムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明は、複数の画像間の位置合わせ処理を適切に行うことを課題とする。
【課題を解決するための手段】
【0013】
本発明の画像処理装置は、
複数の画像を処理する画像処理装置であって、前記複数の画像間の位置合わせ処理を行う位置合わせ手段と、前記位置合わせ手段で位置合わせされた前記複数の画像を重ね合わせて合成した合成画像を生成する画像合成手段と、前記複数の画像間の位置合わせを再度行う再位置合わせ手段、を有し、再位置合わせ手段は、前記合成画像中または複数のそれぞれの画像のいずれかにおいて特定された特定領域での位置合わせを行うことを特徴とする。
【発明の効果】
【0014】
本発明によれば、特定領域において複数の画像間の再度の位置合わせ処理を行うことにより、位置合わせ処理を適切に行うことができる。
【図面の簡単な説明】
【0015】
図1】従来の検査業者の処理を示した概念図である。
図2】本実施形態に係る画像処理システムの全体構成図である。
図3】画像処理装置、画像管理サーバのハードウェア構成図である。
図4】画像処理システムの機能ブロック図である。
図5】トンネル展開画像のデータと座標データの関係を示した概念図である。
図6】トンネル展開画像のデータと座標データの関係を示した図表である。
図7】診断情報管理テーブルの一例である。
図8】診断対象要素管理テーブルの一例である。
図9】診断対象要素管理テーブルを入力する画面の一例である。
図10】位置合わせの対象となる画像を作成するシーケンス図である。
図11】複数画像の位置合わせおよび再位置合わせの概念図である。
図12】複数画像の位置合わせおよび再位置合わせの全体フローチャートである。
図13】複数画像の位置合わせおよび再位置合わせのシーケンス図である。
図14】特定領域を指定する際のフローチャートである。
図15】UIで特定領域を指定する際の処理を示すフローチャートである。
図16】UIで特定領域を指定する際のUI画面の例である。
図17】再位置合わせの処理の全体フローチャートである。
図18】再位置合わせにおける位置検出用基準画像パターンの一例である。
図19】再位置合わせにおけるパターンマッチングの一例である。
図20】再位置合わせにおけるずらし量の検出結果の一例である。
図21】本発明のその他の実施例
【発明を実施するための形態】
【0016】
本発明は、複数の画像間の再度の位置合わせを行う際、再位置合わせが必要な特定領域において再度の詳細な位置合わせを行うことができる。
【0017】
まずは複数の画像を重ね合わせて合成する場合の一例として、構造物のモノクロ画像とカラー画像から合成画像を生成する場合における本発明の動作や作用等について説明をする。なお本発明においては、上記の合成画像の元となる複数の画像はモノクロ画像とカラー画像のみとは限らず、モノクロ画像とモノクロ画像、カラー画像とカラー画像でもよい。また本発明における画像は、構造物の画像に限られるものでもなく、画像であれば構造物の画像以外の画像でも良い。例えば全天球カメラ(360度カメラ)で2つの半球画像(半球動画)を合成することで全天球カメラの撮像画像とする場合、それらの2つの半球画像の重ね合わせ部分の画像を合成するのでもよい。
【0018】
以下、図面を用いて本実施形態の一例である画像処理システム1を詳細に説明する。
【0019】
<<システム構成の概略>>
図2は、本実施形態に係る画像処理システムの概略図である。
【0020】
図2に示されているように、本実施形態の画像処理システム1は、画像処理装置3、及び画像管理サーバ5によって構築されている。外部端末6も当該システムに加えることができる。
【0021】
また、画像処理システム1を構成する画像処理装置3、画像管理サーバ5及び外部端末6は、通信ネットワーク100を介して通信することができる。通信ネットワーク100は、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。通信ネッ
トワーク100には、有線通信だけでなく、3G(3rd Generation)、WiMAX(Worldwi
de Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。また、画像処理装置3は、NFC(Near Field
Communication)(登録商標)等の近距離通信技術によって通信可能である。
【0022】
また図2では、画像処理装置3及び画像管理サーバ5が通信ネットワーク100を介して別々の構成として示されているが、通信ネットワーク100を介さずこれらが一体になった構成でも良い。
【0023】
図2において、検査車両7に乗車して検査している検査者は、特殊チョークでひび割れ等の変状部分を上書きして変状部分を目立つようにマークし、ひび割れの幅等の点検結果を記載する。その際、検査者は変状の様子や判定結果を示すコメントを野帳等に記載しておく。一方、検査車両の下にいる補助者は、検査者が発したコメントを野帳等に記載したり、場合によっては全体の写真撮影を行なったりする。なお、検査者が被るヘルメットに小型マイクと小型カメラを備え、検査者が発するコメントを小型マイクで収録し、コメントした対象箇所をカメラで撮影してもよい。この場合、収録された音声情報を音声認識装置によって認識して電子化し、小型カメラで撮影された画像と共に自動的に野帳(この場合、タブレット型PC等)に記録しても良い。
【0024】
その後、カメラを搭載した撮影車両9が、トンネル8内の入口から出口(EX)まで走行しつつトンネル8の壁を撮影することで、後述の図5に示されているトンネル展開画像201のデータを得ることができる。トンネル展開画像201には、検査者が特殊チョークで記載した部分が写し出されているため、後日、画像処理装置3の利用者はトンネル展開画像を見れば、変状部分の位置や形状を把握することができる。
【0025】
また、撮影車両9には、カメラ以外に、車両9の進行方向の移動距離を計測する第1の測距センサ、車両9とトンネル8の壁面との距離を計測する第2の測距センサ、車両9の角度(姿勢)や角速度(又は角加速度)を検出するジャイロセンサ等も搭載されている。
第2の測距センサは、例えば、TOF(Time Of Flight)センサ、LIDAR(Light Detection and
Ranging)センサである。撮影車両9のカメラにより得られたトンネル展開画像のデータ、及び撮影車両9の各センサ(第1及び第2の測距センサ、ジャイロセンサ等)から得られた各検出データは、画像処理装置3を介して、画像管理サーバ5に送信され、この画像管理サーバ5で管理される。
【0026】
また、画像処理装置3は、後述の診断対象画像、診断領域、及び診断情報等の各種データ入力を行なうためのコンピュータ(情報処理装置)であり、描画用の専用アプリケーションプログラムがインストールされている。画像処理装置3の利用者は、補助者等が記載した野帳等のコメント、構造物の一例としてのトンネル8内の入口から出口(EX)まで撮影されたトンネル展開画像のデータ、及び各センサの検出データを画像処理装置3に入力する。
なお、他の装置(例えばモバイル端末)に入力後、他の装置から画像処理装置3にデータを転送してもよい。更に、画像処理装置3の利用者は、国等から入手したトンネル台帳のデータを、画像処理装置3に入力する。トンネル台帳には、トンネルの長さや高さ等が記載されている。この場合、画像処理装置3は、入力装置である。
【0027】
更に、画像処理装置3には、ブラウザが搭載されており、画像処理装置3は、画像管理サーバ5から送られて来るトンネル展開画像を表示することができる。また、画像処理装置3の利用者は、トンネル展開画像上に表されているひび割れ等の変状部分の上から線等の描画を行うことで、画像である変状部分を位置座標で数値化する。
【0028】
画像処理装置3の利用者は、画像管理サーバ5から、変状部分の描画を行うことで作成した変状展開図を含む提出書類のデータをダウンロードして、印刷した書類又は印刷しない状態のデータを、国等の外部端末6へ通信ネットワーク100を介して提出する。当該提出書類のデータは、画像管理サーバ5の作成部53(後述)が作成する。
【0029】
即ち、画像管理サーバ5の送受信部(画像管理サーバ)51は、通信ネットワーク100を介して画像処理装置3に対して、変状部分の描画を行うことで作成した変状展開図を含む提出書類のデータを送信する。これにより、画像処理装置3の送受信部31は、提出書類のデータを受信する。また、画像処理装置3の送受信部31は、通信ネットワーク100を介して、国等に提出書類のデータを送信する。または、画像処理装置3の送受信部31は、印刷装置に提出書類のデータを送信して印刷した後、画像処理装置3の利用者等が国等に提出書類である印刷用紙を提出する。または、画像処理装置3の記憶・送受信部31は、DVD-R等の記録メディアに提出書類のデータを記録した後、画像処理装置3の利用者等が国等に記録メディアを提出する。
【0030】
このように提出方法は通信ネットワーク100を介しない方法もある。この場合、国等に提出書類(データ又は印刷用紙)を提出する際の送受信部31及び記憶・読出部39は、いずれも出力手段の一例である。この場合、画像処理装置3は出力装置である。また、国等への提出書類(電子データを含む)は信憑性を確実にする為、改竄防止処理を施されることが好ましい。
【0031】
画像管理サーバ5は、トンネル展開画像、コメント、及びトンネル台帳等のデータの管理を行う。また、画像管理サーバ5は、画像処理装置3で描画されたひび割れ等の変状部分を数値化したデータの管理、及びトンネル展開画像における座標データの管理等を行う。
【0032】
<<ハードウェア構成>>
次に、図3を用いて、画像処理システム1を構築する画像処理装置又は画像管理サーバのハードウェア構成を説明する。
【0033】
<画像処理装置のハードウェア構成>
図3は、画像処理装置及び画像管理サーバのハードウェア構成図である。
【0034】
図3に示されているように、画像処理装置3は、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HD(Hard Disk)304、HDD(Hard Disk Drive)305、メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、CD-RW(Compact Disc Rewritable)ドライブ314、及び、バスライン31
0を備えている。
【0035】
これらのうち、CPU301は、画像処理装置3全体の動作を制御する。ROM302
は、CPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HD304は、プログラム等の各種データを記憶する。HDD305は、CPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。メディアI/F307は、フラッシュメモリ等のメディア306に対するデータの読み出し又は書き込み(記憶)を制御する。ディスプレイ308は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークI/F309は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード311は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス312は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。CD-RWドライブ314は、着脱可能な記録媒体の一例としてのCD-RW(画像管理サーバ)513に対する各種データの読み出し又は書き込みを制御する。
【0036】
また画像管理サーバ5は、CPU(画像管理サーバ)501、ROM(画像管理サーバ)502、RAM(画像管理サーバ)503、HD(画像管理サーバ)504
、HDD(画像管理サーバ)505、メディア(画像管理サーバ)506、メディアI/F(画像管理サーバ)507、ディスプレイ(画像管理サーバ)508、ネットワークI/F(画像管理サーバ)509、キーボード(画像管理サーバ)511、マウス(画像管理サーバ)512、CD-RWドライブ(画像管理サーバ)514、及び、バスライン(画像管理サーバ)510を備えている。これらは、それぞれ上述の構成(CPU301、ROM302、RAM303、HD304、HDD305、メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、CD-RWドライブ314、及び、バスライン310)と同様の構成であるため、これらの説明を省略する。また、外部端末6も画像処理装置3や画像管理サーバ5と同様の構成である。こちらについても説明を省略する。
【0037】
なお、CD-RWドライブ314(514)ではなく、DVD-Rドライブ等であってもよい。また、画像処理装置3、及び画像管理サーバ5は、それぞれ単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
【0038】
<<画像処理システムの構成及び機能>>
図4は、本実施形態の画像処理システムの機能ブロック図である。
【0039】
以下、図3及び図4を用いて説明をする。
【0040】
<画像処理装置の機能構成と詳細動作>
図4に示されているように、画像処理装置3は、送受信部31、受付部32、描画部33、表示制御部34、判断部35、画像処理部36、設定部37及び記憶・読出部39を有している。これら各部は、図3に示されている各構成要素のいずれかが、HD304からRAM303上に展開されたプログラムに従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、画像処理装置3は、図3に示されているRAM303及びHD304によって構築される記憶部3000(画像処理装置)を有している。
【0041】
送受信部31は、図3に示されているCPU301からの命令、並びにネットワークI/F309によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
【0042】
受付部32は、主に、図3に示されているCPU301からの命令によって実現され、利用者によって操作されたキーボード311又はマウス312から信号を受信することで、利用者の各種操作を受け付ける。
【0043】
描画部33は、図3に示されているCPU301からの命令によって実現され、ディスプレイ308に表示されている画像上に、線や矩形等の描画を行なう。
【0044】
表示制御部34は、図3に示されているCPU301からの命令によって実現され、ディスプレイ308に、各種画像や画面を表示させる。
【0045】
判断部35は、図3に示されているCPU301からの命令によって実現され、後述の各種判断を行なう。
【0046】
画像処理部36は、図3に示されているCPU301からの命令によって実現され、後述の画像処理等を行なう。
【0047】
設定部37は、図3に示されているCPU301からの命令によって実現され、後述の各種の設定を行なう。
【0048】
記憶・読出部39は、図3に示されているCPU301からの命令、並びに、HDD305、メディアI/F307、及びCD-RWドライブ314によって実行され、記憶部3000(画像処理装置)、メディア306、及びCD-RW313に各種データを記憶したり、記憶部3000(画像処理装置)、メディア306、及びCD-RW313から各種データを読み出したりする処理を行う。
【0049】
<画像管理サーバの機能構成と詳細動作>
画像管理サーバ5は、送受信部(画像管理サーバ)51、作成部53、判断部(画像管理サーバ)55及び記憶・読出部(画像管理サーバ)59を有している。これら各部は、図3に示されている各構成要素のいずれかが、HD(画像管理サーバ)504からRAM(画像管理サーバ)503上に展開されたプログラムに従ったCPU(画像管理サーバ)501からの命令によって動作することで実現される機能又は機能する手段である。また、画像管理サーバ5は、図3に示されているHD(画像管理サーバ)504により構築される記憶部(画像管理サーバ)5000を有している。
【0050】
作成部53は、後述するように各種データから国等の外部端末6へ提供する提出書類を作成する。
【0051】
(トンネル展開画像と座標)
図5は、トンネル展開画像のデータと座標データの関係を示した概念図である。
【0052】
トンネル展開画像201は、図2で示すカメラを搭載した撮影車両9が、トンネル8内の入口から出口まで走行しながらトンネル8の壁を撮影することで得られるトンネル8内の内壁の画像である。トンネル8の全壁面は、実際には円筒状の内壁面であるが、これを平面画像としたものをトンネル展開画像201と呼ぶ。画像を繋ぎ合わせてトンネル全体で一枚の展開画像を作成するため、これらの壁面の画像は、繋ぎ合わせ部分で撮像されていない領域が生じないように撮像することが望ましい。
【0053】
記憶部(画像管理サーバ)5000には、図2に示されているように、コメント、トンネル展開画像のデータ、測距等の各センサの検出データ、及びトンネル台帳のデータが記憶される。
【0054】
座標データ201cは、画像管理サーバ5の送受信部(画像管理サーバ)51が画像処理装置3からトンネル展開画像及び各検出データを取得した後に、作成部53によって作成されたデータである。
【0055】
トンネル展開画像201のデータは、撮影車両9のカメラから出力された状態では、単なる画像のデータであるため、トンネル展開画像201と、実際のトンネルとの位置関係が明確ではない。そこで、トンネル展開画像201と、実際のトンネルとの位置関係を明確にするため、トンネル展開画像201に対応する座標データが作成される。
【0056】
図5では、トンネルのイメージ図、トンネル展開画像201及び座標データ201cを、それぞれ(a)、(b)及び(c)で表している。
【0057】
ここから図5について詳細に説明する。
【0058】
実際のトンネルの入口(EN)から出口(EX)に向けて、1番目のスパン(「セントル」ともいう)から順に各スパンが表されている。このスパンは、実際のトンネルの入口(EN)から10m毎に区切られた領域を示しており、図4(c)のトンネル展開画像201では、複数のスパンの画像によって構成されたトンネル展開画像201が示されている。スパン番号は、国等が提供するトンネル台帳に記載されている。図4(b)の座標データ201cでも、1番目のスパンがS001で示され、2番目のスパンがS002で示されている。左から右に向けて、座標データ用のスパン番号が割り振られている。更に、各スパン内の特定の位置を示すために位置座標(xn,ym)が用いられる。例えば、座標データにおける任意の2点が同じ座標で示されていても、スパンが異なればトンネル内の異なる位置を示している。なお、スパンの無いトンネルに対応するため、スパン番号S001等を用いずに、トンネル展開画像内の特定の位置を位置座標だけで示すようにしてもよい。図5(a)との位置関係からもわかるように、トンネル壁面は、トンネル展開画像201及び座標データ201cと対応して管理される。
【0059】
図6(a)は複数の画像がある場合の、トンネル展開画像のデータと座標データの関係を示した概念図である。複数の画像の一例として、モノクロトンネル展開画像2010を用いて説明する。図4の記憶部(画像管理サーバ)5000には、コメント、モノクロトンネル展開画像、カラートンネル展開画像、測距等の各センサの検出データ、及びトンネル台帳のデータが記憶される。図6(a)のモノクロ・カラー座標データ2012cは、図4の画像管理サーバ5の送受信部(画像管理サーバ)51が画像処理装置3からトンネル展開画像及び各検出データを取得した後に、作成部53によって作成されたデータである。作成方法は後述する。図6(a)では、まずモノクロトンネル展開画像2010とカラートンネル展開画像2011から、それらを重ね合わせた画像としてのモノクロ及びカラートンネル展開画像2012を作成する。撮影車両9のカメラから出力された状態では、モノクロトンネル展開画像2010、カラートンネル展開画像2011と、実際のトンネルとの位置関係が明確ではない。そこでモノクロトンネル展開画像2010、カラートンネル展開画像2011と、実際のトンネルとの位置関係を明確にするため、これらのトンネル展開画像に対応するモノクロ・カラー座標データ2012cが作成される。
【0060】
図6(b)は前述したモノクロトンネル展開画像2010と低解像度のカラートンネル展開画像2011との一致する座標の対比表を表している。高解像度のモノクロデータと低解像度のカラーデータとの各スパンのスパン境界部の左上と左下とで一致する座標を算出し、図6(b)のように一致する座標を保存する。最後のスパン画像については、右上・右下の座標も算出する。スパン境界と出入口を選んだ理由としては、後述する図7図8のように各スパンで診断情報などの情報を紐づけており、システムとして低解像度のカラー情報のスパン位置も把握しておいた方が良いこと、ほぼ均一な区間で座標を合わせているため、大きな位置ズレが発生しないこと、スパン境界や出入口は見た目の特徴がはっきりしているため、自動処理でモノクロとカラーの一致する位置を算出しやすいことなどが挙げられる。この対比表は記憶部(画像管理サーバ)5000に記憶される。
【0061】
ここで重ね合わせる複数の画像の解像度が異なる場合、例えば高解像度のモノクロトンネル展開画像2010と低解像度のカラートンネル展開画像2011からモノクロ及びカラートンネル展開画像2012を作成する場合、について説明する。解像度の異なるカラートンネル展開画像2011はスパン境界については、モノクロトンネル展開画像2010と一致する座標を保存するが、それ以上細かい座標位置は作成しない。理由としては、各種センサを利用して両画像の位置座標を作成しても、両カメラの振動や取り付け位置ずれなど、細かい誤差により、完全にはモノクロトンネル展開画像2010とカラートンネ画像2011とは一致しないためである。すなわち、モノクロ及びカラートンネル展開画像2012は画素レベルの色ずれを保有する画像である。モノクロ及びカラートンネル展開画像2012で色ずれを一致させるためには、各画素レベルでモノクロデータとカラーデータとで位置合わせを行う必要があり、画素数が膨大なトンネル展開画像では大きな計算負荷や計算時間がかかってしまうので、むしろあえて処理を実施しない。
【0062】
(診断情報管理テーブル)
図7は、診断情報管理テーブルの一例である。記憶部(画像管理サーバ)5000には、図4に示すように診断情報管理テーブルによって診断情報管理DB5001が構築されている。この診断情報管理テーブルは、図5に示されている座標データが画像管理サーバ5で作成された後、利用者が画像処理装置3を用いてトンネル展開画像上に表されているひび割れ等の変状部分の上から線等を描画することによって特定された変状部分の位置座標等を管理している。この診断情報管理テーブルでは、診断領域番号、スパン番号(またはセントル番号)、診断領域のスパン内における位置座標、診断領域の高さ及び幅、写真番号、変状・異常の種類、判定結果、及びコメントが関連付けて管理される。これらのうち、診断領域番号は、後述の診断領域が含まれるグループを示す識別情報である。スパン番号は、図5に示されている座標データ201cにおける特定のスパン番号を示し、トンネルのスパンの番号を示した値である。診断領域のスパン内における位置座標は、図5に示されている座標データ201cにおける特定の位置座標を示し、任意のスパン内の特定の位置を原点とした場合に、このスパン内における診断領域の特定点(始点)の位置座標を示している。
【0063】
診断領域の高さ及び幅は、診断領域のスパン内における位置座標を原点として、高さ及び幅を示すことで、診断領域全体を特定するための値を示している。写真番号は、写真台帳に添付される写真を識別するための識別情報である。変状・異常の種類は、検査者が判断した診断対象の変状又は異常の種類を示す。判定結果は、検査者が判断した診断対象の判定結果を示す。一般には、S,A,B,Cの順に、左に行くほど、診断対象の状態が悪いことを示す。コメントは、図2において、検査者又は補助者が記録したコメントの内容である。
【0064】
(診断対象要素管理テーブル)
図8は、診断対象要素管理テーブルの一例である。記憶部3000(画像処理装置)には、図8に示されているような診断対象要素管理テーブルによって構成されている診断対象要素管理DB5002が構築されている。この診断対象要素管理テーブルでは、診断領域番号、スパン番号(セントル番号)、要素番号、診断対象画像要素の始点位置座標、診断対象画像要素の終点位置座標、及び診断対象要素の幅(mm)が関連付けて管理される。これらのうち、診断領域番号及びスパン番号(セントル番号)は、診断情報管理テーブルと同じである。これら診断領域番号及びスパン番号(セントル番号)によって、診断情報管理テーブル及び診断対象要素管理テーブルは、関連付けられている。要素番号は、診断対象画像の要素である診断対象画像要素を識別するための識別情報である。
【0065】
図9は、診断対象要素管理テーブルを入力する画面の一例である。
【0066】
診断対象要素画像の始点位置座標は、トンネル展開画像の任意のスパン内で診断対象要素画像が描画される場合の始点の位置座標を示している。図9(a)では、診断対象画像要素e21の始点p21の位置座標を示している。診断対象画像要素の終点位置座標は、トンネル展開画像の任意のスパン内で診断対象画像要素が描画される場合の終点の位置座標を示している。例えば、図9(b)では、診断対象画像要素e21の終点p22の位置座標を示している。なお、始点位置座標及び終点位置座標は、図5に示されている座標データ201cにおける特定の位置座標を示している。診断対象要素の幅(mm)は、診断対象要素がひび割れの場合の幅を示している。例えば、図9(a)では、利用者によって幅入力画面ws1に入力された値を示している。利用者が幅入力画面ws1に数値を入力すると、受付部32が入力を受け付け、図9(b)に示されているように、表示制御部34は、入力された数値(「0.5」)を表示する。
【0067】
次に、画像管理サーバ5の詳細動作について説明する。なお、以下では、画像管理サーバ5の各機能構成を説明するにあたって、図2に示されている各構成要素のうち、画像管理サーバ5の各機能構成を実現させるための主な構成要素との関係も説明する。
【0068】
図4に示されている画像管理サーバ5の送受信部(画像管理サーバ)51は、図3に示されているCPU(画像管理サーバ)501からの命令、及びネットワークI/F(画像管理サーバ)509によって実現され、通信ネットワーク100を介して画像処理装置等の他の装置(端末)と各種データ(または情報)の送受信を行う。
【0069】
作成部53は、図3に示されているCPU(画像管理サーバ)501からの命令によって実現され、画像管理サーバ5の送受信部(画像管理サーバ)51が画像処理装置3から取得したトンネル展開画像201のデータ及び測距等の各検出データに基づいて、図5に示されているような座標データ201cを作成する。具体的には、作成部53は、上述のように撮影車両9に設置された各センサ(第1及び第2の測距センサ、ジャイロセンサ等)から画像処理装置3を介して取得された各検出データを用いて、トンネル展開画像201に対する座標データを作成する。撮影車両9がトンネル内を走行しながらトンネル壁を撮影する場合、撮影車両9は、トンネル内を常に一定速度で走行するとともにトンネル壁と常に一定距離を維持することは現実的には困難であり、しかも、トンネル内の路面に生じている凸凹で撮影車両9の姿勢も傾くことも多い。そのため、作成部53は、各センサの検出データを用いて、トンネル展開画像201に対する座標データを補正しながら作成する。なお、図5において、座標データ201cのS001の左上角の位置とトンネル展開画像201の1番目のスパンの左上角とを合わせれば起点が決まるため、作成部53は、決まった起点に基づいて、トンネル展開画像201に対する座標データを作成することができる。画像管理サーバ5の管理者が画像管理サーバを利用して手動で起点を設定してもよいし、作成部53が自動的に起点を設定してもよい。自動的に起点を設定する場合には、トンネルの入口(EN)(トンネル外とトンネル内の境界)では撮影画像の輝度値が急激に変化するため、作成部53は、撮影画像からトンネルの入口(EN)を特定しやすい。
【0070】
また、作成部53は、診断情報管理DB5001及び診断対象要素管理DB5002で管理されている各種データに基づいて、国等への提出書類(変状展開図、写真台帳、及び
トンネル点検結果総括表)のデータを作成する。判断部(画像管理サーバ)55は、図3に示されているCPU(画像管理サーバ)501からの命令によって実現され、作成部53が提出書類のデータを作成するにあたって必要な判断を行なう。記憶・読出部(画像管理サーバ)59は、図3に示されているCPU(画像管理サーバ)501からの命令、及び図3に示されているHDD(画像管理サーバ)505によって実現され、記憶部(画像管理サーバ)5000に各種データを記憶したり、記憶部(画像管理サーバ)5000に記憶された各種データを読み出したりする処理を行う。
【0071】
<<実施形態の処理または動作>>
以降、図10乃至図21を用いて、各実施形態の処理または動作について説明する。
【0072】
図10は、位置合わせの対象となる画像を作成するシーケンス図である。トンネル展開画像を例として説明する。図10に示されているように、画像処理装置3は、利用者によって、国等から取得したトンネル台帳のデータを入力する(ステップS1)。また、画像処理装置3は、利用者によって、撮影車両9から取得した、トンネル展開画像のデータ、コメントのデータ、及び測距等の各センサの検出データを入力する(ステップS2)。
【0073】
次に、画像処理装置3の送受信部31は、画像管理サーバ5に、ステップS1で入力されたトンネル台帳のデータ、ステップS2で入力された各データ(トンネル展開画像のデータ、コメントのデータ、及び測距等の各センサの検出データ)をアップロードする(ステップS3)。これにより、画像管理サーバ5の送受信部(画像管理サーバ)51は、トンネル台帳等のデータを受信する。そして、画像管理サーバ5では、作成部53が、トンネル展開画像のデータ及び検出データに基づいて、図4に示されているような座標データを作成する(ステップS4)。
【0074】
次に、記憶・読出部(画像管理サーバ)59が、記憶部(画像管理サーバ)5000にステップS3で受信されたトンネル台帳等のデータ、及びステップS4で作成された座標データを関連付けて記憶する(ステップS5)。
【0075】
図11は、複数画像の位置合わせおよび再位置合わせの概念図である。
【0076】
図12は、複数画像の位置合わせおよび再位置合わせの全体フローチャートである。
【0077】
以下、図11図12を使って、位置合わせおよびその後の再位置合わせの流れを説明する。
【0078】
図11(a)は撮像の対象となる現実の画像である。
【0079】
例えば、この現実の画像をモノクロカメラとカラーカメラで撮像する場合、モノクロ画像が図11(b)、カラー画像が図11(c)である。ここでは重ね合わせの説明をわかりやすくするため、モノクロ画像はあえて画像の輪郭だけ図示している。
【0080】
図11(d)は、図11(b)と図11(c)を、位置座標に基づいて位置合わせを行ったイメージを示している。この場合、上述のように、細かい誤差により、完全にはモノクロトンネル展開画像2010とカラートンネ画像2011とは一致しない。
【0081】
図11(e)では、再位置合わせ指示受付手段により、画像中の特定領域604の指定を受け付けた様子を表している。
【0082】
図11(f)は、受け付けられた画像中の特定領域604内についてのみ、再位置合わせをした結果のイメージ図である。特定領域604外は未だ位置ずれによる色ずれが残っているのに対し、特定領域604内は位置ずれによる色ずれが解消している。
【0083】
このように特定として指定した個所についてのみ再位置合わせをすることで、必要な個所について再位置合わせをすることができる。
【0084】
ここで、位置合わせによる合成前後の画像について説明をする。
【0085】
図11(e)は、位置合わせによる画像合成後の画像(モノクロ・カラー)602である。また画像合成後の画像(モノクロ・カラー)602を作成するその元となる合成前の画像は、画像合成前の画像(モノクロ)600と画像合成前の画像(カラー)601である。ちなみに画像合成後の画像(モノクロ・カラー)602を再位置合わせした結果の画像が、再位置合わせ後の画像(モノクロ・カラー)603である。
【0086】
これらの位置合わせの処理および再位置合わせの処理は、図4の画像処理装置3が主に行うが、画像管理サーバ5が行っても良い。また、画像処理装置3と画像管理サーバ5が一体となった装置が行っても良い。
【0087】
次に図12のフローチャート(S401~S405)にて、具体的な処理を説明する。
【0088】
<複数画像の取り込み>
まず画像処理部36は、複数の画像を取り込む(S401)。図4に示す記憶部3000から記憶・読出部39を介して画像を取り込む。画像管理サーバ5の記憶部(画像管理サーバ)5000に記憶されている画像を読み出す場合には、図4に示す記憶部(画像管理サーバ)5000から記憶・読出部(画像管理サーバ)59が画像読み出し、送受信部(画像管理サーバ)51、通信ネットワーク100及び送受信部31を介して画像を取り込む。
【0089】
ここでいう複数の画像の概念図は、図11(b)及び(c)である。
【0090】
図11(b)及び(c)は、同一対象物を別カメラ(モノクロおよびカラー)で撮像した画像で、相互に正しい位置に重ね合わすことができれば、図11(a)のような画像となるはずである。
【0091】
<複数画像の位置合わせ>
次に、画像処理部36は、このように取り込んだ複数画像の位置合わせを実施する(S402)。その際には記憶部3000や記憶・読出部39を適宜使用する。
【0092】
ここで位置合わせ後の画像の概念図は、図11(d)である。
【0093】
上述のように、同一対象物を別カメラ(モノクロおよびカラー)で撮像した画像で、相互に正しい位置に重ね合わすことができれば、図11(a)のような画像となるはずである。しかし、モノクロカメラとカラーカメラの設置位置は微妙にずれており、かつ、図2に示す撮影車両9は撮影しながら走行する際には車両のローリング等の影響もあるため、図11(a)のような画像ではなく図11(d)のように位置ずれした画像や、位置ずれにより色ずれをしてしまった画像が作成されてしまうことになる。
【0094】
<特定領域の指定>
次に、位置合わせをした画像中の特定領域604を指定(S403)について説明する。
【0095】
この指定する特定領域604は、再位置合わせを実行する領域である。
【0096】
本特定領域604の指定がユーザによってされる場合、表示制御部34へ表示した画像に対するユーザによる領域指定は、受付部32が受け付け、描画部33により表示制御部34へ表示され、設定部37により設定される。設定された情報を記憶部3000へ記憶しても良い。
【0097】
本特定領域604の指定が構造部の過去の損傷個所情報により自動的にされる場合、記憶部(画像管理サーバ)5000から記憶・読出部(画像管理サーバ)59が読みだした過去情報等を送受信部(画像管理サーバ)51、通信ネットワーク100を介して送受信部31が受信し、表示制御部34へ表示され、設定部37により設定される。設定された情報を記憶部3000へ記憶してもよい。
【0098】
図11(e)は、特定領域604が指定された様子を表している。
【0099】
そして最後に、画像処理部36は、上記で指定された特定領域604内の再位置合わせを実行する(S404)。
【0100】
画像処理部36が再位置合わせした結果を、表示制御部34が表示する。図1(f)は表示制御部34が、再位置合わせした画像とそれ以外の画像を一緒に表示する様子を表している。表示制御部34が、再位置合わせした画像のみを、表示制御部34へ表示させてもいい。
【0101】
図13は、複数画像の位置合わせおよび再位置合わせのシーケンス図である。
【0102】
画像処理装置3は、画像管理サーバ5に対して、複数のトンネル展開画像のデータを要求する(S501)。
【0103】
この際、画像処理装置3は特定の画像を指定して要求ができる。
【0104】
この画像の特定においては、図7図8の診断情報管理テーブルや診断対象要素管理テーブルにおける診断領域番号、スパン番号(またはセントル番号)、診断領域のスパン内における位置座標、診断領域の高さ及び幅、写真番号、変状・異常の種類、判定結果、コメント、要素番号、診断対象画像要素の始点位置座標、診断対象画像要素の終点位置座標、及び診断対象要素の幅(mm)等をキーとすることができる。
【0105】
上記のS501で画像処理装置3からトンネル展開画像のデータを要求された画像管理サーバ5は、指定された画像を記憶部(画像管理サーバ)5000から読み出し、画像処理装置3へネットワーク100を介して送信する(S502)。
【0106】
図13のS501及びS502は、図12ではS401に対応しており、画像処理装置3及び画像管理サーバ5の動作詳細については図12で説明するため、詳細は省略する。
【0107】
次に図13の画像処理装置3は、ステップS502で受信した複数の画像の位置合わせを実施する(S503)。このステップは図12のS402に対応しており、画像処理装置3及び画像管理サーバ5の動作詳細については図12で説明するため、詳細は省略する。
【0108】
画像処理部36が位置合わせを行うが、画素単位での位置合わせは行わず、座標データに基づいた位置合わせを行う。ここでいう座標データとは、前述のスパン番号やスパン内における位置座礁である。
【0109】
次に画像処理装置3は、ステップS503で位置合わせをした画像内の特定領域604を指定する(S504)。このステップは図12のS403に対応しており、画像処理装置3及び画像管理サーバ5の動作詳細については図12で説明するため、詳細は省略する。
【0110】
次に画像処理装置3は、ステップS504で指定された特定領域604内について、再位置合わせを実施する(S505)。また画像処理装置3は、再位置合わせ後の画像をその表示制御部34(図4)に表示する(S508)。
【0111】
これらのステップは図12のS404に対応しており、画像処理装置3及び画像管理サーバ5の動作詳細については図12で説明するため、詳細は省略する。
【0112】
画像処理装置3は、ステップS505で再位置合わせされた後のデータを画像管理サーバへ送信する(S506)。
【0113】
一方、画像管理サーバ5は、送信されたデータを記憶部(画像管理サーバ)5000へ記憶する(S507)。その際、{診断領域番号、スパン番号(またはセントル番号)、診断領域のスパン内における位置座標、診断領域の高さ及び幅、写真番号、変状・異常の種類、判定結果、コメント)}や{診断領域番号、スパン番号(またはセントル番号)、要素番号、診断対象画像要素の始点位置座標、診断対象画像要素の終点位置座標、及び診断対象要素の幅(mm)}と紐づけて記憶したい場合には、画像管理サーバ5は診断情報管理DB5001や診断対象要素管理DB5002と連携し、記憶する。
【0114】
画像処理装置3はその表示された再位置合わせ後の画像を確認後、外部端末6へ送信することができる(S509)。なお外部端末6が点検シーンにおける持ち運び可能な端末である場合には、外部端末6へ送信する画像は色ズレが発生したままの再位置合わせ前の画像でも良い(S510)。
【0115】
ちなみに外部端末6は、画像処理装置3及び画像管理サーバ5と連携して動作する携帯端末でも良いし、画像処理装置3及び画像管理サーバ5とは離れた場所にあるシステムでも良い。
【0116】
ここで、外部端末6が国等のシステムである場合についてさらに説明する。
【0117】
国等の外部端末6へ通信ネットワーク100を介して提出書類データを送信する場合、提出書類データは国等によって定められた書類である必要がある。
【0118】
この提出書類データは画像管理サーバ5の作成部53により作成される(S511)
具体的には、検査業者が国等によって定められた提出書類(変状展開図、写真台帳、及びトンネル点検結果総括表など)を、作成部53が診断情報管理DB5001及び診断対象要素管理DB5002で管理されている各種データに基づいて作成する。
【0119】
これにより、国等への提出書類の作成上の利便性を向上させることができる。さらに写真台帳の写真には、再位置合わせ後の色ズレのない写真を使うため、国等への提出書類の品質の向上を図ることもできる。
【0120】
このように作成した提出書類データは、画像管理サーバ5から、国等の外部端末6へ送信される(S512)。画像管理サーバ5から画像処理装置3へ送信(S513)後、国等の外部端末6へ送信しても良い(S514)。
【0121】
なお図示はされていないが、画像処理装置3と画像管理サーバ5が一体化されている場合であっても、上記の機能を実行できれば、画像処理装置3と画像管理サーバ5が区別されていなくても良い。
【0122】
図14は、特定領域を指定する際のフローチャートである。
【0123】
このステップは、図12ではS403に相当する。
【0124】
まずS701では、再位置合わせを実施する対象の画像を図4の表示制御部34が表示する。表示デバイスは図3のディスプレイ308になる。
【0125】
図14ではモノクロ画像を表示としているが、イニシャルで表示する画像はカラー画像でもいいし、位置合わせ後のモノクロ・カラー合成画像でもいい。
【0126】
S702では、表示制御部34がイニシャルで表示した画像に対してユーザの切り替えの要望があるか否かを確認している。表示制御部34がディスプレイ308に表示する。
【0127】
描画部33はユーザの切り替え希望を受け付ける(S703)。例えばモノクロ画像をカラー画像へ切り替えるように指示された場合には、表示制御部34が、ディスプレイ308の画像をカラー画像へ切り替える(S704)。指示がなかった場合には、表示制御部34はイニシャルで表示していた画像をそのままディスプレイ308へ表示することになる。
【0128】
S705では、特定領域604の指定が構造部の過去の損傷個所情報等により自動的にされる場合であるかどうかを確認する。自動的な指定(レコメンド)の例として構造物(トンネル)の損傷部を優先的に特定領域604として指定してくる例としている。
【0129】
ちなみに構造物(トンネル)の損傷個所を点検するような場合、再位置合わせを希望する特定領域604は構造物(トンネル)の損傷個所であるケースが多い。
【0130】
もちろん自動的な指定(レコメンド)の対象は構造物(トンネル)の損傷個所以外でもよく、特定領域604を自動的に指定(レコメンド)されることで、ユーザの特定領域604を指定する利便性はより向上する。
【0131】
S706では特定領域604の指定が構造部の過去の損傷個所情報等により自動的にされる場合には、自動的に指定(レコメンド)された画像を表示制御部34はディスプレイ308へ表示する。
【0132】
例えば、自動的に指定(レコメンド)する内容として構造物(トンネル)の損傷個所の場合には、診断情報管理DB5001や診断対象要素管理DB5002に記憶されている過去の点検結果等の関連情報を同時にディスプレイ308へ表示することは、ユーザの利便性の向上につながる。
【0133】
S707では、S704又はS706にて表示された画像上へ、ユーザにより特定領域604が指示されたか否かを判断している。具体的には、ユーザがディスプレイ308上で描画部33を使い表示制御部34へ特定領域604を指示したか否かを判断する。
【0134】
もしユーザにより特定領域604が指示された場合、表示制御部34はユーザにより指示された特定領域604をディスプレイ308へ表示する(S708)。一方、ユーザにより特定領域604が指示されない場合には、S706にてレコメンドされた画像か、S704にて指示された画像かがディスプレイ308へ表示されたままとなる。
【0135】
S709では、表示制御部34によりディスプレイ308へ表示されている特定領域604について、ユーザからの特定領域604の確定指示があったか否かを確認する。例えば図16(d)の確定ボタンco32が押されるなど描画部33へユーザが指示することを受付部32が確認し、ユーザによる確定を受け付ける。
【0136】
ディスプレイ308にS706にてレコメンドされた画像、またはS704にて指示された画像が表示されている状態の場合、S706にてレコメンドされた特定領域604である画像、またはS704にて表示されている画像の全体を、受付部32を受け付ける。
【0137】
設定部37は、受付部32により受け付けられた領域を、特定領域604として確定する(S710)。このように確定された特定領域604が、再位置合わせの対象領域となる。
【0138】
(特定領域入力モード)
図14の図中の破線内のフロー(特定領域の入力モード)について、図15および図16を用いてさらに詳細に説明する。
【0139】
図15は、UIで特定領域を指定する際の処理を示すフローチャートである。また、図16はUIで特定領域を指定する際のUI画面の例である。
【0140】
以下図15図16の両方を使って詳細を説明する。
【0141】
図16(a)は、特定領域入力画面において特定領域の入力モードの選択を示した画面例である。
【0142】
まず図16(a)に示されているように、利用者がポインタpoで選択ボタンb3を選択した場合、表示制御部34は、特定領域の入力モードにする。この段階で、図15のフローチャートはSTARTされる。
【0143】
その後、図16(b)に示されているように、利用者が、ポインタpoで特定領域da03の任意の頂点p31を特定すると、受付部32は、特定領域da03の任意の頂点p31の入力を受け付ける。これは図15のフローチャートではステップS301に相当する。
【0144】
また、特定領域の任意の頂点の入力を受け付けるとこれにより、表示制御部34は、頂点p31の周囲に確定ボタンco31及びキャンセルボタンca31を表示させる。これは図15のフローチャートではステップS302に相当する。
【0145】
確定ボタンco31により頂点p31の位置が確定する。また、キャンセルボタンca31を押すと頂点p31の入力がキャンセルされ、頂点p31の入力を受け付けるモードとなる。
【0146】
次に、図16(c)に示されているように、利用者がポインタpoで特定領域da03の頂点p31の対角の頂点p32を特定すると、受付部32は、特定領域da03の頂点p31の対角の頂点p32の入力を受け付ける。これは、図15のフローチャートではステップS303に相当する。
【0147】
表示制御部34は、頂点p31と頂点p32を対角の頂点とする矩形の特定領域da03を表示させると共に、特定領域da03の中央辺りに確定ボタンco31及びキャンセルボタンca32を表示させる。これは図15のフローチャートではステップS304に相当する。 このように、利用者は2つの対角となる頂点を特定することで、特定領域を描画することができる。
【0148】
次に判断部35は、受付部32によって確定ボタンの押下が受け付けられたかを判断する。これは図15のフローチャートではステップS305に相当する。
【0149】
判断部35が確定ボタンの押下を受け付けないと判断した場合には、図15のフローチャートではステップS305;NOから、上述のステップS303の処理に戻る。この場合は、利用者が頂点p32を特定した後、更に特定領域da03の面積を拡大又は縮小するために、頂点p31又は頂点p32を変更するような場合である。
【0150】
一方、図16(d)に示されているように、利用者がポインタpoで確定ボタンco32を押下すると、受付部32は押下を受け付け、判断部35が、確定ボタンが受け付けられたと判断する。これは図15のフローチャートではステップS305;YESに相当する。そして、判断部35は、特定領域da03を確定する。これは図15のフローチャートではステップS306に相当する。
【0151】
上記の各ステップにより、頂点p31及び頂点p32の入力が、それぞれ確定ボタンco31及び確定ボタンco32にて確定されることで、特定領域が確定される。
【0152】
<特定領域の再位置合わせ>
図17は再位置合わせの処理全体フローチャートである。このフローチャート全体が、図12のS404に相当する。以下、図17のフローチャートに従って説明する。
【0153】
まず画像処理部36は、上記の特定領域内の複数の画像情報を取り込む(S601)。
【0154】
ここでいう複数の画像とは、位置合わせの対象となる特定領域内の画像である。
【0155】
次に設定部37は、ステップS601にて取り込んだ複数の画像のうちの一つの所定画素ブロックを位置検出用基準画像パターンとして設定する(S602)。
【0156】
例えばモノクロ画像とカラー画像を読み込んだ場合に、モノクロ画像において位置検出用基準画像パターンを設定することもできるし、カラー画像において位置検出用基準画像パターンを設定することもできる。ただし一般的には、モノクロ画像において位置検出用基準画像パターンを設定することが多い。カラー画像とモノクロ画像の組み合わせの場合には、カラー画像を高解像度とするとデータ量が多くなってしまうためにモノクロ画像のほうを高解像度とすることが多く、高解像度のモノクロ画像を基準画像として採用した方が、パターンマッチングの精度は高くなるためである。
【0157】
上記で設定した基準画像パターンを縦横に移動させながら、画像処理部36はパターンマッチングを行い、ずらし量を求める(S603)。
【0158】
この作業を繰り返し、その繰り返しのパターンマッチングの結果として求められたずらし量を、記憶・読出部39は記憶部3000を使って記憶しつつ、集計する。(S604)
上記のように集計したずらし量情報に基づき、画像処理部36は再位置合わせを行う(S605)。
【0159】
以下、図18から図20を使い、図17のフローチャートを補足する。
【0160】
図18は再位置合わせにおける位置検出用基準画像パターンの一例である。図18では位置検出用基準画像パターンはモノクロ画像としている。もちろんカラー画像でも良い。この位置検出用基準画像パターンを設定するのは、図17のフローチャートではステップS602である。。
【0161】
図19は、再位置合わせにおけるパターンマッチングの一例である。図17のフローチャートではステップS603に相当する。
【0162】
記号「☆」で示す設定画素(x,y)を中心とした11×11の画素を位置検出用基準画像パターン400としている。ただし、画像は11×11画素だけでなくつながっているため、右端の隣は左端として、左端の隣は右端として、設定画素周辺のパターン画像が設定される。
【0163】
画像処理装置3は、設定したパターン画像(例では11×11)を縦横に移動させながら、特定領域内の位置検出用基準画像(図18)とパターンマッチングを行い、再位置合わせのための正しい位置を求める。パターンマッチングは、相関係数、市街地距離、ユークリッド距離、残差2乗和等を類似度として行うテンプレートマッチング等によりおこなうことができる。
【0164】
例えば図19では、位置検出用基準画像パターンは、位置検出用基準画像のそのままの座標値上に重ね合わせてもマッチせず、所定のずれ量(Δx,Δy)だけ移動させた座標値(X+Δx,Y+Δy)で位置合わせ対象の画像(例えば、カラートンネル展開画像)とマッチしている。このとき、位置合わせ対象の画像において、現状では座標(X+Δx,Y+Δy)に位置している画素値が、(X,Y)に位置していれば、適切に位置合わせされるということになる。
【0165】
重複領域の全画素について図17のステップS602およびS603の処理が完了させてずらし量情報をまとめて集計したのが図20である(ステップS604)。これにより、図20に示すような、変換後の座標値(X,Y)に対して、ずらし量(Δx,Δy)が対応付けられた情報を全座標値について保持する検出結果データが得られる。このとき、上記つなぎ位置検出処理によりずらし量(Δx,Δy)が求められなかった座標値については、ずらし量を0とすればよい。
このように集計されたずらし量情報に基づいて最終的に再位置合わせを行う(ステップS605)。
【0166】
ここまでトンネル展開画像を例にして説明してきたが、同一対象物に対する複数の画像を位置合わせした後に必要な個所についてのみ再位置合わせをする技術は、他の技術分野でも活用できる。
【0167】
例えば図21に示すように、第1の半球画像から作られる第1の展開画像(X)と、第2の半球画像から作られる第2の展開画像(Y)の重複領域では、画像合成が必要となる部分(Z)となる。
【0168】
この場合、最初からすべての重複領域について画素単位での画像合成を行うことは、その処理のための計算量が膨大になる。全天球カメラで動画を撮像する場合には処理のための計算量の増加は顕著であるが、本発明ではこれらの処理のための時間やコストを抑えることができる。
【0169】
本発明では必要な部分についてのみ画素単位での精度の高い再位置合わせを行う。
【0170】
ユーザが360度すべての画像を精度高く見たいとは限らず、ユーザから精度高く見たい領域や個所を指定された直後に精度の高い画像をユーザに提示してもユーザの利便線の観点からも特段の問題もない。指定は画面へのタッチでも良いが、ユーザビューにおいて画像の中央付近について指定されたものとみなして自動的に再位置合わせをしても良い。領域が指定されたことにより処理のための計算量が限られているため、処理時間も短く、ユーザの利便性を損ねる可能性も低い。
●まとめ
【0171】
本発明の一実施形態にかかる画像処理装置3は、複数の画像間の位置合わせ処理を行う位置合わせ手段の一例としての画像処理部36と、位置合わせ手段で位置合わせされた複数の画像を重ね合わせて合成した合成画像を生成する画像合成手段の一例としての画像処理部36と、合成画像中または複数のそれぞれの画像のいずれかにおいて特定された特定領域604での再位置合わせ手段の一例としての画像処理部36を備えていることを特徴としている。本実施形態では、画像処理部36が、位置合わせ手段、画像合成手段および再位置合わせ手段として、画像の処理を行う。
【0172】
このような特徴により、特定領域604内は色ズレのない画像を得ることができる。また、AIなどにより特定領域604に対する自動的なレコメンドがあった場合には、自動的に特定領域604を指定することもできる。
【0173】
本発明の一実施形態にかかる画像処理装置3は、複数の画像間の位置合わせ処理を行う位置合わせ手段の一例としての画像処理部36と、位置合わせ手段で位置合わせされた複数の画像を重ね合わせて合成した合成画像を生成する画像合成手段の一例としての画像処理部36と、合成画像中または複数のそれぞれの画像のいずれかにおいて特定された特定領域604の位置合わせを指示する指示操作を受け付ける受付画面の一例である確定ボタンco31及びco32対する指示操作に基づき、複数の画像のそれぞれにおける特定領域604に対応する画像間の位置合わせを再度行う再位置合わせ手段の一例としての画像処理部36を備えていることを特徴としている。本実施形態では、画像処理部36が、位置合わせ手段、画像合成手段および再位置合わせ手段として、画像の処理を行う。
【0174】
このような特徴により、特定領域604の位置合わせを指示する指示操作の一例である確定ボタンco31及びco32による指示操作で、特定領域604をユーザの意図を反映したものとして確定できる。例えば、AIなどによる特定領域604に対するレコメンドがあった場合でも、ユーザが特定領域604を確定する指示操作をしなければ、特定領域604は決定されないため、ユーザの意図を反映できる。
【0175】
本発明の一実施形態にかかる画像処理装置は、受付画面を表示部に表示させる表示制御手段の一例である表示制御部34をさらに備えていることを特徴としている。
【0176】
このような特徴により、確定ボタンco31及びco32を表示部の一例であるディスプレイ308に表示させる表示制御手段の一例である表示制御部34をさらに備えていることにより、特定領域604をユーザが視認することが可能となる。
【0177】
なお他の実施形態として、画像処理装置3が他の装置へ確定ボタンco31及びco32を含む表示画面情報を外部端末6へ送信し、当該外部端末6が確定ボタンco31及びco32を表示部に表示させてもよい。この場合、当該外部端末6において合成画像中の特定領域604の指示することができる。
【0178】
本発明の一実施形態にかかる画像処理装置3は、複数の画像は、モノクロ画像の一例であるモノクロトンネル展開画像2010およびカラー画像の一例であるカラートンネル展開画像2011をそれぞれ少なくとも1以上含むことを特徴としている。
【0179】
このような特徴により、モノクロ画像の一例であるモノクロトンネル展開画像2010だけでは判別しにくい場合であっても、カラー画像の一例であるカラートンネル展開画像2011も画像合成の対象とすることにより、判別しやすい画像をユーザへ提供できる。
【0180】
本発明の一実施形態にかかる画像処理装置3は、特定領域の一例である仮診断領域da03は構造物の損傷部の一例である診断対象要素画像e21を含む領域であることを特徴としている。
【0181】
このような特徴により、構造物の過去に検査した損傷部の画像を活用できる。AIなどにより損傷部の周辺領域を特定領域として自動的にレコメンドすること(一例としてS705、S706)は、ユーザの利便性を向上させる。また損傷部は変色していたりすることも多く、チョークの色などでマーキングがされていることもあるため、前述のように画像をカラー化することは、さらなる損傷部の視認性を向上できる。
【0182】
本発明の一実施形態にかかる画像処理装置3は、特定領域を指示するための特定領域指示手段をさらに備えていることを特徴としている。
【0183】
特定領域指示手段は、画像処理部36が再位置合わせの対象とする画像の範囲を指示する手段である。前述の図16の例においては、UI画面上で頂点p31及び頂点p32で囲まれる矩形範囲を指示する手段である。図16にいて、頂点p31や頂点p32を指示するポインタpo、頂点p31や頂点p32を確定させる確定ボタンco31やco32、頂点p31や頂点p32をキャンセルするキャンセルボタンca31やca32は、すべて特定領域指示手段の例である。またこの特定領域を確定させるという意味で、図4の受付部32や設定部37も、特定領域指示手段の一部である。
【0184】
このような特徴により、特定領域をユーザが視認しつつ、特定領域を確定させることが可能となるので、ユーザによる特定領域の指定ミスを防ぐことができる。また、ユーザにとって不要であると考える領域については特定領域として選択しないとする指示も可能である。
【0185】
本発明の一実施形態にかかる画像処理装置3は、特定領域指示手段が画像合成手段による画像合成前のいずれかの画像{一例として、図11(b)の合成前画像(モノクロ)600、または図11(c)の合成前画像(カラー)601}において特定領域を指示することを特徴としている。
【0186】
このような特徴により、合成後の画像は位置ずれに起因した色ずれが発生している場合に、合成前の画像を表示することで、位置ずれに起因した色ずれが発生している合成後の画像をユーザに見せないようにすることができる。
【0187】
本発明の一実施形態にかかる画像処理装置3は、特定領域指示手段が画像合成手段による画像合成後の画像{一例として、図11(d)の画像合成後の画像(モノクロ・カラー)602}において特定領域を指示することを特徴としている。
【0188】
このような特徴により、位置ずれに起因した色ずれが発生している箇所がはっきりとわかるほうがいい場合には合成後の画像のほうが再位置合わせをしたい領域をユーザはよりはっきりと視認できる。
【0189】
本発明の一実施形態にかかる画像処理装置3は、画像合成手段による画像合成前の画像または画像合成後の画像のいずれかを切り替え可能に表示させる{一例として、図11(b)の画像合成前の画像(モノクロ)600、図11(c)の画像合成前の画像(カラー)601または図11(e)の画像合成後の画像(モノクロ・カラー)602を切り替え可能に表示させる}表示制御部を備えることを特徴としている。
【0190】
このような特徴により、合成前または合成後の画像のうち、ユーザが希望する画像により、特定領域を指示することができる。
【0191】
本発明の一実施形態にかかる画像処理システム1は、請求項1乃至請求項8に記載の画像処理装置と、再位置合わせ手段による再位置合わせ後の画像を、通信回線を介して受信可能な外部端末6と、を有することを特徴としている。
【0192】
このような特徴により、一例ではあるが、この外部端末6が持ち運び可能な端末であって、図2の点検シーンの場合においては、画像処理装置3が外部端末6へ確定ボタンco31及びco32を含む表示画面情報を送信し、外部端末6が確定ボタンco31及びco32を表示し、外部端末6から特定領域を指定することができれば、作業者による再撮影が迅速にできるようになり撮影ミスによるリカバーが短時間でできる。
【0193】
また別の一例ではあるが、この外部端末6が国等のシステムである場合について説明する。
【0194】
検査業者が国等によって定められた提出書類(変状展開図、写真台帳、及びトンネル点検結果総括表)を、作成部53が診断情報管理DB5001及び診断対象要素管理DB5002で管理されている各種データに基づいて作成し、国等へ提出する。このため国等への提出書類の作成上の利便性を向上させることができる。また、写真台帳の写真には再位置合わせ後の色ズレのない写真を使うため、国等への提出書類の品質の向上も図ることができる。
【符号の説明】
【0195】
1 画像処理システム
3 画像処理装置
5 画像管理サーバ
6 外部端末
7 検査車両
8 トンネル
9 撮影車両
31 送受信部
32 受付部
33 描画部
34 表示制御部
35 判断部
36 画像処理部
37 設定部
39 記憶・読出部
51 送受信部(画像管理サーバ)
53 作成部
55 判断部(画像管理サーバ)
59 記憶・読出部(画像管理サーバ)
100 通信ネットワーク
201 トンネル展開画像
201c 座標データ
301 CPU
302 ROM
303 RAM
304 HD
305 HDD
306 メディア
307 メディアI/F
308 ディスプレイ
309 ネットワークI/F
310 バスライン
311 キーボード
312 マウス
313 CD-RW
314 CD-RWドライブ
400 パターン画像
501 CPU(画像管理サーバ)
502 ROM(画像管理サーバ)
503 RAM(画像管理サーバ)
504 HD(画像管理サーバ)
505 HDD(画像管理サーバ)
506 メディア(画像管理サーバ)
507 メディアI/F(画像管理サーバ)
508 ディスプレイ(画像管理サーバ)
509 ネットワークI/F(画像管理サーバ)
510 バスライン(画像管理サーバ)
511 キーボード(画像管理サーバ)
512 マウス(画像管理サーバ)
513 CD-RW(画像管理サーバ)
514 CD-RWドライブ(画像管理サーバ)
600 画像合成前の画像(モノクロ)
601 画像合成前の画像(カラー)
602 画像合成後の画像(モノクロ・カラー)
603 再位置合わせ後の画像(モノクロ・カラー)
604 特定領域
2010 モノクロトンネル展開画像
2011 カラートンネル展開画像
2012 モノクロ及びカラートンネル展開画像
2012c モノクロ・カラー座標データ
3000 記憶部
5000 記憶部(画像管理サーバ)
5001 診断情報管理DB
5002 診断対象要素管理DB
【先行技術文献】
【特許文献】
【0196】
【特許文献1】特開2002-288180号公報
【特許文献2】特開2019―211410号公報
【特許文献3】特開2010―177882号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
【手続補正書】
【提出日】2022-03-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項5
【補正方法】変更
【補正の内容】
【請求項5】
請求項1乃至請求項4に記載の画像処理装置であって、
前記特定領域は構造部の損傷個所を含む領域である、
ことを特徴とする画像処理装置

【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0118
【補正方法】変更
【補正の内容】
【0118】
この提出書類データは画像管理サーバ5の作成部53により作成される(S511)。具体的には国等によって定められた提出書類(変状展開図、写真台帳、及びトンネル点検結果総括表など)を、作成部53が診断情報管理DB5001及び診断対象要素管理DB5002で管理されている各種データに基づいて自動で作成する。