IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7510472情報処理装置、情報処理方法及びプログラム
<>
  • 特許-情報処理装置、情報処理方法及びプログラム 図1
  • 特許-情報処理装置、情報処理方法及びプログラム 図2
  • 特許-情報処理装置、情報処理方法及びプログラム 図3
  • 特許-情報処理装置、情報処理方法及びプログラム 図4
  • 特許-情報処理装置、情報処理方法及びプログラム 図5
  • 特許-情報処理装置、情報処理方法及びプログラム 図6
  • 特許-情報処理装置、情報処理方法及びプログラム 図7
  • 特許-情報処理装置、情報処理方法及びプログラム 図8
  • 特許-情報処理装置、情報処理方法及びプログラム 図9
  • 特許-情報処理装置、情報処理方法及びプログラム 図10
  • 特許-情報処理装置、情報処理方法及びプログラム 図11
  • 特許-情報処理装置、情報処理方法及びプログラム 図12
  • 特許-情報処理装置、情報処理方法及びプログラム 図13
  • 特許-情報処理装置、情報処理方法及びプログラム 図14
  • 特許-情報処理装置、情報処理方法及びプログラム 図15
  • 特許-情報処理装置、情報処理方法及びプログラム 図16
  • 特許-情報処理装置、情報処理方法及びプログラム 図17
  • 特許-情報処理装置、情報処理方法及びプログラム 図18
  • 特許-情報処理装置、情報処理方法及びプログラム 図19
  • 特許-情報処理装置、情報処理方法及びプログラム 図20
  • 特許-情報処理装置、情報処理方法及びプログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-25
(45)【発行日】2024-07-03
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20240626BHJP
   G06T 7/00 20170101ALI20240626BHJP
【FI】
G01N21/88 J
G06T7/00 610
G06T7/00 616
【請求項の数】 20
(21)【出願番号】P 2022158764
(22)【出願日】2022-09-30
(65)【公開番号】P2023083218
(43)【公開日】2023-06-15
【審査請求日】2023-07-13
(31)【優先権主張番号】P 2021197278
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】三ツ元 信一
(72)【発明者】
【氏名】間宮 悟
【審査官】赤木 貴則
(56)【参考文献】
【文献】特開2019-211277(JP,A)
【文献】特開2007-026255(JP,A)
【文献】特開2018-185146(JP,A)
【文献】特開2018-004541(JP,A)
【文献】国際公開第2021/152855(WO,A1)
【文献】米国特許出願公開第2020/0118263(US,A1)
【文献】特開2018-198053(JP,A)
【文献】米国特許出願公開第2020/0103353(US,A1)
【文献】特開2020-052786(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-G01N 21/958
G06T 7/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
同じ対象を撮影した画像に基づいて作成された、第1の変状データ及び第2の変状データを取得する取得手段と、
前記第1の変状データ及び前記第2の変状データに基づいて、前記第1の変状データと前記第2の変状データ共通部分と、前記第1の変状データと前記第2の変状データの差異部分とを求め、前記共通部分と前記差異部分の境界に対応する位置データを算出する算出手段と、
前記位置データを用いて前記共通部分と前記差異部分を含む変状の変化を示す状態変化データを作成する作成手段と、を有することを特徴とする情報処理装置。
【請求項2】
前記算出手段は、前記第1の変状データ及び前記第2の変状データのいずれか一方を基準データとし、もう一方を比較データとし、前記比較データに基づく膨張領域を設定し、
前記基準データのうち前記膨張領域に内包される部分の変状データを前記共通部分とし、それ以外の変状データを前記差異部分とし、前記基準データと前記膨張領域との交点の座標を前記位置データとすることを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記変状データは、変状を構成する少なくとも1つの線分の情報を含み、
前記作成手段は、前記基準データの線分に対して前記比較データの線分が複数ある場合、前記比較データの線分のうち前記膨張領域と重複する長さが最も長い線分を前記比較データの線分とすることを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記膨張領域は、複数の膨張領域が重なり合う場合には、重なり合う全ての領域に設定されることを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記変状データは、変状ごとの識別情報、変状の幅、変状を構成する線分の頂点の数、頂点の座標を含み、
前記膨張領域のデータは、変状ごとの識別情報、前記膨張領域の輪郭の座標を含むことを特徴とする請求項2に記載の情報処理装置。
【請求項6】
前記作成手段は、前記共通部分の変状データと、前記差異部分の変状データと、前記基準データと前記比較データの前記共通部分の対応関係を示す対応関係データと、を前記状態変化データとして作成することを特徴とする請求項2に記載の情報処理装置。
【請求項7】
前記取得手段は、前記第1の変状データが登録されている第1の変状データテーブルから前記第1の変状データを読み出し、前記第2の変状データが登録されている第2の変状データテーブルから前記第2の変状データを読み出し、
前記作成手段は、前記共通部分の変状データが登録される前記共通部分の変状データテーブルと、前記差異部分の変状データが登録される前記差異部分の変状データテーブルとを作成し、
前記位置データを前記共通部分のデータテーブル及び前記差異部分のデータテーブルに登録し、
前記対応関係データが登録される対応関係データテーブルを作成することを特徴とする請求項6に記載の情報処理装置。
【請求項8】
前記対応関係データは、前記共通部分の変状データの幅を示す情報を含むことを特徴とする請求項6に記載の情報処理装置。
【請求項9】
前記算出手段は、
前記第1の変状データを基準データとし、前記第2の変状データを比較データとして、共通部分と差異部分を求めると共に、
前記第2の変状データを基準データとし、前記第1の変状データを比較データとして、共通部分と差異部分を求め、
前記作成手段は、得られた結果の各々に対して前記状態変化データを作成することを特徴とする請求項1に記載の情報処理装置。
【請求項10】
前記第1の変状データは、第1の時期に検査対象を撮影した画像から作成された変状データであり、
前記第2の変状データは、前記第1の時期より後の第2の時期に検査対象を撮影した画像から作成された変状データであることを特徴とする請求項1に記載の情報処理装置。
【請求項11】
前記変状データは、ひび割れに関するデータであることを特徴とする請求項1に記載の情報処理装置。
【請求項12】
前記算出手段は、
前記膨張領域に内包される基準データに対して、前記比較データとの一致度を算出する第2の算出手段と、
前記一致度に基づき前記共通部分とする変状データをさらに絞り込む絞り込み手段と、を有することを特徴とする請求項2に記載の情報処理装置。
【請求項13】
前記第2の算出手段は、前記比較データとの距離と角度から前記一致度を算出することを特徴とする請求項12に記載の情報処理装置。
【請求項14】
前記第2の算出手段は、前記基準データを構成する線分ごとに前記一致度を算出することを特徴とする請求項12に記載の情報処理装置。
【請求項15】
前記第2の算出手段は、前記線分ごとに算出した前記一致度の値を前記基準データの繋がりに沿って移動平均することを特徴とする請求項14に記載の情報処理装置。
【請求項16】
前記第2の算出手段は、前記一致度が閾値未満の外れ値を除外することで、前記絞り込みを行うことを特徴とする請求項12に記載の情報処理装置。
【請求項17】
前記絞り込み手段は、変状データの特性に基づいて絞り込みを行うことを特徴とする請求項12に記載の情報処理装置。
【請求項18】
同じ対象を撮影した画像に基づいて作成された、第1の変状データ及び第2の変状データを入力する入力手段を備える入力装置と、
前記入力装置から前記第1の変状データ及び前記第2の変状データを取得する取得手段と、
前記第1の変状データ及び前記第2の変状データに基づいて、前記第1の変状データと前記第2の変状データ共通部分と、前記第1の変状データと前記第2の変状データの差異部分とを求め、前記共通部分と前記差異部分の境界に対応する位置データを算出する算出手段と、
前記位置データを用いて前記共通部分と前記差異部分を含む変状の変化を示す状態変化データを作成する作成手段と、を備える情報処理装置と
を有することを特徴とする情報処理システム。
【請求項19】
変状の状態変化を検出する情報処理方法であって、
取得手段が、同じ対象を撮影した画像に基づいて作成された、第1の変状データ及び第2の変状データを取得するステップと、
算出手段が、前記第1の変状データ及び前記第2の変状データに基づいて、前記第1の変状データと前記第2の変状データ共通部分と、前記第1の変状データと前記第2の変状データの差異部分とを求め、前記共通部分と前記差異部分の境界に対応する位置データを算出するステップと、
作成手段が、前記位置データを用いて前記共通部分と前記差異部分を含む変状の変化を示す状態変化データを作成するステップと、を有することを特徴とする情報処理方法。
【請求項20】
コンピュータを、請求項1から17のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、変状の状態変化を判定する技術に関する。
【背景技術】
【0002】
構造物の壁面等の検査対象を撮影した画像からひび割れ等の変状を検出したり、異なる時期に撮影された画像から変状の進展や縮退等の状態変化を判定したりする方法がある。特許文献1には、異なる時期に撮影された第1の画像から作成された第1の変状データと第2の画像から作成された第2の変状データとを比較して変状の長さや幅等の状態変化を判定する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-211277号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1では変状の長さや幅等の状態変化を確認可能であるが、過去の変状の形状や位置が変化する等、単に過去の変状から進展した形状となっていない場合がある。このため、過去の変状から変化している部分と変化していない部分を正確に再現可能な変状データを作成することができない場合がある。
【0005】
本発明は、上記課題に鑑みてなされ、変状の状態変化を正確に再現可能な変状データを作成できるようにすること目的としている。
【課題を解決するための手段】
【0006】
上記課題を解決し、目的を達成するために、本発明の情報処理装置は、同じ対象を撮影した画像に基づいて作成された、第1の変状データ及び第2の変状データを取得する取得手段と、前記第1の変状データ及び前記第2の変状データに基づいて、前記第1の変状データと前記第2の変状データ共通部分と、前記第1の変状データと前記第2の変状データの差異部分とを求め、前記共通部分と前記差異部分の境界に対応する位置データを算出する算出手段と、前記位置データを用いて前記共通部分と前記差異部分を含む変状の変化を示す状態変化データを作成する作成手段と、を有する。
【発明の効果】
【0007】
本発明によれば、変状の状態変化を正確に再現可能な変状データを作成することが可能となる。
【図面の簡単な説明】
【0008】
図1】本実施形態の情報処理装置のハードウェア構成を示すブロック図。
図2】本実施形態の変状データテーブルを例示する図。
図3】本実施形態の変状データに基づいて描画されたひび割れの表示例を示す図。
図4】本実施形態のUI画面を例示する図。
図5】本実施形態の状態変化判定処理を示すフローチャート。
図6図5の状態変化判定処理結果の表示例を示す図。
図7図5の状態変化データ作成処理を示すフローチャート。
図8図7の変状データの膨張処理の説明図。
図9図7の共通部分及び差異部分の変状データ作成処理を示すフローチャート。
図10】共通部分及び差異部分の変状データテーブルを例示する図。
図11】共通部分及び差異部分の変状データと膨張領域の関係を例示する図。
図12】対応関係データ作成処理を示すフローチャート。
図13】対応関係データテーブルを例示する図。
図14】基準データと対応する比較データを決定する処理の説明図。
図15】状態変化データの種類を説明する図。
図16】状態変化データの表示例を示す図。
図17】実施形態2の状態変化データ作成処理を示すフローチャート。
図18図17の共通部分の精査処理を示すフローチャート。
図19図18の精査処理におけるスコア算出方法を説明する図。
図20図18の精査処理を説明する図。
図21図18の精査処理における比較対象変状データの最終判定方法を説明する図。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
[実施形態1]
実施形態1では、コンピュータ装置が情報処理装置として動作し、異なる時期に撮影された画像から検出された変状について、進展、縮退、修繕等による消失等の状態変化を判定し、変状の状態変化を正確に再現可能な変状データを作成し、変状の状態変化を多面的に把握できるように表示する例について説明する。
【0011】
なお、変状とは、自動車専用道路、橋梁、トンネル、ダム等のコンクリート構造物の損傷、劣化、その他の要因によりコンクリート面に生じるひび割れ等であり、ひび割れとは、経年劣化や地震の衝撃等により構造物の壁面等に生じる始点、終点、長さ及び幅を持つ線状の損傷である。
【0012】
<ハードウェア構成>
まず、図1を参照して、本実施形態の情報処理装置のハードウェア構成について説明する。
【0013】
図1は、本実施形態の情報処理装置100のハードウェア構成を示すブロック図である。
【0014】
本実施形態は、コンピュータ装置が情報処理装置100として動作する。なお、本実施形態の情報処理装置の処理は単一のコンピュータ装置で実現してもよいし、必要に応じて複数のコンピュータ装置に各機能を分散して実現してもよい。複数のコンピュータ装置は、互いに通信可能に接続されている。
【0015】
情報処理装置100は、制御部101、不揮発性メモリ102、ワークメモリ103、記憶デバイス104、入力デバイス105、出力デバイス106、ネットワークインターフェース107、システムバス108を備える。
【0016】
制御部101は、情報処理装置100の全体を統括して制御するCPU、MPU等の演算処理プロセッサを含む。不揮発性メモリ102は、制御部101のプロセッサが実行するプログラムやパラメータを格納するROMである。ここで、プログラムとは、後述する状態変化判定処理を実行するためのプログラムのことである。ワークメモリ103は、外部装置等から供給されるプログラムやデータを一時記憶するRAMである。記憶デバイス104は、情報処理装置100に内蔵されたハードディスクやメモリカード等の内部機器又は情報処理装置100に着脱可能に接続されたハードディスクやメモリカード等の外部機器である。記憶デバイス104は、半導体メモリや磁気ディスク等から構成されるメモリカードやハードディスク等を含む。また、記憶デバイス104は、DVD、Blu-ray(登録商標) Disc等の光ディスクに対してデータの読み出し/書き込みを行うディスクドライブから構成される記憶媒体を含む。
【0017】
入力デバイス105は、ユーザ操作を受け付けるマウス、キーボード、タッチパネル等の操作部材であり、操作指示を制御部101に出力する。出力デバイス106は、LCDや有機ELから構成されるディスプレイやモニタ等の表示装置であり、情報処理装置100が保有するデータや外部機器から供給されたデータを表示する。ネットワークインターフェース107は、インターネットやLAN(Local Area Network)等のネットワークに通信可能に接続する。システムバス108は、情報処理装置100の各構成要素101~107をデータの授受が可能に接続するアドレスバス、データバス及び制御バスを含む。
【0018】
不揮発性メモリ102には、制御部101が実行する基本的なソフトウェアであるOS(オペレーティングシステム)や、このOSと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ102には、情報処理装置100が、後述する状態変化判定処理を実現するアプリケーションが格納されている。
【0019】
本実施形態の情報処理装置100の処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションは情報処理装置100にインストールされたOSの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、情報処理装置100のOSが本実施形態における処理を実現するためのソフトウェアを有していてもよい。
【0020】
<変状データテーブル>
次に、図2図4を参照して、本実施形態の変状データテーブルのデータ構造について説明する。
【0021】
本実施形態では、変状をベクタデータで表現し、変状としてひび割れの例を説明する。
【0022】
図2(a)は、第1の時期に検査対象を撮影した画像から作成された第1の変状データが登録されている第1の変状データテーブル201を例示している。図2(b)は、第1の時期より後の第2の時期に検査対象を撮影した画像から作成された第2の変状データが登録されている第2の変状データテーブル251を例示している。
【0023】
第1の変状データテーブル201及び第2の変状データテーブル251は、ひび割れに関する情報(変状データ)として、変状ID202、252、最大幅203、253、頂点数204、254、頂点座標リスト205、255を含む。変状ID202、252はひび割れごとに一意に割り振られた識別情報である。最大幅203、253は、ひび割れの幅(太さ)の最大値である。頂点数204、254と頂点座標リスト205、255はひび割れの形状を1つ又は複数の線分からなるポリラインとして表現するための各線分の始点及び終点に対応する頂点の数及び頂点の座標の情報である。なお、変状データテーブル201、251は、検査対象を撮影した画像から取得した情報からなり、各変状データは、ユーザがタブレット等で画像上にトレースして入力したり、画像解析処理等によって自動生成されたり、それらの組み合せにより入力されたりする。また、画像解析処理は、AI(人口知能)の機械学習・深層学習により作成された学習モデルを用いて実行されてもよい。
【0024】
図3(a)は、図2(a)に示す第1の変状データテーブル201に登録されている第1の変状データに基づいて描画されたひび割れの表示画面300を例示している。表示画面300において、ひび割れ301は変状データテーブル201における変状IDがCa001の変状データに基づいて描画されている。同様にして、ひび割れ302~310がそれぞれ変状IDCa002~Ca010に対応している。
【0025】
図3(b)は、図2(b)に示す第2の変状データテーブル251に登録されている第2の変状に基づいて描画されたひび割れの表示画面350を例示している。表示画面350において、ひび割れ351は変状データテーブル251における変状IDがCb001の変状データに基づいて描画されている。同様に、ひび割れ352~360がそれぞれ変状IDCb002~Cb010に対応している。
【0026】
図4は、本実施形態の情報処理装置100において実行される状態変化判定理を実現するアプリケーションのGUI(Graphical User Interface)画面400を例示している。
【0027】
GUI画面400において、第1のデータ入力ボタン401は、図2(a)の第1の変状データテーブル201に登録されている第1の変状データを選択するためのボタンである。ユーザがボタン401を操作すると、ファイル選択ダイアログ(非図示)が表示され、記憶デバイス104に格納されている第1の変状データテーブル201の第1の変状データが選択される。第2のデータ入力ボタン402は、図2(b)の第2の変状データテーブル251に登録されている第2の変状データを選択するためのボタンである。ユーザがボタン402を操作すると、ファイル選択ダイアログ(非図示)が表示され、記憶デバイス104に格納されている第2の変状データテーブル251の第2の変状データが選択される。
【0028】
第1の変状データ表示領域411は、第1のデータ入力ボタン401により選択された第1の変状データを表示する領域である。第1の変状データ表示領域411には、図2(a)の第1の変状データテーブル201に登録されている第1の変状データに基づいてひび割れが描画された図3(a)に示す第1の変状データの表示画面300が表示される。同様に、第2の変状データ表示領域412は、第2のデータ入力ボタン402により選択された第2の変状データを表示する領域である。第2の変状データ表示領域412には、図2(b)に示す第2の変状データテーブル251に登録されている第2の変状データに基づいて描画されたひび割れの表示画面350が表示される。
【0029】
結果表示領域421は、図2(a)の第1の変状データテーブル201と図2(b)の第2の変状データテーブル251に対して、図6で後述する状態変化判定処理結果である状態変化データを表示する領域である。基準選択ボタン431は、状態変化判定処理において基準とした変状データを選択するためのボタンであり、図4の例では第1の変状データ又は第2の変状データが選択可能である。結果出力ボタン441は、状態変化判定処理結果をファイルとして出力するためのボタンである。状態変化判定処理結果として出力されるデータ及びファイルについては後述する。
【0030】
<状態変化判定処理>
次に、図5及び図6を参照して、本実施形態の情報処理装置100において実行される状態変化判定処理について説明する。
【0031】
図5は、本実施形態の情報処理装置100において実行される状態変化判定処理を示すフローチャートである。
【0032】
図5の処理は、図1に示す情報処理装置100の制御部101が不揮発性メモリ102に格納されているプログラムをワークメモリ103に展開して実行して各構成要素を制御することにより実現される。後述する図17でも同様である。
【0033】
本実施形態では、異なる時期に作成された過去の第1の変状データと直近の第2の変状データとを入力し、過去の第1の変状データと直近の第2の変状データにおける共通部分及び差異部分を算出し、算出した状態変化データを表示する処理の例を説明する。
【0034】
S501では、制御部101は、記憶デバイス104に格納されている第1の変状データテーブル201から過去の第1の変状データを読み出し、第2の変状データテーブル251から直近の第2の変状データを読み出す。
【0035】
S502では、制御部101は、S501で入力した過去の第1の変状データを基準データとし、直近の第2の変状データを比較データとした第1の状態変化データを作成する。第1の状態変化データは、過去の第1の変状データと直近の第2の変状データに共通して存在すると判定された共通部分を示す情報を含む。また、第1の状態変化データは、過去の第1の変状データには存在するが直近の第2の変状データには存在しないと判定された差異部分を示す情報を含む。さらに、第1の状態変化データは、過去の第1の変状データの共通部分と直近の第2の変状データの共通部分の対応関係を示す情報を含む。
【0036】
S503では、制御部101は、S501で入力した直近の第2の変状データを基準データとし、過去の第1の変状データを比較データとした第2の状態変化データを作成する。第2の状態変化データは、過去の第1の変状データと直近の第2の変状データに共通して存在すると判定された共通部分を示す情報を含む。また、第2の状態変化データは、直近の第2の変状データには存在するが過去の第1の変状データには存在しないと判定された差異部分を示す情報を含む。さらに、第2の状態変化データは、過去の第1の変状データの共通部分と直近の第2の変状データの共通部分の対応関係を示す情報を含む。
【0037】
共通部分を示す情報とは、基準データのうち、比較データにも存在する変状部分の情報である。また、差異部分を示す情報とは、比較データには存在しないが基準データには存在する変状部分の情報である。例えば、比較データが過去の第1の変状データであり、基準データが直近の第2の変状データである場合、差異部分を示す情報は、過去の検査時には検出されていない新たに発生したひび割れに対応する。また、比較データが直近の第2の変状データであり、基準データが過去の第1の変状データである場合、修繕等により消失したひび割れに対応する。
【0038】
S502、S503における状態変化データ作成処理及びデータ構造については後述する。
【0039】
S504では、制御部101は、S502及びS503で作成された状態変化データを表示する際の基準データを設定する。
【0040】
S505では、制御部101は、S504で設定された変状データを基準データとして、S502で作成された第1の状態変化データ又はS503で作成された第2の状態変化データを図4の結果表示領域421に表示する。S504で設定された基準データが直近の第2の変状データである場合、S503で作成された第2の状態変化データのうち、過去の第1の変状データと直近の第2の変状データの共通部分、過去の第1の変状データには存在しない差異部分が表示される。さらに、S502で作成された第1の状態変化データうち、過去の第1の変状データには存在しない差異部分が表示される。
【0041】
図6は、図5のS505において、図4の結果表示領域421に表示される状態変化データであって、直近の第2の変状データを基準データとし、過去の第1の変状データを比較データとした場合の状態変化判定処理結果の表示例を示している。図6の表示領域600は図4の結果表示領域421に対応している。実線で示されている線分601~610は過去から直近までの期間の共通部分のひび割れに対応する。点線で示されている線分621~624は、過去の第1の変状データを比較データ、直近の第2の変状データを基準データとした場合の差異部分に対応し、過去から直近までの期間に新たに発生したひび割れに対応する。二重線で示されている線分631は、直近の第2の変状データを比較データ、過去の第1の変状データを基準データとした場合の差異部分に対応し、過去から直近までの期間に消失したひび割れに対応する。なお、図6の例では、3種類の変状部分を識別可能に表示するため、実線、点線、二重線で表現しているが、これらを異なる色で描画することによって区別してもよい。
【0042】
S506では、制御部101は、入力デバイス105により受け付けたユーザ操作が、図4の結果出力ボタン441による結果出力指示であるか、基準選択ボタン431による基準切替指示であるかを判定する。制御部101は、入力デバイス105により受け付けたユーザ操作が結果出力指示であると判定した場合は処理をS507に進める。制御部101は、入力デバイス105により受け付けたユーザ操作が基準切替指示であると判定した場合は処理をS508に進める。
【0043】
S507では、制御部101は、S502及びS503で作成された状態変化データをファイルとして出力し処理を終了する。出力されるファイル形式は、本実施形態の変状データ構造を記述できるものであれば、CSV、JSON、XML等の既知のフォーマット、独自のフォーマット、それらの組み合せ、のいずれであってもよい。また、状態変化データは、基準データごとに、共通部分の変状データ(図10(a)で後述する)、差異部分のデータ(図10(b)で後述する)、対応関係データ(図13で後述する)の3種類が作成され、図15で後述する合計6種類のデータを含む。なお、S507のファイル出力においては、6種類のデータ全てを1ファイル、3種類のデータごとの2ファイル、データの種類ごとにまとめた3ファイル、6種類のデータの個々のファイル、あるいは、その他の組み合せとしてもよい。
【0044】
S508では、制御部101は、変状データをS506で指定された基準データに切り替えて処理をS505に戻す。基準データが過去の第1の変状データに切り替えられた場合、図6の例では、実線で示されている線分は過去の第1の変状データ、すなわち、過去の検査時に検出されたひび割れの形状を示す。また、点線で示されている線分は直近の第2の変状データ、すなわち、直近の検査時に新たに検出されたひび割れの形状を示す。また、二重線で示されている線分は、過去の検査時に検出されたが直近の検査時に消失したひび割れを示す。これにより、過去の第1の変状データと直近の第2の変状データについてひび割れの位置がずれていたり、ポリラインの形状が相違していたりしても、基準データとして表示される変状データの共通部分や差異部分のひび割れを正確に把握することができる。
【0045】
なお、図5の処理において、S501~S503に代えて、S507で出力された既存の状態変化データファイルを読み出して表示可能なデータ構造に変換し、S504~S508と同様の処理を行ってもよい。
【0046】
図7は、図5のS502及びS503の状態変化データ作成処理を示すフローチャートである。
【0047】
S701では、制御部101は、S501で入力した過去の第1の変状データ及び直近の第2の変状データのうち比較データとなる変状データテーブルにおける変状IDごとの変状データについて膨張領域を設定する膨張処理を実行する。
【0048】
図8は、図7のS701における膨張処理の説明図である。図8(a)は、図2(a)、(b)の変状データテーブルのうち比較データとなる変状データテーブルにおける変状IDごとの変状データについて膨張処理を行い作成される膨張領域データテーブル801を例示している。膨張領域データテーブル801は、変状ID802と膨張領域情報803とを含む。変状ID802は図2(a)、(b)の変状データテーブルおける変状IDに対応する。膨張領域情報803は、変状データについて膨張処理を行った結果として作成される膨張領域の輪郭を表現するベクタデータであり、例えば、後述する多角形の頂点座標リストに対応する。
【0049】
図8(b)は、図2(a)の第1の変状データテーブル201における変状IDCa001の変状データに基づいて描画されるひび割れのポリライン804を例示している。図8(c)の細線805は、図8(b)のポリライン804に対して膨張処理を行い作成された多角形の膨張領域を例示している。なお、ポリライン804の黒丸は変状IDCa001の頂点座標リストに登録されている頂点座標に対応する。膨張領域805は、ポリライン804を構成する各線分を両側に所定距離Dだけ平行移動した線分の延長と、ポリライン804の両端の線分と直交しかつ両端の接点を通る直線の交点とを結ぶことにより作成される。なお、膨張領域805の形状は多角形に限定されるものではなく、閉じた領域であればよい。例えば、図8(c)において、ポリライン804の屈曲部分の頂点の両側の角806、807は、ポリライン804からの距離が所定距離Dより長くなるため、屈曲部分の頂点を中心とした距離Dを半径とした円弧でアウトラインの角を丸めた形状としてもよい。特に、ポリライン804の屈曲部分が鋭角な場合は所定距離Dとの差が顕著であるため、角を丸める処理は、共通部分について基準データとの対応関係データを作成する場合における精度向上に寄与する。
【0050】
S702では、制御部101は、基準データの変状データとS701で作成された比較データの変状データから作成された膨張領域データとを用いて、基準データと比較データの共通部分と差異部分の変状データを作成する。共通部分と差異部分の変状データ作成処理は図9で後述する。
【0051】
S703では、制御部101は、S701で作成された膨張領域データとS702で作成された共通部分の変状データとの対応関係を示す対応関係データを作成する。対応関係データ作成処理は図12で後述する。
【0052】
<共通部分と差異部分の変状データ作成処理>
次に、図9図11を参照して、図7のS702の共通部分と差異部分の変状データ作成処理について説明する。
【0053】
図9は、図7のS702における共通部分と差異部分の変状データ作成処理を示すフローチャートである。
【0054】
S901では、制御部101は、処理結果として出力される、共通部分と差異部分の変状データテーブルを初期化する。
【0055】
図10(a)は共通部分の変状データテーブル1001を例示している。図10(b)は差異部分の変状データテーブル1051を例示している。図10(a)の共通部分の変状データテーブル1001は、共通部分の変状データを識別する変状ID1002、共通部分と差異部分に区別される前の基準となる変状データを識別する基準変状ID1003、最大幅1004、頂点数1005、頂点座標リスト1006を含む。基準変状ID1003、最大幅1004、頂点数1005、頂点座標リスト1006は、図2(a)の変状ID202、最大幅203、頂点数204、頂点座標リスト205と同様である。
【0056】
図10(b)の差異部分の変状データテーブル1015は、差異部分の変状データを識別する変状ID1052、共通部分と差異部分に区別される前の基準となる変状データを識別する基準変状ID1053、最大幅1054、頂点数1055、頂点座標リスト1056を含む。基準変状ID1053、最大幅1054、頂点数1055、頂点座標リスト1056は、図2(b)の変状ID252、最大幅253、頂点数254、頂点座標リスト255と同様である。図10(a)の共通部分の変状データテーブル1001及び図10(b)の差異部分の変状データテーブル1015は、初期化されると、各項目にデータが未登録されていない空の状態となる。図10(a)の共通部分の変状データテーブル1001及び図10(b)の差異部分の変状データテーブル1015は、S902以降の処理において変状データを登録する位置を示すポインタをそれぞれ備えており、初期化時は両テーブルとも最初の行にポインタが位置する。
【0057】
次に、図11を参照して、図9の処理を説明する。
【0058】
図11は、図2(a)、(b)の変状データのうち基準データと、比較データから作成される膨張領域データとの関係を例示している。図11(a)において、ポリライン1100は基準データの頂点座標を結ぶ線分を示している。線分1101~1106は、ポリライン1100における隣り合う2つの頂点を結ぶ線分を示している。膨張領域1111、1112は、S701で比較データから作成された膨張領域データを示している。
【0059】
S902では、S903~S910の処理を、図2(a)、(b)の変状データのうち基準データとなる変状データごとに繰り返す、すなわち、図11に例示したポリライン1100を単位として繰り返す。
【0060】
S903では、S904~S909の処理を、基準データにおける現在の処理対象の変状データのポリラインの線分ごとに繰り返す、すなわち、図11に示すポリライン1100の各線分1101~1106について繰り返す。
【0061】
S904では、制御部101は、現在の処理対象の変状データの線分と重複する膨張領域に対応する比較データの変状データを、図8の膨張領域データテーブル801から検索する。変状データの線分と膨張領域とが重複するか否かの判定は、コンピュータゲーム等の分野で広く知られている衝突判定の技術等を使用する。制御部101は、現在の処理対象の変状データの線分と重複する膨張領域に対応する比較データの変状データが検出されなかった場合は処理をS905に進める。制御部101は、現在の処理対象の変状データの線分と重複する膨張領域に対応する比較データの変状データが検出された場合は処理をS906に進める。図11(a)の例では、線分1101と膨張領域1111、1112はいずれも重複しないため、処理はS905に進む。
【0062】
S905では、制御部101は、現在の処理対象の変状データの線分を、図10(b)の差異部分の変状データテーブル1051のポインタ位置に追加する。線分1101は最初の行に追加される線分であるため、新規のIDを発行して差異部分の変状IDに登録される。また、線分1101の変状IDと最大幅が、図10(b)の差異部分の変状データテーブル1051の基準変状ID1053と最大幅1054にそれぞれ登録される。さらに、頂点数1055に2、頂点座標リスト1056に線分1101の頂点座標が登録される。
【0063】
次の線分1102は、膨張領域1111と重複しているため、S904で現在の処理対象の変状データの線分と重複する膨張領域に対応する比較データの変状データが検出されたと判定され、処理はS906に進む。
【0064】
S906では、制御部101は、現在の処理対象の変状データの線分が膨張領域に内包されているか否かを判定する。制御部101は、現在の処理対象の変状データの線分の一部が膨張領域に内包されていると判定した場合は処理をS907に進め、線分が全て膨張領域に内包されていると判定した場合は処理をS908に進める。変状データの線分が膨張領域に内包されているか否かの判定や後述する交点の算出は、コンピュータグラフィクスの分野で広く知られている技術等を使用する。線分1102は一部が膨張領域に内包されているため、処理はS907に進む。
【0065】
S907では、制御部101は、膨張領域に内包されている線分と膨張領域からはみ出している線分とを膨張領域の輪郭線と線分の交点で分割することで、比較対象の変状データテーブルの頂点座標リストにない中間点座標の位置データを算出する。中間点座標の算出は、図11(b)において、線分1102における菱形の輪郭線1111との交点である中間点1131を算出する。中間点1131は、線分1102を線分1121と線分1122に分割し、共通部分と差異部分の境界となる。
【0066】
S908では、制御部101は、S907で分割した線分のデータを、膨張領域に内包された線分のデータと膨張領域外の線分のデータとに分ける。そして、膨張領域に内包された線分のデータを図10(a)の共通部分の変状データテーブル1001に追加する。また、膨張領域外の線分のデータを図10(b)の差異部分の変状データテーブル1051に追加する。線分1121のデータは、図10(a)の共通部分の変状データテーブル1001に追加される。線分1122のデータは、図10(b)の差異部分の変状データテーブル1051に追加される。図10(a)の共通部分の変状データテーブル1001は、S905でポインタ位置に線分1101の頂点座標が登録されているが、線分1121は線分1101と連続しているため、線分1121の線分1101と隣り合う1つ目の頂点の数が1つ加算される。さらに線分1121の2つ目の座標である中間点1131の頂点座標が頂点座標リストにない頂点座標として追加される。また、線分1122は、中間点1131の頂点座標が図10(a)の共通部分の変状データテーブル1001に新規に追加されるが、線分1122の新規の追加処理はS905と同様である。
【0067】
次の線分1103も膨張領域1111と重複しているため、S904の判定で処理はS906に進み、さらに、膨張領域1111に全て内包されているため処理はS909に進む。
【0068】
S909では、制御部101は、線分1103のデータを図10(a)の共通部分の変状データテーブル1001に追加する。線分1103の既に頂点座標が登録されている行への追加処理はS908における線分1121の追加処理と同様である。
【0069】
次の線分1104は、膨張領域1111と一部重複しているため処理はS907に進み、膨張領域との交点である中間点1132において、線分1123と線分1124に分割される。S908では、中間点1132が終点となる線分1123のデータを、図10(a)の共通部分の変状データテーブル1001に追加し、中間点1132が始点となる線分1124のデータを、図10(b)の差異部分の変状データテーブル1051に追加する。線分1123の既に頂点座標が登録されている行への追加処理はS908における線分1121の追加処理と同様である。
【0070】
一方、線分1124のデータの図10(b)の差異部分の変状データテーブル1051への追加処理は以下の通りである。
【0071】
図10(b)の差異部分の変状データテーブル1051のポインタ位置には、線分1101と線分1121が追加されているが、現在の行の頂点座標リストには、追加しようとしている線分1124の始点と終点の座標は含まれない。このため、線分1124は現在のポインタ位置に登録されているポリラインとは連続していないことが分かる。そのため、ポインタを次の行に進め、既に説明した新規行への追加処理を行う。
【0072】
線分1105、1106についても同様の処理を行う。線分1106は、中間点1133を終点とする線分1125と、中間点1133を始点とし中間点1134を終点とする線分1126と、中間点1134を始点とする線分1127とに分割される。分割された各線分の図10(a)の共通部分の変状データテーブル1001と、図10(b)の差異部分の変状データテーブル1051への追加処理はS905やS908と同様である。
【0073】
S907の線分を分割する処理について、図11(c)を用いてさらに説明する。図11(c)は、線分1150の一部が膨張領域1141、1142と重複している場合を例示している。線分1150は、中央付近で膨張領域1141と膨張領域1142の各輪郭線と交わっているが、図11(c)のように膨張領域が重複している場合は、各膨張領域の輪郭線との交点ではなく、膨張領域を結合した領域として輪郭線の交点で分割する処理を行う。すなわち、線分1150は、線分1151、1152、1153の3つに分割される。
【0074】
<対応関係データ作成処理>
次に、図12図16を参照して、図7のS703における対応関係データ作成処理について説明する。
【0075】
図12は、図7のS703における対応関係データ作成処理を示すフローチャートである。
【0076】
S1201では、制御部101は、処理結果として出力される、対応関係データテーブルを初期化する。
【0077】
図13は、対応関係データテーブル1301を例示している。対応関係データテーブル1301は、共通部分の変状データの変状ID1302と対応情報1303とを含む。共通部分の変状データの変状ID1302は、図10(a)の共通部分の変状データテーブル1001の変状IDに対応する。対応情報1303は、共通部分の変状データのポリラインを構成する線分ごとに、一致すると判定された比較データの変状IDと、比較データのひび割れの最大幅の増減を判定した結果をセットとして登録される。例えば、対応関係データテーブル1301の1行目の共通部分の変状データの変状IDCbm001は、図10(a)の共通部分の変状データテーブル1001の1行目のCbm001に対応している。対応情報1303は、図10(a)の共通部分の変状データテーブル1001の頂点座標リスト1006に登録されている順番で頂点間を連結する線分に対する比較データである図2(b)の第2の変状データテーブル251の変状IDとの対応関係を示している。
【0078】
S1202では、S1203~S1209の処理を、図10(a)の共通部分の変状データテーブル1001の各行に対して繰り返す。
【0079】
S1203は、S1204~S1208の処理を、現在の処理対象の共通部分の変状データのポリラインの線分ごとに繰り返す。
【0080】
S1204では、制御部101は、現在の処理対象の線分と対応する比較データの候補となる線分の変状データを取得する。ここでは、線分が重複する膨張領域の元となる比較データの変状IDを、図8(a)の膨張領域データテーブル801から検索する。なお、図9の処理において、いずれかの膨張領域と重複する線分だけが図10(a)の共通部分の変状データテーブル1001に登録されているため、必ず候補は検出されることになる。
【0081】
S1205では、制御部101は、S1204で取得した候補となる線分の変状データが複数あるか否かを判定する。制御部101は、S1204で取得した候補が1つであると判定した場合は処理をS1206に進める。制御部101は、S1204で取得した候補が複数であると判定した場合は処理をS1207に進める。
【0082】
S1206では、制御部101は、S1204で取得した変状データを、現在の処理対象の線分と対応する比較データの候補として決定する。
【0083】
S1207では、制御部101は、S1207で取得した変状データのうち、膨張領域と線分が重複する長さが最も長い変状データを、現在の処理対象の線分と対応する比較データの候補として決定する。なお、S1207で決定された候補をユーザが変更可能としてもよい。
【0084】
ここで、図14を参照して、S1205~S1207における現在の処理対象の線分と対応する比較データの候補となる線分の変状データを決定する処理について説明する。
【0085】
図14において、細線1401と細線1402は比較データの変状データから作成された膨張領域である。線分1411~1415は、図10(a)の共通部分の変状データテーブル1001に登録されている変状データのポリラインを構成する線分である。線分1421と線分1422は、図10(a)の共通部分の変状データテーブル1001に登録されている別の変状データのポリラインを構成する線分である。ここで、線分1411、1412、1413、1422は、膨張領域1401だけに重複し、線分1415は膨張領域1402だけに重複しているため、S1205において候補が1つであると判定される。そして、S1206において膨張領域1401と膨張領域1402の元となる比較データの変状IDが候補として決定される。一方、線分1414は、膨張領域1401と膨張領域1402に重複しているが、重複している長さは膨張領域1402の方が長いため、S1207で決定される候補は膨張領域1402の元となる比較データの変状IDとなる。同様に、線分1421は、候補が膨張領域1401の元となる比較データの変状IDと決定される。なお、複数の膨張領域が重なり合う領域に1つの線分が内包される場合、線分が重複する長さは全ての膨張領域において同じとなる。その場合、線分をポリラインの両隣の線分まで拡張し、重なり合う膨張領域の全てと重複する長さが最も長い膨張領域を決定する。ポリラインのいずれかの終端まで拡張しても差がつかない場合は、ランダム、膨張領域の広さ、膨張領域の元となる変状データの膨張領域データテーブルにおける順番など、何らかの方法で決定する。
【0086】
S1208では、制御部101は、S1206又はS1207で候補として決定された比較データの変状IDとひび割れの最大幅の増減に関する情報とをセットにして対応関係データテーブルに登録する。比較データの変状IDとひび割れの最大幅の増減に関する情報は、図13の対応関係データテーブル1301におけるポインタ位置の変状ID1302の対応情報1303に登録される。ひび割れの最大幅の増減に関する情報は、図10(a)の共通部分の変状データテーブル1001に登録されている現在の処理対象の変状ID1002のひび割れの最大幅1004と、図2(a)の第1の変状データテーブル201と図2(b)の第2の変状データテーブル251のうち、比較データの変状IDのひび割れの最大幅203、253とを比較することにより作成される。現在の処理対象の変状IDのひび割れの最大幅が比較データの変状データに登録されている変状IDのひび割れの最大幅に対して所定の閾値の上限より大きい場合はWide、所定の閾値の下限より小さい場合はNarrow、所定の閾値の上限と下限の範囲以内に収まっている場合はSameが登録される。
【0087】
S1204~S1209の処理を繰り返すことにより、現在の処理対象の共通部分の変状IDの変状データを構成する線分ごとに、比較データの変状データの候補とひび割れの最大幅の増減に関する情報とが登録される。
【0088】
図13の対応関係データテーブル1301を参照することにより、例えば、過去の第1の変状データと直近の第2の変状データにおいて、図14のようにひび割れがY字状に分岐して主軸の方向が異なる場合にも対応関係が得られる。例えば、過去の第1の変状データが線分1411、1412、1413、1421、1422に対応し、直近の第2の変状データが線分1414、1415に対応している関係が得られる。
【0089】
また、図5のS502において過去の第1の変状データを基準データとした状態変化データとして、共通部分の変化データテーブルと、差異部分の変状データテーブルと、過去の第1の変状データと直近の第2の変状データの共通部分の対応関係データテーブルが作成される。また、図5のS503において直近の第2の変状データを基準データとした状態変化データとして、共通部分の変化データテーブルと、差異部分の変状データテーブルと、直近の第2の変状データと過去の第1の変状データの共通部分の対応関係データテーブルが作成される。
【0090】
ここで、図15を参照して、第1の変状データテーブル1501(図2(a))と第2の変状データテーブル1502(図2(b))を入力し、状態変化判定処理結果として出力される6種類のデータテーブルの関係について説明する。
【0091】
第2の変状データテーブル1502を基準データとし、第1の変状データテーブル1501を比較データとして、共通部分の変状データテーブル1511(図10(a))と差異部分の変状データテーブル1512(図10(b))が作成される。同様に、第1の変状データテーブル1501を基準データとし、第2の変状データテーブル1502を比較データとして、共通部分の変状データテーブル1521(図10(a))と差異部分の変状データテーブル1522(図10(b))が作成される。
【0092】
さらに、第2の変状データテーブル1502を基準データとした共通部分の変状データテーブル1511と第1の変状データテーブル1501との対応関係データテーブル1531(図13)が作成される。また、第1の変状データテーブル1501を基準データとした共通部分の変状データテーブル1521と第2の変状データテーブル1502との対応関係データテーブル1532(図13)が作成される。
【0093】
<状態変化データの表示例>
最後に、図15及び図16を参照して、状態変化データの表示例について説明する。
【0094】
第2の変状データテーブル1502を基準データとした場合は、図15の共通部分の変状データテーブル1511、差異部分の変状データテーブル1512及び対応関係データテーブル1531と、第1の変状データテーブル1501を基準データとした差異部分の変状データテーブル1522とが表示時に使用される。また、第1の変状データテーブル1502を基準データとした場合は、図15の共通部分の変状データテーブル1521、差異部分の変状データテーブル1522及び対応関係データテーブル1532と、第2の変状データテーブル1502を基準データとした差異部分の変状データテーブル1512が表示時に使用される。
【0095】
まず、図16(a)の過去の第1の変状データと図16(b)の直近の第2の変状データにおいて、分岐方向が異なる2本のひび割れを表示する例について説明する。
【0096】
図16(a)の表示領域1600は、図4の第1の変状データ表示領域411の一部を示している。表示領域1600に表示されている変状データ1601と変状データ1602は、第1の変状データテーブル1501において異なる変状IDの行に登録されている。変状データ1601、1602は、第1の変状データテーブル1501の頂点座標が丸で描画される。
【0097】
図16(b)の表示領域1610は、図4の第2の変状データ表示領域412の一部を示している。表示領域1610に表示されている変状データ1611と変状データ1612は、第2の変状データテーブル1502において異なる変状IDの行に登録されている。変状データ1611、1612は、第2の変状データテーブル1502の頂点座標が丸で描画される。
【0098】
図16(c)の表示領域1620は、図6の表示領域600の一部を示している。表示領域1620には、第2の変状データテーブル1502を基準データとし、第1の変状データテーブル1501を比較データとした状態変化判定処理結果が表示される。図16(c)において、共通部分の変状データ1622と、共通部分の変状データ1623、1624とは、共通部分の変状データテーブル1511において異なる変状IDの行に登録されている。すなわち、変状データ1623、1624は同一の変状IDとして登録され、変状データ1622は別の変状IDとして登録されている。
【0099】
なお、変状データ1622~1624はそれぞれ異なる色で表示されている。また、変状データ1622~1624は、図12の対応関係データ作成処理において作成された図13の対応関係データテーブル1301に対応情報1303として登録されているひび割れの最大幅の増減に関する情報に基づいて、表示色が変更可能である。
例えば、変状データ1624の対応情報1303にひび割れの最大幅の増減がWideと登録されている場合、Sameと登録されている変状データ1623よりも線幅を広くする、又は濃い色に変えることで、ユーザに注意を喚起したい部分を強調表示できる。一方、変状データ1622の対応情報1303にひび割れの最大幅の増減がNarrowと登録されている場合は、Sameと登録されている変状データ1623の色よりも薄くする等、識別可能に表示できる。なお、変状データの表示形態は、色や太さで表現するだけでなく、点滅や幅の太さのアニメーション等によって表現してもよい。
【0100】
また、変状データ1625は、差異部分の変状データテーブル1512に登録されており、変状データ1624のひび割れの最大幅が過去の第1の変状データに比べて進展した部分に対応する。なお、共通部分の変状データ1624と差異部分の変状データ1625は、図16(b)の変状データ1612(第2の変状データテーブル1502)には存在しない中間点1627で分割されている。
【0101】
また、変状データ1621は、直近の点検時までに修復等により消失した部分を示している。変状データ1621は、第1の変状データテーブル1501を基準データとし、第2の変状データテーブル1502を比較データとして作成される差異部分の変状データテーブル1522に登録されている。差異部分の変状データ1621は、図5の状態変化判定処理において算出された、図16(b)の変状データ1611には存在しない中間点1628で構成されている。このように共通部分のひび割れや差異部分のひび割れをそれぞれ異なる色で表示することにより、ユーザがひび割れの変化を直感的に把握できるようにすることができる。
【0102】
次に、基準選択ボタン431により基準データと比較データとを切り替えた場合の処理結果を表示する例について説明する。
【0103】
図16(d)の表示領域1630は、図6の表示領域600の一部を示している。表示領域1630には、第1の変状データテーブル1501を基準とし、第2の変状データテーブル1502を比較データとした状態変化判定処理結果が表示される。
【0104】
変状データ1632、1633は、第1の変状データテーブル1501を基準として作成される共通部分の変状データテーブル1521において同一の変状IDとして登録されている。また、変状データ1634は別の変状IDとして登録されている。図16(c)の表示領域1620と同様に、変状データ1632は、第1の変状データテーブル1501を基準データとした過去の第1の変状データと直近の第2の変状データの共通部分の対応関係データテーブル1532においてひび割れの最大幅がWideと登録されている。この場合、対応関係データテーブル1532において、変状データ1632は、ひび割れの最大幅がSameと登録されている変状データ1634よりも強調表示される。同様に、対応関係データテーブル1532において、ひび割れの最大幅がNarrowと登録されている変状データ1633は、変状データ1633よりも色を薄くする等で表示される。
【0105】
また、変状データ1631は、過去の第1の変状データ1632から進展した部分を示し、差異部分の変状データテーブル1522に登録されており、図16(c)の変状データ1621と同一の差異部分の変状データに対応する。
【0106】
変状データ1635は、差異部分の変状データテーブル1512に登録されている。変状データ1635は、図16(c)の変状データ1625と同一の差異部分の変状データに対応し、過去の第1の変状データには存在していたが、直近の第2の変状データには存在しない差異部分の変状データである。
【0107】
また、図16(c)及び図16(d)において、基準データに対する比較データの差異部分となる消失又は縮退した変状データ1621、1635は、基準データの共通部分の変状データ1622、1633と不連続になる場合がある。これは、図16(e)の表示領域1650のように、点線で表現した過去の第1の変状データ1651と、実線で表現した直近の第2の変状データ1652とを重ね合わせると、位置がズレていたり、形状が異なっていたりすることが理由である。ひび割れの位置や形状が変化する理由は、撮影時の位置合わせの精度やひび割れ検出時の精度の相違が考えられる。このように、直近の第2の変状データの共通部分と過去の第1の変状データに存在していた差異部分、あるいは過去の第1の変状データの共通部分と直近の第2の変状データの差異部分の位置がずれることにより不連続に表示される。図16(f)は、図16(d)の表示領域1630の変状データ1633と変状データ1635を拡大して示している。図16(f)の表示領域1660のように、変状データ1633の頂点1661と、変状データ1635の中間点1637とを線分で接続し、変状データ1633、1635を1つの変状データとして扱ってもよい。これにより、過去の第1の変状データの共通部分の変状データ1633を基準データとして、過去の第1の変状データから進展した差異部分の変状データ1635を接続した1つの変状データを作成し表示することができる。
【0108】
なお、線分1662は、直近の第2の変状データ及び過去の第1の変状データには存在しない線分となるため、表示時にはユーザに注意を喚起する色や線で表現してもよい。また、共通部分の変状データ1633と差異部分の変状データ1635を同じひび割れとして扱う場合には、第1の変状データテーブル1501を基準データとした、差異部分の変状データテーブル1522に登録されている差異部分の変状IDと基準変状IDと、共通部分の変状データテーブル1521の基準変状IDと共通部分の変状IDとを使用する。さらに、対応関係データテーブル1532に登録されている共通部分の変状IDと対応情報とを使用して特定することができる。
【0109】
また、共通部分の変状データについても過去の第1の変状データと直近の第2の変状データとでひび割れの形状が異なる場合がある。この場合も、図5のS508における基準データを切り替えることにより、直近のひび割れの形状を基準として変化部分を確認するだけでなく、過去のひび割れの形状を基準として変化部分を確認することができる。これにより、図16(f)のように、ユーザが確認したい基準データを過去の第1の変状データの共通部分の変状データ1633とし、比較データを直近の第2の変状データの差異部分(進展)の変状データ1635とした組み合わせで表示することができる。また、図16(g)の表示領域1670のように、図16(c)の表示領域1620に、比較データの過去の第1の変状データの共通部分の変状データ1671を重ね合わせて表示してもよい。変状データ1671は、図16(e)の変状データ1651から図16(d)の差異部分の変状データ1631を除いた変状データとなっている。なお、図16(g)の例では、変状データ1671は、基準データではない過去の第1の変状データの共通部分の変状データが表示されるため、ひび割れの最大幅の増減に関する強調表示は行っていないが、強調表示を行ってもよい。
【0110】
また、図13の対応関係データテーブル1301において、ユーザが表示したい共通部分の変状IDをマウス等で指定することにより、指定された変状IDに対応する変状データを表示するようにしてもよい。
【0111】
本実施形態によれば、ひび割れの進展、縮退、修繕等による消失等の変状の変化をユーザが直観的に把握できるようになる。また、過去の第1の変状データと直近の第2の変状データとを比較する際において基準データと比較データを切り替えることで、過去の第1の変状データと直近の第2の変状データの一方を基準データとし、もう一方を比較データとしたひび割れの変化を確認できるようになる。よって、ユーザは変状の状態変化を多面的に把握できるようになる。
【0112】
また、共通部分の変状データと差異部分の変状データとを作成することによりひび割れの変化量の算出が容易になる。また、異なる時期に作成された複数の共通部分の変状データの対応関係データテーブルを作成しひび割れごとに管理できるので、ひび割れが異なる方向に分岐した場合であっても、分岐したひび割れの過去の第1の変状データの共通部分と直近の第2の変状データの共通部分との対応付けが可能となる。さらに、過去の第1の変状データの共通部分と直近の第2の変状データの共通部分との対応関係が分かることで、ひび割れの最大幅の増減を算出することも可能となる。
【0113】
[変形例]
本実施形態では、線分と膨張領域が重複しているか否かの判定や、輪郭との交点の算出をベクタデータとして処理する例を説明したが、これに限定されるものではない。例えば、線分と膨張領域を塗りつぶしたオブジェクトを、グラフィックライブラリによりそれぞれ2値のビットマップにラスタライズし、双方のラスタ画像のビット演算により、重複判定や交点算出を行ってもよい。図1の情報処理装置100にGPU(Graphics Processing Unit)を追加し、グラフィックライブラリがGPUを利用してラスタライズすることにより、処理の高速化を得ることができる。
【0114】
[実施形態2]
実施形態1では、基準データの線分のうち、比較対象の変状データの膨張領域に内包された部分を全て共通部分として判定したが、本実施形態では、それらの部分をさらに精査して絞り込み、共通部分か差異部分かの最終判定を行う。
【0115】
実施形態2の情報処理装置100のハードウェア構成は、図1と同様である。
【0116】
図17は、本実施形態の状態変化データ作成処理を示すフローチャートであり、実施形態1の処理を示す図7に対して、ステップS1701が追加されている。S1701は、S702で共通部分と判定された部分をさらに精査して絞り込み、最終判定を行う処理である。図18は、図17のS1701の共通部分の精査処理を示すフローチャートである。
【0117】
S1801では、制御部101は、以降の処理で使用する保留リストと差異部分リストを初期化し、S1802からS1807の処理を、図2の変状データテーブルのうち、S701で比較データとしたデータテーブルの各行(比較対象変状データ)に対して繰り返す。
【0118】
S1802では、制御部101は、S702で作成した共通部分の基準変状データのうち、処理中の比較対象変状データを膨張処理した領域と重複するものを取得する。
【0119】
S1803では、制御部101は、S1802で取得した共通部分の基準変状データの各線分に対して、処理中の比較対象の変状データとの一致度を示すスコアを算出する。スコアは、基準変状データの線分に対して、処理中の比較対象変状データの線分が、近い距離にあり、かつ、平行に近いほど高くなるようにする。例えば、線分間の距離は、基準変状データの線分の中点から比較対象変状データの線分に降ろした垂線の長さとする。
【0120】
ここで、図19(a)を用いて距離を用いたスコア算出例を説明する。線分1901~1903は処理中の比較対象変状データの線分、線分1904~1906と1907~1908は比較対象変状データ中に含まれる基準変状データの線分である。基準変状データの線分の中点(三角形の印)から比較対象変状データの線分に向かって引かれている垂線の長さが、その線分のスコアを算出するための距離となる。例えば、垂線1909は線分1907の比較対象変状までの距離であり、垂線1911は線分1906の比較対象変状までの距離である。なお、1つの基準変状データの線分の中点から複数の比較対象変状データの線分に垂線が引ける場合は、垂線が最短となる比較対象変状データの線分をスコア算出に使用する。反対に、いずれの比較対象変状データの線分にも垂線を引けない(垂線の足が線分上にない)場合は、その基準変状データの線分はスコア算出不能として、保留リストに加える。以下、基準変状データの線分と、そのスコア算出に使用した比較対象変状データの線分は「近傍にある」と記載する。
【0121】
以下の式1は、基準変状データの1つの線分に対するスコアの算出式を例示している。
(式1)
Score=k・(W-d)/W+cosθ
式1において、Wは比較対象変状データの膨張領域の幅、dは垂線の長さ、θは基準変状データの線分と比較対象変状データの線分がなす角度(0~90°)である。例えば、線分1907と線分1902、線分1906と線分1903がなす角度は、それぞれ、角度1910、1912である。kは距離と角度の比重を決める係数であるが、本実施形態では、k=1とする。
【0122】
なお、撮影画像から検出された変状データは、短い線分がのこぎり状に連なるような場合がある。そのような場合、式1におけるθの値が不安定となり、総合的な一致度とかけ離れたスコアとなってしまう。それを防ぐため、基準変状データの各線分に対して、線分の並びに沿って、スコアを移動平均してならしたり、θを移動平均した値を使ってスコアを算出したりしてもよい。
【0123】
S1804では、制御部101は、S1803において算出したスコアを比較して、スコアの値が外れ値となる基準変状データの線分を、差異部分と判定して差異部分リストに加える。外れ値の基準は、例えば、スコアの平均値から標準偏差を差し引いた値を閾値として、それ未満のものを外れ値とするなど、既存の統計手法を用いて定める。これにより、比較対象変状データから分岐して離れた箇所の線分は、差異部分と判定される。なお、外れ値の基準より大きい値を第2の閾値として、外れ値の閾値以上であるが第2の閾値未満のスコアを持つ線分を、確定ではないが差異部分の可能性ありとして、S1803で作成した保留リストに加えてもよい。第2の閾値は、例えばスコアの平均値であるが、それに限らず外れ値の閾値より大きい値であればよい。
【0124】
図19(a)の場合、線分1904~1908のうち、線分1908はスコアが外れ値となり差異部分と判定される。図19(b)は図19(a)と類似しているが、画像から変状データを作成した場合に、基準の変状データが、線分1924、1927、1928の部分と、線分1925~1926の部分に分割されている。S1803のスコア算出、及び、S1804の差異部分の推定においては、基準変状データの流れは考慮せずに各線分を独立して扱っているため、図19(b)においても図19(a)と同様に、線分1928は差異部分リストに加えられる。線分1907や1927などのような分岐の根元の線分は、距離dが短いが、角度θが十分大きくスコアが外れ値の閾値を超えた場合は、差異部分リストに加えられる。
【0125】
S1805では、制御部101は、図19に示す線分1907や1927のような分岐の根元の線分が差異部分と判定されなかった場合に備えるため、処理中の比較対象変状データの各線分の近傍にある基準変状データの線分を、変状データの特性を用いてさらに精査する。ここで、図20を用いてS1805の精査処理の一例を説明する。
【0126】
図20において、線分2000は処理中の比較対象変状データの線分の1つである。基準変状は線分2001、2004、2005、2006の部分と、それから分岐する線分2002,2003の部分の2つである。一方、これら2本の基準変状の画像から共通分の変状データを作成した場合に、変状データは線分2001~2003、線分2004、線分2005~2006の3本に分割されており、各々が共通部分の変状データテーブルに登録されている。また、線分2000の近傍にある基準変状データの線分2002、2003,2004,2005のうち、グレーの実線で示す線分2003はS1804でスコアが外れ値となり差異部分と判定されている。
【0127】
S1805では、まず、スコアが一番大きい線分2004を共通部分と判定し、変状データの特性により、残りの線分から差異部分となるものを特定する。例えば、1本のひび割れは線分が連なったものであるため、同じひび割れの線分が近くを並走することはない。よって、共通部分と判定された線分と並走している線分は、共通部分とは別のひび割れであり差異部分と判定できる。並走しているかどうかは、例えば、比較対象変状データの線分の外接矩形の長辺方向の座標軸に関して、基準変状データの線分の範囲が重複しているかどうかで判定する。図20の比較対象変状データの線分2000の場合はX軸方向(水平方向)に長いため、X軸での範囲の重複で判定する。共通部分と判定した線分2004の範囲2007と、線分2005の範囲2009は重複していないため、両者は並走していない。一方、線分2002の範囲2008は一部分が線分2004の範囲2007と重複しているため、線分2002は線分2004と並走している。よって、線分2002は差異部分と判定され、差異部分リストに加えられる。
【0128】
S1806では、制御部101は、S1803及びS1804で保留リストに入れた比較対象変状データの線分について、隣り合う線分の判定結果によって最終判定する。判定処理は、比較対象変状データで連続する保留部分線(保留リストに入っている部分線)に対して行い、それらの両隣が差異部分と判定されている場合のみ、間に挟まれている保留部分線をまとめて差異部分と判定する。
【0129】
図21は、S1806の処理の例を説明する図である。図21(a)~図21(c)はそれぞれ異なる事例で、S1806の処理前の比較対象変状データと処理後の比較対象変状データを、それぞれ縦に並べて示している。図21において、比較対象変状データは4つの線分から構成されており、精査が終わっていないもの(暫定共通部分)を黒の実線で、保留リストに入っているものを黒の点線で、差異部分と判定されたものをグレーの実線で示している。図21(a)の比較対象変状データ2100では、両端の線分が暫定共通部分であるため、2つの保留部分線は比較対象変状データ2101のように状態を変えない。図21(b)の比較対象変状データ2102では、右端の線分が差異部分と判定済であるが左端の線分は暫定共通部であるため、比較対象変状データ2103のように状態を変えない。図21(c)の比較対象変状データ2104では、両端の線分が差異部分と判定されているため、間の保留部分線は差異部分と判定され、保留リストから取り除かれる。なお、基準変状データの端が保留部分線の場合(それが変状データの先端の場合、あるいは、その先が図10(b)の差異部分の変状データテーブルに入っている場合)、その先に差異部分の線分があるように扱う。
【0130】
以上の処理は、新たに差異部分と判定される線分がなくなるまで繰り返し行われる。
【0131】
S1807では、制御部101は、S1802~S1806の精査結果を、図10の共通部分と差異部分の変状データテーブルに反映させる。そして、差異部分のリストに入っている線分に対して、処理中の比較対象変状データ以外の膨張領域と重複しているかどうかを判定する。その結果、どの膨張領域とも重複していない部分に関しては、共通部分の変状データテーブルから切り出して、差異部分の変状データテーブルに移動させる。移動する部分が元の共通部分の変状データの途中にある場合は、その共通部分の変状データは分割されてテーブルに新たな変状データの行が追加される。また、差異部分の変状データテーブルへの移動において、移動する部分のいずれかの端が移動先の差異部分の変状データの端と一致する場合は、その変状データに結合され、いずれの変更データの端とも一致しない場合は、新たな変状データの行が追加される。
【0132】
以上説明したように、本実施形態によれば、比較対象変状データの膨張領域と重複する基準変状データを、比較対象変状データとの一致度に基づいて共通部分と差異部分に精査して絞り込むことで、差分となる線分の長さや本数をより正確に求めることができる。さらに、一致度を比較対象データとの距離と角度から算出することにより、変状データの分岐や交差の根元部分を差異部分として判定する精度を向上させることができる。さらに、基準変状データの絞り込みを、変状データを構成する線分ごとに行うことにより、画像からの変状データの生成時に発生した、分岐箇所での繋がりの差や、同一変状の細分化を吸収することができる。さらに、一致度の外れ値を除外することにより絞り込みを行うことで、比較対象データから離れていく箇所の基準データの変状を差異部分とすることができる。さらに、一致度の算出時に、変状データの線分の繋がりに沿った移動平均を行うことにより、局所的な線分の乱れを吸収することができる。さらに、変状データの特性に基づいて精査することで、差異部分の判定の精度をさらに向上させることができる。
【0133】
本実施形態では、情報処理装置100が入力デバイス105および出力デバイス106を含む構成を説明したが、これに限定されるものではない。例えば、入力デバイス105と情報処理装置100とが別体に設けられ、有線もしくは無線で互いに接続される情報処理システムを構築してもよい。また、出力デバイス106と情報処理装置100とが別体に設けられ、有線もしくは無線で互いに接続される情報処理システムを構築してもよい。その場合、入力デバイス105や出力デバイス106はタブレット端末としてもよい。また、入力デバイス105と出力デバイスとを同一のタブレット端末としてもよい。
【0134】
[他の実施形態]
本発明は、上述した実施形態の1以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0135】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【0136】
本明細書の開示は、以下の情報処理装置、情報処理方法およびプログラムを含む。
[構成1]
同じ対象を撮影した画像に基づいて作成された、第1の変状データ及び第2の変状データを取得する取得手段と、
前記第1の変状データ及び前記第2の変状データに基づいて、前記第1の変状データと前記第2の変状データに共通する共通部分と、前記第1の変状データと前記第2の変状データのいずれかに存在する差異部分とを求め、前記共通部分と前記差異部分の境界に対応する位置データを算出する算出手段と、
前記位置データを用いて前記共通部分と前記差異部分を含む変状の変化を示す状態変化データを作成する作成手段と、を有することを特徴とする情報処理装置。
[構成2]
前記算出手段は、前記第1の変状データ及び前記第2の変状データのいずれか一方を基準データとし、もう一方を比較データとし、前記比較データに基づく膨張領域を設定し、
前記基準データのうち前記膨張領域に内包される部分の変状データを前記共通部分とし、それ以外の変状データを前記差異部分とし、前記基準データと前記膨張領域との交点の座標を前記位置データとすることを特徴とする構成1に記載の情報処理装置。
[構成3]
前記変状データは、変状を構成する少なくとも1つの線分の情報を含み、
前記作成手段は、前記基準データの線分に対して前記比較データの線分が複数ある場合、前記比較データの線分のうち前記膨張領域と重複する長さが最も長い線分を前記比較データの線分とすることを特徴とする構成2に記載の情報処理装置。
[構成4]
前記膨張領域は、複数の膨張領域が重なり合う場合には、重なり合う全ての領域に設定されることを特徴とする構成3に記載の情報処理装置。
[構成5]
前記変状データは、変状ごとの識別情報、変状の幅、変状を構成する線分の頂点の数、頂点の座標を含み、
前記膨張領域のデータは、変状ごとの識別情報、前記膨張領域の輪郭の座標を含むことを特徴とする構成2から4のいずれか1項に記載の情報処理装置。
[構成6]
前記作成手段は、前記共通部分の変状データと、前記差異部分の変状データと、前記基準データと前記比較データの前記共通部分の対応関係を示す対応関係データと、を前記状態変化データとして作成することを特徴とする構成2から5のいずれか1項に記載の情報処理装置。
[構成7]
前記取得手段は、前記第1の変状データが登録されている第1の変状データテーブルから前記第1の変状データを読み出し、前記第2の変状データが登録されている第2の変状データテーブルから前記第2の変状データを読み出し、
前記作成手段は、前記共通部分の変状データが登録される前記共通部分の変状データテーブルと、前記差異部分の変状データが登録される前記差異部分の変状データテーブルとを作成し、
前記位置データを前記共通部分のデータテーブル及び前記差異部分のデータテーブルに登録し、
前記対応関係データが登録される対応関係データテーブルを作成することを特徴とする構成6に記載の情報処理装置。
[構成8]
前記対応関係データは、前記共通部分の変状データの幅を示す情報を含むことを特徴とする構成6または7に記載の情報処理装置。
[構成9]
前記算出手段は、
前記第1の変状データを基準データとし、前記第2の変状データを比較データとして、共通部分と差異部分を求めると共に、
前記第2の変状データを基準データとし、前記第1の変状データを比較データとして、共通部分と差異部分を求め、
前記作成手段は、得られた結果の各々に対して前記状態変化データを作成することを特徴とする構成1から8のいずれか1項に記載の情報処理装置。
[構成10]
前記第1の変状データは、第1の時期に検査対象を撮影した画像から作成された変状データであり、
前記第2の変状データは、前記第1の時期より後の第2の時期に検査対象を撮影した画像から作成された変状データであることを特徴とする構成1から9のいずれか1項に記載の情報処理装置。
[構成11]
前記変状データは、ひび割れに関するデータであることを特徴とする構成1から10のいずれか1項に記載の情報処理装置。
[構成12]
前記算出手段は、
前記膨張領域に内包される基準データに対して、前記比較データとの一致度を算出する第2の算出手段と、
前記一致度に基づき前記共通部分とする変状データをさらに絞り込む絞り込み手段と、を有することを特徴とする構成2から8のいずれか1項に記載の情報処理装置。
[構成13]
前記第2の算出手段は、前記比較データとの距離と角度から前記一致度を算出することを特徴とする構成12に記載の情報処理装置。
[構成14]
前記第2の算出手段は、前記基準データを構成する線分ごとに前記一致度を算出することを特徴とする構成12または13に記載の情報処理装置。
[構成15]
前記第2の算出手段は、前記線分ごとに算出した前記一致度の値を前記基準データの繋がりに沿って移動平均することを特徴とする構成14に記載の情報処理装置。
[構成16]
前記第2の算出手段は、前記一致度が閾値未満の外れ値を除外することで、前記絞り込みを行うことを特徴とする構成12から15のいずれか1項に記載の情報処理装置。
[構成17]
前記絞り込み手段は、変状データの特性に基づいて絞り込みを行うことを特徴とする構成12から16のいずれか1項に記載の情報処理装置。
[構成18]
同じ対象を撮影した画像に基づいて作成された、第1の変状データ及び第2の変状データを入力する入力手段を備える入力装置と、
前記入力装置から前記第1の変状データ及び前記第2の変状データを取得する取得手段と、
前記第1の変状データ及び前記第2の変状データに基づいて、前記第1の変状データと前記第2の変状データに共通する共通部分と、前記第1の変状データと前記第2の変状データのいずれかに存在する差異部分とを求め、前記共通部分と前記差異部分の境界に対応する位置データを算出する算出手段と、
前記位置データを用いて前記共通部分と前記差異部分を含む変状の変化を示す状態変化データを作成する作成手段と、を備える情報処理装置と
を有することを特徴とする情報処理システム。
[構成19]
変状の状態変化を検出する情報処理方法であって、
取得手段が、同じ対象を撮影した画像に基づいて作成された、第1の変状データ及び第2の変状データを取得するステップと、
算出手段が、前記第1の変状データ及び前記第2の変状データに基づいて、前記第1の変状データと前記第2の変状データに共通する共通部分と、前記第1の変状データと前記第2の変状データのいずれかに存在する差異部分とを求め、前記共通部分と前記差異部分の境界に対応する位置データを算出するステップと、
作成手段が、前記位置データを用いて前記共通部分と前記差異部分を含む変状の変化を示す状態変化データを作成するステップと、を有することを特徴とする情報処理方法。
[構成20]
コンピュータを、構成1から17のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラム。
【符号の説明】
【0137】
100…情報処理装置、101…制御部、102…不揮発性メモリ、103…ワークメモリ、104…記憶デバイス、105…入力デバイス、106…出力デバイス、107…ネットワークインターフェース、108…システムバス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21