(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-02
(45)【発行日】2022-03-10
(54)【発明の名称】石垣管理システム、石垣管理方法及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220303BHJP
G01B 11/24 20060101ALI20220303BHJP
G06Q 50/08 20120101ALI20220303BHJP
G06T 7/521 20170101ALI20220303BHJP
【FI】
G06T7/00 610C
G01B11/24 K
G06Q50/08
G06T7/521
(21)【出願番号】P 2017221709
(22)【出願日】2017-11-17
【審査請求日】2020-10-07
(73)【特許権者】
【識別番号】000135771
【氏名又は名称】株式会社パスコ
(74)【代理人】
【識別番号】100117260
【氏名又は名称】福永 正也
(74)【代理人】
【識別番号】100140800
【氏名又は名称】保坂 丈世
(72)【発明者】
【氏名】津口 雅彦
(72)【発明者】
【氏名】坂元 光輝
(72)【発明者】
【氏名】藤川 真司
(72)【発明者】
【氏名】松本 拓
(72)【発明者】
【氏名】播間 大輔
【審査官】佐藤 実
(56)【参考文献】
【文献】特開2008-196231(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G01B 11/24
G06Q 50/08
(57)【特許請求の範囲】
【請求項1】
複数の石材を積層してなる石垣のそれぞれの石材を管理する石垣管理システムにおいて、
前記石垣を撮像した石垣画像データを取得する石垣画像データ取得部と、
取得した石垣画像データから、それぞれの石材の
領域を示す前記石垣の石垣立面図データを作成する石垣立面図作成部と、
作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する石材画像データ抽出部と、
前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、
前記石垣立面図データ上の前記石材の
位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成部と、
生成した石材管理データを記憶する管理データ記憶部と
を備えることを特徴とする石垣管理システム。
【請求項2】
前記画像データ取得部は、前記石垣の表面の三次元形状を含む三次元画像データを取得することを特徴とする請求項1に記載の石垣管理システム。
【請求項3】
前記石垣立面図作成部は、前記石垣画像データを、画像解析による領域分割手法により複数の領域に分割し、それぞれの石材の積層状況を表現した
前記石垣立面図データを作成することを特徴とする請求項1乃至2のいずれか一項に記載の石垣管理システム。
【請求項4】
前記
石材管理データ生成部は、前記石垣立面図データより、それぞれの石材の領域図形の内の任意の地点を代表地点とし、当該石材の位置情報とすることを特徴とする請求項1乃至3のいずれか一項に記載の石垣管理システム。
【請求項5】
前記石垣より石材が崩落した際に、崩落した石材を撮像した崩落石材画像データを取得し、崩落した石材のそれぞれを識別することが可能な識別番号である崩落石材管理番号を付与した上で記録する崩落石材画像データ取得部と、
取得した崩落石材画像データと前記石材画像データとを画像解析手法により照合することで、当該崩落した石材が、石材管理データ内のどの石材と合致するかを判定し、石材管理データより当該石材の石垣内の位置情報やその他属性情報を取得する崩落石材照合部と
を備え、
前記管理データ記憶部は、前記崩落石材照合部における照合結果を
前記石材管理データとして記憶することを特徴とする請求項1乃至4のいずれか一項に記載の石垣管理システム。
【請求項6】
複数の石材を積層してなる石垣のそれぞれの石材を管理するコンピュータで実行することが可能な石垣管理方法において、
前記コンピュータは、
前記石垣を撮像した石垣画像データを取得する工程と、
取得した石垣画像データから、それぞれの石材の
領域を示す前記石垣の石垣立面図データを作成する工程と、
作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する工程と、
前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、
前記石垣立面図データ上の前記石材の
位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する工程と、
生成した石材管理データを記憶する工程と
を含むことを特徴とする石垣管理方法。
【請求項7】
複数の石材を積層してなる石垣のそれぞれの石材を管理するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
前記石垣を撮像した石垣画像データを取得する石垣画像データ取得手段、
取得した石垣画像データから、それぞれの石材の
領域を示す前記石垣の石垣立面図データを作成する石垣立面図作成手段、
作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する石材画像データ抽出手段、
前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、
前記石垣立面図データ上の前記石材の
位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成手段、及び
生成した石材管理データを記憶す
る管理データ記憶手段
として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、石垣管理システム、石垣管理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、防塁、城郭等の石垣を修復するために、石垣の表面をレーザ計測し、石垣の表層断面図(石垣立面図)を作成する表層断面図の作成方法が開示されている(例えば、特許文献1参照)。また、石垣の解体修復時において、石垣を構成する石材ごとに識別番号を記憶しているICタグを貼設し、石材毎の画像情報や、解体前の位置情報、石材の仮置き位置、石材の劣化、風化の進行状況による再利用可能性判断結果等を識別番号毎に記憶させておくことで、解体前の本来あるべき状態に積み直しできる石垣の解体石材の管理方法が開示されている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2004-212107号公報
【文献】特開2011-065349号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に開示されているレーザ計測を用いて作成した石垣の表層断面図では、石垣の表面における石材の分布等を管理することはできるが、個々の石材についての個別情報や位置情報等を管理することができない。また、特許文献2に開示されている方式では、個々の石材についての個別情報や位置情報等を管理することはできるが、石材の解体前の位置情報や画像情報を手作業にてパソコン等に登録する必要があり作業が繁雑になるという問題点があった。さらに、予め個々の石材にICタグ等を貼設しなければならず、解体修復工事の場合であれば、解体時にICタグ等の貼設作業を行うことができるが、災害等で一度に石垣が崩落した場合は、事前の貼設作業を行うことができないため、崩落した石材の管理を行うことができないという問題点もあった。
【0005】
本発明は斯かる事情に鑑みてなされたものであり、個々の石材の画像情報や位置情報の登録や、石材へのICタグ等の貼設を事前に手作業で行うことなく、石垣を構成する個々の石材の画像情報や位置情報およびその他属性情報等を管理することができる石垣管理システム、石垣管理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために第1発明に係る石垣管理システムは、複数の石材を積層してなる石垣のそれぞれの石材を管理する石垣管理システムにおいて、前記石垣を撮像した石垣画像データを取得する画像データ取得部と、取得した石垣画像データから、それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する石垣立面図作成部と、作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する石材画像データ抽出部と、前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成部と、生成した石材管理データを記憶する管理データ記憶部とを備えることを特徴とする。
【0007】
また、第2発明に係る石垣管理システムは、第1発明における前記画像データ取得部が、前記石垣の表面の三次元形状を含む三次元画像データを取得することを特徴とする。
【0008】
また、第3発明に係る石垣管理システムは、第1乃至第2発明のいずれか1つにおいて、前記石垣立面図作成部が、前記石垣画像データを、画像解析による領域分割手法により複数の領域に分割し、それぞれの石材の積層状況を表現した前記石垣立面図データを作成することを特徴とする。
【0009】
また、第4発明に係る石垣管理システムは、第1乃至第3発明のいずれか1つにおいて、前記石材管理データ生成部が、前記石垣立面図データより、それぞれの石材の領域図形内の任意の地点を代表地点とし、当該石材の位置情報とすることを特徴とする。
【0010】
また、第5発明に係る石垣管理システムは、第1乃至第4発明のいずれか1つにおいて、前記石垣より石材が崩落した際に、崩落した石材を撮像した崩落石材画像データを取得し、崩落した石材のそれぞれを識別することが可能な識別番号である崩落石材管理番号を付与した上で記録する崩落石材画像データ取得部と、取得した崩落石材画像データと前記石材画像データとを画像解析手法により照合することで、当該崩落した石材が、石材管理データ内のどの石材と合致するかを判定し、石材管理データより当該石材の石垣内の位置情報やその他属性情報を取得する崩落石材照合部とを備え、前記管理データ記憶部は、前記崩落石材照合部における照合結果を前記石材管理データとして記憶することを特徴とする。
【0011】
また、第6発明に係る石垣管理方法は、複数の石材を積層してなる石垣のそれぞれの石材を管理するコンピュータで実行することが可能な石垣管理方法において、前記コンピュータは、前記石垣を撮像した石垣画像データを取得する工程と、取得した石垣画像データから、それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する工程と、作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する工程と、前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する工程と、生成した石材管理データを記憶する工程とを含むことを特徴とする。
【0012】
また、第7発明に係るコンピュータプログラムは、複数の石材を積層してなる石垣のそれぞれの石材を管理するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、前記石垣を撮像した石垣画像データを取得する石垣画像データ取得手段、取得した石垣画像データから、石垣それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する石垣立面図作成手段、作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する石材画像データ抽出手段、前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成手段、及び生成した石材管理データを記憶する管理データ記憶手段として機能させることを特徴とする。
【発明の効果】
【0013】
本発明によれば、石垣を構成する個々の石材の画像情報や位置情報の登録や、石材へのICタグ等の貼設を事前に手作業で行うことなく、石垣を構成する個々の石材に関する情報、特に画像情報及び位置情報を管理することができ、災害等により石垣が崩壊した際の修復時等において、高い精度で原状復帰させることが可能となる。
【図面の簡単な説明】
【0014】
【
図1】本発明の実施の形態に係る石垣管理システムの構成を模式的に示す機能ブロック図である。
【
図2】本発明の実施の形態に係る石垣管理システムの計算機処理部のCPUを用いた場合の構成を模式的に示すブロック図である。
【
図3】本発明の実施の形態に係る石垣管理システムの計算機処理部の石垣管理処理の流れを示すフローチャートである。
【
図4】本発明の実施の形態に係る石垣管理システムの計算機処理部の石垣立面図作成処理の流れを示すフローチャートである。
【
図5】本発明の実施の形態に係る石垣管理システムの計算機処理部のマルチスケール分割処理の流れを示すフローチャートである。
【
図6】本発明の実施の形態に係る石垣管理システムの計算機処理部のマルチスケール分割処理における、隣接する2領域の併合処理を示す説明図である。
【
図7】本発明の実施の形態に係る石垣管理システムの計算機処理部の石材管理データ生成処理の流れを示すフローチャートである。
【
図8】本発明の実施の形態に係る石垣管理システムの石材DBのデータ構造を示す説明図である。
【
図9】本発明の実施の形態に係る石垣管理システムの石垣の表層面の画像データに石材の輪郭と位置情報とを重ね合わせて表示した場合の説明図である。
【
図10】本発明の実施の形態に係る石垣管理システムの計算機処理部の崩落石材照合処理の流れを示すフローチャートである。
【
図11】本発明の実施の形態に係る石垣管理システムの計算機処理部の石材画像データ照合処理の流れを示すフローチャートである。
【
図12】本発明の実施の形態に係る石垣管理システムの崩落石材照合結果DBのデータ構造を示す説明図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態に係る、複数の石材を積層してなる石垣のそれぞれの石材を管理する石垣管理システムについて、図面に基づいて具体的に説明する。以下の実施の形態は、特許請求の範囲に記載された発明を限定するものではなく、実施の形態の中で説明されている特徴的事項の組み合わせの全てが解決手段の必須事項であるとは限らないことは言うまでもない。
【0016】
また、本発明は多くの異なる態様にて実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきものではない。実施の形態を通じて同じ要素には同一の符号を付している。
【0017】
以下の実施の形態では、コンピュータシステムにコンピュータプログラムを導入したシステムについて説明するが、当業者であれば明らかな通り、本発明はその一部をコンピュータで実行することが可能なコンピュータプログラムとして実施することができる。したがって、本発明は、複数の石材を積層してなる石垣のそれぞれの石材を管理する石垣管理システムというハードウェアとしての実施の形態、ソフトウェアとしての実施の形態、又はソフトウェアとハードウェアとの組み合わせの実施の形態をとることができる。コンピュータプログラムは、ハードディスク、DVD、CD、光記憶装置、磁気記憶装置等の任意のコンピュータで読み取ることが可能な記録媒体に記録することができる。
【0018】
本発明の実施の形態によれば、事前に石垣を構成する個々の石材にICタグ等の貼設を行うことなく、石垣を構成するそれぞれの石材に関する情報、特に形状情報及び位置情報を管理することができ、石垣修復時等において、高い精度で原状復帰させることが可能となる。
【0019】
図1は、本発明の実施の形態に係る石垣管理システムの構成を模式的に示す機能ブロック図である。本発明の実施の形態に係る石垣管理システム1は、少なくとも画像データ取得部10、計算機処理部20、入出力部30、管理データ記憶部40及び崩落石材画像データ取得部50で構成されている。
【0020】
画像データ取得部10は、管理対象の石垣の表層面(石材の積層状態)の画像データを取得するものであり、光学デジタルカメラ等で構成されており、表層面を撮像して表層面の画像データを取得する撮像部11、及び石垣の表層上に配置された作業用基準点の位置情報をレーザビームの照射等により計測するレーザ計測部12を有している。
【0021】
計算機処理部20は、コンピュータ等のCPU、MPU等の演算処理部を備えたハードウェアで構成されており、画像データ取得部10で取得した石垣の表層面の画像データ及び作業用基準点の位置情報から、石垣の表層の画像データを正射投影変換した石垣画像データを生成する石垣画像データ処理部21、生成した石垣画像データから、それぞれの石材の積層状態を示す石垣の石垣立面図データを生成する石垣立面図作成部22、及び石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石材の位置情報、画像データ、及びその他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成部26を有している。
【0022】
図2は、本発明の実施の形態に係る石垣管理システムの計算機処理部20のCPUを用いた場合の構成を模式的に示すブロック図である。本発明の実施の形態に係る計算機処理部20は、少なくともCPU(中央演算装置)201、メモリ202、記憶装置203、I/Oインタフェース204、撮像インタフェース205、可搬型外部記憶装置206、通信インタフェース207及び上述したハードウェアを接続する内部バス208で構成されている。
【0023】
CPU201は、内部バス208を介して計算機処理部20の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置203に記憶されたコンピュータプログラム200に従って、種々のソフトウェア的機能を実行する。メモリ202は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム200の実行時にロードモジュールが展開され、コンピュータプログラム200の実行時に発生する一時的なデータ等を記憶する。
【0024】
記憶装置203は、内蔵される固定型記憶装置(ハードディスクやSSDなど)、ROM等で構成されている。記憶装置203に記憶されたコンピュータプログラム200は、プログラム及びデータ等の情報を記録したDVD、CD-ROM等の可搬型記録媒体210から、可搬型ディスクドライブ206によりダウンロードされ、実行時には記憶装置203からメモリ202へ展開して実行される。もちろん、通信インタフェース207を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。
【0025】
記憶装置203は、後述する管理データ記憶部40を備えていても良い。ただし、本実施の形態では、大容量のファイルサイズとなる石材管理データは、外部コンピュータあるいは外部ディスク上に構成されている。
【0026】
通信インタフェース207は内部バス208に接続されており、インターネット、LAN、WAN、USB等の外部のネットワークに接続されることにより、外部コンピュータ、外部ディスク等とデータ送受信を行うことが可能となっている。
【0027】
I/Oインタフェース204は、ディスプレイ31、キーボード32等の入出力部30と接続され、データの入力を受け付け、CRTディスプレイ、液晶ディスプレイ等のディスプレイ31により所定の画像を表示する。撮像インタフェース205は、画像データ取得部10及び崩落石材画像データ取得部50と接続され、所定の画像データを取得する。
【0028】
図1に戻って、石垣立面図作成部22は、石垣画像データを、画像解析による領域分割手法により複数の領域(「オブジェクト」とも呼ぶ)に分割する画像領域分割処理により個々の石材形状の領域を認識する石材領域分割部23、分割された個々の石材形状の領域から石材形状の輪郭を示すベクトル形式のポリゴンデータである石垣立面図データを作成するポリゴンデータ作成部24、及び作成した石垣立面図データの石材ポリゴンデータの領域それぞれについて、石垣画像データを分割し抽出することで、個々の石材を示す石材画像データを抽出する石材画像データ抽出部25を有している。
【0029】
また、石材管理データ生成部26は、ポリゴンデータ作成部24で作成された石垣立面図データにある個々の石材ごとに識別することが可能な識別番号を付与する識別番号付与部27、石材の位置情報を算出する位置情報算出部28、及び石材の識別番号をキーとして、石材画像データと、石材の位置情報と、各石材の属性情報とを対応付けた石材管理データを生成し、管理データ記憶部40に記憶させる対応付け部29を有している。なお、本実施の形態において、石材の位置情報は、石材画像データから抽出したポリゴン図形の重心位置を、三次元または二次元の座標情報として算出して、石材毎に一意で決まる位置情報として用いている。ただし、ポリゴン図形内の任意の地点の座標情報を石材の位置情報としても良く、また、石材ポリゴンデータ自体の座標情報をそのまま位置情報として利用しても良い。
【0030】
また、計算機処理部20は、災害等により石垣が崩壊したときに、崩落した石材の画像データ(崩落石材画像データ)を後述する崩落石材画像データ取得部50により取得し、取得した崩落石材画像データを管理データ記憶部40にある崩落石材DB42に記憶させる崩落石材照合部60を有している。
【0031】
入出力部30は、石垣画像データや石材画像データ等の画像や、石垣の石材ポリゴンデータ、および、石材管理データに記憶されている石材DB41の情報等を表示するディスプレイ31、及び石材管理データの一部となる石材の属性情報等を入力するためのキーボード32で構成されている。
【0032】
管理データ記憶部40は、ハードディスク等の記憶媒体で構成されており、石材管理データを記憶する石材DB41、崩落石材画像データおよびそれらの属性情報を記憶する崩落石材DB42を有している。
【0033】
崩落石材画像データ取得部50は、崩落した石材の画像データである崩落石材画像データを取得するものであり、上述した画像データ取得部10と同様の構成を有しており、崩落した石材の表面を撮像して画像データを取得する撮像部51を有している。
【0034】
図3は、本発明の実施の形態に係る石垣管理システムの計算機処理部20の石垣管理処理の流れを示すフローチャートである。
図3に示す石垣管理処理では、石垣の表層面の画像等から石垣の画像データを取得し、石垣を構成する個々の石材の情報(石材管理データ)を生成して管理する。
図3に示すように、本発明の実施の形態に係る石垣管理システムの計算機処理部20は、まず管理対象の石垣の画像データを取得するために、画像データ取得部10の撮像部11に画像データ取得処理を実行させ、取得した画像データを受信する(ステップS100)。
【0035】
計算機処理部20は、管理対象の石垣の画像を画像データ取得部10の撮像部11に撮像させる。ここで、石垣及び石垣を構成する石材の表面の三次元形状を取得するために、撮像部11は、少なくとも2以上の異なる位置から石垣の画像を取得するステレオカメラや、空中を移動しながら複数の位置から石垣の画像を取得する飛行体(例えばドローン)に搭載されたカメラ、単一のカメラを用いて撮影位置及び撮影方向の少なくとも一方を変えながら、複数の写真を隣接間で撮影範囲を重複させて撮影する方法等が用いられる。また、画像データに位置情報を付与するために、石垣の表層上の任意の地点に作業用基準点を設置し、作業用基準点が画像データ内で判読可能なように撮像を行う。併せて、計算機処理部20は、作業用基準点に対して画像データ取得部10のレーザ計測部12により公共座標に基づく基準点測量を行い、計測結果を受信する。この場合の位置情報は、公共座標に基づく位置情報を使用するが、管理対象の石垣毎に所定の位置を原点とした位置情報でも良い。なお、撮像部11で撮像された石垣の画像は、一旦管理データ記憶部40等の記憶媒体に記憶するように構成しても良い。また、石垣の画像は、既に撮影されているものを流用しても良い。
【0036】
計算機処理部20は、石垣画像データ処理部21において受信した、画像データ取得部10において撮像された石垣の画像(上述したように、少なくとも2枚以上の画像)及び作業用基準点の位置情報を用いて三次元画像データを生成する。本実施例においては、SfM(Structure/Shape from Motion)処理により、複数枚の画像からカメラの撮像位置と撮影方向を推定し、MVS(Multi-View Stereo)処理により、推定されたカメラの撮像位置と撮影方向をもとに、画像のステレオマッチング処理により三次元形状を復元して三次元画像データを生成する。この三次元画像データは、表面形状(三次元形状)をTIN(Triangulated Irregular Network;不整三角形網)などにより近似し、各面に対して対応する画像のテクスチャを貼ったものである。
【0037】
計算機処理部20は、石垣画像データ処理部21において、石材画像データを抽出するための画像データとして、前記三次元画像データからオルソ画像データである石垣画像データを生成する。ここで、「オルソ画像データ」とは、石垣の表層面の三次元画像データを石垣正面から水平方向に正射投影変換した画像データである。生成したオルソ画像データにより、石垣の表層面の画像データを、ゆがみのない、正しい位置に表示される画像データとすることができる。なお、三次元画像データ及びオルソ画像データ(石垣画像データ)も、一旦管理データ記憶部40等の記憶媒体に記憶するように構成しても良い。また、オルソ画像データは、既に作成されているものを流用しても良い。
【0038】
計算機処理部20は、石垣立面図作成部22において、石垣立面図作成処理を実行する(ステップS200)。
図4は、本発明の実施の形態に係る石垣管理システムの計算機処理部20の石垣立面図作成処理の流れを示すフローチャートである。
【0039】
図4に示すように、計算機処理部20は、石垣立面図作成部22の石材領域分割部23において、石垣画像データ(本実施の形態では、上述したオルソ画像データ)から、画像解析による領域分割手法により石垣を構成する個々の石材の領域(オブジェクト)を生成し、その輪郭を決定する(ステップS210)。
図5は、本発明の実施の形態に係る石垣管理システムの計算機処理部20の石材領域分割部23における画像解析による領域分割手法の実施例で、マルチスケール分割処理という手法を利用した場合の流れを示すフローチャートである。
【0040】
図5に示すように、計算機処理部20は、石垣画像データをディスプレイ31に表示させ、キーボード32等からの入力に基づいて石垣画像データの色調及び明度の調整を行う(ステップS212)。計算機処理部20は、調整された石垣画像データに基づいて、マルチスケール分割処理および後述する輪郭追跡処理に用いられる設定パラメータの値を決定し、設定パラメータの初期値としての設定入力を受け付ける(ステップS214)。石垣を構成する石材の大きさや色については、石垣ごとに特徴があるため、石垣ごとに設定パラメータを設定することにより、輪郭追跡処理による輪郭決定の精度を向上させることができる。
【0041】
計算機処理部20は、マルチスケール分割処理のための処理パラメータの更新を行う(ステップS216)。計算機処理部20は、石材領域分割部23において、画像データの画素の各々を領域(1画素が1つの領域)として処理を開始し、隣接する2つの領域が所定の条件を満たす場合に領域を併合する。画像データの全ての領域に対して併合の判断が行われると、再度、隣接する2つの領域の併合の処理を行い、繰り返し処理を実行することにより、特徴量(色のバラツキ)が似ている領域が併合され、石材ごとの領域を抽出することができる。ここで、2つの領域を併合するか否かを決定するパラメータをスケールパラメータ(scale parameter)SPと呼び、併合の処理を繰り返す都度、スケールパラメータSPが加算される。計算機処理部20は、スケールパラメータSPの上限値を定めておき、スケールパラメータSPが上限値に到達したか否かを判断する(ステップS218)。
【0042】
なお、処理パラメータには、スケールパラメータSPの他に、スペクトル基準Fcolorの重みwcolor、形状基準Fshapeの重みwshape 、compactness基準fcmpct の重みwcmpct 、smoothness基準fsmthの重みwsmth、及び併合された領域の面積の規定値(生成領域の面積の上限値)が含まれる。
【0043】
計算機処理部20が、スケールパラメータSPが上限値に到達していないと判断した場合(ステップS218:NO)、計算機処理部20は、画像データから隣接する2領域を取り出し(ステップS220)、このステップS220で取り出すことができる2領域が残っているか否か、すなわちステップS220で全ての2領域の取り出しが完了したか否かを判断する(ステップS222)。計算機処理部20が、全ての2領域の取り出しが完了したと判断した場合(ステップS222:YES)、計算機処理部20は、処理をステップS216へ戻して上述した処理を繰り返す。
【0044】
計算機処理部20が、まだ全ての2領域の取り出しが完了していないと判断した場合(ステップS222:NO)、計算機処理部20は、ステップS220で取り出した隣接する2領域を併合したときの面積(併合面積)が規定値以下であるか否かを判断する(ステップS224)。なお、隣接する2領域の併合面積の既定値(生成領域の面積の上限値)の単位は、画素数又は実寸法を用いることができる(実寸法を用いるときは、画像データの1画素当りの辺の長さ(1画素の解像度であって、例えば1cm/画素)が指定される)。また、隣接する2領域の併合面積の既定値(生成領域の面積の上限値)としては、管理対象の石垣を構成する石材の大きさの想定しうる上限値が設定される。このように、隣接する2領域が併合された場合の生成領域の面積の上限値を設けることにより、色が類似しているような石材が隣接しているときに、これらの石材の領域が1つの石材の領域として併合されることを防ぐことができる。
【0045】
計算機処理部20が、併合面積が規定値より大きいと判断した場合(ステップS224:NO)、計算機処理部20は、処理をステップS220へ戻して上述した処理を繰り返す。計算機処理部20が、併合面積が規定値以下であると判断した場合(ステップS224:YES)、計算機処理部20は、隣接する2領域の評価値Fを算出して評価を行う(ステップS226)。
【0046】
図6は、本発明の実施の形態に係る石垣管理システムの計算機処理部20のマルチスケール分割処理における、隣接する2領域の併合処理を示す説明図である。
図6に示すように、隣接する2領域の一方を領域pとし、他方を領域qとし、領域pと領域qとが併合されたときの併合領域を領域rとする。評価値Fは、隣接する2領域の併合の前後における異質性の変化を示しており、式(1)として表される。
【0047】
【0048】
式(1)において、スペクトル基準F
color はスペクトルの異質性の変化を示し、形状基準F
shape は形状の異質性の変化を示している。また、スペクトルの異質性の変化であるスペクトル基準F
color は、領域を構成する画素の各バンドにおける標準偏差値を用いて、式(2)として表される。なお、添え字p,qは、
図7に示す併合対象の2領域を示し、rは併合後の領域を示している。また、nは領域を構成する画素数を示し、σ
i とw
i はi番目のバンド、例えば、カラー画像の場合はR、G、Bの3バンドにおける標準偏差値とその重みを示し、Nはバンド数を示している。
【0049】
【0050】
また、形状の異質性の変化である形状基準Fshape は、領域の形状を規定するcompactness基準fcmpct 及びsmoothness基準fsmthを用いて、式(3)として表される。
【0051】
【0052】
ここで、compactness基準fcmpct はcompactnessの異質性の変化を示し、smoothness基準fsmthはsmoothnessの異質性の変化を示している。そして、compactness基準fcmpct は、領域の周囲長と画素数から式(4)として表され(面積が等しい場合には周囲長がより短くなる領域の生成が望ましい結果となる)、smoothness基準fsmthは、領域の周囲長と領域の存在範囲の短辺長を用いて式(5)として表される(存在範囲に対して周囲長がなるべく短くなるような領域の生成を理想的であるとみなす)。なお、nは領域を構成する画素数を示し、lは領域の周囲長を示し、dは領域を内包する境界ボックスの短辺長を示す。なお、dには領域を内包する境界ボックスの短辺長に替えて、境界ボックスの長辺長や境界ボックスの対角線長を用いることもできる。
【0053】
【0054】
図5に戻って、上述した処理によって隣接する2領域の評価値Fが式(1)により算出されると、計算機処理部20は、算出された評価値Fが既定値以下であるか否かを判断する(ステップS228)。計算機処理部20が、評価値Fが既定値より大きいと判断した場合(ステップS228:NO)、計算機処理部20は、処理をステップS220へ戻して上述した処理を繰り返す。
【0055】
計算機処理部20が、評価値Fが既定値以下であると判断した場合(ステップS228:YES)、計算機処理部20は、隣接する2領域を併合して(ステップS230)、処理をステップS220へ戻す。本実施の形態では、式(1)による評価値FがスケールパラメータSPの2乗を超えない場合に併合処理が適用される。
【0056】
すなわち、評価値Fが既定値(スケールパラメータSPの2乗)以内である場合には、隣接する2領域が併合され、隣接する2領域の併合面積が既定値より大きい場合、及び評価値Fが既定値より大きい場合には、隣接する2領域は併合されない。
【0057】
計算機処理部20が、スケールパラメータSPが上限値に到達したと判断した場合(ステップS218:YES)、計算機処理部20は、輪郭追跡処理を実行する(ステップS232)。具体的には、上述したマルチスケール分割処理で決定された領域の各々の輪郭線を検出する。
【0058】
計算機処理部20は、管理対象の石垣の画像データに、検出された輪郭線を重ね合わせてディスプレイ31に表示し、最終輪郭追跡データ編集の入力を受け付ける(ステップS234)。ここで、最終輪郭追跡データ編集とは、ステップS232で検出された輪郭線に誤りがある場合(輪郭線が石垣の形状と合致していない場合や、一つの石垣が複数の分割された領域の輪郭線として検出されている場合、および、複数の石垣が一つの領域の輪郭線として検出されている場合など)に、ディスプレイ31に表示された輪郭線を、キーボード32等により、人的に追加又は削除の入力を受け付ける処理である。
【0059】
計算機処理部20は、マルチスケール分割処理の結果を確定させる確定入力を受け付けたか否かを判断する(ステップS236)。計算機処理部20が、確定入力を受け付けていないと判断した場合(ステップS236:NO)、計算機処理部20は、キーボード32等から上述した設定パラメータの変更入力を受け付け(ステップS238)、処理をステップS216へ戻して上述した処理を繰り返す。
【0060】
計算機処理部20が、確定入力を受け付けたと判断した場合(ステップS236:YES)、計算機処理部20は、輪郭スムージング処理を実行することにより輪郭線をより滑らかな状態にし(ステップS240)、マルチスケール分割処理(ステップS210)を終了して、
図4のステップS250へ進む。なお、以上の処理により分割されたそれぞれの領域が、個々の石材の形状となる。
【0061】
図4に戻って、計算機処理部20は、石垣立面図作成部22のポリゴンデータ作成部24において、石材領域分割部23により分割された領域(石垣を構成する個々の石材の形状)ごとに、石材の輪郭を示す石材ポリゴンデータを抽出することで、石垣立面図データを作成する(ステップS250)。なお、石垣立面図データも、一旦管理データ記憶部40等の記憶媒体に記憶するように構成しても良い。また、本実施例で使用する石垣立面図データは、画像認識により自動生成されたものでなくとも、図化機等により作成されたもの、石垣写真からデジタイジングしたもの、その他各種製法等により作成された石垣立面図データを流用しても良い。
【0062】
図3に戻って、計算機処理部20は、石垣立面図作成部22の石材画像データ抽出部25において、作成した石垣立面図データの石材ポリゴンデータの領域それぞれについて、その領域の範囲で石垣画像データを分割し抽出することで、個々の石材を示す石材画像データを抽出する(ステップS300)。全ての石材ポリゴンデータに対して石材画像データの抽出が完了した時点で、計算機処理部20は、処理をステップS400へ進める。
【0063】
計算機処理部20は、石材管理データ生成部26において、管理対象の石垣を構成する石材ごとに、石材管理データが生成される石材管理データ生成処理を実行する(ステップS400)。
図7は、本発明の実施の形態に係る石垣管理システムの計算機処理部20の石材管理データ生成処理の流れを示すフローチャートである。
【0064】
図7に示すように、計算機処理部20は、石材管理データ生成部26の識別番号付与部27において、石垣立面図作成部22のポリゴンデータ作成部24において作成された石垣立面図データを使って、領域分割された全ての石材ポリゴンデータに対し、石材(又は石材画像データ)を管理対象の石垣において一意に特定することができる識別番号を付与する(ステップS410)。
【0065】
計算機処理部20は、石材管理データ生成部26の位置情報算出部28において、石材の位置情報として石垣立面図データの各石材ポリゴンデータの重心位置を三次元または二次元の座標情報として算出し(ステップS420)、石材管理データ生成部26の対応付け部29において、石材ごとに識別番号と位置情報とを対応付ける(ステップS430)。なお、石材の位置情報は、ポリゴン図形内であれば任意地点の座標情報で良く、また、石材ポリゴンデータ自体の座標情報をそのまま位置情報として利用しても良い。
【0066】
図3に戻って、計算機処理部20は、生成された石材管理データを、管理データ記憶部40の石材DB41に記憶する(ステップS500)。このとき、石材画像データも識別番号と対応付けて石材DB41に記憶される。
【0067】
図8は、本発明の実施の形態に係る石垣管理システムの石材DBのデータ構造を示す説明図である。
図8に示すように、本実施の形態に係る石材DB41は、石垣番号41a、識別番号41b、その他属性41c、位置情報41d、及び石材画像データ41eを一つの石材に対する石材管理データとして記憶するように構成されている。ここで、石垣番号41aは、管理対象の石垣を特定する識別番号であり、また、その他属性41cとしては、例示として、面縦長、面横長、重量、石質、加工状況、配置位置等を記憶可能に構成されている。
【0068】
図9は、本発明の実施の形態に係る石垣管理システムの石垣の表層面の画像データに石垣立面図データと位置情報とを重ね合わせて表示した場合の説明図である。
【0069】
図9(a)に示すように、石垣全体において、石材1つ1つについて、石材画像データの輪郭である石材ポリゴンデータと重心位置とが重ね合わせて表示されている。すなわち、
図9(b)の一部拡大図でわかるように、個々の数字は識別番号を示しており、黒丸印がそれぞれの石材の重心位置を示している。なお、石材DB41は、石垣立面図データ(石材画像データの輪郭である石材ポリゴンデータ)と識別番号により対応づけられているため、現在識別番号を表示している場所に、石材DBにおいて管理されているその他属性情報の数値等を表示するように構成しても良い。また、その他属性情報の数値等に従って、ランキング表現や個別値分類により、石垣立面図データの石材ポリゴンデータの形状を色分け表現して表示するように構成しても良い。
【0070】
次に、石材管理データとして石材DB41で個々の石材を管理している石垣が、災害等により崩壊した場合の処理について説明する。まず、計算機処理部20は、崩落した石材の画像データ(崩落石材画像データ)を崩落石材画像データ取得部50に取得させ、崩落石材照合部60において、崩落石材画像データを石材DB41の石材管理データ内にある石材画像データと照合する崩落石材照合処理を実行する。崩落石材照合処理により、崩落した石材に類似する石材DB内の石材の情報を抽出することが可能となり、崩落した石材の位置情報やその他属性情報等を取得できる。
【0071】
まず、崩落石材画像データ取得部50は、光学カメラにより構成されており、崩落した石垣の石材の表面を撮影し、崩落石材画像データを取得する。崩落石材画像データを取得したら、順番に崩落した石材を識別する識別番号(崩落石材管理番号)を付番し、崩落石材画像データとともに崩落石材DB42に記憶されていくものとする。また、崩落石材DB42には、崩落石材画像データだけでなく、例えば、面縦長、面横長、重量、石質、加工状況等の属性情報や、その石材が落下していた場所や、仮置き場での仮置きされている場所の位置情報等を合わせて管理することも可能である。
【0072】
図10は、本発明の実施の形態に係る石垣管理システムの計算機処理部20の崩落石材照合処理の流れを示すフローチャートである。
図10に示すように、計算機処理部20は、崩落石材照合部60において、崩落石材DB42から何れか一つの崩落石材画像データを読み込む(ステップS600)。そして、読み込まれた崩落石材画像データを、石材DB41で管理されている石材画像データ(
図8の石材画像データ41eのカラムに記憶されている石材画像データ)と照合する石材画像データ照合処理を実行する(ステップS610)。
【0073】
具体的には、計算機処理部20は、石材DB41に記憶されている石材管理データごとに、崩落石材画像データと石材画像データとの特徴点を抽出し、抽出した特徴点に基づいて類似度合いを算出し、類似度合いが高い順に、所定の個数の石材の識別番号を抽出する。ここで、崩落石材画像データ及び石材画像データの特徴点とは、画像データの中のコーナーやエッジ等、隣接する領域と何らかの変化がある点である。照合対象となる石垣の画像データ(崩落石材画像データ及び石材画像データ)は、それぞれの画像データの取得状態(撮影機器(カメラ)や撮影条件(照明、撮影角度)、画像の解像度等)が異なっている。そのため、画像の解像度(スケール)や、回転、明るさの変動に対して頑健な特徴点抽出演算子を用いる必要がある。代表的な特徴点抽出演算子としては、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)、FAST(Features from Accelerated Segment Test)等が挙げられる。さらに、真正面から撮影することが困難である場合に、被写体の形状が変形して撮像されている場合であっても良好な照合を行うために、例えば、Affine-SIFT(SIFTの改良手法)を用いることもできる。
【0074】
図11は、本発明の実施の形態に係る石垣管理システムの計算機処理部20の石材画像データ照合処理の流れを示すフローチャートである。
図11に示すように、計算機処理部20は、ステップS600で読み込まれた崩落石材画像データの特徴点を抽出する(ステップS611)。
【0075】
計算機処理部20は、石材画像DB41から何れか一つの石材画像データを読み込む(ステップS612)。また、計算機処理部20は、ステップS612で読み込んだ石材画像データの特徴点を抽出する(ステップS613)。なお、石材DB41に記憶されている石材画像データに対しては、予め特徴点を抽出しておき、石材DB41に識別番号と対応付けて記憶しておき、ステップS612において石材画像データとともに当該石材画像データの特徴点を読み込むように構成しても良い。
【0076】
計算機処理部20は、崩落石材画像データの特徴点毎に、当該特徴点と最も特徴量が一致する石材画像データの特徴点のペア(マッチング点、対応点とも称する)を算出する(ステップS614)。計算機処理部20は、ステップS613で算出された特徴点のペアに基づいて、特徴点の類似度の評価を行う(ステップS615)。石垣の表面がほぼ平面であると仮定すれば、理想的にはマッチングされた点(特徴点のペア)は、平面から平面への射影変換によって座標の投影変換が行われる。射影変換は、4点以上の対応点(マッチング点のそれぞれの画像座標)を与えることによって、変換係数(射影変換係数)を算出することができる(4点を超える場合には最小二乗法によって算出する)。
【0077】
計算機処理部20は、ステップS614で算出された特徴点のペア(マッチング点)に対して外れ値の除外を行う(ステップS616)。一般にマッチング点には誤対応(ミスマッチング)が含まれている。そのため、射影変換係数を決定するためにRANSAC(Random sample consensus)と称される手法を適用して外れ値の除外を行う。具体的には、射影変換係数を決定するために、マッチング点の中からM(≧4)点をランダムにサンプリングし、それによって射影変換係数を算出する。そして、射影変換係数の算出に用いられなかったマッチング点(ここではPiとQiとする)に対し、算出された射影変換係数によりPiを座標変換し(ここでは座標変換後の点をRiとする)、QiとRiとの距離の差が既定値以内あるマッチング点の点数Nをカウントする。このような試行を一定回数行い、Nが最大になったときの試行時におけるNの値(これをNmaxとする)を更新・記憶する。その後、Nmaxとなった時の試行において、変換後の距離の差が許容値以内となった全てのマッチング点を使用して、再度最終的な射影変換係数を算出する。なお、試行の回数は、予め指定しても良いし、マッチング点の数及び信頼度(例えば95%)を用いて、統計的に決定することもできる。
【0078】
計算機処理部20は、石材画像DB41に記憶されている全ての石材画像データの特徴点を照合したか否かを判断する(ステップS617)。計算機処理部20が、まだ特徴点を照合していない石材画像データが存在すると判断した場合(ステップS617:NO)、計算機処理部20は、処理をステップS612に戻して、上述した処理を繰り返す。計算機処理部20が、全ての石材画像データの特徴点を照合したと判断した場合(ステップS617:YES)、計算機処理部20は、石材画像データ照合処理を終了する。
【0079】
図10に戻って、計算機処理部20は、崩落した石材の識別番号(崩落石材管理番号)及び崩落石材画像データに照合結果(類似度が高い石材画像データの識別番号)を対応付けて、崩落石材照合結果DB43を更新する(ステップS620)。具体的には、ステップS616で算出されたNmaxの多い順(類似度順)に所定の個数の石材画像データの識別番号を抽出して、崩落石材照合結果DB43を更新する。
【0080】
計算機処理部20は、崩落石材画像DB42に記憶されている全ての崩落石材画像データを照合したか否かを判断する(ステップS630)。
【0081】
計算機処理部20が、まだ照合していない崩落石材画像データが存在すると判断した場合(ステップS630:NO)、計算機処理部20は、処理をステップS600へ戻して、上述した処理を繰り返す。計算機処理部20が、全ての崩落石材画像データを照合したと判断した場合(ステップS630:YES)、計算機処理部20は、照合結果(崩落石材照合結果DB43の内容)をディスプレイ31等に出力し(ステップS640)、崩落石材照合処理を終了する。
【0082】
なお、崩落石材画像データと照合する石材画像データ(石材DB41に記憶されている石材画像データ)の候補を削減するために、崩落した石材の崩落位置の付近に該当する石材画像データのみを照合対象とすることができる。石材DB41には、石材画像データとともに当該石材の石垣内における位置情報が記憶されているため、崩落した石材と関連し得る位置的範囲にある石材画像データのみを照合の対象とすることができる。これにより、照合すべき石材画像データの数を減らしたり、照合のミスを低減させたりすることができる。
【0083】
また、上述した石材画像データ照合処理S610において画像の射影変換を行うことにより、崩落石材画像データの撮影において多少の傾きがあっても、画像をほぼ同じ向きに変換(変形)させることができる。また、石材画像データ照合処理S610に対して、特徴点ベースではなく、例えば、射影変換によって投影変換された画像と石材画像データ画像間の正規化相互相関係数等による類似度判定を追加して適用することにより、画像の照合ミスをさらに抑制することが可能となる。
【0084】
図12は、本発明の実施の形態に係る石垣管理システムの崩落石材照合結果DB43のデータ構造を示す説明図である。
図12に示すように、崩落石材照合結果DB43は、崩落石材管理番号43a、崩落石材画像データ43b、類似石材番号43c(本実施の形態では、類似度合いの高い順に4つの石材の識別番号を抽出した場合を示している)、及びその他属性情報43dから構成される。なお、崩落石材画像データに類似する石材画像データは4つに限定されることはない。また、その他属性情報43dには、例えば照合結果を確認した作業者が、照合結果に対するコメント等をキーボード32等から入力することにより記憶させることもできる。
【0085】
以上のように、本実施の形態に係る石垣管理システム1によれば、石垣の表層面を撮像して画像データ(例えば、オルソ画像データ)を生成することにより、生成された画像データに基づいて石垣を構成する個々の石材の情報(属性情報や石材画像データ等)を、識別番号や位置情報とともに、石材DB41で管理することができる。また、石垣の画像データから個々の石材の画像データ(石材画像データ)を自動抽出することができるため、石垣の石垣カルテの作成を支援することができる。
【0086】
また、災害等により石垣が崩壊した場合に、崩落した石材の画像データ(崩落石材画像データ)と石材DB41の石材管理データ(石材画像データ)とを照合することにより、崩落した石材の石垣における位置情報を特定することができるので、石垣の修復時において、原状復帰を容易に行うことができる。
【0087】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。
【符号の説明】
【0088】
1 石垣管理システム
10 画像データ取得部
11 撮像部
20 計算機処理部
22 石垣立面図作成部
26 石材管理データ生成部
30 入出力部
40 管理データ記憶部
50 崩落石材画像データ取得部
60 崩落石材照合部