IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社パスコの特許一覧

特開2023-124284石材照合装置、石材照合方法及びプログラム
<>
  • 特開-石材照合装置、石材照合方法及びプログラム 図1
  • 特開-石材照合装置、石材照合方法及びプログラム 図2
  • 特開-石材照合装置、石材照合方法及びプログラム 図3
  • 特開-石材照合装置、石材照合方法及びプログラム 図4
  • 特開-石材照合装置、石材照合方法及びプログラム 図5
  • 特開-石材照合装置、石材照合方法及びプログラム 図6
  • 特開-石材照合装置、石材照合方法及びプログラム 図7
  • 特開-石材照合装置、石材照合方法及びプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023124284
(43)【公開日】2023-09-06
(54)【発明の名称】石材照合装置、石材照合方法及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230830BHJP
【FI】
G06T7/00 300F
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022027957
(22)【出願日】2022-02-25
(71)【出願人】
【識別番号】000135771
【氏名又は名称】株式会社パスコ
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】陳 天恩
(72)【発明者】
【氏名】松本 正芳
(72)【発明者】
【氏名】津口 雅彦
(72)【発明者】
【氏名】崔 載永
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096DA04
5L096FA06
5L096FA18
5L096FA32
5L096FA59
5L096FA62
5L096FA66
5L096FA67
5L096FA69
5L096JA03
5L096JA11
(57)【要約】
【課題】作業者の手間をより低減しつつ石材画像を照合することのできる石材照合装置、石材照合方法及びプログラムを提供する。
【解決手段】石材照合装置は、崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得し、石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭を取得し、崩落前石材の画像及び崩落後石材の画像のそれぞれについて、輪郭又は石材領域の平均位置を中心とした各方向での平均位置から輪郭までの距離に基づいて定められた基準方向に対する相対角度と距離との関係を少なくとも含む特徴量を抽出し、崩落前石材の特徴量と崩落後石材の特徴量とを比較して、崩落前石材と崩落後石材とを照合する。
【選択図】図7
【特許請求の範囲】
【請求項1】
崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得する第1輪郭取得手段と、
前記石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭を取得する第2輪郭取得手段と、
前記崩落前石材の画像及び前記崩落後石材の画像のそれぞれについて、前記輪郭又は当該輪郭の内側として表される石材領域の平均位置を中心とした各方向での前記平均位置から前記輪郭までの距離に基づいて定められた基準方向に対する相対角度と前記距離との関係を少なくとも含む特徴量を抽出する特徴量抽出手段と、
前記崩落前石材の前記特徴量と前記崩落後石材の前記特徴量とを比較して、前記崩落前石材と前記崩落後石材とを照合する照合手段と、
を備えることを特徴とする石材照合装置。
【請求項2】
前記比較の結果が類似の度合に係る所定の基準を満たす前記崩落前石材の画像と前記崩落後石材の画像とを、前記基準方向を一致させた向きで表示手段により表示させる表示制御手段を備えることを特徴とする請求項1記載の石材照合装置。
【請求項3】
崩落前の石垣を撮影した画像に含まれている複数の崩落前石材の石材領域をそれぞれ取得する第1領域取得手段と、
前記石垣の崩落後に撮影した画像に含まれている崩落後石材の石材領域を取得する第2領域取得手段と、
前記石材領域の外接矩形及び内接矩形から予め定められたいずれかのうち、前記石材領域との面積差が最小であるものを前記崩落前石材及び前記崩落後石材のそれぞれについて求め、当該最小の面積差に応じた不整形の度合に係る指標を少なくとも含む特徴量を抽出する特徴量抽出手段と、
前記崩落前石材の前記特徴量と前記崩落後石材の前記特徴量とを比較して、前記崩落前石材と前記崩落後石材とを照合する照合手段と、
を備えることを特徴とする石材照合装置。
【請求項4】
崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得する第1輪郭取得ステップ、
前記石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭を取得する第2輪郭取得ステップ、
前記崩落前石材の画像及び前記崩落後石材の画像のそれぞれについて、前記輪郭又は当該輪郭の内側として表される石材領域の平均位置を中心とした各方向での前記平均位置から前記輪郭までの距離に基づいて定められた基準方向に対する相対角度と前記距離との関係を少なくとも含む特徴量を抽出する特徴量抽出ステップ、
前記崩落前石材の前記特徴量と前記崩落後石材の前記特徴量とを比較して、前記崩落前石材と前記崩落後石材とを照合する照合ステップ、
を含むことを特徴とする石材照合方法。
【請求項5】
コンピュータを、
崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得する第1輪郭取得手段、
前記石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭を取得する第2輪郭取得手段、
前記崩落前石材の画像及び前記崩落後石材の画像のそれぞれについて、前記輪郭又は当該輪郭の内側として表される石材領域の平均位置を中心とした各方向での前記平均位置から前記輪郭までの距離に基づいて定められた基準方向に対する相対角度と前記距離との関係を少なくとも含む特徴量を抽出する特徴量抽出手段、
前記崩落前石材の前記特徴量と前記崩落後石材の前記特徴量とを比較して、前記崩落前石材と前記崩落後石材とを照合する照合手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、石材照合装置、石材照合方法及びプログラムに関する。
【背景技術】
【0002】
城郭といった古い建築物や防塁など、及びその遺構などには、しばしば石垣が含まれる。石垣は、大地震などの天災の発生に伴って崩落する場合がある。
【0003】
大量の石材が無秩序に崩落した場合に、保持されていた石垣の写真を参照しながら崩落している石材を各々特定して元の位置に戻すのは非常に手間がかかるという問題がある。特許文献1に記載の石垣管理システムでは、光学カメラで撮影されていた石垣の画像及び崩落後の各石材画像からそれぞれ石材のコーナーやエッジなどの特徴点を抽出し、当該特徴点の類似度の高い順に抽出した石材画像の情報を照合結果として出力している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019-095821号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、石垣の崩落時の破損、傷や汚れなどが原因で適切に対応付けがしづらい場合があり、作業者の手間を要することが多いという課題がある。
【0006】
この開示の目的は、作業者の手間をより低減しつつ石材画像を照合することのできる石材照合装置、石材照合方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本開示の石材照合装置は、崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得する第1輪郭取得手段と、前記石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭を取得する第2輪郭取得手段と、前記崩落前石材の画像及び前記崩落後石材の画像のそれぞれについて、前記輪郭又は当該輪郭の内側として表される石材領域の平均位置を中心とした各方向での前記平均位置から前記輪郭までの距離に基づいて定められた基準方向に対する相対角度と前記距離との関係を少なくとも含む特徴量を抽出する特徴量抽出手段と、前記崩落前石材の前記特徴量と前記崩落後石材の前記特徴量とを比較して、前記崩落前石材と前記崩落後石材とを照合する照合手段と、を備えることを特徴とする。
【発明の効果】
【0008】
本開示に従うと、作業者の手間をより低減しつつ石材画像を照合することができるという効果がある。
【図面の簡単な説明】
【0009】
図1】本実施形態の石材照合システムのシステム構成を示すブロック図である。
図2】石材データ生成制御処理の制御手順を示すフローチャートである。
図3】石材画像から算出可能な石材の形状に係る特徴量の例を示す図表である。
図4】輪郭動径について説明する図である。
図5】最小不整形指標を説明する図である。
図6】特徴量算出処理の制御手順を示すフローチャートである。
図7】石材照合制御処理の制御手順を示すフローチャートである。
図8】照合に係る表示画面の例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、本実施形態の石材照合システム100のシステム構成を示すブロック図である。
石材照合システム100は、石材照合装置としての処理装置1と、石材画像を記憶する記憶装置2とを含む。
【0011】
処理装置1は、通常のパーソナルコンピュータ(PC、コンピュータ)であってもよく、CPU11(Central Processing Unit)と、RAM12(Random Access Memory)と、記憶部13と、通信部14と、表示部15(表示手段)と、操作受付部16などを備える。
【0012】
CPU11は、演算処理を行い、処理装置1の動作を統括制御する。CPU11は、単一のプロセッサであってもよいし、複数のプロセッサが並列動作又は用途などに応じて各々独立に動作するものであってもよい。
【0013】
RAM12は、CPU11に作業用のメモリ空間を提供し、一時データを記憶する。RAM12は、特には限られないがDRAMなどであってもよい。CPU11が複数のプロセッサを有する場合には、各々に対応するRAMを有していてもよいし、複数のプロセッサにより共通に利用されるRAMであってもよい。
【0014】
記憶部13は、石材のデータ生成制御処理及び石材の石材照合制御処理に係るプログラム131や設定データなどを記憶する補助記憶装置である。記憶部13は、例えば、フラッシュメモリなどの不揮発性メモリやHDD(Hard Disk Drive)などであってよい。記憶部13は、処理装置1に対して外付けされる構成(処理装置1の外部の構成)であってもよく、ネットワーク上に存在してアクセス可能なネットワークドライブやクラウドサーバなどであってもよい。設定データには、例えば、表示画面への照合結果の表示に係る画面設定や表示順設定などが含まれる。
【0015】
通信部14は、外部機器との間で所定の通信規格に従って行うデータの送受信(通信)を制御する。所定の通信規格には、例えば、LAN(Local Area Network)に係るTCP/IPなどが含まれる。また、通信部14は、USB(Universal Serial Bus)などの接続端子を有し、USBによる接続機器との一対一での通信を制御することが可能であってもよい。
【0016】
表示部15は、デジタル表示画面を有し、CPU11の制御に基づいてデジタル表示画面による表示を行う。デジタル表示画面は、特には限られないが、例えば液晶表示画面(LCD)である。
操作受付部16は、マウスなどのポインティングデバイスやキーボードなどを含み、入力操作を受け付けて、受け付けた内容に応じた操作信号をCPU11へ出力する。
なお、表示部15及び操作受付部16は、通信部14の接続端子に接続された周辺機器(処理装置1の外部の構成)であってもよい。
【0017】
記憶装置2は、石材画像、並びに当該石材画像に対応付けられた識別情報及び特性情報を記憶する。記憶装置2は、ネットワークドライブやクラウドサーバなど、専用のデータベース装置、又は適宜な容量の補助記憶装置(HDD)などを内蔵又は外付けしたPCなどであってもよい。石材画像には、崩落前の石垣が光学カメラにより撮影された崩落前の石垣画像及び当該石垣画像に含まれる各石材(崩落前石材)に区分された画像(崩落前石材画像)、並びに石垣の崩落後の石材(崩落後石材)が各々光学カメラにより撮影された崩落後石材画像が含まれる。識別情報は、例えば、一意に定められた識別番号や記号などである。特性情報については後述する。
【0018】
次に、石材の照合について説明する。
石垣が崩落すると、個々の石材は、当初の位置関係や向きからずれて散在する。崩落後石材を元の位置関係に戻して石垣を修復するには、各崩落前石材画像と崩落後石材画像とを比較してこれらが合致する組合せを検出し、合致した崩落前石材画像に係る石材(崩落前石材)の石垣における位置を特定する必要がある。
【0019】
処理装置1では、崩落前石材画像及び崩落後石材画像のうちいずれか一方(例えば崩落後石材画像)の一つの石材に対して、他方の石材画像(崩落前石材画像)を総当たりで比較して、類似の度合が高い他方の石材画像を抽出して照合結果を示す。比較は、各石材の形状特性を示す特徴量などの特性情報の定量的な評価、すなわち、比較対象の石材間における相違度に基づいて行われる。相違度は例えば、1から特徴量間の相互相関係数を減じた値、特徴量間の差分の大きさ、特徴量間の距離などとして算出することができる。
【0020】
このような照合に係る処理のために、上記一方の石材(崩落前石材)及び他方の石材(崩落後石材)の画像を取得し、更に、上記一方(崩落前の石材)の輪郭、位置や形状に係る特性情報などを予め特定して記憶装置2に記憶保持する。崩落前の各石材の画像は、石垣の画像内から各々石材の範囲(輪郭及びその内側の石材領域)が特定されて、特定された輪郭ごとに画像が区分されることで得られる。特定された各石材の輪郭の形状に係る特徴量が抽出されて、石材の識別情報(例えば識別番号)及び位置情報とともに崩落前石材画像に対応付けられて、記憶装置2の石材データ21に記憶保持される。
【0021】
石垣は、予め計画的かつ網羅的に各々最適な向き及び画角で撮影されるのが好ましいが、他の目的、例えば、宣伝、パンフレットや案内などのために撮影された撮影画像や、単なるスナップ写真などが流用されてもよい。石垣は、しばしば露出面積が大きく、複数の方向に面している場合もあるので、石垣は、複数の領域に分割されて撮影されてもよい。この場合に、撮影範囲ごとに石垣の識別情報(石垣番号)などが付される。
【0022】
一方、崩落後の石材の画像(崩落後石材画像)は、崩落した個々の石材の画像が現場の作業者や管理者などによって個別に撮影されることで取得される。崩落後石材画像も、通信部14を介して処理装置1へ入力される。ここで、崩落した個々の石材は、崩れ方などによっては任意の向きで存在し得る。崩落前に石垣において露出していた面(表面)は、他の面と比較して土砂や苔などの付き具合が顕著に異なるので、大抵の場合では撮影時に視認で容易に特定可能である。しかしながら、表面の回転方向についての位置は、崩落後石材画像だけで特定するのは困難である。崩落後石材に係る特徴量の取得は、特には限られないが、当該崩落後石材画像が取得されるごとに各々行われればよい。
【0023】
各石材の画像は、正面から見た画像となるように取得される。上述したように、崩落前に石垣において露出していた面が容易に視認できるので、作業者が正面から石材を撮影することは容易である。あるいは、石材それぞれを複数の方向から撮影しておき、後述する石垣画像の場合と同様に、当該複数の方向から撮影した画像にSfM、MVS処理を施して得られる三次元画像を正射影することにより、正面から見た崩落後石材画像を生成してもよい。なお、照合に用いられる各画像の解像度や実サイズに対する縮尺は、互いに異なっていてもよい。
【0024】
図2は、本実施形態の処理装置1で実行される石材データ生成制御処理の制御手順を示すフローチャートである。本実施形態の石材照合方法を含むこの石材データ生成制御処理は、プログラム131の一部として、例えば、適宜な石垣の画像データが取得された状態でユーザによる開始要求に係る入力操作に応じてCPU11により開始、実行される。
【0025】
CPU11は、石垣の撮影画像を記憶装置2から取得する(ステップS101)。CPU11は、共通範囲を複数の方向から撮影した複数の画像に基づいて、石垣の表面に露出している各点の三次元位置を特定し、正面から見た石垣画像を生成する(ステップS102)。
【0026】
この石垣画像の生成では、CPU11は、位置の特定の基準となる点(基準点:画像から識別可能な特徴的な点であり、その地理的位置が予め衛星測位やレーザ測量などにより特定されている)が含まれる石垣の撮影画像を複数選択し、SfM(Structure from Motion)などにより、各撮影画像の撮影位置(上記基準点に対する相対位置であってよい)及び撮影方向を算出する。CPU11は、撮影位置及び撮影方向が算出された複数の撮影画像を用いて、例えば、MVS(Multi-View Stereo)処理などにより撮影画像のステレオマッチングを行って、石垣の三次元形状を復元する。CPU11は、この復元された石垣表面の三次元形状をTIN(Triangulated Irregular Network;不整三角形網)などによって近似し、各面に対応する範囲の画像テクスチャを貼りつけていくことで、石垣の三次元画像を生成する。この三次元画像を石垣の正面から水平方向に正射影することで、石垣画像が得られる。
【0027】
CPU11(第1輪郭取得手段(第1輪郭取得ステップ)及び第1領域取得手段)は、マルチスケール分割処理などにより崩落前石材ごとに表面の範囲(石材範囲)を区分して、その輪郭を抽出(取得)する(ステップS103)。具体的には、CPU11は、まず、各画素を各々別個の領域として初期設定する。隣接領域(画素)の特徴量、例えば色のばらつきなどに基づいて、当該隣接領域の類似度などによりこれら隣接領域の併合可否を各々判断してゆき、併合可能な領域がなくなる状態に達するまでこの処理を繰り返すことで、各石材ごとに領域を特定する。このとき、処理の繰り返し回数の上限や、繰り返しにより併合される領域の最大面積なども併合可否の条件に含まれてもよい。このようにして特定された各領域の外周に位置する画素が各石材の輪郭をなす。この領域外周の画素を順番にトレースすることで、輪郭がポリゴンデータ(ベクトルデータ)として表される。このポリゴンデータ(ベクトルデータ)には、スムージング処理がなされてもよい。なお、マルチスケール分割処理の結果は、表示部15により表示されてユーザや管理者などにより目視で確認され、不適切な箇所などは、操作受付部16が修正操作を受け付けることで適宜修正されてよい。
【0028】
CPU11は、石垣画像から各崩落前石材の輪郭の集合を描画した石垣立面図を生成し、石垣の識別情報(石垣番号)と対応付けて記憶装置2に記憶させる(ステップS104)。CPU11は、上記輪郭情報によって区分される各石材表面の範囲の画像を抽出した崩落前石材画像を各々設定し、識別情報とともに記憶装置2に記憶させる(ステップS105)。
【0029】
CPU11は、記憶装置2に記憶されたいずれかの崩落前石材画像を選択する(ステップS106)。このステップS106の処理では、一度選択されたものは除外される。すなわち、CPU11は、記憶装置2から未選択の崩落前石材画像を選択する。CPU11(特徴量抽出手段(特徴量抽出ステップ))は、選択された崩落前石材画像を用いて石材の特徴量算出処理を実行する(ステップS107)。特徴量算出処理の内容については後述する。CPU11は、記憶保持されている全ての崩落前石材画像を選択したか否かを判別する(ステップS108)。崩落前石材画像のうち選択されていないものがあると判別された場合には(ステップS108で“NO”)、CPU11の処理は、ステップS106に戻る。
【0030】
記憶保持されている全ての崩落前石材画像が選択されたと判別された場合には(ステップS108で“YES”)、CPU11は、各崩落前石材画像に係る特徴であって、画像からは得られない画像外情報を取得し、当該画像外情報が対応する崩落前石材画像に対応付けて記憶装置2に記憶させる(ステップS109)。画像外情報には、例えば、重量、石質、加工状況などが含まれる。
【0031】
次に、各石材の特性情報について説明する。石材の特性情報には、上記ステップS107で取得される特徴量と、ステップS109で取得される画像外情報とが含まれる。
【0032】
図3は、石材画像から算出可能な石材の形状に係る主な特徴量の例を示す図表である。
図2のステップS107で算出(抽出)される特徴量は、崩落時の石材表面の回転や多少の損傷などに強い値であることが望まれる。このような特徴量の種別には、例えば、輪郭動径、Huモーメント、フーリエ記述子、長短半径比率、円形度、最小不整形指標などがある。
【0033】
輪郭動径は、石材表面の中心位置から所定の角度間隔(例えば、1度間隔)で定めた各方向(角度)に対する当該方向に沿った中心位置と輪郭との距離の関係を示す。
【0034】
図4は、輪郭動径について説明する図である。
例えば、図4(a)に示すように、石材表面の範囲である石材領域Rcの中心位置Rgは、石材領域Rcを囲む輪郭Rb上にある各画素の座標の平均値、又は輪郭Rb内にある全ての画素の座標の平均値とされる。この中心位置Rgから角度θについて中心位置Rgから輪郭Rbまでの距離(動径r)が求められる。角度θの基準方向r0は、例えば、求められた各方向での動径rのうち最大値が得られた方向(各方向での中心位置Rgから輪郭Rbまでの距離について求められた方向)とされてもよい。このようにして得られた角度θ(基準方向r0に対する相対角度。偏角)と動径rとの関係は、輪郭Rbが円形であれば全ての角度θで等しい値であり、輪郭Rbに凹凸があれば当該凹凸に沿って動径rが変化する。例えば、正方形の場合には、90度ごとに動径rが極大値をとる変化傾向が得られる。石材領域Rcの動径rでは、図4(b)に示すように、凸部分に応じた極大が複数生じている。このような動径rの相対角度に対する変化傾向の類似度は、例えば、相互相関係数(後述のように、相違度(大きいほど違いが大きい)により類似の度合を評価する場合には、1から相互相関係数を引けばよい)などにより定量的に評価され得る。例えば、輪郭動径rの相違度I1は、次の数式1により算出することができる。
【数1】
ただし、rθ は崩落前石材の偏角θにおける輪郭動径、rθ は崩落後石材の偏角θにおける輪郭動径、Σθは偏角θについての全周の積分(取得されている離散値の和)である。
この数式1による相違度I1は、比較対象の2つの石材領域の画像の大きさの違いによらない値となっている。
【0035】
Huモーメントは、併進、回転及びサイズに対する不変量として解析的に知られている7つの係数h0~h6であり、係数h0~h6の内容の明示及び詳しい説明を省略する。また、Huモーメントの差分についても知られており、石材間の相違度I2として差分を求める場合には、係数ごとに、その対数と符号関数の値との積の逆数を算出し、石材間で算出した値の差分の絶対値を求めて、更に、7つの係数についてのこの絶対値を加算したものが用いられればよい。
【0036】
フーリエ記述子は、輪郭に沿って周回移動した場合のx成分(例えば、基準方向r0)とy成分(基準方向r0に垂直な方向)の変化をフーリエ級数で示したもの(x成分を実数、y成分を虚数によりそれぞれ表すことで、複素平面上の軌跡として輪郭が統合的に表現され得る)である。輪郭上の点は離散的であってよく、サンプリングの点数nに応じた数の次数kについて係数(フーリエ記述子)c(k)が定まる。サンプリングの点数nが多いほど表現は正確になる。フーリエ記述子の相違度I3も、上記HuモーメントのI2と同じ手順で算出することができる。この場合、7つの係数に係る加算の代わりに、kの数に係る加算がなされる。
【0037】
長短半径比率は、石材領域の形状の特性を表すモーメント(石材画像の内外を示す二値画像の画像モーメント)と等しい画像モーメントを有する(すなわち、重心の位置が同一であり、この重心位置に対する画像モーメントの各成分が等しい)楕円として当該画像モーメントから算出することのできる慣性等価楕円の長径(半径)と短径(半径)との比率である。すなわち、石材領域が正方形に近いほど長短半径比率が1に近くなる。この値はスカラー値であるので、石材画像間での相違度I4は、長短半径比率の差分値の絶対値で表され得る。
【0038】
円形度は、輪郭で囲まれた石材表面の面積を、当該石材の輪郭長の2乗で除した値であり、円形であれば半径によらずに4πの定数となり、石材表面が円形から外れるとこの定数よりも大きい値となる。この値はスカラー値であるので、石材画像間での相違度I5は、単純に円形度の差分値の絶対値で表され得る。
【0039】
最小不整形指標は、石垣にとって適切な幾何学的に単純な図形である矩形からの輪郭のずれの度合(不整形の度合)を示す指標である。最小不整形指標は、例えば、石材Rに外接する矩形(外接矩形)のうち最小のものの面積から石材Rの表面(石材領域)の面積を引いた値(最小の面積差)を外接矩形の面積で除して正規化したものである。石垣のために石材を多段に積み上げる場合には、石材表面が矩形であると安定して積み上げが可能になりやすい。そこで、この矩形を基準としてずれの度合を特徴量として評価することで、石垣の石材を定量的に適切に特徴づける値が得られる。
【0040】
図5は、最小不整形指標を説明する図である。
石材領域Rcに外接する矩形は、任意の角度で定められるが、図5(a)に示すように、外接矩形Osに対し、他の角度の外接矩形Osr1、Osr2などでは、その面積が増大する。矩形の向きを適宜な角度間隔で変化させながら外接矩形を設定して、最も小さい面積となるものを特定することで、最小面積の外接矩形Osが特定される。
【0041】
図5(b)に示すように、斜線ハッチで示された外接矩形Osの内側かつ石材領域Rcの外側のエリアが石材領域Rcの不整形を示す部分である。この部分の面積を外接矩形Osの面積で除すことで、外接矩形Osのサイズに対してずれの度合が正規化されて最小不整形指標が得られる。外接矩形Osのサイズは必ず石材領域よりも大きいので、最小不整形指標は正であり、石材領域Rcが矩形に近いほど、最小不整形指標の値は0に近くなり、三角形に近かったり5つ以上の角の凹凸が大きかったりするほど最小不整形指標の値が正に大きくなる。最小不整形指標はスカラー値であるので、石材画像間での相違度I6は、例えば、最小不整形指標の差分の絶対値で表されればよい。
なお、最小不整形指標を利用する以前に又は利用と合わせて、崩落前石材の外接矩形Osの縦横比が崩落後石材の外接矩形Osの縦横比と大きく異なる場合などには、合致するものの候補から除外されるような判断基準が含まれてもよい。
【0042】
あるいは、最小不整形指標には、石材Rの輪郭の外接矩形Osの代わりに、石材Rの輪郭に対する最大の内接矩形が用いられてもよい。この場合の最小不整形指標は、例えば、石材Rの石材領域の面積から内接矩形の面積のうち最大のものを引いた値(最小の面積差)を内接矩形の面積で除して正規化したものとなる。
【0043】
上記で説明した複数の特徴量が必ずしも全て算出、取得されなくてもよいが、本実施形態の石材照合装置では、少なくとも輪郭動径又は最小不整形指標が算出(抽出)可能とされる。また、上記以外の他の特徴量が併用されてもよい。
【0044】
図6は、図3のステップS107である特徴量算出処理の制御手順を示すフローチャートである。
特徴量算出処理において、CPU11は、選択された石材画像の表面の平均位置を算出する(ステップS171)。例えば、CPU11は、特定されている輪郭の内部に位置している全ての画素(石材領域)の座標の平均位置、又は輪郭上の画素の座標の平均位置を算出する。
【0045】
CPU11(特徴量抽出手段(特徴量抽出ステップ))は、得られた平均位置からの方向を所定の角度間隔(例えば1度間隔で)変化させながら、平均位置と輪郭との間のこの方向に沿った距離を各々算出する。CPU11は、算出された距離のうち最大のものに係る方向を基準方向として設定する(ステップS172)。
【0046】
特徴量抽出手段は、必要な特徴量を算出する(ステップS173)。算出対象の特徴量に輪郭動径を含む場合、各方向での距離はステップS172で既に得られているので、CPU11は、定めた基準方向に応じて、各距離の得られた方向を基準方向からの相対角度に換算する。
【0047】
CPU11は、選択された石材画像からそれぞれ特徴点を抽出する(ステップS174)。この特徴点は、隣り合う他の石材領域と異なる特徴的な点であって、回転や明るさの変動に対して頑健なものであることが望ましい。このような特徴点の抽出方法は、公知の技術から選択されて、利用されてもよい。特徴点の抽出に係る公知の技術には、例えば、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Feature)、FAST(Features from Accelerated Segment Test)、Affine-SIFTなどがある。機械的に行われて抽出される特徴点には、例えば、しばしば輪郭上のエッジやコーナーなどが含まれる。そして、CPU11は、特徴量算出処理を終了して処理を石材データ生成制御処理に戻す。
【0048】
以上のように、崩落前の各石材に係るデータが得られた後、崩落後の石材に係る画像データが得られた場合に、当該画像データを入力として、当該画像の崩落後石材と崩落前石材とを比較して、いずれの崩落前石材と合致(最も類似)するかを照合する処理が行われる。
【0049】
図7は、処理装置1で実行される石材照合制御処理のCPU11による制御手順を示すフローチャートである。本実施形態の石材照合方法を含むこの石材照合制御処理は、プログラム131に含まれ、例えば、ユーザによる開始要求に係る操作を操作受付部16が受け付けることによってCPU11により開始、実行される。
【0050】
CPU11は、崩落後石材画像を取得する(ステップS201)。この崩落後石材画像には、崩落後石材の識別情報(識別番号など)が予め付されていてもよいし、取得した段階でCPU11が新たに識別情報を付してもよい。また、CPU11は、崩落後石材画像に付されたメタデータ、及び/又は操作受付部16が受け付けた入力操作や通信部14が受信したデータなどに基づいて、崩落後石材の重量、石質、落下場所、仮置き場所などの情報を付加的な特性情報として取得してもよい。CPU11は、メタデータなどとして既に崩落後石材画像に対応付けられているデータ以外の情報を崩落後石材画像に対応付けて記憶保持してもよい。
【0051】
CPU11(第2輪郭取得手段(第2輪郭取得ステップ)及び第2領域取得手段)は、崩落後石材画像から崩落後石材の石材領域を区分して、その輪郭を抽出(取得)する(ステップS202)。輪郭の抽出は、例えば、マルチスケール分割処理により行われる。この場合、元々画像内に石材は一つしか含まれないので、処理により石材領域の内外の分割が行われることになる。崩落後石材画像では、崩落後石材が略中央に位置するように撮影がなされるので、CPU11は、単純に画像の中心位置を含む領域を石材領域の内側であると判別してもよい。
【0052】
特徴量抽出手段は、崩落後石材についての特徴量算出処理を実行する(ステップS203)。この特徴量算出処理は、図2のステップS107で呼び出された図6の特徴量算出処理と同一である。この場合、ステップS202で判別された崩落後石材の画像範囲(石材領域)がステップS171、S174における選択された石材画像の石材領域となる。その他の処理内容は同一であるので、説明を省略する。
【0053】
CPU11(照合手段(照合ステップ))は、記憶装置2に記憶されている崩落前石材のうちいずれか未選択のものを選択する(ステップS204)。なお、他の崩落後石材画像と合致したものとして既に特定されている崩落前石材画像は、選択対象から除外されてもよい。照合手段は、選択された崩落前石材と崩落後石材との相違度を算出する(ステップS205)。上述の特徴量や特徴点のうち複数が相違度の算出に用いられる場合には、照合手段は、例えば、上述したように各々の相違度を算出した後に、これらを適宜に重み付けした重み付け加算(又は重み付け平均)することで総合的な相違度が算出されればよい。特徴点の相違度I7は、例えば、対応すると想定される特徴点間の距離の総和であってもよい。また、崩落前石材と崩落後石材の各画像内でのサイズや回転方向位をより適切に合わせて特徴点を近づけるために、一方の画像(崩落後石材の画像)に射影変換を施してもよい。射影変換の係数は、例えば、RANSAC(Random sample consensus)法により探索することができる。例えば、重み付け加算により算出する場合の総合的な相違度Iは、I=Σ(i=1~7)Wi・Iiにより表される。Wiは、相違度I1に対応して予め定められた正値の重みである。
【0054】
照合手段は、全ての崩落前石材画像が選択されたか否かを判別する(ステップS206)。全ての崩落前石材画像が選択されたわけではない(選択されていない崩落前石材画像がある)と判別された場合には(ステップS206で“NO”)、照合手段は、処理をステップS204に戻す。
【0055】
全ての崩落前石材画像が選択されたと判別された場合には(ステップS206で“YES”)、CPU11(表示制御手段)は、算出された相違度に基づいて崩落後石材画像に類似すると判別された崩落前石材の情報を表示部15により表示させる(ステップS207)。あるいは、表示制御手段は、表示画像に係るデータを通信部14により外部の端末装置などに出力送信してもよい。
【0056】
類似の判別は、例えば、得られた総合的な相違度が所定の基準値以下であるか(類似の度合が所定の基準を満たすか)否かにより行われればよい。表示制御手段は、例えば、総合的な相違度が所定の基準値以下であると判別された崩落前石材画像を当該総合的な相違度が低い順に並べた一覧表示を表示部15により行わせる。合致する候補として表示される崩落前石材画像における各石材は、基準方向の向きが表示される崩落後石材画像における石材の基準方向の向きに一致した状態に回転されて表示されるのが好ましい。
【0057】
CPU11は、操作受付部16による入力操作を待ち受けて、上記の一覧表示の中からユーザがいずれかの崩落前石材画像を崩落後石材画像と合致するものとして選択する操作の内容を取得する(ステップS208)。CPU11は、取得した操作内容に応じて崩落後石材画像と合致する崩落前石材画像を特定する(ステップS209)。そして、CPU11は、石材照合制御処理を終了する。
【0058】
図8は、照合に係る表示画面の例を示す図である。
この例では、左上に選択された1つの崩落後石材画像を表示する画面SW1が示され、右下には、崩落後石材画像に含まれる石材と類似の度合が高い崩落前石材の各画像の一覧が表示される画面SW4が示されている。上述のように、画面SW4に表示される各崩落前石材画像は、その基準方向が画面SW1に表示されている崩落後石材画像の基準方向と一致する向きで表示される。
【0059】
例えば、画面SW4の左側に位置する崩落前石材ほど崩落後石材との相違度が低く、すなわち類似の度合が高い。類似の度合が高い崩落前石材の数が多い場合には、スクロール表示が可能であってよい。あるいは、表示される崩落前石材の数の最大数が定められていて(例えば5個)、相違度が基準値以下である場合でも、最大数を超えた崩落前石材画像は、相違度が高いものから順に除外されてもよい。この崩落前石材の中から選択されている石材(ここでは一番左のもの)が中央に来るように崩落前の石垣画像が右上の画面SW2に表示されている。
【0060】
画面SW1及び画面SW2では、石垣立面図に基づいて、各石材の正面視での輪郭が崩落後石材画像及び石垣画像に対して重複表示されている。輪郭は、離散的に特定されている輪郭上の点と、これらの点がつながれて表される輪郭線とにより表示がなされている。画面SW2に表示される輪郭は、画面SW4に表示されている崩落前石材又は画面SW4で選択されている崩落前石材に対応するものについて、他の石材とは異なる色であってもよい。また、画面SW1、SW2には、各石材の中心位置Rgを通り基準方向に伸びる線分Lr0が併せて示されている。各石材には、識別番号が付されている。
【0061】
左下の画面SW3は、特徴量の表示画面であり、横軸の角度θに対して輪郭動径が画面SW1に示されている崩落後石材(最上段)と、画面SW4に表示されている崩落前石材とについて各々示されている。なお、この例では、各石材の輪郭動径を縦方向に所定間隔で表示させているが、例えば、崩落後石材の輪郭動径と、画面SW4で選択されている崩落前石材の輪郭動径とを重ねて異なる線種や色により表示させることとしてもよい。
【0062】
図7のステップS208における崩落前石材画像と崩落後石材画像との最終的な合致の判断の入力操作は、この表示画面を介してユーザにより行われる。例えば、画面SW4に表示されているいずれかの崩落前石材画像が選択、確定される操作がなされることで、処理装置1では、合致する崩落前石材画像と崩落後石材画像との組み合わせが決定される。上記のように、崩落前石材画像と崩落後石材画像の基準方向の向きをそろえて表示させることで、ユーザの判断をより容易にさせることができる。
【0063】
[変形例]
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、総合的な相違度が所定の基準を満たすか否かで類似の判断を行ったが、これに限られない。複数の特徴量の相違度のそれぞれに対して基準が設定され、全ての基準を満たす(相違度がいずれも小さい)場合にのみ類似するものと判断してもよい。
【0064】
また、類似を判断するための相違度の基準や各特徴量に係る相違度の重み付け量は、可変であってもよい。例えば、写真の撮影状況などによって特定の特徴量の相違度が小さくならない場合に、他の相違度が小さくても、比較元の石材画像と合致する候補として比較対象の石材画像が適切に選ばれないことがあり得る。このような場合、特に表示された候補内に比較元の石材画像と合致すると思われる石材画像がないとユーザにより判断された場合などには、当該相違度が小さくならない特徴量に係る基準を緩めたり、重み付けの係数を小さくしたりして、再度石材照合を行ってもよい。
【0065】
また、上記実施の形態では、特徴量の相違度と特徴点の相違度を両方用いて類似性の判別を行うこととしたが、特徴点の相違度を利用しないで類似性の判別を行ってもよい。
【0066】
また、上記実施の形態では、総合的な相違度が低い順に類似する崩落前石材の情報を一覧表示するものとして説明したが、これに限られない。類似するものとして判別された崩落前石材のうち、特定の特徴量又は特徴点の相違度が低い順に表示がなされてもよい。また、この表示順を決める特徴量又は特徴点は、操作受付部16が受け付けたユーザによる操作設定などにより変更可能であってもよい。あるいは、相違度により表示順をソートせずに、単純に類似すると判別された順番に表示がなされてもよい。
【0067】
また、上記実施の形態では、相違度を算出して類似性の判断を行ったが、相違度の代わりに類似度を算出して類似の度合の判断を行ってもよい。この場合には、類似度の高い順に崩落前石材の表示がなされてもよい。
【0068】
また、上記実施の形態では、ある崩落後石材画像に対して類似する崩落前石材画像を検出するものとして説明したが、反対に、ある位置の崩落前石材画像に対応する崩落後石材画像を検出するように各処理が行われてもよい。この場合には、予め全ての崩落後石材画像についての石材データが生成保持されている必要がある。
【0069】
石材データ生成制御処理は、必ずしも処理装置1で行われる必要はない。他のコンピュータなどで実行されて得られた崩落前石材の区分、輪郭抽出、特徴量の抽出などの結果が記憶装置2に記憶されて、処理装置1がこれらを記憶装置2から取得するのであってもよい。
また、石材データ生成制御処理が処理装置1で行われる場合であっても、この石材データ生成制御処理及び石材照合制御処理は、外部の端末装置からの開始要求を通信部14が受信することによって開始されてもよい。
【0070】
また、崩落前石材の位置情報として地理座標(絶対座標)を特定するのが困難な場合には、石垣における所定の位置を基準として相対座標で崩落前石材の位置を特定することとしてもよい。
【0071】
また、上記の実施の形態では、基準方向r0を動径rが最大の方向として定めたが、これに限られない。基準方向r0は、動径rが最小の方向とされたり、最大の方向と最小の方向の平均方向とされたり、あるいは、最大の方向から所定角度回転させた方向としたりされてもよい。
【0072】
また、特徴量として輪郭動径を含まずに最小不整形指標を含む場合には、基準方向r0のみ別途輪郭動径に基づいて定められてもよいし、最小不整形指標に係る何らかの基準位置に基づいて定められてもよい。例えば、中心位置Rgから外接矩形Osのある頂点へ伸ばした線分が輪郭と交差する点のうち動径rが最大の点や、中心位置Rgを通り外接矩形Osのある辺(例えば長辺)に平行な直線と輪郭とが交差する点のうち動径rが大きい方の点などが中心位置Rgから基準方向の側に位置する点として定められてもよい。
【0073】
また、上記実施の形態では、石材データ生成制御処理及び石材照合制御処理において、マルチスケール分割処理などのアルゴリズムを用いて石材表面の輪郭を特定する処理を行ったが、これに限られない。例えば、専用のハードウェアを用いたり、画像編集ソフトウェアなどを用いたりして、ユーザが手動で輪郭を特定してもよい。また、輪郭データが画像データとは別個に得られている場合には、これらを統合するように座標などが変換、調整されてもよい。
【0074】
また、上記表示例は一例であり、他の配置などで表示が行われてもよい。また、各画面SW1~SW4の位置やサイズなどが適宜変更可能であってもよい。また、画面SW1~SW4が同一のウィンドウ内に表示されていなくてもよい。例えば、画面SW1と画面SW4が異なるウィンドウに表示され、ユーザ所望の適宜な位置関係で見比べることが可能とされてもよい。
【0075】
また、以上の説明では、本発明の石材データ生成及び石材照合の制御に係るプログラム131を記憶するコンピュータ読み取り可能な媒体としてHDDやフラッシュメモリなどの不揮発性メモリなどからなる記憶部13を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、MRAMなどの他の不揮発性メモリや、CD-ROM、DVDディスクなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)も本発明に適用される。
【0076】
以上のように、本実施形態の石材照合装置としての処理装置1は、CPU11を備える。CPU11は、第1輪郭取得手段として、崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得し、第2輪郭取得手段として、石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭を取得し、特徴量抽出手段として、崩落前石材の画像及び崩落後石材の画像のそれぞれについて、輪郭又は輪郭の内側として表される石材領域Rcの中心位置Rgを中心とした各方向での中心位置Rgから輪郭までの距離(動径r)に基づいて定められた基準方向r0に対する角度θと動径rとの関係を少なくとも含む特徴量を抽出し、照合手段として、崩落前石材の特徴量と崩落後石材の特徴量とを比較して、崩落前石材と崩落後石材とを照合する。
このように、処理装置1では、崩落前後の石材を照合して類似する石材を抽出する際に行う定量的な評価に用いる特徴量として、石材の輪郭動径の値に応じて定めた基準方向に対する角度θに応じた当該輪郭動径の変化パターンを用いることで、崩落時にその向きが分からなくなる崩落後石材の向きを崩落前石材の向きと容易かつ確実に合わせることができる。また、このような輪郭形状に応じた動径rの変化パターンの類似の度合を全体として評価するので、多少の破損、傷や、取得画像の解像度の影響を受けづらい一方で部分的な類似及び全体として少しずつ異なる形状をいずれも除外しやすく、作業者の手間をより低減して高精度な照合が可能になる。
【0077】
また、CPU11は、表示制御手段として、比較の結果が類似の度合に係る所定の基準を満たす崩落前石材の画像と崩落後石材の画像とを、基準方向r0を一致させた向きで表示部15により表示させる。このように、もっともらしい方向に合わせて崩落前石材と崩落後石材とを並列表示することで、作業者が容易に両者を比較しやすくなる。したがって、この処理装置1によれば、作業者が処理装置1による照合の結果が正しいか否かをより手間をかけずに容易かつ確実に判断することが可能になる。
【0078】
あるいは、本実施形態の処理装置1では、CPU11は、第1領域取得手段として、崩落前の石垣を撮影した画像に含まれている複数の崩落前石材の石材領域Rcをそれぞれ取得し、第2領域取得手段として、石垣の崩落後に撮影した画像に含まれている崩落後石材の石材領域Rcを取得し、特徴量抽出手段として、石材領域Rcの外接矩形及び内接矩形から予め定められたいずれかのうち石材領域との面積差が最小であるもの(例えば外接矩形Os)を崩落前石材及び崩落後石材のそれぞれについて求め、当該最小の面積差に応じた不整形の度合に係る指標(最小不整形指標)を少なくとも含む特徴量を抽出し、照合手段として、崩落前石材の特徴量と崩落後石材の特徴量とを比較して、崩落前石材と崩落後石材とを照合する。
最小不整形指標は、石材の向きに依存しない特徴量であり、かつ最小面積の外接矩形Os自体が石材領域Rc(輪郭)に応じて定まるので、例えば、全体として多少似ている感があるが、表面の汚れや傷などにより同一性の判断がしづらいような場合などに、作業者の手間をより低減しつつ適切に類似の度合を評価しやすい。
なお、ここでいう「外接矩形及び内接矩形から予め定められたいずれか」とは、処理装置でいずれかを選択する処理を要するという意味を有さない。処理装置がいずれか一方のみを最小不整形指標の算出に利用することが可能であれば足りる。
【0079】
また、本実施形態の石材照合方法は、崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得する第1輪郭取得ステップ、石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭をそれぞれ取得する第2輪郭取得ステップ、崩落前石材の画像及び崩落後石材の画像のそれぞれについて、輪郭又は当該輪郭の内側として表される石材領域の中心位置Rgを中心とした各方向での中心位置Rgから輪郭までの距離(動径r)に基づいて定められた基準方向r0に対する角度θと動径rとの関係を少なくとも含む特徴量を抽出する特徴量抽出ステップ、崩落前石材の特徴量と崩落後石材の特徴量とを比較して、崩落前石材と崩落後石材とを照合する照合ステップ、を含む。
このような石材照合方法によれば、石垣の崩落時に向きの分からなくなった石材を崩落前の石材の向きと容易に合わせて石材間の類似の度合を判別することができる。特に、石材領域の微小な模様などを利用しないで比較するので、撮影画像の解像度の差などの影響も受けずらい。よって、この石材照合方法では、作業者の手間をより低減しつつ適切に崩落前後の石材の照合を行うことができる。
【0080】
また、本実施形態のプログラム131は、コンピュータ(処理装置1の少なくともCPU11、RAM12及び通信部14(入出力部))を、崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得する第1輪郭取得手段、石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭をそれぞれ取得する第2輪郭取得手段、崩落前石材の画像及び崩落後石材の画像のそれぞれについて、輪郭又は当該輪郭の内側として表される石材領域Rcの中心位置Rgを中心とした各方向での中心位置Rgから輪郭までの距離(動径r)に基づいて定められた基準方向r0に対する角度θと動径rとの関係を少なくとも含む特徴量を抽出する特徴量抽出手段、崩落前石材の特徴量と崩落後石材の特徴量とを比較して、崩落前石材と崩落後石材とを照合する照合手段、として機能させる。
このようなプログラム131により、通常のコンピュータによるソフトウェア処理により容易に、現場での手間が過大になりやすかった崩落前後の石材の照合の負荷を低減しつつより容易に行うことが可能になる。
【0081】
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。
【符号の説明】
【0082】
1 処理装置
2 記憶装置
11 CPU
12 RAM
13 記憶部
131 プログラム
14 通信部
15 表示部
16 操作受付部
21 石材データ
100 石材照合システム
Os 外接矩形
R 石材
Rb 輪郭
Rc 石材領域
Rg 中心位置
r0 基準方向
図1
図2
図3
図4
図5
図6
図7
図8