特許 7268560 石垣配置支援プログラム、石垣配置支援方法、及び、石垣配置支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-25

(45)【発行日】2023-05-08

(54)【発明の名称】石垣配置支援プログラム、石垣配置支援方法、及び、石垣配置支援装置

(51)【国際特許分類】

   E02D 29/02 20060101AFI20230426BHJP

   G06T 7/00 20170101ALI20230426BHJP

   G06T 7/579 20170101ALI20230426BHJP

   G06T 17/20 20060101ALI20230426BHJP

【ＦＩ】

E02D29/02 301

G06T7/00 300F

G06T7/579

G06T17/20

【請求項の数】 8

(21)【出願番号】P 2019176448

(22)【出願日】2019-09-27

(65)【公開番号】P2021055266

(43)【公開日】2021-04-08

【審査請求日】2022-06-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】原野 陽輔

(72)【発明者】

【氏名】斉藤 真貴

(72)【発明者】

【氏名】山本 淳史

【審査官】荒井 良子

(56)【参考文献】

【文献】特開２０２０－１６５１１４（ＪＰ，Ａ）

【文献】特開２０１９－０９５８２１（ＪＰ，Ａ）

【文献】国際公開第２０１０／１１６７６３（ＷＯ，Ａ１）

【文献】特開２００４－０９４５１８（ＪＰ，Ａ）

【文献】特開２０００－１６０５７９（ＪＰ，Ａ）

【文献】特開２０１１－０６５３４９（ＪＰ，Ａ）

【文献】熊本城における、崩落前の石垣石材位置を特定する画像処理技術の実証実験を完了 (富士通株式会社、株式会社富士通アドバンストエンジニアリング)，プレスリリース，富士通株式会社，2019年03月11日，https://pr.fujitsu.com/jp/news/2019/03/11-1.html

【文献】戸田 真志他，解説 認識・検出 （画像処理技術を用いた熊本城石垣復興支援のための石材輪郭抽出 Stone Contour Extraction for Support of ISHIGAKI Retrieval on Kumamoto Castle Using Image Processing Technology），画像ラボ，日本工業出版株式会社，2019年06月10日，第３０巻 第６号，53～58，国内技術雑誌2019-00655-009

【文献】石垣復元を効率化 雄測量設計がシステム開発，山梨建設新聞，2018年12月08日，https://www.nikoukei.co.jp/news/detail/374840

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｄ ２９／０２

Ｇ０６Ｔ １／００－１／４０

３／００－７／９０

１１／００－１９／２０

Ｇ０６Ｖ １０／００－２０／９０

３０／４１８

４０／１６

４０／２０

(57)【特許請求の範囲】

【請求項1】

崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、
前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、
生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得し、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元グラフィックモデルを生成し、生成した前記複数の前記崩落石材各々の前記石材３次元グラフィックモデルを、取得した前記複数の崩落石材各々の崩落前状態に基づいて配置して石垣復元３次元グラフィックモデルを生成して出力装置に出力する、
石垣配置支援処理をコンピュータに実行させるプログラム。

【請求項2】

崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、
前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、
生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得し、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元モデルを生成し、前記複数の崩落石材の前記石材３次元モデルの各々に基づいて複数の石材３次元模型を作成し、
前記崩落前状態に基づいて、前記複数の３次元模型の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報を出力装置に出力する、
石垣配置支援処理をコンピュータに実行させるプログラム。

【請求項3】

前記回転角度に関する情報は、前記石材静止画像を前記回転角度分回転させた静止画像である、
請求項２に記載のプログラム。

【請求項4】

前記複数の崩落石材の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報と、前記複数の崩落石材の各々を識別する識別情報とを関連付けて記憶し、
前記複数の崩落石材の各々に対応する前記識別情報を表す複数のマーカを作成し、
前記複数の石材３次元模型の各々に付加された前記マーカを撮影することで取得した前記識別情報に基づいて、前記識別情報に対応する前記崩落前の位置及び前記崩落前の姿勢への回転角度を取得する、
請求項２または請求項３に記載のプログラム。

【請求項5】

コンピュータが、
崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、
前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、
生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得し、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元グラフィックモデルを生成し、生成した前記複数の前記崩落石材各々の前記石材３次元グラフィックモデルを、取得した前記複数の崩落石材各々の崩落前状態に基づいて配置して石垣復元３次元グラフィックモデルを生成して出力装置に出力する、
石垣配置支援方法。

【請求項6】

コンピュータが、
崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、
前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、
生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得し、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元モデルを生成し、前記複数の崩落石材の前記石材３次元モデルの各々に基づいて複数の石材３次元模型を作成し、
前記崩落前状態に基づいて、前記複数の３次元模型の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報を出力装置に出力する、
石垣配置支援方法。

【請求項7】

崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得する位置特定部と、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元グラフィックモデルを生成し、生成した前記複数の前記崩落石材各々の前記石材３次元グラフィックモデルを、取得した前記複数の崩落石材各々の崩落前状態に基づいて配置して石垣復元３次元グラフィックモデルを生成して出力装置に出力する配置支援部と、
を含む、石垣配置支援装置。

【請求項8】

崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得する位置特定部と、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元モデルを生成し、前記複数の崩落石材の前記石材３次元モデルの各々に基づいて複数の石材３次元模型を作成し、前記崩落前状態に基づいて、前記複数の３次元模型の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報を出力装置に出力する配置支援部と、
を含む、石垣配置支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、石垣配置支援プログラム、石垣配置支援方法、及び石垣配置支援装置に関する。

【背景技術】

【0002】

災害によって、城、神社仏閣などの一部が崩落する場合がある。城、神社仏閣などは、人類共通の文化的な財産としての価値があり、原状に復帰させるための修復が行われる。修復作業において、作業者の目視による判断に従って、修復作業が進められる場合があるが、作業者の目視に依存する場合、多大な労力、時間、及び費用を要する。

【0003】

労力、時間、及び費用を低減するために、Information Technology（ＩＴ技術）を利用して、石垣の修復が行われる場合もある。例えば、崩落前の石垣の表面形状をレーザーで計測して取得した石垣３次元データと、崩落前に石垣の表面に露出していた崩落石材の面をレーザーで計測して取得した石材３次元データとを比較して、石垣における石材の配置状態を特定する技術が存在する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１０４９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

石垣３次元データと石材３次元データとを比較して石垣の配置状態を特定する技術では、レーザー計測によって、各々のデータを取得している。しかしながら、石材の崩落を事前に予測することは困難であり、崩落前の石垣の表面形状をレーザーで計測していない場合、当該技術を利用することはできない。

【0006】

本開示では、石垣における石材の配置を検討する作業を容易にすることを目的とする。

【課題を解決するための手段】

【0007】

１つの実施形態では、崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成する。石垣から崩落した複数の崩落石材の各々を、石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、複数の石材静止画像の各々について、複数の調整石材画像を生成する。複数の石材調整石材画像は、各々、石材静止画像に対する回転角が所定角度ずつ異なり、かつ石材静止画像に対する倍率が所定倍率ずつ異なる。生成した複数の分割石垣画像の各々と複数の石材静止画像の各々に対応する複数の調整石材画像の各々とのパターンマッチングにより、石垣静止画像における複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得する。複数の崩落石材の各々を全方位から撮影した石材動画像から、複数の崩落石材各々の石材３次元グラフィックモデルを生成する。生成した複数の崩落石材各々の石材３次元グラフィックモデルを、取得した複数の崩落石材各々の崩落前状態に基づいて配置して石垣復元３次元グラフィックモデルを生成して出力装置に出力する。

【発明の効果】

【0008】

本開示によれば、石垣における石材の配置を検討する作業を容易にすることができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態の石垣配置支援装置の機能的な構成を例示するブロック図である。

【図2】第１実施形態の石垣配置支援装置のハードウェア構成を例示するブロック図である。

【図3】本実施形態の石垣配置支援処理の流れを例示するフローチャートである。

【図4】本実施形態の位置特定処理の流れを例示するフローチャートである。

【図5】本実施形態の石材動画像の撮影を説明するための概念図である。

【図6A】石材静止画像を例示する概念図である。

【図6B】石材部分画像を例示する概念図である。

【図7A】崩落前石垣画像を例示する概念図である。

【図7B】崩落部分石垣画像を説明するための概念図である。

【図7C】崩落部分石垣画像を例示する概念図である。

【図8A】分割石垣画像を説明するための概念図である。

【図8B】分割石垣画像を例示する概念図である。

【図9A】回転縮小石材画像を例示する概念図である。

【図9B】分割石垣画像を例示する概念図である。

【図10】パターンマッチングの結果を表示する画面を例示する概念図である。

【図11】配置支援データベースのレコードに含まれるフィールドを例示する概念図である。

【図12】位置及び角度が特定された石材部分画像を削除した崩落部分石垣画像を例示する概念図である。

【図13】パターンマッチングの結果を例示する概念図である。

【図14】第１実施形態の配置支援処理の流れを例示するフローチャートである。

【図15】第１実施形態の復元された石垣３次元グラフィックモデルを例示する概念図である。

【図16】関連技術の平面状模型を使用して復元された石垣を例示する概念図である。

【図17】石垣の内部を説明するための概念図である。

【図18】石垣の内部を説明するための概念図である。

【図19】第２実施形態の石垣配置支援装置のハードウェア構成を例示するブロック図である。

【図20】第２実施形態の情報端末のハードウェア構成を例示するブロック図である。

【図21A】第２実施形態の配置支援処理の流れを例示するフローチャートである。

【図21B】第２実施形態の配置支援処理の流れを例示するフローチャートである。

【図21C】情報端末の配置支援処理の流れを例示するフローチャートである。

【図22】石材３次元模型を例示する概念図である。

【図23】配置支援画面を例示する概念図である。

【発明を実施するための形態】

【0010】

以下、実施形態について説明する。なお、以下の実施例は限定を意図しない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることができる。

【0011】

［第１実施形態］
＜石垣配置支援装置＞
図１は、石垣配置支援装置１０の機能的な構成を例示する。

【0012】

石垣配置支援装置１０は、位置特定部１１及び配置支援部１２を含む。位置特定部１１は、石材が崩落する前の石垣の画像である崩落前石垣画像と、崩落した後の石材の画像である崩落石材画像とを使用して、崩落石材が崩落前の石垣で存在した位置及び角度を特定する。なお、石材とは、石垣に含まれる個々の石であるが、特に明記しない限り、ここでは、石垣の表面に積まれる築石と呼ばれる比較的大きい石材を表す。

【0013】

配置支援部１２は、石材画像から生成した３次元グラフィックモデルを、崩落前の石垣を復元するように、位置特定部１１で特定された位置及び角度を使用して配置することで、石垣の３次元グラフィックモデルを生成して、出力装置に出力する。

【0014】

石垣配置支援装置１０は、一例として、図２に示すように、Central Processing Unit（ＣＰＵ）５１、一次記憶部５２、二次記憶部５３、外部インタフェース５４及び通信部５５を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶部５２、二次記憶部５３、外部インタフェース５４及び通信部５５は、バス５９を介して相互に接続されている。

【0015】

一次記憶部５２は、例えば、Random Access Memory（ＲＡＭ）などの揮発性のメモリである。二次記憶部５３は、例えば、Hard Disk Drive（ＨＤＤ）、又はSolid State Drive（ＳＳＤ）などの不揮発性のメモリである。

【0016】

二次記憶部５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、石垣配置支援プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、石垣配置支援プログラムなどのプログラムを実行した際に生成される中間データなどを記憶している。

【0017】

ＣＰＵ５１は、プログラム格納領域５３Ａから石垣配置支援プログラムを読み出して一次記憶部５２に展開する。ＣＰＵ５１は、石垣配置支援プログラムをロードして実行することで、図１の位置特定部１１及び配置支援部１２として動作する。

【0018】

なお、石垣配置支援プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部５２に展開されてもよい。また、石垣配置支援プログラムなどのプログラムは、Digital Versatile Disc（ＤＶＤ）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部５２に展開されてもよい。

【0019】

外部インタフェース５４には外部装置が接続され、外部インタフェース５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。図２では、外部インタフェース５４に、外部記憶装置７１、カメラ７２、ディスプレイ７３、マウス７４、及び、スキャナ７５が有線または無線によって接続されている例を示している。

【0020】

しかしながら、外部記憶装置７１、カメラ７２、ディスプレイ７３、マウス７４、及び、スキャナ７５の何れか少なくとも１つは、外部インタフェース５４に接続されていなくてもよい。また、外部記憶装置７１、カメラ７２、ディスプレイ７３、マウス７４、及び、スキャナ７５の何れか少なくとも１つが外部インタフェース５４に接続されていてもよい。また、外部記憶装置７１、カメラ７２、ディスプレイ７３、マウス７４、及び、スキャナ７５の何れか少なくとも１つが、石垣配置支援装置１０に内蔵されていてもよいし、ネットワークを介して、石垣配置支援装置１０と離隔した位置に配置されていてもよい。

【0021】

外部記憶装置７１は、例えば、ＨＤＤ及びＳＳＤなどの記憶装置であってよい。外部記憶装置７１には、崩落前の石垣を撮影して取得された崩落前石垣画像データ、及び、崩落石材を撮影して取得された崩落石材画像データなどが格納されていてもよい。

【0022】

カメラ７２は、崩落前の石垣または崩落石材の静止画像または動画像の撮影に使用される。ディスプレイ７３は、位置特定処理の処理結果である石材の崩落前石垣における位置及び角度、及び、配置支援処理の処理結果である石材３次元（３Ｄ）グラフィックモデルを使用して復元された石垣の石垣３Ｄグラフィックモデルなどを表示する。ディスプレイ７３に代えて、例えば、プリンタなどで石垣３Ｄグラフィックモデルをプリントしてもよい。

【0023】

マウス７４は、例えば、ユーザによる操作によって、ディスプレイ７３に表示された画像内の位置を指定することができる。なお、マウス７４に代えて、トラックボール、及びキーボードなどが使用されてもよいし、ディスプレイ７３がタッチパネルである場合、ユーザの指またはタッチペンなどが使用されてもよい。スキャナ７５は、紙媒体の写真を画像データとして読み込むために使用される。

【0024】

石垣配置支援装置１０は、専用装置であってもよいし、ワークステーション、パーソナルコンピュータ、またはタブレットであってもよい。石垣配置支援装置１０は、例えば、ネットワークを介して、他の装置（例えば、パーソナルコンピュータなど）と有線または無線で接続され、他の装置との間で、データを送受信してもよい。

【0025】

＜石垣配置支援処理＞
図３は、石垣配置支援処理の流れを表すフローチャートの一例である。

【0026】

ＣＰＵ５１は、ステップ１００で、崩落石材の崩落前石垣における位置及び角度を特定する位置特定処理を行う。ＣＰＵ５１は、ステップ２００で、ステップ１００で特定された位置及び角度に基づいて、石材３Ｄグラフィックモデルを使用して復元した石垣の石垣３Ｄグラフィックモデルをディスプレイ７３に表示する配置支援処理を行う。

【0027】

図４は、ステップ１００の位置特定処理の流れを表すフローチャートの一例である。ＣＰＵ５１は、ステップ１０１で、崩落石材画像データを取得する。崩落石材画像データは、例えば、崩落石材動画データから静止画像を抽出することで取得される。崩落石材動画データは、図５の矢印Ｓ１、Ｓ２などで例示するように、ユーザが保持したカメラ７２を、石材Ｒ１の周辺で移動させながら、石材Ｒ１の全体の動画像を全方位から撮影することで取得される。

【0028】

崩落石材は、目視によって観測され、個別の特徴の記録、スケッチ、撮影などが行われることが多い。このような観測には、多くの時間及び労力を有する。しかしながら、石材Ｒ１の全体の動画像を全方位から撮影して保存することで、観測に要する時間及び労力を低減することができ、また、コンピュータを使用した崩落石材の分析などへの利用も容易となる。

【0029】

カメラ７２が取得した崩落石材動画データは、有線または無線接続で、外部インタフェース５４または通信部５５を介して、ＣＰＵ５１に送信される。図６Ａは、崩落石材画像の一例である。

【0030】

石垣の表面を向いていた石材の面は、太陽光及び外気などに晒されることにより、石垣の内側に存在していた面とは異なる輝度（又は異なる色合い）を有し、専門家によれば容易に識別することができる。従って、位置及び角度の特定に使用される崩落石材画像として、石垣の表面を向いていた面である可能性が高い面を撮影した静止画像が、専門家によって、選択されてもよい。

【0031】

ＣＰＵ５１は、ステップ１０２で、崩落石材画像の背景を削除した石材部分画像を生成する。図６Ｂは、図６Ａの崩落石材画像の背景を削除した石材部分画像を表す。詳細には、ＣＰＵ５１は、崩落石材画像を、ディスプレイ７３に表示する。

【0032】

ユーザは、ディスプレイ７３に表示された崩落石材画像の石材部分を囲む矩形の４つの角の位置を、マウス７４を使用して指定する。マウス７４が取得した４つの角の位置を示すデータは、有線または無線接続で、外部インタフェース５４または通信部５５を介して、ＣＰＵ５１に送信される。ＣＰＵ５１は、受信した４つの位置のデータに基づいて、矩形内に含まれる矩形画像データを抽出する。

【0033】

ＣＰＵ５１は、抽出した矩形画像データに対して、エッジ抽出処理などを施すことで、石材部分の外郭エッジを取得し、外郭エッジ内に含まれる画像データを抽出する。この抽出により、ＣＰＵ５１は、図６Ａに例示する崩落石材画像から背景が削除された図６Ｂに例示する石材部分画像を生成することができる。ＣＰＵ５１は、石材部分画像データをデータ格納領域５３Ｂに格納する。

【0034】

ＣＰＵ５１は、ステップ１０３で、石材部分画像データに対して、回転処理及び縮小処理を施し、調整石材画像の一例である回転縮小石材画像を生成する。詳細には、ＣＰＵ５１は、石材部分画像データに対して、例えば、Ａｆｆｉｎｅ変換などの既知の回転処理を施すことで、回転処理が施された回転石材画像を生成する。この際、ＣＰＵ５１は、例えば、回転角度を所定角度ずつ増加し、１つの石材部分画像データに対して、複数の回転石材画像データを生成する。所定角度は、例えば、１０度であってよく、回転角度を１０度ずつ（例えば、１０度～３６０（１０×３６）度）変化させることで、３６の回転石材画像データが生成される。

【0035】

ＣＰＵ５１は、回転石材画像データに対して、既知の縮小処理を行うことで、縮小処理が施された回転縮小石材画像を生成する。この際、ＣＰＵ５１は、倍率を所定倍率ずつ変化させることで、１つの回転石材画像データに対して、複数の回転縮小画像データを生成する。所定倍率は、例えば、０．９であってよく、所定倍率を０．９ずつ（例えば、０．９～０．９^１２）変化させることで、１２の回転縮小石材画像データが生成される。即ち、回転角度を１０度ずつ３６通り変化させ、倍率を０．９ずつ１２通り変化させることで、１つの石材部分画像データに対して、３６×１２＝４３２の回転縮小石材画像データが生成される。

【0036】

なお、回転角度を１０度ずつ変化させる例について説明したが、回転角度の変化は１０度に限定されない。例えば、回転角度の変化は５度であってもよい。また、倍率を０．９倍ずつ変化させる例について説明したが、倍率の変化は０．９倍に限定されない。例えば、倍率の変化は０．８倍でもよいし、回転縮小画像を生成することに代えて、倍率の変化を１．１倍とし、調整石材画像として回転拡大画像を生成してもよい。

【0037】

なお、石材部分画像データから回転石材画像データを生成し、回転石材画像データから回転縮小石材画像データを生成する例について説明したが、本実施例はこれに限定されない。例えば、石材部分画像データから縮小石材画像データを生成し、縮小石材画像データから回転縮小石材画像データを生成してもよい。

【0038】

ＣＰＵ５１は、ステップ１０４で、崩落前石垣画像データを取得する。図７Ａは、崩落前石垣画像の一例である。崩落前石垣画像は、石垣の面に対して正面から撮影した画像であることが望ましい。崩落前石垣画像データは、例えば、予め外部記憶装置７１に格納されていてもよい。

【0039】

予め保存されている崩落前石垣画像データが存在しない場合、崩落前の石垣を撮影した紙媒体の写真を、スキャナ７５を使用してスキャンすることで、崩落前石垣画像データを取得してもよい。取得した崩落前石垣画像データは、有線または無線接続で、外部インタフェース５４または通信部５５を介して、ＣＰＵ５１に送信される。崩落前石垣画像データが、ネットワークを介して接続されたサーバまたはクラウドなどに存在する場合も、有線または無線接続で、外部インタフェース５４または通信部５５を介して、ＣＰＵ５１に送信してもよい。石垣の崩落が予想されない場合であっても、多数存在するであろう、例えば、観光宣伝用に撮影された紙媒体の写真、または、観光客によってデジタルカメラによって撮影された画像を、崩落前石垣画像として有効に活用することができる。

【0040】

ＣＰＵ５１は、ステップ１０５で、崩落前石垣画像の不要部分を削除した石垣部分画像を取得する。石垣部分画像は、背景画像及び石材が崩落していない石垣部分の画像を取り除き、崩落した石垣部分の画像を残した画像であってよい。これにより、処理する画像データのデータ量が少なくなるため、処理の負担を軽減することができる。また、崩落石材の位置及び角度を特定するために不要なデータが減少するため、パターンマッチングにおける精度を向上させることができる。

【0041】

図７Ｂは崩落前石垣画像の一例である。ＣＰＵ５１は、崩落前石垣画像をディスプレイ７３に表示する。ユーザは、ディスプレイ７３に表示された石垣画像の、石材が崩落した部分を含む矩形Ｗ１の４つの角の位置を、マウス７４を使用して指定する。

【0042】

マウス７４が取得した４つの角の位置を示すデータは、有線または無線接続で、外部インタフェース５４または通信部５５を介して、ＣＰＵ５１に送信される。ＣＰＵ５１は、受信した４つの角の位置を示すデータに基づいて、矩形Ｗ１内に含まれる矩形画像データを抽出することで、崩落前石垣画像データから不要部分を削除した崩落部分石垣画像データを生成する。

【0043】

図７Ｃは、抽出された矩形Ｗ１の内側の崩落部分石垣画像の一例である。ＣＰＵ５１は、崩落部分石垣画像データをデータ格納領域５３Ｂに格納する。ＣＰＵ５１は、ステップ１０６で、崩落部分石垣画像を分割した分割石垣画像を生成する。

【0044】

図８Ａは、崩落部分石垣画像の一例である。図８Ａに例示する崩落部分石垣画像Ｗ１は、横２００４画素、縦９３０画素である。

【0045】

ＣＰＵ５１は、崩落部分石垣画像Ｗ１に対して、所定画素数の幅及び高さを有するブロックＢ１を、左上から順番に、ブロックＢ１の幅の画素数より少ない画素数ずつ横方向にスライドさせる。ブロックＢ１が右端に到達したら、ブロックＢ１を左端に戻し、縦方向にブロックＢ１の高さの画素数より少ない画素数ずつスライドさせる処理をブロックＢ１が右下に到達するまで繰り返す。ＣＰＵ５１は、各ブロックＢ１の画像を分割石垣画像として取得する。ＣＰＵ５１は、取得した分割石垣画像データをデータ格納領域５３Ｂに格納する。なお、ブロックＢ１の幅は、例えば、１５０画素、高さは、例えば、１００画素であってよく、ブロックＢ１は、横方向及び縦方向に各々２０画素ずつスライドさせられてもよい。

【0046】

図８Ｂは、分割石垣画像の一例を表す。ブロックＢ１の幅及び高さの画素数は一例であり、例えば、幅２００画素、高さ１５０画素であってもよい。また、スライドさせる画素数も一例であり、例えば、横方向に１０画素ずつ、縦方向に３０画素ずつスライドさせてもよい。

【0047】

ＣＰＵ５１は、ステップ１０７で、回転縮小石材画像データと、分割石垣画像データとを使用して、パターンマッチングを行うことで、崩落前石垣画像における崩落石材の位置及び角度を取得する。パターンマッチングは、図９Ａに一部分を例示する回転縮小石材画像データと、図９Ｂに一部分を例示する分割石垣画像データとの間で、総当たりで行われる。詳細には、ＣＰＵ５１は、回転縮小石材画像及び分割石垣画像の各画像内において予め定められた特徴点を中心に複数の画素を含む特徴領域（例えば、４８×４８画素）において、局所特徴量を算出する。

【0048】

局所特徴量としては、例えば、特徴領域内の各画素の対が複数組予め定められ、対とされた画素間の輝度差の符号に応じたビット値（例えば、輝度差が正値の場合は「１」、負値の場合は「０」など）で表される。ＣＰＵ５１は、画素データがＲＧＢ値で表されている場合は、既知の変換式により、各画素のＲＧＢ値から輝度値を局所特徴量として算出してもよい。また、局所特徴量は、例えば、ＢＲＩＥＦ（Binary Robust Independent Elementary Features、二値頑健独立基本特徴）により表された局所特徴量であってもよい。

【0049】

ＣＰＵ５１は、回転縮小石材画像における１つの特徴領域の局所特徴量に最も近似した、分割石垣画像における特徴領域を探索し、最も近似した局所特徴量を持つ２つの特徴領域内の特徴点どうしを接続して、ベクトルを生成する。ＣＰＵ５１は、ベクトルを２つの画像間（即ち、回転縮小石材画像と分割石垣画像との間）全体で生成し、各ベクトルの個数を表すヒストグラムを生成する。

【0050】

ＣＰＵ５１は、ヒストグラムの中で最も個数が多いベクトルを抽出し、画像内において、抽出されたベクトルに対応する特徴点の個数を算出し、算出された個数と画像に含まれる特徴点全部の個数との比率を、類似度として算出する。ＣＰＵ５１は、１つの回転縮小石材画像と１つの分割石垣画像との間で１つの類似度を算出する。

【0051】

なお、局所特徴量はＢＲＩＥＦに限定されず、例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF、方向付きＦＡＳＴと回転ＢＲＩＥＦ）やＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）などを使用してもよい。

【0052】

ＣＰＵ５１は、ステップ１０８で、崩落前石垣における崩落石材の位置及び角度が特定されたか否か判定する。詳細には、ＣＰＵ５１は、ディスプレイ７３に、パターンマッチングの結果を表示する。図１０は、ディスプレイ７３に表示されるパターンマッチングの結果の一例を表す。

【0053】

本実施形態では、ＣＰＵ５１は、１つの石材部分画像に対して、類似度が高い順に所定数の分割石垣画像を表示することができる。所定数は、例えば、１０であってよい。図１０では、１つの石材部分画像ＲＩに対して、類似度が上位１０までの分割石垣画像ＷＩ１～ＷＩ１０が表示されている。分割石垣画像の各々と共に、各々の類似度及び角度を表示してもよい。角度は、表示されている類似度を得た際に使用された回転縮小石材画像を生成した際の石材部分画像の回転角度である。また、角度に代えて、表示されている類似度を得た際に使用された回転縮小画像を表示してもよい。

【0054】

ユーザは、マウス７４を使用して、表示されている石材部分画像ＲＩに対応する石材部分を含む分割石垣画像ＷＩ１～ＷＩ１０内の当該石材部分を選択する。対応する石材部分が表示されている分割石垣画像ＷＩ１～ＷＩ１０内に存在しない場合、ユーザは、例えば、スキップボタンＳＢを選択することで、石材部分の選択を行わない。選択結果は、有線または無線接続で、外部インタフェース５４または通信部５５を介して、ＣＰＵ５１に送信される。

【0055】

ＣＰＵ５１は、マウス７４によって石材部分が選択された場合、ステップ１０９で、配置支援データベースに、位置特定処理の結果を格納する。例えば、石材部分画像を識別する石材ＩＤ、当該石材部分画像を取得する際に使用した石材動画画像を識別する石材動画ＩＤ、崩落部分石垣画像における石材部分の位置を識別する石材位置ＩＤ、及び、角度を対応付けて、配置支援データベースに格納する。図１１に、配置支援データベースのレコードに含まれるフィールドを例示する。石材ＩＤは、例えば、石材部分画像を生成する際に付与され、石材動画ＩＤは、例えば、石材動画像を取得する際に付与され、石材位置ＩＤは、例えば、崩落部分石垣画像に含まれる崩落した石材の各々に手動または自動で付与されている。配置支援データベースは、例えば、データ格納領域５３Ｂに格納されていてもよいし、外部記憶装置７１に格納されていてもよい。

【0056】

ＣＰＵ５１は、ステップ１１０で、配置支援データベースに格納された石材位置ＩＤに対応する石材部分の画像を崩落部分石垣画像から削除する。ＣＰＵ５１は、配置支援データベースに格納された石材位置ＩＤに対応する石材部分の画像の色を、例えば、「黒」に変更する。図１２は、崩落部分石垣画像において位置が特定された石材に対応する石材部分の画像を削除した後の石垣画像を例示する。なお、本実施形態は、石材部分の色を「黒」に変更することで石材部分の画像を削除することに限定されず、例えば、石材部分の色を、「赤」に変更してもよい。

【0057】

ＣＰＵ５１は、ステップ１１０で位置が特定された石材に対応する石材部分の画像を崩落部分石垣画像から削除すると、ステップ１１１で、位置が特定されていない石材部分画像が存在するか否か判定する。ステップ１１１の判定が肯定された場合、ＣＰＵ５１は、ステップ１０６に戻る。

【0058】

ＣＰＵ５１は、全ての石材部分画像の石材について崩落部分石垣画像における当該石材の位置を特定できない場合、位置が特定された石材に対応する石材部分の画像を削除した崩落部分石垣画像を使用して、パターンマッチングを再度行う。図１３は、パターンマッチングを５回繰り返した場合の処理結果を例示する。図１３には、崩落部分石垣画像において位置が特定された石材の個数と当該崩落部分石垣画像に含まれる崩落した石材の総数との比率（「特定／総数」）が示されている。特定率は、当該比率をパーセント（％）単位で表した数値である。

【0059】

図１３に示すように、１回目のマッチングでは、特定率が６１．８％であるが、マッチング回数を重ねるごとに特定率が上昇し、５回目のマッチングでは、特定率が８２．１％であり、１回目の特定率と比較して、５回目の特定率は２０％以上、上昇している。このように、ＣＰＵ５１は、パターンマッチングを複数回繰り返すことで、特定率を向上させることができる。崩落部分石垣画像から既に位置が特定された石材部分の画像を取り除くことで、崩落部分石垣画像における石材の位置の特定が徐々に容易になるためである。

【0060】

ＣＰＵ５１は、ステップ１１１の判定が否定された場合、即ち、全ての石材の位置が特定された場合、及び、ステップ１０８で、ユーザが、全ての石材部分画像について、マウス７４でスキップボタンＳＢを選択したと判定した場合、位置特定処理を終了する。

【0061】

図１４は、図３の配置支援処理２００の流れの一例を示す。ＣＰＵ５１は、ステップ２０１で、石材動画データから点群データを生成する。詳細には、石材動画データから所定時間間隔、例えば、１秒毎に静止画像を抽出し、当該抽出した連続する静止画像を使用して石材３Ｄメッシュモデルを生成するための点群データを生成する。

【0062】

ＣＰＵ５１は、ステップ２０２で、点群データから石材部分以外の、例えば、背景などの不要部分の点群データを取り除き、ステップ２０３で、石材３Ｄメッシュモデルを生成する。石材３Ｄメッシュモデルは、石材３次元モデルの一例であり、石材３Ｄメッシュモデルの生成には、例えば、Structure from Motion（ＳｆＭ）技術を適用することができる。

【0063】

ＣＰＵ５１は、ステップ２０４で、図１１に例示する配置支援データベースに、ステップ２０１で点群データを生成するために使用した石材動画データの石材動画ＩＤと関連付けて、石材３Ｄメッシュモデルを識別するモデルＩＤを格納する。モデルＩＤは、例えば、石材３Ｄメッシュモデルが生成される際に付与される。

【0064】

ＣＰＵ５１は、生成した石材３Ｄメッシュモデルを使用して、石材３Ｄグラフィックモデルを生成して、ステップ２０５で、図１５に例示するように、生成した石材３Ｄグラフィックモデルを、例えば、ディスプレイ７３に表示する。石材３Ｄグラフィックモデルは、配置支援データベースのモデルＩＤに対応する石材位置ＩＤに基づいて位置が決定され、対応する角度に基づいて回転させられることで、崩落前石垣を復元した石垣３Ｄグラフィックモデルを形成する。

【0065】

即ち、石材３Ｄグラフィックモデルは、石垣表面に対応する面を正面とし、当該正面画像が対応する角度分回転するように回転させられる。なお、石材３Ｄグラフィックモデルに代えて、石材３Ｄメッシュモデルを、ディスプレイ７３に表示してもよい。また、ディスプレイ７３に表示する代わりに、２次元画像に変換して、プリンタでプリントされてもよい。なお、石材３Ｄグラフィックモデルは、メッシュモデルであってもよいし、不透明なソリッドモデルであってもよいし、透過性を有するソリッドモデルであってもよいし、ワイヤフレームモデルであってもよい。

【0066】

関連技術では、図１６に例示するように、石材の石垣表面に対応する面の形状の平面状の模型ＤＲをプラスチックボードなどで作成し、当該模型ＤＲをテープＴＰなどで貼り合わせることで、石材の配置を検討する。しかしながら、図１７及び図１８に例示するように、石垣に石材ＲＲを配置する場合、石材ＲＲどうしは石垣の表面より少し奥側で接する。さらに、石材ＲＲを固定するために、石材裏面の石材どうしの隙間には飼石ＫＲが配置され、石垣表面の凹凸を低減するため、石材正面の石材どうしの隙間には合石ＡＲが配置される。

【0067】

図１６に例示するような平面状の模型ＤＲでは、石材ＲＲどうしが適切に接合するか、飼石ＫＲ及び合石ＡＲの大きさ及び量がどの程度であるか把握することはできない。これに対し、石材３Ｄグラフィックモデルを使用して、崩落前石垣を復元した石垣３Ｄグラフィックモデルを生成した場合、石材ＲＲどうしが適切に接合するか、飼石ＫＲ及び合石ＡＲの大きさ及び量がどの程度であるか容易に把握することができる。これにより、本物の石材を使用して石垣を復元する計画を適切に策定することができ、積み直しなどの不要な作業の作業量を低減することができる。

【0068】

以上説明したように、第１実施形態では、崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成する。石垣から崩落した複数の崩落石材の各々を、石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、複数の石材静止画像の各々について、複数の調整石材画像を生成する。複数の石材調整石材画像は、各々、石材静止画像に対する回転角が所定角度ずつ異なり、かつ石材静止画像に対する倍率が所定倍率ずつ異なる。生成した複数の分割石垣画像の各々と複数の石材静止画像の各々に対応する複数の調整石材画像の各々とのパターンマッチングにより、石垣静止画像における複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得する。複数の崩落石材の各々を全方位から撮影した石材動画像から、複数の崩落石材各々の石材３次元グラフィックモデルを生成する。生成した複数の崩落石材各々の石材３次元グラフィックモデルを、取得した複数の崩落石材各々の崩落前状態に基づいて配置して石垣復元３次元グラフィックモデルを生成して出力装置に出力する。

【0069】

本実施形態では、上記により、平面上の模型を使用した検討では困難な石材どうしの接合が適切であるか、飼石及び合石の大きさ及び量がどの程度であるかの把握が容易となり、石垣における石材の配置を検討する作業を容易にすることができる。

【0070】

＜第２実施形態＞
次に、第２実施形態について説明する。第１実施形態と同様の作用及び構成については同様の参照符号を付し、説明を省略する。

【0071】

第２実施形態では、石垣配置支援装置は、石材３Ｄ模型を３Ｄプリンタで作成し、当該石材３Ｄ模型の崩落部分石垣画像における位置及び角度を出力装置に出力することで、石材３Ｄ模型を使用した石材の配置検討を支援する。

【0072】

＜石垣配置支援装置＞
図１９は、第２実施形態の石垣配置支援装置２０のハードウェア構成を例示する。石垣配置支援装置２０は、３Ｄプリンタ７６及びマーカプリンタ７７を含む点で、第１実施形態の石垣配置支援装置１０と相違する。３Ｄプリンタ７６は、石材３Ｄ模型を３Ｄプリントし、マーカプリンタ７６は、石材３Ｄ模型の各々を識別する識別情報を含むマーカシールをプリントする。マーカシールは石材３Ｄ模型に貼り付けられる。

【0073】

＜情報端末＞
図２０は、第２実施形態の情報端末３０のハードウェア構成を例示する。情報端末３０は、一例として、図２０に示すように、ＣＰＵ６１、一次記憶部６２、二次記憶部６３、外部インタフェース６４、及び通信部６５を含む。ＣＰＵ６１は、ハードウェアであるプロセッサの一例である。ＣＰＵ６１、一次記憶部６２、二次記憶部６３、外部インタフェース６４、及び、通信部６５は、バス６９を介して相互に接続されている。

【0074】

一次記憶部６２は、例えば、ＲＡＭなどの揮発性のメモリである。二次記憶部６３は、例えば、ＨＤＤ、又はＳＳＤなどの不揮発性のメモリである。

【0075】

二次記憶部６３は、プログラム格納領域６３Ａ及びデータ格納領域６３Ｂを含む。プログラム格納領域６３Ａは、一例として、配置支援プログラムなどのプログラムを記憶している。データ格納領域６３Ｂは、一例として、配置支援プログラムなどのプログラムを実行した際に生成される中間データなどを記憶している。

【0076】

ＣＰＵ６１は、プログラム格納領域６３Ａから配置支援プログラムを読み出して一次記憶部６２に展開する。ＣＰＵ６１は、配置支援プログラムをロードして実行する。

【0077】

なお、配置支援プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部６２に展開されてもよい。また、配置支援プログラムなどのプログラムは、ＤＶＤなどの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部６２に展開されてもよい。

【0078】

外部インタフェース６４には外部装置が接続され、外部インタフェース６４は、外部装置とＣＰＵ６１との間の各種情報の送受信を司る。図２０では、外部インタフェース６４に、カメラ８２、及びディスプレイ８３が有線または無線によって接続されている例を示している。

【0079】

しかしながら、カメラ８２及びディスプレイ８３は、外部インタフェース６４に接続されていなくてもよいし、カメラ８２及びディスプレイ８３の内、一方だけが外部インタフェース６４に接続されていてもよい。また、カメラ８２及びディスプレイ８３の内、何れかまたは両方が、情報端末３０に内蔵されていてもよいし、ネットワークを介して、情報端末３０と離隔した位置に配置されていてもよい。

【0080】

情報端末３０は、携帯可能なスマートデバイスであってもよいし、通信機能を有するデジタルカメラであってもよいし、パーソナルコンピュータなどであってもよい。

【0081】

＜配置支援処理＞
図２１Ａに、第２実施形態の石垣配置支援装置２０における配置支援処理＃１の流れを例示する。ステップ２０１～ステップ２０４は、図１４のステップ２０１～２０４と同様であるため、説明を省略する。ＣＰＵ５１は、ステップ２１１で、ステップ２０３で生成された３Ｄメッシュモデルを使用して、３Ｄプリンタ７６で石材３Ｄ模型を３Ｄプリントする。図２２は、３Ｄプリントされた石材３Ｄ模型の一例を示す。石材３Ｄ模型は、実物大であってもよく、一定の倍率で縮小された大きさであってもよい。

【0082】

ＣＰＵ５１は、ステップ２１２で、図１１に例示する配置支援データベースに格納されている石材３Ｄ模型を生成する際に使用された３ＤメッシュモデルのモデルＩＤに対応する石材ＩＤを表すマーカを生成する。ＣＰＵ５１は、当該マーカを含むマーカシールをマーカプリンタ７７でプリントして、配置支援処理＃１を終了する。マーカは、例えば、ＱＲコード（登録商標）、バーコード、または、文字列などであってよい。マーカシールは、例えば、ユーザによって石材３Ｄ模型に貼り付けられる。

【0083】

図２１Ｂに、石垣配置支援装置２０における配置支援処理＃２の流れを例示する。ＣＰＵ５１は、ステップ２１３で、情報端末３０によって送信されるマーカの画像データを、通信部５５を介して受信したか否か判定する。ＣＰＵ５１は、ステップ２１３の判定が肯定されるまでステップ２１３を繰り返す。

【0084】

ステップ２１３の判定が肯定されると、ＣＰＵ５１は、ステップ２１４で、図２３に例示するように、配置支援画面をディスプレイ７３に表示する。配置支援画面は、例えば、石材ＩＤ Ｄ１、石材の石垣表面に対応する面を角度分回転させた画像Ｄ２、及び、石垣における石材位置を星マーク及び矢印で示す画像Ｄ３を含む。石材ＩＤは、マーカの画像データから既存の技術を使用して取得し、角度及び石材位置は、配置支援データベースから、石材ＩＤに基づいて取得する。

【0085】

ユーザは、表示された情報を参照して、石材３Ｄ模型の位置及び角度を決定し、積み重ねることにより、図１５に例示した、ディスプレイ７３の画面に表示された石垣３Ｄグラフィックモデルと同様の復元石垣３Ｄ模型を作成することができる。

【0086】

ＣＰＵ５１は、ステップ２１５で、例えば、ユーザが所定のボタンを選択するなど、終了指示を行ったか否か判定する。ステップ２１５の判定が否定された場合、ＣＰＵ５１はステップ２１３に戻る。ステップ２１５の判定が肯定された場合、ＣＰＵ５１は、配置支援処理＃２を終了する。

【0087】

図２１Ｃに、第２実施形態の情報端末３０における配置支援処理の流れを例示する。ユーザは、カメラ８２で、石材３Ｄ模型に貼り付けられたマーカシールを撮影する。撮影されたマーカの画像データは、有線または無線接続で外部インタフェース６４または通信部６５を介して、ＣＰＵ６１に送信される。

【0088】

ＣＰＵ６１は、ステップ２２１で、マーカの画像データを受信したか否か判定する。ＣＰＵ６１は、ステップ２２１の判定が肯定されるまで、ステップ２２１を繰り返す。ステップ２２１の判定が肯定されると、ＣＰＵ６１は、通信部６５を介して、マーカの画像データを石垣配置支援装置２０に送信して、配置支援処理を終了する。

【0089】

なお、情報端末３０に代えて、カメラ７２でマーカシールを撮影するようにしてもよい。カメラ７２で撮影されたマーカの画像データは、外部インタフェース５４または通信部５５を介して、有線または無線接続でＣＰＵ５１に送信される。また、図２３に例示した配置支援画面は、一例であり、例えば、位置及び角度は数値で表されてもよい。

【0090】

なお、マーカシールをプリントする代わりに、石材ＩＤをディスプレイに表示し、ユーザが表示された石材ＩＤを参照し、手書きで石材３Ｄ模型に石材ＩＤを書き込めるようにしてもよい。この場合も、手書きされた石材ＩＤを撮影することで、既存の手書き文字認識技術を使用して、石材ＩＤを取得することができる。

【0091】

なお、図３、４、１４、２１Ａ、２１Ｂ、２１Ｃのフローチャートは、一例であり、処理の順序は、適宜変更されてもよい。

【0092】

なお、本実施形態において、プロセッサとしてＣＰＵを例示したが、プロセッサはＣＰＵに限定されない。例えば、プロセッサは、Field-Programmable Gate Array（ＦＰＧＡ）等の製造後に回路構成を変更可能なProgrammable Logic Device（ＰＬＤ）、及びGraphics Processing Unit（ＧＰＵ）などであってもよい。これらの各種のプロセッサのうちの１つが単独で使用されてもよいし、同種又は異種の２つ以上のプロセッサが組み合わせて使用されてもよい。

【0093】

本実施形態では、崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成する。石垣から崩落した複数の崩落石材の各々を、石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、複数の調整石材画像を生成する。複数の調整石材画像は、複数の石材静止画像の各々について、各々、石材静止画像に対する回転角が所定角度ずつ異なり、かつ石材静止画像に対する倍率が所定倍率ずつ異なる。生成した複数の分割石垣画像の各々と複数の石材静止画像の各々に対応する複数の調整石材画像の各々とのパターンマッチングにより、石垣静止画像における複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得する。複数の崩落石材の各々を全方位から撮影した石材動画像から、複数の崩落石材各々の石材３次元モデルを生成し、複数の崩落石材の石材３次元モデルの各々に基づいて複数の石材３次元模型を作成する。崩落前状態に基づいて、複数の３次元模型の各々の崩落前の位置及び崩落前の姿勢への回転角度に関する情報を出力装置に出力する。

【0094】

本実施形態では、上記により、平面状の模型による検討では把握が困難な石材どうしの接合が適切であるか、飼石及び合石の大きさ及び量がどの程度であるかの把握が容易となり、石垣における石材の配置を検討する作業を容易にすることができる。

【0095】

また、本実施形態では、ユーザが選択した石材３次元模型をどのように積み重ねればよいかが示されるため、作業の促進を図ることができ、ユーザによる石材３次元模型の取り違えなどによる積み重ねの間違いの発生も低減することができる。石材３次元模型を使用するため、３次元グラフィックスの表示の理解に習熟していないユーザであっても、石材どうしの接合が適切であるか、飼石及び合石の大きさ及び量がどの程度であるかの把握が容易である。

【0096】

以上の各実施形態に関し、更に以下の付記を開示する。

【0097】

（付記１）
崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、
前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、
生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得し、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元グラフィックモデルを生成し、生成した前記複数の前記崩落石材各々の前記石材３次元グラフィックモデルを、取得した前記複数の崩落石材各々の崩落前状態に基づいて配置して石垣復元３次元グラフィックモデルを生成して出力装置に出力する、
石垣配置支援処理をコンピュータに実行させるプログラム。
（付記２）
崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、
前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、
生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得し、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元モデルを生成し、前記複数の崩落石材の前記石材３次元モデルの各々に基づいて複数の石材３次元模型を作成し、
前記崩落前状態に基づいて、前記複数の３次元模型の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報を出力装置に出力する、
石垣配置支援処理をコンピュータに実行させるプログラム。
（付記３）
前記回転角度に関する情報は、前記石材静止画像を前記回転角度分回転させた静止画像である、
付記２のプログラム。
（付記４）
前記複数の崩落石材の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報と、前記複数の崩落石材の各々を識別する識別情報とを関連付けて記憶し、
前記複数の崩落石材の各々に対応する前記識別情報を表す複数のマーカを作成し、
前記複数の石材３次元模型の各々に付加された前記マーカを撮影することで取得した前記識別情報に基づいて、前記識別情報に対応する前記崩落前の位置及び前記崩落前の姿勢への回転角度を取得する、
付記２または付記３のプログラム。
（付記５）
コンピュータが、
崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、
前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、
生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得し、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元グラフィックモデルを生成し、生成した前記複数の前記崩落石材各々の前記石材３次元グラフィックモデルを、取得した前記複数の崩落石材各々の崩落前状態に基づいて配置して石垣復元３次元グラフィックモデルを生成して出力装置に出力する、
石垣配置支援方法。
（付記６）
コンピュータが、
崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、
前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、
生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得し、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元モデルを生成し、前記複数の崩落石材の前記石材３次元モデルの各々に基づいて複数の石材３次元模型を作成し、
前記崩落前状態に基づいて、前記複数の３次元模型の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報を出力装置に出力する、
石垣配置支援方法。
（付記７）
前記回転角度に関する情報は、前記石材静止画像を前記回転角度分回転させた静止画像である、
付記６の石垣配置支援方法。
（付記８）
前記複数の崩落石材の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報と、前記複数の崩落石材の各々を識別する識別情報とを関連付けて記憶し、
前記複数の崩落石材の各々に対応する前記識別情報を表す複数のマーカを作成し、
前記複数の石材３次元模型の各々に付加された前記マーカを撮影することで取得した前記識別情報に基づいて、前記識別情報に対応する前記崩落前の位置及び前記崩落前の姿勢への回転角度を取得する、
付記６または付記７の石垣配置支援方法。
（付記９）
崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得する位置特定部と、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元グラフィックモデルを生成し、生成した前記複数の前記崩落石材各々の前記石材３次元グラフィックモデルを、取得した前記複数の崩落石材各々の崩落前状態に基づいて配置して石垣復元３次元グラフィックモデルを生成して出力装置に出力する配置支援部と、
を含む、石垣配置支援装置。
（付記１０）
崩落前の石垣を石垣表面側から撮影した石垣静止画像に基づいて、隣接ブロックが相互に重複部分を有する複数のブロック内の画像である複数の分割石垣画像を生成し、前記石垣から崩落した複数の崩落石材の各々を、前記石垣表面に対応する側から撮影した複数の石材静止画像に基づいて、前記複数の石材静止画像の各々について、各々、前記石材静止画像に対する回転角が所定角度ずつ異なり、かつ前記石材静止画像に対する倍率が所定倍率ずつ異なる複数の調整石材画像を生成し、生成した前記複数の分割石垣画像の各々と前記複数の石材静止画像の各々に対応する前記複数の調整石材画像の各々とのパターンマッチングにより、前記石垣静止画像における前記複数の崩落石材各々の崩落前の位置及び各々の崩落前の姿勢への回転角度を含む崩落前状態を取得する位置特定部と、
前記複数の崩落石材の各々を全方位から撮影した石材動画像から、前記複数の崩落石材各々の石材３次元モデルを生成し、前記複数の崩落石材の前記石材３次元モデルの各々に基づいて複数の石材３次元模型を作成し、前記崩落前状態に基づいて、前記複数の３次元模型の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報を出力装置に出力する配置支援部と、
を含む、石垣配置支援装置。
（付記１１）
前記回転角度に関する情報は、前記石材静止画像を前記回転角度分回転させた静止画像である、
付記１０の石垣配置支援装置。
（付記１２）
前記位置特定部は、
前記複数の崩落石材の各々の前記崩落前の位置及び前記崩落前の姿勢への回転角度に関する情報と、前記複数の崩落石材の各々を識別する識別情報とを関連付けて記憶し、
前記配置支援部は、
前記複数の崩落石材の各々に対応する前記識別情報を表す複数のマーカを作成し、
前記複数の石材３次元模型の各々に付加された前記マーカを撮影することで取得した前記識別情報に基づいて、前記識別情報に対応する前記崩落前の位置及び前記崩落前の姿勢への回転角度を取得する、
付記１０または付記１１の石垣配置支援装置。

【符号の説明】

【0098】

１０ 石垣配置支援装置
１１ 位置特定部
１２ 配置支援部
５１ ＣＰＵ
５２ 一次記憶部
５３ 二次記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21A】

【図21B】

【図21C】

【図22】

【図23】