ホーム > 特許ランキング > 三井住友建設株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-04
(45)【発行日】2024-04-12
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06T 17/20 20060101AFI20240405BHJP
【ＦＩ】
G06T17/20
【請求項の数】
6
(21)【出願番号】P 2020098441
(22)【出願日】2020-06-05
(65)【公開番号】P2021192153
(43)【公開日】2021-12-16
【審査請求日】2023-01-30
(73)【特許権者】
【識別番号】000174943
【氏名又は名称】三井住友建設株式会社
(74)【代理人】
【識別番号】100123788
【弁理士】
【氏名又は名称】宮崎 昭夫
(74)【代理人】
【識別番号】100127454
【弁理士】
【氏名又は名称】緒方 雅昭
(72)【発明者】
【氏名】山地 宏志
(72)【発明者】
【氏名】中森 純一郎
(72)【発明者】
【氏名】大津 愼一
【審査官】中田 剛史
(56)【参考文献】
【文献】特開２００２－０８３０１７（ＪＰ，Ａ）
【文献】特開２０１８－１０６３０９（ＪＰ，Ａ）
【文献】特開平１１－１４４０５０（ＪＰ，Ａ）
【文献】特許第６５８４７３５（ＪＰ，Ｂ１）
【文献】特開２０１９－０６１６６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １７／２０
(57)【特許請求の範囲】
【請求項1】
２次元で表現される直交格子メッシュを作成する直交格子メッシュ作成部と、前記直交格子メッシュ作成部が作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換部と、
作業者が装着するＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）デバイス上に前記基準メッシュを投影して表示する表示部と、
前記基準メッシュが表示された前記ＭＲデバイス上の画像を記録する記録部と、
前記記録部が記録した画像を第１の２次元画像へ変換する第２の変換部と、
前記第２の変換部が変換した第１の２次元画像内の特定された点を囲む３つの点の座標と、該３つの点それぞれに対応する、前記直交格子メッシュにおける３つの点の座標とに基づいて、前記特定された点の前記直交格子メッシュにおける座標を算出する座標算出部と、
前記座標算出部が算出した座標に、前記特定された点を表示した第２の２次元画像を作成する２次元画像作成部とを有する情報処理装置。
【請求項2】
前記座標算出部は、前記特定された点を囲む３つの点の第１の座標と、該３つの点それぞれに対応する、前記直交格子メッシュにおける３つの点の第２の座標との関係を示す式を用いて、前記特定された点の前記直交格子メッシュにおける座標を算出する請求項１に記載の情報処理装置。
【請求項3】
前記記録部が記録した画像に対して、所望のマーキングを行うマーキング部を有する請求項１または請求項２に記載の情報処理装置。
【請求項4】
前記第２の変換部は、前記マーキング部が前記マーキングを行った画像であるマーキング画像を前記第１の２次元画像へ変換し、前記座標算出部は、前記第２の変換部が前記マーキング画像から変換した第１の２次元画像内の特定された点を囲む３つの点の座標と、該３つの点それぞれに対応する、前記直交格子メッシュにおける３つの点の座標とに基づいて、前記特定された点の前記直交格子メッシュにおける座標を算出し、
前記２次元画像作成部は、前記座標算出部が前記第２の変換部が前記マーキング画像から変換した第１の２次元画像に基づいて算出した座標に、前記特定された点を表示した第２の２次元画像を作成し、
前記記録部は、前記２次元画像作成部が作成した前記第２の２次元画像を記録する請求項３に記載の情報処理装置。
【請求項5】
２次元で表現される直交格子メッシュを作成する処理と、前記作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換処理と、
作業者が装着するＭＲデバイス上に前記基準メッシュを投影して表示する処理と、
前記基準メッシュが表示された前記ＭＲデバイス上の画像を記録する処理と、
前記記録した画像を第１の２次元画像へ変換する第２の変換処理と、
前記第２の変換処理で変換した第１の２次元画像内の特定された点を囲む３つの点の座標と、該３つの点それぞれに対応する、前記直交格子メッシュにおける３つの点の座標とに基づいて、前記特定された点の前記直交格子メッシュにおける座標を算出する処理と、
前記算出した座標に、前記特定された点を表示した第２の２次元画像を作成する処理とを行う情報処理方法。
【請求項6】
コンピュータに、２次元で表現される直交格子メッシュを作成する手順と、
前記作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換手順と、
作業者が装着するＭＲデバイス上に前記基準メッシュを投影して表示する手順と、
前記基準メッシュが表示された前記ＭＲデバイス上の画像を記録する手順と、
前記記録した画像を第１の２次元画像へ変換する第２の変換手順と、
前記第２の変換手順で変換した第１の２次元画像内の特定された点を囲む３つの点の座標と、該３つの点それぞれに対応する、前記直交格子メッシュにおける３つの点の座標とに基づいて、前記特定された点の前記直交格子メッシュにおける座標を算出する処理と、
前記算出した座標に、前記特定された点を表示した第２の２次元画像を作成する手順とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
コンクリートを用いて覆工されているトンネル等の構造物においては、コンクリートの経年変化を起因として、ひび割れ等が生じてしまう。このようなひび割れ等の発生をいち早く検知するために、定期的に点検（診断）が行われている。点検（診断）結果は所定の機関に提出されるが、その提出書類（図面）は決められたルールに則って作成する必要がある。特許文献１には、構造物の展開画像上で診断対象画像を描画し、描画された診断対象画像に診断結果を入力する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－６１６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載されたような技術においては、２次元の展開画像を作成した上で、その展開画像上に診断結果を入力する。そのため、診断結果を２次元画像上に正確に示すことが困難であるという問題点がある。
【0005】
本発明の目的は、診断結果を２次元画像上に正確に示すことが容易にできる情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の情報処理装置は、
２次元で表現される直交格子メッシュを作成する直交格子メッシュ作成部と、
前記直交格子メッシュ作成部が作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換部と、
前記基準メッシュを表示する表示部とを有する。
２次元で表現される直交格子メッシュを作成する直交格子メッシュ作成部と、
前記直交格子メッシュ作成部が作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換部と、
前記基準メッシュを表示する表示部とを有する。
【0007】
また、本発明の情報処理方法は、
２次元で表現される直交格子メッシュを作成する処理と、
前記作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換処理と、
前記基準メッシュを表示する処理とを行う。
２次元で表現される直交格子メッシュを作成する処理と、
前記作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換処理と、
前記基準メッシュを表示する処理とを行う。
【0008】
また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
２次元で表現される直交格子メッシュを作成する手順と、
前記作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換手順と、
前記基準メッシュを表示する手順とを実行させる。
コンピュータに実行させるためのプログラムであって、
２次元で表現される直交格子メッシュを作成する手順と、
前記作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換手順と、
前記基準メッシュを表示する手順とを実行させる。
【発明の効果】
【0009】
本発明においては、診断結果を２次元画像上に正確に示すことが容易にできる。
【図面の簡単な説明】
【0010】
【図1】本発明の情報処理装置の第１の実施の形態を示す図である。
【図5】本発明の情報処理装置の第２の実施の形態を示す図である。
【図7】コンピュータ画面上のピクセル座標系に描画された、ひび割れ分布と基準メッシュとの一例を示す図である。
【発明を実施するための形態】
【0011】
以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
（第１の実施の形態）
【0012】
図１は、本発明の情報処理装置の第１の実施の形態を示す図である。本形態における情報処理装置１００は図１に示すように、直交格子メッシュ作成部１１０と、変換部１２０と、表示部１３０とを有する。なお、図１には、本形態における情報処理装置１００が有する構成要素のうち、本形態に関わる主要な構成要素のみを示した。
【0013】
直交格子メッシュ作成部１１０は、２次元で表現される直交格子メッシュを作成する。直交格子メッシュ作成部１１０が作成する直交格子メッシュは、表示部１３０が表示する画像から座標値を抽出する基準となるメッシュであり、縦の軸（以下、縦軸と称する）と横の軸（以下、横軸と称する）とが互いに直交した格子メッシュである。直交格子メッシュは、調査画像の参照点を与え、その直交性により変換時の歪み補正基準となる。
【0014】
図２は、図１に示した直交格子メッシュ作成部１１０が作成した直交格子メッシュの一例を示す図である。図２に示すように直交格子メッシュは、ｘ軸とｙ軸とを有する直交座標のように、縦軸と横軸とが互いに直交した２次元の格子メッシュである。直交格子メッシュは、平面展開図上に作成されたものである。直交格子メッシュは、軸それぞれや、縦軸と横軸とが交差する点それぞれを、例えば互いに色分けすることにより、識別可能になっている。
【0015】
変換部１２０は、直交格子メッシュ作成部１１０が作成した直交格子メッシュを３次元の基準メッシュへ変換する第１の変換部である。変換部１２０は、以下に示す（式１）を用いて、直交格子メッシュ作成部１１０が作成した直交格子メッシュを３次元の基準メッシュへ変換する。
｛ｘ｝＝［Ｃ］｛Ｘ｝＋｛Ｌ｝ …（式１）
ここで、ｘは３次元基準メッシュの座標である。Ｘは直交格子メッシュの座標である。ＣおよびＬは、観測する対象となる構造物（例えば、トンネル等）の構造に応じて、構造物ごとにあらかじめ設定された定数である。特に［Ｃ］は、形状変換の変換マトリックスを示す。
｛ｘ｝＝［Ｃ］｛Ｘ｝＋｛Ｌ｝ …（式１）
ここで、ｘは３次元基準メッシュの座標である。Ｘは直交格子メッシュの座標である。ＣおよびＬは、観測する対象となる構造物（例えば、トンネル等）の構造に応じて、構造物ごとにあらかじめ設定された定数である。特に［Ｃ］は、形状変換の変換マトリックスを示す。
【0016】
図３は、図１に示した変換部１２０が変換した３次元の基準メッシュの一例を示す図である。図３に示した３次元の基準メッシュは、構造物であるトンネルの構造に応じた基準メッシュである。図３に示すように、対象となる構造物がトンネルである場合、３次元の基準メッシュは、そのトンネルの壁面（内壁面）上に展開される３次元モデルであり、３次元の基準メッシュを構成するそれぞれの線やそれらが交差する点が図２に示した直交格子メッシュを構成するそれぞれの線やそれらが交差する点に対応するものである。
【0017】
表示部１３０は、基準メッシュを表示する。表示部１３０は、構造物の調査・点検等の作業を行う作業者が装着するＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）デバイス上に基準メッシュを投影して表示する。このとき、表示部１３０は、変換部１２０が変換した３次元の基準メッシュをＭＲデバイス上に投影できるように、その表示形式（フォーマット）を変換する。ＭＲデバイスは、調査時に調査員の視野に直交格子を投影し、その画像を記録する。
【0018】
【0019】
まず、直交格子メッシュ作成部１１０は、図２に示したような、２次元で表現される直交格子メッシュを作成する（ステップＳ１）。すると、変換部１２０は、直交格子メッシュ作成部１１０が作成した直交格子メッシュを、図３に示したような、３次元の基準メッシュへ変換する（ステップＳ２）。続いて、表示部１３０は、変換部１２０が変換した３次元の基準メッシュをＭＲデバイス上に投影できるように表示形式を変換して表示する（ステップＳ３）。
【0020】
このように、本形態においては、２次元の直交格子メッシュを作成し、作成した直交格子メッシュを、構造物の構造に応じた変換式を用いて３次元の基準メッシュへ変換し、変換した３次元の基準メッシュを表示デバイス上に表示する。そのため、診断結果を容易に表現できる表示を行うことができる。
（第２の実施の形態）
（第２の実施の形態）
【0021】
図５は、本発明の情報処理装置の第２の実施の形態を示す図である。本形態における情報処理装置１０１は図５に示すように、直交格子メッシュ作成部１１０と、変換部１２０，１５１と、表示部１３１と、記録部１４１と、座標算出部１６１と、２次元画像作成部１７１と、マーキング部１８１とを有する。なお、図５には、本形態における情報処理装置１０１が有する構成要素のうち、本形態に関わる主要な構成要素のみを示した。直交格子メッシュ作成部１１０および変換部１２０は、第１の実施の形態におけるものとそれぞれ同じものである。
【0022】
記録部１４１は、基準メッシュが表示されたＭＲデバイス上の画像を記録する。このとき、記録部１４１は、ＭＲデバイス上で表示された基準メッシュと重ねて、ＭＲデバイス上に表示された画像（動画または静止画）を撮像して記録する。
【0023】
図６は、図５に示した記録部１４１が記録した画像の一例を示す図である。ＭＲデバイスを用いて図６の左図に示すようなトンネルの内壁のひび割れを撮像した場合、図６の右図に示すような基準メッシュとひび割れとを重ねた表示の画像を記録部１４１が記録する。図６に示すように、作成された基準メッシュをＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓのような装着型ＭＲデバイス上に投影できるように変換部１２０がデータ変換し、作業者はこれを装着して調査・点検作業を実施する。このとき、自己完結型ホログラフィックコンピューターを装着した作業者は、図６の右図に示すような現実世界に基準メッシュがスーパーインポーズされた画像を見ることができる。図６の右図に示した画像は、ＭＲデバイスを装着した作業者の目に映る現実世界に基準メッシュがスーパーインポーズされた画像であり、その画像は記録部１４１であるＭＲデバイス上のメモリに、動画、あるいは静止画として保存することができる。そのため、調査点検時に調査区間内で確認されるひび割れ、あるいはその他変状・不具合を撮影し、記録して持ち帰ることが可能となる。
【0024】
変換部１５１は、記録部１４１が記録した画像を第１の２次元画像へ変換する第２の変換部である。このとき、変換部１５１は、記録部１４１が記録した画像を第１の２次元画像へ変換する。記録部１４１が記録した画像（撮像画像）は、３次元の物体をカメラの平面画像上に投影された画像である。記録部１４１が記録した画像の３次元座標系｛ｘ｝から、第１の２次元画像の２次元カメラ画像系｛Ｘ’p｝への変換は、以下の（式２）のように示すことができる。
｛Ｘ’p｝＝［Ｄ］｛ｘ｝－｛Ｍ｝ …（式２）
２次元カメラ画像系Ｘ’p上の画像は、３次元の物体がカメラの平面画像上に投影された画像である。また、変換行列［Ｄ］は、（式２）中のアフィン変換行列［Ｃ］の単純な逆行列［Ｃ］-1ではなく、カメラと撮影対象物との間の距離Ｄpや撮影角度Φp、またはレンズの曲率等ρpによる歪みを含んだ画像変換を行うための理論上の変換行列であることに注意が必要である。また、平行移動ベクトル｛Ｍ｝も同様の歪みを含むものとなる。したがって、その変換画像は遠いものは小さく、近いものは大きく変換され、これに伴い、互いに直交するマトリクス状の線は斜交して表現される。したがって、２次元カメラ画像系Ｘ’p上の画像の任意の座標｛Ｘp，Ｙp｝に対応する、３次元座標系上の座標｛ｘ，ｙ，ｚ｝、あるいは基準メッシュを作成した２次元座標系Ｘ上の座標｛Ｘ，Ｙ｝を求めるためには、このような画像の歪みを補正する必要がある。そのためには、Ｄp、Φp、ρp等のパラメータ全てが必要となる。しかしながら、これらのパラメータを準備することは、実務の場で得ることはほとんど不可能であるため、本発明においてはこれらのパラメータを用いずに歪みの補正を行う。
｛Ｘ’p｝＝［Ｄ］｛ｘ｝－｛Ｍ｝ …（式２）
２次元カメラ画像系Ｘ’p上の画像は、３次元の物体がカメラの平面画像上に投影された画像である。また、変換行列［Ｄ］は、（式２）中のアフィン変換行列［Ｃ］の単純な逆行列［Ｃ］-1ではなく、カメラと撮影対象物との間の距離Ｄpや撮影角度Φp、またはレンズの曲率等ρpによる歪みを含んだ画像変換を行うための理論上の変換行列であることに注意が必要である。また、平行移動ベクトル｛Ｍ｝も同様の歪みを含むものとなる。したがって、その変換画像は遠いものは小さく、近いものは大きく変換され、これに伴い、互いに直交するマトリクス状の線は斜交して表現される。したがって、２次元カメラ画像系Ｘ’p上の画像の任意の座標｛Ｘp，Ｙp｝に対応する、３次元座標系上の座標｛ｘ，ｙ，ｚ｝、あるいは基準メッシュを作成した２次元座標系Ｘ上の座標｛Ｘ，Ｙ｝を求めるためには、このような画像の歪みを補正する必要がある。そのためには、Ｄp、Φp、ρp等のパラメータ全てが必要となる。しかしながら、これらのパラメータを準備することは、実務の場で得ることはほとんど不可能であるため、本発明においてはこれらのパラメータを用いずに歪みの補正を行う。
【0025】
以下に、変換部１５１が行う変換処理の詳細を説明する。まず、変換部１５１は、歪みを含んだ２次元カメラ画像系Ｘ’p上の座標｛Ｘ｝を３次元座標系の座標｛ｘ｝へ変換する。この変換は（式１）を用いることができるが、要素の値が異なるため、その変換マトリックスを［Ｃ］、平行移動ベクトルを｛Ｌ’｝とすると、
｛ｘ｝＝［Ｃ’］｛Ｘ’p｝＋｛Ｌ’｝＝［Ｃ’］（［Ｄ］｛ｘ｝－｛Ｍ｝）＋｛Ｌ’｝
＝［Ｃ’］［Ｄ］｛ｘ｝＋｛Ｌ’’｝ …（式３）
ここで、｛Ｌ’’｝＝｛Ｌ’｝－［Ｃ’］｛Ｍ｝である。これをさらに（式２）の逆変換を用いて、撮像条件に起因する誤差（歪み）が含まれた２次元座標系Ｘ上の座標｛Ｘｉｍ｝が得られる。
｛Ｘim｝＝［Ｃ’］-1［Ｃ’］［Ｄ］｛ｘ｝＋［Ｃ’］-1｛Ｌ’’｝ …（式４）
（式４）において、撮影対象が平面である場合、その変換は３次元平面から２次元平面への変換であるから［Ｃ’］-1および［Ｃ’］はいずれも単位行列［Ｉ］となる。また、対象物がトンネルのような単純な曲線で、かつ曲率が十分大きな構造物である場合、基準メッシュ内では、近似的に単位行列を用いることができる（曲率が小さな場合でも、基準メッシュ間隔を十分小さくとれば単位行列を用いることが許される）。すなわち、（式４）は以下の（式５）のように表すことができる。
｛Ｘim｝＝［Ｄ］｛ｘ｝－｛Ｌ’’｝ …（式５）
（式５）は（式２）の平行移動ベクトルの項｛Ｍ｝が｛Ｌ’’｝へ置き換わっている。なお、（式５）における［Ｄ］は、近似上（計算上）の変換行列である。すなわち、｛Ｘim｝は、平行移動と、撮影条件に起因する歪みによる誤差を含むものの、その他の誤差因子を理論的には含むものではない。したがって、撮影に起因する誤差を補正し、平行移動すれば２次元カメラ画像系Ｘ’p上の座標｛Ｘ’p｝に対応する２次元座標系Ｘ上の座標｛Ｘ｝を知ることができる。
｛ｘ｝＝［Ｃ’］｛Ｘ’p｝＋｛Ｌ’｝＝［Ｃ’］（［Ｄ］｛ｘ｝－｛Ｍ｝）＋｛Ｌ’｝
＝［Ｃ’］［Ｄ］｛ｘ｝＋｛Ｌ’’｝ …（式３）
ここで、｛Ｌ’’｝＝｛Ｌ’｝－［Ｃ’］｛Ｍ｝である。これをさらに（式２）の逆変換を用いて、撮像条件に起因する誤差（歪み）が含まれた２次元座標系Ｘ上の座標｛Ｘｉｍ｝が得られる。
｛Ｘim｝＝［Ｃ’］-1［Ｃ’］［Ｄ］｛ｘ｝＋［Ｃ’］-1｛Ｌ’’｝ …（式４）
（式４）において、撮影対象が平面である場合、その変換は３次元平面から２次元平面への変換であるから［Ｃ’］-1および［Ｃ’］はいずれも単位行列［Ｉ］となる。また、対象物がトンネルのような単純な曲線で、かつ曲率が十分大きな構造物である場合、基準メッシュ内では、近似的に単位行列を用いることができる（曲率が小さな場合でも、基準メッシュ間隔を十分小さくとれば単位行列を用いることが許される）。すなわち、（式４）は以下の（式５）のように表すことができる。
｛Ｘim｝＝［Ｄ］｛ｘ｝－｛Ｌ’’｝ …（式５）
（式５）は（式２）の平行移動ベクトルの項｛Ｍ｝が｛Ｌ’’｝へ置き換わっている。なお、（式５）における［Ｄ］は、近似上（計算上）の変換行列である。すなわち、｛Ｘim｝は、平行移動と、撮影条件に起因する歪みによる誤差を含むものの、その他の誤差因子を理論的には含むものではない。したがって、撮影に起因する誤差を補正し、平行移動すれば２次元カメラ画像系Ｘ’p上の座標｛Ｘ’p｝に対応する２次元座標系Ｘ上の座標｛Ｘ｝を知ることができる。
【0026】
座標算出部１６１は、変換部１５１が変換した第１の２次元画像内の特定された点を囲む３つの点の座標と、その３つの点それぞれに対応する、直交格子メッシュにおける３つの点の座標とに基づいて、特定された点の直交格子メッシュにおける座標を算出する。このとき、座標算出部１６１は、特定された点を囲む３つの点の第１の座標と、その３つの点それぞれに対応する、直交格子メッシュにおける３つの点の第２の座標との関係を示す（式６）～（式１２）を用いて、特定された点の直交格子メッシュにおける座標を算出する。
【0027】
図７は、コンピュータ画面上のピクセル座標系に描画された、ひび割れ分布と基準メッシュとの一例を示す図である。図７に示すように、ひび割れ形状を代表するひび割れの開始点ｐ1（ｐx1，ｐy1）、終点ｐ8（ｐx8，ｐy8）等のコンピュータ画面上の座標値、すなわちピクセル座標値ｐn（ｐxn，ｐyn）については、ポインティング・デバイス等を用いて各点を指定すればその座標値を直ちに取得することができる。さらに、取得した複数の点を互いに結べば、コンピュータ画面上でひび割れの形状（状態）を高い精度で近似することができる。ここで、各点のピクセル座標値を平面展開図上の座標値Ｘi（ｘi，ｙi）に変換、つまり撮影条件に起因する誤差（歪み）を補正することができるならば、容易にひび割れ等の平面展開図を作成することができることになる。
【0028】
図８は、図７に示した基準メッシュ上に描画されたひび割れ分布の一部の一例を示す図である。図９は、図８に示したひび割れ分布を平面展開図上に変換した座標の一例を示す図である。座標算出部１６１は、図８に示すようなコンピュータ画面上のピクセル座標値ｐn（ｐxn，ｐyn）を図９に示すような平面展開図上座標値Ｘi（ｘi，ｙi）に変換する。このとき、点ｐnを含む三角形ｐ1ｐ2ｐ3は、（式１）および（式２）を用いて、平面展開図上の直角三角形Ｘ1Ｘ2Ｘ3への線型変換によって写像され、その三角形内部にある点は同じ変換則に従うものと仮定する。ここで、
となる。アフィン変換においては、ａ，ｂ，ｃ，ｄ，ｍ，ｎの各係数は、拡大縮小（Ｄｉｆｆｅｒｅｎｔｉａｌ ｓｃａｌｉｎｇ）、剪断（Ｓｋｅｗ）、回転（Ｒｏｔａｔｉｏｎ）および平行移動（Ｔｒａｎｓｌａｔｉｏｎ）の各変換成分を与えることで決定される。撮影画像上の三角形の頂点座標ｐ1（ｐx1，ｐy1），ｐ2（ｐx2，ｐy2），ｐ3（ｐx3，ｐy3）、ならびに平面展開図上の座標Ｘ1（ｘ1，ｙ1），Ｘ2（ｘ2，ｙ2），Ｘ3（ｘ3，ｙ3）が明らかであれば、これらを用いて以下の（式７）～（式１２）のように表記することができる。
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
【0029】
図８に示した画面上の参照点座標ｐn（ｐxn，ｐyn）および三角形の頂点座標ｐ1（ｐx1，ｐy1），ｐ2（ｐx2，ｐy2），ｐ3（ｐx3，ｐy3）は、上述したようにポインティング・デバイスを用いることで容易に取得することができる。また、平面展開図上の三角形の頂点座標Ｘ1（ｘ1，ｙ1），Ｘ2（ｘ2，ｙ2），Ｘ3（ｘ3，ｙ3）も、対応する枠が明らかであれば図２に示した基準メッシュから求めることができる。したがって、ピクセル座標値ｐn（ｐxn，ｐyn）は平面展開図上の座標値Ｘi（ｘi，ｙi）に一意に変換される。
【0030】
一般的に、視差を補正するためには、対象物までの撮影距離や視準角などの情報が必要となる。上述した変換を用いることで、画面上の三角形ｐ1ｐ2ｐ3が、平面展開図上の直角三角形Ｘ1Ｘ2Ｘ3に変換されるため、少なくとも変換後の三角形領域内の基準メッシュの直交性は担保される。したがって、視差などによる画像の歪みも同時に補正されることとなる。
【0031】
２次元画像作成部１７１は、上述したように座標算出部１６１が算出した座標に、図９に示したような特定された点を表示した第２の２次元画像を作成する。
【0032】
マーキング部１８１は、記録部１４１が記録した画像に対して、所望のマーキングを行う。
【0033】
表示部１３１は、第１の実施の形態における表示部１３１が具備する機能に加えて、マーキング部１８１が行ったマーキングを表示する。
【0034】
【0035】
まず、直交格子メッシュ作成部１１０は、図２に示したような、２次元で表現される直交格子メッシュを作成する（ステップＳ１１）。すると、変換部１２０は、直交格子メッシュ作成部１１０が作成した直交格子メッシュを、図３に示したような、３次元の基準メッシュへ変換する（ステップＳ１２）。続いて、表示部１３１は、変換部１２０が変換した３次元の基準メッシュをＭＲデバイス上に投影できるように表示形式を変換して表示する（ステップＳ１３）。続いて、記録部１４１が、表示部１３１に基準メッシュが表示されたＭＲデバイス上の画像を記録する（ステップＳ１４）。このとき、記録部１４１は、ＭＲデバイス上で表示された基準メッシュと重ねて、ＭＲデバイス上に表示された画像（動画または静止画）を撮像して記録する。
【0036】
その後、マーキング部１８１は、記録部１４１が記録した画像に対して、外部からの操作に基づいて受け付けた情報に応じたマーキングを行う（ステップＳ１５）。このマーキングは、ＭＲデバイス上に表示された画像に対して、実際のひび割れ箇所を示すものであり、作業者の操作に基づいてその位置が指定されて行われるものである。また、マーキングが行われた画像は記録部１４１に記録される。
【0037】
そして、マーキングが行われた画像のピクセル画像を変換部１５１が記録部１４１から読み出して、２次元画像へ変換する（ステップＳ１６）。具体的な変換方法は、上述した通りである。続いて、座標算出部１６１が、変換部１５１が変換した２次元画像内の特定された点を囲む３つの点の座標と、その３つの点それぞれに対応する、直交格子メッシュにおける３つの点の座標とに基づいて、マーキングされた各点の直交格子メッシュにおける座標を算出する（ステップＳ１７）。具体的な算出方法は、上述した通りである。続いて、２次元画像作成部１７１が、座標算出部１６１が算出した座標に、図９に示したような特定された点を表示した第２の２次元画像を作成する（ステップＳ１８）。なお、記録部１４１は、ステップＳ１８にて作成された第２の２次元画像を記録する。また、記録部１４１は、ステップＳ１６にて変換された２次元画像およびステップＳ１７にて算出された座標を記録するものであっても良い。
【0038】
このように、本形態においては、ＭＲ技術を用いて調査対象の構造物表面に座標同定の基準となる直交格子メッシュを投影し、ＭＲ技術を援用して調査対象構造物と直交格子メッシュとがスーパーインポーズされた画像を取得する。また、得られた画像の視差による歪みなどを、局所的な格子メッシュの直交性を担保して変換する。そのため、対象物の調査・点検時間を大幅な低減することができる。また、ひび割れなどの変状展開図、３次元モデルの大幅な精度向上を図ることができる。また、調査・点検精度を大幅に向上させることができる。さらに、次回調査・点検時に投影基準点さえ一致させれば、精度の高いモデルが投影されるため、これまで不可能だった数１０ｍｍ程度のひび割れの発達も評価することができる。
【0039】
以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。
【0040】
上述した情報処理装置１００，１０１が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を情報処理装置１００，１０１にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置１００，１０１に読み込ませ、実行するものであっても良い。情報処理装置１００，１０１にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの移設可能な記録媒体の他、情報処理装置１００，１０１に内蔵されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理装置１００，１０１に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
【符号の説明】
【0041】
１００ ，１０１ 情報処理装置
１１０ 直交格子メッシュ作成部
１２０，１５１ 変換部
１３０，１３１ 表示部
１４１ 記録部
１６１ 座標算出部
１７１ ２次元画像作成部
１８１ マーキング部
１１０ 直交格子メッシュ作成部
１２０，１５１ 変換部
１３０，１３１ 表示部
１４１ 記録部
１６１ 座標算出部
１７１ ２次元画像作成部
１８１ マーキング部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】