特許 7557600 情報表示装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】情報表示装置、方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240919BHJP

   G06F 3/04815 20220101ALI20240919BHJP

   E01D 22/00 20060101ALI20240919BHJP

【ＦＩ】

G06T19/00 A

G06F3/04815

E01D22/00 A

【請求項の数】 6

(21)【出願番号】P 2023189514

(22)【出願日】2023-11-06

(62)【分割の表示】P 2021532715の分割

【原出願日】2020-06-01

(65)【公開番号】P2024012527

(43)【公開日】2024-01-30

【審査請求日】2023-11-06

(31)【優先権主張番号】P 2019132789

(32)【優先日】2019-07-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(72)【発明者】

【氏名】與那覇 誠

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１９－０４９９５１（ＪＰ，Ａ）

【文献】特開２０１７－１６８０７７（ＪＰ，Ａ）

【文献】特開２０１９－２１１２７７（ＪＰ，Ａ）

【文献】特開２０１８－１５１９６４（ＪＰ，Ａ）

【文献】特開２０１７－１８２６９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８１５

Ｅ０１Ｄ ２２／００

(57)【特許請求の範囲】

【請求項1】

３次元モデルを表示する表示部と、
前記３次元モデルの管理区分毎の管理情報を記憶する記憶部と、
ユーザ操作に応じて前記表示部に表示された前記３次元モデル上の位置を示す位置情報を受け付ける操作部と、
前記受け付けた位置情報に基づいて前記３次元モデル上の１点の３次元位置を特定し、特定した３次元位置を含む前記管理区分を特定する管理区分特定部と、
前記特定された管理区分に対応する管理情報を前記記憶部から読み出し、読み出した前記管理情報を前記表示部に表示させる表示制御部と、を備え、
前記３次元モデルは、構造物を撮影した画像から生成したモデルであり、
前記管理区分は、前記構造物の点検単位に基づく管理単位であり、
前記管理情報は、前記構造物の管理区分に対応するオルソ画像、損傷情報が重畳されたオルソ画像、損傷図、損傷数量表、補修図、及び補修数量表のうちの１以上である、
情報表示装置。

【請求項2】

前記３次元モデルは、前記構造物の表面上の多数の点の３次元情報からなる３次元点群を基に生成したモデルである、
請求項１に記載の情報表示装置。

【請求項3】

前記管理区分は、３次元情報を有する、
請求項１又は２に記載の情報表示装置。

【請求項4】

前記管理区分は、前記構造物の定期点検で行われる、前記構造物の点検単位に基づく管理単位である、
請求項１から３のいずれか１項に記載の情報表示装置。

【請求項5】

プロセッサが、構造物の３次元モデルと前記３次元モデルの管理区分毎の管理情報とを記憶する記憶部から前記管理情報を読み出し、前記管理情報を表示部に表示させる情報表示方法であって、
前記プロセッサが、前記３次元モデルを前記表示部に表示させるステップと、
前記プロセッサが、ユーザ操作に応じて前記表示部に表示された前記３次元モデル上の位置を示す位置情報を受け付けるステップと、
前記プロセッサが、前記受け付けた位置情報に基づいて前記３次元モデル上の１点の３次元位置を特定し、特定した３次元位置を含む前記管理区分を特定するステップと、
前記プロセッサが、前記特定された管理区分に対応する管理情報を前記記憶部から読み出し、読み出した前記管理情報を前記表示部に表示させるステップと、を含み、
前記３次元モデルは、構造物を撮影した画像から生成したモデルであり、
前記管理区分は、前記構造物の点検単位に基づく管理単位であり、
前記管理情報は、前記構造物の管理区分に対応するオルソ画像、損傷情報が重畳されたオルソ画像、損傷図、損傷数量表、補修図、及び補修数量表のうちの１以上である、
情報表示方法。

【請求項6】

構造物の３次元モデルと前記構造物の管理区分毎の管理情報とを記憶する記憶部にアクセス可能なコンピュータにインストールされる情報表示プログラムであって、
前記３次元モデルを表示部に表示させる機能と、
ユーザ操作に応じて前記表示部に表示された前記３次元モデル上の位置を示す位置情報を受け付ける機能と、
前記受け付けた位置情報に基づいて前記３次元モデル上の１点の３次元位置を特定し、特定した３次元位置を含む前記管理区分を特定する機能と、
前記特定された管理区分に対応する管理情報を前記記憶部から読み出し、読み出した前記管理情報を前記表示部に表示させる機能と、
を前記コンピュータに実現させる情報表示プログラムであり、
前記３次元モデルは、構造物を撮影した画像から生成したモデルであり、
前記管理区分は、前記構造物の点検単位に基づく管理単位であり、
前記管理情報は、前記構造物の管理区分に対応するオルソ画像、損傷情報が重畳されたオルソ画像、損傷図、損傷数量表、補修図、及び補修数量表のうちの１以上である、
情報表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報表示装置、方法及びプログラムに係り、特に構造物の点検を支援する技術に関する。

【背景技術】

【0002】

橋梁などの構造物は、構造物の維持管理及び補修を行うために定期点検する必要がある。

【0003】

構造物の点検は、構造物の管理区分の単位で行われ、国や自治体などで定めた点検評価基準にしたがって管理区分毎に損傷程度の評価、外観性状の記録などが行われる。

【0004】

従来、構造物等の対象物体の３次元モデル上で指定された位置に関連付けられた情報が容易に一覧可能にする画像処理方法が提案されている（特許文献１）。

【0005】

特許文献１に記載の画像処理方法は、対象物体を撮影した複数の撮影画像（２次元画像）から対象物体の３次元モデルを生成し、３次元モデルに近似する３次元メッシュを生成する。そして、生成した３次元メッシュの各部分平面の２次元展開図（パノラマ画像）を生成する。

【0006】

この画像処理方法は、３次元メッシュの各部分平面毎のパノラマ画像のうちの閲覧対象としてユーザが選択したパノラマ画像を表示部のパノラマ画像表示領域に表示し、このパノラマ画像に対してユーザにより指定された位置に対応する点検画像（撮影画像）を表示部の点検画像表示領域に表示し、更に点検画像には、注釈としてひび画像などのコンテンツを重畳表示している。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１７－１６８０７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に記載の画像処理方法は、構造物等の対象物体の表面を表す３次元メッシュから３次元メッシュの各部分平面のパノラマ画像を生成し、部分平面毎のパノラマ画像から、適宜選択したパノラマ画像を表示部のパノラマ画像表示領域に表示し、パノラマ画像上で指定した位置に対応する点検画像である撮影画像を、表示部の点検画像表示領域に表示しており、立体的に表示される３次元モデル上で指定した位置に対応する点検画像を表示するものではない。

【0009】

また、点検画像は、撮影画像又は撮影画像にひび画像等の注釈が重畳されたものであり、構造物の管理区分毎の管理情報ではない。

【0010】

本発明はこのような事情に鑑みてなされたもので、構造物の３次元モデルを使用して構造物の管理区分毎に管理情報を容易に確認することができる情報表示装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために本発明の一の態様に係る情報表示装置は、構造物の３次元モデルと構造物の管理区分毎の管理情報とを記憶する記憶部と、記憶部に記憶された３次元モデルを表示部に表示させる場合に、表示部に表示させる３次元モデルの少なくとも拡大を含むビュー操作を受け付ける第１操作部と、記憶部に記憶された３次元モデルを読み出して表示部に表示させ、ビュー操作に基づいて３次元モデルを少なくとも拡大表示させる第１表示制御部と、ユーザ操作に応じて表示部に拡大表示された３次元モデル上の位置を示す位置情報を受け付ける第２操作部と、受け付けた位置情報に基づいて３次元モデル上の３次元位置を特定し、特定した３次元位置を含む管理区分を特定する管理区分特定部と、特定された管理区分に対応する管理情報を記憶部から読み出し、読み出した管理情報を表示部に表示させる第２表示制御部と、を備える。

【0012】

本発明の一の態様によれば、構造物の３次元モデルを表示部に表示させ、少なくとも３次元モデルを拡大表示させるビュー操作を行うことで、構造物を俯瞰しながら構造物の所望の位置を容易に指定することができる。構造物の所望の位置が指定されると、その位置に対応する３次元モデル上の３次元位置を特定し、特定した３次元位置を含む構造物の管理区分を特定する。構造物の管理区分が特定されると、その特定した管理区分に対応する管理情報を記憶部から読み出し、表示部に表示させることで、所望の管理情報を容易に確認することができる。

【0013】

本発明の他の態様に係る情報表示装置において、管理情報は、構造物の管理区分に対応するオルソ画像、損傷情報が重畳されたオルソ画像、損傷図、損傷数量表、補修図、及び補修数量表のうちの１以上であることが好ましい。

【0014】

本発明の更に他の態様に係る情報表示装置において、管理区分は、構造物を構成する部位及び部材の点検単位の区分であることが好ましい。

【0015】

本発明の更に他の態様に係る情報表示装置において、第１操作部は、表示部に表示させる３次元モデルを拡大、縮小、平行移動、又は回転移動させるビュー操作を受け付け、第１表示制御部は、第１操作部が受け付けたビュー操作に基づいて表示部に表示させる３次元モデルを拡大表示、縮小表示、平行移動、又は回転移動させることが好ましい。

【0016】

本発明の更に他の態様に係る情報表示装置において、３次元モデルは、構造物の表面上の多数の点の３次元情報からなる３次元点群で表したもの、３次元点群に基づいて多角形のポリゴンの集合体で構造物の表面を表したもの、又は多角形のポリゴンに構造物を撮影した撮影画像をテクスチャーマッピングしたものである。

【0017】

本発明の更に他の態様に係る情報表示装置において、第１表示制御部は、表示部に拡大表示させた３次元モデル上の、第２操作部が受け付けた位置情報が示す位置に指標を重畳表示させることが好ましい。

【0018】

本発明の更に他の態様に係る情報表示装置において、第１表示制御部は、表示部の第１表示領域に３次元モデルを表示させ、第２表示制御部は、表示部の第２表示領域に管理情報を表示させることが好ましい。

【0019】

本発明の更に他の態様に係る情報表示装置において、表示部における第１表示制御部による３次元モデルの表示と、第２表示制御部による管理情報の表示とを切り替える表示切替部を備えることが好ましい。

【0020】

本発明の更に他の態様に係る情報表示方法は、構造物の３次元モデルと構造物の管理区分毎の管理情報とを記憶する記憶部を準備するステップと、記憶部に記憶された３次元モデルを表示部に表示させる場合に第１操作部が、表示部に表示させる３次元モデルの少なくとも拡大を含むビュー操作を受け付けるステップと、第１表示制御部が記憶部に記憶された３次元モデルを読み出して表示部に表示させる第１表示ステップであって、第１操作部が受け付けたビュー操作に基づいて３次元モデルを少なくとも拡大表示させる第１表示ステップと、第２操作部が、ユーザ操作に応じて表示部に拡大表示された３次元モデル上の位置を示す位置情報を受け付けるステップと、管理区分特定部が、第２操作部が受け付けた位置の指示入力に基づいて３次元モデル上の３次元位置を特定し、特定した３次元位置を含む管理区分を特定するステップと、第２表示制御部が、特定された管理区分に対応する管理情報を記憶部から読み出し、読み出した管理情報を表示部に表示させる第２表示ステップと、を含む。

【0021】

本発明の更に他の態様に係る情報表示方法において、管理情報は、構造物の管理区分に対応するオルソ画像、損傷情報が重畳されたオルソ画像、損傷図、損傷数量表、補修図、及び補修数量表のうちの１以上であることが好ましい。

【0022】

本発明の更に他の態様に係る情報表示方法において、管理区分は、構造物を構成する部位及び部材の点検単位の区分であることが好ましい。

【0023】

本発明の更に他の態様に係る情報表示方法において、ビュー操作を受け付けるステップは、表示部に表示させる３次元モデルを拡大、縮小、平行移動、又は回転移動させるビュー操作を受け付け、第１表示ステップは、第１操作部が受け付けたビュー操作に基づいて表示部に表示させる３次元モデルを拡大表示、縮小表示、平行移動、又は回転移動させることが好ましい。

【0024】

本発明の更に他の態様に係る情報表示方法において、３次元モデルは、構造物の表面上の多数の点の３次元情報からなる３次元点群で表したもの、３次元点群に基づいて多角形のポリゴンの集合体で構造物の表面を表したもの、又は多角形のポリゴンに構造物を撮影した撮影画像をテクスチャーマッピングしたものである。

【0025】

更に他の態様に係る発明は、構造物の３次元モデルと構造物の管理区分毎の管理情報とを記憶する記憶部にアクセス可能なコンピュータにインストールされる情報表示プログラムであって、記憶部に記憶された３次元モデルを表示部に表示させる場合に、表示部に表示させる３次元モデルの少なくとも拡大を含むビュー操作を受け付ける機能と、記憶部に記憶された３次元モデルを読み出して表示部に表示させ、ビュー操作に基づいて３次元モデルを少なくとも拡大表示させる機能と、ユーザ操作に応じて表示部に拡大表示された３次元モデル上の位置を示す位置情報を受け付ける機能と、受け付けた位置情報に基づいて３次元モデル上の３次元位置を特定し、特定した３次元位置を含む管理区分を特定する機能と、特定された管理区分に対応する管理情報を記憶部から読み出し、読み出した管理情報を表示部に表示させる機能と、をコンピュータに実現させる情報表示プログラムである。

【0026】

更に他の態様に係る発明は、構造物の３次元モデルと構造物の管理区分毎の管理情報とを記憶する記憶部と、記憶部に記憶された３次元モデルを表示部に表示させる場合に、表示部に表示させる３次元モデルの少なくとも拡大を含むビュー操作を受け付け、記憶部に記憶された３次元モデルを読み出して表示部に表示させ、ビュー操作に基づいて３次元モデルを少なくとも拡大表示させ、ユーザ操作に応じて表示部に拡大表示された３次元モデル上の位置を示す位置情報を受け付け、受け付けた位置情報に基づいて３次元モデル上の３次元位置を特定し、特定した３次元位置を含む管理区分を特定し、特定された管理区分に対応する管理情報を記憶部から読み出し、読み出した管理情報を表示部に表示させるプロセッサと、を備える情報表示装置である。

【発明の効果】

【0027】

本発明によれば、構造物の３次元モデルを表示部に表示させ、少なくもと３次元モデルを拡大表示させるビュー操作を行うことで、構造物を俯瞰しながら構造物の所望の位置を容易に指定することができ、構造物の所望の位置が指定されると、その位置に対応する３次元モデル上の３次元位置を含む構造物の管理区分を特定し、その特定した管理区分に対応する管理情報を表示部に表示させることで、所望の管理情報を容易に確認することができる。

【図面の簡単な説明】

【0028】

【図1】図１は、本発明に係る情報表示装置のハードウエア構成の一例を示すブロック図である。

【図2】図２は、本発明に係る情報表示方法の実施形態を示すフローチャートである。

【図3】図３は、橋梁の全景を示す３次元モデルが表示された表示部の画面の一例を示す図である。

【図4】図４は、拡大等のビュー操作により立体的に動かされた橋梁の３次元モデルを表示した、表示部の画面の一例を示す図である。

【図5】図５は、橋梁の管理区分の１つである格間に対応するオルソ画像の一例を示す図である。

【図6】図６は、格間に対応する損傷図の一例を示す図である。

【図7】図７は、格間に対応する損傷図が重畳されたオルソ画像の一例を示す図である。

【図8】図８は、格間に対応する損傷数量表の一例を示す図表である。

【図9】図９は、格間に対応する補修図の一例を示す図である。

【図10】図１０は、格間に対応する補修数量表の一例を示す図表である。

【図11】図１１は、３次元モデルと管理情報とが同時に表示された表示部の画面の一例を示す図である。

【発明を実施するための形態】

【0029】

以下、添付図面に従って本発明に係る情報表示装置、方法及びプログラムの好ましい実施形態について説明する。

【0030】

[情報表示装置のハードウエア構成]
図１は、本発明に係る情報表示装置のハードウエア構成の一例を示すブロック図である。

【0031】

図１に示す情報表示装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例の情報表示装置１０は、主として画像取得部１２と、画像データベース１４と、記憶部１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示制御部２６とから構成されている。

【0032】

画像取得部１２は、入出力インターフェースに相当し、本例では点検対象の構造物を撮影した撮影画像等を取得する。点検対象の構造物は、例えば、橋梁、トンネル等の構造物を含む。

【0033】

画像取得部１２が取得する画像は、例えば、カメラを搭載したドローン（無人飛行体）により構造物を撮影した多数の画像（撮影画像群）である。撮影画像群は、構造物の全体を網羅するものであり、かつ隣接する各撮影画像は、８割程度の範囲で画像が重複していることが好ましい。

【0034】

画像取得部１２により取得した撮影画像群は、画像データベース１４に格納される。

【0035】

記憶部１６は、ハードディスク装置、フラッシュメモリ等から構成される記憶部であり、オペレーティングシステム、情報表示プログラムの他、構造物の３次元モデル、構造物の管理区分毎の管理情報、３次元モデルと管理情報とを関連付ける情報等を記憶する。

【0036】

ここで、３次元モデルは、画像データベース１４に格納された撮影画像群の、互いに重複する撮影画像間の特徴点を抽出し、抽出した特徴点に基づいて、ドローンに搭載されたカメラの位置及び姿勢を推定した３次元点群を含む。また、カメラの位置及び姿勢の推定結果から同時に特徴点の３次元位置を推定した３次元点群を含む。

【0037】

ドローンによりカメラの撮影位置が動いていく撮影画像群の中から、多数の特徴点の動きをトラッキングし、構造物の３次元構造(Structure)とカメラ姿勢(Motion)とを同時に推定するStructure from Motion(ＳｆＭ)手法がある。近年、bundle adjustmentという最適化計算法が開発され、高精度な出力を出せるようになっている。

【0038】

尚、ＳｆＭ手法を適用する場合に必要なカメラのパラメータ（焦点距離、イメージセンサの画像サイズ、画素ピッチ等）は、記憶部１６に記憶させたものを使用することができる。また、ＳｆＭ手法では、絶対的なスケールは求めることができないため、例えば、構造物の既知の大きさ（２点間の距離等）を指示することで、絶対的なスケール（３次元位置）を求めることができる。

【0039】

ここで、３次元モデルは、構造物の表面上の多数の点の３次元点群で表したもの、３次元点群に基づいて多角形のポリゴン（例えば、三角パッチ）の集合体で構造物の表面を表したもの、又は多角形のポリゴンに構造物を撮影した撮影画像（テクスチャ）をテクスチャーマッピングしたものが考えられる。本例の構造物の３次元モデルは、多角形のポリゴンに撮影画像をテクスチャーマッピングしたものとする。

【0040】

また、構造物の定期点検は、構造物を構成する部位及び部材の点検単位の区分である、管理区分毎に行われる。

【0041】

以下、構造物として橋梁を例に説明する。

【0042】

図４は、橋梁１の３次元モデル（の一部）が表示された、表示部３０の画面３０Ａの一例を示す。

【0043】

画面３０Ａに表示されている橋梁１は、橋脚７の間に渡された主桁２と、主桁２と直交する方向に設けられ、主桁間を連結する横桁３と、風、地震等の横荷重に抵抗するために主桁２を相互に連結する対傾構４及び横構５とを含む各種の部材から構成されている。そして、主桁等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。

【0044】

床版６は、通常、主桁２と横桁３とにより画成された矩形形状の格間が基本単位となっており、床版の損傷（ひび割れ、コンクリート剥離など）を点検する場合、格間単位で行われる。

【0045】

したがって、床版の各格間は、構造物（橋梁）を構成する部位及び部材の点検単位の管理区分の一つである。尚、橋梁の管理区分となり得る構造物を構成する部位・部材区分は、床版（格間）の他に、構造物を構成する部位・部材区分（主桁２、横桁３、対傾構４、横構５、橋脚７（柱部・壁部、梁部、隅角部・接合部））などがある。

【0046】

また、記憶部１６に記憶される構造物の管理区分毎の管理情報は、構造物の管理区分に対応するオルソ画像、損傷情報が重畳されたオルソ画像、損傷図、損傷数量表、補修図、又は補修数量表などが考えられる。これらの管理情報は、構造物の点検が行われた時や補修時に作成されたものであるが、その詳細については後述する。

【0047】

操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等のＵＩ（User Interface）を含む。かかるキーボード及びマウス等は、本例では、コンピュータの通常の操作入力を受け付ける操作部として機能する他に、表示部３０の画面に表示させる３次元モデルの少なくとも拡大を含むビュー操作を受け付ける第１操作部として機能し、また、ユーザ操作に応じて表示部３０に拡大表示された３次元モデル上の位置を示す位置情報を受け付ける第２操作部として機能する。

【0048】

ＣＰＵ２０は第１操作部及び第２操作部からの入力を受付け、各種処理を行う。具体的には、ＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、各部を統括制御するとともに、３次元モデル及び管理情報を生成する処理等の各種の処理を実行する。また、ＣＰＵ２０は、後述するように構造物の管理区分を特定する管理区分特定部として機能する。

【0049】

ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。

【0050】

表示制御部２６は、ＧＰＵ（Graphics Processing Unit）等により構成され、表示部３０に表示させる表示用データを作成し、表示部３０に出力する。表示制御部２６は、本例では記憶部１６に記憶された３次元モデルを読み出して表示部３０に３次元モデルを示す画像を表示させ、操作部１８による３次元モデルのビュー操作に基づいて３次元モデルを少なくとも拡大表示させる第１表示制御部として機能する。また、管理区分特定部（ＣＰＵ２０）により特定された管理区分に対応する管理情報を記憶部１６から読み出し、読み出した管理情報を表示部３０に表示させる第２表示制御部として機能する。なお、表示制御部２６は、上述のＧＰＵではなくＣＰＵ２０により実現されてもよい。

【0051】

表示部３０は、コンピュータに接続可能な液晶モニタ等の各種のモニタが用いられ、表示制御部２６から入力する表示用データにより３次元モデル、管理情報等の各種の情報を表示し、また、操作部１８とともにユーザインターフェースの一部として使用される。

【0052】

上記構成の情報表示装置１０は、操作部１８からの指示入力によりＣＰＵ２０が、記憶部１６又はＲＯＭ２４に記憶されているプログラムを読み出し、プログラムを実行することにより、操作部１８による操作に応じて各種の情報を表示部３０に表示させる。

【0053】

[情報表示方法]
図２は、本発明に係る情報表示方法の実施形態を示すフローチャートである。

【0054】

図２において、図1に示した情報表示装置１０の各部の動作を説明しつつ、本発明に係る情報表示方法を説明する。

【0055】

情報表示装置１０の記憶部１６には、構造物（本例では橋梁）の３次元モデルと構造物の管理区分毎の管理情報とが記憶されている。本例の情報表示方法を実施する場合、かかる記憶部１６を予め準備しておく。

【0056】

情報表示装置１０の表示制御部２６は、まず、記憶部１６に記憶された３次元モデルを読み出して３次元モデルを表示部３０に表示させる（ステップＳ１０、第１表示ステップ）。ここで、表示制御部２６は、３次元モデルを表示部３０に最初に表示させる場合には、図３に示すように構造物である橋梁１の全体が把握できるように橋梁の全景を示す３次元モデルを表示部３０の画面３０Ａに表示させる。

【0057】

続いて、ＣＰＵ２０又は表示制御部２６は、ユーザにより画面３０Ａに表示されている３次元モデルに対し、少なくとも拡大を含むビュー操作が行われたか否かを判別する（ステップＳ１２）。ビュー操作は、画面３０Ａに３Ｄ（three dimensions）で表現された３次元モデルを拡大表示、縮小表示、平行移動、又は回転移動させるための操作であり、第１操作部として機能する操作部１８を使用して行われる。この場合、ユーザのビュー操作を受け付ける第１操作部としては、３Ｄマウスが好適であるが、通常のマウス等も使用可能である。

【0058】

ステップＳ１２において、ビュー操作が行われたと判別されると（「Yes」の場合）、ＣＰＵ２０又は表示制御部２６は、ビュー操作が３次元モデルを拡大又は縮小させる操作か、３次元モデルを平行移動させる操作か、又は回転移動させる操作かを判別する（ステップＳ１４、ステップＳ１６）。

【0059】

第１表示制御部として機能する表示制御部２６は、３次元モデルを拡大又は縮小させるビュー操作が操作部１８により行われると、そのビュー操作による拡大又は縮小の指示に応じて３次元モデルを拡大又は縮小させる表示用データを作成し、表示部３０に出力する（ステップＳ１８）。また、表示制御部２６は、３次元モデルを平行移動させるビュー操作が操作部１８により行われると、そのビュー操作による平行移動の指示に応じて３次元モデルを平行移動させる表示用データを作成し、表示部３０に出力し（ステップＳ２０）、３次元モデルを回転移動させるビュー操作が操作部１８により行われると、そのビュー操作による回転移動の指示に応じて３次元モデルを回転移動させる表示用データを作成し、表示部３０に出力する（ステップＳ２２）。

【0060】

ステップＳ１２において、ビュー操作が行われていないと判別されると（「No」の場合）、又はステップＳ１８、Ｓ２０、Ｓ２２の処理が終了すると、ステップＳ２３に遷移させる。

【0061】

ステップＳ２３において、ＣＰＵ２０は、操作部１８からの本情報表示の終了の指示入力の有無を判別し、終了の指示入力がない場合（「No」の場合）には、ステップＳ２４に遷移させる。終了の指示入力がある場合（「Yes」の場合）には、本情報表示に係る処理を終了させる。

【0062】

次に、ＣＰＵ２０は、第２操作部として機能する操作部１８でのユーザ操作に応じて、表示部３０に拡大表示された３次元モデル上の位置を示す位置情報を受け付けたか否かを判別する（ステップＳ２４）。

【0063】

３次元モデル上の位置を示す位置情報を受け付けていない場合（「No」の場合）には、ステップＳ１０に遷移し、表示制御部２６は、引き続き３次元モデルを表示部３０に表示させる。尚、ビュー操作が行われ、ステップＳ１８、Ｓ２０又はＳ２２により３次元モデルを拡大又は縮小させる表示用データ、３次元モデルを平行移動させる表示用データ、又は３次元モデルを回転移動させる表示用データが作成された場合には、最新の表示用データに基づいて、拡大縮小、平行移動、又は回転移動した（立体的に動かされた）３次元モデルが表示部３０に表示される。

【0064】

図４は、拡大等のビュー操作により立体的に動かされた橋梁の３次元モデルを表示した、表示部３０の画面３０Ａの一例を示す図である。

【0065】

即ち、ユーザのビュー操作により、表示部３０の画面３０Ａに表示させる橋梁１の３次元モデルを、図３に示した橋梁１の全景を示す３次元モデルから、図４に示すように拡大、移動及び回転させた３次元モデルに遷移させることができる。尚、ビュー操作は、３次元モデルで橋梁全体を空間把握しながら、要点検箇所を見やすくするために行われる。

【0066】

図４において、３２は、表示部３０の画面３０Ａでの入力位置を示すカーソルであり、カーソル３２は、操作部１８（マウス等のポインティングデバイス）の操作により画面３０Ａ上を移動することができる。

【0067】

ユーザは、橋梁の所望の管理区分の管理情報を確認したい場合、３次元モデルで橋梁全体を空間把握しながら３次元モデルを立体的に動かして、所望の管理区分を表示部３０の画面３０Ａ上で探索する。そして、表示部３０の画面３０Ａにおいて、所望の管理区分内にカーソル３２を移動させ、マウスによるクリック操作や実行キーによる入力操作を行う。これにより、操作部１８は、表示部３０の画面３０Ａに表示された３次元モデル上の位置を指定することができ、指定した位置を示す位置情報を受け付けることができる。

【0068】

図４において、カーソル３２の位置は、橋梁１の床版６に含まれる特定の格間（管理区分）内に位置している。ここで、マウスによるクリック操作等が行われると、第１表示制御部として機能する表示制御部２６は、所望の管理区分の選択指示が行われたことを示す指標３４を、３次元モデル上のカーソル３２が示す位置に重畳表示させることが好ましい。

【0069】

図２に戻って、ステップＳ２４において、表示部３０に拡大表示された３次元モデル上の位置を示す位置情報を受け付けたと判別されると（「Yes」の場合）、ステップＳ２６に遷移し、ここで管理区分特定部として機能するＣＰＵ２０は、橋梁の管理区分を特定する。

【0070】

管理区分特定部は、まず、表示部３０の画面３０Ａ（に表示された３次元モデル）上のカーソル３２が示す位置の位置情報に基づいて３次元モデル上の３次元位置を特定する。表示部３０の画面３０Ａ上のカーソル３２が示す位置の位置情報は、画面３０Ａ上の座標情報として取得することができる。一方、表示部３０の画面３０Ａに表示されている３次元モデルは、ビュー操作により拡大、平行移動、及び回転移動している。

【0071】

したがって、拡大等のビュー操作が行われて表示部３０の画面３０Ａに表示されている３次元モデル上の位置情報（座標情報）と、ビュー操作による３次元モデルの拡大率、平行移動量、及び回転移動量の情報とにより、３次元モデル上の３次元位置を特定することができる。

【0072】

管理区分特定部は、３次元モデル上の特定した３次元位置に基づいて、その３次元位置を含む橋梁の管理区分を特定する。ここで、各管理区分は、管理区分毎の３次元情報を有するものとする。管理区分毎の３次元情報は、例えば、管理区分（部位、部材）上の３次元点群、あるいは管理区分の特徴点（例えば、格間の場合には格間の４隅の４つ特徴点）の３次元情報とすることができる。

【0073】

したがって、管理区分特定部は、３次元モデル上の特定した３次元位置に基づいて、その３次元位置と同一又は最も近接した３次元情報を有する管理区分を、その３次元位置を含む橋梁の管理区分として特定することができる。

【0074】

管理区分特定部により橋梁の管理区分が特定されると、第２表示制御部として機能する表示制御部２６は、特定された管理区分に対応する管理情報を記憶部１６から読み出し、読み出した管理情報を表示部３０に表示させる（ステップＳ２８、第２表示ステップ）。

【0075】

これにより、ビュー操作により立体的に動かした橋梁の３次元モデル上で、要点検箇所の位置を指示すると、指示した位置により特定された管理区分の管理情報を表示部３０に表示させることができ、所望の管理情報を容易に確認することができる。

【0076】

本例では、表示切替部として機能するＣＰＵ２０は、表示部３０に管理情報を表示させる場合には、表示制御部２６の機能を第１表示制御部から第２表示制御部に切り替える。表示切替部による３次元モデルから管理情報への表示の切り替えは、橋梁の管理区分が特定され、特定された管理区分に対応する管理情報の表示が可能になると、自動的に切り替えることができる。

【0077】

[管理情報]
次に、橋梁の管理区分の管理情報について説明する。

【0078】

以下、橋梁の管理区分の１つとして、橋梁１の床版６を構成する或る格間が特定された場合について説明する。

【0079】

格間の管理情報の第１例として、格間に対応するオルソ画像が考えられる。

【0080】

図５は、橋梁の格間に対応するオルソ画像の一例を示す図である。

【0081】

オルソ画像は、被写体（格間）の撮影画像を、格間の面に正射影された画像である。１つの格間のオルソ画像は、画像データベース１４に格納された撮影画像群から、その格間に対応する複数の撮影画像を抽出し、抽出した複数の撮影画像をパノラマ合成し、パノラマ合成した画像が、格間の面に正射影された画像になるように、パノラマ合成した画像を射影変換することにより作成することができる。

【0082】

複数の撮影画像のパノラマ合成は、互いに重複する撮影画像間の重複領域の複数の特徴点を抽出し、抽出した複数の特徴点をそれぞれ一致させる画像処理により行うことができる。また、パノラマ合成された画像の格間の面への正射影は、パノラマ合成された画像内の格間の４隅に対応する位置と、格間の４隅の３次元位置とを一致させる射影変換により行うことができる。

【0083】

ところで、本例の３次元モデルは、多角形のポリゴンに撮影画像をテクスチャーマッピングしたものであるため、３次元モデルを拡大表示させることで、ある程度、橋梁（格間）の表面の性状を確認することができる。しかし、小さな損傷（例えば、０．１ｍｍ幅のひび割れなど）を確認することはできない。３次元モデルのデータ量には限界があり、３次元モデルを拡大させても、オリジナルの撮影画像又はそれに相当する画像として視認することができないからである。

【0084】

これに対して、橋梁全体に対して小さい管理区分のオルソ画像を表示することで、管理区分の損傷等を確認することができる。

【0085】

格間の管理情報の第２例として、格間に対応する損傷図が考えられる。

【0086】

図６は、格間に対応する損傷図の一例を示す図である。

【0087】

図６に示す損傷図には、５本のひび割れＣ１～Ｃ５、コンクリートの剥離Ｈ１が図示されている。損傷図は、オルソ画像上で視認したひび割れ、剥離等の損傷を手動でトレースしたり、オルソ画像から自動で損傷を検出する画像処理を行い、必要に応じて手動で補正することで生成することができる。

【0088】

格間の管理情報の第３例として、格間に対応する損傷図が重畳されたオルソ画像が考えられる。

【0089】

図７は、格間に対応する損傷図が重畳されたオルソ画像の一例を示す図である。

【0090】

図７に示す損傷図が重畳されたオルソ画像は、図５に示したオルソ画像に図６に示した損傷図を重畳することで作成することができる。

【0091】

損傷図は、損傷箇所が赤色等の目立つ色が付されて作成されており、オルソ画像に損傷図を重畳することで、損傷箇所を容易に視認することができる。

【0092】

格間の管理情報の第４例として、格間に対応する損傷数量表が考えられる。

【0093】

図８は、格間に対応する損傷数量表の一例を示す図表である。

【0094】

図８に示す損傷数量表では、損傷ＩＤ（identification）、損傷種類、サイズ（幅）、サイズ（長さ）、サイズ（面積）の項目を有し、損傷毎に各項目に対応する情報が記載されている。

【0095】

尚、管理情報として損傷数量表を表示する場合には、損傷図も合せて表示することが好ましい。

【0096】

格間の管理情報の第５例として、格間に対応する補修図が考えられる。

【0097】

図９は、格間に対応する補修図の一例を示す図である。

【0098】

図９に示す補修図には、２本のひび割れ補修工Ａ１、Ａ２、断面補修工Ｄ１が図示されている。ひび割れ補修工Ａ１、Ａ２は、図６に示したひび割れＣ２、Ｃ５に対する補修工を示し、断面補修工Ｄ１は、図６に示したコンクリートの剥離Ｈ１に対する補修工を示している。

【0099】

格間の管理情報として、格間の補修図を表示することで格間の補修結果を確認することができる。

【0100】

格間の管理情報の第６例として、格間に対応する補修数量表が考えられる。

【0101】

図１０は、格間に対応する補修数量表の一例を示す図表である。

【0102】

図１０に示す補修数量表では、補修ＩＤ、補修工法種類、サイズ（幅）、サイズ（長さ）、サイズ（面積）の項目を有し、補修箇所毎に各項目に対応する情報が記載されている。

【0103】

ひび割れ補修工には、ひび割れに沿ってコンクリートをカットし、その部分に補修材を充填するひび割れ充填工、補修材を専用の治具を用いて所定の注入圧力で注入するひび割れ注入工などの工法がある。補修工法種類には、ひび割れ補修工としていずれの工法が適用されたかが記載されている。

【0104】

また、断面修復工には、型枠を設置して注入材を注入する型枠注入工法、断面修復材を塗りつける左官工法、断面修復材を圧縮空気などを用いて吹き付ける吹付工法などがあり、補修工法種類には、断面修復工としていずれの工法が適用されたかが記載されている。

【0105】

尚、管理情報として補修数量表を表示する場合には、補修図も合せて表示することが好ましい。

【0106】

図５から図１０に示した第１例から第６例の管理情報は、いずれか１つ又は２以上を組み合わせて表示部３０の画面３０Ａに表示することができ、また、いずれの管理情報を表示させるかをユーザが適宜選択できるようにしてもよい。更に、管理情報は、上記のものに限らず、例えば、「損傷の原因」、「損傷の評価」、「損傷が原因で起きる事象」（例えば、漏水、さび汁、遊離石灰、鉄筋露出等）を管理情報とすることができる。

【0107】

図２に戻って、管理情報が表示部３０に表示されると、続いてＣＰＵ２０は、表示部３０での表示を、管理情報から３次元モデルに切り替えるか否かを判別する（ステップＳ３０）。管理情報から３次元モデルへの切り替えの判別は、操作部１８でのユーザ操作に基づいて行うことができる。例えば、ユーザは、異なる管理区分の管理情報を確認したい場合に、操作部１８により管理情報から３次元モデルに切り替える操作を行うことができる。

【0108】

ステップＳ３０において、管理情報から３次元モデルの表示に切り替える場合（「Yes」の場合）、ＣＰＵ２０は、ステップＳ１０に遷移させる。

【0109】

これにより、橋梁の全景を示す３次元モデルを表示部３０に表示させることができる。表示切替部として機能するＣＰＵ２０は、表示部３０に３次元モデルを表示させる場合には、表示制御部２６の機能を第２表示制御部から第１表示制御部に切り替えることができる。

【0110】

尚、ＣＰＵ２０は、管理情報から３次元モデルの表示に切り替える場合（「Yes」の場合）、ステップＳ１２に遷移させてもよい。これにより、３次元モデルから管理情報に表示を切り替えたときの、直近の３次元モデルを表示させることができ、前回の管理区分に近い管理区分の管理情報を確認したい場合に好適である。

【0111】

一方、ステップＳ３０において、管理情報から３次元モデルへの表示に切り替えないと判別されると（「No」の場合）、ステップＳ３２に遷移する。

【0112】

ステップＳ３２において、ＣＰＵ２０は、操作部１８からの本情報表示の終了の指示入力の有無を判別し、終了の指示入力がない場合（「No」の場合）には、ステップＳ２８に戻り、引き続き管理情報を表示部３０に表示させる。一方、終了の指示入力がある場合（「Yes」の場合）には、本情報表示に係る処理を終了させる。

【0113】

本例では、表示部３０での３次元モデルの表示と管理情報の表示とをユーザ操作等に基づいて切り替えるようにしたが、３次元モデルと管理情報とを表示部３０に同時に表示するようにしてもよい。

【0114】

図１１は、３次元モデルと管理情報とが同時に表示された表示部３０の画面３０Ａの一例を示す図である。

【0115】

図１１に示す例では、表示部３０の画面３０Ａの左側の第１表示領域３０Ｌに３次元モデルが表示され、右側の第２表示領域３０Ｒに管理情報として損傷図が重畳されたオルソ画像が表示されている。

【0116】

ユーザは、３次元モデルの拡大を含むビュー操作により第１表示領域３０Ｌに表示される橋梁の３次元モデルを立体的に動かすことができる。また、第１表示領域３０Ｌに拡大表示された３次元モデル上の位置をマウスカーソルで指定することで、指定位置を含む橋梁の管理区分に対応するオルソ画像を第２表示領域３０Ｒに表示させることができる。

【0117】

ユーザは、表示部３０の画面３０Ａに並列に表示された３次元モデルとオルソ画像とを見比べることができ、所望の管理情報を容易に確認することができる。

【0118】

[その他]
記憶部１６に記憶される構造物の３次元モデルと構造物の管理区分毎の管理情報とは、情報表示装置１０により生成されたものに限らず、外部装置により生成されたものでもよい。この場合、外部装置により生成された３次元モデルと構造物の管理区分毎の管理情報とが記憶部１６に記憶されることになる。

【0119】

また、３次元モデルは、構造物を撮影した撮影画像群を使用し、ＳｆＭ手法により生成されたものに限らず、種々の方法により生成することができる。

【0120】

例えば、二眼カメラにより撮影された２枚の視差画像から構造物の３次元情報を取得し、取得した３次元情報を使用して構造物の３次元モデルを生成することができる。また、タイム・オブ・フライト式カメラにより構造物の撮影画像を取得するとともに、撮影画像上の各画素に対応する構造物の３次元座標を取得して３次元モデルを生成することができる。更に、カメラとしての機能を備えたレーザースキャナを含み、レーザースキャナが取得した構造物の３次元情報に基づいて構造物の３次元モデルを生成することができる。

【0121】

本発明に係る情報表示装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。情報表示装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0122】

また、本発明は、構造物の３次元モデルと構造物の管理区分毎の管理情報とを記憶する記憶部にアクセス可能なコンピュータにインストールされることにより、コンピュータを本発明に係る情報表示装置として機能させる情報表示プログラム、及びこの情報表示プログラムが記録された記憶媒体を含む。

【0123】

更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0124】

１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
７ 橋脚
１０ 情報表示装置
１２ 画像取得部
１４ 画像データベース
１６ 記憶部
１８ 操作部
２０ ＣＰＵ
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示制御部
３０ 表示部
３０Ａ 画面
３０Ｌ 第１表示領域
３０Ｒ 第２表示領域
３２ カーソル
３４ 指標
Ｓ１０～Ｓ３２ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】