特許 7597310 画像表示装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】画像表示装置、方法及びプログラム

(51)【国際特許分類】

   G06F 16/53 20190101AFI20241203BHJP

   G06T 19/00 20110101ALI20241203BHJP

【ＦＩ】

G06F16/53

G06T19/00 600

【請求項の数】 24

(21)【出願番号】P 2021534579

(86)(22)【出願日】2020-06-03

(86)【国際出願番号】 JP2020021907

(87)【国際公開番号】W WO2021014775

(87)【国際公開日】2021-01-28

【審査請求日】2022-01-17

【審判番号】

【審判請求日】2023-12-20

(31)【優先権主張番号】P 2019133949

(32)【優先日】2019-07-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】金子 康彦

【合議体】

【審判長】須田 勝巳

【審判官】山崎 慎一

【審判官】脇岡 剛

(56)【参考文献】

【文献】特開２００６－３０９７２２（ＪＰ，Ａ）

【文献】特開２０１７－１６８０７７（ＪＰ，Ａ）

【文献】特開２００６－３３８０６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F16/53

G06T19/00

(57)【特許請求の範囲】

【請求項1】

点検対象の構造物である被写体の３次元モデルと前記被写体に対して撮影位置及び撮影方向を変更して前記被写体を撮影した撮影画像群とを記憶する記憶部と、
前記記憶部に記憶された前記３次元モデルを表示部に表示させる場合に、前記表示部に表示させる前記３次元モデルのビュー操作を受け付ける第１操作部と、
前記記憶部に記憶された前記３次元モデルを読み出して前記表示部に表示させ、前記第１操作部が受け付けたビュー操作に基づいて前記３次元モデルを表示させる第１表示制御部と、
ユーザ操作に応じて前記表示部に表示された前記３次元モデル上の前記表示部の画面上の位置が指定されると、前記指定された位置を示す位置情報を受け付ける第２操作部と、
前記受け付けた位置情報に基づいて前記３次元モデル上の３次元位置を特定し、前記記憶部に記憶された前記撮影画像群から前記特定した３次元位置に対応する画素を含む複数の撮影画像を検索する撮影画像検索部と、
前記検索された複数の撮影画像から最適な撮影画像を決定し、又は前記検索された複数の撮影画像の優先順位を決定する撮影画像決定部と、
前記撮影画像決定部により決定された前記最適な撮影画像を前記表示部に表示させ、又は前記決定された優先順位にしたがって前記複数の撮影画像の一部又は全部を前記表示部に表示させる第２表示制御部と、
を備えた画像表示装置。

【請求項2】

前記撮影画像決定部は、前記被写体に対する撮影画像の正対度、及び前記特定された３次元位置に対応する撮影画像上の位置と当該撮影画像の中心位置とのずれ量のうちの１以上の条件に基づいて、前記最適な撮影画像を決定し、又は前記検索された複数の撮影画像の優先順位を決定する請求項１に記載の画像表示装置。

【請求項3】

前記ビュー操作は、前記表示部に表示させる前記３次元モデルを拡大、縮小、平行移動、又は回転移動させる操作であり、
前記第１表示制御部は、前記ビュー操作に基づいて前記表示部に表示させる前記３次元モデルを拡大表示、縮小表示、平行移動、又は回転移動させる請求項１又は２に記載の画像表示装置。

【請求項4】

前記３次元モデルは、前記被写体の表面上の多数の点の３次元情報からなる３次元点群で表したもの、前記３次元点群に基づいて多角形のポリゴンの集合体で前記被写体の表面を表したもの、又は前記多角形のポリゴンに前記被写体を撮影した撮影画像をテクスチャーマッピングしたものである請求項１から３のいずれか１項に記載の画像表示装置。

【請求項5】

前記第１表示制御部は、前記表示部の第１表示領域に前記３次元モデルを表示させ、
前記第２表示制御部は、前記表示部の第２表示領域に前記撮影画像を表示させる請求項１から４のいずれか１項に記載の画像表示装置。

【請求項6】

前記表示部における前記第１表示制御部による前記３次元モデルの表示と、前記第２表示制御部による前記撮影画像の表示とを切り替える表示切替部を備えた請求項１から４のいずれか１項に記載の画像表示装置。

【請求項7】

前記撮影画像群を示す画像リストを表示部に表示させる第３表示制御部と、
ユーザ操作により前記画像リストから任意の撮影画像の選択指示を受け付ける第３操作部と、
前記選択指示された撮影画像に対応する前記３次元モデル上の位置情報を取得する位置情報取得部と、
前記記憶部に記憶された前記３次元モデルを読み出して前記表示部に表示させる第４表示制御部であって、前記位置情報取得部により取得された前記３次元モデル上の位置情報に基づいて、前記表示部に表示させた３次元モデル上に前記選択指示された撮影画像の位置を示す指標を重畳表示させる第４表示制御部と、
を備えた請求項１から６のいずれか１項に記載の画像表示装置。

【請求項8】

前記撮影画像群から抽出する撮影画像の絞り込み及び／又は前記撮影画像群の並べ替えを示す条件を設定する条件設定部と、
前記条件設定部により設定された条件に基づいて前記撮影画像群から絞り込んだ撮影画像を示す前記画像リスト、及び／又は前記撮影画像群を並べ替えた前記画像リストを作成する画像リスト作成部と、を備え、
前記第３表示制御部は、前記表示部に表示された前記画像リストを、前記画像リスト作成部により作成された前記画像リストにて更新する請求項７に記載の画像表示装置。

【請求項9】

前記画像リストに表示される項目は、前記撮影画像群の各撮影画像の縮小画像、各撮影画像を特定する識別情報、前記被写体に対する撮影画像の正対度、前記被写体に対する撮影画像の距離、撮影画像の鮮明度、前記被写体の点検記録、損傷検出結果又は補修記録に紐付いているか否かを示す情報、及び撮影日時のうちの１以上を含む請求項７又は８に記載の画像表示装置。

【請求項10】

前記第４表示制御部は、前記指標が重畳表示された前記３次元モデルを前記表示部の第１表示領域に表示させ、前記選択指示された前記撮影画像を前記記憶部から読み出して前記表示部の第２表示領域に表示させる請求項７から９のいずれか１項に記載の画像表示装置。

【請求項11】

前記第４表示制御部は、前記取得された前記３次元モデル上の位置情報に基づいて前記表示部に表示させる前記３次元モデルを拡大、平行移動又は回転移動させ、前記３次元モデルに重畳表示される前記指標を見やすくさせる請求項７から１０のいずれか１項に記載の画像表示装置。

【請求項12】

点検対象の構造物である被写体の３次元モデルと前記被写体に対して撮影位置及び撮影方向を変更して前記被写体を撮影した撮影画像群とを記憶する記憶部を準備するステップと、
前記記憶部に記憶された前記３次元モデルを表示部に表示させる場合に、前記表示部に表示させる前記３次元モデルのビュー操作を第１操作部が受け付けるステップと、
第１表示制御部が、前記記憶部に記憶された前記３次元モデルを読み出して前記表示部に表示させ、前記第１操作部が受け付けたビュー操作に基づいて前記３次元モデルを表示させる第１表示ステップと、
第２操作部が、ユーザ操作に応じて前記表示部に表示された前記３次元モデル上の前記表示部の画面上の位置が指定されると、前記指定された位置を示す位置情報を受け付けるステップと、
撮影画像検索部が、前記受け付けた位置情報に基づいて前記３次元モデル上の３次元位置を特定し、前記記憶部に記憶された前記撮影画像群から前記特定した３次元位置に対応する画素を含む複数の撮影画像を検索するステップと、
撮影画像決定部が、前記検索された複数の撮影画像から最適な撮影画像を決定し、又は前記検索された複数の撮影画像の優先順位を決定するステップと、
第２表示制御部が、前記決定された前記最適な撮影画像を前記表示部に表示させ、又は前記決定された優先順位にしたがって前記複数の撮影画像の一部又は全部を表示させる第２表示ステップと、
を含む画像表示方法。

【請求項13】

前記撮影画像を決定するステップは、前記被写体に対する撮影画像の正対度、及び前記特定された３次元位置に対応する撮影画像上の位置と当該撮影画像の中心位置とのずれ量のうちの１以上の条件に基づいて、前記最適な撮影画像を決定し、又は前記検索された複数の撮影画像の優先順位を決定する請求項１２に記載の画像表示方法。

【請求項14】

前記ビュー操作は、前記表示部に表示させる前記３次元モデルを拡大、縮小、平行移動、又は回転移動させる操作であり、
前記第１表示ステップは、前記ビュー操作に基づいて前記表示部に表示させる前記３次元モデルを拡大表示、縮小表示、平行移動、又は回転移動させる請求項１２又は１３に記載の画像表示方法。

【請求項15】

前記３次元モデルは、前記被写体の表面上の多数の点の３次元情報からなる３次元点群で表したもの、前記３次元点群に基づいて多角形のポリゴンの集合体で前記被写体の表面を表したもの、又は前記多角形のポリゴンに前記被写体を撮影した撮影画像をテクスチャーマッピングしたものである請求項１２から１４のいずれか１項に記載の画像表示方法。

【請求項16】

前記第１表示ステップは、前記表示部の第１表示領域に前記３次元モデルを表示させ、
前記第２表示ステップは、前記表示部の第２表示領域に前記撮影画像を表示させる請求項１２から１５のいずれか１項に記載の画像表示方法。

【請求項17】

表示切替部が、前記表示部における前記第１表示ステップによる前記３次元モデルの表示と、前記第２表示ステップによる前記撮影画像の表示とを切り替える請求項１２から１５のいずれか１項に記載の画像表示方法。

【請求項18】

第３表示制御部が、前記撮影画像群を示す画像リストを前記表示部に表示させる第３表示ステップと、
第３操作部が、ユーザ操作により前記画像リストから任意の撮影画像の選択指示を受け付けるステップと、
位置情報取得部が、前記選択指示された撮影画像に対応する前記３次元モデル上の位置情報を取得するステップと、
第４表示制御部が、前記記憶部に記憶された前記３次元モデルを読み出して前記表示部に表示させる第４表示ステップであって、前記取得された前記３次元モデル上の位置情報に基づいて、前記表示部に表示させた３次元モデル上に前記選択指示された撮影画像の位置を示す指標を重畳表示させる第４表示ステップと、
を含む請求項１２から１７のいずれか１項に記載の画像表示方法。

【請求項19】

前記撮影画像群から抽出する撮影画像の絞り込み及び／又は前記撮影画像群の並べ替えを示す条件を条件設定部により設定するステップと、
画像リスト作成部が、前記設定された条件に基づいて前記撮影画像群から絞り込んだ撮影画像を示す前記画像リスト、及び／又は前記撮影画像群を並べ替えた前記画像リストを作成するステップと、を含み、
前記第３表示ステップは、前記表示部に表示された前記画像リストを、前記作成された前記画像リストにて更新する請求項１８に記載の画像表示方法。

【請求項20】

前記画像リストに表示される項目は、前記撮影画像群の各撮影画像の縮小画像、各撮影画像を特定する識別情報、前記被写体に対する撮影画像の正対度、前記被写体に対する撮影画像の距離、撮影画像の鮮明度、前記被写体の点検記録、損傷検出結果又は補修記録に紐付いているか否かを示す情報、及び撮影日時のうちの１以上を含む請求項１８又は１９に記載の画像表示方法。

【請求項21】

前記第４表示ステップは、前記指標が重畳表示された前記３次元モデルを前記表示部の第１表示領域に表示させ、前記選択指示された前記撮影画像を前記記憶部から読み出して前記表示部の第２表示領域に表示させる請求項１８から２０のいずれか１項に記載の画像表示方法。

【請求項22】

前記第４表示ステップは、前記取得された前記３次元モデル上の位置情報に基づいて前記表示部に表示させる前記３次元モデルを拡大、平行移動又は回転移動させ、前記３次元モデルに重畳表示される前記指標を見やすくさせる請求項１８から２１のいずれか１項に記載の画像表示方法。

【請求項23】

点検対象の構造物である被写体の３次元モデルと前記被写体に対して撮影位置及び撮影方向を変更して前記被写体を撮影した撮影画像群とを記憶する記憶部にアクセス可能なコンピュータにインストールされる画像表示プログラムであって、
前記記憶部に記憶された前記３次元モデルを表示部に表示させる場合に、前記３次元モデルのビュー操作を受け付ける機能と、
前記記憶部に記憶された前記３次元モデルを読み出して前記表示部に表示させ、前記ビュー操作に基づいて前記３次元モデルを表示させる機能と、
ユーザ操作に応じて前記表示部に表示された前記３次元モデル上の前記表示部の画面上の位置が指定されると、前記指定された位置を示す位置情報を受け付ける機能と、
前記受け付けた位置情報に基づいて前記３次元モデル上の３次元位置を特定し、前記記憶部に記憶された前記撮影画像群から前記特定した３次元位置に対応する画素を含む複数の撮影画像を検索する機能と、
前記検索された複数の撮影画像から最適な撮影画像を決定し、又は前記検索された複数の撮影画像の優先順位を決定する機能と、
前記決定された前記最適な撮影画像を前記表示部に表示させ、又は前記決定された優先順位にしたがって前記複数の撮影画像の一部又は全部を前記表示部に表示させる機能と、
を前記コンピュータに実現させる画像表示プログラム。

【請求項24】

前記撮影画像群を示す画像リストを前記表示部に表示させる機能と、
ユーザ操作により前記画像リストから選択された撮影画像の選択指示を受ける機能と、
前記選択指示された撮影画像に対応する前記３次元モデル上の位置情報を取得する機能と、
前記記憶部に記憶された前記３次元モデルを読み出して前記表示部に表示させる機能であって、前記取得された前記３次元モデル上の位置情報に基づいて、前記表示部に表示させた３次元モデル上に前記選択指示された撮影画像の位置を示す指標を重畳表示させる機能と、
を前記コンピュータに実現させる請求項２３に記載の画像表示プログラム。
実現させる請求項２３に記載の画像表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像表示装置、方法及びプログラムに係り、特に被写体に対して撮影位置及び撮影方向を変更して撮影した撮影画像群から所望の撮影画像を取得する技術に関する。

【背景技術】

【0002】

従来、構造物を撮影した大量の画像の中から構造物の構造的なまとまり毎に、画像をまとめて取得することができる画像管理装置が提案されている（特許文献１）。

【0003】

特許文献１に記載の画像管理装置は、構造物に係る３次元点群、又は３次元点群を基に生成したメッシュからなる３次元モデルを表示部に表示し、表示された３次元点群又は３次元モデルを使用して、ユーザにより構造物の３次元座標が指定されると、指定された３次元座標に基づいて３次元点群の中から、構造物における構造的なまとまりであるセグメントに対応する３次元点を抽出する。ここで、セグメントは、構造物の点検対象部位に相当し、例えば、橋梁を対象にした点検においては、主桁や床版等である。

【0004】

この画像管理装置は、構造物の画像を記憶する画像記憶部から、抽出したセグメントに対応する３次元点に関連付けられた画像を取得し、取得した画像を表示部に表示する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１３０１４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の画像管理装置によれば、ユーザにより指定された構造物の３次元座標に基づいて、構造物における構造的なまとまりであるセグメント（構造物が橋梁の場合には主桁や床版等の点検対象部位）を特定し、そのセグメントに関連付けられた画像を取得してユーザに提示する。これにより、ユーザは、点検対象部位が撮影された画像をまとめて閲覧することができるものの、画像管理装置により提示される画像には、ユーザが指定した位置（構造物の３次元座標）が撮影されていない画像が含まれる。

【0007】

特許文献１に記載の画像管理装置は、ユーザが構造物の点検対象部位を撮影した画像をまとめて閲覧したい場合、構造物が撮影された大量の画像の中から、目的の画像（点検対象部位の画像）を取得し、ユーザに提示するものだからである。

【0008】

即ち、特許文献１に記載の画像管理装置は、ユーザが指定した位置が撮影されている画像を取得して提示するものではない。また、ユーザは、表示部に表示された３次元点群等を使用して、構造物の３次元座標を指定するものの、この３次元座標の指定は、点検対象部位の指定を意味し、３次元座標に対応する構造物の３次元点の画素を含む画像を指定するものではない。

【0009】

本発明はこのような事情に鑑みてなされたもので、構造物等の被写体の所望の３次元点の画素を含む複数の撮影画像のうちの最適な撮影画像、又は複数の撮影画像の一部又は全部を優先順位にしたがって表示させることができる画像表示装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために本発明の一の態様に係る画像表示装置は、被写体の３次元モデルと被写体に対して撮影位置及び撮影方向を変更して被写体を撮影した撮影画像群とを記憶する記憶部と、記憶部に記憶された３次元モデルを表示部に表示させる場合に、表示部に表示させる３次元モデルのビュー操作を受け付ける第１操作部と、記憶部に記憶された３次元モデルを読み出して表示部に表示させ、第１操作部が受け付けたビュー操作に基づいて３次元モデルを表示させる第１表示制御部と、ユーザ操作に応じて表示部に表示された３次元モデル上の位置を示す位置情報を受け付ける第２操作部と、受け付けた位置情報に基づいて３次元モデル上の３次元位置を特定し、記憶部に記憶された撮影画像群から特定した３次元位置に対応する画素を含む複数の撮影画像を検索する撮影画像検索部と、検索された複数の撮影画像から最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定する撮影画像決定部と、撮影画像決定部により決定された最適な撮影画像を表示部に表示させ、又は決定された優先順位にしたがって複数の撮影画像の一部又は全部を表示部に表示させる第２表示制御部と、を備える。

【0011】

本発明の一の態様によれば、被写体の３次元モデルを表示部に表示させ、３次元モデルを拡大等のビュー操作を行うことで、被写体を俯瞰しながら被写体の所望の位置を容易に指定することができる。

【0012】

撮影画像検索部は、被写体の所望の位置が指定されると、その位置に対応する３次元モデル上の３次元位置を特定し、被写体を撮影した撮影画像群の中から、特定した３次元位置に対応する画素を含む複数の撮影画像を検索する。尚、被写体を撮影した撮影画像群の各撮影画像は、互いに重なる重複領域があるため、撮影画像群の中には被写体の或る３次元位置に対応する画素を含む複数の撮影画像が存在する。

【0013】

撮影画像決定部は、検索された複数の撮影画像の中から最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定し、第２表示制御部は、決定された最適な撮影画像を表示部に表示させ、又は決定された優先順位にしたがって複数の撮影画像の一部又は全部を表示部に表示させる。

【0014】

これにより、被写体の所望の３次元点の画素を含む複数の撮影画像の中の最適な撮影画像、又は複数の撮影画像の一部又は全部を優先順位にしたがって表示させることができる。

【0015】

本発明の他の態様に係る画像表示装置において、撮影画像決定部は、被写体に対する撮影画像の正対度、被写体に対する撮影画像の距離、特定された３次元位置に対応する撮影画像上の位置と撮影画像の中心位置とのずれ量、及び撮影画像の鮮明度のうちの１以上の条件に基づいて、最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定することが好ましい。

【0016】

本発明の更に他の態様に係る画像表示装置において、ビュー操作は、表示部に表示させる３次元モデルを拡大、縮小、平行移動、又は回転移動させる操作であり、第１表示制御部は、ビュー操作に基づいて表示部に表示させる３次元モデルを拡大表示、縮小表示、平行移動、又は回転移動させることが好ましい。

【0017】

本発明の更に他の態様に係る画像表示装置において、３次元モデルは、被写体の表面上の多数の点の３次元情報からなる３次元点群で表したもの、３次元点群に基づいて多角形のポリゴンの集合体で被写体の表面を表したもの、又は多角形のポリゴンに被写体を撮影した撮影画像をテクスチャーマッピングしたものである。

【0018】

本発明の更に他の態様に係る画像表示装置において、第１表示制御部は、表示部の第１表示領域に３次元モデルを表示させ、第２表示制御部は、表示部の第２表示領域に撮影画像を表示させることが好ましい。

【0019】

本発明の更に他の態様に係る画像表示装置において、表示部における第１表示制御部による３次元モデルの表示と、第２表示制御部による撮影画像の表示とを切り替える表示切替部を備えることが好ましい。

【0020】

本発明の更に他の態様に係る画像表示装置において、撮影画像群を示す画像リストを表示部に表示させる第３表示制御部と、ユーザ操作により画像リストから任意の撮影画像の選択指示を受け付ける第３操作部と、選択指示された撮影画像に対応する３次元モデル上の位置情報を取得する位置情報取得部と、記憶部に記憶された３次元モデルを読み出して表示部に表示させる第２表示制御部であって、位置情報取得部により取得された３次元モデル上の位置情報に基づいて、表示部に表示させた３次元モデル上に選択指示された撮影画像の位置を示す指標を重畳表示させる第４表示制御部と、を備えることが好ましい。

【0021】

本発明の更に他の態様に係る画像表示装置において、撮影画像群から抽出する撮影画像の絞り込み及び／又は撮影画像群の並べ替えを示す条件を設定する条件設定部と、条件設定部により設定された条件に基づいて撮影画像群から絞り込んだ撮影画像を示す画像リスト、及び／又は撮影画像群を並べ替えた画像リストを作成する画像リスト作成部と、を備え、第３表示制御部は、表示部に表示された画像リストを、画像リスト作成部により作成された画像リストにて更新することが好ましい。

【0022】

本発明の更に他の態様に係る画像表示装置において、画像リストに表示される項目は、撮影画像群の各撮影画像の縮小画像、各撮影画像を特定する識別情報、被写体に対する撮影画像の正対度、被写体に対する撮影画像の距離、撮影画像の鮮明度、被写体の点検記録、損傷検出結果又は補修記録に紐付いているか否かを示す情報、及び撮影日時のうちの１以上を含むことが好ましい。

【0023】

本発明の更に他の態様に係る画像表示装置において、第４表示制御部は、指標が重畳表示された３次元モデルを表示部の第１表示領域に表示させ、選択指示された撮影画像を記憶部から読み出して表示部の第２表示領域に表示させることが好ましい。

【0024】

本発明の更に他の態様に係る画像表示装置において、第４表示制御部は、取得された３次元モデル上の位置情報に基づいて表示部に表示させる３次元モデルを拡大、平行移動又は回転移動させ、３次元モデルに重畳表示される指標を見やすくさせることが好ましい。

【0025】

本発明の更に他の態様に係る画像表示方法は、被写体の３次元モデルと被写体に対して撮影位置及び撮影方向を変更して被写体を撮影した撮影画像群とを記憶する記憶部を準備するステップと、記憶部に記憶された３次元モデルを表示部に表示させる場合に、表示部に表示させる３次元モデルのビュー操作を第１操作部が受け付けるステップと、第１表示制御部が、記憶部に記憶された３次元モデルを読み出して表示部に表示させ、第１操作部が受け付けたビュー操作に基づいて３次元モデルを表示させる第１表示ステップと、第２操作部が、ユーザ操作に応じて表示部に表示された３次元モデル上の位置を示す位置情報を受け付けるステップと、撮影画像検索部が、受け付けた位置情報に基づいて３次元モデル上の３次元位置を特定し、記憶部に記憶された撮影画像群から特定した３次元位置に対応する画素を含む複数の撮影画像を検索するステップと、撮影画像決定部が、検索された複数の撮影画像から最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定するステップと、第２表示制御部が、決定された最適な撮影画像を表示部に表示させ、又は決定された優先順位にしたがって複数の撮影画像の一部又は全部を表示させる第２表示ステップと、を含む。

【0026】

本発明の更に他の態様に係る画像表示方法において、撮影画像を決定するステップは、被写体に対する撮影画像の正対度、被写体に対する撮影画像の距離、特定された３次元位置に対応する撮影画像上の位置と撮影画像の中心位置とのずれ量、及び撮影画像の鮮明度のうちの１以上の条件に基づいて、最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定することが好ましい。

【0027】

本発明の更に他の態様に係る画像表示方法において、ビュー操作は、表示部に表示させる３次元モデルを拡大、縮小、平行移動、又は回転移動させる操作であり、第１表示ステップは、ビュー操作に基づいて表示部に表示させる３次元モデルを拡大表示、縮小表示、平行移動、又は回転移動させることが好ましい。

【0028】

本発明の更に他の態様に係る画像表示方法において、３次元モデルは、被写体の表面上の多数の点の３次元情報からなる３次元点群で表したもの、３次元点群に基づいて多角形のポリゴンの集合体で被写体の表面を表したもの、又は多角形のポリゴンに被写体を撮影した撮影画像をテクスチャーマッピングしたものであることが好ましい。

【0029】

本発明の更に他の態様に係る画像表示方法において、第１表示ステップは、表示部の第１表示領域に３次元モデルを表示させ、第２表示ステップは、表示部の第２表示領域に撮影画像を表示させることが好ましい。

【0030】

本発明の更に他の態様に係る画像表示方法において、表示切替部が、表示部における第１表示ステップによる３次元モデルの表示と、第２表示ステップによる撮影画像の表示とを切り替えることが好ましい。

【0031】

本発明の更に他の態様に係るにおいて、第３表示制御部が、撮影画像群を示す画像リストを表示部に表示させる第３表示ステップと、第３操作部が、ユーザ操作により画像リストから任意の撮影画像の選択指示を受け付けるステップと、位置情報取得部が、選択指示された撮影画像に対応する３次元モデル上の位置情報を取得するステップと、第４表示制御部が、記憶部に記憶された３次元モデルを読み出して表示部に表示させる第４表示ステップであって、取得された３次元モデル上の位置情報に基づいて、表示部に表示させた３次元モデル上に選択指示された撮影画像の位置を示す指標を重畳表示させる第４表示ステップと、を含むことが好ましい。

【0032】

本発明の更に他の態様に係るに画像表示方法において、撮影画像群から抽出する撮影画像の絞り込み及び／又は撮影画像群の並べ替えを示す条件を条件設定部により設定するステップと、画像リスト作成部が、設定された条件に基づいて撮影画像群から絞り込んだ撮影画像を示す画像リスト、及び／又は撮影画像群を並べ替えた画像リストを作成するステップと、を含み、第３表示ステップは、表示部に表示された画像リストを、作成された画像リストにて更新することが好ましい。

【0033】

本発明の更に他の態様に係る画像表示方法において、画像リストに表示される項目は、撮影画像群の各撮影画像の縮小画像、各撮影画像を特定する識別情報、被写体に対する撮影画像の正対度、被写体に対する撮影画像の距離、撮影画像の鮮明度、被写体の点検記録、損傷検出結果又は補修記録に紐付いているか否かを示す情報、及び撮影日時のうちの１以上を含むことが好ましい。

【0034】

本発明の更に他の態様に係る画像表示方法において、第４表示ステップは、指標が重畳表示された３次元モデルを表示部の第１表示領域に表示させ、選択指示された撮影画像を記憶部から読み出して表示部の第２表示領域に表示させることが好ましい。

【0035】

本発明の更に他の態様に係る画像表示方法において、第４表示ステップは、取得された３次元モデル上の位置情報に基づいて表示部に表示させる３次元モデルを拡大、平行移動又は回転移動させ、３次元モデルに重畳表示される指標を見やすくさせることが好ましい。

【0036】

更に他の態様に係る発明は、被写体の３次元モデルと被写体に対して撮影位置及び撮影方向を変更して被写体を撮影した撮影画像群とを記憶する記憶部にアクセス可能なコンピュータにインストールされる画像表示プログラムであって、記憶部に記憶された３次元モデルを表示部に表示させる場合に、３次元モデルのビュー操作を受け付ける機能と、記憶部に記憶された３次元モデルを読み出して表示部に表示させ、ビュー操作に基づいて３次元モデルを表示させる機能と、ユーザ操作に応じて表示部に表示された３次元モデル上の位置を示す位置情報を受け付ける機能と、受け付けた位置情報に基づいて３次元モデル上の３次元位置を特定し、記憶部に記憶された撮影画像群から特定した３次元位置に対応する画素を含む複数の撮影画像を検索する機能と、検索された複数の撮影画像から最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定する機能と、決定された最適な撮影画像を表示部に表示させ、又は決定された優先順位にしたがって複数の撮影画像の一部又は全部を表示部に表示させる機能と、をコンピュータに実現させる。

【0037】

本発明の更に他の態様に係る画像表示プログラムにおいて、撮影画像群を示す画像リストを表示部に表示させる機能と、ユーザ操作により画像リストから選択された撮影画像の選択指示を受ける機能と、選択指示された撮影画像に対応する３次元モデル上の位置情報を取得する機能と、記憶部に記憶された３次元モデルを読み出して表示部に表示させる機能であって、取得された３次元モデル上の位置情報に基づいて、表示部に表示させた３次元モデル上に選択指示された撮影画像の位置を示す指標を重畳表示させる機能と、をコンピュータに実現させることが好ましい。
本発明の更に他の態様に係る画像表示装置は、被写体の３次元モデルと被写体に対して撮影位置及び撮影方向を変更して被写体を撮影した撮影画像群とを記憶する記憶部と、記憶部に記憶された３次元モデルを表示部に表示させる場合に、３次元モデルのビュー操作を受け付け、記憶部に記憶された３次元モデルを読み出して表示部に表示させ、ビュー操作に基づいて３次元モデルを表示させ、ユーザ操作に応じて表示部に表示された３次元モデル上の位置を示す位置情報を受け付け、受け付けた位置情報に基づいて３次元モデル上の３次元位置を特定し、記憶部に記憶された撮影画像群から特定した３次元位置に対応する画素を含む複数の撮影画像を検索し、検索された複数の撮影画像から最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定し、決定された最適な撮影画像を表示部に表示させ、又は決定された優先順位にしたがって複数の撮影画像の一部又は全部を表示部に表示させるプロセッサと、を備える。

【発明の効果】

【0038】

本発明によれば、構造物等の被写体を撮影した撮影画像群から、ユーザが指定した位置を撮影した複数の撮影画像を検索し、複数の撮影画像のうちの最適な撮影画像、又は複数の撮影画像の一部又は全部を優先順位にしたがって表示させることができる。

【図面の簡単な説明】

【0039】

【図1】図１は、本発明に係る画像表示装置のハードウエア構成の一例を示すブロック図である。

【図2】図２は、記憶部に記憶される撮影画像群、３次元モデル及び画像リストを示す概念図である。

【図3】図３は、撮影画像群に基づいて３次元モデル及び画像リストが生成されることを示す概念図である。

【図4】図４は、ＣＰＵの各機能を示す機能ブロック図である。

【図5】図５は、被写体である橋梁の全景を示す３次元モデルが表示された表示部の画面の一例を示す図である。

【図6】図６は、拡大等のビュー操作により立体的に動かされた橋梁の３次元モデルを表示した、表示部の画面の一例を示す図である。

【図7】図７は、橋梁の管理区分の１つである床版の格間に対応するオルソ画像の一例を示す図である。

【図8】図８は、格間に対応する損傷図の一例を示す図である。

【図9】図９は、格間に対応する損傷図が重畳されたオルソ画像の一例を示す図である。

【図10】図１０は、格間に対応する損傷数量表の一例を示す図表である。

【図11】図１１は、画像リストの一例を示す図表である。

【図12】図１２は、本発明に係る画像表示方法の第１実施形態を示すフローチャートである。

【図13】図１３は、複数の撮影画像の中から決定された最適な撮影画像が表示された表示部の画面の一例を示す図である。

【図14】図１４は、複数の撮影画像の中から決定された最適な撮影画像が表示された表示部の画面の他の例を示す図である。

【図15】図１５は、複数の撮影画像の中から決定された最適な撮影画像等が表示された表示部の画面の更に他の例を示す図である。

【図16】図１６は、本発明に係る画像表示方法の第２実施形態を示すフローチャートである。

【図17】図１７は、図１６に示したステップＳ１００の処理の第１例を示すサブルーチンを示す図である。

【図18】図１８は、図１６に示したステップＳ１００の処理の第２例を示すサブルーチンを示す図である。

【図19】図１９は、図１６に示したステップＳ１００の処理の第３例を示すサブルーチンを示す図である。

【図20】図２０は、選択指示された撮影画像とその撮影画像の撮影範囲を含む３次元モデルとが表示された表示部の画面の一例を示す図である。

【発明を実施するための形態】

【0040】

以下、添付図面に従って本発明に係る画像表示装置、方法及びプログラムの好ましい実施形態について説明する。

【0041】

［画像表示装置のハードウエア構成］
図１は、本発明に係る画像表示装置のハードウエア構成の一例を示すブロック図である。

【0042】

図１に示す画像表示装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例の画像表示装置１０は、主として画像取得部１２と、記憶部１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示制御部２６とから構成されている。

【0043】

画像取得部１２は、入出力インターフェースに相当し、被写体を撮影した撮影画像等を取得する。本例の被写体は、橋梁、トンネル等の点検対象の構造物である。

【0044】

画像取得部１２が取得する画像は、例えば、カメラを搭載したドローン（無人飛行体）により被写体（構造物）を撮影した多数の画像（撮影画像群）である。撮影画像群は、構造物の全体を網羅するものであり、かつ隣接する各撮影画像は、８割程度の範囲で画像が重複していることが好ましい。したがって、構造物の大きさにもよるが、撮影画像群は、１０００枚以上になる。

【0045】

画像取得部１２により取得した撮影画像群は、記憶部１６に記憶される。

【0046】

記憶部１６は、ハードディスク装置、フラッシュメモリ等から構成される記憶部であり、図２に示すように記憶部１６には、撮影画像群１６Ａ、構造物の３次元モデル１６Ｂ及び画像リスト１６Ｃが記憶される。

【0047】

３次元モデル１６Ｂ及び画像リスト１６Ｃは、図３の概念図で示すように撮影画像群１６Ａに基づいて生成することができる。尚、３次元モデル１６Ｂ、及び画像リスト１６Ｃの詳細については後述する。

【0048】

また、記憶部１６には、オペレーティングシステム、本発明に係る画像表示プログラム、及び各種のパラメータ等が記憶される。

【0049】

操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等のＵＩ（User Interface）を含む。かかるキーボード及びマウス等は、本例では、コンピュータの通常の操作入力を受け付ける操作部として機能する他に、表示部３０の画面に表示させる３次元モデルの拡大等を含むビュー操作を受け付ける第１操作部として機能し、また、ユーザ操作に応じて表示部３０に表示された３次元モデル上の位置を示す位置情報を受け付ける第２操作部として機能し、更にユーザ操作により画像リストから任意の撮影画像の選択指示を受け付ける第３操作部として機能する。

【0050】

また、操作部１８は、撮影画像群から抽出する撮影画像の絞り込みの条件（絞り込み条件）、及び／又は撮影画像群の並べ替えを示す条件（ソート条件）を設定する条件設定部の操作部として機能する。

【0051】

ＣＰＵ２０は操作部１８からの入力を受付け、各種処理を行う。具体的には、ＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、操作部１８からの入力に基づいて各部を統括制御する。また、ＣＰＵ２０は、本発明に係る画像表示プログラムを実行することにより、図４に示すように撮影画像検索部２０Ａ、撮影画像決定部２０Ｂ、表示切替部２０Ｃ、画像リスト作成部２０Ｄ、位置情報取得部２０Ｅ、及び条件設定部２０Ｆ等の機能を有する。

【0052】

ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。

【0053】

表示制御部２６は、ＧＰＵ（Graphics Processing Unit）等により構成され、表示部３０に表示させる表示用データを作成する。表示制御部２６は、表示部３０に出力する部分であり、本例では記憶部１６に記憶された３次元モデルを読み出して表示部３０に３次元モデルを表示させ、操作部１８による３次元モデルの拡大を含むビュー操作に基づいて３次元モデルを拡大表示させる第１表示制御部として機能し、また、撮影画像決定部２０Ｂ（ＣＰＵ２０）により決定された撮影画像を記憶部１６から読み出し、読み出した撮影画像を表示部３０に表示させる第２表示制御部として機能する。なお、表示制御部２６は、上述のＧＰＵではなくＣＰＵ２０により実現されてもよい。

【0054】

また、表示制御部２６は、画像リスト作成部２０Ｄ（ＣＰＵ２０）により作成された画像リストを表示部３０に表示させる第３表示制御部として機能する。表示制御部２６は更に記憶部１６に記憶された３次元モデルを読み出して表示部３０に表示させる第４表示制御部であって、位置情報取得部２０Ｅにより取得された３次元モデル上の位置情報に基づいて、表示部３０に表示させた３次元モデル上に操作部１８（第３操作部）により選択指示された撮影画像の位置を示す指標を重畳表示させる第４表示制御部としても機能する。

【0055】

表示部３０は、コンピュータに接続可能な液晶モニタ等の各種のモニタが用いられ、表示制御部２６から入力する表示用データにより３次元モデル、撮影画像、画像リスト等の各種の情報を表示し、また、操作部１８とともにユーザインターフェースの一部として使用される。

【0056】

上記構成の画像表示装置１０は、操作部１８からの指示入力によりＣＰＵ２０が、記憶部１６又はＲＯＭ２４に記憶されている本発明に係る画像表示プログラムを読み出し、画像表示プログラムを実行することにより、操作部１８による操作に応じて各種の情報を表示部３０に表示させる。

【0057】

３次元モデルは、構造物を撮影した撮影画像群の、互いに重複する撮影画像間の特徴点を抽出し、抽出した特徴点に基づいて、ドローンに搭載されたカメラの位置及び姿勢を推定し、また、カメラの位置及び姿勢の推定結果から同時に特徴点の３次元位置を推定した３次元点群を含む。

【0058】

ドローンによりカメラの撮影位置が動いていく撮影画像群の中から、多数の特徴点の動きをトラッキングし、構造物の３次元構造(Structure)とカメラ姿勢(Motion)とを同時に推定するStructure from Motion(ＳｆＭ)手法がある。近年、bundle adjustmentという最適化計算法が開発され、高精度な出力を出せるようになっている。

【0059】

尚、ＳｆＭ手法を適用する場合に必要なカメラのパラメータ（焦点距離、イメージセンサの画像サイズ、画素ピッチ等）は、記憶部１６に記憶させたものを使用することができる。また、ＳｆＭ手法では、絶対的なスケールは求めることができないため、例えば、構造物の既知の大きさ（２点間の距離等）を指示することで、絶対的なスケール（３次元位置）を求めることができる。

【0060】

ここで、３次元モデルは、構造物の表面上の多数の点の３次元点群で表したもの、３次元点群に基づいて多角形のポリゴン（例えば、三角パッチ）の集合体で構造物の表面を表したもの、又は多角形のポリゴンに構造物を撮影した撮影画像（テクスチャ）をテクスチャーマッピングしたものが考えられる。本例の構造物の３次元モデルは、多角形のポリゴンに撮影画像をテクスチャーマッピングしたものとする。

【0061】

ところで、構造物の定期点検は、構造物を構成する部位及び部材の点検単位の区分である、管理区分毎に行われる。

【0062】

以下、構造物として橋梁を例に説明する。

【0063】

図５は、橋梁１の全景を示す３次元モデル１６Ｂが表示された表示部３０の画面３０Ａの一例を示す図であり、図６は、拡大等のビュー操作により立体的に動かされた橋梁１の３次元モデル１６Ｂを表示した、表示部３０の画面３０Ａの一例を示す図である。

【0064】

図６において、画面３０Ａに表示されている橋梁１は、橋脚７の間に渡された主桁２と、主桁２と直交する方向に設けられ、主桁間を連結する横桁３と、風、地震等の横荷重に抵抗するために主桁２を相互に連結する対傾構４及び横構５とを含む各種の部材から構成されている。そして、主桁等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。

【0065】

床版６は、通常、主桁２と横桁３とにより画成された矩形形状の格間が基本単位となっており、床版の損傷（ひび割れ、コンクリート剥離など）を点検する場合、格間単位で行われる。

【0066】

したがって、床版の各格間は、構造物（橋梁）を構成する部位及び部材の点検単位の管理区分の一つである。尚、橋梁の管理区分となり得る構造物を構成する部位・部材区分は、床版（格間）の他に、構造物を構成する部位・部材区分（主桁２、横桁３、対傾構４、横構５、橋脚７（柱部・壁部、梁部、隅角部・接合部））などがある。

【0067】

記憶部１６には、構造物の管理区分毎の管理情報を記憶させることができる。

【0068】

構造物の管理区分毎の管理情報としては、構造物の管理区分に対応するオルソ画像、損傷情報が重畳されたオルソ画像、損傷図、損傷数量表、補修図、又は補修数量表などが考えられる。これらの管理情報は、構造物の点検が行われた時や補修時に作成される。

【0069】

図７は、橋梁の格間に対応するオルソ画像の一例を示す図である。

【0070】

オルソ画像は、被写体（格間）の撮影画像を、格間の面に正射影された画像である。１つの格間のオルソ画像は、記憶部１６に記憶された撮影画像群から、その格間に対応する複数の撮影画像を抽出し、抽出した複数の撮影画像をパノラマ合成し、パノラマ合成した画像が、格間の面に正射影された画像になるように、パノラマ合成した画像を射影変換することで作成することができる。

【0071】

複数の撮影画像のパノラマ合成は、互いに重複する撮影画像間の重複領域の複数の特徴点を抽出し、抽出した複数の特徴点をそれぞれ一致させる画像処理により行うことができる。また、パノラマ合成された画像の格間の面への正射影は、パノラマ合成された画像内の格間の四隅に対応する位置と、格間の四隅の３次元位置とを一致させる射影変換により行うことができる。

【0072】

図８は、格間に対応する損傷図の一例を示す図である。

【0073】

図８に示す損傷図には、５本のひび割れＣ１～Ｃ５、コンクリートの剥離Ｈ１が図示されている。損傷図は、オルソ画像上で視認したひび割れ、剥離等の損傷を手動でトレースしたり、オルソ画像から自動で損傷を検出する画像処理を行い、必要に応じて手動で補正することで生成することができる。

【0074】

図９は、格間に対応する損傷図が重畳されたオルソ画像の一例を示す図である。

【0075】

図９に示す損傷図が重畳されたオルソ画像は、図７に示したオルソ画像に図８に示した損傷図を重畳することで作成することができる。

【0076】

損傷図は、損傷箇所が赤色等の目立つ色が付されて作成されており、オルソ画像に損傷図を重畳することで、損傷箇所を容易に視認することができる。

【0077】

図１０は、格間に対応する損傷数量表の一例を示す図表である。

【0078】

図１０に示す損傷数量表では、損傷ＩＤ（identification）、損傷種類、サイズ（幅）、サイズ（長さ）、サイズ（面積）の項目を有し、損傷毎に各項目に対応する情報が記載されている。

【0079】

次に、記憶部１６に記憶される画像リスト１４Ｃについて説明する。

【0080】

図１１は、画像リスト１６Ｃの一例を示す図表である。

【0081】

図１１に示す画像リスト１６Ｃは、撮影画像群１６Ａの各撮影画像の属性、各撮影画像を管理するための情報、各撮影画像と３次元モデル１６Ｂとを紐付けるための情報等を含む。

【0082】

図１１に示す画像リスト１６Ｃに表示される項目は、各撮影画像の縮小画像（サムネイル）、各撮影画像を特定する識別情報（画像ファイル名）、構造物に対する撮影画像の正対度、構造物に対する撮影画像の距離、構造物の点検記録に紐付いているかを示す情報、ひび等の損傷検出結果（例えば、図８に示した損傷図、図９に示した損傷数量表等）に紐付いているか否かを示す情報、各撮影画像に写っている構造物の位置情報（３次元位置情報）、及び、撮影日時を含む。尚、画像リスト１６Ｃには、上記の例に限らず、各撮影画像の鮮明度、補修記録（補修図）に紐付いているか否かを示す情報等を含めることができる。

【0083】

ここで、撮影画像の正対度とは、本例では撮影画像に対応する構造物の面の法線方向と、その撮影画像の撮影時のカメラの撮影方向との成す角度をいう。したがって、撮影画像は、正対度（角度）が小さい程、構造物に対して、より正対して撮影されたものとなり、良好が画像である。構造物に対する撮影画像の距離は、撮影画像に対応する構造物とその撮影画像の撮影時のカメラとの距離（撮影距離）である。

【0084】

撮影画像に写っている構造物の位置情報は、撮影画像に写っている範囲内の構造物の３次元点群の他、その３次元点群の代表的な３次元点（例えば、撮影画像の四隅、又はその近傍の３次元点）とすることができる。この撮影画像に写っている構造物の位置情報は、撮影画像群１６Ａと３次元モデル１６Ｂとを紐付ける情報となる。

【0085】

［画像表示方法］
＜第１実施形態＞
図１２は、本発明に係る画像表示方法の第１実施形態を示すフローチャートである。

【0086】

図１２において、図1及び図４に示した画像表示装置１０の各部の動作を説明しつつ、本発明に係る画像表示方法の第１実施形態を説明する。

【0087】

画像表示装置１０の記憶部１６には、図２に示したように構造物（本例では橋梁）を撮影した撮影画像群１６Ａ、３次元モデル１６Ｂ、及び画像リスト１６Ｃが記憶されている。本例の画像表示方法を実施する場合、かかる記憶部１６を予め準備しておく。

【0088】

図１２において、第１表示制御部として機能する表示制御部２６は、まず、記憶部１６に記憶された３次元モデル１６Ｂを読み出して３次元モデル１８Ｂを表示部３０に表示させる（ステップＳ１０、第１表示ステップ）。ここで、表示制御部２６は、３次元モデル１６Ｂを表示部３０に最初に表示させる場合には、図５に示したように構造物である橋梁１の全体が把握できるように橋梁の全景を示す３次元モデル１６Ｂを表示部３０の画面３０Ａに表示させることが好ましい。

【0089】

続いて、ＣＰＵ２０又は表示制御部２６は、ユーザにより画面３０Ａに表示されている３次元モデル１６Ｂに対し、拡大等のビュー操作が行われたか否かを判別する（ステップＳ１２）。ビュー操作は、画面３０Ａに３Ｄ（three dimensions）で表現された３次元モデル１６Ｂを拡大表示、縮小表示、平行移動、又は回転移動させるための操作であり、第１操作部として機能する操作部１８を使用して行われる。この場合、ユーザのビュー操作を受け付ける第１操作部としては、３Ｄマウスが好適であるが、通常のマウス等も使用可能である。

【0090】

ステップＳ１２において、ビュー操作が行われたと判別されると（「Yes」の場合）、ＣＰＵ２０又は表示制御部２６は、ビュー操作が３次元モデル１６Ｂを拡大又は縮小させる操作か、３次元モデル１６Ｂを平行移動させる操作か、又は回転移動させる操作かを判別する（ステップＳ１４、ステップＳ１６）。

【0091】

第１表示制御部として機能する表示制御部２６は、３次元モデル１６Ｂを拡大又は縮小させるビュー操作が操作部１８により行われると、そのビュー操作による拡大又は縮小の指示に応じて３次元モデル１６Ｂを拡大又は縮小させる表示用データを作成し、表示部３０に出力する（ステップＳ１８）。また、表示制御部２６は、３次元モデル１６Ｂを平行移動させるビュー操作が操作部１８により行われると、そのビュー操作による平行移動の指示に応じて３次元モデル１６Ｂを平行移動させる表示用データを作成し、表示部３０に出力する（ステップＳ２０）。また、３次元モデル１６Ｂを回転移動させるビュー操作が操作部１８により行われると、そのビュー操作による回転移動の指示に応じて３次元モデル１６Ｂを回転移動させる表示用データを作成し、表示部３０に出力する（ステップＳ２２）。

【0092】

ステップＳ１２において、ビュー操作が行われていないと判別されると（「No」の場合）、又はステップＳ１８、Ｓ２０、Ｓ２２の処理が終了すると、ＣＰＵ２０は、ステップＳ２３に遷移させる。

【0093】

ステップＳ２３において、ＣＰＵ２０は、操作部１８からの画像表示の終了の指示入力の有無を判別し、終了の指示入力がない場合（「No」の場合）には、ステップＳ２４に遷移させ、終了の指示入力がある場合（「Yes」の場合）には、画像表示に係る処理を終了させる。

【0094】

次に、ＣＰＵ２０は、第２操作部として機能する操作部１８でのユーザ操作に応じて、表示部３０に拡大表示された３次元モデル１６Ｂ上の位置を示す位置情報を受け付けた否かを判別する（ステップＳ２４）。

【0095】

３次元モデル１６Ｂ上の位置を示す位置情報を受け付けていない場合（「No」の場合）には、ステップＳ１０に遷移し、表示制御部２６は、引き続き３次元モデル１６Ｂを表示部３０に表示させる。尚、ビュー操作が行われ、ステップＳ１８、Ｓ２０又はＳ２２により３次元モデル１６Ｂを拡大又は縮小させる表示用データ、３次元モデル１６Ｂを平行移動させる表示用データ、又は３次元モデル１６Ｂを回転移動させる表示用データが作成された場合には、最新の表示用データに基づいて、拡大縮小、平行移動、又は回転移動した（立体的に動かされた）３次元モデル１６Ｂが表示部３０に表示される。

【0096】

図６は、拡大等のビュー操作により立体的に動かされた橋梁の３次元モデル１６Ｂを表示した、表示部３０の画面３０Ａの一例を示す図である。

【0097】

即ち、ユーザのビュー操作により、表示部３０の画面３０Ａに表示させる橋梁１の３次元モデル１６Ｂを、図５に示した橋梁１の全景を示す３次元モデル１６Ｂから、図６に示すように拡大、移動及び回転させた３次元モデル１６Ｂに遷移させることができる。尚、ビュー操作は、３次元モデル１６Ｂで橋梁全体を空間把握しながら、要点検箇所を見やすくするために行われる。

【0098】

図６において、３２は、表示部３０の画面３０Ａでの入力位置を示すカーソルであり、カーソル３２は、操作部１８（マウス等のポインティングデバイス）の操作により画面３０Ａ上を移動することができる。

【0099】

ユーザは、橋梁の所望の点検箇所を確認したい場合、３次元モデル１６Ｂで橋梁全体を空間把握しながら３次元モデル１６Ｂを立体的に動かして、所望の点検箇所を表示部３０の画面３０Ａ上で探索する。そして、表示部３０の画面３０Ａにおいて、所望の点検箇所にカーソル３２を移動させ、マウスによるクリック操作や実行キーによる入力操作を行う。これにより、操作部１８は、表示部３０の画面３０Ａに表示された３次元モデル１６Ｂ上の位置を指定することができ、指定した位置を示す位置情報を受け付けることができる。

【0100】

図６において、カーソル３２の位置は、橋梁１の床版６内に位置している。ここで、マウスによるクリック操作等が行われると、第１表示制御部として機能する表示制御部２６は、床版６内の所望の点検箇所の選択指示が行われたことを示す指標３４を、３次元モデル１６Ｂ上のカーソル３２が示す位置に重畳表示させることが好ましい。

【0101】

図１２に戻って、ステップＳ２４において、表示部３０に拡大表示された３次元モデル１６Ｂ上の位置を示す位置情報を受け付けたと判別されると（「Yes」の場合）、ステップＳ２６に遷移する。

【0102】

ステップＳ２６において、撮影画像検索部２０Ａとして機能するＣＰＵ２０は、まず、表示部３０の画面３０Ａ（に表示された３次元モデル１６Ｂ）上のカーソル３２が示す位置の位置情報に基づいて３次元モデル１６Ｂ上の３次元位置を特定する。表示部３０の画面３０Ａ上のカーソル３２が示す位置の位置情報は、画面３０Ａ上の座標情報として取得することができる。一方、表示部３０の画面３０Ａに表示される３次元モデル１６Ｂは、ビュー操作により拡大、平行移動、及び回転移動する。

【0103】

したがって、拡大等のビュー操作が行われて表示部３０の画面３０Ａに表示されている３次元モデル１６Ｂ上の位置情報（座標情報）と、ビュー操作による３次元モデル１６Ｂの拡大率、平行移動量、及び回転移動量の情報とにより、３次元モデル１６Ｂ上の３次元位置を特定することができる。

【0104】

続いて、撮影画像検索部２０Ａとして機能するＣＰＵ２０は、特定した３次元モデル１６Ｂ上の３次元位置に基づいて、記憶部１６に記憶された撮影画像群１６Ａから特定した３次元位置に対応する画素を含む複数の撮影画像を検索する（ステップＳ２７）。

【0105】

複数の撮影画像を検索する場合、撮影画像群１６Ａと３次元モデル１６Ｂとを紐付ける情報（図１１に示した画像リスト１６Ｃにおける撮影画像に写っている構造物の位置情報）を使用することができる。例えば、画像リスト１６Ｃにおいて、特定した３次元モデル１６Ｂ上の３次元位置と同一、又は特定した３次元モデル１６Ｂ上の３次元位置を含む位置情報を有する撮影画像を撮影画像群１６Ａから絞り込むことで、複数の撮影画像を検索することができる。尚、前述したように撮影画像群１６Ａは、撮影画像群１６Ａの各撮影画像は、互いに重なる重複領域があるため、撮影画像群１６Ａの中には、特定した３次元モデル１６Ｂ上の３次元位置に対応する画素を含む複数の撮影画像が存在する。

【0106】

次に、撮影画像決定部２０Ｂとして機能するＣＰＵ２０は、ステップＳ２７で検索された複数の撮影画像から最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定する（ステップＳ２８）。

【0107】

ここで、撮影画像決定部２０Ｂは、図１１に示した画像リスト１６Ｃに登録された、被写体（構造物）に対する撮影画像の正対度、又は構造物に対する撮影画像の距離を使用して、複数の撮影画像から最適な撮影画像又は優先順位を決定することができる。例えば、撮影画像決定部２０Ｂは、各撮影画像の正対度に基づいて、構造物をより正対して撮影した撮影画像を好適な撮影画像と決定することができる。また、構造物に対する撮影画像の距離に基づいて、構造物をより近距離で撮影した撮影画像を好適な撮影画像とすることができる。尚、構造物に対する撮影画像の距離は、撮影画像の画像ファイル（Exif(Exchangeable image file format)ファイル）のタグ情報として記録された撮影距離を使用することができる。また、Exifファイルのタグ情報として記録されたカメラ位置の情報（ＧＰＳ（global positioning system）情報）を使用し、カメラ位置と特定した３次元モデル１６Ｂ上の３次元位置（ＧＰＳ情報に換算される位置）とから撮影距離を算出することができる。

【0108】

更に、撮影画像決定部２０Ｂは、特定された３次元位置に対応する撮影画像上の位置とその撮影画像の中心位置とのずれ量を算出し、算出したずれ量が小さい程、好適な撮影画像とすることができる。また、撮影画像（特定した３次元モデル１６Ｂ上の３次元位置に対応する画素を含む局所領域）の鮮明度（コントラスト）が高い程、好適な撮影画像とすることができる。

【0109】

撮影画像決定部２０Ｂは、上記の正対度、距離等の条件のうちの１以上の条件に基づいて、検索された複数の撮影画像の中から最適な撮影画像を決定し、又は検索された複数の撮影画像の優先順位を決定する。

【0110】

撮影画像決定部２０Ｂにより最適な撮影画像又は優先順位が決定されると、第２表示制御部として機能する表示制御部２６は、決定された最適な撮影画像を記憶部１６から読み出し、読み出した最適な撮影画像を表示部３０に表示させ、又は決定された優先順位にしたがって複数の撮影画像の一部又は全部を表示部３０に表示させる（ステップＳ２８、第２表示ステップ）。

【0111】

これにより、ビュー操作により立体的に動かした橋梁の３次元モデル１６Ｂ上で、要点検箇所の位置を指示すると、指示した位置に基づいて検索された複数の撮影撮像のうちの最適な撮影画像又は優先順位が決定され、決定された最適な撮影画像又は優先順位したがって撮影画像（以下、「最適な撮影画像等」という）の一部又は全部を表示部３０に表示させることができ、所望の点検箇所の撮影画像を容易に確認することができる。

【0112】

図１３は、複数の撮影画像の中から決定された最適な撮影画像１００が表示された表示部３０の画面３０Ａの一例を示す図である。

【0113】

本例では、表示切替部２０Ｃとして機能するＣＰＵ２０は、表示部３０に最適な撮影画像１００を表示させる場合には、表示制御部２６の機能を第１表示制御部から第２表示制御部に切り替える。表示切替部２０Ｃによる３次元モデル１６Ｂから最適な撮影画像１００への表示の切り替えは、撮影画像決定部２０Ｂにより最適な撮影画像１００が決定され、最適な撮影画像１００の表示が可能になると、自動的に切り替えることができる。

【0114】

図１４は、複数の撮影画像の中から決定された最適な撮影画像１００が表示された表示部３０の画面３０Ａの他の例を示す図である。

【0115】

図１４に示す例では、表示部３０の画面３０Ａに１枚の撮影画像１００が表示され、かつ複数の撮影画像のサムネイル１０２が画面３０Ａの下部に表示されている。また、複数の撮影画像のサムネイル１０２は、複数の撮影画像の優先順位にしたがって配列されており、複数の撮影画像のうちの最適な撮影画像１００（優先順位が最も高い撮影画像）が最初に表示される。

【0116】

ユーザは、優先順位にしたがって並んだサムネイル１０２から所望のサムネイル１０２を選択することで、そのサムネイル１０２に対応する本画像（撮影画像）を表示部３０の画面３０Ａに表示させることができる。

【0117】

図１５は、複数の撮影画像の中から決定された最適な撮影画像等が表示された表示部３０の画面３０Ａの更に他の例を示す図である。

【0118】

図１５に示す例では、表示部３０の画面３０Ａに複数の撮影画像１００が表示され、かつ画面３０Ａの下部にスクロールバー３６が表示されている。複数の撮影画像には、優先順位が付けられており、優先順位の最も高い撮影画像１００を含む複数の撮影画像が最初に表示される。

【0119】

ユーザは、表示部３０の画面３０Ａに表示されていない撮影画像を見たい場合には、マウス等によりスクロールバー３６を操作することで、表示部３０の画面３０Ａに表示させる撮影画像１００を移動（スクロール）させ、所望の撮影画像を見ることができる。

【0120】

図１２に戻って、最適な撮影画像等が表示部３０に表示されると、続いてＣＰＵ２０は、表示部３０での表示を、最適な撮影画像等から３次元モデル１６Ｂに切り替えるか否かを判別する（ステップＳ３０）。最適な撮影画像等から３次元モデル１６Ｂへの切り替えの判別は、操作部１８でのユーザ操作に基づいて行うことができる。例えば、ユーザは、異なる点検箇所の撮影画像を確認したい場合、操作部１８により最適な撮影画像等の表示から３次元モデル１６Ｂの表示に切り替える切替操作を行うことができる。

【0121】

ステップＳ３０において、最適な撮影画像等から３次元モデル１６Ｂの表示に切り替える場合（「Yes」の場合）、ＣＰＵ２０は、ステップＳ１０に遷移させる。

【0122】

これにより、橋梁の全景を示す３次元モデル１６Ｂを表示部３０に表示させることができる（図５参照）。表示切替部２０Ｃとして機能するＣＰＵ２０は、表示部３０に３次元モデル１６Ｂを表示させる場合には、表示制御部２６の機能を第２表示制御部から第１表示制御部に切り替えることができる。

【0123】

尚、ＣＰＵ２０は、最適な撮影画像等から３次元モデル１６Ｂの表示に切り替える場合（「Yes」の場合）、ステップＳ１２に遷移させてもよい。これにより、３次元モデル１６Ｂから最適な撮影画像等に表示を切り替えたときの、直近の３次元モデル１６Ｂを表示させることができ、前回の点検箇所に近い点検箇所の撮影画像を確認したい場合に好適である。

【0124】

一方、ステップＳ３０において、最適な撮影画像等から３次元モデル１６Ｂへの表示に切り替えないと判別されると（「No」の場合）、ステップＳ３２に遷移する。

【0125】

ステップＳ３２において、ＣＰＵ２０は、操作部１８からの画像表示の終了の指示入力の有無を判別し、終了の指示入力がない場合（「No」の場合）には、ステップＳ２８に戻り、引き続き管理情報を表示部３０に表示させる。一方、終了の指示入力がある場合（「Yes」の場合）には、画像表示に係る処理を終了させる。

【0126】

本例では、表示部３０での３次元モデル１６Ｂの表示と最適な撮影画像等の表示とをユーザ操作等に基づいて切り替えるようにした。しかし、これに限らず、第１表示制御部は、表示部３０の第１表示領域に３次元モデル１６Ｂを表示させ、第２表示制御部は、表示部３０の第２表示領域に最適な撮影画像等を表示させ、両者を同時に表示させるようにしてもよい。

【0127】

ところで、本例の３次元モデル１６Ｂは、多角形のポリゴンに撮影画像をテクスチャーマッピングしたものであるため、３次元モデル１６Ｂを拡大表示させることで、ある程度、構造物の表面の性状を確認することができるが、小さな損傷（例えば、０．１ｍｍ幅のひび割れなど）を確認することはできない。３次元モデル１６Ｂのデータ量には限界があり、３次元モデル１６Ｂを拡大させても、オリジナルの撮影画像又はそれに相当する画像として視認することができないからである。

【0128】

これに対して、構造物の３次元モデル１６Ｂを使用することで所望の点検箇所を容易に特定することができ、その特定した点検箇所に対応するオリジナルの撮影画像（最適な撮影画像等）を表示することで、点検箇所の損傷等を容易に確認することができる。

【0129】

＜第２実施形態＞
図１６は、本発明に係る画像表示方法の第２実施形態を示すフローチャートである。

【0130】

図１６において、図１及び図４に示した画像表示装置１０の各部の動作を説明しつつ、本発明に係る画像表示方法の第２実施形態を説明する。

【0131】

図１６に示す第２実施形態の画像表示方法は、撮影画像群１６Ａから所望の撮影画像を選択すると、その選択した撮影画像が、構造物の３次元モデル１６Ｂ上のどの位置に対応する撮影画像であるかを容易に確認する方法である。

【0132】

図１６において、第３表示制御部として機能する表示制御部２６は、記憶部１６から画像リスト１６Ｃを読み出し、読み出した画像リスト１６Ｃを表示部３０に表示させる（ステップＳ１００、第３表示ステップ）。

【0133】

画像リスト１６Ｃは、図１１に示したように撮影画像群１６Ａの各撮影画像の属性、各撮影画像を管理するための情報、各撮影画像と３次元モデル１６Ｂとを紐付けるための情報等を含んでいる。この画像リスト１６Ｃは、撮影画像群１６Ａ及び撮影画像群１６Ａに紐付けられている各種の情報に基づいて、画像リスト作成部２０Ｄとして機能するＣＰＵ２０により作成することができるが、外部装置により作成されて記憶部１６に記憶されたものでもよい。

【0134】

次に、ステップＳ１００の処理の詳細について説明する。

【0135】

図１７は、ステップＳ１００の処理の第１例を示すサブルーチンを示す図である。

【0136】

図１７において、条件設定部３０Ｆとして機能するＣＰＵ２０は、操作部１８でのユーザ操作により撮影画像群１６Ａから抽出する撮影画像の絞り込みを示す条件（絞り込み条件）を設定する（ステップＳ１０１）。

【0137】

ここで、絞り込み条件には、撮影画像が構造物の点検記録に紐付いているかを示す情報、損傷（ひび）検出結果に紐付いているか否かを示す情報、及び補修記録（補修図）に紐付いているか否かを示す情報がある。

【0138】

尚、絞り込み条件は、上記の例に限らず、例えば、構造物の管理区分を示す情報が考えられる。前述したように構造物の定期点検は、構造物を構成する部位及び部材の点検単位の区分である管理区分毎に行われ、構造物が橋梁の場合、主桁、横桁、床版（床版を構成する格間）、橋脚等が管理区分に対応する。これらの管理区分を示す情報を、絞り込み条件とすることができる。

【0139】

画像リスト作成部２０Ｄとして機能するＣＰＵ２０は、条件設定部２０Ｆにより設定された絞り込み条件に基づいて撮影画像群１６Ａに対して撮影画像の絞り込みを行い、絞り込んだ撮影画像を示す画像リストを作成する（ステップＳ１０２）。

【0140】

第３表示制御部として機能する表示制御部２６は、絞り込み条件によって絞り込んだ撮影画像の画像リストを表示部３０に表示させる（ステップＳ１０３）。これにより、表示部３０に表示される画像リストは、ユーザが設定した絞り込み条件に応じて更新される。

【0141】

例えば、絞り込み条件として構造物の点検記録に紐付いているかを示す情報を設定すると、点検記録に紐付いている撮影画像のみからなる画像リストを表示部３０に表示させることができる。また、絞り込み条件として構造物の管理区分を示す情報を設定すると、設定した管理区分と紐付いている撮影画像（設定した管理区分に対応する構造物の領域が撮影されている撮影画像）のみからなる画像リストを表示部３０に表示させることができる。

【0142】

図１８は、ステップＳ１００の処理の第２例を示すサブルーチンを示す図である。

【0143】

図１８において、条件設定部３０Ｆとして機能するＣＰＵ２０は、操作部１８でのユーザ操作により撮影画像群１６Ａの並べ替えを示す条件（ソート条件）を設定する（ステップＳ１０４）。

【0144】

ここで、ソート条件には、被写体（構造物）に対する撮影画像の正対度、構造物に対する撮影画像の距離、及び撮影日時がある（図１１参照）。

【0145】

尚、ソート条件は、上記の例に限らず、例えば、各撮影画像の鮮明度等の他のソート条件であってもよいが、画像リスト１６Ｃは、少なくともソート条件に対応する情報を有することが好ましい。

【0146】

画像リスト作成部２０Ｄとして機能するＣＰＵ２０は、条件設定部２０Ｆにより設定されたソート条件に基づいて、撮影画像群１６Ａを並べ替えた画像リストを作成する（ステップＳ１０５）。

【0147】

第３表示制御部として機能する表示制御部２６は、ソート条件にしたがって並べ替えられた撮影画像群１６Ａの画像リストを表示部３０に表示させる（ステップＳ１０６、第３表示ステップ）。

【0148】

例えば、記憶部１６に記憶された画像リスト１６Ｃ（オリジナルの画像リスト）を表示部３０に表示させ、表示させた画像リスト上の所望の項目（ソート条件）をクリックすることで、ソート条件にしたがって昇順又は降順に並べ替えた撮影画像群１６Ａの画像リストを表示部３０に表示させることができる。

【0149】

図１９は、ステップＳ１００の処理の第３例を示すサブルーチンを示す図である。尚、図１９において、図１７及び図１８に示した第１例及び第２例の処理と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

【0150】

図１９に示す第３例は、図１７及び図１８に示した第１例及び第２例を組み合わせたものであり、まず、絞り込み条件に基づいて撮影画像群１６Ａに対して撮影画像の絞り込みを行う（ステップＳ１０１、ステップＳ１０２）。

【0151】

続いて、絞り込まれた撮影画像を、ソート条件に基づいて並べ替えた画像リストを作成し（ステップＳ１０４、Ｓ１０５）、作成した画像リスト（絞り込まれ、かつ並べ替えられた撮影画像の画像リスト）を表示部３０に表示させる（ステップＳ１０７）。

【0152】

図１６に戻って、ＣＰＵ２０は、表示部３０に表示された画像リストの表示を終了するか否かを判別する（ステップＳ１０８）。ＣＰＵ２０は、操作部１８からの画像表示の終了の指示入力の有無を判別し、終了の指示入力がない場合（「No」の場合）には、ステップＳ１１０に遷移させ、終了の指示入力がある場合（「Yes」の場合）には、画像表示に係る処理を終了させる。

【0153】

ステップＳ１１０において、ＣＰＵ２０は、第３操作部として機能する操作部１８でのユーザ操作に応じて、画像リストから任意の撮影画像の選択指示を受け付けたか否か判別する。

【0154】

選択指示を受け付けていないと判別されると（「No」の場合）、ステップＳ１００に戻り、引き続き画像リストが表示部３０に表示され、撮影画像の選択指示の受け付けか可能な状態となる。

【0155】

一方、選択指示を受け付けたと判別されると（「Yes」の場合）、位置情報取得部２０Ｅとして機能するＣＰＵ２０は、選択指示された撮影画像に対応する３次元モデル１６Ｂ上の位置情報を取得する（ステップＳ１２０）。この位置情報の取得は、選択指示された撮影画像の画像ファイル名に基づいて画像リスト１６Ｃから読み出すことができる。

【0156】

続いて、第４表示制御部として機能する表示制御部２６は、表示部３０での表示を画像リスト１６Ｃの表示から３次元モデル１６Ｂ等の表示に切り替える。即ち、表示制御部２６は、記憶部１６に記憶された３次元モデル１６Ｂを読み出して表示部３０に表示させ、かつ位置情報取得部により取得された３次元モデル１６Ｂ上の位置情報に基づいて、表示部３０に表示させた３次元モデル１６Ｂ上に選択指示された撮影画像の位置を示す指標を重畳表示させる（ステップＳ１３０、第４表示ステップ）。

【0157】

図２０は、選択指示された撮影画像１００とその撮影画像１００の撮影範囲を含む３次元モデル１６Ｂとが表示された表示部３０の画面３０Ａの一例を示す図である。

【0158】

図２０に示す例では、３次元モデル１６Ｂ上の撮影画像１００の位置が確認しやすいように、３次元モデル１６Ｂを自動で拡大、平行移動及び回転移動させ、３次元モデル１６Ｂの一部を表示している。尚、３次元モデル１６Ｂの拡大等のビュー操作は、画像リスト１６Ｃに記録されている撮影画像１００に写っている構造物の位置情報（例えば、撮影画像１００の四隅の３次元位置）に基づいて自動で行うことができる。

【0159】

また、図２０に示す例では、撮影画像１００と３次元モデル１６Ｂとを表示部３０の画面３０Ａに並べて表示させ、３次元モデル１６Ｂ上に撮影画像１００の位置を示す指標１００Ａを重畳表示している。この指標１００Ａは、撮影画像１００の撮影範囲を示す枠として表示されている。撮影画像１００の撮影範囲を示す枠は、撮影画像１００の四隅の３次元位置をそれぞれ連結する線分により構成することができる。

【0160】

また、ユーザは、図２０に示された３次元モデル１６Ｂの一部の表示では、３次元モデル１６Ｂ全体における撮影画像１００の位置が把握できない場合、広範囲の３次元モデル１６Ｂ（図６参照）が表示されるように手動で３次元モデル１６Ｂをビュー操作（ズームアウト）し、あるいは３次元モデル１６Ｂの全景（図５参照）が表示されるように手動で３次元モデル１６Ｂをビュー操作することができる。

【0161】

広範囲の３次元モデル１６Ｂを表示させる場合、３次元モデル１６Ｂ上に重畳表示する撮影画像１００の位置を示す指標としては、高輝度な点、又は高輝度な点の点滅等が好ましい。

【0162】

また、上記の例とは逆に、最初に３次元モデル１６Ｂ上に撮影画像１００の位置を示す指標が重畳表示された３次元モデル１６Ｂの全景を表示部３０に表示させる（図５参照）。この場合、指標が確認できるように３次元モデル１６Ｂを自動で回転移動させることが好ましい。これにより、ユーザは、撮影画像１００が構造物のいずれの部分を撮影したものであるかを、大まかに把握することができる。

【0163】

ユーザは、撮影画像１００が構造物のいずれの部分を撮影したものであるかを詳細に把握したい場合には、手動で３次元モデル１６Ｂを拡大させるビュー操作（必要に応じて平行移動及び／又は回転させるビュー操作）を行うことで、拡大された３次元モデル１６Ｂであって、撮影画像１００の位置を示す指標が重畳表示された３次元モデル１６Ｃを表示部３０に表示させることができる（図６、図２０参照）。

【0164】

ユーザは、上記のように３次元モデル１６Ｃ上に重畳表示された撮影画像の位置を示す指標により、画像リスト上で選択指示した撮影画像が、構造物（３次元モデル１６Ｂ）のどの位置を撮影したものかを容易に把握することができる。

【0165】

図１６に戻って、表示切替部２０Ｃとして機能するＣＰＵ２０は、表示部３０の表示を、３次元モデル１６Ｂ等の表示から画像リスト１６Ｃの表示に切り替えるか否かを判別する（ステップＳ１４０）。画像リスト１６Ｃへの切り替えの判別は、操作部１８でのユーザ操作に基づいて行うことができる。例えば、ユーザは、異なる撮影画像を選択したい場合、画像リスト１６Ｃの表示に切り替える切替操作を操作部１８により行うことができる。

【0166】

ステップＳ１４０において、３次元モデル１６Ｂ等から画像リスト１６Ｃの表示に切り替える場合（「Yes」の場合）、ＣＰＵ２０は、ステップＳ１００に遷移させる。

【0167】

これにより、画像リスト１６Ｃを表示部３０に表示させることができる。表示切替部２０Ｃとして機能するＣＰＵ２０は、表示部３０に画像リスト１６Ｃを表示させる場合には、表示制御部２６の機能を第４表示制御部から第３表示制御部に切り替えることができる。

【0168】

一方、ステップＳ１４０において、画像リスト１６Ｃへの表示に切り替えないと判別されると（「No」の場合）、ＣＰＵ２０は、ステップＳ１５０に遷移させる。

【0169】

ステップＳ１５０において、ＣＰＵ２０は、操作部１８からの画像表示の終了の指示入力の有無を判別し、終了の指示入力がない場合（「No」の場合）には、ステップＳ１３０に戻り、引き続き３次元モデル１６Ｂ等を表示部３０に表示させる。一方、終了の指示入力がある場合（「Yes」の場合）には、画像表示に係る処理を終了させる。

【0170】

本例では、表示部３０での画像リスト１６Ｃの表示と３次元モデル１６Ｂ等の表示とをユーザ操作等に基づいて切り替えるようにしたが、画像リスト１６Ｃの表示と３次元モデル１６Ｂ等とを表示部３０に同時に表示するようにしてもよい。

【0171】

［その他］
第１実施形態の画像表示方法と第２実施形態の画像表示方法とは、ユーザが適宜切り替えて使用してもよい。

【0172】

また、３次元モデルは、被写体を撮影した撮影画像群を使用し、ＳｆＭ手法により生成されたものに限らず、種々の方法により生成することができる。

【0173】

例えば、二眼カメラにより撮影された２枚の視差画像か被写体の３次元情報を取得し、取得した３次元情報を使用して構造物の３次元モデルを生成し、また、タイム・オブ・フライト式カメラにより被写体の撮影画像を取得するとともに、撮影画像上の各画素に対応する被写体の３次元座標を取得して３次元モデルを生成することができる。更に、カメラとしての機能を備えたレーザースキャナを含み、レーザースキャナが取得した構造物の３次元情報に基づいて構造物の３次元モデルを生成することができる。

【0174】

本発明に係る画像表示装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。画像表示装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0175】

また、本発明は、被写体の３次元モデルと被写体に対して撮影位置及び撮影方向を変更して被写体を撮影した撮影画像群とを記憶する記憶部にアクセス可能なコンピュータにインストールされることにより、コンピュータを本発明に係る画像表示装置として機能させる画像表示プログラム、及びこの画像表示プログラムが記録された記憶媒体を含む。

【0176】

更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0177】

１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
７ 橋脚
１０ 画像表示装置
１２ 画像取得部
１４Ｃ 画像リスト
１５Ｃ 画像リスト
１６ 記憶部
１６Ａ 撮影画像群
１６Ｂ ３次元モデル
１６Ｃ 画像リスト
１８ 操作部
２０ ＣＰＵ
２０Ａ 撮影画像検索部
２０Ｂ 撮影画像決定部
２０Ｃ 表示切替部
２０Ｄ 画像リスト作成部
２０Ｅ 位置情報取得部
２０Ｆ 条件設定部
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示制御部
３０ 表示部
３０Ａ 画面
３０Ｆ 条件設定部
３２ カーソル
３４ 指標
３６ スクロールバー
１００ 撮影画像
１００Ａ 指標
１０２ サムネイル
Ｓ１０～Ｓ１５０ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】