ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024150685
(43)【公開日】2024-10-23
(54)【発明の名称】画像処理装置、及び画像処理装置による画像処理方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20241016BHJP
E01D 22/00 20060101ALI20241016BHJP
【ＦＩ】
G06T1/00 200A
E01D22/00 A
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2024119366
(22)【出願日】2024-07-25
(62)【分割の表示】P 2022505021の分割
【原出願日】2021-01-22
(31)【優先権主張番号】P 2020035172
(32)【優先日】2020-03-02
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100153822
【弁理士】
【氏名又は名称】増田 重之
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(72)【発明者】
【氏名】與那覇 誠
(57)【要約】
【課題】本発明の一つの実施形態は、建造物を撮影した画像に基づいて建造物の３次元モデル及び損傷情報を容易に取り扱うことができる画像処理装置、及び画像処理装置による画像処理方法を提供する。
【解決手段】一つの態様において、画像処理装置は、プロセッサと、建造物を撮影した複数の画像と、建造物を構成する部材の３次元モデルと、複数の画像に基づいて抽出した前記建造物の損傷情報とが対応付けて記憶されたメモリとを備え、プロセッサは、複数の画像から、損傷情報に含まれる情報の項目の優先度、または画像の画質の少なくともいずれかに基づいて、指定された部材に対応する、指定された数の画像を選択する選択処理と、指定された部材と、選択された画像と、損傷情報と、の対応を認識可能に出力する出力処理と、を行う。
【選択図】 図１
【解決手段】一つの態様において、画像処理装置は、プロセッサと、建造物を撮影した複数の画像と、建造物を構成する部材の３次元モデルと、複数の画像に基づいて抽出した前記建造物の損傷情報とが対応付けて記憶されたメモリとを備え、プロセッサは、複数の画像から、損傷情報に含まれる情報の項目の優先度、または画像の画質の少なくともいずれかに基づいて、指定された部材に対応する、指定された数の画像を選択する選択処理と、指定された部材と、選択された画像と、損傷情報と、の対応を認識可能に出力する出力処理と、を行う。
【選択図】 図１
【特許請求の範囲】
【請求項1】
プロセッサと、
建造物を撮影した複数の画像と、前記建造物を構成する部材の３次元モデルと、前記複数の画像に基づいて抽出した前記建造物の損傷情報とが対応付けて記憶されたメモリとを備え、
前記プロセッサは、
前記複数の画像から、前記損傷情報に含まれる情報の項目の優先度、または前記画像の画質の少なくともいずれかに基づいて、指定された部材に対応する、指定された数の画像を選択する選択処理と、
前記指定された部材と、前記選択された画像と、前記損傷情報と、の対応を認識可能に出力する出力処理と、を行う、画像処理装置。
建造物を撮影した複数の画像と、前記建造物を構成する部材の３次元モデルと、前記複数の画像に基づいて抽出した前記建造物の損傷情報とが対応付けて記憶されたメモリとを備え、
前記プロセッサは、
前記複数の画像から、前記損傷情報に含まれる情報の項目の優先度、または前記画像の画質の少なくともいずれかに基づいて、指定された部材に対応する、指定された数の画像を選択する選択処理と、
前記指定された部材と、前記選択された画像と、前記損傷情報と、の対応を認識可能に出力する出力処理と、を行う、画像処理装置。
【請求項2】
前記優先度又は前記画像の画質は、ユーザの操作に応じて設定されたものである、請求項１に記載の画像処理装置。
【請求項3】
前記指定された数は、ユーザの操作に応じて設定されたものである、請求項２に記載の画像処理装置。
【請求項4】
プロセッサと、
建造物を撮影した複数の画像と、前記建造物を構成する部材の３次元モデルと、前記複数の画像に基づいて抽出した前記建造物の損傷情報とが対応付けて記憶されたメモリと、を備える画像処理装置による画像処理方法であって、
前記プロセッサが行う処理は、
前記複数の画像から、前記損傷情報に含まれる情報の項目の優先度、または前記画像の画質の少なくともいずれかに基づいて、指定された部材に対応する、指定された数の画像を選択する選択工程と、
前記指定された部材と、前記選択された画像と、前記損傷情報と、の対応を認識可能に出力する出力工程と、
を含む画像処理方法。
建造物を撮影した複数の画像と、前記建造物を構成する部材の３次元モデルと、前記複数の画像に基づいて抽出した前記建造物の損傷情報とが対応付けて記憶されたメモリと、を備える画像処理装置による画像処理方法であって、
前記プロセッサが行う処理は、
前記複数の画像から、前記損傷情報に含まれる情報の項目の優先度、または前記画像の画質の少なくともいずれかに基づいて、指定された部材に対応する、指定された数の画像を選択する選択工程と、
前記指定された部材と、前記選択された画像と、前記損傷情報と、の対応を認識可能に出力する出力工程と、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、建造物を撮影した画像、建造物の３次元モデル、及び損傷情報を取り扱う技術に関する。
【背景技術】
【0002】
建造物の３次元モデル及び損傷情報を取り扱う技術に関し、例えば特許文献１には、橋梁等の構造物（建造物、建築物）の管理用図面を作成する装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－１９２２７０号公報
【発明の概要】
【0004】
本開示の技術に係る一つの実施形態は、建造物を撮影した画像、建造物の３次元モデル、及び損傷情報を容易に取り扱うことができる画像処理装置、及び画像処理装置による画像処理方法を提供する。
【課題を解決するための手段】
【0005】
本発明の第１の態様に係る画像処理装置は、プロセッサと、建造物を撮影した複数の画像と、造物を構成する部材が特定された建造物の３次元モデルと、が記憶されたメモリであって、複数の画像と部材とが対応付けて記憶されたメモリと、を備える画像処理装置であって、プロセッサは、複数の画像に基づいて建造物の損傷情報を抽出する抽出処理と、複数の画像の中から、指定された基準に従って、指定された部材に対応する画像を選択する選択処理と、指定された部材と、選択された画像と、損傷情報と、を対応付けて出力する出力処理と、を行う。
【0006】
第２の態様に係る画像処理装置は第１の態様において、プロセッサは、複数の画像に基づいて建造物の３次元モデルを生成する生成処理と、生成した３次元モデルにおいて、建造物を構成する部材を特定する特定処理と、３次元モデルを、複数の画像と特定された部材とを対応付けてメモリに記憶させる記憶制御処理と、を行う。
【0007】
第３の態様に係る画像処理装置は第２の態様において、プロセッサは、ユーザが部材を特定する操作によらずに特定処理を行う。
【0008】
第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、プロセッサは、基準の指定を受け付ける受付処理を行う。
【0009】
第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、プロセッサは、抽出処理において、損傷の種類、数、大きさ、損傷度合い、及び時間変化のうち少なくとも１つを損傷情報として抽出する。
【0010】
第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、プロセッサは、選択処理において、損傷の種類ごとに画像を選択する。
【0011】
第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、プロセッサは、選択処理において、指定された数の画像を選択する。
【0012】
第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、プロセッサは、指定された書式の文書ファイルにおいて画像領域として指定された領域に選択された画像を配置する画像配置処理を行う。
【0013】
第９の態様に係る画像処理装置は第８の態様において、プロセッサは、文書ファイルにおいて情報領域として指定された領域に損傷情報を入力する情報入力処理を行う。
【0014】
第１０の態様に係る画像処理装置は第１から第９の態様のいずれか１つにおいて、プロセッサは、３次元モデルと、選択された画像の３次元モデルにおける位置を示す位置情報と、を関連付けて表示装置に表示させる第１の表示処理と、表示された位置情報のうち指定された位置情報について、選択された画像を表示装置に表示させる第２の表示処理と、を行う。
【0015】
第１１の態様に係る画像処理装置は第１から第１０の態様のいずれか１つにおいて、プロセッサは、３次元モデルと、選択された画像の３次元モデルにおける位置を示す位置情報と、を関連付けて表示装置に表示させる第１の表示処理と、表示された位置情報について、選択された画像を表示装置に表示させる第３の表示処理と、を行う。
【0016】
第１２の態様に係る画像処理装置は第１０または第１１の態様において、プロセッサは、少なくとも第１の表示処理において、位置情報を損傷情報に応じた態様で識別表示させる。
【0017】
第１３の態様に係る画像処理装置は第１０から第１２の態様のいずれか１つにおいて、プロセッサは、少なくとも第１の表示処理において、複数の画像のうち特定された部材に対応する画像を合成し、合成された画像を特定された部材にマッピングして表示装置に表示させる。
【0018】
第１４の態様に係る画像処理装置は第１０から第１３の態様のいずれか１つにおいて、プロセッサは、少なくとも第１の表示処理において、損傷情報を３次元モデルに強調表示する。
【0019】
第１５の態様に係る画像処理装置は第１から第１４の態様のいずれか１つにおいて、プロセッサは、建造物を撮影した複数の画像であって、メモリに記憶された複数の画像と撮影日時が異なる複数の画像を取得する取得処理と、取得した複数の画像と、メモリに記憶された３次元モデルの部材と、を対応付ける対応付け処理と、を行う。
【0020】
第１６の態様に係る画像処理装置は第１５の態様において、プロセッサは、取得した複数の画像と、メモリに記憶された複数と、の相関に基づいて対応付け処理を行う。
【0021】
本発明の第１７の態様に係る画像処理方法は、プロセッサと、建造物を撮影した複数の画像と、建造物の３次元モデルと、が記憶されたメモリであって、複数の画像と、３次元モデルにおいて建造物を構成する部材と、が対応付けて記憶されたメモリと、を備える画像処理装置による画像処理方法であって、プロセッサが行う処理は、複数の画像に基づいて建造物の損傷情報を抽出する抽出工程と、複数の画像の中から、指定された基準に従って、３次元モデルにおいて指定された部材に対応する画像を選択する選択工程と、指定された部材と、選択された画像と、損傷情報と、を対応付けて出力する出力工程と、を含む。第１７の態様に係る画像処理方法は、第２から第１６の態様と同様の構成をさらに有していてもよい。
【0022】
本発明の第１８の態様に係る画像処理プログラムは、第１７の態様に係る画像処理方法をコンピュータに実行させる。第１８の態様に係る画像処理プログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。
【図面の簡単な説明】
【0023】
【発明を実施するための形態】
【0024】
本発明に係る画像処理装置、及び画像処理装置による画像処理方法の一つの実施形態は以下の通りである。説明においては、必要に応じて添付図面が参照される。
【0025】
［第１の実施形態］
［画像処理システムの構成］
図１は、画像処理システム１（画像処理装置）の概略構成を示すブロック図である。画像処理システム１は画像処理装置１０（画像処理装置）及び表示装置２０（表示装置、モニタ）を備え、被写体を分割撮影して取得した複数の画像について損傷情報の抽出、３次元モデルの作成、２次元点検調書の作成支援等を行うシステムである。画像処理システム１は、パーソナルコンピュータ、タブレット端末、スマートフォン等の機器（情報端末）を用いて構成することができる。画像処理システム１の各要素は１つの筐体に収納されていてもよいし、独立した筐体に収納されていてもよい。また、各要素が離れた場所に配置されネットワークを介して接続されていてもよい。
［画像処理システムの構成］
図１は、画像処理システム１（画像処理装置）の概略構成を示すブロック図である。画像処理システム１は画像処理装置１０（画像処理装置）及び表示装置２０（表示装置、モニタ）を備え、被写体を分割撮影して取得した複数の画像について損傷情報の抽出、３次元モデルの作成、２次元点検調書の作成支援等を行うシステムである。画像処理システム１は、パーソナルコンピュータ、タブレット端末、スマートフォン等の機器（情報端末）を用いて構成することができる。画像処理システム１の各要素は１つの筐体に収納されていてもよいし、独立した筐体に収納されていてもよい。また、各要素が離れた場所に配置されネットワークを介して接続されていてもよい。
【0026】
［画像処理装置の構成］
画像処理装置１０は処理部１００、記憶装置２００、及び操作部３００を備え、これら各部は互いに接続されて必要な情報が送受信される。
画像処理装置１０は処理部１００、記憶装置２００、及び操作部３００を備え、これら各部は互いに接続されて必要な情報が送受信される。
【0027】
［処理部の構成］
図２は処理部１００（プロセッサ）の構成を示す図である。処理部１００は、入力処理部１０２、取得処理部１０３、抽出処理部１０４、生成処理部１０５、特定処理部１０６、対応付け処理部１０７、選択処理部１０８、記憶制御処理部１０９、受付処理部１１０、画像配置処理部１１２、情報入力部１１４、表示処理部１１６、及び通信制御部１１８を備え、撮影画像の取得、３次元モデルの作成、２次元点検調書の作成支援等を行う。これら各部による処理の詳細は後述する。
図２は処理部１００（プロセッサ）の構成を示す図である。処理部１００は、入力処理部１０２、取得処理部１０３、抽出処理部１０４、生成処理部１０５、特定処理部１０６、対応付け処理部１０７、選択処理部１０８、記憶制御処理部１０９、受付処理部１１０、画像配置処理部１１２、情報入力部１１４、表示処理部１１６、及び通信制御部１１８を備え、撮影画像の取得、３次元モデルの作成、２次元点検調書の作成支援等を行う。これら各部による処理の詳細は後述する。
【0028】
上述した処理部１００の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。
各機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
各機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【0029】
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、処理部１００を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ等の非一時的記録媒体（メモリ）に記憶しておき、コンピュータがそのソフトウェアを参照する。実行の際は、必要に応じて記憶装置に記憶された情報が使用される。また、実行の際は、例えばＲＡＭ（Random Access Memory；メモリ）が一時的記憶領域として用いられる。
【0030】
なお、処理部１００の機能の一部または全部をネットワーク上のサーバで実現して、画像処理装置１０はデータの入力、通信制御、結果の表示等を行ってもよい。この場合、ネットワーク上のサーバを含めてApplication Service Provider型システムが構築される。
【0031】
［記憶部の構成］
記憶装置２００（記憶装置、メモリ）はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図３に示す情報が互いに関連づけて記憶される。撮影画像２０２は建造物を撮影した複数の画像であり、合成画像２０４は、撮影画像から合成された、特定の部材に対応する画像（の集合）である。３次元モデルデータ２０６（３次元モデル）は、撮影画像に基づいて作成された建造物の３次元モデルであり、建造物を構成する部材が特定されている。なお、３次元モデルデータ２０６は撮影画像、代表画像、２次元調書等との対応付けがされており、詳細を後述するように、ユーザは３次元モデル上で位置情報を指定することにより、代表画像や２次元点検調書を表示させることができる。損傷情報２０８（損傷情報）は、撮影画像から抽出された、建造物の損傷を示す情報である。点検調書データ２１０は、２次元点検調書のひな形（指定された形式の文書ファイル）、あるいは、ひな形に代表画像や損傷情報が配置、入力されたデータである（後述）。ひな形は、国土交通省や地方自治体の定める形式でもよい。
記憶装置２００（記憶装置、メモリ）はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図３に示す情報が互いに関連づけて記憶される。撮影画像２０２は建造物を撮影した複数の画像であり、合成画像２０４は、撮影画像から合成された、特定の部材に対応する画像（の集合）である。３次元モデルデータ２０６（３次元モデル）は、撮影画像に基づいて作成された建造物の３次元モデルであり、建造物を構成する部材が特定されている。なお、３次元モデルデータ２０６は撮影画像、代表画像、２次元調書等との対応付けがされており、詳細を後述するように、ユーザは３次元モデル上で位置情報を指定することにより、代表画像や２次元点検調書を表示させることができる。損傷情報２０８（損傷情報）は、撮影画像から抽出された、建造物の損傷を示す情報である。点検調書データ２１０は、２次元点検調書のひな形（指定された形式の文書ファイル）、あるいは、ひな形に代表画像や損傷情報が配置、入力されたデータである（後述）。ひな形は、国土交通省や地方自治体の定める形式でもよい。
【0032】
これらの情報の他に、後述するＳｆＭ（Structure from Motion）を適用する場合に必要なカメラのパラメータ（焦点距離、イメージセンサの画像サイズ、画素ピッチ等）が、記憶装置２００に記憶されていてもよい。
【0033】
［操作部の構成］
操作部３００はキーボード３１０及びマウス３２０を含み、ユーザはこれらのデバイスにより本発明に係る画像処理に必要な操作を行うことができる。タッチパネル型のデバイスを用いることにより、表示装置２０を操作部として用いてもよい。
操作部３００はキーボード３１０及びマウス３２０を含み、ユーザはこれらのデバイスにより本発明に係る画像処理に必要な操作を行うことができる。タッチパネル型のデバイスを用いることにより、表示装置２０を操作部として用いてもよい。
【0034】
［表示装置］
表示装置２０（表示装置）は、例えば液晶ディスプレイ等のデバイスであり、取得した撮影画像、損傷情報、３次元モデル、２次元点検調書、代表画像等の情報を表示させることができる。
表示装置２０（表示装置）は、例えば液晶ディスプレイ等のデバイスであり、取得した撮影画像、損傷情報、３次元モデル、２次元点検調書、代表画像等の情報を表示させることができる。
【0035】
［画像処理の手順］
図４は、本発明に係る画像処理方法の手順を示すフローチャートである。
図４は、本発明に係る画像処理方法の手順を示すフローチャートである。
【0036】
［画像の入力]
入力処理部１０２（プロセッサ）は、被写体としての建造物を撮影した複数の画像を入力する（ステップＳ１００：入力処理、入力工程）。建造物（建築物、構造物）は例えば橋梁、道路等であるが、他の建造物でもよい。また、入力処理部１０２は、撮影画像２０２として記憶装置２００に記憶されている画像を入力してもよいし、図示せぬ記録媒体やネットワークを介して画像を入力してもよい。これらの画像は、ドローン等の飛翔体や移動機能のあるロボット等により、視点を移動させながら撮影することができる（ユーザが撮影してもよい）。撮影する画像はステレオ画像でなくて良い。なお、３次元モデルの作成及び画像合成のためには、画像間で特徴点が多数共通することが好ましいので、隣接する画像同士が十分に（例えば、面積の８０％以上）オーバーラップしていることが好ましい。図５は、カメラ３０により、そのようにオーバーラップした画像を撮影する様子を示す図である。
入力処理部１０２（プロセッサ）は、被写体としての建造物を撮影した複数の画像を入力する（ステップＳ１００：入力処理、入力工程）。建造物（建築物、構造物）は例えば橋梁、道路等であるが、他の建造物でもよい。また、入力処理部１０２は、撮影画像２０２として記憶装置２００に記憶されている画像を入力してもよいし、図示せぬ記録媒体やネットワークを介して画像を入力してもよい。これらの画像は、ドローン等の飛翔体や移動機能のあるロボット等により、視点を移動させながら撮影することができる（ユーザが撮影してもよい）。撮影する画像はステレオ画像でなくて良い。なお、３次元モデルの作成及び画像合成のためには、画像間で特徴点が多数共通することが好ましいので、隣接する画像同士が十分に（例えば、面積の８０％以上）オーバーラップしていることが好ましい。図５は、カメラ３０により、そのようにオーバーラップした画像を撮影する様子を示す図である。
【0037】
［損傷の抽出］
抽出処理部１０４（プロセッサ）は、入力した複数の画像に基づいて、建造物の損傷情報を抽出する（ステップＳ１１０：抽出処理、抽出工程）。抽出処理部１０４は、抽出処理において、損傷の種類、数、大きさ、損傷度合い、及び時間変化のうち少なくとも１つを損傷情報として抽出することができる。
抽出処理部１０４（プロセッサ）は、入力した複数の画像に基づいて、建造物の損傷情報を抽出する（ステップＳ１１０：抽出処理、抽出工程）。抽出処理部１０４は、抽出処理において、損傷の種類、数、大きさ、損傷度合い、及び時間変化のうち少なくとも１つを損傷情報として抽出することができる。
【0038】
抽出処理部１０４は、種々の手法を用いて損傷情報を抽出することができる。例えば、特許４００６００７号公報に記載されたひび割れ検出方法や、特表２０１０－５３８２５８号公報に記載された錆及び剥離の検出方法を用いることができる。また、抽出処理部１０４は、機械学習の手法を用いて損傷情報を抽出することができる。例えば、損傷の種類や大きさ等をラベルとして付与した画像を教師データとして与えて機械学習によりＤＮＮ（Deep Neural Network）等の学習器を生成し、生成した学習器を用いて損傷を検出することができる。
【0039】
抽出処理部１０４は、個々の撮影画像から損傷情報を抽出して対応する情報を１つに合成してもよいし、複数の撮影画像を合成した１つの画像から損傷情報を抽出してもよい。損傷は始点及び終点を持ったベクトルとして表すことができ、この場合、ＷＯ２０１７／１１０２７９号公報に記載されているようにベクトル同士の階層構造を考慮してもよい。
【0040】
図８は抽出した損傷情報の例を示す図である。抽出処理部１０４は、抽出した損傷情報を、損傷情報２０８として記憶装置２００に記憶させることができる。
【0041】
［３次元モデルの作成］
生成処理部１０５（プロセッサ）は、入力した複数の画像に基づいて、建造物の３次元モデルを作成する（ステップＳ１２０：生成処理、生成工程）。３次元モデルには、３次元点群モデル、３次元点群モデルに基づいて作成される３次元サーフェスモデルや３次元ポリゴンモデル、あるいは画像がテクスチャーマッピングされたものなど、各種のモデルが存在し、生成処理部１０５は、例えばＳｆＭ（Structure from Motion）の手法を用いて３次元モデルを作成することができる。ＳｆＭは、多視点画像から３次元形状を復元する手法であり、例えばＳＩＦＴ（Scale-Invariant Feature Transform）等のアルゴリズムにより特徴点を算出し、この特徴点を手掛かりとして、三角測量の原理を用いて点群（point cloud）の３次元位置を算出する。具体的には、三角測量の原理を用いてカメラから特徴点へ直線を引き，対応する特徴点を通る２本の直線の交点が、復元した３次元点となる。そして、検出した特徴点ごとにこの作業を行うことにより、点群の３次元位置を得ることができる。図６は、点群５００（点群の例）を示す図である。
生成処理部１０５（プロセッサ）は、入力した複数の画像に基づいて、建造物の３次元モデルを作成する（ステップＳ１２０：生成処理、生成工程）。３次元モデルには、３次元点群モデル、３次元点群モデルに基づいて作成される３次元サーフェスモデルや３次元ポリゴンモデル、あるいは画像がテクスチャーマッピングされたものなど、各種のモデルが存在し、生成処理部１０５は、例えばＳｆＭ（Structure from Motion）の手法を用いて３次元モデルを作成することができる。ＳｆＭは、多視点画像から３次元形状を復元する手法であり、例えばＳＩＦＴ（Scale-Invariant Feature Transform）等のアルゴリズムにより特徴点を算出し、この特徴点を手掛かりとして、三角測量の原理を用いて点群（point cloud）の３次元位置を算出する。具体的には、三角測量の原理を用いてカメラから特徴点へ直線を引き，対応する特徴点を通る２本の直線の交点が、復元した３次元点となる。そして、検出した特徴点ごとにこの作業を行うことにより、点群の３次元位置を得ることができる。図６は、点群５００（点群の例）を示す図である。
【0042】
なお、ＳｆＭでは大きさは算出されないが、例えば、寸法が既知のスケーラ－（scaler）を被写体に設置して撮影を行うことで、実スケールとの対応付けを行うことができる。
【0043】
生成処理部１０５は、このようにして得た点群のデータに対し例えばＴＩＮモデル（ＴＩＮ：triangulated irregular network）を適用して建造物の面を三角形で近似し、その結果に基づいてソリッドモデル（solidモデル；３次元モデル）を得ることができる。ソリッドモデルでは、建造物の３次元形状が、中身の詰まった積み木やブロックのような３次元の部材の組合せとして構成される。なお、ソリッドモデルを得る際に、ユーザが操作部３００を介して「点群のどの範囲が同一の面に属するか」を指定し、生成処理部１０５がその結果を利用してもよい。また、生成処理部１０５が、ＲＡＮＳＡＣ（Random Sample Consensus）等のアルゴリズムを用いて、ユーザの操作によらずに自動的にソリッドモデルを生成してもよい。ソリッドモデルを生成する際、生成処理部１０５は、点群の３次元位置、色（Ｒ，Ｇ，Ｂ）、輝度の情報を利用して、これらの情報の変化を算出してもよい。
【0044】
［生成済みの３次元モデルの利用］
なお、過去の検査等により既に３次元モデルが生成あるいは取得されている場合は、生成処理部１０５がそのモデルを読み込んでもよい。このような生成済みの３次元モデルを利用する場合、取得処理部１０３は、建造物を撮影した複数の画像であって、記憶装置２００（メモリ）に記憶された複数の画像と撮影日時が異なる複数の画像（例えば、記憶されている画像よりも撮影日時が新しく、３次元モデルの生成に用いられていない画像）を取得することができる（取得処理、取得工程）。また、対応付け処理部１０７は、取得した複数の画像と、記憶装置２００に記憶された３次元モデルの部材と、を対応付けることができる（対応付け処理、対応付け工程）。対応付け処理部１０７は、例えば、取得した複数の画像と、記憶装置２００に記憶された複数の画像と、の相関に基づいて対応付け処理（対応付け工程）を行うことができる。
なお、過去の検査等により既に３次元モデルが生成あるいは取得されている場合は、生成処理部１０５がそのモデルを読み込んでもよい。このような生成済みの３次元モデルを利用する場合、取得処理部１０３は、建造物を撮影した複数の画像であって、記憶装置２００（メモリ）に記憶された複数の画像と撮影日時が異なる複数の画像（例えば、記憶されている画像よりも撮影日時が新しく、３次元モデルの生成に用いられていない画像）を取得することができる（取得処理、取得工程）。また、対応付け処理部１０７は、取得した複数の画像と、記憶装置２００に記憶された３次元モデルの部材と、を対応付けることができる（対応付け処理、対応付け工程）。対応付け処理部１０７は、例えば、取得した複数の画像と、記憶装置２００に記憶された複数の画像と、の相関に基づいて対応付け処理（対応付け工程）を行うことができる。
【0045】
［部材の特定］
特定処理部１０６（プロセッサ）は、３次元モデルにおいて、建造物を構成する部材を特定する（ステップＳ１３０：特定処理、特定工程）。すなわち、特定処理部１０６は、「３次元モデルの各領域が建造物のどの部材に対応するか」を特定する。特定処理部１０６は、ユーザの操作に基づいて部材を特定してもよいし、ユーザが部材を特定する操作によらずに特定してもよい。特定処理部１０６は、部材を特定する際に、部材の形状や寸法に関する情報を用いてもよい。例えば「水平面内で２次元状に広がり、面積がしきい値以上である部材は床版である」、「床版に付着し、１次元状に延伸する部材は主桁である」等の情報を用いることができる。また、特定処理部１０６は、３次元モデルを構成する部材を正解ラベルとして与えた機械学習により構成された、ＤＮＮ等の学習器を用いて部材を特定してもよい。図７は、部材が特定された３次元モデルの例を示す図である。同図の例では、橋梁の３次元モデル５１０は、床版５１２、壁部５１４、及び脚部５１６の各部材から構成されている。
特定処理部１０６（プロセッサ）は、３次元モデルにおいて、建造物を構成する部材を特定する（ステップＳ１３０：特定処理、特定工程）。すなわち、特定処理部１０６は、「３次元モデルの各領域が建造物のどの部材に対応するか」を特定する。特定処理部１０６は、ユーザの操作に基づいて部材を特定してもよいし、ユーザが部材を特定する操作によらずに特定してもよい。特定処理部１０６は、部材を特定する際に、部材の形状や寸法に関する情報を用いてもよい。例えば「水平面内で２次元状に広がり、面積がしきい値以上である部材は床版である」、「床版に付着し、１次元状に延伸する部材は主桁である」等の情報を用いることができる。また、特定処理部１０６は、３次元モデルを構成する部材を正解ラベルとして与えた機械学習により構成された、ＤＮＮ等の学習器を用いて部材を特定してもよい。図７は、部材が特定された３次元モデルの例を示す図である。同図の例では、橋梁の３次元モデル５１０は、床版５１２、壁部５１４、及び脚部５１６の各部材から構成されている。
【0046】
記憶制御処理部１０９は、生成した３次元モデルを示すデータを、３次元モデルデータ２０６として記憶装置２００に記憶させることができる（記憶制御処理、記憶制御工程）。
【0047】
［代表画像の選択］
上述した点群は撮影画像に含まれる特徴点の位置を示す情報であり、またステップＳ１３０で部材が特定されているので、各部材に対応する撮影画像を特定することができる。しかしながら、３次元モデルを作成するため、通常は各部材について非常に多くの画像を取得しているので、ユーザが画像を選択するのは手間が掛かる作業である。そこで画像処理システム１において、受付処理部１１０（プロセッサ）は画像の選択基準の指定を受け付け（ステップＳ１４０：受付処理、受付工程）、選択処理部１０８（プロセッサ）は、その基準に従って、撮影された画像の中から、特定された部材に対応する画像（代表画像）を選択する（ステップＳ１４０：選択処理、選択工程）。
上述した点群は撮影画像に含まれる特徴点の位置を示す情報であり、またステップＳ１３０で部材が特定されているので、各部材に対応する撮影画像を特定することができる。しかしながら、３次元モデルを作成するため、通常は各部材について非常に多くの画像を取得しているので、ユーザが画像を選択するのは手間が掛かる作業である。そこで画像処理システム１において、受付処理部１１０（プロセッサ）は画像の選択基準の指定を受け付け（ステップＳ１４０：受付処理、受付工程）、選択処理部１０８（プロセッサ）は、その基準に従って、撮影された画像の中から、特定された部材に対応する画像（代表画像）を選択する（ステップＳ１４０：選択処理、選択工程）。
【0048】
図９は、代表画像の選択基準を設定する様子を示す図であり、受付処理部１１０は、このような画面を表示装置２０に表示させる。図９の例では、受付処理部１１０は、損傷情報に含まれる情報（損傷の数、大きさ、損傷の程度（度合い）、時間変化）について、ユーザの操作に応じて優先度を設定する。また、受付処理部１１０は、ユーザの操作に応じて、選択する代表画像の枚数（１枚でもよいし、複数枚でもよい）を設定する。このような設定に応じて、選択処理部１０８は、設定された優先度に従って、指定された数の画像を選択する。これにより、ユーザは代表画像を迅速かつ容易に選択することができる。なお、図９に示す態様は選択基準設定の一例であり、他の基準（例えば、撮影画像の画質、部材の種類、部材の識別番号等）に基づいて代表画像を選択してもよい。
【0049】
［処理結果の出力］
図１０は、処理結果の出力態様を設定する様子を示す図である。同図に示す例では、ユーザは、操作部３００を介したラジオボタンの選択及び数値入力により、２次元点検調書の表示、３次元モデルの表示、代表画像の表示タイミング、合成画像のマッピングの有無、損傷の強調表示、３次元モデルへの２次元点検調書の表示の有無を選択することができる。そして、設定された内容に従い、画像配置処理部１１２、情報入力部１１４、表示処理部１１６が単独で、または協調して、特定された部材と、選択された画像と、損傷情報と、を対応付けて出力する（ステップＳ１５０：出力処理、出力工程）。ステップＳ１１０からＳ１５０までの処理は、ステップＳ１６０で終了の判断が肯定されるまで、繰り返し行うことができる。なお、出力態様の設定、及び設定した態様での出力は、ユーザが希望するタイミングで行うことができる。例えば、あるモードで処理結果を表示させた後、別のモードで再度表示させることができる。各出力態様の具体的な内容は、以下で説明する。
図１０は、処理結果の出力態様を設定する様子を示す図である。同図に示す例では、ユーザは、操作部３００を介したラジオボタンの選択及び数値入力により、２次元点検調書の表示、３次元モデルの表示、代表画像の表示タイミング、合成画像のマッピングの有無、損傷の強調表示、３次元モデルへの２次元点検調書の表示の有無を選択することができる。そして、設定された内容に従い、画像配置処理部１１２、情報入力部１１４、表示処理部１１６が単独で、または協調して、特定された部材と、選択された画像と、損傷情報と、を対応付けて出力する（ステップＳ１５０：出力処理、出力工程）。ステップＳ１１０からＳ１５０までの処理は、ステップＳ１６０で終了の判断が肯定されるまで、繰り返し行うことができる。なお、出力態様の設定、及び設定した態様での出力は、ユーザが希望するタイミングで行うことができる。例えば、あるモードで処理結果を表示させた後、別のモードで再度表示させることができる。各出力態様の具体的な内容は、以下で説明する。
【0050】
［その１：２次元点検調書を用いた出力］
図１１は、画像配置処理部１１２が、２次元点検調書（「指定された書式の文書ファイル」の一例）において、画像を配置する領域として指定された領域（画像領域）に代表画像（代表画像５５２，５５４，５５６，５５８）を配置した例である。同図中、代表画像５５２にはうき５５２Ａが写っており、代表画像５５４には剥離５５４Ａが写っている。このような形式の調書は複数ページに渡っていてもよい。図１１の例では、さらに、情報入力部１１４が、写真番号、部材名、要素番号、損傷の種類、程度等の損傷情報を、文書ファイルにおいて情報領域として指定された領域に入力している（情報入力処理、情報入力工程）。「メモ」欄の内容は、情報入力部１１４が損傷情報に基づいて自動的に入力してもよいし、ユーザの操作に基づいて入力してもよい。表示処理部１１６は、図１０の画面で「２次元点検調書表示モード」がオンの場合に、このような画面を表示装置２０に表示させる。また、表示処理部１１６は、この画面に対応する情報を点検調書データ２１０として記憶させる。
図１１は、画像配置処理部１１２が、２次元点検調書（「指定された書式の文書ファイル」の一例）において、画像を配置する領域として指定された領域（画像領域）に代表画像（代表画像５５２，５５４，５５６，５５８）を配置した例である。同図中、代表画像５５２にはうき５５２Ａが写っており、代表画像５５４には剥離５５４Ａが写っている。このような形式の調書は複数ページに渡っていてもよい。図１１の例では、さらに、情報入力部１１４が、写真番号、部材名、要素番号、損傷の種類、程度等の損傷情報を、文書ファイルにおいて情報領域として指定された領域に入力している（情報入力処理、情報入力工程）。「メモ」欄の内容は、情報入力部１１４が損傷情報に基づいて自動的に入力してもよいし、ユーザの操作に基づいて入力してもよい。表示処理部１１６は、図１０の画面で「２次元点検調書表示モード」がオンの場合に、このような画面を表示装置２０に表示させる。また、表示処理部１１６は、この画面に対応する情報を点検調書データ２１０として記憶させる。
【0051】
なお、文書のフォーマットや代表画像のレイアウトは各種考えられる。例えば、点検調書等の文書は、国土交通省、地方自治体等の定める書式でもよいし、他の書式でもよい。点検調書以外の、他の指定された書式の文書を用いてもよい。また、部材をキーにして代表画像がソートされて文書に配置されていてもよいし、損傷の種類をキーとして（損傷の種類ごとに）各部材の代表画像がソートされて配置されていてもよい。
【0052】
このような処理により、画像処理システム１では、ユーザは代表画像の選択及び点検調書の作成を迅速かつ容易に行うことができる。すなわち、ユーザは建造物を撮影した画像、建造物の３次元モデル、及び損傷情報を容易に取り扱うことができる。
【0053】
［その２：３次元モデルを用いた出力］
図１２は、３次元モデル５２０と、選択された画像（代表画像）の３次元モデルにおける位置を示すピン５３２，５３４（位置情報）と、を関連付けて表示装置に表示させた状態（第１の表示処理の結果）を示す図である。図１０で代表画像の表示タイミングが「ピン指定時」となっている場合に、このように代表画像の位置にピンが表示される。図１２の例は、３次元モデルは橋梁の脚部の壁面付近を表示したものであり、表示処理部１１６は、操作部３００を介したユーザの操作に応じて３次元モデルを拡大または縮小し、また視点の移動や視線方向の変更を行うことができる。また、表示処理部１１６は、３次元モデルを表示する際に、特定の部材（例えば、ユーザが指示した部材）の表示をオンまたはオフにしてもよい。表示処理部１１６は、図１０で「３次元モデル表示モード」がオンの場合に、このような表示を行う。なお、図１２～１５ではテクスチャなしの３次元モデルを示しているが、テクスチャありの３次元モデルについても同様の処理を行うことができる（図１６及び同図に関連する記載を参照）。
図１２は、３次元モデル５２０と、選択された画像（代表画像）の３次元モデルにおける位置を示すピン５３２，５３４（位置情報）と、を関連付けて表示装置に表示させた状態（第１の表示処理の結果）を示す図である。図１０で代表画像の表示タイミングが「ピン指定時」となっている場合に、このように代表画像の位置にピンが表示される。図１２の例は、３次元モデルは橋梁の脚部の壁面付近を表示したものであり、表示処理部１１６は、操作部３００を介したユーザの操作に応じて３次元モデルを拡大または縮小し、また視点の移動や視線方向の変更を行うことができる。また、表示処理部１１６は、３次元モデルを表示する際に、特定の部材（例えば、ユーザが指示した部材）の表示をオンまたはオフにしてもよい。表示処理部１１６は、図１０で「３次元モデル表示モード」がオンの場合に、このような表示を行う。なお、図１２～１５ではテクスチャなしの３次元モデルを示しているが、テクスチャありの３次元モデルについても同様の処理を行うことができる（図１６及び同図に関連する記載を参照）。
【0054】
表示処理部１１６は、損傷情報を３次元モデルに強調表示してもよい。例えば、ひび割れ、あるいはうきや剥離等、損傷もしくはその輪郭を太い線や目立つ色の線でなぞって表示する、等の態様で表示してもよい。
【0055】
なお、図１１の例では、表示処理部１１６はピンを損傷情報に応じた態様で識別表示している。具体的には、表示処理部１１６は損傷の種類に応じてピンの記号を変えて表示しているが、記号の他に色や数字を変えてもよいし、アイコン状に表示してもよい。また、損傷の程度に応じて表示態様を変えてもよい。ユーザは、図１２の例において、例えばマウス３２０により画面上でカーソル５４０を移動させてピンを選択（クリック等）することができる。
【0056】
図１３は、表示処理部１１６が、画面に表示されたピン（位置情報）のうち指定されたものについて、代表画像を表示装置２０に表示させた状態（第２の表示処理の結果）を示す図である。図１３の（ａ）部分は、ピン５３２の指定により「うき」の代表画像５５２が表示された状態であり、同図の（ｂ）部分はピン５３４の指定により「剥離」の代表画像５５４が表示された状態である。表示処理部１１６は、３次元モデルとは別の領域、別の画面、あるいは別の表示装置に代表画像を表示させてもよい。
【0057】
図１４は、３次元モデルに代表画像を最初から表示した状態（第１の表示処理及び第３の表示処理の結果）を示す図である。表示処理部１１６は、図１０で代表画像の表示が「最初から」に設定されている場合にこのような表示を行う。図１４に示す例では、ピンと代表画像が引き出し線で結ばれているので、ユーザはピンと代表画像との関係を容易に把握することができる。ピンに結ばれた吹き出し状の図形に代表画像を表示してもよい。
【0058】
図１５は、２次元点検調書のうち、選択されたピンに対応する代表画像を含む部分を表示した様子（第４の表示処理の結果）を示す図である。表示処理部１１６は、図１０で「３次元モデルへの２次元点検調書表示」がオンである場合に、このような表示を行うことができる。表示処理部１１６は、このような部分的な２次元点検調書を、３次元モデルと別の領域、別の画面、別の表示装置に表示させてもよい。
【0059】
このような処理により、画像処理システム１では、ユーザは代表画像や点検調書の作成を迅速かつ容易に閲覧することができる。すなわち、ユーザは建造物を撮影した画像、建造物の３次元モデル、及び損傷情報を容易に取り扱うことができる。
【0060】
［その３：３次元モデルへの合成画像のマッピング］
図１６は、３次元モデル５２０（図１２参照）に合成画像をマッピングした３次元モデル５２２を、表示装置２０に表示した様子を示す図である。図１０で「合成画像のマッピング」がオンの場合に、このような表示が行われる。この態様では、画像合成部１１７（プロセッサ）が複数の撮影画像のうち特定された部材に対応する画像を合成し、表示処理部１１６が、合成された画像を特定された部材にマッピングして表示装置２０に表示させる（第５の表示処理）。画像の合成及びマッピングは、建造物の一部の部材について行ってもよいし、全ての部材について行ってもよい。なお、図１６に示す例では、表示処理部１１６は、上述した態様と同様に位置情報の識別表示（ピン５３２，５３４，５３６を損傷の種類に応じた記号で表示）を行っており、位置情報の選択に応じて代表画像や２次元点検調書を表示してもよい。また、損傷情報の強調表示を行ってもよい。
図１６は、３次元モデル５２０（図１２参照）に合成画像をマッピングした３次元モデル５２２を、表示装置２０に表示した様子を示す図である。図１０で「合成画像のマッピング」がオンの場合に、このような表示が行われる。この態様では、画像合成部１１７（プロセッサ）が複数の撮影画像のうち特定された部材に対応する画像を合成し、表示処理部１１６が、合成された画像を特定された部材にマッピングして表示装置２０に表示させる（第５の表示処理）。画像の合成及びマッピングは、建造物の一部の部材について行ってもよいし、全ての部材について行ってもよい。なお、図１６に示す例では、表示処理部１１６は、上述した態様と同様に位置情報の識別表示（ピン５３２，５３４，５３６を損傷の種類に応じた記号で表示）を行っており、位置情報の選択に応じて代表画像や２次元点検調書を表示してもよい。また、損傷情報の強調表示を行ってもよい。
【0061】
なお、図１６では、立体形状のみの３次元モデルに別途生成した合成画像をマッピングした例を示しているが、生成処理部１０５（プロセッサ）は、上述したＳｆＭ等により、テクスチャ付きの３次元モデルを直接生成してもよい。この際、生成処理部１０５は、ＭＶＳ（Multi-View Stereo：多眼ステレオ）等の他のアルゴリズムを用いてもよい。ＭＶＳは、単眼より情報量が多いという点で、より精細な３次元モデルを生成することができる。このようなテクスチャ付きの３次元モデルについても、図１２～１５について上述した態様と同様に、位置情報や代表画像の表示、部分的な２次元点検調書の表示、損傷情報の強調表示を行ってもよい。
【0062】
このような処理により、画像処理システム１では、ユーザは建造物を撮影した画像、建造物の３次元モデル、及び損傷情報を容易に取り扱うことができる。
【0063】
以上で本発明の実施形態について説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【0064】
１ 画像処理システム
１０ 画像処理装置
２０ 表示装置
３０ カメラ
１００ 処理部
１０２ 入力処理部
１０３ 取得処理部
１０４ 抽出処理部
１０５ 生成処理部
１０６ 特定処理部
１０７ 対応付け処理部
１０８ 選択処理部
１０９ 記憶制御処理部
１１０ 受付処理部
１１２ 画像配置処理部
１１４ 情報入力部
１１６ 表示処理部
１１７ 画像合成部
１１８ 通信制御部
２００ 記憶装置
２０２ 撮影画像
２０４ 合成画像
２０６ ３次元モデルデータ
２０８ 損傷情報
２１０ 点検調書データ
３００ 操作部
３１０ キーボード
３２０ マウス
５００ 点群
５１０ ３次元モデル
５１２ 床版
５１４ 壁部
５１６ 脚部
５２０ ３次元モデル
５２２ ３次元モデル
５３２ ピン
５３４ ピン
５３６ ピン
５４０ カーソル
５５２ 代表画像
５５２Ａ うき
５５４ 代表画像
５５４Ａ 剥離
５５６ 代表画像
５５８ 代表画像
Ｓ１００～Ｓ１６０ 画像処理方法の各ステップ
１０ 画像処理装置
２０ 表示装置
３０ カメラ
１００ 処理部
１０２ 入力処理部
１０３ 取得処理部
１０４ 抽出処理部
１０５ 生成処理部
１０６ 特定処理部
１０７ 対応付け処理部
１０８ 選択処理部
１０９ 記憶制御処理部
１１０ 受付処理部
１１２ 画像配置処理部
１１４ 情報入力部
１１６ 表示処理部
１１７ 画像合成部
１１８ 通信制御部
２００ 記憶装置
２０２ 撮影画像
２０４ 合成画像
２０６ ３次元モデルデータ
２０８ 損傷情報
２１０ 点検調書データ
３００ 操作部
３１０ キーボード
３２０ マウス
５００ 点群
５１０ ３次元モデル
５１２ 床版
５１４ 壁部
５１６ 脚部
５２０ ３次元モデル
５２２ ３次元モデル
５３２ ピン
５３４ ピン
５３６ ピン
５４０ カーソル
５５２ 代表画像
５５２Ａ うき
５５４ 代表画像
５５４Ａ 剥離
５５６ 代表画像
５５８ 代表画像
Ｓ１００～Ｓ１６０ 画像処理方法の各ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
