知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-26
(45)【発行日】2024-02-05
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240129BHJP
【ＦＩ】
G06T7/70 Z
【請求項の数】
17
(21)【出願番号】P 2021000253
(22)【出願日】2021-01-04
(65)【公開番号】P2022105442
(43)【公開日】2022-07-14
【審査請求日】2023-02-06
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】佐野 雄磨
(72)【発明者】
【氏名】中島 諒
(72)【発明者】
【氏名】柏木 正子
(72)【発明者】
【氏名】三島 直
(72)【発明者】
【氏名】関 晃仁
【審査官】笠田 和宏
(56)【参考文献】
【文献】米国特許出願公開第２０１０／００７３４８７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０１１６４９３（ＵＳ，Ａ１）
【文献】特開平１１－１２２６３８（ＪＰ，Ａ）
【文献】特開２０１１－２４４０５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
画像データ、前記画像データが撮像された撮像位置を表す位置データ、および、前記位置データにより表される撮像位置からオブジェクトまでの距離を表す奥行データをそれぞれが含む複数の撮像情報を格納する第１データベースを管理する第１管理部と、対象画像データを取得する取得部と、
前記対象画像データに基づき、前記対象画像データが撮像された撮像位置を表す対象位置データを推定する位置推定部と、
前記対象画像データに基づき、前記対象位置データにより表される撮像位置からオブジェクトまでの距離を表す対象奥行データを推定する奥行推定部と、
前記対象画像データ、前記対象位置データおよび前記対象奥行データを含む新たな撮像情報を前記第１データベースに登録する登録部と、
前記画像データが撮像された環境のマップを表すマップデータを表示装置に表示させる表示制御部と、
を備え、
前記表示制御部は、前記第１データベースに格納された前記複数の撮像情報のうちの指定された指定撮像情報に含まれる前記画像データおよび前記奥行データの少なくとも一方を、前記マップデータにおける前記指定撮像情報に含まれる前記位置データに対応する画素位置に、対応させて表示させる
情報処理装置。
【請求項2】
前記第１データベースに格納されている前記複数の撮像情報のそれぞれは、前記画像データを撮像したカメラの撮像姿勢を表す姿勢データをさらに含み、前記位置推定部は、前記対象画像データを撮像したカメラの撮像姿勢を表す対象姿勢データをさらに推定し、
前記登録部は、前記対象姿勢データをさらに含む前記新たな撮像情報を前記第１データベースに登録する
請求項１に記載の情報処理装置。
【請求項3】
複数の参照撮像情報を格納する第２データベースを管理する第２管理部をさらに備え、前記複数の参照撮像情報のそれぞれは、参照画像データ、前記参照画像データが撮像された撮像位置を表す参照位置データ、および、前記参照画像データを撮像したカメラの撮像姿勢を表す参照姿勢データを含み、
前記位置推定部は、前記対象画像データを、前記第２データベースに格納される前記複数の参照撮像情報のそれぞれと照合することにより、前記対象位置データおよび前記対象姿勢データを推定する
請求項２に記載の情報処理装置。
【請求項4】
複数の参照撮像情報を格納する第２データベースを管理する第２管理部をさらに備え、前記複数の参照撮像情報のそれぞれは、参照画像データ、前記参照画像データが撮像された撮像位置を表す参照位置データ、前記参照画像データを撮像したカメラの撮像姿勢を表す参照姿勢データ、および、前記参照位置データにより表される撮像位置からオブジェクトまでの距離を表す参照奥行データを含み、
前記位置推定部は、前記対象画像データおよび前記対象奥行データを、前記第２データベースにより管理される前記複数の参照撮像情報のそれぞれと照合することにより、前記対象位置データおよび前記対象姿勢データを推定する
請求項２に記載の情報処理装置。
【請求項5】
前記奥行推定部は、前記対象画像データのボケの強さに基づき、前記対象奥行データを推定する請求項１から４の何れか１項に記載の情報処理装置。
【請求項6】
前記第１データベースにより管理されている前記複数の撮像情報のうちの何れかの撮像情報を、前記指定撮像情報として指定を受け付ける入力部をさらに備える請求項１から５の何れか１項に記載の情報処理装置。
【請求項7】
前記複数の撮像情報のそれぞれは、前記画像データが撮像された日時を表す日時データをさらに含む請求項１から６の何れか１項に記載の情報処理装置。
【請求項8】
前記表示制御部は、前記第１データベースに格納されている前記複数の撮像情報のうち、指定された期間の前記日時データを含む撮像情報に含まれる前記画像データおよび前記奥行データの少なくとも一方を、前記マップデータにおける前記位置データに対応する画素位置に、対応させて表示させる請求項７に記載の情報処理装置。
【請求項9】
前記第１データベースに格納されている前記複数の撮像情報のうちの、同一のオブジェクトを異なる日時に撮像した前記画像データを含む第１撮像情報および第２撮像情報を取得し、前記第１撮像情報に含まれる前記画像データと前記第２撮像情報に含まれる前記画像データとを比較することによりオブジェクトにおける状態が変化した領域を表す変化領域情報を生成する比較部をさらに備え、前記表示制御部は、前記第１撮像情報または前記第２撮像情報に含まれる前記画像データを前記表示装置に表示させるとともに、前記変化領域情報を前記画像データにおけるオブジェクトの状態が変化した領域に対応させて表示させる
請求項７に記載の情報処理装置。
【請求項10】
前記比較部は、前記第１撮像情報に含まれる前記画像データおよび前記第２撮像情報に含まれる前記画像データの少なくとも一方に対して視点変換処理をすることにより、前記第１撮像情報に含まれる前記画像データと前記第２撮像情報に含まれる前記画像データとを同一の撮像位置および同一の撮像姿勢で撮像した状態に変換し、
同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した前記第１撮像情報に含まれる前記画像データと前記第２撮像情報に含まれる前記画像データとを比較することにより前記変化領域情報を生成する
請求項９に記載の情報処理装置。
【請求項11】
前記第１データベースに格納されている前記複数の撮像情報のうちの、同一のオブジェクトを異なる日時に撮像した前記画像データを含む第１撮像情報および第２撮像情報を取得し、前記第１撮像情報に含まれる前記奥行データと前記第２撮像情報に含まれる前記奥行データとを比較することによりオブジェクトにおける状態が変化した領域を表す変化領域情報を生成する比較部をさらに備え、前記表示制御部は、前記第１撮像情報または前記第２撮像情報に含まれる前記画像データを前記表示装置に表示させるとともに、前記変化領域情報を前記画像データにおけるオブジェクトの状態が変化した領域に対応させて表示させる
請求項７に記載の情報処理装置。
【請求項12】
前記第１撮像情報に含まれる前記奥行データおよび前記第２撮像情報に含まれる前記奥行データの少なくとも一方に対して視点変換処理をすることにより、前記第１撮像情報に含まれる前記奥行データと前記第２撮像情報に含まれる前記奥行データとを同一の撮像位置および同一の撮像姿勢で撮像した状態に変換し、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した前記第１撮像情報に含まれる前記奥行データと前記第２撮像情報に含まれる前記奥行データとを比較することにより前記変化領域情報を生成する
請求項１１に記載の情報処理装置。
【請求項13】
前記比較部は、オブジェクトにおける状態が変化した領域の大きさを、さらに算出する請求項９から１２の何れか１項に記載の情報処理装置。
【請求項14】
オブジェクトにおける状態が変化した領域における、状態の内容を認識する認識部をさらに備え、前記表示制御部は、状態の内容の認識結果を、前記画像データにおけるオブジェクトの状態が変化した領域に対応させて表示させる
請求項９から１３の何れか１項に記載の情報処理装置。
【請求項15】
対象画像データを取得する取得部と、前記対象画像データに基づき、前記対象画像データが撮像された撮像位置を表す対象位置データを推定する位置推定部と、
前記対象画像データに基づき、前記対象位置データにより表される撮像位置からオブジェクトまでの距離を表す対象奥行データを推定する奥行推定部と、
前記対象画像データが撮像された環境のマップを表すマップデータを表示装置に表示させる表示制御部と、
を備え、
前記表示制御部は、取得情報および予め生成された複数の撮像情報のうち何れかの指定を受け、
前記取得情報は、前記対象画像データ、前記対象位置データおよび前記対象奥行データを含み、
前記複数の撮像情報のそれぞれは、画像データ、前記画像データが撮像された撮像位置を表す位置データおよび前記位置データにより表される撮像位置からオブジェクトまでの距離を表す奥行データを含み、
前記表示制御部は、
前記取得情報が指定された場合、前記対象画像データおよび前記対象奥行データの少なくとも一方を、前記マップデータにおける前記位置データに対応する画素位置に対応させて表示させ、
前記複数の撮像情報のうちの何れかが指定された場合、前記画像データおよび前記奥行データの少なくとも一方を、前記マップデータにおける前記位置データに対応する画素位置に、対応させて表示させる
情報処理装置。
【請求項16】
情報処理装置により実行される情報処理方法であって、画像データ、前記画像データが撮像された撮像位置を表す位置データ、および、前記位置データにより表される撮像位置からオブジェクトまでの距離を表す奥行データをそれぞれが含む複数の撮像情報を格納する第１データベースを管理し、
対象画像データを取得し、
前記対象画像データに基づき、前記対象画像データが撮像された撮像位置を表す対象位置データを推定し、
前記対象画像データに基づき、前記対象位置データにより表される撮像位置からオブジェクトまでの距離を表す対象奥行データを推定し、
前記対象画像データ、前記対象位置データおよび前記対象奥行データを含む新たな撮像情報を前記第１データベースに登録し、
前記画像データが撮像された環境のマップを表すマップデータを表示装置に表示させ、
前記第１データベースに格納された前記複数の撮像情報のうちの指定された指定撮像情報に含まれる前記画像データおよび前記奥行データの少なくとも一方を、前記マップデータにおける前記指定撮像情報に含まれる前記位置データに対応する画素位置に、対応させて表示させる
情報処理方法。
【請求項17】
コンピュータにより実行されるプログラムであって、前記コンピュータを、
画像データ、前記画像データが撮像された撮像位置を表す位置データ、および、前記位置データにより表される撮像位置からオブジェクトまでの距離を表す奥行データをそれぞれが含む複数の撮像情報を格納する第１データベースを管理する第１管理部と、
対象画像データを取得する取得部と、
前記対象画像データに基づき、前記対象画像データが撮像された撮像位置を表す対象位置データを推定する位置推定部と、
前記対象画像データに基づき、前記対象位置データにより表される撮像位置からオブジェクトまでの距離を表す対象奥行データを推定する奥行推定部と、
前記対象画像データ、前記対象位置データおよび前記対象奥行データを含む新たな撮像情報を前記第１データベースに登録する登録部と、
前記画像データが撮像された環境のマップを表すマップデータを表示装置に表示させる表示制御部と、
して機能させ、
前記表示制御部は、前記第１データベースに格納された前記複数の撮像情報のうちの指定された指定撮像情報に含まれる前記画像データおよび前記奥行データの少なくとも一方を、前記マップデータにおける前記指定撮像情報に含まれる前記位置データに対応する画素位置に、対応させて表示させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
例えば建物、トンネル等の社会インフラストラクチャの内部または建物の内部をカメラにより撮像し、撮像して得られた大量の画像データを用いて、社会インフラストラクチャの内部、建物の内部、またはこれらに設けられた設備の状態を検査する作業が行われている。しかし、ＧＰＳ（Global Positioning System）等の測位システムを利用できないような屋内の環境において、このような検査作業をする場合、検査者は、大量の画像データのそれぞれに対して、撮像位置を入力しなければならなかった。
【0003】
また、このような検査作業において、検査者は、検査対象を撮像した画像データと、同一の検査対象を異なる時刻に撮像した画像データとを比較しなければならなかった。このため、作業者は、大量の画像データの中から同一の検査対象を異なる時刻に撮像した画像データを目視により選択したり、確認したりする作業をしなければならなく、作業に手間がかかってしまっていた。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１０２６７２号公報
【非特許文献】
【0005】
【文献】Ryo Nakashima and Akihito Seki, “SIR-Net: Scene-Independent End-to-End Trainable Visual Relocalizer”, 2019 International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission (3DIMPVT) , IEEE, 16-19 sept. 2019, pp. 472-481
【文献】Masako Kashiwagi, Nao Mishima, Tatsuo Kozakaya, Shinsaku Hiura, “Deep Depth from Aberration Map”, 2019 IEEE/CVF International Conference on Computer Vision (ICCV), IEEE, 27 Oct.-2 Nov. 2019, pp. 4069-4078
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、画像データまたは奥行データを、他の画像データまたは他の奥行データをと比較しやすいように表示することができる情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
実施形態に係る情報処理装置は、第１管理部と、取得部と、位置推定部と、奥行推定部と、登録部と、表示制御部とを備える。前記第１管理部は、画像データ、前記画像データが撮像された撮像位置を表す位置データ、および、前記位置データにより表される撮像位置からオブジェクトまでの距離を表す奥行データをそれぞれが含む複数の撮像情報を格納する第１データベースを管理する。前記取得部は、対象画像データを取得する。前記位置推定部は、前記対象画像データに基づき、前記対象画像データが撮像された撮像位置を表す対象位置データを推定する。前記奥行推定部は、前記対象画像データに基づき、前記対象位置データにより表される撮像位置からオブジェクトまでの距離を表す対象奥行データを推定する。前記登録部は、前記対象画像データ、前記対象位置データおよび前記対象奥行データを含む新たな撮像情報を前記第１データベースに登録する。前記表示制御部は、前記画像データが撮像された環境のマップを表すマップデータを表示装置に表示させる。前記表示制御部は、前記第１データベースに格納された前記複数の撮像情報のうちの指定された指定撮像情報に含まれる前記画像データおよび前記奥行データの少なくとも一方を、前記マップデータにおける前記指定撮像情報に含まれる前記位置データに対応する画素位置に、対応させて表示させる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る情報処理装置の機能構成を示す図。
【図2】第１データベースに格納されている情報の内容を示す図。
【図3】情報処理装置の登録処理の流れを示すフローチャート。
【図4】情報処理装置の表示処理の流れを示すフローチャート。
【図5】マップデータを表示した表示装置の一例を示す図。
【図6】位置アイコンおよび方向アイコンを表示した表示装置の一例を示す図。
【図7】マップデータおよび画像データを表示した表示装置の一例を示す図。
【図8】情報処理装置の変化領域情報の生成処理の流れを示すフローチャート。
【図9】変化領域画像を表示した表示装置の画面の一例を示す図。
【図10】視点変換処理を説明するための図。
【図11】第１変形例に係る情報処理装置の機能構成を示す図。
【図12】第２変形例に係る情報処理装置の機能構成を示す図。
【図13】第３変形例に係る情報処理装置の機能構成を示す図。
【図14】情報処理装置のハードウェア構成を示す図。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら実施形態に係る情報処理装置１０について説明する。
【0010】
情報処理装置１０は、検査対象となる複数のオブジェクトのそれぞれをカメラにより撮像した複数の画像データを取得する。検査対象となる複数のオブジェクトのそれぞれは、例えば、社会インフラストラクチャ、プラントまたは工場等の建物の内部部分およびこれらの内部に設けられる設備等である。そして、情報処理装置１０は、取得した複数の画像データに基づいて、複数のオブジェクトのそれぞれの劣化等の状態を判断するための情報を表示装置に表示させる。
【0011】
【0012】
情報処理装置１０は、ネットワーク上のサーバ、または、専用または汎用のコンピュータ等である。情報処理装置１０は、プログラムを実行することにより、図１に示すような機能構成を備える。すなわち、情報処理装置１０は、第１ＤＢ記憶部２２と、第１管理部２４と、第２ＤＢ記憶部２６と、第２管理部２８と、取得部３０と、位置推定部３２と、奥行推定部３４と、登録部３６と、マップ記憶部４０と、表示制御部４２と、入力部４４と、比較部４６とを備える。
【0013】
第１ＤＢ記憶部２２は、第１データベースを記憶する。第１ＤＢ記憶部２２は、情報処理装置１０の外部に設けられたサーバまたはクラウド等により実現されてもよい。
【0014】
第１データベースは、図２に示すように、複数の撮像情報を格納する。複数の撮像情報のそれぞれは、ＩＤ、日時データ、画像データ、位置データ、姿勢データ、奥行データおよびカメラパラメータを含む。
【0015】
ＩＤは、撮像情報を識別する情報である。日時データは、画像データを撮像した日付および時刻を表す情報である。画像データは、単眼のカメラにより撮像された２次元画像を表す。本実施形態において、画像データは、カラー画像のデータである。
【0016】
位置データは、画像データが撮像された撮像位置を表す。撮像位置は、現実空間の三次元点の位置を表す。例えば、撮像位置は、緯度、経度および高度により表される情報であってもよいし、任意の基準位置を原点としたＸ方向、Ｙ方向およびＺ方向の距離により表されてもよい。Ｘ方向、Ｙ方向およびＺ方向は、現実空間における互いに直交する方向である。
【0017】
姿勢データは、画像データを撮像したカメラの撮像姿勢を表す。撮像姿勢は、現実空間における、撮像位置から画像中心のオブジェクトへと向かう方向を表す。例えば、撮像姿勢は、方位により表される情報であってもよいし、任意の基準方向からの水平方向および垂直方向の角度により表されてもよい。
【0018】
奥行データは、位置データにより表される撮像位置から、画像データに含まれるオブジェクトまでの距離を表す。奥行データは、画像データと同一の画角のデータである。
【0019】
カメラパラメータは、画像データを撮像したカメラの撮像時における複数のパラメータを含む。本実施形態において、カメラパラメータは、焦点距離および画像中心を含む。すなわち、カメラパラメータは、画像座標とカメラ座標とを相互に変換するためのパラメータを含む。
【0020】
第１管理部２４は、第１ＤＢ記憶部２２に記憶された第１データベースを管理する。例えば、第１管理部２４は、第１データベースへのアクセスを管理する。例えば、第１管理部２４は、第１データベースから、指定された条件に合致する１または複数の撮像情報を取得する。
【0021】
第２ＤＢ記憶部２６は、第２データベースを記憶する。第２ＤＢ記憶部２６は、情報処理装置１０の外部に設けられたサーバまたはクラウド等により実現されてもよい。
【0022】
第２データベースは、複数の参照撮像情報を格納する。複数の参照撮像情報のそれぞれは、参照画像データ、参照位置データおよび参照姿勢データを含む。
【0023】
参照画像データは、単眼のカメラにより撮像された２次元画像を表す。参照位置データは、参照画像データが撮像された撮像位置を表す。参照姿勢データは、参照画像データを撮像したカメラの撮像姿勢を表す。
【0024】
複数の参照撮像情報は、作業者またはロボット等が、検査対象となる複数のオブジェクトをカメラにより撮像することにより生成した情報である。参照位置データおよび参照姿勢データは、参照画像データの撮像時において、作業者等が入力した情報である。また、複数の参照画像データは、一眼レフカメラのようなハイスペックのカメラにより撮像された精度の良い画像を表すことが好ましい。これにより、第２データベースは、精度の良い複数の参照撮像情報を格納することができる。
【0025】
第２管理部２８は、第２ＤＢ記憶部２６に記憶された第２データベースを管理する。例えば、第２管理部２８は、第２データベースへのアクセスを管理する。例えば、第２管理部２８は、第２データベースから、指定された条件に合致する１または複数の参照撮像情報を取得する。
【0026】
取得部３０は、例えばインターネットなどの通信手段を介して、対象画像データを取得する。対象画像データは、検査対象となるオブジェクトをカメラにより撮像した画像データである。対象画像データは、作業者が撮像した画像データであってもよいし、ロボットが撮像した画像データであってもよい。対象画像データは、スマートフォンのような小型カメラで撮像した画像データであってもよいし、一眼レフのようなハイスペックカメラで撮像した画像データであってもよい。
【0027】
また、取得部３０は、対象画像データとともに、撮像日時を表す対象日時データ、および、少なくとも焦点距離および画像中心を表す対象カメラパラメータも取得する。取得部３０は、対象画像データ、対象日時データおよび対象カメラパラメータを、位置推定部３２、奥行推定部３４および登録部３６に送る。
【0028】
位置推定部３２は、対象画像データを受け取る。位置推定部３２は、対象画像データに基づき、対象画像データが撮像された撮像位置を表す対象位置データ、および、対象画像データを撮像したカメラの撮像姿勢を表す対象姿勢データを推定する。そして、位置推定部３２は、推定した対象位置データおよび対象姿勢データを登録部３６に送る。
【0029】
本実施形態においては、位置推定部３２は、第２管理部２８を介して第２データベースから複数の参照撮像情報を取得する。そして、位置推定部３２は、対象画像データを、取得した複数の参照撮像情報のそれぞれと照合することにより、対象位置データおよび対象姿勢データを推定する。例えば、位置推定部３２は、複数の参照撮像情報に含まれる複数の参照画像データのうち、対象画像データに最も近い撮像位置および撮像姿勢で撮像された近接画像データを探し出す。そして、位置推定部３２は、対象画像データと近接画像データとの間の位置差および姿勢差と、近接画像データを含んでいた参照撮像情報に含まれる参照位置データおよび参照姿勢データとに基づき、対象位置データおよび対象姿勢データを算出する。
【0030】
なお、位置推定部３２は、対象画像データおよび複数の参照撮像情報に基づき、ディープニューラルネットワークを用いて、対象位置データおよび対象姿勢データを算出することが可能である。例えば、位置推定部３２は、非特許文献１に記載されたディープニューラルネットワークを用いることにより、対象位置データおよび対象姿勢データを算出することが可能である。
【0031】
奥行推定部３４は、対象画像データを受け取る。奥行推定部３４は、対象画像データに基づき、対象位置データにより表される撮像位置から、対象画像データに含まれるオブジェクトまでの距離を表す対象奥行データを推定する。そして、奥行推定部３４は、推定した対象奥行データを登録部３６に送る。
【0032】
本実施形態においては、奥行推定部３４は、対象画像データのボケの強さに基づき、それぞれの画素位置のオブジェクトまでの距離を表す対象奥行データを推定する。奥行推定部３４は、画像データに含まれるオブジェクトのボケの強さとオブジェクトまでの距離とを対応付けるモデルを予め機械学習することによって、対象画像データから対象奥行データを推定することができる。例えば、奥行推定部３４は、非特許文献２に記載されたディープニューラルネットワークを用いることにより、対象画像データから、対象奥行データを算出することが可能である。なお、本実施形態では、奥行推定部３４は、奥行データを対象画像のボケの強さに基づき推定した。これに代えて、奥行推定部３４は、対象画像のコンテキストから奥行データを推定してもよいし、ステレオカメラから推定した視差から奥行データを算出してもよいし、ＬｉＤＡＲ（Light Detection and Ranging）のようなレーザの照射による測距装置を用いて計測したデータに基づき奥行データを生成してもよい。
【0033】
登録部３６は、対象画像データ、対象日時データ、対象カメラパラメータ、対象位置データ、対象姿勢データおよび対象奥行データを取得する。登録部３６は、対象画像データ、対象日時データ、対象カメラパラメータ、対象位置データ、対象姿勢データおよび対象奥行データを、画像データ、日時データ、カメラパラメータ、位置データ、姿勢データおよび奥行データとして含む新たな撮像情報を生成する。そして、登録部３６は、生成した新たな撮像情報を第１ＤＢ記憶部２２に記憶された第１データベースに登録する。これにより、登録部３６は、取得部３０が対象画像データを取得する毎に、第１データベースに新たな撮像情報を追加することができる。
【0034】
マップ記憶部４０は、第１データベースに格納された複数の画像データが撮像された環境のマップを表すマップデータを記憶する。例えば、マップデータは、検査対象となる複数のオブジェクトが設けられている場所の地図、機器の配置図またはフロアマップ等の画像を表す。また、マップデータは、画素位置が、現実空間の三次元点の位置に対応している。例えば、マップデータは、フロアマップを表す場合、画素が、現実のフロアにおける２次元位置に対応する。
【0035】
表示制御部４２は、マップ記憶部４０に記憶されたマップデータを取得する。そして、表示制御部４２は、取得したマップデータを表示装置に表示させる。
【0036】
さらに、表示制御部４２は、第１データベースから、１または複数の撮像情報を取得する。表示制御部４２は、取得した１または複数の撮像情報のそれぞれについて、マップデータ上に、画像データおよび奥行データが存在することを表す撮像位置情報を表示させる。この場合において、表示制御部４２は、マップデータにおける位置データに示される撮像位置に対応する画素位置に、撮像位置情報を表示させる。
【0037】
さらに、表示制御部４２は、取得した１または複数の撮像情報のそれぞれについて、マップデータ上に、画像データを撮像したカメラの撮像姿勢を表す撮像姿勢情報を表示させる。この場合、表示制御部４２は、マップデータにおける、位置データに示される撮像位置に対応する画素位置に、撮像姿勢情報を表示させる。
【0038】
入力部４４は、第１データベースから１または複数の撮像情報を取得するための条件情報を取得する。例えば、入力部４４は、ユーザにより入力された情報に基づき、条件情報を取得する。例えば、入力部４４は、条件情報として日時を取得する。表示制御部４２は、条件情報を取得した場合、第１データベースから、条件情報に一致する１または複数の撮像情報を取得する。例えば、表示制御部４２は、条件情報として日時が取得された場合、条件情報に一致する日時データを含む１または複数の撮像情報を第１データベースから取得し、取得した１または複数の撮像情報のそれぞれについて、マップデータ上に撮像位置情報および撮像姿勢情報を表示させる。
【0039】
さらに、入力部４４は、第１データベースに格納された複数の撮像情報のうちの何れかの撮像情報の指定を、例えばユーザから受け付ける。例えば、入力部４４は、表示制御部４２が取得した１または複数の撮像情報のうちの何れかの撮像情報の指定を受け付ける。例えば、入力部４４は、マップデータ上に表示された撮像位置情報をクリックする等の操作をすることにより、クリックされた撮像位置情報に対応する撮像情報の指定を受け付ける。なお、ここでは、指定された撮像情報を、指定撮像情報という。
【0040】
そして、表示制御部４２は、指定撮像情報に含まれる画像データおよび奥行データの少なくとも一方を、表示装置に表示させる。この場合、表示制御部４２は、マップデータにおける指定撮像情報に含まれる位置データに示される撮像位置に対応する画素位置に対応させて、画像データまたは奥行データを表示させる。
【0041】
また、さらに、入力部４４は、状態比較処理を実行させる操作を受け付ける。状態比較処理は、オブジェクトが劣化等により変化しているかどうかを、異なる日時に撮像された２つの画像データまたは２つの奥行データに基づき自動検出する処理である。
【0042】
比較部４６は、入力部４４が状態比較処理を実行させる操作を受け付けた場合、状態比較処理を実行する。比較部４６は、状態比較処理において、第１データベースに格納されている複数の撮像情報のうちの、同一のオブジェクトを異なる日時に撮像した画像データを含む第１撮像情報および第２撮像情報を取得する。
【0043】
例えば、入力部４４は、状態比較処理を実行させる操作とともに、第１撮像情報および第２撮像情報の指定を受け付けてもよい。この場合、比較部４６は、ユーザにより指定された第１撮像情報および第２撮像情報を取得する。
【0044】
そして、比較部４６は、取得した第１撮像情報および第２撮像情報に基づき、オブジェクトにおける状態が変化した領域を表す変化領域情報を生成する。例えば、比較部４６は、第１撮像情報に含まれる画像データと第２撮像情報に含まれる画像データとを比較することにより、オブジェクトにおける状態が変化した領域を表す変化領域情報を生成する。
【0045】
この場合、比較部４６は、第１撮像情報に含まれる画像データおよび第２撮像情報に含まれる画像データの少なくとも一方に対して視点変換処理をすることにより、第１撮像情報に含まれる画像データと第２撮像情報に含まれる画像データとを同一の撮像位置および同一の撮像姿勢で撮像した状態に変換する。
【0046】
そして、比較部４６は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる画像データと第２撮像情報に含まれる画像データとを比較することにより、変化領域情報を生成する。例えば、比較部４６は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる画像データと第２撮像情報に含まれる画像データとの色または輝度の差分を算出し、差分が所定の閾値以上となる領域を表す変化領域情報を生成する。これにより、比較部４６は、異なる視点からオブジェクトが撮像された２つの画像データを精度良く比較して、オブジェクトにおける状態が変化した領域を精度良く表す変化領域情報を生成することができる。
【0047】
また、例えば、比較部４６は、第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとを比較することにより、オブジェクトにおける状態が変化した領域を表す変化領域情報を生成する。例えば、比較部４６は、第１撮像情報に含まれる奥行データおよび第２撮像情報に含まれる奥行データの少なくとも一方に対して視点変換処理をすることにより、第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとを同一の撮像位置および同一の撮像姿勢で撮像した状態に変換する。
【0048】
そして、比較部４６は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとを比較することにより、変化領域情報を生成する。例えば、比較部４６は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとの距離の差分を算出し、差分が所定の閾値以上となる領域を表す変化領域情報を生成する。これにより、比較部４６は、異なる視点からオブジェクトが撮像された２つの奥行データを精度良く比較して、オブジェクトにおける状態が変化した領域を精度良く表す変化領域情報を生成することができる。
【0049】
比較部４６は、生成した変化領域情報を表示制御部４２に送る。表示制御部４２は、状態比較処理が実行された場合、第１撮像情報または第２撮像情報に含まれる画像データまたは奥行データを表示装置に表示させるとともに、変化領域情報を、画像データまたは奥行データにおけるオブジェクトの状態が変化した領域に対応させて表示させる。
【0050】
また、比較部４６は、変化領域情報を生成した場合、オブジェクトにおける状態が変化した領域の大きさを、さらに算出してもよい。例えば、比較部４６は、変化領域情報の画像データ上での画素サイズに基づき、状態が変化した領域の現実空間でのサイズを算出してもよい。また、例えば、比較部４６は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとの同一画素位置での距離の差分に基づき、状態が変化した領域の現実空間での深さの変化量を算出してもよい。
【0051】
そして、この場合、比較部４６は、状態が変化した領域の大きさを表示制御部４２に送る。表示制御部４２は、第１撮像情報または第２撮像情報に含まれる画像データまたは奥行データを表示装置に表示させるとともに、比較部４６が算出した大きさを、画像データまたは奥行データにおけるオブジェクトの状態が変化した領域に対応させて表示させる。
【0052】
【0053】
まず、Ｓ１１において、情報処理装置１０は、対象画像データを取得する。情報処理装置１０は、対象画像データを撮像した日時を表す対象日時データ、および、対象画像データを撮像した時のカメラパラメータを示す対象カメラパラメータも取得する。
【0054】
続いて、Ｓ１２において、情報処理装置１０は、対象画像データに基づき、対象画像データが撮像された撮像位置を表す対象位置データ、および、対象画像データを撮像したカメラの撮像姿勢を表す対象姿勢データを推定する。例えば、情報処理装置１０は、対象画像データおよび第２データベースに格納された複数の参照撮像情報を、非特許文献１に記載されたディープニューラルネットワークに入力して、対象位置データおよび対象姿勢データを推定する。
【0055】
続いて、Ｓ１３において、情報処理装置１０は、対象画像データに基づき、対象位置データにより表される撮像位置から、対象画像データに含まれるオブジェクトまでの距離を表す対象奥行データを推定する。例えば、情報処理装置１０は、対象画像データを、非特許文献２に記載されたディープニューラルネットワークに入力して、奥行データを算出する。
【0056】
続いて、Ｓ１４において、情報処理装置１０は、対象画像データ、対象日時データ、対象カメラパラメータ、対象位置データ、対象姿勢データおよび対象奥行データを含む新たな撮像情報を生成する。そして、情報処理装置１０は、生成した新たな撮像情報を第１データベースに登録する。情報処理装置１０は、Ｓ１４の処理を終えると、本フローの処理を終了する。
【0057】
情報処理装置１０は、対象画像データを取得する毎に、Ｓ１１からＳ１４に示す流れで処理を実行する。これにより、情報処理装置１０は、社会インフラストラクチャ、プラントまたは工場等の建物の内部部分およびこれらの内部に設けられる設備等が様々な位置から撮像される毎に、画像データ、日時データ、位置データ、姿勢データおよびカメラパラメータを含む撮像情報を生成して、第１データベースに登録することができる。
【0058】
図４は、情報処理装置１０の表示処理の流れを示すフローチャートである。図５は、マップデータを表示した表示装置の画面の一例を示す図である。図６は、マップデータ、位置アイコン２０６および方向アイコン２０８を表示した表示装置の画面の一例を示す図である。図７は、マップデータおよび画像データを表示した表示装置の画面の一例を示す図である。
【0059】
情報処理装置１０は、例えばユーザの操作により情報表示の操作がされた場合、図４に示す流れで処理を実行する。
【0060】
まず、Ｓ２１において、情報処理装置１０は、マップ記憶部４０に記憶されたマップデータを取得し、取得したマップデータを表示装置に表示させる。例えば、情報処理装置１０は、図５に示すように、検査対象となる複数のオブジェクトが設けられている屋内のフロアマップを表すフロアマップ画像２０２を、マップデータとして表示装置に表示させる。
【0061】
続いて、Ｓ２２において、情報処理装置１０は、条件情報を取得する。例えば、情報処理装置１０は、図５に示すように、条件情報の一例である日付の指定を受け付けるための日付入力ボックス２０４を表示装置に表示させる。そして、情報処理装置１０は、ユーザに対して、日付入力ボックス２０４に日付を入力させる。なお、情報処理装置１０は、日付に限らず、月、年または任意の期間を条件情報として取得してもよい。
【0062】
続いて、Ｓ２３において、情報処理装置１０は、第１データベースから、取得した条件情報に一致する１または複数の撮像情報を取得する。例えば、情報処理装置１０は、日付入力ボックス２０４に入力された日付に一致する日時データを含む１または複数の撮像情報を第１データベースから取得する。
【0063】
続いて、Ｓ２４において、取得した１または複数の撮像情報のそれぞれについて、マップデータ上に、画像データおよび奥行データが存在することを表す撮像位置情報、および、画像データを撮像したカメラの撮像姿勢を表す撮像姿勢情報を表示させる。例えば、情報処理装置１０は、図６に示すように、取得した１または複数の撮像情報のそれぞれについて、位置アイコン２０６を撮像位置情報として表示装置に表示させ、方向アイコン２０８を撮像姿勢情報として表示装置に表示させる。この場合、情報処理装置１０は、位置アイコン２０６を、フロアマップ画像２０２における、対応する位置データに示される撮像位置に対応する画素位置に表示させる。また、情報処理装置１０は、方向アイコン２０８を、フロアマップ画像２０２における、対応する位置データに示される撮像位置に対応する画素位置に、対応する姿勢データに示される方向を示すように表示させる。
【0064】
続いて、Ｓ２５において、情報処理装置１０は、取得した１または複数の撮像情報のうち、何れかの撮像情報が指定撮像情報として指定されたか否かを判断する。例えば、情報処理装置１０は、図６に示すような、表示装置に表示されている１または複数の位置アイコン２０６のうちのいずれかがマウス等によりクリックされた場合、クリックされた位置アイコン２０６に対応する撮像情報が指定撮像情報として指定されたと判断する。
【0065】
情報処理装置１０は、何れの撮像情報も指定されてない場合（Ｓ２５のＮｏ）、処理をＳ２５で待機する。情報処理装置１０は、何れかの撮像情報が指定された場合（Ｓ２５のＹｅｓ）、処理をＳ２６に進める。
【0066】
Ｓ２６において、情報処理装置１０は、指定撮像情報に含まれる画像データおよび奥行データの少なくとも一方を、マップデータにおける、指定撮像情報に含まれる位置データに示される撮像位置に対応する画素位置に対応させて表示させる。例えば、表示制御部４２は、図７に示すように、フロアマップ画像２０２における対応する位置アイコン２０６から出る吹き出し画像２１０の中に、指定撮像情報に含まれる画像データまたは奥行データを表示させる。表示制御部４２は、フロアマップ画像２０２とは別のウィンドウを表示させ、別のウィンドウ内に画像データまたは奥行データを表示させてもよい。
【0067】
また、情報処理装置１０は、画像データまたは奥行データのうちの一方をユーザに指定させるための種類指定ボックス２１２を表画装置に表示させてもよい。情報処理装置１０は、ユーザに対して、種類指定ボックス２１２を用いて画像データまたは奥行データの何れを表示させるかを選択させる。そして、情報処理装置１０は、指定撮像情報に含まれる画像データおよび奥行データのうち、種類指定ボックス２１２を用いて選択された一方を、吹き出し画像２１０の中に表示させる。
【0068】
情報処理装置１０は、Ｓ２６の処理を終えると、処理をＳ２５に戻す。そして、異なる撮像情報が新たに指定された場合、情報処理装置１０は、新たな指定撮像情報について、Ｓ２６の処理を実行する。
【0069】
情報処理装置１０は、ユーザにより情報表示の操作がされた場合、Ｓ２１からＳ２６までの処理を実行する。これにより、情報処理装置１０は、社会インフラストラクチャ、プラントまたは工場等の建物の内部部分およびこれらの内部に設けられる設備等が様々な位置において撮像された画像データおよび対応する奥行データを、マップデータと対応付けながらユーザに表示することができる。これにより、情報処理装置１０は、何れのオブジェクトについての画像データまたは奥行データであるのかを容易に確認することができる。従って、情報処理装置１０は、画像データまたは奥行データを、他の画像データまたは他の奥行データをと比較しやすいように表示することができる。
【0070】
さらに、情報処理装置１０は、表示させる画像データおよび奥行データを、日時等の条件情報により容易に絞り込んで表示させることができる。これにより、情報処理装置１０は、時間の経過によってオブジェクトがどのように変化したのかを、ユーザに容易に確認させることができる。
【0071】
【0072】
情報処理装置１０は、オブジェクトが変化しているかどうかを検出する状態比較処理を実行する。例えば、情報処理装置１０は、図９に示すように、変化状況を検出させるため変化状況ボタンを含む種類指定ボックス２１２を表示装置に表示させてもよい。そして、情報処理装置１０は、ユーザにより変化状況ボタンが選択された場合、図８に示す流れで状態比較処理を実行する。
【0073】
まず、Ｓ３１において、情報処理装置１０は、第１撮像情報の指定を受け付ける。例えば、情報処理装置１０は、状態比較処理を実行する操作を受け付けた後に、フロアマップ画像２０２上に表示された何れかの位置アイコン２０６がクリックされた場合、クリックされた位置アイコン２０６に対応する撮像情報を、第１撮像情報として受け付ける。
【0074】
続いて、Ｓ３２において、情報処理装置１０は、第２撮像情報の指定を受け付ける。例えば、情報処理装置１０は、第１撮像情報に含まれる位置データおよび姿勢データから予め定められた距離および角度の範囲内の位置データおよび姿勢データを含み、且つ、第１撮像情報に含まれる日時データと異なる日時データを含む１または複数の撮像情報を選択する。続いて、情報処理装置１０は、選択した１または複数の撮像情報について、位置アイコン２０６および方向アイコン２０８をフロアマップ画像２０２に表示させる。そして、情報処理装置１０は、フロアマップ画像２０２上に表示された何れかの位置アイコン２０６がクリックされた場合、クリックされた位置アイコン２０６に対応する撮像情報を、第２撮像情報として受け付ける。これにより、情報処理装置１０は、近傍の視点から同一のオブジェクトを異なる日時に撮像した画像データを含む第１撮像情報および第２撮像情報を取得することができる。
【0075】
続いて、Ｓ３３において、情報処理装置１０は、第１撮像情報に含まれる画像データおよび第２撮像情報に含まれる画像データの少なくとも一方に対して視点変換処理をすることにより、第１撮像情報に含まれる画像データと第２撮像情報に含まれる画像データとを同一の撮像位置および同一の撮像姿勢で撮像した状態に変換する。さらに、情報処理装置１０は、第１撮像情報に含まれる奥行データおよび第２撮像情報に含まれる奥行データに対しても、同様に視点変換処理をすることにより、第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとを同一の撮像位置および同一の撮像姿勢で撮像した状態に変換する。なお、視線変換処理のさらなる詳細について、図１０を参照して後述する。
【0076】
続いて、Ｓ３４において、情報処理装置１０は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる画像データと第２撮像情報に含まれる画像データとを比較することにより、オブジェクトにおける状態が変化した領域を表す変化領域情報を生成する。例えば、情報処理装置１０は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる画像データと第２撮像情報に含まれる画像データとを対応する画素同士で比較することにより、色または輝度の差分が所定の閾値以上となる領域を表す変化領域情報を生成する。これに代えてまたはこれに加えて、情報処理装置１０は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとを比較することにより変化領域情報を生成してもよい。例えば、情報処理装置１０は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとを対応する画素同士で比較することにより、距離の差分が所定の閾値以上となる領域を表す変化領域情報を生成する。
【0077】
続いて、Ｓ３５において、情報処理装置１０は、オブジェクトにおける状態が変化した領域の大きさを算出する。例えば、情報処理装置１０は、変化領域情報の画像データ上での画素サイズに基づき、状態が変化した領域の現実空間でのサイズを算出する。また、例えば、情報処理装置１０は、同一の撮像位置および同一の撮像姿勢で撮像した状態に変換した第１撮像情報に含まれる奥行データと第２撮像情報に含まれる奥行データとの同一画素位置での距離の差分に基づき、状態が変化した領域での現実空間での深さの変化量を算出してもよい。
【0078】
続いて、Ｓ３６において、情報処理装置１０は、第１撮像情報または第２撮像情報に含まれる画像データまたは奥行データを表示装置に表示させるとともに、変化領域情報を画像データまたは奥行データにおけるオブジェクトの状態が変化した領域に対応させて表示させる。例えば、情報処理装置１０は、図９に示すように、画像データにおけるオブジェクトの状態が変化した領域に、変化領域の位置を表す変化領域画像２１４を表示させる。さらに、情報処理装置１０は、Ｓ３５で算出した大きさも、画像データにおけるオブジェクトの状態が変化した領域に対応させて表示させてもよい。
【0079】
これにより、情報処理装置１０は、社会インフラストラクチャ、プラントまたは工場等の建物の内部部分およびこれらの内部に設けられる設備等が、時間経過に応じて劣化等した場合、劣化した箇所をユーザに容易に確認させることができる。
【0080】
図１０は、視点変換処理を説明するための図である。情報処理装置１０は、例えば、以下に説明する方法により、視点変換処理を実行する。
【0081】
図１０に示された第１画像データＩｉは、第１撮像位置ｉから第１オブジェクト２３０を撮像した画像データである。第１奥行データＤｉは、第１画像データＩｉと同一の画角で、第１撮像位置ｉから第１オブジェクト２３０および第１オブジェクト２３０の周囲のオブジェクトまでの距離を表す。
【0082】
図１０に示された第２画像データＩｊは、第２撮像位置ｊから第１オブジェクト２３０を撮像した画像データである。第２撮像位置ｊは、第１撮像位置ｉとは異なる位置である。第２奥行データＤｊは、第２画像データＩｊと同一の画角で、第２撮像位置ｊから第１オブジェクト２３０および第１オブジェクト２３０の周囲のオブジェクトまでの距離を表す。
【0083】
また、Ｔｊｉは、第１撮像位置ｉから第２撮像位置ｊへとカメラを並行移動させる並進ベクトルを表す。Ｒｊｉは、第１撮像位置ｉでのカメラの撮像姿勢から、第２撮像位置ｊでのカメラの撮像姿勢へと、カメラを回転移動させる回転ベクトルを表す。
【0084】
第１画像データＩｉおよび第１奥行データＤｉにおける画素ｐの位置を（ｘ，ｙ）および奥行をＤｉ（ｐ）と表した場合、画素ｐの三次元座標｛Ｘｉ（ｐ），Ｙｉ（ｐ），Ｚｉ（ｐ）｝は、式（１）のように表される。
【数1】
【0085】
なお、ｆｘは、第１画像データＩｉの焦点距離の水平方向の成分を表す。ｆｙは、第１画像データＩｉの焦点距離の垂直方向の成分を表す。ｃｘは、第１画像データＩｉの画像中心の水平方向の成分を表す。ｃｙは、第１画像データＩｉの画像中心の垂直方向の成分を表す。
【0086】
ここで、ｐは、第１画像データＩｉおよび第１奥行データＤｉにおける、第１オブジェクト２３０のＰ点が表示された画素位置である。ｐの三次元座標｛Ｘｉ（ｐ），Ｙｉ（ｐ），Ｚｉ（ｐ）｝は、Ｐ点を第１撮像位置ｉから見たときの三次元座標である。従って、Ｐ点を第２撮像位置ｊから見たときの三次元座標｛Ｘ´，Ｙ´，Ｚ´｝は、ＴｊｉおよびＲｊｉに基づき、画素ｐの三次元座標｛Ｘｉ（ｐ），Ｙｉ（ｐ），Ｚｉ（ｐ）｝に基づき、式（２）のように表される。
【数2】
【0087】
ｐ´は、第２画像データＩｊおよび第２奥行データＤｊにおける、第１オブジェクト２３０のＰ点が表示された画素位置である。ｐ´は、三次元座標｛Ｘ´，Ｙ´，Ｚ´｝を、第２画像データＩｊに投影することにより算出される。従って、第２画像データＩｊにおける第１オブジェクト２３０のＰ点が表示された画素ｐ´＝（ｘ´，ｙ´）は、式（３）のように表される。
【数3】
【0088】
なお、ｆ´ｘは、第２画像データＩｊの焦点距離の水平方向の成分を表す。ｆ´ｙは、第２画像データＩｊの焦点距離の垂直方向の成分を表す。ｃ´ｘは、第２画像データＩｊの画像中心の水平方向の成分を表す。ｃ´ｙは、第２画像データＩｊの画像中心の垂直方向の成分を表す。
【0089】
また、第２奥行データＤｊにおける第１オブジェクト２３０のＰ点が表示された画素ｐ´の奥行（Ｄｉ（ｐ´））は、Ｚ´により表される。
【0090】
以上から、情報処理装置１０は、式（１）、式（２）および式（３）を用いて演算をすることにより、第１撮像情報に含まれる画像データおよび奥行データを、第２撮像情報に含まれる画像データの撮像位置および撮像姿勢から撮像した補正画像データおよび補正奥行データとなるように、視点変換処理を実行することができる。
【0091】
なお、ｐ´（＝（ｘ´，ｙ´））は、整数値とならない場合がある。この場合、情報処理装置１０は、視点変換処理をした後の補正画像データおよび補正奥行データに対して、バイリニア補間処理等を行って、整数位置の画素を含む補正画像データおよび補正奥行データに変換する。これにより、情報処理装置１０は、互いに同一の位置の複数の画素を含む画像データおよび奥行データを比較して、変化領域情報を生成することができる。
【0092】
また、情報処理装置１０は、上述の方法以外の視点変換処理を実行してもよい。例えば、情報処理装置１０は、第１撮像情報に含まれる画像データおよび奥行データ、および、第２撮像情報に含まれる画像データおよび奥行データのそれぞれを、式（１）を用いて３次元座標で表された３次元点群情報に変換し、３次元点群情報の状態で視点を一致させるようにしてもよい。この場合、例えば、情報処理装置１０は、ＩＣＰ（(Iterative Closest Point）またはＮＤＴ（Normal Distribution Transform）等の方法を用いて、３次元点群情報の状態で視点を一致させる。
【0093】
図１１は、第１変形例に係る情報処理装置１０の機能構成を示す図である。情報処理装置１０は、図１に示す構成に代えて、図１１に示すような第１変形例に係る構成であってもよい。なお、第１変形例に係る情報処理装置１０は、図１に示す構成と略同一であるので、略同一および機能を有する構成要素については同一の符号を付けて、相違点を除き詳細な説明を省略する。第２変形例以降についても同様である。
【0094】
第３変形例に係る情報処理装置１０は、認識部８０をさらに備える。認識部８０は、表示制御部４２が取得した１または複数の撮像情報のうち、何れかの撮像情報が指定撮像情報として指定された場合、指定撮像情報に含まれる画像データを取得する。例えば、認識部８０は、表示装置に表示されている１または複数の位置アイコン２０６のうちのいずれかがマウス等によりクリックされた場合、クリックされた位置アイコン２０６に対応する指定撮像情報に含まれる画像データを取得する。
【0095】
認識部８０は、取得した画像データに対して画像認識処理を実行し、オブジェクトにひび割れまたはさび等の劣化内容を認識する。認識部８０は、認識結果を表示制御部４２に送る。そして、表示制御部４２は、認識部８０から受け取った認識結果を、指定撮像情報に含まれる画像データまたは奥行データとともに、表示装置に表示させる。これにより、第１変形例に係る情報処理装置１０は、オブジェクトに劣化が生じている場合、劣化内容をユーザに知らせることができる。
【0096】
なお、認識部８０は、比較部４６が状態比較処理を実行した場合において、画像データにおける変化領域情報に示された領域に対して画像認識処理を実行してもよい。これにより、第１変形例に係る情報処理装置１０は、変化領域にどのような内容の変化が生じているかをユーザに認識させることができる。
【0097】
図１２は、第２変形例に係る情報処理装置１０の機能構成を示す図である。
【0098】
第２変形例において、第２データベースが格納する複数の参照撮像情報のそれぞれは、参照奥行データをさらに含む。参照奥行データは、参照画像データが撮像された位置から、参照画像データに含まれるオブジェクトまでの距離を表す。参照奥行データは、参照画像データと同一の画角のデータである。参照奥行データは、例えば、ステレオカメラのようなハイスペックのカメラにより生成された奥行データであってもよい。これにより、第２データベースは、精度の良い奥行データを含む参照撮像情報を格納することができる。
【0099】
また、第２変形例に係る奥行推定部３４は、図１２に示すように、推定した対象奥行データを位置推定部３２に送る。
【0100】
第２変形例に係る位置推定部３２は、対象画像データおよび対象奥行データを受け取る。位置推定部３２は、対象画像データおよび対象奥行データに基づき、対象画像データが撮像された撮像位置を表す対象位置データ、および、対象画像データを撮像したカメラの撮像姿勢を表す対象姿勢データを推定する。そして、位置推定部３２は、推定した対象位置データおよび対象姿勢データを登録部３６に送る。
【0101】
本変形例において、位置推定部３２は、第２管理部２８を介して第２データベースから複数の参照撮像情報を取得する。そして、位置推定部３２は、対象画像データおよび対象奥行データの組を、取得した複数の参照撮像情報のそれぞれと照合することにより、対象位置データおよび対象姿勢データを推定する。例えば、位置推定部３２は、複数の参照撮像情報に含まれる複数組の参照画像データおよび参照奥行データのうち、対象画像データおよび対象奥行データの組に最も近い撮像位置および撮像姿勢で撮像された近接画像データおよび近接奥行データの組を探し出す。そして、位置推定部３２は、対象画像データおよび対象奥行データの組と、近接画像データおよび近接奥行データの組との間の位置差および姿勢差と、近接画像データおよび近接奥行データの組を含んでいた参照撮像情報に含まれる参照位置データおよび参照姿勢データとに基づき、対象位置データおよび対象姿勢データを算出する。なお、位置推定部３２は、対象画像データ、対象奥行データおよび複数の参照撮像情報に基づき、ディープニューラルネットワークを用いて、対象位置データおよび対象姿勢データを算出してもよい。
【0102】
このような第２変形例に係る位置推定部３２は、奥行データをさらに用いることにより、より精度良く対象位置データおよび対象姿勢データを推定することができる。例えば、対象画像データと見た目が類似した複数の参照画像データが第２データベースに含まれる場合であっても、位置推定部３２は、対象奥行データと参照奥行データとを比較することで、より精度よく近接画像データと近接奥行データの組を探し出すことができる。この結果、位置推定部３２は、より精度よく対象位置データおよび対象姿勢データを算出することができる。
【0103】
図１３は、第３変形例に係る情報処理装置１０の機能構成を示す図である。
【0104】
第３変形例において、登録部３６は、対象画像データ、対象日時データ、対象カメラパラメータ、対象位置データ、対象姿勢データおよび対象奥行データを含む新たな撮像情報を、第１データベースに登録するとともに、新たな撮像情報を取得情報として表示制御部４２に送る。また、第３変形例に係る登録部３６は、新たな撮像情報を第１データベースに登録せずに、新たな撮像情報を取得情報として表示制御部４２に送ってもよい。
【0105】
第３変形例において、表示制御部４２は、第１データベースから１または複数の撮像情報を取得するとともに、登録部３６から取得情報を取得する。表示制御部４２は、取得した１または複数の撮像情報および登録情報のそれぞれについて、マップデータ上に、画像データおよび奥行データが存在することを表す撮像位置情報を表示させる。
【0106】
そして、表示制御部４２は、取得情報および複数の撮像情報のうち何れかの指定を受け付ける。表示制御部４２は、取得情報が指定された場合、対象画像データおよび対象奥行データの少なくとも一方を、マップデータにおける位置データに対応する画素位置に対応させて表示させる。表示制御部４２は、複数の撮像情報のうちの何れかが指定された場合、画像データおよび奥行データの少なくとも一方を、マップデータにおける位置データに対応する画素位置に、対応させて表示させる。
【0107】
このような第３変形例に係る情報処理装置１０は、インターネットなどの通信手段を介して対象画像データを取得した場合、取得した対象画像データに基づき生成した取得情報を、第１データベースに予め登録されている複数の撮像情報とともに、劣化等の状態を判断するために表示装置に表示させることができる。
【0108】
図１４は、実施形態に係る情報処理装置１０のハードウェア構成の一例を示す図である。情報処理装置１０は、例えば図１４に示すようなハードウェア構成のコンピュータにより実現される。情報処理装置１０は、ＣＰＵ（Central Processing Unit）３０１と、ＲＡＭ（Random Access Memory）３０２と、ＲＯＭ（Read Only Memory）３０３と、操作入力装置３０４と、情報表示装置３０５と、記憶装置３０６と、通信装置３０７とを備える。そして、これらの各部は、バスにより接続される。
【0109】
ＣＰＵ３０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ３０１は、ＲＡＭ３０２の所定領域を作業領域として、ＲＯＭ３０３および記憶装置３０６等に記憶されたプログラムとの協働により各種処理を実行する。
【0110】
ＲＡＭ３０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ３０２は、ＣＰＵ３０１の作業領域として機能する。ＲＯＭ３０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。
【0111】
操作入力装置３０４は、マウスおよびキーボード等の入力デバイスである。操作入力装置３０４は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ３０１に出力する。
【0112】
情報表示装置３０５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスであり、表示装置の一例である。情報表示装置３０５は、ＣＰＵ３０１からの表示信号に基づいて、各種情報を表示する。
【0113】
記憶装置３０６は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置３０６は、ＣＰＵ３０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。通信装置３０７は、ＣＰＵ３０１からの制御に応じて外部の機器とネットワークを介して通信する。
【0114】
コンピュータで実行されるプログラムは、第１管理モジュールと、第２管理モジュールと、取得モジュールと、位置推定モジュールと、奥行推定モジュールと、登録モジュールと、表示制御モジュールと、入力モジュールと、比較モジュールとを含むモジュール構成となっている。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、プロセッサを第１管理部２４、第２管理部２８、取得部３０、位置推定部３２、奥行推定部３４、登録部３６、表示制御部４２、入力部４４および比較部４６として機能させる。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、記憶装置３０６を第１ＤＢ記憶部２２および第２ＤＢ記憶部２６として機能させる。なお、第１管理部２４、第２管理部２８、取得部３０、位置推定部３２、奥行推定部３４、登録部３６、表示制御部４２、入力部４４および比較部４６の一部または全部は、ハードウェア回路により実現されてもよい。
【0115】
また、コンピュータで実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0116】
また、このプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、このプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、情報処理装置１０で実行されるプログラムを、ＲＯＭ３０３等に予め組み込んで提供するように構成してもよい。
【0117】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0118】
１０ 情報処理装置
２２ 第１ＤＢ記憶部
２４ 第１管理部
２６ 第２ＤＢ記憶部
２８ 第２管理部
３０ 取得部
３２ 位置推定部
３４ 奥行推定部
３６ 登録部
４０ マップ記憶部
４２ 表示制御部
４４ 入力部
４６ 比較部
８０ 認識部
２２ 第１ＤＢ記憶部
２４ 第１管理部
２６ 第２ＤＢ記憶部
２８ 第２管理部
３０ 取得部
３２ 位置推定部
３４ 奥行推定部
３６ 登録部
４０ マップ記憶部
４２ 表示制御部
４４ 入力部
４６ 比較部
８０ 認識部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】