(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161748
(43)【公開日】2024-11-20
(54)【発明の名称】情報処理システム、方法およびプログラム
(51)【国際特許分類】
G01N 29/04 20060101AFI20241113BHJP
G01N 29/12 20060101ALI20241113BHJP
【ＦＩ】
G01N29/04
G01N29/12
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023076734
(22)【出願日】2023-05-08
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】大森 慎也
【テーマコード（参考）】
2G047
【Ｆターム（参考）】
2G047AA05
2G047BA04
2G047BC03
2G047BC04
2G047BC07
2G047CA03
2G047GA21
2G047GD02
2G047GG47
2G047GH06
(57)【要約】
【課題】 検査対象を打撃した打音に関する情報と、検査対象の撮影画像とを関連付けて保存する技術を提供する。
【解決手段】 検査対象を撮像した撮像画像を取得する第１取得手段と、前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段とを有することを特徴とする情報処理システム。
【選択図】 図９
【解決手段】 検査対象を撮像した撮像画像を取得する第１取得手段と、前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段とを有することを特徴とする情報処理システム。
【選択図】 図９
【特許請求の範囲】
【請求項1】
検査対象を撮像した撮像画像を取得する第１取得手段と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段と
を有することを特徴とする情報処理システム。
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段と
を有することを特徴とする情報処理システム。
【請求項2】
前記撮像画像はＥｘｉｆ領域を有し、
前記制御手段は、前記撮像画像のＥｘｉｆ領域に前記撮像画像における座標を保存させる
ことを特徴とする請求項１に記載の情報処理システム。
前記制御手段は、前記撮像画像のＥｘｉｆ領域に前記撮像画像における座標を保存させる
ことを特徴とする請求項１に記載の情報処理システム。
【請求項3】
前記第１取得手段は、前記検査対象の部分領域ごとに撮像した前記撮像画像を取得し、
前記第２取得手段は、前記部分領域ごとに前記打撃位置に関する情報を取得し、
前記制御手段は、前記部分領域ごとの前記打撃位置に関する情報と対応する前記部分領域の前記撮像画像の座標と対応する前記部分領域の撮像画像と関連付けた画像情報を生成し、生成した前記部分領域ごとの前記画像情報を合成して前記保存手段に保存させる
ことを特徴とする請求項１に記載の情報処理システム。
前記第２取得手段は、前記部分領域ごとに前記打撃位置に関する情報を取得し、
前記制御手段は、前記部分領域ごとの前記打撃位置に関する情報と対応する前記部分領域の前記撮像画像の座標と対応する前記部分領域の撮像画像と関連付けた画像情報を生成し、生成した前記部分領域ごとの前記画像情報を合成して前記保存手段に保存させる
ことを特徴とする請求項１に記載の情報処理システム。
【請求項4】
前記第１取得手段は、前記検査対象の部分領域ごとに撮像した画像のそれぞれを合成した前記撮像画像を取得し、
前記第２取得手段は、前記打撃位置に関する情報を取得し、
前記制御手段は、前記部分領域ごとの前記打撃位置に関する情報と対応する前記撮像画像における座標を合成された前記撮像画像に関連付けて保存手段に保存させる
ことを特徴とする請求項１に記載の情報処理システム。
前記第２取得手段は、前記打撃位置に関する情報を取得し、
前記制御手段は、前記部分領域ごとの前記打撃位置に関する情報と対応する前記撮像画像における座標を合成された前記撮像画像に関連付けて保存手段に保存させる
ことを特徴とする請求項１に記載の情報処理システム。
【請求項5】
撮像する領域を移動することで前記検査対象の部分領域ごとに前記撮像画像を撮像する撮像手段を有し、
前記第１取得手段は。前記撮像手段から前記撮像画像を取得する
ことを特徴とする請求項１に記載の情報処理システム。
前記第１取得手段は。前記撮像手段から前記撮像画像を取得する
ことを特徴とする請求項１に記載の情報処理システム。
【請求項6】
前記撮像手段は、雲台装置に搭載されることを特徴とする請求項５に記載の情報処理システム。
【請求項7】
打撃する位置を移動することで前記部分領域ごとに前記検査対象を打撃する打撃手段を有し、
前記第２取得手段は、前記打撃手段によって打撃された部分領域ごとに打撃位置に関する情報を取得する
ことを特徴とする請求項５または６に記載の情報処理システム。
前記第２取得手段は、前記打撃手段によって打撃された部分領域ごとに打撃位置に関する情報を取得する
ことを特徴とする請求項５または６に記載の情報処理システム。
【請求項8】
前記打撃手段は、無人飛行機に搭載されることを特徴とする請求項７に記載の情報処理システム。
【請求項9】
前記打撃手段は、前記撮像手段によって撮像された前記部分領域ごとに前記検査対象を打撃することを特徴とする請求項７に記載の情報処理システム。
【請求項10】
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記撮像画像に基づいて前記重複領域について打撃すると判断した場合に、前記検査対象の前記重複領域について打撃する打撃手段を有する
ことを特徴とする請求項３または４に記載の情報処理システム。
前記撮像画像に基づいて前記重複領域について打撃すると判断した場合に、前記検査対象の前記重複領域について打撃する打撃手段を有する
ことを特徴とする請求項３または４に記載の情報処理システム。
【請求項11】
前記打撃手段は、前記撮像画像に基づく前記検査対象の変状を検知した検知結果に基づいて、前記重複領域について打撃するか否かを判断することを特徴とする請求項１０に記載の情報処理システム。
【請求項12】
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記重複領域について打撃するようユーザから指示があった場合に、前記重複領域について前記検査対象を打撃する打撃手段を有する
ことを特徴とする請求項３または４に記載の情報処理システム。
前記重複領域について打撃するようユーザから指示があった場合に、前記重複領域について前記検査対象を打撃する打撃手段を有する
ことを特徴とする請求項３または４に記載の情報処理システム。
【請求項13】
前記検査対象は構造物であり、
前記変状はひび割れである
ことを特徴とする請求項１１に記載の情報処理システム。
前記変状はひび割れである
ことを特徴とする請求項１１に記載の情報処理システム。
【請求項14】
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記制御手段は、前記重複領域について保存すると判断した場合に、前記重複領域について、前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる
ことを特徴とする請求項３または４に記載の情報処理システム。
前記制御手段は、前記重複領域について保存すると判断した場合に、前記重複領域について、前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる
ことを特徴とする請求項３または４に記載の情報処理システム。
【請求項15】
前記第２取得手段は、前記検査対象を打撃した際の打音情報を取得し、
前記制御手段は、前記打音情報を前記撮像画像に関連付けて前記保存手段に保存させる
ことを特徴とする請求項１から６のいずれか１項に記載の情報処理システム。
前記制御手段は、前記打音情報を前記撮像画像に関連付けて前記保存手段に保存させる
ことを特徴とする請求項１から６のいずれか１項に記載の情報処理システム。
【請求項16】
前記打音情報は、前記検査対象を打撃した際の打音の振幅および周波数の時系列データであることを特徴とする請求項１５に記載の情報処理システム。
【請求項17】
前記第１取得手段は、前記検査対象について変状の検知処理を実行した結果を取得し、
前記制御手段は、前記検査対象について変状の検知処理を実行した結果を前記撮像画像に関連付けて前記保存手段に保存させる
ことを特徴とする請求項１に記載の情報処理システム。
前記制御手段は、前記検査対象について変状の検知処理を実行した結果を前記撮像画像に関連付けて前記保存手段に保存させる
ことを特徴とする請求項１に記載の情報処理システム。
【請求項18】
検査対象を撮像した撮像画像を取得する第１取得工程と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得工程と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御工程と
を有することを特徴とする情報処理方法。
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得工程と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御工程と
を有することを特徴とする情報処理方法。
【請求項19】
請求項１～１７のいずれか１項に記載の情報処理システムの各手段をコンピュータにより制御するためのコンピュータプログラム。
【請求項20】
検査対象を撮像した撮像画像を取得する第１取得手段と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段と
を有することを特徴とする情報処理装置。
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段と
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、構造物の点検において、変状を検出するために検査対象の画像および打音情報を取得するシステムに関する。
【背景技術】
【0002】
橋梁などの構造物壁面の点検において、検査対象を撮影した画像を用いた画像点検が行われている。また、画像点検からでは判別できない内部劣化調査を行うために弾性波（打音など）を用いた検査も同時に行われている。
【0003】
また、打音検査と検査対象の撮影とは別工程であるため。打音検査を行って取得された情報は、検査対象を撮影した画像とは別ファイルで記録されている。特許文献１では。前記打音検査を行って取得された情報を、打撃位置と紐づけて記録している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６５０６８１７号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、打音検査を行って取得された情報と、検査対象を撮影した画像とを関連付けて記録することが従来行われていなかった。
【0006】
本発明は上記課題に鑑みてなされたものであり、その目的は検査対象を打撃した打音に関する情報と、検査対象の撮影画像とを関連付けて保存する技術を提供しようとするものである。
【課題を解決するための手段】
【0007】
上記目的を達成するため、例えば本発明の情報処理システムは以下の構成を備える。すなわち、本発明の情報処理システムは、検査対象を撮像した撮像画像を取得する第１取得手段と、前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段とを有する。
【発明の効果】
【0008】
本発明によれば、検査対象を打撃した打音に関する情報と、検査対象の撮影画像とを関連付けて保存できる。
【図面の簡単な説明】
【0009】
【図1】本実施形態のシステム構成図
【図2】本実施形態の機能ブロック図
【図3】本実施形態の各装置の構成を示すブロック図
【図4】本実施形態のシステムにより検査対象を撮影する方法を説明する図
【図5】本実施形態のシステムにより撮影される画像を説明する図
【図6】本実施形態のシステムの動作を示すフローチャート
【図7】打撃位置設定処理を示すフローチャート
【図8】本実施形態のシステムにより取得する検査音の画像に対する座標を説明する図
【図9】打音処理を示すフローチャート
【図10】打音情報のメタデータを説明する図
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0011】
＜第１の実施形態＞
本実施形態の説明において「メタデータ」とは、ファイル内に格納する、そのファイルに関連した情報である。メタ情報、付帯情報、付随情報、付属情報などとも呼ぶことがある。
本実施形態の説明において「メタデータ」とは、ファイル内に格納する、そのファイルに関連した情報である。メタ情報、付帯情報、付随情報、付属情報などとも呼ぶことがある。
【0012】
図１は、本発明の第一の実施形態におけるシステム構成図である。図１において、１０１は撮像装置、１０２は１０１の撮像装置が組み込まれた雲台装置、１１０は打音装置、１１１は１１０の打音装置が搭載されたドローン装置を示す。１０３は撮像装置１０１および雲台装置１０２との通信を行う演算装置、１０４は雲台装置を載せている三脚を示す。
【0013】
また、１０５は雲台装置のパン方向の駆動ユニット、１０６は雲台装置のチルト方向の駆動ユニット、１０７は撮像装置１０１のレンズのズーム位置を制御するための雲台装置のズーム方向の駆動ユニットを示す。１０８は撮像装置１０１と雲台装置１０２を接続する通信ケーブル、１０９は演算装置１０３と雲台装置１０２を接続する通信ケーブルである。なお、通信ケーブル１０８は、撮像装置と１０１と演算装置１０３の間で直接接続してもよい。
【0014】
図２は、本発明の第一の実施形態における撮影システムの機能ブロック図である。ここで２０１は図１の撮像装置１０１の機能ブロック図を示し、２０２は画像の撮影を行う撮像ユニット、２０３は撮像装置１０１全体の制御を行う撮像制御ユニット、２０４は撮像された画像を記録する画像記録ユニットを示す。
【0015】
２０５は撮像装置１０１に付帯する光学レンズのフォーカスを駆動するユニット、２０６はオートフォーカス機能の為の被写体までの距離を測定するＡＦ測距ユニット、２０７は雲台装置１０２及び演算装置１０３との通信を行う通信ユニットを示す。
【0016】
２０８は図１の雲台装置１０２の機能ブロック図を示す。２０９は雲台装置１０２を制御する雲台制御ユニット、２１０はパン方向の駆動ユニット１０５を駆動するユニット、２１１はチルト方向の駆動ユニット１０６を駆動するユニットを示す。２１４は撮像装置１０１のレンズのズーム位置を制御するズーム方向の駆動ユニット１０７を駆動するユニットを示す。また２１２は撮像装置１０１及び演算装置１０３と通信を行う為の通信ユニットである。
【0017】
２１３は演算装置１０３の機能ブロック図を示す。２１４は雲台装置１０２のパン・チルト・ズーム方向への駆動ユニットを制御する雲台制御ユニットであり、特定のパン・チルト角度及びズーム位置への駆動を行うと共に、現在のパン・チルト角度及びズーム位置を取得する。２１５は撮像装置１０１が撮像した画像を付加情報と共に保持する画像保持ユニットである。２１６は画像保持ユニット２１５が保持する画像を画像処理してスティッチ画像や合成画像を生成する画像処理ユニットである。２１７は撮像装置１０１の撮像制御を行う撮像制御ユニットである。また、２１８は雲台装置１０２及び撮像装置１０１およびドローン装置１１１との通信を行う通信ユニットである。
【0018】
２１９はドローン装置１１１の機能ブロック図を示し、２２０はドローン装置１１１との通信を行う通信ユニット、２２１は画像の撮影を行う撮像ユニットである。２２２はドローン装置１１１への各種情報を入力する入力ユニット、２２３は壁面に打撃を行う打音ユニット、２２４は打音ユニット２２４が発生させた打撃音を取得する集音ユニットを示す。
【0019】
２２５は集音ユニット２２４が取得した打音データを撮影画像に記録する打音データ記録ユニットである。
【0020】
図３は、本発明の第一の実施形態における各装置の内部構成図である。図３（ａ）は撮像装置１０１の内部構成を示している。ここで３０１は撮像装置の制御をつかさどる中央演算装置（以下ＣＰＵと記す）であり、ＣＰＵ３０１が制御プログラムに基づいて、情報の演算や加工、各ハードウェアの制御を実行することにより後述する各機能構成、処理を実現する。３０２は、ＣＰＵ３０１の動作処理手順を規定する制御プログラムを記録しているリードオンリーメモリー（以下ＲＯＭと記す）である。ＲＯＭ３０２には、撮像装置の機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭとシステムを稼動するために必要な情報などが記録されたデータＲＯＭがある。３０３は、ランダムアクセスメモリ（以下ＲＡＭと記す）であり、ＣＰＵ３０１の主メモリとして、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。３０４は撮像モジュールであり、光学レンズ装置を介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子、前記撮像素子から出力された撮像信号を画像データに変換して出力するＡ／Ｄ変換部から構成される。さらに撮影モジュール３０４は、前記Ａ／Ｄ変換部の出力した画像データを直接又は間接的に後述する記憶デバイス３１１へ書き込む。３０５は３０４の撮像装置の光学レンズ装置を介して被写体までの距離を測距してフォーカス制御位置を決定するＡＦ測距モジュール、３０６は光学レンズ装置の制御を行うレンズ制御モジュールである。３０７及び３０８はレンズ制御モジュール３０６からの指示に基づいて、それぞれフォーカスとアイリスを駆動するフォーカス駆動モジュールとアイリス駆動モジュールである。３０９は撮像装置１０１に対してユーザが各種の撮影設定を行う為の入出力Ｉ／Ｆモジュールであり、３１０は撮像装置１０１が、雲台装置１０２及び雲台装置１０２を介して演算装置１０３と各種情報及び制御信号をやり取りする為の通信モジュールである。３１１は撮像モジュール３０４で撮像された画像を、メモリカード等を用いて記録する記録デバイスであり、３１２は、上述した各モジュール間を接続するための入出力バス（アドレスバス、データバス、及び制御バス）である。
【0021】
図３（ｂ）は雲台装置１０２の内部構成を示している。ここで、３１３，３１４，３１５及び３２２については、撮像装置における３０１，３０２，３０３及び３１２の役割と同等の為に説明を省略する。また３１６は撮像装置１０１との通信を行う為の撮像装置通信モジュール、３１７及び３１８はそれぞれ雲台装置１０２のパン及びチルトの駆動を行うパン駆動モジュール及びチルト駆動モジュールである。３１９は雲台装置１０２に対してユーザが各種の設定を行う為の入出力Ｉ／Ｆモジュールであり、３２０は演算装置１０３との通信を行う為の演算装置通信モジュールである。３２１は撮像装置１０１のレンズのズーム位置を制御するズーム方向の駆動ユニットである。
【0022】
図３（ｃ）は演算装置１０３の内部構成を示している。ここで、３２３，３２４，３２５、３２８及び３３１については、撮像装置における３０１、３０２、３０３、３１０及び３１２の役割と同等の為に説明を省略する。また、３２６は演算装置の各種情報をユーザに提示する為のディスプレイ装置、３２７はユーザが演算装置に対する各種の情報入力を行う為の入力装置である。３２９は補助記憶装置となるハードディスク装置（ＨＤＤ）、３３０はドローン装置１１１との通信を行うためのドローン装置通信モジュールである。
【0023】
図３（ｄ）はドローン装置１１１の内部構成を示している。ここで、３３３、３３４、３３５、３３７、３３８、３４０及び３４１については、演算装置における３２３、３２４、３２５、３２６、３２７、３２９及び３３１の役割と同等の為に説明を省略する。
【0024】
また３３６は撮像モジュールであり、光学レンズ装置を介して入射した被写体光を受光して撮像信号に変換して出力するＡ／Ｄ変換部から構成される。３３９は演算装置１０３との通信を行う為の通信モジュールである。
【0025】
飛行制御部３４２は、ミキサー部３４３からの信号に基づいてローター駆動部３４４を制御することで、ドローン装置１１１の位置や姿勢を制御し、該ドローン装置１１１の飛行を制御する。ローター駆動部３４４は、飛行制御部３４２による制御の元で、ドローン装置１１１を飛行させるローターの駆動制御を行う。
【0026】
センサ処理部３４５は、センサにより測定された情報を処理して、自身の位置や姿勢等、ドローン装置１１１の飛行制御を行うために必要な情報（センサ情報）を取得する。このようなセンサには、ジャイロセンサ、加速度センサ、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、気圧センサ、超音波センサ（高度センサ、距離センサ）、地上映像を取得するセンサ等が適用可能である。
【0027】
映像伝送部３４２は、撮像モジュール３３６から出力された画像を外部に伝送（送信）する。ミキサー部３４３は、センサ処理部３４５が取得したセンサ情報と、ユーザまたはＣＰＵ３２３がドローン装置１１１を制御するために操作する、演算装置１０３からの信号と、をミックスして飛行制御部３４２に出力する。これにより飛行制御部３４２は、センサ処理部３４５が取得したセンサ情報に応じてドローン装置１１１の飛行制御を行っている状態において、演算装置からの操作信号に応じた飛行制御を行う。打音装置制御部は、演算装置１０３からの信号に基づき、打音装置駆動部３４７を制御する。マイク３４８は打音装置駆動部３４７によって打音した打撃音を集音し、記憶装置３４０に保存する。
【0028】
図４は、本発明の第一の実施形態における建物の壁面撮影の際の撮像装置１０１、雲台装置１０２及び演算装置１０３からなる撮影システムの撮影の際の動作を説明する図である。
【0029】
図４（ａ）は、雲台装置１０２に搭載された撮像装置１０１が、演算装置１０３によって作成される撮影計画にしたがったパン駆動を連続して行いながら撮影を行う際の最初の区画を撮影する様子を上空から簡略化して示したものである。ここで４０１は雲台装置１０２に搭載された撮像装置１０１が設置された撮像装置の設置位置で、４０２は建築物、４０３は点検対象である建築物４０２の壁面を示す。この時、撮像装置の設置位置４０１は、本来は点検対象である壁面４０３の中央の垂線上に置かれるべきであるが、実際の撮影現場では他の建築物が存在するなど障害物の影響により中心線上からずれる場合が少なくない。
【0030】
また、撮影方向４０４は、雲台装置１０２のパン駆動によって撮像装置１０１が最初の区画の撮影を行う方向の中心方向を示し、４１９は、撮影方向４０４で撮影される画角を示している。また４１０は、最初の区画の撮影方向４０４と点検対象の壁面４０３が交わる交点であり、撮像装置１０１が撮影を行う際には、画角の中央となる交点の位置の壁面に対してＡＦを適応してフォーカス合わせを行う。この時、交点４１０でフォーカスを合わせた場合に撮像センサの表面上に被写体の映像が最小の円に集束し得る合焦面は４１６に示す平面となる。しかし実際には、合焦面４１６の平面までの距離から外れており、被写体の映像が集束する際の円のサイズが最小では無い場合でも、当該円のサイズが撮像センサの画素サイズ以下に収まる場合にはフォーカスのずれが識別できない。この様なフォーカスのずれが識別できない距離の範囲は被写界深度と呼ばれ、撮像センサの画素サイズ、光学レンズ装置の焦点距離と絞り値、被写体までの距離から演算する事が可能である。
【0031】
今、図４の（ａ）においては、合焦面４１６に対して前方の被写界深度は平面４１７であり、また後方の被写界深度は平面４１８であり、これらの距離の範囲にある壁面４０３も合焦しているとみなせる。したがって、図４の（ａ）に示す壁面４０３を撮影する際には、当該被写界深度を考慮して撮像装置の設置位置４０１と使用する光学レンズ装置の撮影パラメータ（焦点距離及び絞り値）について事前に適切に設定する必要がある。
【0032】
図４（ｂ）は、雲台装置１０２に搭載された撮像装置１０１が、最初の区画の撮影の後に、演算装置１０３によって作成される撮影計画にしたがったパン駆動を連続して行いながら撮影を行う際の動作を上空から簡略化して示したものである。また、４０５から４０９は、図４（ａ）の撮影方向４０４と同様に、雲台装置１０２のパン駆動によって撮像装置１０１が撮影を行う方向の中心方向を示す。４２０から４２４は、図４（ａ）の画角４１９と同様に、それぞれの撮影方向の際に撮影される画角を示している。なおこの際、点検対象である壁面４０３が正面向かって右側にさらに続いている場合には、当該壁面４０３に対する撮影する角度がさらに鋭角となり、点検に適した高精細な撮影画像が得られない。この様な場合には、撮像装置１０１を新たに設置する位置を右寄りに設け、必要に応じて複数の設置位置のそれぞれにおいて同様の撮影を行う事となる。今ここでは簡略化した説明の為に、建物の高さ方向、即ち雲台装置１０２によるチルト方向の駆動はせず、パン方向の駆動のみで点検対象の壁面４０３を６回に分けて撮影するものとする。
【0033】
また、４１１から４１５は、図４（ａ）の交点４１０と同様に、それぞれの撮影方向４０５から４０９と点検対象の壁面４０３が交わる交点である。撮像装置１０１が撮影を行う際には、画角の中央となる交点の位置の壁面に対してＡＦを適応してフォーカス合わせを行う。
【0034】
なお、ここでは、図４の（ａ）と同様に、交点４１１から４１５までの壁面との交点においてオートフォーカスを実施した際の合焦面、前方被写界深度の範囲、後方被写界深度の範囲を、それぞれ太い実線、細かい点線、粗い点線で示している。この時、被写界深度の範囲は、前方被写界深度より後方被写界深度の範囲の方が広くなる事が知られている。
【0035】
また同時に、図４（ｂ）に示す様に、被写体との距離が遠くなる事で、被写界深度の範囲が広くなる事が知られている。さらに、図４の（ｂ）に示す壁面４０３の撮影をする際には、画角４１９から４２４のそれぞれの撮影の際の画角に示す様に、撮影画像の多くの部分を重複させている。これは点検対象の被写体、ここでは壁面を確実に網羅する為と、使用する光学レンズ装置による撮影画像の中央部分を利用する事で、より高品位な点検の為の画像を得る為である。なお、図４の（ｂ）においては、前のコマの撮影の画角の端を次のコマの撮影の中心としたが、重複の割合はこれと異なる割合にしても構わない。
【0036】
図５の（ａ）及び（ｂ）は、本発明の第一の実施形態における撮影が行われた際の撮影画像の処理を説明する図である。
【0037】
ここで図５（ａ）の５０１から５０６は、雲台装置のパン駆動により撮影された個々の撮影画像を示している。なおここで、図５（ａ）の５０１から５０６については、分かり易さの為に上下方向にずれて配置された図となっているが、本来は上下方向のずれはないものである。
【0038】
また、図５（ｂ）の５０７、５０８及び５０９は、雲台装置のパン駆動及びチルト駆動により撮影された撮影画像の一部を示している。図５の（ｂ）は、一連の雲台装置１０２のパン駆動及びチルト駆動により撮影された画像の集合を示している。全ての画像は画像の中央部分を利用して一枚のスティッチ画像に統合され、あたかも点検対象である壁面を高精細に撮影した画像となる。インフラ施設の点検においては、この統合された画像を用いて、検査者が壁面の微細な変状の有無を確認する事となる。
【0039】
次に、図６に示す流れ図を用いて、本発明による第一の実施形態としての図１及び図２に示すシステム全体の動作の一例について説明する。図６から図９において、ステップをＳと示す。例えば、ステップ６０１をＳ６０１と示す。
【0040】
【0041】
図６において、Ｓ６０１は点検対象である壁面４０３を点検する際に、壁面４０３における点検箇所の全体図を撮影するステップである。
【0042】
Ｓ６０２は各撮影における隣の撮影箇所の画像とのオーバーラップ率を演算装置１０３に入力するステップである。オーバーラップ率を設定するのは、図４（ｂ）の説明で述べた通り、点検対象の被写体、ここでは壁面４０３を確実に網羅する為と、使用する光学レンズ装置による撮影画像の中央部分を利用する事で、より高品位な点検の為の画像を得る為である。
【0043】
Ｓ６０３はＳ６０１で取得した、壁面４０３の全体撮影範囲およびＳ６０２で設定したオーバーラップ率より、演算装置１０３に分割撮影範囲を記憶させるステップである。Ｓ６０４は演算装置１０３が、Ｓ６０１で取得した点検箇所の全体図と、Ｓ６０３で記憶した分割撮影範囲にもとづいて、壁面４０３の打撃位置を設定するステップである。
【0044】
【0045】
Ｓ７０１は撮像装置１０１にて撮影される画像の画素サイズの取得を行う。このとき、長辺および短辺の画素サイズを取得するステップである。ここでは、長辺が６０００、短辺が４０００の画素サイズを持つ画像を例として説明する。
【0046】
Ｓ７０２は、撮像装置１０１にて撮影される画像一枚あたりの打撃位置を決定するステップである。
【0047】
図８は撮像装置１０１にて撮影される画像一枚あたりの打撃位置を示している。本実施形態では打撃位置として８０２～８１０の９点を決定した様子を示す。ここでは、例として撮影画像を長辺に４分割、短辺に４分割した交差点を打撃位置と決定しているが、分割数の設定は任意であり、入力装置３２７によって前記分割数を入力しても良い。
【0048】
５０１～５０６は先に説明した、雲台装置のパン駆動により撮影された個々の撮影画像である。ここでは撮影画像５０１を例に画像一枚あたりの打撃位置を説明する。
【0049】
８００は撮影画像５０１の短辺を、８０１は撮影画像５０１の長辺を示しており、本実施形態では、短辺８００および長辺８０１の画素サイズはそれぞれ４０００、６０００として説明する。このとき、画像一枚あたりの打撃位置座標は以下のように算出できる。８０２は（ｘ１５００、ｙ３０００）、８０３は（ｘ３０００、ｙ３０００）、８０４は（ｘ４５００、ｙ３０００）である。８０５は（ｘ１５００、ｙ２０００）、８０６は（ｘ１５００、ｙ２０００）、８０７は（ｘ３０００、ｙ２０００）、８０８は（ｘ１５００、ｙ１０００）、８０８は（ｘ３０００、ｙ１０００）、８０８は（ｘ４５００、ｙ１０００）である。
【0050】
演算装置１０３のＣＰＵ３２３は、ＲＡＭ３２５、ＲＯＭ３２４、記憶装置３２９の少なくとも１つに、決定された撮像装置１０１にて撮影される画像一枚あたりの打撃位置を記録する。また、決定された撮像装置１０１にて撮影される画像一枚あたりの打撃位置の記録先は演算装置１０３に限られず、撮像装置１０１，雲台装置１０２，演算装置１０３，およびドローン装置１１１の少なくとも１つに記録してもよい。
【0051】
Ｓ７０３は全体の打撃マップを作成するステップである。Ｓ６０３で記憶した分割撮影範囲とＳ７０２で決定した撮影画像一枚あたりの打撃位置から、パノラマスティッチ処理後の全体撮影範囲画像における打撃位置を決定する。Ｓ７０１にて取得した撮影画像一枚あたりの長辺、短辺の画素サイズ、および６０２で設定したオーバーラップ率、およびＳ６０３にて設定した分割撮影範囲に基づき、打撃位置座標を算出する。このときＣＰＵ３２３はパノラマスティッチ時に隣接画像とオーバーラップする部分の打撃位置について、スキップするかどうかをディスプレイ装置３２６および入力装置３２７を使用してユーザに求めても良い。
【0052】
次にＳ６０２で設定したオーバーラップ率で撮影間の画像が重複しながら壁面４０３をカバーする全撮影を実行できるようにする。Ｓ６０５は、Ｓ６０３で設定した分割撮影範囲に基づいて撮影ごとに雲台装置１０２に移動指示するパン・チルト角度およびズーム位置を決定するステップである。
【0053】
Ｓ６０６はＳ６０３で設定した分割撮影範囲に基づいて演算装置１０３が撮像装置１０１および雲台装置１０２に撮影の指示を行うステップである。撮像装置１０１および雲台装置１０２は壁面４０３に対して網羅的に撮影を行った後に、撮影画像群を演算装置１０３へ送信する。ＣＰＵ３２３は受信した撮影画像群を記憶装置３２９に保存する。
【0054】
Ｓ６０７はＳ６０４で決定した打撃位置に基づき、ドローン装置１１１が壁面４０３への打撃を行い、打音を得るステップである。
【0055】
【0056】
Ｓ９０１は演算装置１０３がドローン装置１１１に打音処理の開始指示を送信するステップである。このとき、ＣＰＵ３２３は通信モジュール３３０にてドローン装置１１１に打音処理の開始指示およびＳ７０３で作成された全体の打撃マップを送信する。
【0057】
Ｓ９０２はドローン装置１１１が演算装置１０３からの打音処理の開始指示を受信するステップである。このとき、ＣＰＵ３３３は通信モジュール３３９にて打音処理の開始指示およびＳ７０３で作成された全体の打撃マップを受信し、打撃マップをＲＡＭ３３５に展開する。
【0058】
Ｓ９０３はドローン装置１１１が打撃マップにおける最初の打音位置に移動するステップである。ＣＰＵ３３３は打撃マップ最初の打音位置に移動するように飛行制御部３４２に指示する。ここでは打撃マップ最初の打音位置として、図８で説明した、撮影画像５０１の打撃位置座標８０２（ｘ１５００、ｙ３０００）にドローン装置１１１は移動する。
【0059】
Ｓ９０４は壁面４０３に対して打音を実行するステップである。ＣＰＵ３３３は打音制御部３４６に打音を実行する指示を行う。打音装置１１０は壁面４０３に対し打音を行い、発生した打撃音を記憶装置３４０またはＲＡＭ３３５に保存する。また、分割撮影範囲が隣接する部分領域が、互いに重複する場合がある。制御部３０６は、重複領域について打撃するか否かを判断して、打音すると判断した場合に打音装置１１０に打撃を実行する指示を行う。また、打撃するか否かの判断は、制御部３０６ではなく情報処理装置の各部のいずれかが行ってもよい。また、打撃するか否かの判断は、部分撮影した画像に基づいて判断してもよい。例えば、部分撮影した画像の重複領域においてひび割れ検知を行い、検知したひび割れの長さや幅が所定閾値以上の場合に、打撃すると判断してもよい。これにより、検査の重要度が高い重複領域については、より多くの検査データを取得できる。また、打撃するか否かの判断は、ユーザが判断し制御部３０６に指示してもよい。
【0060】
Ｓ９０５はＳ９０２で展開した打撃マップのうち、撮影画像５０１における定められた打音位置での打音をすべて終えたか否かを判定するステップである。撮影画像５０１の打音がすべて完了している場合、Ｓ９０７へと進む。撮影画像５０１の打音が完了していない場合、Ｓ９０６へと進む。
【0061】
Ｓ９０６では、ＣＰＵ３３３は打撃マップの次の打音位置に移動するように飛行制御部３４２に指示する。例として、撮影画像５０１の打音位置８０２の次は打撃位置８０３である。また、直前の打音位置が撮像画像の最後の打音位置であった場合、次の撮像画像の最初の打音位置に移動する。例えば、撮影画像５０１の打音位置８１０の次は、撮影画像５０２の打音位置８０２（ｘ１５００，ｙ３０００）にドローン装置１１１は移動する。
【0062】
Ｓ９０７ではドローン装置１１１から演算装置１０３に打音データの送信を行う。このとき、ＣＰＵ３３３は通信モジュール３３９に記憶装置３４０またはＲＡＭ３３５に保存している打音データの送信を指示する。打音データは例として、打音データ撮影画像５０１に対する、打音位置８０２～８１０の各打撃音の振幅および周波数の時系列データである。
【0063】
Ｓ９０８は演算装置１０３がドローン装置１１１から送られてきた打音データを受信するステップである。ＣＰＵ３２３は通信モジュール３３０にて打音データを受信し、ＲＡＭ３２５または記憶装置３２９に保存する。
【0064】
Ｓ９０９は撮影画像に、打音メタデータを関連付けて保存するステップである。ＣＰＵ３２３はＲＡＭ３２５または記憶装置３２９に保存した打音データを記憶装置３２９に保存されている撮影画像のＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）領域に記録する。
【0065】
また、Ｅｘｉｆ領域には、検査対象について変状の検知処理を実行した結果を記録してもよい。たとえば、変状の検知処理を実行した結果として、変状の種類（ひび割れ、漏水、剥落など）、変状に関するステータス（ひび割れ長さ、ひび割れ幅など、変状の位置、変状の程度）を記録してもよい。変状の検知は、ユーザが目視で行ってもよいし、検知モデルを使って検知してもよい。検知モデルは、検査対象を撮像した画像を入力することで、変状を検知した結果を出力してもよい。検知モデルは、機械学習によって学習された学習済みの推定モデルであってもよい。機械学習は、画像を推定モデルに入力し出力された結果と、教師データと、に基づいて行われてもよい。推定モデルは、ＣＮＮ（畳み込みニューラルネットワーク）などのニューラルネットワークでもよく、ニューラルネットワークの学習は逆誤差伝播法によって行われてもよい。
【0066】
また、Ｅｘｉｆ領域には、検査対象を撮像した時間、撮像した場所、ユーザ名、ファイル名、ファイルの種類、更新日時、画像の大きさ、画像の容量、画像の解像度、撮影機の機種名、撮影時のパラメータ（絞り、ＩＳＯ感度、倍率など）などを記録してもよい。
【0067】
図１０に記録される打音メタデータの例を示す。このとき、ＣＰＵ３２３はパノラマスティッチ時に隣接画像とオーバーラップする部分の打撃位置について、メタデータとして記録するかどうか、ディスプレイ装置３２６および入力装置３２７を使用してユーザに求めても良い。
【0068】
打音メタデータは情報１００１を最上位情報として階層構造になっており、特に構造上の制限はない。例えば図１０では、情報１００１、１００２、１００３の３層構造になっている。情報１００４は、打音データであり、撮影画像５０１に対する、打音位置の打撃音である。例えばＷＡＶＥファイルといった音声ファイルの形式で保存する。情報１００５は打音データ１００４を取得した、撮影画像に対する、打音位置の座標である。同様に同じ画像上の別の画素にあたる位置を打撃した打音データが他のＩＤ情報１００６や１００７の配下に格納されている。この他に打音メタデータとして、打音データの取得日時や、スティッチ画像における打撃位置を階層１００３に記録しても良い。
【0069】
また、分割撮影範囲が隣接する部分領域が、互いに重複する場合、ＣＰＵ３２３は、重複領域について保存するか否かを判断し、保存すると判断した場合に重複領域における打音データをＲＡＭ３２５または記憶装置３２９に保存する指示を行う。また、保存するか否かの判断は、ＣＰＵ３２３ではなく情報処理装置の各部のいずれかが行ってもよい。また、保存するか否かの判断は、部分撮影した画像に基づいて判断してもよい。例えば、部分撮影した画像の重複領域においてひび割れ検知を行い、検知したひび割れの長さや幅が所定閾値以上の場合に、保存すると判断してもよい。これにより、検査の重要度が高い重複領域については、より多くの検査データを取得できる。
【0070】
Ｓ９１０はＳ９０２で展開した打撃マップのうち、全打音位置での打音をすべて終えたか否かを判定するステップである。打音がすべて完了している場合、Ｓ９１１へと進む。完了していない場合、Ｓ９０６へと進む。
【0071】
Ｓ９１１はドローン装置１１１が演算装置１０３に打音処理の終了通知を送信するステップである。このとき、ＣＰＵ３３３は通信モジュール３３９にて演算装置１０３に打音処理の終了通知を送信する。Ｓ９１２は演算装置１０３がドローン装置１１１からの打音処理の終了通知を受信するステップである。このとき、ＣＰＵ３２３は通信モジュール３３０にて打音処理の終了通知を受信し、打音処理の動作を終える。
【0072】
Ｓ６０８８はＳ６０６で撮影し、打音情報メタデータが記録された画像群に対してパノラマスティッチ処理をして合成されたパノラマ写真を得るステップである。ＣＰＵ３２３は記憶装置３２９に保存されている打音情報メタデータが付与された画像間のつなぎ目を画像処理にて合成してパノラマ写真を得て動作を終える。
【0073】
以上説明したように、本実施形態によれば、橋梁などの構造物壁面の点検において、建壁面検査の為の、高精細な画像撮影を目的する。細かく分割し且つ全体を網羅する大量の連続撮影を行う際に、点検画像に紐づく内部劣化調査のための打音検査データといった複数の情報を、元の画像に付与して保存することが可能となる。このことで、別途データベース等を用意したりすることなく、シンプルなシステム構成で点検画像に紐づくデータを管理することができる。このことで、点検結果を第三者に提供する際のポータビリティ・可搬性を高めることが可能となる。
【0074】
また、本実施形態においては、撮影システムを、複数の装置から構成されるシステムとしたが、何れかの装置が他の装置を包含する構成としても良く、単一の装置による構成としても良い事は言うまでもない。また、本実施形態において、演算装置１０３はドローン装置とは別途設けられていたが、ドローン装置に演算装置を搭載してもよい。また、本実施形態においては、雲台装置１０２及び演算装置１０３において、ズーム制御位置の値を任意に取得し、また設定を可能としたが、相対的な数値によるズーム駆動の指示のみが可能な撮影システムの場合は以下の様な構成にしても良い。即ち、雲台装置１０２あるいは演算装置１０３において、ズーム制御位置を変更する為の全ての駆動情報を取得し管理する事で、現在のズーム制御位置の値を把握する構成とする。この様な構成とする事で、ズーム制御位置に関して、相対的な数値によるズーム駆動の指示のみが可能な撮影システムにも対応する事が可能となる。さらには、レンズ装置に後付けのズーム駆動装置を付加する事でズーム駆動を実現する撮影システムにも対応する事が可能となる。
【0075】
＜第２の実施形態＞
第１の実施形態では、雲台装置１０２を使って検査対象を分割撮影したが、本発明は上記実施形態に限られるものではなく、ユーザによる手動撮影や別のパノラマ撮影装置を用いて撮影を行ってもよい。
第１の実施形態では、雲台装置１０２を使って検査対象を分割撮影したが、本発明は上記実施形態に限られるものではなく、ユーザによる手動撮影や別のパノラマ撮影装置を用いて撮影を行ってもよい。
【0076】
また、第１の実施形態では、ドローン装置１１１を使って打撃を行っていたが、本発明は上記実施形態に限られるものではなく、ユーザによって手動で打撃を行ってもよいし、無人走行機等の別の装置に打撃装置を搭載して打撃を行ってもよい。
【0077】
＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0078】
＜システム１＞
検査対象を撮像した撮像画像を取得する第１取得手段と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段と
を有することを特徴とする情報処理システム。
検査対象を撮像した撮像画像を取得する第１取得手段と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段と
を有することを特徴とする情報処理システム。
【0079】
＜システム２＞
前記撮像画像はＥｘｉｆ領域を有し、
前記制御手段は、前記撮像画像のＥｘｉｆ領域に前記撮像画像における座標を保存させる
ことを特徴とするシステム１に記載の情報処理システム。
前記撮像画像はＥｘｉｆ領域を有し、
前記制御手段は、前記撮像画像のＥｘｉｆ領域に前記撮像画像における座標を保存させる
ことを特徴とするシステム１に記載の情報処理システム。
【0080】
＜システム３＞
前記第１取得手段は、前記検査対象の部分領域ごとに撮像した前記撮像画像を取得し、
前記第２取得手段は、前記部分領域ごとに前記打撃位置に関する情報を取得し、
前記制御手段は、前記部分領域ごとの前記打撃位置に関する情報と対応する前記部分領域の前記撮像画像の座標と対応する前記部分領域の撮像画像と関連付けた画像情報を生成し、生成した前記部分領域ごとの前記画像情報を合成して前記保存手段に保存させる
ことを特徴とするシステム１に記載の情報処理システム。
前記第１取得手段は、前記検査対象の部分領域ごとに撮像した前記撮像画像を取得し、
前記第２取得手段は、前記部分領域ごとに前記打撃位置に関する情報を取得し、
前記制御手段は、前記部分領域ごとの前記打撃位置に関する情報と対応する前記部分領域の前記撮像画像の座標と対応する前記部分領域の撮像画像と関連付けた画像情報を生成し、生成した前記部分領域ごとの前記画像情報を合成して前記保存手段に保存させる
ことを特徴とするシステム１に記載の情報処理システム。
【0081】
＜システム４＞
前記第１取得手段は、前記検査対象の部分領域ごとに撮像した画像のそれぞれを合成した前記撮像画像を取得し、
前記第２取得手段は、前記打撃位置に関する情報を取得し、
前記制御手段は、前記部分領域ごとの前記打撃位置に関する情報と対応する前記撮像画像における座標を合成された前記撮像画像に関連付けて保存手段に保存させる
ことを特徴とするシステム１に記載の情報処理システム。
前記第１取得手段は、前記検査対象の部分領域ごとに撮像した画像のそれぞれを合成した前記撮像画像を取得し、
前記第２取得手段は、前記打撃位置に関する情報を取得し、
前記制御手段は、前記部分領域ごとの前記打撃位置に関する情報と対応する前記撮像画像における座標を合成された前記撮像画像に関連付けて保存手段に保存させる
ことを特徴とするシステム１に記載の情報処理システム。
【0082】
＜システム５＞
撮像する領域を移動することで前記検査対象の部分領域ごとに前記撮像画像を撮像する撮像手段を有し、
前記第１取得手段は。前記撮像手段から前記撮像画像を取得する
ことを特徴とするシステム１に記載の情報処理システム。
撮像する領域を移動することで前記検査対象の部分領域ごとに前記撮像画像を撮像する撮像手段を有し、
前記第１取得手段は。前記撮像手段から前記撮像画像を取得する
ことを特徴とするシステム１に記載の情報処理システム。
【0083】
＜システム６＞
前記撮像手段は、雲台装置に搭載されることを特徴とするシステム５に記載の情報処理システム。
前記撮像手段は、雲台装置に搭載されることを特徴とするシステム５に記載の情報処理システム。
【0084】
＜システム７＞
打撃する位置を移動することで前記部分領域ごとに前記検査対象を打撃する打撃手段を有し、
前記第２取得手段は、前記打撃手段によって打撃された部分領域ごとに打撃位置に関する情報を取得する
ことを特徴とするシステム５または６に記載の情報処理システム。
打撃する位置を移動することで前記部分領域ごとに前記検査対象を打撃する打撃手段を有し、
前記第２取得手段は、前記打撃手段によって打撃された部分領域ごとに打撃位置に関する情報を取得する
ことを特徴とするシステム５または６に記載の情報処理システム。
【0085】
＜システム８＞
前記打撃手段は、無人飛行機に搭載されることを特徴とするシステム７に記載の情報処理システム。
前記打撃手段は、無人飛行機に搭載されることを特徴とするシステム７に記載の情報処理システム。
【0086】
＜システム９＞
前記打撃手段は、前記撮像手段によって撮像された前記部分領域ごとに前記検査対象を打撃することを特徴とするシステム７に記載の情報処理システム。
前記打撃手段は、前記撮像手段によって撮像された前記部分領域ごとに前記検査対象を打撃することを特徴とするシステム７に記載の情報処理システム。
【0087】
＜システム１０＞
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記撮像画像に基づいて前記重複領域について打撃すると判断した場合に、前記検査対象の前記重複領域について打撃する打撃手段を有する
ことを特徴とするシステム３または４に記載の情報処理システム。
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記撮像画像に基づいて前記重複領域について打撃すると判断した場合に、前記検査対象の前記重複領域について打撃する打撃手段を有する
ことを特徴とするシステム３または４に記載の情報処理システム。
【0088】
＜システム１１＞
前記打撃手段は、前記撮像画像に基づく前記検査対象の変状を検知した検知結果に基づいて、前記重複領域について打撃するか否かを判断することを特徴とするシステム１０に記載の情報処理システム。
前記打撃手段は、前記撮像画像に基づく前記検査対象の変状を検知した検知結果に基づいて、前記重複領域について打撃するか否かを判断することを特徴とするシステム１０に記載の情報処理システム。
【0089】
＜システム１２＞
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記重複領域について打撃するようユーザから指示があった場合に、前記重複領域について前記検査対象を打撃する打撃手段を有する
ことを特徴とするシステム３または４に記載の情報処理システム。
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記重複領域について打撃するようユーザから指示があった場合に、前記重複領域について前記検査対象を打撃する打撃手段を有する
ことを特徴とするシステム３または４に記載の情報処理システム。
【0090】
＜システム１３＞
前記検査対象は構造物であり、
前記変状はひび割れである
ことを特徴とするシステム１１に記載の情報処理システム。
前記検査対象は構造物であり、
前記変状はひび割れである
ことを特徴とするシステム１１に記載の情報処理システム。
【0091】
＜システム１４＞
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記制御手段は、前記重複領域について保存すると判断した場合に、前記重複領域について、前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる
ことを特徴とするシステム３または４に記載の情報処理システム。
前記部分領域が隣接する複数の前記撮像画像は、互いに重複して撮像される重複領域を有し、
前記制御手段は、前記重複領域について保存すると判断した場合に、前記重複領域について、前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる
ことを特徴とするシステム３または４に記載の情報処理システム。
【0092】
＜システム１５＞
前記第２取得手段は、前記検査対象を打撃した際の打音情報を取得し、
前記制御手段は、前記打音情報を前記撮像画像に関連付けて前記保存手段に保存させる
ことを特徴とするシステム１から６のいずれか１項に記載の情報処理システム。
前記第２取得手段は、前記検査対象を打撃した際の打音情報を取得し、
前記制御手段は、前記打音情報を前記撮像画像に関連付けて前記保存手段に保存させる
ことを特徴とするシステム１から６のいずれか１項に記載の情報処理システム。
【0093】
＜システム１６＞
前記打音情報は、前記検査対象を打撃した際の打音の振幅および周波数の時系列データであることを特徴とするシステム１５に記載の情報処理システム。
前記打音情報は、前記検査対象を打撃した際の打音の振幅および周波数の時系列データであることを特徴とするシステム１５に記載の情報処理システム。
【0094】
＜システム１７＞
前記第１取得手段は、前記検査対象について変状の検知処理を実行した結果を取得し、
前記制御手段は、前記検査対象について変状の検知処理を実行した結果を前記撮像画像に関連付けて前記保存手段に保存させる
ことを特徴とするシステム１に記載の情報処理システム。
前記第１取得手段は、前記検査対象について変状の検知処理を実行した結果を取得し、
前記制御手段は、前記検査対象について変状の検知処理を実行した結果を前記撮像画像に関連付けて前記保存手段に保存させる
ことを特徴とするシステム１に記載の情報処理システム。
【0095】
＜方法１＞
検査対象を撮像した撮像画像を取得する第１取得工程と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得工程と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御工程と
を有することを特徴とする情報処理方法。
検査対象を撮像した撮像画像を取得する第１取得工程と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得工程と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御工程と
を有することを特徴とする情報処理方法。
【0096】
＜プログラム１＞
システム１～１７のいずれか１項に記載の情報処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
システム１～１７のいずれか１項に記載の情報処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
【0097】
＜構成１＞
検査対象を撮像した撮像画像を取得する第１取得手段と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段と
を有することを特徴とする情報処理装置。
検査対象を撮像した撮像画像を取得する第１取得手段と、
前記検査対象の打撃位置に関する情報と対応する前記撮像画像における座標を取得する第２取得手段と、
前記打撃位置に関する情報と対応する前記撮像画像における座標を前記撮像画像に関連付けて保存手段に保存させる制御手段と
を有することを特徴とする情報処理装置。
【符号の説明】
【0098】
１０１ 撮像装置
１０２ 雲台装置
１０３ 雲台装置
２０４ 画像記録ユニット
２１３ 演算装置
２１５ 画像保持ユニット
２１６ 画像処理ユニット
２１７ 撮像制御ユニット
２２３ 打音ユニット
２２５ 打音データ記録ユニット
３０１，３１３，３２３，３３３ ＣＰＵ
３０２，３１４，３２４，３３４ ＲＯＭ
３０３，３１５，３２５，３３５ ＲＡＭ
１０２ 雲台装置
１０３ 雲台装置
２０４ 画像記録ユニット
２１３ 演算装置
２１５ 画像保持ユニット
２１６ 画像処理ユニット
２１７ 撮像制御ユニット
２２３ 打音ユニット
２２５ 打音データ記録ユニット
３０１，３１３，３２３，３３３ ＣＰＵ
３０２，３１４，３２４，３３４ ＲＯＭ
３０３，３１５，３２５，３３５ ＲＡＭ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】