特開 2024-18882 情報処理システム、情報処理方法、プログラム、サーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018882

(43)【公開日】2024-02-08

(54)【発明の名称】情報処理システム、情報処理方法、プログラム、サーバ

(51)【国際特許分類】

   G08G 5/00 20060101AFI20240201BHJP

   G16Y 10/40 20200101ALI20240201BHJP

   G16Y 20/20 20200101ALI20240201BHJP

   G16Y 40/40 20200101ALI20240201BHJP

【ＦＩ】

G08G5/00 A

G16Y10/40

G16Y20/20

G16Y40/40

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023016316

(22)【出願日】2023-02-06

(62)【分割の表示】P 2022572669の分割

【原出願日】2022-07-27

(71)【出願人】

【識別番号】518156358

【氏名又は名称】株式会社センシンロボティクス

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】衛 達ガイ

(72)【発明者】

【氏名】坂田 穣

(72)【発明者】

【氏名】中鉢 雄介

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA26

5H181BB04

5H181BB12

5H181BB13

5H181CC02

5H181CC03

5H181CC04

5H181CC14

5H181CC27

5H181FF04

5H181FF10

5H181FF13

5H181FF22

5H181FF27

5H181FF32

5H181MC19

5H181MC27

(57)【要約】

【課題】本発明は、構造物の少なくとも一部分を示す図面に画像データを紐づけるための情報処理システム及び情報処理方法、プログラム、サーバを提供すること。
【解決手段】本発明は、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、一以上の画像データを前記セットに関連付ける関連付け部と、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える情報処理システム。
【選択図】図１

【特許請求の範囲】

【請求項1】

構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、
一以上の画像データを前記セットに関連付ける関連付け部と、
関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える、
ことを特徴とする情報処理システム。

【請求項2】

前記始点終点設定部は、ユーザによる前記図面に対する設定操作に基づき前記始点位置及び終点位置のセットを設定する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記始点終点設定部は、前記図面を解析して前記構造物の少なくとも一面に対して前記始点位置及び終点位置のセットを設定する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項4】

前記関連付け部は、ユーザによる選択操作に基づき選択された前記画像データを前記セットに関連付ける、
ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。

【請求項5】

前記関連付け部は、前記画像データに関する時間情報または位置情報の少なくともいずれかに基づき前記画像データを前記セットに関連付ける、
ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。

【請求項6】

前記位置紐づけ部は、前記画像データに関する時間情報または位置情報の少なくともいずれかに基づき前記所定位置を算出し、当該所定位置に対応する画像データを紐づける、
ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。

【請求項7】

前記図面は、緯度経度情報を含まない図面情報に基づく図面である、
ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。

【請求項8】

始点終点設定部により、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定するステップと、
関連付け部により、一以上の画像データを前記セットに関連付けるステップと、
位置紐づけ部により、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づけるステップと、を含む、
ことを特徴とする情報処理方法。

【請求項9】

始点終点設定部により、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定するステップと、
関連付け部により、一以上の画像データを前記セットに関連付けるステップと、
位置紐づけ部により、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づけるステップと、を情報処理システムに実行させる、
ことを特徴とするプログラム。

【請求項10】

構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、
一以上の画像データを前記セットに関連付ける関連付け部と、
関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える、
ことを特徴とするサーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム及び情報処理方法、プログラム、サーバに関する。

【背景技術】

【0002】

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「無人飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－０８９１６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、従来システムにおいては、撮影した画像データの位置情報と地図の位置情報とを対応付けるなどして、複数の画像データを地図上の位置が視認可能に整理していた。

【0005】

しかしながら、例えば建物の外壁の点検などにおいては、外観図や設計図などのような構造物の少なくとも一部分を示す図面上で撮影した画像データを整理したいというニーズがあり、これに対応するシステムを構築する必要性があった。

【0006】

本発明はこのような背景を鑑みてなされたものであり、特に、構造物の少なくとも一部分を示す図面に画像データを紐づけるための情報処理システム及び情報処理方法、プログラム、サーバを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するための本発明の主たる発明は、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、一以上の画像データを前記セットに関連付ける関連付け部と、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える情報処理システムである。

【発明の効果】

【0008】

本発明によれば、特に、構造物の少なくとも一部分を示す図面に画像データを紐づけるための情報処理システム及び情報処理方法、プログラム、サーバを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態にかかる情報処理システムの全体構成を示す図である。

【図2】本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。

【図3】図２のサーバのハードウェア構成を示すブロック図である。

【図4】図２の端末のハードウェア構成を示すブロック図である。

【図5】図２の飛行体のハードウェア構成を示すブロック図である。

【図6】図２のサーバ、端末の機能を示すブロック図である。

【図7】本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。

【図8】本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。

【図9】本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。

【図10】本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。

【図11】本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。

【図12】本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。

【図13】本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。

【図14】本発明の実施の形態にかかる情報処理システムのフローチャートである。

【発明を実施するための形態】

【0010】

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム及び情報処理方法、プログラム、サーバは、以下のような構成を備える。
［項目１］
構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、
一以上の画像データを前記セットに関連付ける関連付け部と、
関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える、
ことを特徴とする情報処理システム。
［項目２］
前記始点終点設定部は、ユーザによる前記図面に対する設定操作に基づき前記始点位置及び終点位置のセットを設定する、
ことを特徴とする項目１に記載の情報処理システム。
［項目３］
前記始点終点設定部は、前記図面を解析して前記構造物の少なくとも一面に対して前記始点位置及び終点位置のセットを設定する、
ことを特徴とする項目１に記載の情報処理システム。
［項目４］
前記関連付け部は、ユーザによる選択操作に基づき選択された前記画像データを前記セットに関連付ける、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目５］
前記関連付け部は、前記画像データに関する時間情報または位置情報の少なくともいずれかに基づき前記画像データを前記セットに関連付ける、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目６］
前記位置紐づけ部は、前記画像データに関する時間情報または位置情報の少なくともいずれかに基づき前記所定位置を算出し、当該所定位置に対応する画像データを紐づける、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目７］
前記図面は、緯度経度情報を含まない図面情報に基づく図面である、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目８］
始点終点設定部により、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定するステップと、
関連付け部により、一以上の画像データを前記セットに関連付けるステップと、
位置紐づけ部により、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づけるステップと、を含む、
ことを特徴とする情報処理方法。
［項目９］
始点終点設定部により、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定するステップと、
関連付け部により、一以上の画像データを前記セットに関連付けるステップと、
位置紐づけ部により、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づけるステップと、を情報処理システムに実行させる、
ことを特徴とするプログラム。
［項目１０］
構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、
一以上の画像データを前記セットに関連付ける関連付け部と、
関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える、
ことを特徴とするサーバ。

【0011】

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システム及び情報処理方法、プログラム、サーバについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

【0012】

＜全体構成＞
図１に示されるように、本実施の形態における情報処理システムは、無人飛行体４により構造物の少なくとも一部（例えば壁面）を撮影し、当該構造物の少なくとも一部を示す図面に撮影した画像データを紐づけて管理するものである。

【0013】

＜システム構成＞
図２に示されるように、本実施の形態における情報処理システムは、サーバ１と、端末２と、無人飛行体４とを有している。サーバ１と、端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザが操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置からサーバ１や端末２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。

【0014】

＜サーバ１＞
図３は、サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

【0015】

図示されるように、サーバ１は、端末２と、無人飛行体４と接続され本システムの一部を構成する。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

【0016】

サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

【0017】

プロセッサ１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

【0018】

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

【0019】

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の各記憶部が記憶領域の一部に設けられていてもよい。

【0020】

送受信部１３は、サーバ１をネットワークＮＷに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）などの近距離通信インターフェースを備えていてもよい。

【0021】

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

【0022】

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0023】

＜端末２＞
図４に示される端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

【0024】

＜無人飛行体４＞
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

【0025】

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

【0026】

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくともサーバ１や端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。

【0027】

フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

【0028】

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

【0029】

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

【0030】

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

【0031】

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

【0032】

＜サーバの機能＞
図６は、サーバ１及び端末２に実装される機能を例示したブロック図である。本実施の形態においては、サーバ１は、通信部１１０、始点終点設定部１２０、関連付け部１３０、画像紐付け部１４０、情報出力部１５０、図面関連データ記憶部１６０、飛行体関連情報記憶部１７０を備えている。なお、各種機能部は、サーバ１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、サーバ１のプロセッサ１０または端末２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。

【0033】

通信部１１０は、ネットワークＮＷを介して端末２や、無人飛行体４と通信を行う。通信部１１０は、端末２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。

【0034】

始点終点設定部１２０は、構造物の少なくとも一部分（例えば、壁面など）を示す図面上に始点位置及び終点位置のセットを一以上設定する。

【0035】

具体的な例としては、図７に例示されるように、始点終点設定部１２０は、図面関連データ記憶部１６０から構造物の少なくとも一部分を示す図面の図面データを読み出して端末２の入出力部２４に含まれる表示部へ図面を表示し、図面に対して第１軸（以下、「Ｘ軸」ともいう。）及び第１軸に直交する第２軸（以下、「Ｙ軸」ともいう）を設定する。始点終点設定部１２０は、例えば、読み出した図面データの縦横に合わせて自動で第１軸及び第２軸を付与してもよいし、ユーザ操作に応じて第１軸を設定し、当該第１軸に直交する第２軸を設定するなどしてもよい。

【0036】

そして、図８及び図９に例示されるように、始点終点設定部１２０は、端末２上で行われるユーザによる図面上で始点位置及び終点位置をそれぞれ指定する位置指定操作（設定操作）に応じて、図面に対して始点位置及び終点位置のセットを設定してもよい。もしくは、始点終点設定部１２０は、図面データの図面を事前に学習した学習モデルを用いて画像解析し、図９に例示されるように、図面に記載の構造物を網羅的に始点位置及び終点位置のセットを自動で設定してもよい。そして、始点終点設定部１２０は、始点位置及び終点位置のセットを図面データに紐づけて図面関連データ記憶部１６０に記憶する。なお、図８に例示されるように、始点位置及び終点位置の区別がつくように表示を異ならせたり（例えば、点の形状や、色、大きさなど）、始点位置及び終点位置のセットが認識しやすいように始点位置から終点位置までの矢印を表示してもよい。

【0037】

また、図９に例示されるように、始点終点設定部１２０は、図面上に始点位置及び終点位置のセットを複数設定してもよい。そして、始点終点設定部１２０は、特に、図９に例示されるように、始点位置から終点位置までの方向は、第１軸または第２軸の少なくともいずれかに沿う方向（例えば、第１軸は図面の横方向で左右方向、第２軸は縦方向で上下方向など）に限定されていてもよく、そのように限定されていることで、後述の画像紐付け部１４０による紐付け処理が簡略化する。さらに、始点終点設定部１２０により始点位置や終点位置の設定可能な位置は、図面上のいずれの位置であってもよいが、例えば第１軸及び第２軸が所定間隔で区切られていて、両軸の交点の位置（いわゆるＸＹ座標）、または、碁盤の目状に区画化された四角領域の中心点の位置が指定可能であってもよい。

【0038】

本発明の実施の形態においては、構造物は、例えば家屋やビルなどの建物、ダム、堤防、橋梁、発電設備、送電設備、タンク、乗り物、建造物などであってもよい。

【0039】

本発明の実施の形態においては、図面は、構造物の少なくとも一部分を示す図面であって、例えば、構造物の一方向からの外観図や設計図などのような平面図であってもよいし、構造物の三次元モデルデータ（例えば、ＢＩＭデータやＣＡＤデータなど）の一方向からの表示を保存した画像であってもよいし、実際の構造物を撮影した画像であってもよい。そして、図面は、特に構造物の側面や上面の外観を示す図面であってもよい。さらに、図面データは、位置情報（例えば緯度経度高さ情報）を含まない図面データであると、本発明の優位性が特に明確となる。

【0040】

関連付け部１３０は、始点終点設定部１２０により設定された始点位置及び終点位置のセットに対して、一以上の画像データを関連付ける。具体的な例としては、図１０に例示されるように、ユーザの選択操作により所定のセットを選択し（例示では、選択された矢印を点線化している）、図１１に例示されるように、選択セットに対して関連付ける画像データをユーザの選択操作により選択することで選択セットに対して一以上の画像データを関連付ける。もしくは、ユーザ操作により始点位置及び終点位置のセットを無人飛行体４が飛行した経路に沿って設定している場合には、各画像データに含まれる時間情報または位置情報を互いに比較し、各セットにおける始点位置及び終点位置の間の相対距離（特に図面上の長さ）に応じた画像データを時間順又は位置順に各セットに関連付けるようにしてもよい。より具体的な例として、例えば同じ長さの矢印を有する始点位置及び終点位置のセットが２つ設定されている場合に、時間情報により把握される１０タイミング分の画像データを、それぞれのセットに対して時間順に５タイミング分の画像データごとに自動で対応付けるようにしてもよい。関連付け部１３０は、このような関連付け処理によるセットと画像データの対応関係を示す対応関係情報を図面関連データ記憶部１６０に記憶するようにしてもよい。画像データは、無人飛行体４に設けられたカメラにより撮影された画像データであってよく、飛行体関連情報記憶部１７０に記憶されていて、関連付け部１３０により読み出されてもよい。

【0041】

画像紐付け部１４０は、関連付け部１３０により関連付けた各セットに対応する画像データを始点位置から終点位置までの所定位置にそれぞれ紐づける。

【0042】

具体的な一例としては、画像紐付け部１４０は、例えば、始点位置から終点位置までの方向が構造物の高さ方向に沿って設定されている場合（特に、Ｙ軸が構造物の高さ方向に沿っていて、Ｙ軸方向に沿って始点位置から終点位置までの方向が設定されている場合）には、画像データに含まれる高さ情報（すなわち、無人飛行体４のカメラで画像を取得した際の高度情報）に基づいて、図面上の位置（例えば、始点位置から終点位置まで間の位置）を設定してもよい。より具体的な一例としては、図１０に例示した選択セットを示す矢印の長さが図面上で１０ｃｍであって、関連付けられた５枚の画像データに含まれる高さ情報がそれぞれ０ｍ、２ｍ、６ｍ、８ｍ、１０ｍである場合、図１２に例示されるように５枚の画像データは矢印の始点から０ｃｍ、２ｃｍ、６ｃｍ、８ｃｍ、１０ｃｍの位置に紐づけられてもよい。これらは、例えば、選択セットを示す矢印の長さが図面上で５ｃｍである場合には、図１２に例示されるように５枚の画像データは矢印の始点から０ｃｍ、１ｃｍ、３ｃｍ、４ｃｍ、５ｃｍの位置に紐づけられてもよい。この時、関連付けられた複数の画像データの高さ情報の最小値が０でない場合には、０から最大値までの範囲を、対応する選択セットの始点位置から終点位置までの距離（すなわち図１０の場合選択された矢印の長さ）に対応付けて、関連付けられた複数の画像データの高さ情報の最小値に対応する位置から各画像データを紐づけるようにしてもよい。もしくは、０から最大値までの範囲に代えて、関連付けられた複数の画像データの高さ情報の下限値と上限値の少なくとも何れか一方に対応する位置を、端末２上でのユーザ操作に基づき、又は画像データが持つ高さ情報に応じて自動で、対応する選択セットの始点位置又は終点位置として設定可能としてもよい。

【0043】

また、上記同様に、画像紐付け部１４０は、例えば、始点位置から終点位置までの方向が構造物の水平方向に沿って設定されている場合（特に、Ｘ軸が構造物の水平方向に沿っていて、Ｘ軸方向に沿って始点位置から終点位置までの方向が設定されている場合）には、画像データに含まれる緯度経度情報（すなわち、無人飛行体４のカメラで画像を取得した際の緯度経度情報）に基づいて、図面上の位置を設定してもよい。この時、端末２上でのユーザ操作に基づき、緯度情報と経度情報の少なくともいずれに基づき画像データの位置を紐づけていくかを設定できるように構成されていてもよい。

【0044】

具体的な他の例としては、画像紐付け部１４０は、例えば、始点位置から終点位置までの方向に沿って、始点位置から終点位置までの距離を関連付けられた画像データの数で等分した位置にそれぞれ均等に紐づけるようにしてもよい。より具体的な一例としては、図１０に例示した選択セットを示す矢印の長さが図面上で１０ｃｍであって、関連付けられた画像データが６枚である場合、６枚の画像データは矢印の始点から０ｃｍ、２ｃｍ、４ｃｍ、６ｃｍ、８ｃｍ、１０ｃｍの位置に紐づけられてもよい。これらは、例えば、選択セットを示す矢印の長さが図面上で５ｃｍである場合には、６枚の画像データは矢印の始点から０ｃｍ、１ｃｍ、２ｃｍ、３ｃｍ、４ｃｍ、５ｃｍの位置に紐づけられてもよい。

【0045】

情報出力部１５０は、図面関連データ記憶部１６０に記憶される図面データや図面データに関連付けられた画像データ、飛行体関連情報記憶部１７０に記憶される飛行体経路情報や自己位置情報、無人飛行体４で撮影された画像データなどに基づいて、端末２や無人飛行体４からの要求等に応じて送信するための出力情報を生成する。

【0046】

具体的な例は、情報出力部１５０は、端末２上で図面データに紐づくタグ情報を選択する（例えば、タグ情報は構造物に関する位置を示す情報であって、図１３ではタグ情報として「東面」と壁面の位置が選択されている）ことに応じて、対応する図面データを出力情報に含めて生成してもよい。

【0047】

また、図１３においては、図面上に紐づけられた画像データの位置が記号等の可視化情報に基づき可視化されていてもよく、端末２上で図面上の画像データの位置の選択操作がされた場合には、情報出力部１５０は、対応する画像データを出力情報に含めて生成してもよい。その際、出力情報に含められた画像データに関連する画像関連情報も出力情報に含めてもよい。

【0048】

画像関連情報は、例えば、構造物に関する情報であってもよく、構造物の位置情報（例えば、緯度経度情報など）、構造物の壁面の構成物種別情報（例えば、タイル、レンガ、コンクリート、木など）を含んでいてもよい。

【0049】

画像関連情報は、例えば、無人飛行体４で画像を取得した位置情報（例えば、緯度経度高さ情報など）や、構造物の劣化状態を示す情報を含んでもよい。構造物の劣化状態を示す情報（以下、「劣化状態情報」ともいう。）は、端末２上での入力操作を介して画像データに関連付けられた劣化状態情報であってもよいし、画像データを画像解析した劣化状態情報であってもよい。画像データを画像解析した劣化状態情報は、情報出力部１５０が画像データを本システム内または外に備えられる学習モデルに入力して解析した結果情報であり、例えば、構造物のヒビ割れや汚れなどの劣化状態を推定する学習モデルを用いて解析した結果情報であってもよい。劣化状態情報は、例えば図１３に示されるような劣化種別情報（例えば、ヒビ割れ、欠け、汚れなど）や劣化種別ごとの劣化の程度を示すレベル（例えば、ヒビ割れの大きさを所定範囲ごとに区切ったレベル、欠けの面積の大きさを所定範囲ごとに区切ったレベルなど）を含んでいてもよい。さらに、情報出力部１５０は、劣化状態情報を用いて、読み出した図面上に可視化する画像データを劣化している部分を含むと推定された画像データに限定して可視化するようにしてもよい。

【0050】

なお、端末２は、情報出力部１５０が生成した出力情報に基づき、端末２上で実行されるアプリケーション上で所定のユーザインタフェースに対応させて図１３に例示するようなフォーマットで表示する。

【0051】

＜点検方法の一例＞
図１４を参照して、本実施形態にかかる情報処理システムによる点検方法について説明する。

【0052】

まず、サーバ１は、始点終点設定部１２０により、構造物の少なくとも一部分（例えば、壁面など）を示す図面上に始点位置及び終点位置のセットを一以上設定する（ＳＱ１０１）。

【0053】

次に、サーバ１は、関連付け部１３０により、始点終点設定部１２０により設定された始点位置及び終点位置のセットに対して、一以上の画像データを関連付ける。

【0054】

次に、サーバ１は、画像紐付け部１４０により、関連付け部１３０により関連付けた各セットに対応する画像データを始点位置から終点位置までの所定位置にそれぞれ紐づける（ＳＱ１０３）。

【0055】

次に、サーバ１は、図面関連データ記憶部１６０に記憶される図面データや図面データに関連付けられた画像データ、各種情報に基づいて、端末２に送信するための出力情報を生成する（ＳＱ１０４）。

【0056】

次に、端末２は、情報出力部１５０が生成した出力情報に基づき、端末２上で実行されるアプリケーション上で所定のユーザインタフェースに対応させて所定のフォーマットで各種情報を表示する（ＳＱ１０５）。

【0057】

このように、本発明は、構造物の少なくとも一部分を示す図面に画像データを紐づけるための情報処理システム及び情報処理方法、プログラム、サーバを提供することが可能となり、例えば構造物の外壁の点検などにおいては、特に緯度経度情報などを含まない図面上で、当該図面に記載の構造物を撮影した画像データの紐付けが容易になる。

【0058】

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【符号の説明】

【0059】

１ サーバ
２ ユーザ端末
４ 無人飛行体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】