特開 2023-35370 画像処理システム、画像処理装置、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023035370

(43)【公開日】2023-03-13

(54)【発明の名称】画像処理システム、画像処理装置、および画像処理プログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20230306BHJP

   H04N 23/60 20230101ALI20230306BHJP

【ＦＩ】

G06T7/60 180B

H04N5/232 290

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021142171

(22)【出願日】2021-09-01

(71)【出願人】

【識別番号】594058333

【氏名又は名称】川田テクノシステム株式会社

(74)【代理人】

【識別番号】100168952

【弁理士】

【氏名又は名称】藤田 壮一郎

(72)【発明者】

【氏名】工藤 克士

(72)【発明者】

【氏名】武川 勝美

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA13

5C122EA42

5C122FA02

5C122FH04

5C122FL02

5C122FL05

5C122HA88

5C122HB01

5C122HB10

5L096BA18

5L096DA02

5L096EA26

5L096FA22

5L096FA66

(57)【要約】

【課題】全天球画像内に指定された点の座標を実空間と同じ正系の３次元空間における座標に変換すること。
【解決手段】
画像処理システム１０は、全天球画像の外側に非ユークリッド平面である仮想球体平面を設定する仮想球体平面設定手段と、全天球画像内に計測点の指定を受け付ける計測点受付手段と、計測点受付手段によって指定を受け付けた計測点を仮想球体平面に描画する描画手段と、仮想球体平面に描画された計測点の座標を実空間と同じ正系の３次元空間における座標に変換する変換手段と、変換手段によって変換された２つの計測点間の距離を算出する距離算出手段とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

全天球画像の外側に非ユークリッド平面である仮想球体平面を設定する仮想球体平面設定手段と、
前記全天球画像内に計測点の指定を受け付ける計測点受付手段と、
前記計測点受付手段によって指定を受け付けた前記計測点を前記仮想球体平面に描画する描画手段と、
前記仮想球体平面に描画された前記計測点の座標を実空間と同じ正系の３次元空間における座標に変換する変換手段と、
前記変換手段によって変換された２つの計測点間の距離を算出する距離算出手段とを備えることを特徴とする画像処理システム。

【請求項2】

請求項１に記載の画像処理システムにおいて、
前記全天球画像の撮影位置から前記変換手段によって変換された前記計測点までの距離を算出する撮影位置距離算出手段をさらに備えることを特徴とする画像処理システム。

【請求項3】

請求項１または２に記載の画像処理システムにおいて、
前記全天球画像と前記仮想球体平面とを合成した仮想球体平面レイヤ画像を生成する仮想球体平面レイヤ画像生成手段をさらに備えることを特徴とする画像処理システム。

【請求項4】

請求項１～３のいずれか一項に記載の画像処理システムにおいて、
前記変換手段は、極座標系を直行座標系に変換するための写像マトリックスと、直行座標系を全天球画像を撮影したカメラの傾きを考慮して実空間と同じ正系の３次元空間に写像するための写像マトリックスとを用いて変換処理を行うことを特徴とする画像処理システム。

【請求項5】

請求項１～４のいずれか一項に記載の画像処理システムにおいて、
前記変換手段によって変換された前記計測点の座標を、該計測点の緯度経度を加えて電子地図上にマッピングできる座標に変換するマッピング手段をさらに備えることを特徴とする画像処理システム。

【請求項6】

全天球画像の外側に非ユークリッド平面である仮想球体平面を設定する仮想球体平面設定手段と、
前記全天球画像内に計測点の指定を受け付ける計測点受付手段と、
前記計測点受付手段によって指定を受け付けた前記計測点を前記仮想球体平面に描画する描画手段と、
前記仮想球体平面に描画された前記計測点の座標を実空間と同じ正系の３次元空間における座標に変換する変換手段と、
前記変換手段によって変換された２つの計測点間の距離を算出する距離算出手段とを備えることを特徴とする画像処理装置。

【請求項7】

請求項６に記載の画像処理装置において、
前記全天球画像の撮影位置から前記変換手段によって変換された前記計測点までの距離を算出する撮影位置距離算出手段をさらに備えることを特徴とする画像処理装置。

【請求項8】

請求項６または７に記載の画像処理装置において、
前記全天球画像と前記仮想球体平面とを合成した仮想球体平面レイヤ画像を生成する仮想球体平面レイヤ画像生成手段をさらに備えることを特徴とする画像処理装置。

【請求項9】

請求項６～８のいずれか一項に記載の画像処理装置において、
前記変換手段は、極座標系を直行座標系に変換するための写像マトリックスと、直行座標系を全天球画像を撮影したカメラの傾きを考慮して実空間と同じ正系の３次元空間に写像するための写像マトリックスとを用いて変換処理を行うことを特徴とする画像処理装置。

【請求項10】

請求項６～９のいずれか一項に記載の画像処理装置において、
前記変換手段によって変換された前記計測点の座標を、該計測点の緯度経度を加えて電子地図上にマッピングできる座標に変換するマッピング手段をさらに備えることを特徴とする画像処理装置。

【請求項11】

全天球画像の外側に非ユークリッド平面である仮想球体平面を設定する仮想球体平面設定手順と、
前記全天球画像内に計測点の指定を受け付ける計測点受付手順と、
前記計測点受付手順で指定を受け付けた前記計測点を前記仮想球体平面に描画する描画手順と、
前記仮想球体平面に描画された前記計測点の座標を実空間と同じ正系の３次元空間における座標に変換する変換手順と、
前記変換手順で変換した２つの計測点間の距離を算出する距離算出手順とをコンピュータに実行させるための画像処理プログラム。

【請求項12】

請求項１１に記載の画像処理プログラムにおいて、
前記全天球画像の撮影位置から前記変換手順で変換した前記計測点までの距離を算出する撮影位置距離算出手順をさらに有することを特徴とする画像処理プログラム。

【請求項13】

請求項１１または１２に記載の画像処理プログラムにおいて、
前記全天球画像と前記仮想球体平面とを合成した仮想球体平面レイヤ画像を生成する仮想球体平面レイヤ画像生成手順をさらに有することを特徴とする画像処理プログラム。

【請求項14】

請求項１１～１３のいずれか一項に記載の画像処理プログラムにおいて、
前記変換手順は、極座標系を直行座標系に変換するための写像マトリックスと、直行座標系を全天球画像を撮影したカメラの傾きを考慮して実空間と同じ正系の３次元空間に写像するための写像マトリックスとを用いて変換処理を行うことを特徴とする画像処理プログラム。

【請求項15】

請求項１１～１４のいずれか一項に記載の画像処理プログラムにおいて、
前記変換手順で変換した前記計測点の座標を、該計測点の緯度経度を加えて電子地図上にマッピングできる座標に変換するマッピング手順をさらに有することを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像処理装置、および画像処理プログラムに関する。

【背景技術】

【0002】

次のような画像処理装置が知られている。この画像処理装置では、全天球画像に対し推定アルゴリズムを施して、立体視用の全天球画像を生成する（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－８６４９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザは全天球画像内に点を指定して、指定した２点間の実空間上における距離を算出することができれば、全天球画像によって実空間上における２点間の距離を把握することができるが、従来はこのための技術について何ら検討されていなかった。

【課題を解決するための手段】

【0005】

本発明による画像処理システムは、全天球画像の外側に非ユークリッド平面である仮想球体平面を設定する仮想球体平面設定手段と、全天球画像内に計測点の指定を受け付ける計測点受付手段と、計測点受付手段によって指定を受け付けた計測点を仮想球体平面に描画する描画手段と、仮想球体平面に描画された計測点の座標を実空間と同じ正系の３次元空間における座標に変換する変換手段と、変換手段によって変換された２つの計測点間の距離を算出する距離算出手段とを備えることを特徴とする。
本発明による画像処理装置は、全天球画像の外側に非ユークリッド平面である仮想球体平面を設定する仮想球体平面設定手段と、全天球画像内に計測点の指定を受け付ける計測点受付手段と、計測点受付手段によって指定を受け付けた計測点を仮想球体平面に描画する描画手段と、仮想球体平面に描画された計測点の座標を実空間と同じ正系の３次元空間における座標に変換する変換手段と、変換手段によって変換された２つの計測点間の距離を算出する距離算出手段とを備えることを特徴とする。
本発明による画像処理プログラムは、全天球画像の外側に非ユークリッド平面である仮想球体平面を設定する仮想球体平面設定手順と、全天球画像内に計測点の指定を受け付ける計測点受付手順と、計測点受付手順で指定を受け付けた計測点を仮想球体平面に描画する描画手順と、仮想球体平面に描画された計測点の座標を実空間と同じ正系の３次元空間における座標に変換する変換手順と、変換手順で変換した２つの計測点間の距離を算出する距離算出手順とをコンピュータに実行させるためのプログラムである。

【発明の効果】

【0006】

本発明によれば、全天球画像内に計測点が指定されると、２つの計測点間の実空間と同じ正系の３次元空間における距離を算出することができるため、実空間上における２点間の距離を計測することができる。

【図面の簡単な説明】

【0007】

【図1】画像処理システム１０の一実施の形態の構成を示すブロック図である。

【図2】３６０度カメラ１００の一実施の形態の構成を示すブロック図である。

【図3】画像送信端末２００の一実施の形態の構成を示すブロック図である。

【図4】サーバ３００の一実施の形態の構成を示すブロック図である。

【図5】ユーザ端末４００の一実施の形態の構成を示すブロック図である。

【図6】画像表示機器５００の一実施の形態の構成を示すブロック図である。

【図7】実スケール３次元空間に対して仮想球体平面を設定した状態を模式的に示した図である。

【図8】写像マトリックスを使用して仮想球体平面を実スケール３次元空間に変換する方法を模式的に示した図である。

【図9】算出対象とする距離を模式的に示した第一の図である。

【図10】算出対象とする距離を模式的に示した第二の図である。

【図11】算出対象とする距離を模式的に示した第三の図である。

【図12】算出対象とする距離を模式的に示した第四の図である。

【図13】算出対象とする距離を模式的に示した第五の図である。

【図14】サーバ３００で実行される仮想球体平面設定処理の流れを示すフローチャート図である。

【図15】サーバ３００で実行される変換処理の流れを示すフローチャート図である。

【図16】サーバ３００で実行される距離算出処理の流れを示すフローチャート図である。

【発明を実施するための形態】

【0008】

図１は、本実施の形態における画像処理システム１０の一実施の形態の構成を示すブロック図である。本実施の形態における画像処理システム１０は、３６０度カメラ１００と、画像送信端末２００と、サーバ３００と、ユーザ端末４００と、画像表示機器５００とで構成されている。

【0009】

３６０度カメラ１００は、上下方向と水平方向を３６０度撮影することができる全天球型のカメラである。この３６０度カメラ１００を利用すると、カメラの周囲３６０度の範囲の静止画や動画を撮影することができる。なお、本実施の形態では、３６０度カメラ１００では静止画を撮影するものとし、以下の説明では、３６０度カメラ１００で撮影された静止画を３６０度カメラ画像と呼ぶ。

【0010】

３６０度カメラ１００は、無線または有線の通信技術を利用して画像送信端末２００に接続されており、３６０度カメラ１００で撮影された３６０度カメラ画像のデータは画像送信端末２００へ送信される。画像送信端末２００は、３６０度カメラ１００から３６０度カメラ画像のデータを受信すると、通信回線、例えばインターネットに接続されたサーバ３００へ送信するための端末である。サーバ３００は、本発明における画像処理装置として機能し、画像送信端末２００を介して受信した３６０度カメラ画像のデータを記録するための記憶媒体を備えたサーバ装置である。ユーザ端末４００は、３６０度カメラ１００で撮影された３６０度カメラ画像を閲覧したり、ユーザが３６０度カメラ１００で撮影された３６０度カメラ画像に対して後述する付加情報を付加したりするための操作を行うために利用される端末である。画像表示機器５００は、３６０度カメラ１００で撮影された３６０度カメラ画像をバーチャル・リアリティ（ＶＲ）の技術を利用して表示するためのＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）機器である。なお、ユーザ端末４００と画像表示機器５００は、通信回線、例えばインターネットを介してサーバ３００にアクセスすることにより、３６０度カメラ１００で撮影された３６０度カメラ画像を閲覧することができる。

【0011】

３６０度カメラ１００は、上述したようにカメラの周囲３６０度を撮影することができる公知の全天球型のカメラである。図２に示すように、３６０度カメラ１００は、撮像部１０１と、制御装置１０２と、通信インターフェース１０３とを備えている。

【0012】

撮像部１０１は、レンズ、撮像素子、その他周辺回路によって構成され、カメラの周囲を３６０度撮影することができるように構成されている。撮像部１０１で撮影された静止画や動画のデータは、制御装置１０２へ出力される。

【0013】

制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され３６０度カメラ１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリやフラッシュメモリ等の不揮発性のメモリを含む。揮発性のメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。また、不揮発性のメモリには、３６０度カメラ１００を動作させるためのファームウェアや種々のアプリケーションを動作させるためのソフトウェアのプログラムデータが記録される。なお、フラッシュメモリ等の不揮発性のメモリは、不図示のカードスロットに挿入されたメモリカードなどの外部の記憶媒体を利用するようにしてもよい。

【0014】

通信インターフェース１０３は、無線または有線により外部の機器と通信するための通信用インターフェースを含む。本実施の形態では、３６０度カメラ１００は、撮影した静止画や動画のデータを通信インターフェース１０３を介して画像送信端末２００へ送信できるように設定されている。

【0015】

画像送信端末２００は、例えば、スマートフォン、携帯電話機、タブレット端末、パソコンなどの通信機能を備えた端末が用いられる。図３は、本実施の形態における画像送信端末２００として、タブレット端末を用いた場合の一実施の形態の構成を示すブロック図である。画像送信端末２００は、タッチパネル２０１と、通信インターフェース２０２と、制御装置２０３とを備えている。

【0016】

タッチパネル２０１は、画面上の表示を押すことで機器を操作することができる入力装置である。例えば、画像送信端末２００の操作者は、液晶パネル上に表示されたボタンやメニュー等の表示項目を指やタッチペンを用いてタッチまたはスライドさせることにより、画像送信端末２００を操作することができる。タッチパネル２０１は、操作者によるタッチやスライドといった操作を検出して、その検出信号を制御装置２０３へ出力する。

【0017】

通信インターフェース２０２は、画像送信端末２００を他の装置や端末等の外部機器と接続するための通信用インターフェースを含む。例えば、通信インターフェース２０２には、無線または有線により外部の機器と通信するための通信用モジュールを含む。本実施の形態では、画像送信端末２００は、通信インターフェース２０２を介して３６０度カメラ１００やサーバ３００と接続して通信できるように設定されている。

【0018】

制御装置２０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画像送信端末２００の全体を制御する。なお、制御装置２０３構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリやフラッシュメモリ等の不揮発性のメモリを含む。揮発性のメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。また、不揮発性のメモリには、画像送信端末２００を動作させるためのファームウェアや種々のアプリケーションを動作させるためのソフトウェアのプログラムデータが記録される。

【0019】

図４は、本実施の形態におけるサーバ３００の一実施の形態の構成を示すブロック図である。サーバ３００は、通信インターフェース３０１と、制御装置３０２と、記憶媒体３０３とを備えている。

【0020】

通信インターフェース３０１は、サーバ３００をインターネット等の通信回線に接続するためのインターフェースであり、例えば、インターネットに有線で接続するための有線ＬＡＮモジュールや、インターネットに無線で接続するための無線ＬＡＮモジュールなどを含んでいる。本実施の形態では、サーバ３００は、この通信インターフェース３０１を介してサーバ３００と通信する。

【0021】

制御装置３０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、サーバ３００の全体を制御する。なお、制御装置３０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、通信インターフェース３０１を介して読み込まれたデータは、バッファメモリに一時的に記録される。

【0022】

記憶媒体３０３は、サーバ３００が蓄える種々のデータや、制御装置３０２が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記憶媒体３０３に記録されるプログラムのデータは、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体３０３にインストールすることによって、制御装置３０２がプログラムを実行できるようになる。

【0023】

ユーザ端末４００は、例えば、スマートフォン、携帯電話機、タブレット端末、パソコンなどが用いられる。図５は、本実施の形態におけるユーザ端末４００として、パソコンを用いた場合の一実施の形態の構成を示すブロック図である。

【0024】

ユーザ端末４００は、操作部材４０１と、通信インターフェース４０２と、制御装置４０３と、記憶媒体４０４と、表示装置４０５とを備えている。

【0025】

操作部材４０１は、ユーザ端末４００の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。

【0026】

通信インターフェース４０２は、ユーザ端末４００を他の装置や端末等の外部機器と接続するためのインターフェースである。例えば、通信インターフェース４０２には、ＬＡＮやインターネット等の通信回線に接続するためのインターフェースが含まれる。ユーザ端末４００は、この通信インターフェース４０２を介してサーバ３００と通信を行う。

【0027】

制御装置４０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、ユーザ端末４００の全体を制御する。なお、制御装置４０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、通信インターフェース４０２を介して読み込まれたデータは、バッファメモリに一時的に記録される。

【0028】

記憶媒体４０４は、ユーザ端末４００が蓄える種々のデータや、制御装置４０３が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記憶媒体４０４に記録されるプログラムのデータは、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体４０４にインストールすることによって、制御装置４０３がプログラムを実行できるようになる。

【0029】

表示装置４０５は、例えば液晶モニタであって、制御装置４０３から出力される種々の表示用データが表示される。

【0030】

画像表示機器５００は、上述したように、３６０度カメラ１００で撮影された３６０度カメラ画像をバーチャル・リアリティ（ＶＲ）の技術を利用して表示するためのＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）機器であって、例えば公知のＶＲゴーグルが用いられる。図６は、本実施の形態における画像表示機器５００の一実施の形態の構成を示すブロック図である。

【0031】

画像表示機器５００は、通信インターフェース５０１と、制御装置５０２と、ディスプレイ５０３とを備えている。

【0032】

通信インターフェース５０１は、画像表示機器５００を他の装置や端末等の外部機器と接続するためのインターフェースである。例えば、通信インターフェース５０１には、ＬＡＮやインターネット等の通信回線に接続するためのインターフェースが含まれる。画像表示機器５００は、この通信インターフェース５０１を介してサーバ３００と通信する。

【0033】

制御装置５０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画像表示機器５００の全体を制御する。なお、制御装置５０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリやフラッシュメモリ等の不揮発性のメモリを含む。揮発性のメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。また、不揮発性のメモリには、画像表示機器５００を動作させるためのファームウェアや種々のアプリケーションを動作させるためのソフトウェアのプログラムデータが記録される。

【0034】

ディスプレイ５０３は、例えば液晶や有機ＥＬなどのモニタであって、制御装置５０２から出力される種々の表示用データが表示される。本実施の形態では、ディスプレイ５０３に３６０度カメラ１００で撮影された３６０度カメラ画像、すなわち全天球画像をバーチャル・リアリティ（ＶＲ）の技術を利用して表示する。これによって、画像表示機器５００を装着した人物に仮想現実世界を提供することができる。

【0035】

本実施の形態における画像処理システム１０では、３６０度カメラ１００により撮影された３６０度カメラ画像内に線、マーカ、矢印、コメント、または計測点などの付加情報を描画することができ、画像表示機器５００での閲覧時に、描画された付加情報を３６０度カメラ画像の回転等に対して追従して表示する機能を備えている。また、３６０度カメラ画像内に描画された計測点については、該計測点の座標を実空間における座標に変換して、３６０度カメラ画像内に描画された２つの計測点間の実空間における距離を計算する機能を備えている。

【0036】

以下、本実施の形態における画像処理システム１０について説明する。なお、以下の説明では、サーバ３００の記憶媒体３０３には、３６０度カメラ１００で撮影された３６０度カメラ画像が記憶されているものとする。上述したように、３６０度カメラ１００は、カメラの上下方向と水平方向を３６０度撮影することができる全天球型のカメラであるため、３６０度カメラ１００で撮影された３６０度カメラ画像は、実空間と同じ正系の３次元空間に配置される。本実施の形態では、この３次元空間を実スケール３次元空間と呼ぶ。実スケール３次元空間はユークリッド空間であり、座標原点は３６０度カメラ１００のレンズ部分である。

【0037】

本実施の形態では、サーバ３００では、制御装置３０２は、記憶媒体３０３に記録した３６０度カメラ画像に対して仮想球体平面を設定する。本実施の形態では、仮想球体平面は、次式（１）により半径が設定される非ユークリッド平面であり、極座標を座標として表現している。
仮想球体平面の半径＝３６０度カメラ画像の半径×１．２ ・・・（１）

【0038】

図７は、実スケール３次元空間に対して仮想球体平面を設定した状態を模式的に示した図である。図７では、図７（Ａ）に示す実スケール３次元空間７ａに対して、図７（Ｂ）に示すように式（１）により半径が設定された仮想球体平面７ｂが設定された例を示している。本実施の形態では、図７（Ｃ）に示すように、実スケール３次元空間７ａと仮想球体平面７ｂを合成することにより、３６０度カメラ画像の周囲に仮想球体平面７ｂを設定する。このように、仮想球体平面は、３６０度カメラ画像の外側に設定された曲面空間であり、本実施の形態では、仮想球体平面として設定した曲面空間をレイヤ空間とし、ユーザによって描画された付加情報は、該レイヤ空間に配置されて保存される。これによって、ユーザによって３６０度カメラ画像内に描画された付加情報は、３６０度カメラ画像とは別にレイヤ的に情報管理することが可能となる。

【0039】

本実施の形態では、制御装置３０２は、図７（Ｃ）に示すように、実スケール３次元空間７ａと仮想球体平面７ｂを合成して、３６０度カメラ画像の外側に仮想球体平面を設定した仮想球体平面レイヤ画像を生成し、記憶媒体３０３に記録する。これによって、記憶媒体３０３には、３６０度カメラ画像と、該３６０度カメラ画像に基づいて生成された仮想球体平面レイヤ画像が記録されることになる。

【0040】

本実施の形態では、ユーザは、ユーザ端末４００を操作して３６０度カメラ画像に線、マーカ、矢印、コメント、または計測点などの付加情報を描画することができる。本実施の形態では、ユーザが仮想球体平面レイヤ画像に付加情報を描画すると描画された付加情報が仮想球体平面にプロットされることにより、３６０度カメラ画像に付加情報を付加することができる。

【0041】

ユーザ端末４００では、制御装置４０３は、ユーザによって付加情報の描画開始が指示されると、サーバ３００にアクセスしてサーバ３００の記憶媒体３０３から仮想球体平面レイヤ画像を取得して、表示装置４０５に表示する。これによって、ユーザはサーバ３００に格納されている仮想球体平面レイヤ画像を閲覧することができる。なお、表示装置４０５に表示させる仮想球体平面レイヤ画像の指定方法は特に限定されない。例えば、制御装置４０３は、ユーザによって指定されたファイル名の３６０度カメラ画像に対応する仮想球体平面レイヤ画像をサーバ３００から取得して表示してもよいし、サーバ３００に記録されている仮想球体平面レイヤ画像を一覧表示し、その中から選択されたものを表示するようにしてもよい。あるいは、制御装置４０３は、サーバ３００に記録されている３６０度カメラ画像を一覧表示し、その中から選択されたものに対応する仮想球体平面レイヤ画像を表示するようにしてもよい。

【0042】

ユーザは、操作部材４０１、例えばマウスを操作して、表示装置４０５に表示された仮想球体平面レイヤ画像に対して、線、マーカ、矢印、コメント、または計測点などの付加情報を描画することができる。これによって、３６０度カメラ画像に線、マーカ、矢印、コメント、または計測点などの付加情報を付加することができる。

【0043】

本実施の形態では、マーカは、ポリゴンで作成され、ユーザは、大きさ、色、透過の状態を変更することができる。なお、マーカの種類や形状はデータベースで管理されている。ユーザは、マーカの種類や形状を選択して指定することができる。また、一度配置したマーカは、変更機能を利用して大きさ、位置、色、透過を変更することができる。矢印は、ポリゴンで作成され、ユーザは、大きさ、色、透過の状態を変更できる。また、一度配置した矢印は、変更機能を利用して大きさ、位置、色、透過を変更することができる。線は、ポリラインで作成され、ユーザは、複数点の指定、大きさ、色、透過の状態を変更することができる。なお、線の情報と形状はデータベースで管理されている。また、一度配置した線は、変更機能を利用してポイントの移動、大きさ、位置、色、透過を変更することができる。コメントは、ユーザが任意の文字列を入力することができる。

【0044】

制御装置４０３は、ユーザによって仮想球体平面レイヤ画像に付加情報が描画された場合には、３６０度カメラ画像の外側に合成されている仮想球体平面に、ユーザによって描画された付加情報を描画する。これによって、上述したように、仮想球体平面をレイヤ空間として、該レイヤ空間にユーザによって描画された付加情報を描画することができる。制御装置４０３は、仮想球体平面に付加情報を描画した後の仮想球体平面レイヤ画像をサーバ３００へ送信する。

【0045】

サーバ３００では、制御装置３０２は、記憶媒体３０３に記録されている仮想球体平面レイヤ画像をユーザ端末４００から受信した仮想球体平面レイヤ画像で更新する。これによって、サーバ３００の記憶媒体３０３には、ユーザによって付加情報が描画された仮想球体平面レイヤ画像が記録される。

【0046】

サーバ３００では、制御装置３０２は、記憶媒体３０３に記録した仮想球体平面レイヤ画像を対象として、該仮想球体平面レイヤ画像上に設定された計測点の座標を、実スケール３次元空間における座標に変換するための変換処理を実行する。

【0047】

本実施の形態では、上述した仮想球体平面にプロットされた計測点の座標を実スケール３次元空間における座標に変換するために写像マトリックスを用いる。写像マトリックスは、平面から空間への変換マトリックスである。本実施の形態では、極座標系を直行座標系に変換するための写像マトリックスｄｅｔＡと、直行座標系を３６０度カメラの傾きを考慮して実スケール３次元空間に写像するための写像マトリックスｄｅｔＢとを用いる。これらの写像マトリックスを使用することによって仮想球体平面レイヤ画像における仮想球体平面と実スケール３次元空間とを関連付けて、仮想球体平面上に指定された計測点の座標を実空間における計測点の座標に変換する。図８（Ａ）は、写像マトリックス８ｃを使用して仮想球体平面８ａを実スケール３次元空間８ｂに変換する方法を模式的に示した図である。

【0048】

以下、本実施の形態における計測処理について説明する。なお、以下の説明において、撮影地点における３６０度カメラ１００の設置高さと撮影地点の緯度経度情報は、３６０度画像の撮影時に記録されているものとする。なお、３６０度カメラ１００の設置高さは、設置平面から３６０度カメラ１００のレンズ位置までの高さとすればよい。

【0049】

制御装置３０２は、仮想球体平面にプロットされた計測点を実スケール３次元空間における計測点に変換する。本実施の形態では、仮想球体平面に指定された点Ｃを計測点として、仮想球体平面に指定された計測点Ｃの座標を実スケール３次元空間における座標に変換する方法について説明する。

【0050】

制御装置３０２は、仮想球体平面上における計測点Ｃがある面に点Ａと点Ｂの２点を設定する。これにより、点Ａと点Ｂの２点で、仮想球体平面上における計測点Ｃがある面を設定することができる。なお、以下の説明において、仮想球体平面上の点Ａの座標はＰａ（Ｘａ，Ｙａ，Ｚａ）、仮想球体平面上のＢ点の座標はＰｂ（Ｘｂ，Ｙｂ，Ｚｂ）とする。また、計算で用いる値は以下のように定義する。
仮想球体面の半径：Ｒ
Ａ点のピッチ角：θａ
Ａ点のヨー角：φａ
Ｂ点のピッチ角：θｂ
Ｂ点のヨー角：φｂ
３次元空間上での３６０度カメラ１００の設置高さ：Ｈ
３６０度カメラ１００のジャイロにより計測されたピッチ角：Ｐｉｃｈ
３６０度カメラ１００のジャイロにより計測されたヨー角：Ｙａｗ
３６０度カメラ１００のジャイロにより計測されたロール角：Ｒｏｌｌ
撮影地点の緯度：Ｌａｔｉ
撮影地点の経度：Ｌｏｎｇ

【0051】

制御装置３０２は、点Ａおよび点Ｂを元に仮想球体平面上から実スケール３次元空間に写像するための写像マトリックスｄｅｔＡを作成する。写像マトリックスｄｅｔＡはＲ、Ｈ、θａ、θｂ、φａ、φｂを変数とした（３，３）型マトリックスであって、次式（２）で表される。なお、次式（２）において、ｆｉｊは、Ｒ、Ｈ、θａ、θｂ、φａ、φｂを成分とした関数である。

【数1】

【0052】

制御装置３０２は、写像マトリックｄｅｔＡを用いて仮想球体平面上に指定された計測点Ｃ（θｃ、φｃ、Ｒ）を次式（３）により実スケール３次元空間に変換して点Ｃ´（Ｘｃ´、Ｙｃ´、Ｚｃ´）を得る。なお、点Ｃから点Ｃ´への変換時に極座標系から直交座標系への変換が行われる。

【数2】

【0053】

制御装置３０２は、式（３）によって求めた点Ｃ´（Ｘｃ´、Ｙｃ´、Ｚｃ´）を写像マトリックスｄｅｔＢを用いてジャイロの傾きを考慮した実スケール３次元空間に写像する。写像マトリックスｄｅｔＢは、Ｐｉｃｈ、Ｙａｗ、Ｒｏｌｌを変数とした（３，３）型マトリックスである。式（３）によって求めた点Ｃ´（Ｘｃ´、Ｙｃ´、Ｚｃ´）は、次式（４）により実スケール３次元空間上の点Ｃ´´（Ｘｃ´´、Ｙｃ´´、Ｚｃ´´）に変換される。

【数3】

【0054】

なお、制御装置３０２は、式（４）によって求めた実スケール３次元空間上の点Ｃ´´（Ｘｃ´´、Ｙｃ´´、Ｚｃ´´）を、次式（５）により変換することにより、実スケール３次元空間上の点Ｃ´´（Ｘｃ´´、Ｙｃ´´、Ｚｃ´´）を緯度経度を加えて電子地図上にマッピングできる座標に変換することができる。なお、次式（５）においてｄｅｔＣはＬｏｎｇ、Ｌａｔｉを変数とした（３，３）型マトリックスである。

【数4】

【0055】

本実施の形態では、ユーザが仮想球体平面上に計測点を２点指定すれば、制御装置３０２は、指定された２点をそれぞれ実スケール３次元空間上の点に変換することができる。このため、制御装置３０２は、実スケール３次元空間上の２つの座標の平方から仮想球体平面上に指定された２点間の実スケール３次元空間における距離を算出することができる。例えば、上述した計測点Ｃ（θｃ、φｃ、Ｒ）の他に計測点Ｄ（θｄ、φｄ、Ｒ）が指定された場合には、制御装置３０２は、以下のように変換処理を行って、計測点Ｃと計測点Ｄとの間の実スケール３次元空間における距離を算出する。

【0056】

制御装置３０２は、仮想球体平面上における計測点Ｃと計測点Ｄがある面に点Ａと点Ｂの２点を設定して式（２）により写像マトリックスｄｅｔＡを作成する。そして、計測点Ｃ（θｃ、φｃ、Ｒ）と計測点Ｄ（θｄ、φｄ、Ｒ）のそれぞれについて式（３）を用いて実スケール３次元空間に変換し、点Ｃ´（Ｘｃ´、Ｙｃ´、Ｚｃ´）と点Ｄ´（Ｘｄ´、Ｙｄ´、Ｚｄ´）を求める。そして、これらを式（４）により実スケール３次元空間上の点Ｃ´´（Ｘｃ´´、Ｙｃ´´、Ｚｃ´´）と点Ｄ´´（Ｘｄ´´、Ｙｄ´´、Ｚｄ´´）に変換する。制御装置３０２は、このようにして求めた実スケール３次元空間上の点Ｃ´´（Ｘｃ´´、Ｙｃ´´、Ｚｃ´´）と実スケール３次元空間上の点Ｄ´´（Ｘｄ´´、Ｙｄ´´、Ｚｄ´´）の座標に基づいて、座標の平方から計測点Ｃと計測点Ｄとの間の実スケール３次元空間上における距離を算出することができる。

【0057】

例えば、点ＰＰ（ｎ）と点ＰＰ（ｎ＋１）の距離を算出する場合には、次式（６）に示すように計算をすればよい。
ＳＱＲＴ（（Ｘ（ｎ＋１）－Ｘ（ｎ））^２＋（Ｙ（ｎ＋１）－Ｙ（ｎ））^２＋（Ｚ（ｎ＋１）－Ｚ（ｎ））^２) ・・・（６）

【0058】

制御装置３０２は、仮想球体平面上における全ての計測点を対象として写像マトリックスｄｅｔＡ、ｄｅｔＢを用いた変換処理を行うことにより、ユーザによって３６０度カメラ画像内に描画された全ての計測点の座標を実スケール３次元空間における座標に変換することができる。図８（Ｂ）は、仮想球体平面上に設定された複数の計測点の座標を実スケール３次元空間における座標に変換した状態を模式的に示した図である。

【0059】

制御装置３０２は、上述した処理によって算出した２点間の距離の情報を仮想球体平面レイヤ画像の付加情報に記録する。本実施の形態では、画像表示機器５００の制御装置５０２は、サーバ３００から仮想球体平面レイヤ画像を取得してディスプレイ５０３に表示することができるため、画像表示機器５００で仮想球体平面レイヤ画像を閲覧したユーザは、画像内で２点間の距離を確認することができる。

【0060】

次に、本実施の形態で算出対象とする距離について説明する。本実施の形態で計測対象として想定する距離の一例を図９～図１３に示す。図９～図１３は、本実施の形態で計測対象とする距離の具体例を模式的に示した図である。以下、図９～図１３を用いてそれぞれの距離について説明する。なお、図９～図１３では、計測対象となる線の範囲を破線矢印で示している。

【0061】

図９は、地盤に対して鉛直に立つ構造物上に、鉛直方向に任意に指定された２つの計測点間の距離を算出することにより、実空間における構造物の高さＶを算出する場合を模式的に示した図である。図９（Ａ）に示すように、この方法は、例えば、３６０度カメラ画像９ａで撮影した３６０度画像に含まれる構造物９ｂの地盤面からの高さＶを計測する場合に利用される。ユーザは、高さＶを求める場合には、図９（Ｂ）に示すように、３６０度カメラ画像内の構造物９ｂに対して計測点９ｃと計測点９ｄの２点を指定する。ユーザによって指定された計測点は、上述した付加情報として仮想球体平面に描画される。

【0062】

この場合、制御装置３０２は、計測点９ｃと計測点９ｄのそれぞれを対象として式（２）～式（４）を用いた変換処理を行うことにより、計測点９ｃと計測点９ｄの実スケール３次元空間上における座標を求め、実スケール３次元空間上における２点の座標に基づいて計測点９ｃと計測点９ｄの実スケール３次元空間上における距離、すなわち構造物９ｂの高さＶを計測することができる。

【0063】

図１０は、撮影位置から、地盤に対して水平に配置された構造物上に任意に指定された計測点までの間の距離を算出する場合を模式的に示した図である。本実施の形態では、撮影位置から計測点までの実空間における水平方向の距離（以下、水平距離と呼ぶ）と、３６０度カメラ１０ａのレンズ位置（撮影点）から計測点までの実空間における距離（以下、カメラ距離と呼ぶ）を算出対象とする。図１０（Ａ）に示すように、この方法は、例えば、地盤に対して水平に配置された構造物に対して指定された計測点までの３６０度カメラ１０ａからの水平距離Ｈ１と、該計測点までの撮影点からのカメラ距離Ｈ２を計測する場合に利用される。ユーザは、水平距離Ｈ１やカメラ距離Ｈ２を求める場合には、図１０（Ｂ）に示すように、３６０度カメラ画像内の構造物１０ｂに対して計測点１０ｃを指定する。ユーザによって指定された計測点は、上述した付加情報として仮想球体平面に描画される。なお、水平距離Ｈ１とカメラ距離Ｈ２は、両方とも算出するようにしてもよいし、どちらの距離を算出するかについてユーザからの指示を受け付けて、ユーザによって指示された方の距離のみを算出するようにしてもよい。

【0064】

この場合、制御装置３０２は、計測点１０ｃを対象として式（２）～式（４）を用いた変換処理を行うことにより、計測点１０ｃの実スケール３次元空間上における座標を求め、実スケール３次元空間上における計測点１０ｃの座標と、３６０度カメラ１００の設置位置の座標や３６０度カメラ１００のレンズ位置の座標との間の距離を算出することによって、実スケール３次元空間上における水平距離Ｈ１やカメラ距離Ｈ２を計測することができる。

【0065】

図１１は、地盤に対して任意角面を持つ構造物上に任意に指定された複数の計測点間の距離を算出することにより、実空間における計測点間の鉛直方向の距離Ｌｖ（ｎ）を算出する場合を模式的に示した図である。図１１（Ａ）に示すように、この方法は、例えば、３６０度カメラ画像１１ａで撮影した３６０度画像に含まれる構造物１１ｂに設定された複数の点を含む線の実長Ｌｖ（ｎ）を計測する場合に利用される。ユーザは、実長Ｌｖ（ｎ）を求める場合には、図１１（Ｂ）に示すように、３６０度カメラ画像内の構造物１０ｂに対して、鉛直方向に複数の計測点１１ｃ、１１ｄ、１１ｅ、および１１ｆの４
点を指定する。ユーザによって指定された計測点は、上述した付加情報として仮想球体平面に描画される。

【0066】

この場合、制御装置３０２は、計測点１１ｃ、１１ｄ、１１ｅ、および１１ｆのそれぞれを対象として式（２）～式（４）を用いた変換処理を行うことにより、計測点１１ｃ、１１ｄ、１１ｅ、および１１ｆの実スケール３次元空間上における座標を求める。そして、実スケール３次元空間上における計測点１１ｃと１１ｄの間の距離、計測点１１ｄと１１ｅの間の距離、および計測点１１ｅと１１ｆの間の距離をそれぞれ算出して、これらを合計することにより、計測点１１ｃ、１１ｄ、１１ｅ、および１１ｆで構成される線の実長Ｌｖ（ｎ）を計測することができる。

【0067】

図１２は、地盤に対して任意角面を持つ構造物に任意に指定された複数の計測点間の水平方向の距離を算出することにより、実空間における計測点間の水平方向の距離Ｌｈ（ｎ）を算出する場合を模式的に示した図である。図１２（Ａ）に示すように、この方法は、例えば、３６０度カメラ画像１２ａで撮影した３６０度画像に含まれる構造物１２ｂに設定した複数の点を含む線の実長Ｌｈ（ｎ）を計測する場合に利用される。ユーザは、実長Ｌｈ（ｎ）を求める場合には、図１２（Ｂ）に示すように、３６０度カメラ画像内の構造物に対して、水平方向に複数の計測点１２ｃ、１２ｄ、１２ｅ、及び１２ｆの４点を指定する。ユーザによって指定された計測点は、上述した付加情報として仮想球体平面に描画される。

【0068】

この場合、制御装置３０２は、計測点１２ｃ、１２ｄ、１２ｅ、および１２ｆのそれぞれを対象として式（２）～式（４）を用いた変換処理を行うことにより、計測点１２ｃ、１２ｄ、１２ｅ、および１２ｆの実スケール３次元空間上における座標を求める。そして、実スケール３次元空間上における計測点１２ｃと１２ｄの間の距離、計測点１２ｄと１２ｅの間の距離、および計測点１２ｅと１２ｆの間の距離をそれぞれ算出して、これらを合計することにより、計測点１２ｃ、１２ｄ、１２ｅ、および１２ｆで構成される線の実長Ｌｈ（ｎ）を計測することができる。

【0069】

図１３は、地盤に対して任意角面（ヨー角、ピッチ角）を持つ平面上に任意に指定された計測点間の該平面上での距離を算出することにより、実空間における計測点間の平面上における距離Ｌｄ（ｎ）を算出する場合を模式的に示した図である。図１３（Ａ）に示すように、この方法は、例えば、３６０度カメラ画像１３ａで撮影した３６０度画像に含まれる地盤に対してヨー角とピッチ角をもつ平面１３ｂに設定した複数の点を含む線の実長Ｌｄ（ｎ）を計測する場合に利用される。ユーザは、実長Ｌｄ（ｎ）を求める場合には、図１３（Ｂ）に示すように、３６０度カメラ画像内の平面上に複数の計測点１３ｃ、１３ｄ、１３ｅ、及び１３ｆの４点を指定する。ユーザによって指定された計測点は、上述した付加情報として仮想球体平面に描画される。

【0070】

この場合、制御装置３０２は、計測点１３ｃ、１３ｄ、１３ｅ、および１３ｆのそれぞれを対象として式（２）～式（４）を用いた変換処理を行うことにより、計測点１３ｃ、１３ｄ、１３ｅ、および１３ｆの実スケール３次元空間上における座標を求める。そして、実スケール３次元空間上における計測点１３ｃと１３ｄの間の距離、計測点１３ｄと１３ｅの間の距離、および計測点１３ｅと１３ｆの間の距離をそれぞれ算出して、これらを合計することにより、計測点１３ｃ、１３ｄ、１３ｅ、および１３ｆで構成される線の実長Ｌｄ（ｎ）を計測することができる。

【0071】

制御装置３０２は、上記の処理によって計測点に基づいて計測した距離の情報を付加情報として仮想球体平面に描画して、付加情報を更新する。これによって、ユーザによって指定された計測点に基づいて算出した距離の情報を付加情報に含めて記録することができる。また、上述したように、画像表示機器５００での閲覧時には描画された付加情報を３６０度カメラ画像の回転等に対して追従して表示することができるため、画像表示機器５００を装着した人物は、３６０度カメラ画像とともに、計測点に基づいて測定された距離情報も閲覧することができる。また、本実施の形態では、実スケール３次元空間上における計測点間の距離を算出することができるため、算出した距離を用いれば、３６０度カメラ画像内に存在する構造物等の実スケール３次元空間上における面積や体積も求めることが可能となる。これによって、本実施の形態における画像処理システム１０は、以下の（Ａ）～（Ｆ）に示すような場面での活用が期待できる。

【0072】

（Ａ）災害時における応急調査や復旧計画
河川堤防の破堤などにおいて、破堤長さや面積の計測において計測機器や精密機器を使用せずに３６０度カメラ画像のみで形状や流出土量を算定できる。また、計測結果を使用して応急復旧に使用する土量数を簡単に算出できるようになる。災害時は現場が混乱していることや土壌が悪いことから計測機器の使用が制限される中、非常に有効なシステムとなる。また、計測機器を使用すると計測データから必要なデータを抽出し、関係者に配信するにはデータ加工しなければならない。しかし、本システムは、このデータ加工の作業も不要であることから非常に迅速な応急復旧計画を作成できる。

【0073】

（Ｂ）狭所空間における形状の概略計測
狭所空間において計測機器が使用できない状態や人が入れない空間においても簡単に物体計測を実施できる。３６０度カメラ１００が入るスペースがあれば計測できるため、多様な利用方法が考えられる。例えば、人が入れない下水道管や橋梁内部の距離を計測したり、建物の天井裏の状況を計測したり、災害時で生じた狭所空間の内部の計測など計測機器を搬入したり人が入れない場所の計測ができる。

【0074】

（Ｃ）建物などへの搬入・搬出計画
建物において機械や重機など大型の物体を搬入・搬出する際、本システムにて簡単に開口部の大きさを計測できることから円滑な活動が可能となる。図面等で判断もできるが、図面が管理されていないことが多い場合、経時的な変化で形状が変わった場合でも機器搬入ルートの確認を迅速かつ簡単に実施できるようになる。

【0075】

（Ｄ）逐次変化する動植物などの生育状況の効果的な観察
３６０度カメラ１００で動植物の成長や大きさの効果的な観測が可能である。３６０度カメラ１００で撮影された静止画や動画にて計測できるため、動植物に接触することなく計測できることは自然保護の観点でも効果的である。

【0076】

（Ｅ）経時的に変化する状況の効果的な観察
３６０度カメラ画像の動画や定点観測で画像上にマーカを添付することで物体の移動状態を観測したり移動量を把握したりすることができる。例えば、河川にある浮島の移動距離や大きさの変化を特別な機材（レーザ測量等）を使用せずとも計測および観測できる。

【0077】

（Ｆ）発展途上国において計測機器の購入や利用が困難な地区での簡易測量
発展途上国において、レーザ計測機器を広く普及させるためには、費用や技術などの相応の支援が必要である。本システムを使用すれば３６０度カメラ１００とシステムを導入するだけで道路計測、土地計測、施工状況の把握が視覚的に可能となる。計測機器は、数値を判断しなければならないが、本システムは、必要な点をポイントするだけで計測できるため、どのような地区でも利用できる。

【0078】

図１４は、本実施の形態におけるサーバ３００で実行される仮想球体平面設定処理の流れを示すフローチャートである。図１４に示す処理は、仮想球体平面の設定タイミングにおいて起動するプログラムとして、制御装置３０２によって実行される。なお、仮想球体平面の設定タイミングは特に限定されないが、例えば、ユーザによって指示されたタイミング、あらかじめ設定されたタイミング、３６０度カメラ画像が記憶媒体３０３に記録されたタイミングなどが想定される。また、図１４においては、記憶媒体３０３には、３６０度カメラ１００で撮影された３６０度カメラ画像があらかじめ記憶されているものとする。

【0079】

ステップＳ１０において、制御装置３０２は、上述したように、記憶媒体３０３に記録されている３６０度カメラ画像に対して、式（１）によって算出される半径の仮想球体平面を設定する。その後、ステップＳ２０へ進む。

【0080】

ステップＳ２０では、制御装置３０２は、上述したように、実スケール３次元空間と仮想球体平面を合成して、３６０度カメラ画像の外側に仮想球体平面を設定した仮想球体平面レイヤ画像を生成する。その後、ステップＳ３０へ進む。

【0081】

ステップＳ３０では、制御装置３０２は、ステップＳ２０で生成した仮想球体平面レイヤ画像を記憶媒体３０３に記録する。その後、処理を終了する。

【0082】

図１５は、本実施の形態におけるサーバ３００で実行される変換処理の流れを示すフローチャートである。図１５に示す処理は、変換処理の開始タイミングにおいて起動するプログラムとして、制御装置３０２によって実行される。なお、変換処理の開始タイミングは特に限定されないが、例えば、ユーザによって指示されたタイミング、あらかじめ設定されたタイミング、仮想球体平面に付加された付加情報に計測点が含まれることを検出したタイミングなどが想定される。また、図１５においては、記憶媒体３０３には、仮想球体平面に付加情報を描画した後の仮想球体平面レイヤ画像があらかじめ記憶されているものとする。

【0083】

ステップＳ１１０において、制御装置３０２は、上述したように、仮想球体平面上における計測点がある面に２つの点を設定し、式（２）で表される写像マトリックスｄｅｔＡを作成する。その後、ステップＳ１２０へ進む。

【0084】

ステップＳ１２０では、制御装置３０２は、上述したように、写像マトリックｄｅｔＡを用いて式（３）により仮想球体平面上に指定された計測点を実スケール３次元空間上の点に変換する。その後、ステップＳ１３０へ進む。

【0085】

ステップＳ１３０では、制御装置３０２は、上述したように、式（３）によって求めた点を、写像マトリックスｄｅｔＢを用いて式（４）により実スケール３次元空間に写像することによって、式（３）によって求めた点をジャイロの傾きを考慮した実スケール３次元空間上の点に変換する。その後、ステップＳ１４０へ進む。

【0086】

ステップＳ１４０では、制御装置３０２は、仮想球体平面レイヤ画像に含まれるすべての計測点に対してステップＳ１１０～ステップＳ１３０の処理が完了したか否かを判断する。ステップＳ１４０で肯定判断した場合には処理を終了する。これに対して、ステップＳ１４０で否定判断した場合には、ステップＳ１１０へ戻り、ステップＳ１１０～ステップＳ１３０の処理が完了していない計測点を対象としてステップＳ１１０～ステップＳ１３０の処理を繰り返す。

【0087】

図１６は、本実施の形態におけるサーバ３００で実行される距離算出処理の流れを示すフローチャートである。図１６に示す処理は、距離算出処理の開始タイミングにおいて起動するプログラムとして、制御装置３０２によって実行される。なお、距離算出処理の開始タイミングは特に限定されないが、例えば、ユーザによって指示されたタイミング、あらかじめ設定されたタイミング、図１５に示した変換処理が終了したタイミングなどが想定される。

【0088】

ステップＳ２１０において、制御装置３０２は、上述したように、実スケール３次元空間上の点に変換された２つの点の間の距離を座標の平方から算出する。その後、ステップＳ２２０へ進む。

【0089】

ステップＳ２２０では、制御装置３０２は、ステップＳ２１０で算出した２点間の距離の情報を仮想球体平面レイヤ画像の付加情報に記録する。その後、処理を終了する。

【0090】

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置３０２は、３６０度カメラ画像の外側に非ユークリッド平面である仮想球体平面を設定し、３６０度カメラ画像内に計測点の指定を受け付け、指定された計測点を仮想球体平面に描画し、仮想球体平面に描画された計測点の座標を実空間と同じ正系の３次元空間における座標に変換し、変換した２つの計測点間の距離を算出するようにした。これによって、３６０度カメラ画像内に計測点が指定されると、２つの計測点間の実空間と同じ正系の３次元空間における距離を算出することができる。

【0091】

（２）制御装置３０２は、３６０度カメラ画像の撮影位置から計測点までの距離を算出するようにした。これによって、３６０度カメラ１００から計測点までの実空間上における距離を算出することができる。

【0092】

（３）制御装置３０２は、３６０度カメラ画像と仮想球体平面とを合成して仮想球体平面レイヤ画像を生成するようにした。これによって、付加情報が描画された仮想球体平面を３６０度カメラ画像に合成した仮想球体平面レイヤ画像を生成することができる。

【0093】

（４）制御装置３０２は、極座標系を直行座標系に変換するための写像マトリックスｄｅｔＡと、直行座標系を全天球画像を撮影したカメラの傾きを考慮して実空間と同じ正系の３次元空間に写像するための写像マトリックスｄｅｔＢとを用いて変換処理を行うようにした。これによって、仮想球体平面に描画された計測点の座標を実スケール３次元空間における座標に変換することができる。

【0094】

（５）制御装置３０２は、式（５）を用いて変換することにより、実スケール３次元空間上の計測点の座標を緯度経度を加えて電子地図上にマッピングできる座標に変換するようにした。これによって、仮想球体平面に描画された計測点を電子地図上にマッピングすることができる。

【0095】

―変形例―
なお、上述した実施の形態の画像処理システムは、以下のように変形することもできる。
（１）上述した実施の形態では、３６０度カメラ１００は、無線または有線の通信技術を利用して画像送信端末２００に接続されており、３６０度カメラ１００で撮影された３６０度カメラ画像のデータは画像送信端末２００へ送信された後に、画像送信端末２００からサーバ３００へ送信する例について説明した。しかしながら、３６０度カメラ１００が通信機能を備えており、サーバ３００と直接通信が可能な場合には、画像送信端末２００は設けなくてもよい。

【0096】

（２）上述した実施の形態において、ユーザは、ユーザ端末４００を操作して仮想球体平面レイヤ画像に線、マーカ、矢印、コメント、または計測点などの付加情報を描画する例について説明した。このとき、ユーザ端末４００では、制御装置４０３は、ユーザによって仮想球体平面レイヤ画像の表示が指示されると、サーバ３００にアクセスしてサーバ３００の記憶媒体３０３から仮想球体平面レイヤ画像を取得して、表示装置４０５に表示するようにした。しかしながら、サーバ３００では、制御装置３０２は、アクセス元のユーザ端末４００のユーザがサーバ３００にアクセス可能なＩＤを有している場合にのみ、サーバ３００へのアクセスを許可するようにしてもよい。

【0097】

（３）上述した実施の形態では、計測点の座標変換に用いる写像マトリックスは、極座標を実距離座標に変換するための写像マトリックスｄｅｔＡと、実距離座標を実緯度経度にマッピングする写像マトリックスｄｅｔＢとを用いる例について説明した。しかしながら、写像マトリックスは、写像マトリックスｄｅｔＡと写像マトリックスｄｅｔＢを合成した１つの合成マトリックスとして表現してもよい。

【0098】

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

【符号の説明】

【0099】

１０ 画像処理システム
１００ ３６０度カメラ
１０１ 撮像部
１０２ 制御装置
１０３ 通信インターフェース
２００ 画像送信端末
２０１ タッチパネル
２０２ 通信インターフェース
２０３ 制御装置
３００ サーバ
３０１ 通信インターフェース
３０２ 制御装置
３０３ 記憶媒体
４００ ユーザ端末
４０１ 操作部材
４０２ 通信インターフェース
４０３ 制御装置
４０４ 記憶媒体
４０５ 表示装置
５００ 画像表示機器
５０１ 通信インターフェース
５０２ 制御装置
５０３ ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】