特開 2024-59505 マルチ画面表示システム、マルチ画面表示装置、およびマルチ画面表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024059505

(43)【公開日】2024-05-01

(54)【発明の名称】マルチ画面表示システム、マルチ画面表示装置、およびマルチ画面表示プログラム

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20240423BHJP

【ＦＩ】

G06F3/04845

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2022167214

(22)【出願日】2022-10-18

(11)【特許番号】

(45)【特許公報発行日】2023-07-19

(71)【出願人】

【識別番号】594058333

【氏名又は名称】川田テクノシステム株式会社

(74)【代理人】

【識別番号】100168952

【弁理士】

【氏名又は名称】藤田 壮一郎

(72)【発明者】

【氏名】工藤 克士

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA04

5E555AA26

5E555AA27

5E555AA28

5E555AA33

5E555BA04

5E555BA86

5E555BB04

5E555BC18

5E555CA02

5E555CA18

5E555CB05

5E555CB08

5E555CC22

5E555CC27

5E555DB04

5E555DB56

5E555DB57

5E555DC05

5E555DC24

5E555DC26

5E555DC27

5E555DC31

5E555DC35

5E555DD09

5E555FA00

(57)【要約】

【課題】並べて表示した３６０度画像や３次元モデルの動作を同期させること。
【解決手段】
マルチ画面表示システム１０は、３６０度画像または３次元モデルを表示した画面を複数並べて表示するマルチ画面表示手段と、マルチ画面表示手段によって表示された複数の画面のうち、１つの画面に対する操作を受け付ける操作受付手段と、操作受付手段で受け付けた操作内容に応じて、操作された画面内の３６０度画像または３次元モデルを動作させる動作手段と、操作された画面内の動作に同期させて、マルチ画面表示手段によって表示されたその他の画面内の３６０度画像または３次元モデルを動作させる同期手段とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

３６０度画像または３次元モデルを表示した画面を複数並べて表示するマルチ画面表示手段と、
前記マルチ画面表示手段によって表示された複数の画面のうち、１つの画面に対する操作を受け付ける操作受付手段と、
前記操作受付手段で受け付けた操作内容に応じて、操作された画面内の３６０度画像または３次元モデルを動作させる動作手段と、
前記操作された画面内の動作に同期させて、前記マルチ画面表示手段によって表示されたその他の画面内の３６０度画像または３次元モデルを動作させる同期手段とを備えることを特徴とするマルチ画面表示システム。

【請求項2】

請求項１に記載のマルチ画面表示システムにおいて、
前記同期手段は、前記マルチ画面表示手段によって表示された複数の画面のそれぞれに表示されている３６０度画像または３次元モデル同士で、画像の位置合わせ、操作内容に応じた回転角の制御、および操作内容に応じた上下方向及び奥手前方向の移動制御を行うことにより、前記操作された画面内の動作とその他の画面内の動作を同期させることを特徴とするマルチ画面表示システム。

【請求項3】

請求項１または２に記載のマルチ画面表示システムにおいて、
前記操作受付手段が受け付ける操作は、前記３６０度画像の場合は、拡大、縮小、または回転の操作であり、前記３次元モデルの場合は、拡大、縮小、回転、水平移動、または上下移動の操作であることを特徴とするマルチ画面表示システム。

【請求項4】

請求項１または２に記載のマルチ画面表示システムにおいて、
表示対象とする３６０度画像のファイル、または３次元モデルのファイルの選択を受け付ける表示ファイル選択受付手段と、
前記表示ファイル選択受付手段で選択を受け付けたファイルに並べて表示するファイルの選択を受け付けるマルチ表示ファイル選択受付手段とをさらに備え、
前記マルチ画面表示手段は、前記表示ファイル選択受付手段で選択を受け付けたファイルと、前記マルチ表示ファイル選択受付手段で選択を受け付けたファイルを記憶媒体から読み出して並べて表示することを特徴とするマルチ画面表示システム。

【請求項5】

請求項１または２に記載のマルチ画面表示システムにおいて、
前記マルチ画面表示手段によって表示された複数の画面内の動作を同期させるリンクモードと同期させない非リンクモードを備え、前記リンクモードが選択されているときには現在のモードがリンクモードであることを示す図形を表示し、前記非リンクモードが選択されているときには現在のモードが非リンクモードであることを示す図形を表示するモード表示手段をさらに備えることを特徴とするマルチ画面表示システム。

【請求項6】

請求項１または２に記載のマルチ画面表示システムにおいて、
前記マルチ画面表示手段によって表示された複数の画面内に表示されている３６０度画像または３次元モデル同士を比較して、表示されている画像の相違点を抽出し、相違箇所の表示色を変更する相違点抽出手段をさらに備えることを特徴とするマルチ画面表示システム。

【請求項7】

３６０度画像または３次元モデルを表示した画面を複数並べて表示するマルチ画面表示手段と、
前記マルチ画面表示手段によって表示された複数の画面のうち、１つの画面に対する操作を受け付ける操作受付手段と、
前記操作受付手段で受け付けた操作内容に応じて、操作された画面内の３６０度画像または３次元モデルを動作させる動作手段と、
前記操作された画面内の動作に同期させて、前記マルチ画面表示手段によって表示されたその他の画面内の３６０度画像または３次元モデルを動作させる同期手段とを備えることを特徴とするマルチ画面表示装置。

【請求項8】

請求項７に記載のマルチ画面表示装置において、
前記同期手段は、前記マルチ画面表示手段によって表示された複数の画面のそれぞれに表示されている３６０度画像または３次元モデル同士で、画像の位置合わせ、操作内容に応じた回転角の制御、および操作内容に応じた上下方向及び奥手前方向の移動制御を行うことにより、前記操作された画面内の動作とその他の画面内の動作を同期させることを特徴とするマルチ画面表示装置。

【請求項9】

請求項７または８に記載のマルチ画面表示装置において、
前記操作受付手段が受け付ける操作は、前記３６０度画像の場合は、拡大、縮小、または回転の操作であり、前記３次元モデルの場合は、拡大、縮小、回転、水平移動、または上下移動の操作であることを特徴とするマルチ画面表示装置。

【請求項10】

請求項７または８に記載のマルチ画面表示装置において、
表示対象とする３６０度画像のファイル、または３次元モデルのファイルの選択を受け付ける表示ファイル選択受付手段と、
前記表示ファイル選択受付手段で選択を受け付けたファイルに並べて表示するファイルの選択を受け付けるマルチ表示ファイル選択受付手段とをさらに備え、
前記マルチ画面表示手段は、前記表示ファイル選択受付手段で選択を受け付けたファイルと、前記マルチ表示ファイル選択受付手段で選択を受け付けたファイルを記憶媒体から読み出して並べて表示することを特徴とするマルチ画面表示装置。

【請求項11】

請求項７または８に記載のマルチ画面表示装置において、
前記マルチ画面表示手段によって表示された複数の画面内の動作を同期させるリンクモードと同期させない非リンクモードを備え、前記リンクモードが選択されているときには現在のモードがリンクモードであることを示す図形を表示し、前記非リンクモードが選択されているときには現在のモードが非リンクモードであることを示す図形を表示するモード表示手段をさらに備えることを特徴とするマルチ画面表示装置。

【請求項12】

請求項７または８に記載のマルチ画面表示装置において、
前記マルチ画面表示手段によって表示された複数の画面内に表示されている３６０度画像または３次元モデル同士を比較して、表示されている画像の相違点を抽出し、相違箇所の表示色を変更する相違点抽出手段をさらに備えることを特徴とするマルチ画面表示装置。

【請求項13】

３６０度画像または３次元モデルを表示した画面を複数並べて表示するマルチ画面表示手順と、
前記マルチ画面表示手順で表示した複数の画面のうち、１つの画面に対する操作を受け付ける操作受付手順と、
前記操作受付手順で受け付けた操作内容に応じて、操作された画面内の３６０度画像または３次元モデルを動作させる動作手順と、
前記操作された画面内の動作に同期させて、前記マルチ画面表示手順で表示したその他の画面内の３６０度画像または３次元モデルを動作させる同期手順とをコンピュータに実行させるためのマルチ画面表示プログラム。

【請求項14】

請求項１３に記載のマルチ画面表示プログラムにおいて、
前記同期手順は、前記マルチ画面表示手順で表示した複数の画面のそれぞれに表示されている３６０度画像または３次元モデル同士で、画像の位置合わせ、操作内容に応じた回転角の制御、および操作内容に応じた上下方向及び奥手前方向の移動制御を行うことにより、前記操作された画面内の動作とその他の画面内の動作を同期させることを特徴とするマルチ画面表示プログラム。

【請求項15】

請求項１３または１４に記載のマルチ画面表示プログラムにおいて、
前記操作受付手順で受け付ける操作は、前記３６０度画像の場合は、拡大、縮小、または回転の操作であり、前記３次元モデルの場合は、拡大、縮小、回転、水平移動、または上下移動の操作であることを特徴とするマルチ画面表示プログラム。

【請求項16】

請求項１３または１４に記載のマルチ画面表示プログラムにおいて、
表示対象とする３６０度画像のファイル、または３次元モデルのファイルの選択を受け付ける表示ファイル選択受付手順と、
前記表示ファイル選択受付手順で選択を受け付けたファイルに並べて表示するファイルの選択を受け付けるマルチ表示ファイル選択受付手順とをさらに有し、
前記マルチ画面表示手順は、前記表示ファイル選択受付手順で選択を受け付けたファイルと、前記マルチ表示ファイル選択受付手順で選択を受け付けたファイルを記憶媒体から読み出して並べて表示することを特徴とするマルチ画面表示プログラム。

【請求項17】

請求項１３または１４に記載のマルチ画面表示プログラムにおいて、
前記マルチ画面表示手順で表示した複数の画面内の動作を同期させるリンクモードと同期させない非リンクモードを備え、前記リンクモードが選択されているときには現在のモードがリンクモードであることを示す図形を表示し、前記非リンクモードが選択されているときには現在のモードが非リンクモードであることを示す図形を表示するモード表示手順をさらに有することを特徴とするマルチ画面表示プログラム。

【請求項18】

請求項１３または１４に記載のマルチ画面表示プログラムにおいて、
前記マルチ画面表示手順で表示した複数の画面内に表示されている３６０度画像または３次元モデル同士を比較して、表示されている画像の相違点を抽出し、相違箇所の表示色を変更する相違点抽出手順をさらに有することを特徴とするマルチ画面表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチ画面表示システム、マルチ画面表示装置、およびマルチ画面表示プログラムに関する。

【背景技術】

【0002】

次のような画像処理装置が知られている。この画像処理装置では、３６０度画像と呼ばれる全天球画像に対し推定アルゴリズムを施して、立体視用の全天球画像を生成する（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－８６４９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

静止画や動画を含む３６０度画像や３次元モデルが建設事業や維持管理事業等で広く普及してきている。これは、３６０度画像や３次元モデルは、スチル写真や２次元図面などの平面画像とは異なり、１つの画像から多くの情報を抽出できるために、俯瞰的、全体的な状態把握がしやすいことが理由となっている。その一方で、３６０度画像や３次元モデルは、平面画像と異なり空間情報となるため、複数の画像を見比べて状態の変化を確認したり、変更箇所を把握したり、同一視点からの状態を把握したりすることが困難となってる。このような問題を解決するために、複数の３６０度画像や３次元モデルを並べて表示し、それぞれを操作しながら情報を比較できる仕組みが求められていたが、従来はこのための技術について何ら検討されていなかった。

【課題を解決するための手段】

【0005】

本発明によるマルチ画面表示システムは、３６０度画像または３次元モデルを表示した画面を複数並べて表示するマルチ画面表示手段と、マルチ画面表示手段によって表示された複数の画面のうち、１つの画面に対する操作を受け付ける操作受付手段と、操作受付手段で受け付けた操作内容に応じて、操作された画面内の３６０度画像または３次元モデルを動作させる動作手段と、操作された画面内の動作に同期させて、マルチ画面表示手段によって表示されたその他の画面内の３６０度画像または３次元モデルを動作させる同期手段とを備えることを特徴とする。
本発明によるマルチ画面表示装置は、３６０度画像または３次元モデルを表示した画面を複数並べて表示するマルチ画面表示手段と、マルチ画面表示手段によって表示された複数の画面のうち、１つの画面に対する操作を受け付ける操作受付手段と、操作受付手段で受け付けた操作内容に応じて、操作された画面内の３６０度画像または３次元モデルを動作させる動作手段と、操作された画面内の動作に同期させて、マルチ画面表示手段によって表示されたその他の画面内の３６０度画像または３次元モデルを動作させる同期手段とを備えることを特徴とする。
本発明によるマルチ画面表示プログラムは、３６０度画像または３次元モデルを表示した画面を複数並べて表示するマルチ画面表示手順と、マルチ画面表示手順で表示した複数の画面のうち、１つの画面に対する操作を受け付ける操作受付手順と、操作受付手順で受け付けた操作内容に応じて、操作された画面内の３６０度画像または３次元モデルを動作させる動作手順と、操作された画面内の動作に同期させて、マルチ画面表示手順で表示したその他の画面内の３６０度画像または３次元モデルを動作させる同期手順とをコンピュータに実行させるためのプログラムである。

【発明の効果】

【0006】

本発明によれば、３６０度画像を表示した画面と３次元モデルを表示した画面を並べて表示し、１つの画面の３６０度画像または３次元モデルに対して操作を受け付け、この操作内容に応じた動作に同期させて他の画面の３６０度画像または３次元モデルを動作させるようにしたので、ユーザは、並べて表示された３６０度画像や３次元モデルを操作しながら情報を比較することができる。

【図面の簡単な説明】

【0007】

【図1】マルチ画面表示システム１０の一実施の形態の構成を示すブロック図である。

【図2】サーバ１００の一実施の形態の構成を示すブロック図である。

【図3】情報端末２００の一実施の形態の構成を示すブロック図である。

【図4】マルチ表示画面の例を模式的に示した図である。

【図5】３Ｄモデルの動作の同期例を模式的に示した図である。

【図6】画像の位置合わせの方法を説明するための図である。

【図7】ｎ個の画面をマルチ表示した場合の例を模式的に示した図である。

【図8】画像相違点を自動抽出する方法を模式的に示した図である。

【図9】サーバ１００で実行されるリンクモード時の処理の流れを示すフローチャート図である。

【発明を実施するための形態】

【0008】

図１は、本実施の形態におけるマルチ画面表示システム１０の一実施の形態の構成を示すブロック図である。本実施の形態におけるマルチ画面表示システム１０は、サーバ１００と情報端末２００とで構成されており、サーバ１００と情報端末２００とは通信回線を介して接続されている。

【0009】

図２は、本実施の形態におけるサーバ１００の一実施の形態の構成を示すブロック図である。サーバ１００は、通信インターフェース１０１と、制御装置１０２と、記憶媒体１０３とを備えている。

【0010】

通信インターフェース１０１は、サーバ１００をインターネット等の通信回線に接続するためのインターフェースであり、例えば、インターネットに有線で接続するための有線ＬＡＮモジュールや、インターネットに無線で接続するための無線ＬＡＮモジュールなどを含んでいる。本実施の形態では、サーバ１００は、この通信インターフェース１０１を介して情報端末２００と通信する。

【0011】

制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、サーバ１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、通信インターフェース１０１を介して読み込まれたデータは、バッファメモリに一時的に記録される。

【0012】

記憶媒体１０３は、サーバ１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記憶媒体１０３に記録されるプログラムのデータは、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。

【0013】

情報端末２００は、例えば、スマートフォン、携帯電話機、タブレット端末、パソコンなどが用いられる。図３は、本実施の形態における情報端末２００として、パソコンを用いた場合の一実施の形態の構成を示すブロック図である。

【0014】

情報端末２００は、操作部材２０１と、通信インターフェース２０２と、制御装置２０３と、記憶媒体２０４と、表示装置２０５とを備えている。

【0015】

操作部材２０１は、情報端末２００の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。

【0016】

通信インターフェース２０２は、情報端末２００を他の装置や端末等の外部機器と接続するためのインターフェースである。例えば、通信インターフェース２０２には、ＬＡＮやインターネット等の通信回線に接続するためのインターフェースが含まれる。情報端末２００は、この通信インターフェース２０２を介してサーバ１００と通信を行う。

【0017】

制御装置２０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、情報端末２００の全体を制御する。なお、制御装置２０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、通信インターフェース２０２を介して読み込まれたデータは、バッファメモリに一時的に記録される。

【0018】

記憶媒体２０４は、情報端末２００が蓄える種々のデータや、制御装置２０３が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記憶媒体２０４に記録されるプログラムのデータは、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体２０４にインストールすることによって、制御装置２０３がプログラムを実行できるようになる。

【0019】

表示装置２０５は、例えば液晶モニタであって、制御装置２０３から出力される種々の表示用データが表示される。

【0020】

本実施の形態におけるマルチ画面表示システム１０では、サーバ１００の記憶媒体１０３には、表示用ファイルが記録されており、制御装置１０２は、複数の表示用ファイルを並べて表示したマルチ表示画面を情報端末２００に出力するための処理を実行する。本実施の形態では、表示用ファイルは、例えば、３６０度写真、３次元モデル（３Ｄモデル画像）、平面写真、２次元図面、ＰＤＦ、３６０度動画、または平面動画のファイルを想定する。

【0021】

３６０度写真や３６０度動画を含む３６０度画像のファイルは、例えば、上下方向と水平方向を３６０度撮影することができる全天球型の３６０度カメラを用いて撮影された静止画や動画である。また、平面写真や平面動画のファイルは、例えば、デジタルカメラなどの平面写真や平面動画を撮影可能な機器を用いて撮影されたものを用いればよい。３Ｄモデルや２次元図面のファイルは、例えば、ＣＡＤなどの３Ｄモデルや２次元図面を作成可能なソフトウェアを用いて作成されたものを用いればよい。また、ＰＤＦのファイルは、例えば、ＰＤＦ形式のファイルを作成可能なソフトウェアを用いて作成されたものを用いればよい。

【0022】

なお、表示用ファイルの記憶媒体１０３への記録方法は限定されないが、例えば、ユーザが機器を操作してファイルをサーバ１００へアップロードすると、制御装置１０２がアップロードされたファイルを記憶媒体１０３に記録する方法などが想定される。このとき、制御装置１０２はアップロードされたファイルに固有のファイルＩＤを付加する。これによって、各ファイルはファイルＩＤを用いて管理することができるため、アップロードされたファイルが同じファイル名であってもファイルＩＤによって各ファイルを識別することが可能となる。

【0023】

近年、３６０度写真または３６０度動画などの３６０度画像や３Ｄモデルが建設事業や維持管理事業等で広く普及してきている。これは、３６０度画像や３Ｄモデルは、スチル写真や２次元図面などの平面画像とは異なり、１つの画像から多くの情報を抽出できることや、俯瞰的に全体的な状態が把握しやすいことなどが要因となっている。その一方、３６０度画像や３Ｄモデルは、平面画像と異なり空間情報となるため、複数の画像を見比べて状態の変化を確認したり、変更箇所を把握したり、同一視点からの状態を把握したりすることが困難となってる。このため、本実施の形態におけるマルチ画面表示システム１０では、このような問題を解決するためのシステムとして、複数の画像に基づいて同一視点で情報を比較するための機能を提供する。なお、マルチ画面表示システム１０を利用するためのプログラムはサーバ１００の記憶媒体１０３に記録されており、情報端末２００のユーザは、操作部材２０１を操作して該プログラムの実行を指示することにより、マルチ画面表示システム１０を利用することができる。以下、本実施の形態におけるマルチ画面表示システム１０について説明する。

【0024】

本実施の形態におけるマルチ画面表示システム１０では、マルチ画面表示が可能なファイルの組み合わせがあらかじめ設定されている。本実施の形態でマルチ画面表示が可能なファイルの組み合わせは、例えば、３６０度写真と３６０度写真、３６０度写真と３Ｄモデル、３６０度写真と３６０度動画、３Ｄモデルと３Ｄモデル、３Ｄモデルと３６０度動画、平面写真と平面写真、２次元図面と２次元図面、ＰＤＦとＰＤＦ、３６０度動画と３６０度動画のそれぞれの組み合わせとなる。

【0025】

マルチ画面表示システム１０を利用するユーザは、情報端末２００を操作してマルチ画面表示を行いたいファイルを選択する。本実施の形態では、例えば、情報端末２００を介してユーザによってファイルの選択が指示されると、サーバ１００の制御装置１０２は、記憶媒体１０３に記録されている表示用ファイルの選択を受け付けるための表示用ファイル選択画面を情報端末２００へ出力する。情報端末２００では、制御装置２０３は、サーバ１００から出力された表示用ファイル選択画面を表示装置２０５に表示する。これによって、ユーザは表示用ファイル選択画面上で表示用ファイルを選択することができる。

【0026】

サーバ１００では、制御装置１０２は、表示用ファイル選択画面上でユーザによって表示用ファイルが選択されると、ユーザによって選択されたファイルを記憶媒体１０３から読み出して、これを表示した画面を情報端末２００へ出力する。情報端末２００では、制御装置２０３は、サーバ１００から出力された画面を表示装置２０５に表示する。

【0027】

表示装置２０５に表示された画面上には、マルチ表示画面の表示を指示するためのボタンが配置されており、ユーザは、該ボタンをクリックすることによってマルチ表示画面の表示を指示ことができる。制御装置１０２は、ユーザによってマルチ表示画面の表示を指示するためのボタンがクリックされたことを検出した場合には、現在表示されているファイルに並べて表示するファイルの選択を受け付けるためのマルチ表示用ファイル選択画面を表示装置２０５に表示する。これによって、ユーザはマルチ表示用ファイル選択画面上で、現在表示されているファイルに並べて表示するマルチ表示させる表示ファイルを選択することができる。

【0028】

サーバ１００では、制御装置１０２は、マルチ表示用ファイル選択画面上でユーザによってマルチ表示用の表示用ファイルが選択されると、ユーザによって選択されたファイルを記憶媒体１０３から読み出して、読み出したマルチ表示用の表示用ファイルを、既に表示されている表示用ファイルに並べて表示したマルチ表示画面を情報端末２００へ出力する。情報端末２００では、制御装置２０３は、サーバ１００から出力されたマルチ表示画面を表示装置２０５に表示する。これによって、図４に示すようなマルチ表示画面が表示装置２０５に表示される。なお、図４（Ａ）は、マルチ表示画面に２つの３６０度写真が横に並べて表示された例を示しており、図４（Ｂ）は、マルチ表示画面に２つの３Ｄモデルが横に並べて表示された例を示しており、図４（Ｃ）は、マルチ表示画面に３６０度写真と３Ｄモデルが横に並べて表示された例を示している。

【0029】

ユーザは、マルチ表示画面に表示されている複数のファイルの動作方法を指定するためにリンクモードと非リンクモードのいずれかを選択する。リンクモードは、画面に表示されている複数のファイルの動作を同期するモードで、非リンクモードは、画面に表示されている複数の画像が各々動作するモードとなる。本実施の形態では、リンクモードが上述したように複数の画像に基づいて同一視点で情報を比較するための機能を提供するためのモードとなる。このため、ユーザは、選択したファイルが並べて表示されたマルチ表示画面で、複数の画像に基づいて同一視点で情報を比較したい場合には、リンクモードを選択する。一方、ユーザは、選択したファイルを並べて表示したマルチ表示画面で、それぞれのファイルを個別に操作したい場合には、非リンクモードを選択する。

【0030】

本実施の形態では、ユーザは、各表示用ファイルに対して以下のような操作が可能なものとする。３６０度写真に対しては、拡大、縮小、回転（ピッチ角、ロール角、ヨー角）の操作、３Ｄモデルに対しては、拡大、縮小、回転（ピッチ角、ロール角、ヨー角）、水平移動、上下移動の操作、平面写真に対しては、拡大、縮小、水平移動の操作、２次元図面に対しては、拡大、縮小、水平移動の操作、ＰＤＦに対しては、拡大、縮小、水平移動の操作、３６０度動画に対しては、拡大、縮小、回転（ピッチ角、ロール角、ヨー角）の操作、平面動画に対しては、拡大、縮小の操作がそれぞれ可能なものとする。

【0031】

なお、本実施の形態では、上述したマルチ画面表示が可能なファイルの組み合わせのうち、平面写真と平面写真、２次元図面と２次元図面、ＰＤＦとＰＤＦについては、２次元上での同種ファイル同士の組み合わせのため、公知の処理によってマルチ表示した複数のファイルの動作を同期させることが可能である。このため、本実施の形態では、３６０度写真と３６０度写真、３Ｄモデルと３Ｄモデル、３６０度動画と３６０度動画、３６０度写真と３Ｄモデル、３６０度写真と３６０度動画、および３Ｄモデルと３６０度動画の組み合わせの場合の動作の同期処理について説明する。なお、これらの３次元で表されるファイルのうち、同一種類のファイルがマルチ表示された場合は、その操作に優先度はないが、異なる種類のファイルについては、以下のように操作に関する優先度が設定されている。３６０度写真と３Ｄモデルの場合は３６０度写真の方が操作に関する優先度が高く、３６０度写真と３６０度動画の場合は３６０度写真の方が操作に関する優先度が高く、３Ｄモデルと３６０度動画の場合は３６０度動画の方が操作に関する優先度が高い。

【0032】

サーバ１００では、制御装置１０２は、ユーザによって選択されたモードが非リンクモードである場合には、マルチ表示画面上に並べて表示したそれぞれのファイルをユーザによる操作に基づいて動作させる。例えば、制御装置１０２は、マウスカーソルが位置している画面に表示されているファイルに対して、拡大や縮小などの操作を受け付け、受け付けた操作内容に応じて表示内容を動作させる。なお、画面に表示されている画像や動画や図面などに対してユーザから拡大や縮小などの操作を受け付け、受け付けた操作内容に応じて表示内容を動作させる方法は公知のためここでの説明は省略する。

【0033】

一方、制御装置１０２は、ユーザによって選択されたモードがリンクモードである場合には、マルチ表示されている画面のうちの一つに対してユーザが操作を行うと、その操作に応じて他の全ての画面内の動作を同期させる。本実施の形態では、複数画面、例えば最大９つの画面を同時に並列表示し、各画面内の表示に対する操作に基づく動作の同期をコントロールする場合を想定する。

【0034】

図５は、３Ｄモデルを表示した画面を２つ並べてマルチ表示した際に、一方の画面内の３Ｄモデルに対するユーザの操作に応じた動作に同期させて、他方の画面内の３Ｄモデルを動作させた状態を模式的に示した図である。この図５に示す例では、例えば、画面５ａ内の３Ｄモデルに対してユーザが拡大、縮小、回転（ピッチ角、ロール角、ヨー角）、水平移動、上下移動などの操作を行うと、これに応じて画面５ａ内で３Ｄモデルを動作させるとともに、マルチ表示されている画面５ｂ内の３Ｄモデルを画面５ａ内の３Ｄモデルの動きに同期させて動作させる例を示している。以下、マルチ画面表示におけるリンクモード時の動作の同期処理について説明する。

【0035】

制御装置１０２は、マルチ表示した複数の画像に対して動作の同期を行うために、画像の位置合わせを行う。本実施の形態では、３６０度写真と３６０度写真などの同種ファイル形式間と３６０度写真と３Ｄモデルなど異種ファイル間で視点の同期を行えるようになっている。具体的には、制御装置１０２は、３６０度写真同士や３６０度動画同士の場合は、ＥＸＩＦファイルとして持っている方向角（南北方向と天頂）を使用して互いに同じ方向角から開始することによって画像の位置合わせを行う。また、制御装置１０２は、３６０度写真や３６０度動画などの３６０度画像と３Ｄモデルであれば、３６０度画像が持つ緯度経度情報（世界座標）に対して３Ｄモデルが有する２点の世界座標情報を基に位置を算出して同一視点とすることで、画像の位置合わせを行う。

【0036】

例えば、制御装置１０２は、３６０度写真や３６０度動画の場合は、図６（Ａ）に示すように、始点座標原点はなし（３６０度をステッチして球体にした際の球体中心点）、画像における開始点の視点ベクトルＲ＝（０，１，０）として、開始点を共通化する。また、制御装置１０２は、３Ｄモデルの場合は、図６（Ｂ）に示すように、始点座標モデル原点Ｏ（０，０，０）、視点ベクトルＲ＝（０，１，０）として、開始点を共通化する。

【0037】

また、制御装置１０２は、平面写真の場合は、最初に画素数を揃え、中心位置のドットを揃えることで位置合わせを行う。また、制御装置１０２は、図面の場合は図面原点を揃えることで位置合わせを行う。

【0038】

例えば、制御装置１０２は、平面写真や２次元図面の場合は、図６（Ｃ）に示すように、始点座標原点Ｏ（０，０，０）、視点ベクトルなしとして、開始点を共通化する。また、制御装置１０２は、平面動画の場合は、図６（Ｄ）に示すように、始点座標原点Ｏ（０，０，０）、視点ベクトルなしとして、開始点を共通化する。

【0039】

上述した位置合わせにより視点位置をリンクすれば、マルチ表示した複数の画像について同期表示が可能となる。このために、制御装置１０２は、上述した位置合わせにより視点位置をリンクした後に画面上での移動角（ピッチ角、ロール角、ヨー角）を各画像に対して同期する。３６０度画像や３Ｄモデルの場合、回転角を同期するため、移動用の球体空間を設置し、その球体空間の移動量を同一とすることで同じ位置同じ角度での画像表示を実現する。なお、平面写真や平面図は、ＸＹ軸方向の移動量を統一することで同一視点とする。

【0040】

３Ｄモデル同士の場合は、上記の回転移動だけでなく、奥行き方向への進行や上下方向への移動を制御する必要がある。このために、制御装置１０２は、３Ｄモデルのスケールが一致していれば、後述するように、制御ボタンのクリック時間当たりの視点移動量を例えば１ｍｍ秒あたり１０ｍｍなどのように定め、複数の画面で同一の座標移動を行い、表示する。

【0041】

図７は、画面１から画面ｎのｎ個の画面をマルチ表示した場合の例を示している。図７に示す例では、上述したリンクモードと非リンクモードのどちらが選択されているかを鍵の形状をした図形７ａまたは７ｂを用いて表している。図７では、図７（Ａ）がリンクモード選択時の画面を表し、この場合は施錠された状態を表した鍵の図形７ａを用いてリンクモードであることを表している。また、図７（Ｂ）が非リンクモード選択時の画面を表し、この場合は解錠された状態を表した鍵の図形７ｂを用いて非リンクモードであることを表している。このため、図７（Ａ）に示すマルチ表示画面では、ユーザによって画面１から画面ｎのいずれかが操作されると、その操作に応じた動作が他の画面に同期される。一方、図７（Ｂ）に示すマルチ表示面では、画面１から画面ｎの動作は同期されずに、ユーザは、それぞれの画面を個別に操作することができる。

【0042】

ここでは、図７（Ａ）に示すリンクモード時の画面で、例えばユーザが画面１を操作した場合の動作の同期処理について説明する。本実施の形態では、ユーザは、情報端末２００の操作部材２０１を操作して画面１を操作できるものとする。ユーザによる操作部材２０１の操作に応じて画面の動作は例えば以下のように設定されているものとする。

【0043】

マウスのホイールを回転させるとその回転方向に応じて画面内の表示が拡大または縮小する。このとき、マウスのホイールの回転量によって画面内の拡大率または縮小率が変化する。マウスを左右方向に移動させるとその移動方向に応じて画面内の表示が左右方向に視点移動する。このとき、マウスの左右方向への移動量に応じて画面内の左右方向の視点移動量が変化する。マウスを上下方向に移動させるとその移動方向に応じて画面内の表示が上下方向に視点移動する。このとき、マウスの上下方向への移動量に応じて画面内の上下方向の視点移動量が変化する。

【0044】

また、表示用ファイルが３Ｄモデルの場合には、ユーザは以下のようにキーボードを操作することによっても画面１を操作することができる。本実施の形態では、キーボードの「Ｗ」「Ａ」「Ｓ」「Ｄ」のキーが制御ボタンに割り当てられている。キーボードの「Ｗ」キーを押すと画面内の表示が前方方向に視点移動する。このとき、「Ｗ」キーのキークリック時間に応じて視点の前方向への移動量が変化する。キーボードの「Ａ」キーを押すと画面内の表示が左方向に視点移動する。このとき、「Ａ」キーのキークリック時間に応じて視点の左方向への移動量が変化する。キーボードの「Ｓ」キーを押すと画面内の表示が後方向に視点移動する。このとき、「Ｓ」キーのキークリック時間に応じて視点の後方向への移動量が変化する。キーボードの「Ｄ」キーを押すと画面内の表示が右方向に視点移動する。このとき、「Ｄ」キーのキークリック時間に応じて視点の右方向への移動量が変化する。

【0045】

情報端末２００では、制御装置２０３は、ユーザによって操作部材２０１が操作されると、その操作内容とともに、移動量を示す情報としてマウスの操作量やキーボードのキークリック時間の情報をサーバ１００へ送信する。

【0046】

サーバ１００では、制御装置１０２は、情報端末２００から上記の操作内容と移動量を示す情報を受信すると、その情報に基づいて画面１の表示内容を動作させる。操作部材２０１の操作量に応じた画面内の表示の移動量はあらかじめ設定されており、この設定情報は単位移動量の設定情報として、あらかじめ記憶媒体２０４に記録されているものとする。本実施の形態では、単位移動量の設定情報は、例えばホイールマウス単位回転量当たりの拡大率及び縮小率、マウス左右単位移動量あたりの左右視点移動量、マウス上下単位移動量あたりの上下視点移動量、「Ｗ」キークリック単位時間あたりの視点前方向移動量、「Ａ」キークリック単位時間あたりの視点左方向移動量、「Ｓ」キークリック単位時間あたりの視点後方向移動量、および「Ｄ」キークリック単位時間あたりの視点右方向移動量があらかじめ設定されているものとする。なお、マウス左右単位移動量あたりの左右視点移動量とマウス上下単位移動量あたりの上下視点移動量視点移動量は、３６０度画像および３Ｄモデルに対しては、ピッチ角、ロール角、ヨー角の移動量が設定されており、デフォルト値は、例えば０．２５４ミリメートルのマウスの移動に対して単位角度α（ｒａｄ）が設定されている。また、「Ｗ」キークリック単位時間あたりの視点前方向移動量、「Ａ」キークリック単位時間あたりの視点左方向移動量、「Ｓ」キークリック単位時間あたりの視点後方向移動量、および「Ｄ」キークリック単位時間あたりの視点右方向移動量は、３Ｄモデルに対して１秒あたりに移動するモデル上（空間上）の移動量が設定されており、デフォルト値は、例えば１秒あたりのモデル上（空間上）移動量はスケールで５ｍと設定されている。

【0047】

制御装置１０２は、画面１の表示内容を動作させるとともに、上述したようにその他の画面の表示内容も画面１の動作に同期させる。すなわち、制御装置１０２は、画面１以外の画面内の動作を、画面１の画面内の動作に同期させる。本実施の形態では、画面１とその他の画面の同期を同時にとりたいことから、位置変化の速度に基づいて画面１の単位ミリ秒あたりの移動量を単位移動量として算出し、算出した単位移動量の値をその他の画面の表示フレームレートに送信することによってその他の画面を動作させる。例えば、画面１の単位ミリ秒あたりの単位移動量は、ホイールマウス回転量：α／ｍｍ秒、マウス左右移動量：β／ｍｍ秒、マウス上下移動量：γ／ｍｍ秒、「Ｗ」キークリック時間：Δ／ｍｍ秒、「Ａ」キークリック時間：ε／ｍｍ秒、「Ｓ」キークリック時間：ζ／ｍｍ秒、「Ｄ」キークリック時間：η／ｍｍ秒のように設定されている場合には、制御装置１０２は、これらの値を画面２から画面ｎの表示フレームレートへ送信して動作させる。なお、３次元空間の座標変換はオイラー角として扱うため足し合わせができない。このため、本実施の形態では、各移動処理を行う場合、回転角の量と同時に順序も併せて送付することで回転移動計算を行って移動の同期を実現している。

【0048】

なお、制御装置１０２は、図７（Ｂ）に示す非リンクモード選択時の画面では、画面１が操作された場合には、画面１の単位移動量の値を画面２から画面ｎの表示フレームレートには送信せずに、画面１のみを動作させる。また、この場合は、ユーザは、画面２から画面ｎのそれぞれを操作部材２０１を操作して個別に動作させることができる。

【0049】

本実施の形態では、ユーザは、３６０度画写真と３６０度動画に対してはコメントを添付することができる。制御装置１０２は、ユーザによって３６０度画写真や３６０度動画に対してコメントが入力された場合には、入力されたコメントを画像内に埋め込むための処理を行う。例えば、制御装置１０２は、３６０度画像とは別に球体のレイヤを設置し、該レイヤにコメントやファイルを添付する。また、制御装置１０２は、コメントが添付されたて３６０度画写真や３６０度動画を表示する際には、添付されているコメントも画像内に表示する。

【0050】

また、本実施の形態では、画像に関しては、画像相違点を自動抽出することができる。制御装置１０２は、表示されている画像に対して複数画像ビット、例えば、縦横２０ビットに分割し、その相違について比較を行い、違いがある場合にはその箇所を識別して表示する色を変更する。図８は、画像相違点を自動抽出する方法を模式的に示した図である。図８に示す例では、図８（Ａ）に示す表示画像８ａと図８（Ｂ）に示す表示画像８ｂにそれぞれ縦横２０ビットの枠８ｃと枠８ｄを設定し、これを表示画像内で移動させながら、各位置での枠内の画像を比較して相違点を自動抽出する。

【0051】

図９は、本実施の形態におけるサーバ１００で実行されるリンクモード時の処理の流れを示すフローチャートである。図９に示す処理は、上述したように、マルチ表示画面に複数の表示ファイルを表示した状態でユーザによってリンクモードが選択されると起動するプログラムとして、制御装置１０２によって実行される。

【0052】

ステップＳ１０において、制御装置１０２は、上述したように、マルチ表示した複数の画面に対して動作の同期を行うために画像の位置合わせを行う。その後、ステップＳ２０へ進む。

【0053】

ステップＳ２０では、制御装置１０２は、マルチ表示中の複数の画面のうち、いずれかの一つの画面に対してユーザが操作を行ったか否かを判断する。ステップＳ２０で否定判断した場合には、後述するステップＳ５０へ進む。これに対して、ステップＳ２０で肯定判断した場合には、ステップＳ３０へ進む。

【0054】

ステップＳ３０では、制御装置１０２は、上述したように、ユーザによる操作内容に応じて、操作された画面内の表示内容を動作させるための処理を行う。その後、ステップＳ４０へ進む。

【0055】

ステップＳ４０では、制御装置１０２は、上述したように、ユーザによって操作された画面以外の画面の表示内容を、ユーザによって操作された画面の動作に同期させるための処理を行う。その後、ステップＳ５０へ進む。

【0056】

ステップＳ５０では、制御装置１０２は、リンクモードが終了したか否かを判断する。制御装置１０２は、例えば情報端末２００上でユーザがリンクモードの終了を指示したとき、ユーザがリンクモードから非リンクモードへの切り替えを指示したとき、ユーザによってマルチ画面表示用のプログラムの終了が指示されたときなどにリンクモードが終了したと判断すればよい。ステップＳ５０で否定判断した場合には、ステップＳ２０へ戻る。これに対して、ステップＳ５０で肯定判断した場合には、処理を終了する。

【0057】

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、３６０度画像または３次元モデルを表示した画面を複数並べて表示し、表示した複数の画面のうち、１つの画面に対する操作を受け付け、受け付けた操作内容に応じて、操作された画面内の３６０度画像または３次元モデルを動作させ、操作された画面内の動作に同期させてその他の画面内の３６０度画像または３次元モデルを動作させるようにした。これによって、ユーザは、並べて表示された３６０度画像や３次元モデルを操作しながら情報を比較することができる。

【0058】

（２）制御装置１０２は、複数の画面のそれぞれに表示されている３６０度画像または３次元モデル同士で、画像の位置合わせ、操作内容に応じた回転角の制御、および操作内容に応じた上下方向及び奥手前方向の移動制御を行うことにより、操作された画面内の動作とその他の画面内の動作を同期させるようにした。これによって、並べて表示した複数の画面内の表示の動作を同一視点で同期させることができる。

【0059】

（３）制御装置１０２は、表示対象とする３６０度画像のファイル、または３次元モデルのファイルの選択を受け付け、選択を受け付けたファイルに並べて表示するファイルの選択を受け付け、選択を受け付けたファイルを記憶媒体から読み出して並べて表示するようにした。これによって、ユーザは、マルチ画面表示させたい画像のファイルを選択することができる。

【0060】

（４）制御装置１０２は、複数の画面内の動作を同期させるリンクモードと同期させない非リンクモードのうち、リンクモードが選択されているときには現在のモードがリンクモードであることを示す図形を表示し、非リンクモードが選択されているときには現在のモードが非リンクモードであることを示す図形を表示するようにした。これによって、ユーザは現在のモードがリンクモードか非リンクモードかを図形によって把握することができる。

【0061】

（５）制御装置１０２は、複数の画面内に表示されている３６０度画像または３次元モデル同士を比較して、表示されている画像の相違点を抽出し、相違箇所の表示色を変更するようにした。これによって、ユーザは、マルチ表示されている画像の相違点を容易に把握することができる。

【0062】

―変形例―
なお、上述した実施の形態のマルチ画面表示システムは、以下のように変形することもできる。
（１）上述した実施の形態では、マルチ画面表示システム１０は、サーバ１００と、情報端末２００とで構成されており、サーバ１００と情報端末２００とは通信回線を介して接続されている例について説明した。しかしながら、マルチ画面表示システム１０の構成は図１に示した例に限定されない。

【0063】

（２）上述した実施の形態では、図７（Ａ）に示すリンクモード時の画面でユーザが画面１を操作した場合に、その他の画面内の動作を画面１内の動作に同期させる例について説明した。しかしながら、図７（Ａ）に示す例では、ユーザが操作する画面は画面１に限定されない。例えば、ユーザが画面ｎを操作した場合には、その他の画面内の動作を画面ｎ内の動作に同期させればよい。

【0064】

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

【符号の説明】

【0065】

１０ マルチ画面表示システム
１００ サーバ
１０１ 通信インターフェース
１０２ 制御装置
１０３ 記憶媒体
２００ 情報端末
２０１ 操作部材
２０２ 通信インターフェース
２０３ 制御装置
２０４ 記憶媒体
２０５ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】