知財求人 - 知財ポータルサイト「IP Force」
特開2023-11217画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023011217
(43)【公開日】2023-01-24
(54)【発明の名称】画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体
(51)【国際特許分類】
G06T 19/00 20110101AFI20230117BHJP
【ＦＩ】
G06T19/00 600
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021114946
(22)【出願日】2021-07-12
(71)【出願人】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(72)【発明者】
【氏名】金澤 浩平
(72)【発明者】
【氏名】木元 雄也
(72)【発明者】
【氏名】水谷 陽平
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050DA04
5B050EA09
5B050EA19
5B050EA27
5B050FA02
(57)【要約】
【課題】 現地撮像画像に重畳される仮想画像の位置をより容易に設定可能な画像処理装置を提供する。
【解決手段】 本発明の画像処理装置１０において、３Ｄモデル生成部１２は、特定エリア内の構成を示す３Ｄモデルを生成し、提示部１４は、前記３Ｄモデル及び仮想画像を管理者に提示し、座標情報管理部１５は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、現地端末情報取得部１６は、前記基準マーカーを基準とした現地端末の位置情報及び前記現地端末の向き情報を取得し、画像情報出力部１７は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する。
【選択図】 図１
【解決手段】 本発明の画像処理装置１０において、３Ｄモデル生成部１２は、特定エリア内の構成を示す３Ｄモデルを生成し、提示部１４は、前記３Ｄモデル及び仮想画像を管理者に提示し、座標情報管理部１５は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、現地端末情報取得部１６は、前記基準マーカーを基準とした現地端末の位置情報及び前記現地端末の向き情報を取得し、画像情報出力部１７は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
画像取得部、３Ｄモデル生成部、仮想画像生成部、提示部、座標情報管理部、現地端末情報取得部、及び画像情報出力部を含み、
前記画像取得部は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成部は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成部は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示部は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理部は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得部は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得部は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力部は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、画像処理装置。
前記画像取得部は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成部は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成部は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示部は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理部は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得部は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得部は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力部は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、画像処理装置。
【請求項2】
前記提示部は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、請求項１記載の画像処理装置。
【請求項3】
さらに、連絡仲介部を含み、
前記連絡仲介部は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、請求項１又は２記載の画像処理装置。
前記連絡仲介部は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、請求項１又は２記載の画像処理装置。
【請求項4】
請求項１から３のいずれか一項に記載の画像処理装置と、現地端末とを含み、
前記画像処理装置と前記現地端末とは、通信回線網を介して通信可能であり、
前記画像処理装置において、
前記画像取得部は、前記特定エリア内を前記現地端末で撮像した現地撮像画像を取得し、
前記画像情報出力部は、前記合成画像を前記現地端末に出力する、画像処理システム装置。
前記画像処理装置と前記現地端末とは、通信回線網を介して通信可能であり、
前記画像処理装置において、
前記画像取得部は、前記特定エリア内を前記現地端末で撮像した現地撮像画像を取得し、
前記画像情報出力部は、前記合成画像を前記現地端末に出力する、画像処理システム装置。
【請求項5】
画像取得工程、３Ｄモデル生成工程、仮想画像生成工程、提示工程、座標情報管理工程、現地端末情報取得工程、及び画像情報出力工程を含み、
前記画像取得工程は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成工程は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成工程は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示工程は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理工程は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得工程は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得工程は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力工程は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、画像処理方法。
前記画像取得工程は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成工程は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成工程は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示工程は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理工程は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得工程は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得工程は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力工程は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、画像処理方法。
【請求項6】
前記提示工程は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、請求項５記載の画像処理方法。
【請求項7】
さらに、連絡仲介工程を含み、
前記連絡仲介工程は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、請求項５又は６記載の画像処理方法。
前記連絡仲介工程は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、請求項５又は６記載の画像処理方法。
【請求項8】
コンピュータに、画像取得手順、３Ｄモデル生成手順、仮想画像生成手順、提示手順、座標情報管理手順、現地端末情報取得手順、及び画像情報出力手順を含む手順を実行させるためのプログラム；
前記画像取得手順は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成手順は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成手順は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示手順は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理手順は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得手順は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得手順は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力手順は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する。
前記画像取得手順は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成手順は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成手順は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示手順は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理手順は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得手順は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得手順は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力手順は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する。
【請求項9】
前記提示手順は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、請求項８記載のプログラム。
【請求項10】
さらに、連絡仲介手順を含み、
前記連絡仲介手順は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、請求項８又は９記載のプログラム。
前記連絡仲介手順は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、請求項８又は９記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
ＡＲ（Augmented Reality：拡張現実感）技術を用いて、撮像画像上に仮想画像を重畳する技術が報告されている（例えば、特許文献１等）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－００６５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、撮像画像に重畳される仮想画像の位置をより容易に設定できる技術が求められている。
【0005】
そこで、本発明は、撮像画像に重畳される仮想画像の位置をより容易に設定可能な画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の画像処理装置は、
画像取得部、３Ｄモデル生成部、仮想画像生成部、提示部、座標情報管理部、現地端末情報取得部、及び画像情報出力部を含み、
前記画像取得部は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成部は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成部は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示部は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理部は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得部は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得部は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力部は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、装置である。
画像取得部、３Ｄモデル生成部、仮想画像生成部、提示部、座標情報管理部、現地端末情報取得部、及び画像情報出力部を含み、
前記画像取得部は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成部は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成部は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示部は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理部は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得部は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得部は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力部は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、装置である。
【0007】
本発明の画像処理方法は、
画像取得工程、３Ｄモデル生成工程、仮想画像生成工程、提示工程、座標情報管理工程、現地端末情報取得工程、及び画像情報出力工程を含み、
前記画像取得工程は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成工程は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成工程は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示工程は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理工程は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得工程は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得工程は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力工程は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、方法である。
画像取得工程、３Ｄモデル生成工程、仮想画像生成工程、提示工程、座標情報管理工程、現地端末情報取得工程、及び画像情報出力工程を含み、
前記画像取得工程は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成工程は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成工程は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示工程は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理工程は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得工程は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得工程は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力工程は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、方法である。
【発明の効果】
【0008】
本発明によれば、撮像画像に重畳される仮想画像の位置をより容易に設定することができる。これにより、管理者は、例えば、前記撮像画像が撮像される特定エリアに赴くことなく、前記仮想画像が表示される位置を設定できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
本発明の画像処理装置において、例えば、
前記提示部は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、という態様であってもよい。
前記提示部は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、という態様であってもよい。
【0011】
本発明の画像処理装置は、例えば、
さらに、連絡仲介部を含み、
前記連絡仲介部は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、という態様であってもよい。
さらに、連絡仲介部を含み、
前記連絡仲介部は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、という態様であってもよい。
【0012】
本発明の画像処理システム装置は、
本発明の画像処理装置と、現地端末とを含み、
前記画像処理装置と前記現地端末とは、通信回線網を介して通信可能であり、
前記画像処理装置において、
前記画像取得部は、前記特定エリア内を前記現地端末で撮像した現地撮像画像を取得し、
前記画像情報出力部は、前記合成画像を前記現地端末に出力する、装置である。
本発明の画像処理装置と、現地端末とを含み、
前記画像処理装置と前記現地端末とは、通信回線網を介して通信可能であり、
前記画像処理装置において、
前記画像取得部は、前記特定エリア内を前記現地端末で撮像した現地撮像画像を取得し、
前記画像情報出力部は、前記合成画像を前記現地端末に出力する、装置である。
【0013】
本発明の画像処理方法において、例えば、
前記提示工程は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、という態様であってもよい。
前記提示工程は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、という態様であってもよい。
【0014】
本発明の画像処理方法は、例えば、
さらに、連絡仲介工程を含み、
前記連絡仲介工程は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、という態様であってもよい。
さらに、連絡仲介工程を含み、
前記連絡仲介工程は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、という態様であってもよい。
【0015】
本発明のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。
【0016】
本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。
【0017】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0018】
［実施形態１］
図１は、本実施形態の画像処理装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、画像取得部１１、３Ｄモデル生成部１２、仮想画像生成部１３、提示部１４、座標情報管理部１５、現地端末情報取得部１６、及び画像情報出力部１７を含む。また、本装置１０は、例えば、任意の構成として、さらに、連絡仲介部１８を含んでもよい。
図１は、本実施形態の画像処理装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、画像取得部１１、３Ｄモデル生成部１２、仮想画像生成部１３、提示部１４、座標情報管理部１５、現地端末情報取得部１６、及び画像情報出力部１７を含む。また、本装置１０は、例えば、任意の構成として、さらに、連絡仲介部１８を含んでもよい。
【0019】
本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0020】
図２に、本装置１０のハードウエア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７、撮像装置１０８、音入出力装置１０９等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
【0021】
中央処理装置１０１は、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、画像取得部１１、３Ｄモデル生成部１２、仮想画像生成部１３、提示部１４、座標情報管理部１５、現地端末情報取得部１６、画像情報出力部１７、及び連絡仲介部１８として機能する。
【0022】
バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンター、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0023】
メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
【0024】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。
【0025】
本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0026】
本装置１０は、例えば、さらに、入力装置１０５、表示装置１０６、撮像装置１０８、及び音入出力装置１０９を含んでもよい。入力装置１０５は、例えば、タッチパネル、キーボード、マウス等である。表示装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等が挙げられる。撮像装置１０８は、例えば、２Ｄカメラ、３Ｄカメラ、赤外線カメラ等が挙げられる。音入出力装置１０９は、例えば、マイク、スピーカー等が挙げられる。
【0027】
つぎに、本実施形態の画像処理方法の一例を、図３のフローチャートに基づき説明する。本実施形態の画像処理方法は、例えば、図１の画像処理装置１０を用いて、次のように実施する。なお、本実施形態の画像処理方法は、図１の画像処理装置１０の使用には限定されない。
【0028】
まず、画像取得部１１により、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得する（Ｓ１）。前記３Ｄカメラとは、縦横の情報だけでなく奥行き（深度）も撮影できるカメラを意味する。前記３Ｄカメラは、例えば、外部の装置である。前記特定エリアは、屋内であれば、特に制限されない。前記屋内としては、例えば、展示会場、イベント会場、デパート、大学等の学校等がある。前記三次元画像情報は、例えば、画像と、前記画像に対応する点群データとを含む。前記画像は、例えば、静止画でもよいし、動画でもよい。また、前記画像は、例えば、複数のパノラマ画像を含み、前記パノラマ画像を繋ぎ合わせることで、全周囲パノラマ画像となり得る。前記取得は、例えば、前記通信回線網を介して実行される。
【0029】
次に、３Ｄモデル生成部１２により、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成する（Ｓ２）。前記３Ｄモデルは、例えば、座標情報を有する。前記座標情報は、例えば、横（ｘ）及び奥行き（ｙ）の値から構成される二次元的な座標情報（ｘ、ｙ）であってもよいし、さらに、高さ（ｚ）の値も含む三次元的な座標情報（ｘ、ｙ、ｚ）であってもよい。前記特定エリア内の構成とは、例えば、前記特定エリア内部の構造のみならず、特定エリアに配置されている物体の位置及び形状等も含む。以下、前記三次元画像情報から前記３Ｄモデルを生成する一例について、具体的に説明するが、これに限定されず、公知の技術を用いることができる。まず、３Ｄモデル生成部１２は、前記点群データに対してポリゴンメッシュによるモデリングを行う。そして、３Ｄモデル生成部１２は、前記点群データに対応する画像を前記ポリゴンメッシュの表面に配置する。
【0030】
次に、仮想画像生成部１３により、前記特定エリアに関する仮想画像を生成する（Ｓ３）。前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像である。前記現地端末については、後述する。仮想画像生成部１３は、例えば、複数の仮想画像を生成してもよい。具体的に、前記仮想画像は、例えば、前記特定エリアの対象物毎の仮想画像を含む。前記対象物は、特に制限されず、任意に設定でき、人工物であってもよいし、自然のものであってもよい。前記人工物としては、例えば、施設、展示ブース、テナント、教室等が挙げられる。前記自然のものとしては、例えば、山、海、岩等が挙げられる。前記対象物毎の仮想画像は、例えば、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられている。前記位置画像は、例えば、前記対象物に関連する画像である。前記仮想画像の生成とは、例えば、予め、メモリ１０２や記憶装置１０４に記憶されている前記仮想画像を読み出すことを意味してもよいし、外部のデータベースから前記通信回線網を介して前記仮想画像を取得することを意味してもよい。また、仮想情報生成部１３は、例えば、前記対象物に関する情報（対象物情報ともいう）を取得し、前記対象物情報に基づき、前記仮想画像を生成してもよい。
【0031】
次に、提示部１４により、前記３Ｄモデル及び前記仮想画像を管理者に提示する（Ｓ４）。前記提示の形式は、特に制限されず、例えば、本装置１０の表示装置１０６上に前記３Ｄモデル及び前記仮想画像を表示することで提示してもよい。また、提示部１４は、例えば、前記通信回線網を介して、前記管理者の端末に前記３Ｄモデル及び前記仮想画像を出力し、前記管理者の端末のディスプレイ上に表示させることで提示してもよい。前記管理者の端末（管理者端末ともいう）は、特に制限されず、例えば、前記特定エリア外にいる管理者の端末であり、パーソナルコンピュータ、スマートフォン、携帯電話、眼鏡型及び腕時計型等のウェアラブル端末等である。一方で、本装置１０が、例えば、前記管理者端末として機能してもよい。提示部１４による提示は、例えば、後述の合成画像を前記現地端末が表示している間、継続して行われていてもよい。
【0032】
次に、座標情報管理部１５により、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理する（Ｓ５）。前記管理者は、例えば、本装置１０の入力装置１０５を用いた操作によって、前記基準マーカーを置く位置、及び前記仮想画像を表示させたい位置として、前記３Ｄモデル内の任意の位置を指定する。また、前記操作は、本装置１０の入力装置１０５を用いた操作に代えて、前記管理者端末を用いた操作であってもよい。前記座標情報は、例えば、前述の記載を援用できる。前記管理者から指定された前記３Ｄモデル内の位置は、例えば、横及び奥行きのみが指定された位置であってもよいし、さらに高さが指定された位置であってもよい。前記基準マーカーとは、例えば、後述の現地端末の軌跡を記録するトリガーとなるマーカーである。前記基準マーカーとしては、例えば、ＱＲコード（登録商標）、ＡＲマーカー、バーコード、カメレオンコード（登録商標）等がある。座標情報管理部１５による前記各座標情報、特に、前記仮想画像の座標情報の設定は、例えば、後述の合成画像を前記現地端末が表示している間、繰り返し実行されてもよい。
【0033】
次に、画像取得部１１により、前記特定エリア内を現地端末で撮像した現地撮像画像を取得する（Ｓ６）。前記現地端末は、特に制限されず、例えば、前記特定エリア内にいるユーザの端末であり、パーソナルコンピュータ、スマートフォン、携帯電話、眼鏡型及び腕時計型等のウェアラブル端末等である。前記現地撮像画像は、例えば、静止画でもよいし、動画でもよい。前記取得は、例えば、前記通信回線網を介して実行される。具体的に、前記現地撮像画像は、例えば、前記現地端末の２Ｄカメラ（ＲＧＢカメラ）によって撮像された２次元画像である。画像取得部１１による前記現地撮像画像の取得は、例えば、他の工程と並行して且つ継続して行われてもよい。
【0034】
次に、現地端末情報取得部１６により、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得する（Ｓ７）。以下、前記位置情報及び前記向き情報をまとめて現地端末情報ともいう。前記現地端末の位置情報及び向き情報は、例えば、前記特定エリア内に配置された前記基準マーカー、前記現地端末の各種センサ（加速度センサや地磁気センサ等）等に基づき記録された前記現地端末の位置及び向きを示す情報である。現地端末情報取得部１６は、例えば、前記現地撮像画像と紐づけて、前記現地端末の位置情報及び向き情報を取得してもよい。前記向き情報とは、例えば、前記現地端末の撮像部による撮像方向ともいえる。
【0035】
そして、画像情報出力部１７により、前記撮像画像に前記仮想画像を重畳した合成画像を出力し（Ｓ８）、終了する（ＥＮＤ）。具体的に、まず、画像情報出力部１７は、前記現地端末の位置情報及び向き情報に基づき、前記基準マーカー及び前記仮想画像の各座標情報が設定された前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定する。そして、画像情報出力部１７は、前記位置が存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する。前記出力は、例えば、前記通信回線網を介して、実行されてもよい。前記特定エリアが屋内であれば、ＧＰＳ（Global Positioning System）を用いた前記現地端末の位置を特定することができない。しかしながら、本実施形態によれば、前記基準マーカーを設定することで、屋内であっても前記現地端末の位置を特定可能である。画像情報出力部１７による前記合成画像の出力は、例えば、繰り返し実行されてもよい。
【0036】
また、提示部１４は、例えば、前記工程（Ｓ４）において、前記３Ｄモデル及び前記仮想画像を管理者に提示した後、前記管理者から前記３Ｄモデル内の任意の位置を指定された場合に、前記三次元画像情報に含まれる画像内において、前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示してもよい。前記提示の形式は、特に制限されず、例えば、前述と同様である。「三次元画像情報に含まれる画像」とは、前記仮想画像の座標情報と対応する位置が存在する画像であればよく、特に制限されず、例えば、複数あってもよい。提示部１４は、例えば、複数の前記画像を用いて複数の前記プレビュー用合成画像を生成してもよい。前記管理者は、例えば、前記プレビュー用合成画像を参照して、前記基準マーカーを置く位置、及び前記仮想画像を表示させたい位置を再指定及び微調整等してもよい。そして、前記位置の指定が確定した後に、前記工程（Ｓ５）の処理を実行する。これにより、例えば、前記管理者が前記現地端末に表示される前記合成画像の例を確認しながら、前記位置を指定できる。また、複数のプレビュー用合成画像を生成することで、多方面からの前記仮想画像の見え方を確認することができる。
【0037】
本装置１０は、例えば、前述のように、さらに、連絡仲介部１８を含んでもよい。連絡仲介部１８は、例えば、前記工程（Ｓ８）の後に、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する（Ｓ９）。なお、前記工程（Ｓ９）は、前記工程（Ｓ８）の後に限定されない。また、前記工程（Ｓ９）は、任意の工程であり、実行されなくともよい。連絡仲介部１８は、例えば、前記管理者端末及び前記現地端末を通信可能にし、前記管理者及び前記ユーザ間での連絡を仲介してもよい。前記連絡の手法は、特に制限されず、例えば、チャット形式等のテキストデータによる連絡、通話等の音声データによる連絡等がある。これにより、前記特定エリア外にいる管理者と前記特定エリア内にいるユーザとがコミュニケーションをとることができる。
【0038】
本実施形態によれば、前記３Ｄモデルを用いることで、前記現地撮像画像に重畳される仮想画像の位置をより容易に設定することができる。言い換えれば、本実施形態によれば、３Ｄモデル上で、ＡＲ技術により表示される仮想画像の位置を設定することができる。これにより、管理者は、例えば、前記現地撮像画像が撮像される特定エリア外（例えば、会社や自宅等）から前記仮想画像が重畳される位置と前記特定エリアの任意の場所とを紐づけて設定できる。また、本実施形態によれば、例えば、前記管理者から前記特定エリア内にいるユーザに対する連絡（例えば、「○○のピン（仮想画像）が表示されている位置まで移動して下さい」、「矢印（仮想画像）に沿って移動して下さい」等）を仲介することで、前記管理者が前記ユーザをリアルタイムでナビゲーションすることも可能である。
【0039】
［実施形態２］
図４は、本実施形態の画像処理システム装置１００の一例の構成を示すブロック図である。図４に示すように、本装置１００は、前記実施形態１記載の画像処理装置１０と、現地端末２０と、を含む。また、本装置１００は、例えば、さらに、管理者端末３０を含んでもよい。現地端末２０及び管理者端末３０は、例えば、１つであってもよいし、２つ以上であってもよい。画像処理装置１０と現地端末２０と管理者端末３０とは、通信回線網４０を介して通信可能である。通信回線網４０は、前述の通信回線網と同様である。
図４は、本実施形態の画像処理システム装置１００の一例の構成を示すブロック図である。図４に示すように、本装置１００は、前記実施形態１記載の画像処理装置１０と、現地端末２０と、を含む。また、本装置１００は、例えば、さらに、管理者端末３０を含んでもよい。現地端末２０及び管理者端末３０は、例えば、１つであってもよいし、２つ以上であってもよい。画像処理装置１０と現地端末２０と管理者端末３０とは、通信回線網４０を介して通信可能である。通信回線網４０は、前述の通信回線網と同様である。
【0040】
画像処理装置１０において、画像取得部１１は、例えば、前述と同様に、現地端末２０が撮像した前記現地撮像画像を取得する。また、画像情報出力部１７は、例えば、前述と同様に、現地端末２０に前記合成画像を出力する。
【0041】
現地端末２０は、前記特定エリア内にいるユーザの端末であり、例えば、パーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。現地端末２０は、例えば、前記実施形態１記載の画像処理装置１０と併用される装置である。
【0042】
管理者端末３０は、前記特定エリア外にいる管理者の端末であり、例えば、パーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。管理者端末３０は、例えば、前記実施形態１記載の画像処理装置１０と併用される装置である。
【0043】
現地端末２０及び管理者端末３０のハードウエア構成を含む構成は、特に制限されない。また、現地端末２０及び管理者端末３０における情報処理方法も、特に制限されない。
【0044】
図５は、本実施形態の現地端末２０の一例の構成を示すブロック図である。図５に示すように、現地端末２０は、例えば、前記特定エリア内に設置されている前記基準マーカー及び現地撮像画像を撮像する撮像部２１、前記基準マーカーを撮像した地点を始点とした基準マーカーの撮像後の軌跡を位置情報として記録し、且つ前記現地撮像画像を撮像した撮像方向を向き情報として記録する記録部２２、前記現地撮像画像、前記位置情報及び前記向き情報を画像処理装置１０に出力する出力部２３、及び画像処理装置１０から出力された前記合成画像を取得してディスプレイ上に表示する表示処理部２４を含む。また、現地端末２０は、例えば、前記管理者（管理者端末３０）と連絡可能であってもよい。
【0045】
現地端末２０のハードウエア構成は、例えば、中央処理装置１０１が、記録部２２、出力部２３、及び表示処理部２４として機能し、撮像装置１０８が、撮像部２１として機能する点以外は、図２に示す画像処理装置１０のハードウエア構成と同様である。
【0046】
つぎに、現地端末２０における情報処理方法の一例を、図６のフローチャートに基づき説明する。現地端末２０における情報処理方法（第１の情報処理方法ともいう）は、例えば、図５の現地端末２０を用いて、次のように実施する。なお、前記第１の情報処理方法は、図５の現地端末２０の使用には限定されない。
【0047】
まず、撮像部２１により、前記特定エリア内に設置されている前記基準マーカー及び現地撮像画像を撮像する（Ｓ２１）。次に、記録部２２により、前記基準マーカーを撮像した地点を始点とした前記撮像後の軌跡を位置情報として記録し、且つ前記現地撮像画像を撮像した撮像方向を向き情報として記録する（Ｓ２２）。次に、出力部２３により、前記現地撮像画像、前記位置情報及び前記向き情報を画像処理装置１０に出力する（Ｓ２３）。そして、表示処理部２４により、画像処理装置１０から出力された前記合成画像を取得してディスプレイ（表示装置１０６）上に表示し（Ｓ２４）、終了する（ＥＮＤ）。また、現地端末２０は、例えば、前記工程（Ｓ２４）の後に、画像処理装置１０を介して、前記管理者と連絡をとってもよい。なお、前記連絡をする工程は、前記工程（Ｓ２４）の後に限定されない。また、前記連絡をする工程は、任意の工程であり、実行されなくともよい。前記第１の情報処理方法における各工程は、例えば、繰り返し実行されてもよい。
【0048】
図７は、本実施形態の管理者端末３０の一例の構成を示すブロック図である。図７に示すように、管理者端末３０は、例えば、画像処理装置１０から提示された前記３Ｄモデル及び前記仮想画像を表示する表示処理部３１、管理者の操作（例えば、入力装置１０５を用いた操作）に基づいて前記３Ｄモデルに対して前記基準マーカー及び前記仮想画像の位置を指定する指定部３２、前記指定した位置を画像処理装置１０に出力する出力部３３を含む。また、表示処理部３１は、例えば、画像処理装置１０から提示された前記プレビュー用合成画像を表示してもよい。また、管理者端末３０は、例えば、前記ユーザ（現地端末２０）と連絡可能であってもよい。
【0049】
管理者端末３０のハードウエア構成は、例えば、中央処理装置１０１が、表示処理部３１、指定部３２、及び出力部３３として機能する点以外は、図２に示す画像処理装置１０のハードウエア構成と同様である。
【0050】
つぎに、管理者端末３０における情報処理方法の一例を、図８のフローチャートに基づき説明する。管理者端末３０における情報処理方法（第２の情報処理方法ともいう）は、例えば、図７の管理者端末３０を用いて、次のように実施する。なお、前記第２の情報処理方法は、図７の管理者端末３０の使用には限定されない。
【0051】
まず、表示処理部３１により、画像処理装置１０から提示された前記３Ｄモデル及び前記仮想画像を表示する（Ｓ３１）。次に、指定部３２により、管理者の操作（例えば、入力装置１０５を用いた操作）に基づいて前記３Ｄモデルに対して前記基準マーカー及び前記仮想画像の位置を指定する（Ｓ３２）。そして、出力部３３により、前記指定した位置を画像処理装置１０に出力し（Ｓ３３）終了する（ＥＮＤ）。また、前記工程（Ｓ３２）の後且つ前記工程（Ｓ３３）の前に、例えば、表示処理部３１により、例えば、画像処理装置１０から提示された前記プレビュー用合成画像を表示してもよい。そして、指定部３２は、例えば、前記プレビュー用合成画像の表示後、再度、前記基準マーカー及び前記仮想画像の位置を指定してもよい。また、管理者端末３０は、例えば、前記工程（Ｓ３３）の後に、画像処理装置１０を介して、前記ユーザと連絡をとってもよい。なお、前記連絡をする工程は、前記工程（Ｓ３３）の後に限定されない。また、前記連絡をする工程は、任意の工程であり、実行されなくともよい。前記第２の情報処理方法における各工程は、例えば、繰り返し実行されてもよい。
【0052】
【0053】
本実施形態によれば、前記実施形態１と同様に、前記現地撮像画像に重畳される仮想画像の位置をより容易に設定することができる。
【0054】
［実施形態３］
前記撮像画像に前記仮想画像を重畳する一例を説明する。
前記撮像画像に前記仮想画像を重畳する一例を説明する。
【0055】
図９（Ａ）は、前記仮想画像の各座標情報が設定された特定エリアの３Ｄモデルの一例を示し、図９（Ｂ）は、前記３Ｄモデルにおける各仮想画像の位置関係の一例である。図９に示すように、画像情報出力部１７は、例えば、現地端末２０の位置情報及び向き情報に基づき、現地端末２０の撮像方向Ｘを特定する、図９の例では、撮像方向Ｘに仮想画像Ａ～Ｃの座標情報が存在する。
【0056】
図１０は、画像処理装置１０から現地端末２０に出力された合成画像が、現地端末２０のディスプレイ上に表示されている一例を示す。図１０に示すように、画像情報出力部１７は、例えば、撮像方向Ｘに存在する対象物Ａ～Ｃと対応する前記現地撮像画像内の位置に仮想画像Ａ～Ｃ（例えば、前記位置画像。以下、ピンともいう）を重畳した合成画像を生成する。ピンＡ～Ｃは、例えば、現地端末２０の位置情報とピンＡ～Ｃの座標情報との距離に基づき、現地端末２０と離れているピンを他のピンよりも小さくして重畳されていてもよい。一方で、ピンＡ～Ｃは、例えば、現地端末２０の位置情報とピンＡ～Ｃの座標情報との距離に基づき、現地端末２０と近いピンを他のピンよりも大きくして重畳されていてもよい。また、ピンは、例えば、現地端末２０の位置情報とピンＡ～Ｃの座標情報との距離に応じて、ピンの外縁を色付けてもよい。
【0057】
さらに、図１０に示すように、前記詳細情報画像は、具体的に、ウインドウ部（Ｗｉｎｄｏｗ）１に表示される。図中において、ウインドウ部１は、前記現地撮像画像の下部に表示されているが、例示であって、これに限定されない。例えば、本発明を展示会に適用する場合、展示されている商品及びサービスや、そのブースの会社等の詳細な情報に基づき生成された詳細情報画像がウインドウ部１に表示される。
【0058】
［実施形態４］
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。
【0059】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0060】
＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、３Ｄモデル生成部、仮想画像生成部、提示部、座標情報管理部、現地端末情報取得部、及び画像情報出力部を含み、
前記画像取得部は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成部は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成部は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示部は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理部は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得部は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得部は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力部は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、画像処理装置。
（付記２）
前記提示部は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、付記１記載の画像処理装置。
（付記３）
さらに、連絡仲介部を含み、
前記連絡仲介部は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、付記１又は２記載の画像処理装置。
（付記４）
付記１から３のいずれかに記載の画像処理装置と、現地端末とを含み、
前記画像処理装置と前記現地端末とは、通信回線網を介して通信可能であり、
前記画像処理装置において、
前記画像取得部は、前記特定エリア内を前記現地端末で撮像した現地撮像画像を取得し、
前記画像情報出力部は、前記合成画像を前記現地端末に出力する、画像処理システム装置。
（付記５）
画像取得工程、３Ｄモデル生成工程、仮想画像生成工程、提示工程、座標情報管理工程、現地端末情報取得工程、及び画像情報出力工程を含み、
前記画像取得工程は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成工程は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成工程は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示工程は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理工程は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得工程は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得工程は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力工程は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、画像処理方法。
（付記６）
前記提示工程は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、付記５記載の画像処理方法。
（付記７）
さらに、連絡仲介工程を含み、
前記連絡仲介工程は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、付記５又は６記載の画像処理方法。
（付記８）
コンピュータに、画像取得手順、３Ｄモデル生成手順、仮想画像生成手順、提示手順、座標情報管理手順、現地端末情報取得手順、及び画像情報出力手順を含む手順を実行させるためのプログラム；
前記画像取得手順は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成手順は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成手順は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示手順は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理手順は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得手順は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得手順は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力手順は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する。
（付記９）
前記提示手順は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、付記８記載のプログラム。
（付記１０）
さらに、連絡仲介手順を含み、
前記連絡仲介手順は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、付記８又は９記載のプログラム。
（付記１１）
付記８から１０のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、３Ｄモデル生成部、仮想画像生成部、提示部、座標情報管理部、現地端末情報取得部、及び画像情報出力部を含み、
前記画像取得部は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成部は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成部は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示部は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理部は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得部は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得部は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力部は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、画像処理装置。
（付記２）
前記提示部は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、付記１記載の画像処理装置。
（付記３）
さらに、連絡仲介部を含み、
前記連絡仲介部は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、付記１又は２記載の画像処理装置。
（付記４）
付記１から３のいずれかに記載の画像処理装置と、現地端末とを含み、
前記画像処理装置と前記現地端末とは、通信回線網を介して通信可能であり、
前記画像処理装置において、
前記画像取得部は、前記特定エリア内を前記現地端末で撮像した現地撮像画像を取得し、
前記画像情報出力部は、前記合成画像を前記現地端末に出力する、画像処理システム装置。
（付記５）
画像取得工程、３Ｄモデル生成工程、仮想画像生成工程、提示工程、座標情報管理工程、現地端末情報取得工程、及び画像情報出力工程を含み、
前記画像取得工程は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成工程は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成工程は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示工程は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理工程は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得工程は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得工程は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力工程は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する、画像処理方法。
（付記６）
前記提示工程は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、付記５記載の画像処理方法。
（付記７）
さらに、連絡仲介工程を含み、
前記連絡仲介工程は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、付記５又は６記載の画像処理方法。
（付記８）
コンピュータに、画像取得手順、３Ｄモデル生成手順、仮想画像生成手順、提示手順、座標情報管理手順、現地端末情報取得手順、及び画像情報出力手順を含む手順を実行させるためのプログラム；
前記画像取得手順は、特定エリアを３Ｄカメラで撮像した三次元画像情報を取得し、
前記３Ｄモデル生成手順は、前記三次元画像情報に基づき、前記特定エリア内の構成を示す３Ｄモデルを生成し、
前記仮想画像生成手順は、前記特定エリアに関する仮想画像を生成し、
前記仮想画像は、前記特定エリア内の現地端末が撮像した現地撮像画像に重畳される画像であり、
前記提示手順は、前記３Ｄモデル及び前記仮想画像を管理者に提示し、
前記座標情報管理手順は、前記管理者から指定された前記３Ｄモデル内の位置に基づき、基準マーカー及び前記仮想画像の各座標情報を設定し、且つ前記仮想画像と前記仮想画像の座標情報とを紐づけて管理し、
前記画像取得手順は、さらに、前記特定エリア内を現地端末で撮像した現地撮像画像を取得し、
前記現地端末情報取得手順は、前記基準マーカーを基準とした前記現地端末の位置情報及び前記現地端末の向き情報を取得し、
前記画像情報出力手順は、前記現地端末の位置情報及び向き情報に基づき、前記３Ｄモデルを参照して、前記現地撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定し、存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記現地端末に出力する。
（付記９）
前記提示手順は、前記三次元画像情報に含まれる画像内の前記仮想画像の座標情報と対応する位置に前記仮想画像を重畳したプレビュー用合成画像を前記管理者に提示する、付記８記載のプログラム。
（付記１０）
さらに、連絡仲介手順を含み、
前記連絡仲介手順は、前記管理者及び前記現地端末を有するユーザ間での連絡を仲介する、付記８又は９記載のプログラム。
（付記１１）
付記８から１０のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0061】
本発明によれば、前記現地撮像画像に重畳される仮想画像の位置をより容易に設定可能である。このため、本発明は、例えば、展示会やゲーム等のＡＲ技術を用いる分野において特に有用である。
【符号の説明】
【0062】
１０ 画像処理装置
１１ 画像取得部
１２ ３Ｄモデル生成部
１３ 仮想画像生成部
１４ 提示部
１５ 座標情報管理部
１６ 現地端末情報取得部
１７ 画像情報出力部
１８ 連絡仲介部
２０ 現地端末
２１ 撮像部
２２ 記録部
２３ 出力部
２４ 表示処理部
３０ 管理者端末
３１ 表示処理部
３２ 指定部
３３ 出力部
１００ 画像処理システム装置
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
１０９ 音入出力装置
１１ 画像取得部
１２ ３Ｄモデル生成部
１３ 仮想画像生成部
１４ 提示部
１５ 座標情報管理部
１６ 現地端末情報取得部
１７ 画像情報出力部
１８ 連絡仲介部
２０ 現地端末
２１ 撮像部
２２ 記録部
２３ 出力部
２４ 表示処理部
３０ 管理者端末
３１ 表示処理部
３２ 指定部
３３ 出力部
１００ 画像処理システム装置
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
１０９ 音入出力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】