特開 2024-108191 情報処理装置、情報処理方法、プログラムおよび情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024108191

(43)【公開日】2024-08-13

(54)【発明の名称】情報処理装置、情報処理方法、プログラムおよび情報処理システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240805BHJP

   G06T 1/20 20060101ALI20240805BHJP

【ＦＩ】

H04N23/60 300

H04N23/60 500

G06T1/20 Z

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023012415

(22)【出願日】2023-01-31

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵ―ＲＡＹ ＤＩＳＣ

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小田巻 誠

(72)【発明者】

【氏名】鳥越 慎

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD11

5B057CD20

5B057CH18

5B057CH20

5C122DA11

5C122DA22

5C122EA55

5C122FH01

5C122FH04

5C122FH11

5C122FH13

5C122FH14

5C122FH20

5C122FH23

5C122GC14

5C122GC38

5C122GC52

5C122HA61

5C122HA71

5C122HA88

5C122HB01

5C122HB09

5C122HB10

(57)【要約】      （修正有）

【課題】画像の送信元装置と送信先装置で画像処理を適切に実行する情報処理装置、情報処理方法、プログラムおよび情報処理システムを提供する。
【解決手段】サーバと通信端末が、通信ネットワークを介して相互に通信し、さらに、サーバ５０と外部サーバ７０が、通信ネットワークを介して通信する画像処理システム１において、サーバ５０は、送信元装置の一例である撮影装置１０または通信端末９０から送信された、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理が実行された処理画像を受信する受信手段の一例である送受信部５１と、処理画像に対して、画像処理設定情報に基づく第２の画像処理を、実行する画像処理部５７と、を備える。
【選択図】図１３

【特許請求の範囲】

【請求項1】

送信元装置から送信された、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理が実行された処理画像を受信する受信手段と、
前記処理画像に対して、前記画像処理設定情報に基づく第２の画像処理を、実行する画像処理手段と、
を備えた情報処理装置。

【請求項2】

前記画像処理設定情報は、前記送信元装置で実行される前記第１の画像処理と前記情報処理装置で実行される前記第２の画像処理が設定された情報である請求項１記載の情報処理装置。

【請求項3】

前記第１の画像処理および前記第２の画像処理を対応付けて前記画像処理設定情報として設定する設定手段を備えた請求項１記載の情報処理装置。

【請求項4】

前記送信元装置に対して、前記第１の画像処理を示す第１の処理情報を送信する送信手段を備えた請求項３記載の情報処理装置。

【請求項5】

前記受信手段は、さらに、前記送信元装置または外部装置から、前記第２の画像処理を示す第２の処理情報を受信する請求項１記載の情報処理装置。

【請求項6】

前記送信元装置は、前記被写体を撮影する撮影装置である請求項１～５の何れか記載の情報処理装置。

【請求項7】

被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理を実行する画像処理手段と、
送信先装置に対して、前記第１の画像処理が実行された処理画像を送信する送信手段と、を備え、
前記第１の画像処理は、前記処理画像に対して前記送信先装置側で実行する前記画像処理設定情報に基づく第２の画像処理に対応づけられている情報処理装置。

【請求項8】

前記画像処理設定情報は、前記情報処理装置で実行される前記第１の画像処理と前記送信先装置で実行される前記第２の画像処理が設定された情報である請求項７記載の情報処理装置。

【請求項9】

前記第１の画像処理および前記第２の画像処理を対応付けて前記画像処理設定情報として設定する設定手段を備えた請求項７記載の情報処理装置。

【請求項10】

前記送信手段は、さらに、前記送信先装置に対して、前記第２の画像処理を示す第２の処理情報を送信する請求項９記載の情報処理装置。

【請求項11】

前記送信先装置または外部装置から、前記第１の画像処理を示す第１の処理情報を受信する受信手段を備える請求項７記載の情報処理装置。

【請求項12】

前記被写体を撮影する撮影装置である請求項７～１１の何れか記載の情報処理装置。

【請求項13】

情報処理装置により実行される情報処理方法であって、
送信元装置から送信された、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理が実行された処理画像を受信する受信ステップと、
前記画像処理設定情報に基づく第２の画像処理を、前記処理画像に対して実行する画像処理ステップと、
を実行する情報処理方法。

【請求項14】

情報処理装置により実行される情報処理方法であって、
被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理を実行する画像処理ステップと、
送信先装置に対して、前記第１の画像処理が実行された処理画像を送信する送信ステップと、を実行し、
前記第１の画像処理は、前記処理画像に対して前記送信先装置側で実行する前記画像処理設定情報に基づく第２の画像処理に対応づけられている情報処理方法。

【請求項15】

請求項１３または１４記載の情報処理方法をコンピュータに実行させるプログラム。

【請求項16】

送信元装置と、前記送信元装置と通信可能な送信先装置と、を備えた情報処理システムであって、
前記送信元装置は、
被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理を実行する画像処理手段と、
前記送信先装置に対して、前記第１の画像処理が実行された処理画像を送信する送信手段と、を備え、
前記送信先装置は、
前記送信元装置から送信された、前記処理画像を受信する受信手段と、
前記処理画像に対して、前記画像処理設定情報に基づく第２の画像処理を実行する画像処理手段と、
を備えた情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示内容は、情報処理装置、情報処理方法、プログラムおよび情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、複数の入力画像間のつなぎ位置を検出するための画像処理装置であって、第１の入力画像から、それぞれ第２の入力画像内で探索する対象となる複数の対象画像を生成する対象画像生成手段と、前記複数の対象画像各々に対し、特徴量を算出する特徴量算出手段と、前記複数の対象画像の注目する注目対象画像に対し、該注目対象画像よりも特徴量が大きな周辺の他の対象画像のつなぎ位置に基づいて前記注目対象画像の前記第２の入力画像へのつなぎ位置を検出するつなぎ位置検出手段とを含む、画像処理装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５８４６１７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、画像の送信元装置と送信先装置で画像処理を適切に実行することを課題とする。

【課題を解決するための手段】

【0005】

本発明の請求項１に係る情報処理装置は、送信元装置から送信された、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理が実行された処理画像を受信する受信手段と、処理画像に対して、画像処理設定情報に基づく第２の画像処理を、実行する画像処理手段と、を備える。

【発明の効果】

【0006】

本発明によれば、画像の送信元装置と送信先装置で画像処理を適切に実行することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る画像処理システムの全体構成の一例を示す図である。

【図2】撮影装置によって撮影された全天球画像の一例を示す図である。

【図3】（Ａ）は撮影装置で撮影された半球画像（前）、（Ｂ）は撮影装置で撮影された半球画像（後）、（Ｃ）は正距円筒図法により表された画像を示した図である。

【図4】（Ａ）正距円筒射影画像で球を被う状態を示した概念図、（Ｂ）全天球画像を示した図である。

【図5】全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。

【図6】所定領域情報と所定領域Ｔの画像との関係を示した図である。

【図7】撮影装置による撮影時の状態の一例を示す図である。

【図8】全天球画像の一例を説明するための図である。

【図9】全天球画像から変換された平面画像の一例を説明するための図である。

【図10】（Ａ）（Ｂ）画像処理システムに適用可能な撮影装置の一例について説明するための概略図である。

【図11】本実施形態に係る撮影装置のハードウエア構成の一例を示す図である。

【図12】本実施形態に係るサーバおよび通信端末のハードウエア構成の一例を示す図である。

【図13】本実施形態に係る画像処理システムの機能構成の一例を示す図である。

【図14】本実施形態に係るＴｗｉｎ管理テーブルの一例を示す概念図である。

【図15】本実施形態に係るＴｗｉｎ登録処理の一例を示すシーケンス図である。

【図16】本実施形態に係るＴｗｉｎ登録処理の一例を示すフローチャートである。

【図17】本実施形態に係る設定情報管理テーブルの一例を示す概念図である。

【図18】本実施形態に係る処理の一例を示すシーケンス図である。

【図19】本実施形態に係る画像処理の一例を示すフローチャートである。

【図20】位置検出処理の際における２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。

【図21】画像合成処理の際における２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。

【図22】本実施形態の第１の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【図23】本実施形態第１の変形例に係る処理の一例を示すシーケンス図である。

【図24】本実施形態の第２の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【図25】本実施形態第２の変形例に係る処理の一例を示すシーケンス図である。

【図26】本実施形態の第３の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【図27】本実施形態第３の変形例に係る処理の一例を示すシーケンス図である。

【図28】本実施形態の第４の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【図29】本実施形態の第５の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【図30】本実施形態第５の変形例に係る処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

【0009】

●実施形態●
●画像処理システムの概略
図１は、本発明の実施形態に係る画像処理システムの全体構成の一例を示す図である。図１に示されている画像処理システム１は、情報処理システムの一例であり、不動産、建築物件等の構造物の内部の空間や建設、土木等の構造物を閲覧者にオンラインで閲覧させるための撮影画像に対する画像処理を行うシステムである。

【0010】

図１に示されているように、画像処理システム１は、撮影装置１０、サーバ５０および通信端末９０を含み、外部サーバ７０に接続可能である。画像処理システム１を構成するサーバ５０および通信端末９０は、通信ネットワーク１００を介して相互に通信することができる。サーバ５０は、通信ネットワーク１００を介して外部サーバ７０と通信することができる。撮影装置１０は、Ｗｉ－Ｆｉ等の近距離無線通信により通信端末９０と通信可能であるが、通信ネットワーク１００を介してサーバ５０および通信端末９０と通信してもよい。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等によって構築されている。なお、通信ネットワーク１００には、有線通信だけでなく、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）またはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークが含まれてもよい。

【0011】

サーバ５０は、情報処理装置、送信先装置の一例であり、所定の拠点である不動産、建築物件等の構造物の内部の空間や建設、土木等の構造物が撮影された撮影画像に対する画像処理を行うサーバコンピュータである。サーバ５０は、例えば、撮影装置１０が撮影した撮影画像を取得し、取得した撮影画像を用いて、ユーザにバーチャルツアーを提供するためのツアー画像を生成する。ここで、バーチャルツアーとは、不動産物件等を実際に現場で閲覧しているかのようにユーザに閲覧させるコンテンツである。また、ツアー画像は、撮影装置１０によって撮影された複数の撮影画像を用いて生成され、撮影画像に写る拠点内をユーザ操作によって仮想的に移動することが可能な閲覧用の画像である。このようなバーチャルツアーは、不動産物件や建築現場の構造物の内部空間に限られず、例えば観光地やテーマパークなどのような構造物の外部空間においても好適に実現できる。つまり、構造物の内部空間を、所定のエリア内と捉えることも可能である。構造物の外部空間でバーチャルツアーを実現する場合、後述する不動産、建築物件等の構造物の内部空間を示すマップを、例えば観光地を紹介する観光地マップやテーマパークのエリアマップに置き換えることで、本実施形態を実現可能である。

【0012】

なお、サーバ５０は、一台のサーバコンピュータによって構成されてもよく、複数のサーバコンピュータによって構成されてもよい。また、サーバ５０は、クラウド環境に存在するサーバコンピュータであるものとして説明するが、オンプレミス環境に存在するサーバであってもよい。

【0013】

撮影装置１０は、情報処理装置、送信元装置の一例であり、撮影拠点における不動産物件等の構造物が存在する空間を全方位に撮影して全天球（円周方向、垂直方向ともに３６０°）画像を取得可能な特殊なデジタルカメラ（全天球撮影装置）である。以下、主に不動産物件等の構造物を例にして説明するが、上述したように、建築物件等の構造物の内部の空間や建設、土木等の構造物であってもよい。

【0014】

また、撮影装置１０に替えて、例えば全天球画像を取得可能な機能を有する通信端末９０により全天球画像を取得してもよく、または全天球画像を取得可能なカメラアタッチメントを通信端末９０に接続して通信端末９０とカメラアタッチメントにより全天球画像を取得してもよい。すなわち、送信元装置とは、取得した全天球画像をサーバ５０へ送信する装置であればよい。

【0015】

なお、全天球画像とはいわゆる立体角４πｓｒ［ｓｒ：ステラジアン］の画像を指す。また、本明細書では全天球画像の一部の領域が欠けている画像も便宜上、全天球画像と呼ぶ。例えば、全天球撮影装置の真上方向や真下方向の一部、全天球画像の鉛直上向き方向や鉛直下向き方向の一部、または全天球画像の所定領域の一部、などが欠けている画像である。

【0016】

これは、例えば全天球画像に写っている被写体の真上や真下の部分などは、全天球画像を閲覧する際にあまり注意深く見ない利用シーンが考えられる。そういう場合は、そもそもその部分を撮影しないような撮像素子・光学系の設計をする、画像を表示しない、その部分にロゴ等を表示するなどし、全天球画像そのものを表示しないことも想定される。

【0017】

撮影装置１０は、例えば、不動産物件を管理または販売する不動産業者によって使用される。なお、撮影装置１０は、所定値以上の画角を有する広角画像を取得可能な広角カメラまたはステレオカメラ等であってもよい。広角画像は、一般には広角レンズを用いて撮影された画像（広角画像）であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影された画像である。すなわち、撮影装置１０は、所定値より焦点距離の短いレンズを用いて撮影された画像（全天球画像、広角画像）を取得可能な撮影手段である。広角画像は、一般的に３５ｍｍフィルム換算で３５ｍｍ以下の焦点距離のレンズで、撮影された画像を意味する。また、撮影装置１０は、撮影機能にパノラマ撮影機能を有しても良く、パノラマ画像を撮影するものであっても良い。

【0018】

通信端末９０は、情報処理装置、送信元装置の一例であり、タブレット端末等のコンピュータである。通信端末９０は、例えば、撮影装置１０と同じ不動産業者によって使用される。通信端末９０には、例えば、撮影装置１０に対する撮影指示およびサーバ５０から提供される画像の閲覧を行うための専用のアプリケーションがインストールされている。また、通信端末９０は、例えば、専用のアプリケーションを用いずに、Ｗｅｂブラウザを用いて専用のＷｅｂサイトにアクセスすることにより、撮影指示および画像閲覧を行う構成であってもよい。また、撮影指示および画像閲覧は、異なる通信端末９０によって行われる構成であってもよい。

【0019】

なお、通信端末９０は、タブレット端末に限られず、例えば、ＰＣ、スマートフォン、ウェアラブル端末、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔ ｄｉｓｐｌａｙ）、またはＩＷＢ（Ｉｎｔｅｒａｃｔｉｖｅ Ｗｈｉｔｅ Ｂｏａｒｄ：相互通信が可能な電子式の黒板機能を有する白板）等であってもよい。

【0020】

○撮影装置の概略○
ここで、図２乃至図１１を用いて、画像処理システム１を構成する撮影装置１０の概略について説明する。図２は、撮影装置によって撮影された全天球画像の一例を示す図である。図２に示されている画像は、撮影装置１０によって構造物の内部の空間の一例である不動産物件の部屋が撮影された全天球画像である。全天球画像は、部屋の内部が全方位で撮影することができるため、不動産物件等の閲覧に適している。全天球画像の形態は、様々であるが、後述のＥｑｕｉｒｅｃｔａｎｇｕｌａｒ（正距円筒図法）の投影方式で生成されることが多い。この正距円筒図法によって生成された画像は、画像の外形が矩形となり画像データの保存が効率的かつ容易であることや、赤道付近の歪みが少なく縦方向の直線が歪まないため、比較的自然に見えることが利点である。

【0021】

○全天球画像の生成方法
次に、図３乃至図９を用いて、全天球画像の生成方法について説明する。まず、図３および図４を用いて、撮影装置１０で撮影された画像から全天球画像が生成されるまでの処理の概略を説明する。図３（Ａ）は撮影装置で撮影された半球画像（前側）、図３（Ｂ）は撮影装置で撮影された半球画像（後側）、図３（Ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（Ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（Ｂ）は全天球画像を示した図である。

【0022】

撮影装置１０は、正面側（前側）および背面側（後側）のそれぞれに撮像素子が設けられている。これらの撮像素子（画像センサ）は、半球画像（画角１８０°以上）の撮影が可能なレンズ等の光学部材と併せて用いられる。撮影装置１０は、二つの撮像素子によって、それぞれユーザの周りの被写体が撮像されることで、二つの半球画像を得ることができる。

【0023】

図３（Ａ），（Ｂ）に示されているように、撮影装置１０の撮像素子によって得られた画像は、湾曲した半球画像（前側および後側）となる。そして、撮影装置１０は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図３（Ｃ）に示されているような正距円筒射影画像ＥＣを作成する。

【0024】

そして、撮影装置１０は、ＯｐｅｎＧＬ ＥＳ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ ｆｏｒ Ｅｍｂｅｄｄｅｄ Ｓｙｓｔｅｍｓ）を利用することで、図４（Ａ）に示されているように、球面を覆うように正距円筒射影画像ＥＣを貼り付け、図４（Ｂ）に示されているような全天球画像（全天球パノラマ画像）ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、ＯｐｅｎＧＬ ＥＳは、２Ｄ（２－Ｄｉｍｅｎｓｉｏｎｓ）および３Ｄ（３－Ｄｉｍｅｎｓｉｏｎｓ）のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像ＣＥは、静止画であっても動画であってもよい。さらに、変換手法は、ＯｐｅｎＧＬ ＥＳに限らず、半球画像から正距円筒射影図法に変換可能な手法であればよく、例えば、ＣＰＵによる演算またはＯｐｅｎＣＬによる演算であってもよい。

【0025】

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮影装置１０は、全天球画像ＣＥの一部の所定領域Ｔ（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５および図６を用いて説明する。

【0026】

図５は、全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。図５は、全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図５に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる。

【0027】

そして、所定領域画像Ｑは、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。以下、仮想カメラＩＣの撮影方向（ｅａ，ａａ）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

【0028】

次に、図６を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。図６は、所定領域情報と所定領域Ｔの画像との関係を示した図である。図６に示されているように、「ｅａ」はｅｌｅｖａｔｉｏｎ ａｎｇｌｅ（仰角）、「ａａ」はａｚｉｍｕｔｈ ａｎｇｌｅ（方位角）、「α」は画角（Ａｎｇｌｅ）を示す。すなわち、仮想カメラＩＣの姿勢は、撮影方向（ｅａ，ａａ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰ（ｘ，ｙ）となるように変更される。図６に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰ（ｘ，ｙ）が、所定領域情報のパラメータ（（ｘ，ｙ））となる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは、仮想カメラＩＣから中心点ＣＰ（ｘ，ｙ）までの距離である。Ｌは、所定領域Ｔの任意の頂点と中心点ＣＰ（ｘ，ｙ）との距離である（２Ｌは対角線）。そして、図６では、一般的に以下の（式１）で示される三角関数が成り立つ。

【0029】

【数1】

【0030】

次に、図７を用いて、撮影装置１０による撮影時の様子について説明する。図７は、撮影装置による撮影時の状態の一例を示す図である。不動産物件等の部屋の全体を見渡せるように撮影するためには、撮影装置１０を人間の目に高さに近い位置に設置することが好ましい。そのため、図７に示されているように、撮影装置１０は、一脚または三脚等の支持部材２０で撮影装置１０を固定して撮影を行うことが一般的である。撮影装置１０は、上述のように、全周囲の全ての方向の光線を取得可能な全天球撮影装置であり、撮影装置１０の周囲の単位球上の画像（全天球画像ＣＥ）を取得するともいえる。撮影装置１０は、撮影方向が決まれば、全天球画像の座標が決定する。例えば、図７において、点Ａは、撮影装置１０の中心点Ｃから（ｄ，－ｈ）だけ離れた距離にあり、このとき線分ＡＣと水平方向のなす角度をθとすると、角度θは、以下の（式２）で表すことができる。

【0031】

【数2】

【0032】

そして、点Ａが俯角θにあると仮定すると、点Ａと点Ｂの距離ｄは、撮影装置１０の設置高さｈを用いて、以下の（式３）で表すことができる。

【0033】

【数3】

【0034】

ここで、全天球画像上の位置情報を、全天球画像から変換された平面画像上の座標に変換する処理について概略的に説明する。図８は、全天球画像の一例を説明するための図である。なお、図８（Ａ）は、図３（Ａ）に示されている半球画像を光軸に対して水平方向および垂直方向の入射角が等位となる箇所を線で結んで示す図である。以下、光軸に対して水平方向の入射角を「θ」、光軸に対して垂直方向の入射角を「φ」という。

【0035】

また、図９（Ａ）は、正距円筒図法によって処理された画像の一例を説明する図である。具体的には、図８に示されている画像を予め生成されるＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）等で対応させ、正距円筒図法によって処理し、処理された図８（Ａ）および図８（Ｂ）に示されているそれぞれの画像を合成すると、全天球画像に対応する図９（Ａ）に示されている平面画像が、撮影装置１０によって生成される。図３（Ｃ）に示されている正距円筒射影画像ＥＣは、図９（Ａ）に示されている平面画像の一例である。

【0036】

図９（Ａ）に示されているように、正距円筒図法によって処理された画像では、緯度（θ）と経度（φ）が直交する。図９（Ａ）に示されている例では、画像の中心を（０，０）とし、緯度方向を－９０～＋９０、経度方向を－１８０～＋１８０で表現することで、全天球画像中の任意の位置を示すことができる。例えば、画像左上の座標は、（－１８０，－９０）となる。なお、全天球画像の座標は、図９（Ａ）に示されているような３６０度数を用いた形式で表されてもよいし、ラジアン表示または現実の画像のようなピクセル数の表示で表されてもよい。また、全天球画像の座標は、図９（Ｂ）に示されているような二次元座標（ｘ，ｙ）に変換されて表されてもよい。

【0037】

なお、図９（Ａ）または図９（Ｂ）に示されている平面画像への合成処理は、図８（Ａ）および図８（Ｂ）に示されている半球画像を単に連続して配置する処理に限られない。例えば、全天球画像の水平方向中心がθ＝１８０°でない場合には、合成処理において、撮影装置１０は、まず、図３（Ｃ）に示されている半球画像を前処理し、全天球画像の中心に配置する。次に、撮影装置１０は、生成する画像の左右部分に、図３（Ｂ）に示されている半球画像を前処理した画像を左右部分に配置できる大きさに分割し、半球画像を合成して図３（Ｃ）に示されている正距円筒射影画像ＥＣを生成してもよい。

【0038】

また、図９（Ａ）に示されている平面画像において、図８（Ａ）および図８（Ｂ）に示されている半球画像（全天球画像）の極点（ＰＬ１またはＰＬ２）に対応する箇所は、線分ＣＴ１またはＣＴ２となる。図４（Ａ）および図４（Ｂ）に示されているように、全天球画像（例えば、全天球画像ＣＥ）は、ＯｐｅｎＧＬ ＥＳを利用することで、図９（Ａ）に示されている平面画像（正距円筒射影画像ＥＣ）を球面に貼り付けることにより作成されたものであるからである。

【0039】

○画像処理システムに適用可能な撮影装置の例
図１０は、画像処理システムに適用可能な撮影装置の一例について説明するための概略図である。図１０（Ａ）は、上述のような生成方法によって全天球画像を生成することができる複数の撮像素子を備えた特殊撮影装置を示す。特殊撮影装置は、画角の広い広角レンズや魚眼レンズ等で構成される光学系を使用し、複数の撮像素子の出力を組み合わせて全方位が撮影された画像を取得できる。図１０（Ｂ）は、いわゆる通常のカメラである一般撮影装置を示す。一般撮影装置は、例えば、通常のデジタルカメラまたはカメラを備えたスマートフォン等の携帯端末等である。撮影者は、一般撮影装置を手に持って回転しながら撮影を行う。一般撮影装置は、得られた画像を合成することで全方位の画像を取得できる。特殊撮影装置および一般撮影装置は、いずれも複数の撮影結果を画像処理によってつなぎ合わせる（スティッチング処理）ことによって、最終的な撮影画像を生成する。なお、複数の撮影結果を得るための撮影装置１０の光学中心は、同一であることが好ましい。

【0040】

●ハードウエア構成
続いて、図１１および図１２を用いて、実施形態に係る画像処理システムを構成する各装置または端末のハードウエア構成を説明する。なお、図１１および図１２に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。

【0041】

○撮影装置のハードウエア構成○
まず、図１１を用いて、撮影装置１０のハードウエア構成を説明する。図１１は、撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置１０は、二つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１０と同じ機能を有するようにしてもよい。

【0042】

図１１に示されているように、撮影装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１４、操作部１１５、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１によって構成されている。また、図示しない映像信号を処理するプロセッサであるＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を有する。

【0043】

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する光学系（広角レンズやいわゆる魚眼レンズ）１０２ａ，１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）、および各レンズに対応させて設けられている二つの撮像素子１０３ａ，１０３ｂを備えている。ここでは、一つの光学系と一つの撮像素子の組み合わせを撮影光学系と呼び、二つの撮影光学系が互いに対向するよう配置することで撮影装置１０を構成することが出来る。なお、撮影光学系を二つ以上採用して撮影装置１０を構成することも可能である。撮像素子１０３ａ，１０３ｂは、レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、およびこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。

【0044】

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスを介して接続している。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）を介して接続している。画像処理ユニット１０４、撮像制御ユニット１０５および音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続している。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１等も接続される。

【0045】

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（Ｃ）に示されているような正距円筒射影画像のデータを作成する。

【0046】

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

【0047】

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置１０によっては、ディスプレイ（例えば、近距離通信回路１１７を用いて撮影装置１０と近距離通信を行うスマートフォン等の外部端末のディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／秒）によって連続して行われる。

【0048】

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

【0049】

ＣＰＵ１１１は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３およびＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0050】

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、および表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部１１５を操作することで、種々の撮影モードや撮影条件等を入力する。

【0051】

入出力Ｉ／Ｆ１１６は、ＳＤメモリカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路（ＳＤメモリカードＩ／ＦやＵＳＢＩ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。

【0052】

近距離通信回路１１７は、撮影装置１０に設けられたアンテナ１１７ａを介して、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。

【0053】

電子コンパス１１８は、地球の磁気から撮影装置１０の方位を算出し、方位情報を出力する。この方位情報は、Ｅｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時および画像データのデータ容量の各データも含む。また、ジャイロセンサ１１９は、撮影装置１０の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。さらに、加速度センサ１２０は、三軸方向の加速度を検出するセンサである。撮影装置１０は、加速度センサ１２０が検出した加速度に基づいて、自装置（撮影装置１０）の姿勢（重力方向に対する角度）を算出する。撮影装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。ネットワークＩ／Ｆ１２１は、ルータ等を介して、インターネット等の通信ネットワーク１００を利用したデータ通信を行うためのインターフェースである。

【0054】

○サーバのハードウエア構成○
まず、図１２を用いて、サーバ５０のハードウエア構成を説明する。図１２は、サーバのハードウエア構成の一例を示す図である。サーバ５０の各ハードウエア構成は、５００番台の符号で示されている。サーバ５０は、コンピュータによって構築されており、図１２に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）５０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ５１４、およびメディアＩ／Ｆ５１６を備えている。

【0055】

これらのうち、ＣＰＵ５０１は、サーバ５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。なお、ディスプレイ５０６は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリ等である。ネットワークＩ／Ｆ５０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図１２に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

【0056】

また、キーボード５１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード５１１およびポインティングデバイス５１２のみならず、タッチパネルまたは音声入力装置等であってもよい。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出しまたは書き込みを制御する。なお、着脱可能な記録媒体は、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲまたはＢｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出しまたは書き込み（記憶）を制御する。

【0057】

○通信端末のハードウエア構成○
図１２は、通信端末９０のハードウエア構成の一例も示している。通信端末９０の各ハードウエア構成は、括弧内の９００番台の符号で示されている。通信端末９０は、コンピュータによって構築されており、図１２に示されているように、サーバ５０と同様の構成を備えているため、各ハードウエア構成の説明を省略する。通信端末９０は、サーバ５０と同様の構成に加え、近距離通信回路９１７および近距離通信回路９１７のアンテナ９１７ａを備えている。近距離通信回路９１７は、ＮＦＣ、ＢｌｕｅｔｏｏｔｈまたはＷｉ－Ｆｉ等の通信回路である。

【0058】

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品（Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ）として、国内または国外へ提供されることができる。例えば、サーバ５０は、本発明に係るプログラムが実行されることで本発明に係る画像処理方法を実現する。

【0059】

●機能構成
続いて、図１３を用いて、実施形態に係る画像処理システムの機能構成について説明する。図１３は、画像処理システムの機能構成の一例を示す図である。なお、図１３は、図１に示されている装置または端末のうち、後述の処理または動作に関連しているものを示す。

【0060】

○撮影装置の機能構成○
まず、図１３を用いて、撮影装置１０の機能構成について説明する。撮影装置１０は、送受信部１１、操作受付部１２、撮影制御部１３、動画撮影部１４、静止画撮影部１５、画像処理部１６および記憶・読出部１９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能または手段である。また、撮影装置１０は、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３およびＤＲＡＭ１１４によって構築される記憶部１０００を有している。記憶部１０００は、自装置のＧＵＩＤ（Ｇｌｏｂａｌｌｙ Ｕｎｉｑｕｅ Ｉｄｅｎｔｉｆｉｅｒ）を記憶している。

【0061】

送受信部１１は、送信手段および受信手段の一例であり、主に、ＣＰＵ１１１の処理によって実現され、他の装置または端末と各種データまたは情報の通信を行う。さらに、送受信部１１は、ネットワークＩ／Ｆ１２１を用いて、他の装置または端末との間で、通信ネットワーク１００を介したデータ通信を行う。

【0062】

操作受付部１２は、主に、操作部１１５に対するＣＰＵ１１１の処理によって実現され、撮影者となるユーザから各種の選択または入力を受け付ける。

【0063】

撮影制御部１３は、主に、撮像ユニット１０１、画像処理ユニット１０４および撮像制御ユニット１０５に対するＣＰＵ１１１の処理によって実現され、風景等の被写体を撮像し、撮影画像データを取得する。撮影制御部１３は、例えば、動画撮影部１４による動画撮影と静止画撮影部１５による静止画撮影を時分割に切り替えて撮影を行う。

【0064】

動画撮影部１４は、主に、撮像ユニット１０１、画像処理ユニット１０４および撮像制御ユニット１０５に対するＣＰＵ１１１の処理によって実現され、撮影装置１０による動画撮影を行う。動画撮影部１４は、例えば、所定の拠点である不動産物件等の構造物内や構造物が配置された空間を移動しながら撮影された動画像の撮影を行う。動画撮影部１４は、撮影装置１０を保持する撮影者の移動中に、低解像度の連続フレームでの動画撮影を行い、撮影された画像データを記憶部１０００に記憶させる。動画撮影部１４は、例えば、撮影装置１０を保持した撮影者が所定の拠点である不動産物件内の第１の地点から第２の地点までを移動している際に動画撮影を行う。

【0065】

静止画撮影部１５は、主に、撮像ユニット１０１の処理によって実現され、風景等の被写体を撮像し、撮影装置１０による静止画撮影を行う。静止画撮影部１５は、例えば、所定の拠点である不動産物件等の構造物内や構造物が配置された空間の異なる撮影位置で撮影された複数の静止画像の撮影を行う。静止画撮影部１５は、例えば、動画撮影部１４により撮影される動画像よりも高解像度の静止画（写真）撮影を行い、撮影される画像データを記憶部１０００に記憶させる。静止画撮影部１５によって撮影される静止画像は、１フレームの画像であってもよいし、複数の画像を合成したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像であってもよい。また、動画撮影は、所定の拠点内の移動時に行われ、静止画撮影は、所定の拠点内の静止時に行われる。

【0066】

ここで、動画撮影と静止画撮影は、それぞれの撮影目的に対応して要求される撮影スペックが異なる。動画撮影の場合、位置推定に用いるため高フレームレートの連続画像（連続フレーム）で取得される一方で、撮影画像の高解像度およびカラーレイヤは必須ではなく、低解像度およびグレースケールであっても十分である。また、静止画撮影の場合、連続フレームの取得は不要である一方で、高解像度、カラー情報（ＲＧＢ）、高ダイナミックレンジの撮影が求められる。静止画撮影部１５によって撮影される静止画像は閲覧用画像取得の目的のため、例えば、４Ｋ解像度以上の高解像度であることが好ましい。一方で、動画撮影部１４によって撮影される動画像は、位置推定に用いる画像であり、動画像に写る被写体が識別可能でありさえすればよいため、静止画像よりも解像度の低い画像である。動画像は、例えば、４８０ｐ程度またはそれ以下の解像度であってもよい。撮影装置１０は、低解像度の動画像を撮影することによって、ツアー撮影における全体のデータ量を低減させることができる。

【0067】

画像処理部１６は、主に、ＣＰＵ１１１の処理によって実現され、静止画撮影部１５により撮影された静止画や、動画撮影部１４により撮影された動画に対して、各種画像処理を行う。

【0068】

記憶・読出部１９は、設定手段の一例であり、主に、ＣＰＵ１１１の処理によって実現され、記憶部１０００に、各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。また、記憶部１０００には、動画撮影部１４および静止画撮影部１５によって撮影された画像データが記憶される。記憶部１０００に記憶される画像データには、撮影画像の撮影時刻がメタデータとして関連づけられている。

【0069】

記憶部１０００には、設定情報管理ＤＢ１００１、画像管理ＤＢ１００２およびＴｗｉｎ管理ＤＢ１００３が構築されている。設定情報管理ＤＢ１００１は、後述する設定情報管理テーブルによって構成されており、静止画や動画に対して画像処理部１６が実行する画像処理の設定情報等を記憶して管理する。

【0070】

画像管理ＤＢ１００２は、撮影装置１０で撮影された撮影画像、および撮影画像に対して画像処理部１６により画像処理が実行された処理画像をそれぞれ画像ＩＤと対応付けて記憶して管理する。撮影画像や処理画像は上述した外付けメディアであるＳＤメモリカード等の記憶媒体に記憶されても良い。

【0071】

Ｔｗｉｎ管理ＤＢ１００３は、ユーザＩＤに関連付けて、Ｔｗｉｎを識別するＴｗｉｎＩＤが管理されている。Ｔｗｉｎは、詳細は後述するが、撮影装置１０等の現物デバイスに関するメタデータ、構成、状態などの情報をサーバ５０に保持する機能を示す。

【0072】

○サーバの機能構成○
まず、図１３を用いて、サーバ５０の機能構成について説明する。サーバ５０は、送受信部５１、受付部５２、判断部５５、画像処理部５７および記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたサーバ用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、サーバ５０は、図１２に示されているＲＯＭ５０２、ＲＡＭ５０３およびＨＤ５０４によって構築される記憶部５０００を有している。

【0073】

送受信部５１は、送信手段および受信手段の一例であり、主に、ネットワークＩ／Ｆ５０９に対するＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。送受信部５１は、例えば、撮影装置１０によって撮影された動画像を、撮影装置１０または通信端末９０から受信（取得）する。また、送受信部５１は、例えば、撮影装置１０によって撮影された静止画像を、撮影装置１０または通信端末９０から受信（取得）する。

【0074】

受付部５２は、主に、キーボード５１１またはポインティングデバイス５１２に対するＣＰＵ５０１の処理によって実現され、ユーザから各種の選択または入力を受け付ける。

【0075】

判断部５５は、ＣＰＵ５０１の処理によって実現され、各種判断処理を行う。

【0076】

画像処理部５７は、ＣＰＵ５０１の処理によって実現され、静止画や動画に対して各種画像処理を行う。

【0077】

記憶・読出部５９は、設定手段の一例であり、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００への各種データ（または情報）の記憶、および記憶部５０００から各種データ（または情報）の読出を行う。

【0078】

記憶部５０００には、設定情報管理ＤＢ５００１、画像管理ＤＢ５００２およびＴｗｉｎ管理ＤＢ５００３が構築されている。設定情報管理ＤＢ５００１は、後述する設定情報管理テーブルによって構成されており、静止画や動画に対して画像処理部５７が実行する画像処理の設定情報等を記憶して管理する。

【0079】

画像管理ＤＢ５００２は、撮影装置１０または通信端末９０で画像処理されて撮影装置１０または通信端末９０から受信した処理画像、および受信した処理画像に対して画像処理部５７により画像処理が実行された処理画像をそれぞれ画像ＩＤと対応付けて記憶して管理する。

【0080】

画像処理部５７により画像処理が実行された処理画像は、撮影装置１０または通信端末９０へ送信され、撮影装置１０または通信端末９０側の画像管理ＤＢ１００２または９００２や、ＳＤメモリカード等の記憶媒体に記憶されても良い。

【0081】

Ｔｗｉｎ管理ＤＢ５００３は、ユーザＩＤ、撮影装置１０を識別する機種ＩＤに関連付けて、Ｔｗｉｎを識別するＴｗｉｎＩＤが管理されている。

【0082】

○通信端末の機能構成○
次に、図１３を用いて、通信端末９０の機能構成について説明する。通信端末９０は、送受信部９１、受付部９２、表示制御部９３、画像処理部９４および記憶・読出部９９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＨＤ９０４からＲＡＭ９０３上に展開された通信端末用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能または手段である。また、通信端末９０は、図１３に示されているＲＯＭ９０２、ＲＡＭ９０３およびＨＤ９０４によって構築される記憶部９０００を有している。

【0083】

送受信部９１は、送信手段および受信手段の一例であり、主に、ネットワークＩ／Ｆ９０９に対するＣＰＵ９０１の処理によって実現され、通信ネットワーク１００を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。

【0084】

受付部９２は、設定手段の一例であり、主に、キーボード９１１またはポインティングデバイス９１２に対するＣＰＵ９０１の処理によって実現され、ユーザから各種の選択または入力を受け付ける。

【0085】

表示制御部９３は、主に、ＣＰＵ９０１の処理によって実現され、ディスプレイ９０６に、各種画像または文字等を表示させる。表示制御部９３は、例えば、Ｗｅｂブラウザまたは専用のアプリケーションを用いてサーバ５０にアクセスにして、サーバ５０から配信されるデータに対応する画像を、ディスプレイ９０６に表示させる。

【0086】

画像処理部９４は、主に、ＣＰＵ９０１の処理によって実現され、静止画や動画に対して各種画像処理を行う。

【0087】

記憶・読出部９９は、主に、ＣＰＵ９０１の処理によって実現され、記憶部９０００への各種データ（または情報）の記憶、および記憶部９０００から各種データ（または情報）の読出を行う。

【0088】

記憶部９０００には、設定情報管理ＤＢ９００１および画像管理ＤＢ９００２が構築されている。設定情報管理ＤＢ９００１は、後述する設定情報管理テーブルによって構成されており、静止画や動画に対して画像処理部９４が実行する画像処理の設定情報等を記憶して管理する。

【0089】

画像管理ＤＢ９００２は、撮影装置１０で撮影されて撮影装置１０から受信した撮影画像、および撮影画像に対して画像処理部９４により画像処理が実行された処理画像をそれぞれ画像ＩＤと対応付けて記憶して管理する。撮影画像や処理画像は、外付けメディアであるＳＤメモリカード等の記憶媒体に記憶されても良い。

【0090】

以上説明した画像処理システム１は、Ｔｗｉｎ機能を有する。Ｔｗｉｎ機能とは、撮影装置１０等の現物デバイスに関するメタデータ、構成、状態などの情報をサーバ５０に保持する機能である。これにより、サーバ５０に、デジタル的に撮影装置１０の双子（Ｔｗｉｎ）が生成される。

【0091】

現物デバイス（撮影装置１０）とＴｗｉｎ（サーバ５０）は、通信ネットワーク１００を介して同期されている。同期される情報として、さらに画像（静止画や動画）や撮影に関する情報などもある。

【0092】

Ｔｗｉｎ機能により、サーバ５０と撮影装置１０とが直接やりとり可能となり、撮影装置１０で撮影した画像データがＴｗｉｎ側に直接アップロードされて反映されたり、撮影装置１０側の設定変更がＴｗｉｎ側に反映されたり、Ｔｗｉｎ側の設定変更が撮影装置１０側に反映されたり、する。

【0093】

具体的には、Ｔｗｉｎ側で画像処理を設定することにより、撮影装置１０側の画像処理を設定することができる。

【0094】

図１３において、サーバ５０をＴｗｉｎとして機能させる機能部は、送受信部５１、受付部５２、判断部５５、記憶・読出部５９および記憶部５０００であり、図１２において、サーバ５０をＴｗｉｎとして機能させるハードウエアは、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ネットワークＩ／Ｆ５０９、ＨＤＤコントローラ５０５およびＨＤ５０４である。

【0095】

図１４は、本実施形態に係るＴｗｉｎ管理テーブルの一例を示す概念図である。

【0096】

図１４は、図１３に示したサーバ５０の記憶部５０００に構築されたＴｗｉｎ管理ＤＢ５００３を構成する設定情報管理テーブルを示す。

【0097】

Ｔｗｉｎ管理ＤＢ５００３を構成する設定情報管理テーブルでは、ユーザＩＤ、撮影装置１０を識別する機種ＩＤに関連付けて、Ｔｗｉｎを識別するＴｗｉｎＩＤが管理されている。

【0098】

なお、図１３に示した撮影装置１０の記憶部１０００に構築されたＴｗｉｎ管理ＤＢ１００３を構成する設定情報管理テーブルでも、ユーザＩＤに関連付けて、Ｔｗｉｎを識別するＴｗｉｎＩＤが管理されている。

【0099】

ここで、ユーザＩＤは、複数人のチームで共有されていてもよく、ユーザＩＤをチームのＩＤとして、ユーザＩＤの下層に個人を識別するＩＤを紐づけても良い。

【0100】

図１４では、１つのＴｗｉｎＩＤに対して、１つまたは複数のユーザＩＤ、および１つの撮影装置を割り当てているが、１つのユーザＩＤに対して複数のＴｗｉｎＩＤを割り当ててもよい。

【0101】

図１５は、本実施形態に係るＴｗｉｎ登録処理の一例を示すシーケンス図である。

【0102】

通信端末９０の受付部９２は、ユーザがユーザＩＤとＴｗｉｎＩＤを入力することにより、設定された情報を受け付ける（ステップＳ５０１）。

【0103】

送受信部９１は、ステップＳ５０１で受け付けられたユーザＩＤとＴｗｉｎＩＤをサーバ５０に対して送信し、サーバ５０の送受信部５１は、通信端末９０から送信されたユーザＩＤとＴｗｉｎＩＤを受信する（ステップＳ５０２）。

【0104】

通信端末９０の送受信部９１は、ステップＳ５０１で受け付けられたユーザＩＤとＴｗｉｎＩＤを撮影装置１０に対して送信し、撮影装置１０の送受信部１１は、通信端末９０から送信されたユーザＩＤとＴｗｉｎＩＤを受信する（ステップＳ５０３）。

【0105】

撮影装置１０の送受信部１１は、ステップＳ５０３で受信したＴｗｉｎＩＤと、機種ＩＤをサーバ５０に送信し、サーバ５０の送受信部５１は、撮影装置１０から送信されたＴｗｉｎＩＤおよび機種ＩＤを受信する（ステップＳ５０４）。

【0106】

サーバ５０の判断部５５は、ステップＳ５０２で受信したユーザＩＤおよびステップＳ５０４で受信した機種ＩＤに基づき、Ｔｗｉｎ登録が可能か判断し（ステップＳ５０５）、登録可能な場合、送受信部５１は、ユーザＩＤ、ＴｗｉｎＩＤ、およびＴｗｉｎ登録が可能なことを示す登録可能情報を撮影装置１０に送信し、撮影装置１０の送受信部１１は、サーバ５０から送信されたユーザＩＤ、ＴｗｉｎＩＤ、および登録可能情報を受信する（ステップＳ５０６）。

【0107】

記憶・読出部１９は、ステップＳ５０６で受信した登録可能情報に基づき、ステップＳ５０６で受信したＴｗｉｎＩＤおよびユーザＩＤを対応付けてＴｗｉｎ管理ＤＢ１００３に記憶させて登録する（ステップＳ５０７）。

【0108】

撮影装置１０の送受信部１１は、ユーザＩＤ、ＴｗｉｎＩＤ、機種ＩＤおよびＴｗｉｎＩＤが登録されたことを示す登録完了情報をサーバ５０に送信し、サーバ５０の送受信部５１は、撮影装置１０から送信されたユーザＩＤ、ＴｗｉｎＩＤ、機種ＩＤおよび登録完了情報を受信する（ステップＳ５０８）。

【0109】

記憶・読出部５９は、ステップＳ５０８で受信した登録完了情報に基づき、ステップＳ５０８で受信したＴｗｉｎＩＤ、機種ＩＤおよびユーザＩＤを対応付けてＴｗｉｎ管理ＤＢ５００３に記憶させて登録する（ステップＳ５０９）。

【0110】

図１６は、本実施形態に係るＴｗｉｎ登録処理の一例を示すフローチャートである。図１６は、図１５に示したシーケンス図のステップＳ５０５に対応する処理を示す。

【0111】

サーバ５０には種々のクラウドサービスが実現可能なプログラムが記憶されており、一例として、撮影装置１０が撮影した撮影画像を用いて、ユーザにバーチャルツアーを提供するためのツアー画像を生成する。バーチャルツアーとは、不動産物件等を実際に現場で閲覧しているかのようにユーザに閲覧させるコンテンツである。ツアー画像は、撮影装置１０によって撮影された複数の撮影画像を用いて生成され、撮影画像に写る拠点内をユーザ操作によって仮想的に移動することが可能な閲覧用の画像である。

【0112】

サーバ５０の判断部５５は、ユーザＩＤに基づき、ユーザが利用中の上述したバーチャルツアーのようなサービスが、Ｔｗｉｎ機能を使用可能か判断する（ステップＳ５１１）。

【0113】

ステップＳ５１１でＴｗｉｎ機能を使用可能と判断した場合、判断部５５は、機種ＩＤに基づき、撮影装置１０が、Ｔｗｉｎ機能を使用可能か判断する（ステップＳ５１２）。

【0114】

ステップＳ５１２でＴｗｉｎ機能を使用可能と判断した場合、送受信部５１は、ユーザＩＤ、ＴｗｉｎＩＤ、およびＴｗｉｎ登録が可能なことを示す登録可能情報を撮影装置１０に送信する（ステップＳ５１３）。

【0115】

ステップＳ５１１またはステップＳ５１２でＴｗｉｎ機能を使用不可と判断した場合、送受信部５１は、ユーザＩＤ、ＴｗｉｎＩＤ、およびＴｗｉｎ登録が不可であることを示す登録不可情報を撮影装置１０および通信端末９０に送信する（ステップＳ５１４）。

【0116】

図１７は、本実施形態に係る設定情報管理テーブルの一例を示す概念図である。

【0117】

図１７（ａ）は、図１３に示したサーバ５０の記憶部５０００に構築された設定情報管理ＤＢ５００１を構成する設定情報管理テーブルを示す。

【0118】

設定情報管理ＤＢ５００１を構成する設定情報管理テーブルでは、ユーザＩＤ、撮影装置１０を識別する機種ＩＤ、および画像処理を実行する画像を識別する画像ＩＤに関連付けて、撮影装置側画像処理情報、サーバ側画像処理情報、および画像管理ＤＢ５００２に記憶される画像に対する外部サーバのアクセスの可否を示すアクセス情報が管理されている。

【0119】

撮影装置側画像処理情報は、送信元装置としての撮影装置１０側で実行する第１の画像処理を示す第１の処理情報の一例であり、サーバ側画像処理情報は、送信先装置としてのサーバ５０側で実行する第２の画像処理を示す第２の処理情報の一例である。撮影装置１０が実行する第１の画像処理は、比較的負荷の小さい画像処理とし、サーバ５０が実行する第２の画像処理は比較的負荷の大きい画像処理とすることが可能である。

【0120】

なお、第１の画像処理や第２の画像処理は、後述する撮像素子１０３ａ，１０３ｂのそれぞれによって取得された画像をつないで全天球画像を生成するつなぎ処理のほか、画像の上下を鉛直上向き方向や下向き方向に調整する天頂補正、手ブレなどによって生じる画像のブレを補正する手ブレ補正、画像の解像度を向上させる超解像処理、強い光がレンズなどで反射することで画像の一部や全体が白くなるフレアを補正するフレア補正、顔や人物、物体検知用のマーカなど特定の物体を検出する物体検出処理、画像に発生したノイズを除去や低減するデノイズ処理など、画像に対する処理であれば本実施形態を適用可能である。

【0121】

なお、これ以外にも画像処理は種々の処理が存在するが、本実施形態としては、撮影装置１０でのみ実行する画像処理と、一例として上述した画像処理とが存在してもよい。撮影装置１０でのみ実行する画像処理の一例として、不図示のＩＳＰで処理するシェーディング補正や色補正などがある。撮影装置１０で撮影された画像は、サーバ５０に送信する前に撮影装置１０で画像圧縮が行われる。このため、この画像圧縮の前に処理しておかなければならない画像処理は、撮影装置１０でのみ実行する画像処理に該当する。換言すると、画像圧縮の後でもできる画像処理は第１の画像処理や第２の画像処理として扱うことが可能である。

【0122】

つまり、本実施形態でいう画像処理とは、撮影装置１０でのみ実行する撮影装置側固有画像処理と、撮影装置側やサーバ側で実行する第１の画像処理および第２の画像処理と、の２つに大別される。そして、後述するような撮影装置側とサーバ側とで役割を分担する画像処理は、第１の画像処理および第２の画像処理を対象として説明する。

【0123】

図１７（ｂ）は、図１３に示した撮影装置１０の記憶部１０００に構築された設定情報管理ＤＢ１００１を構成する設定情報管理テーブルを示す。

【0124】

設定情報管理ＤＢ１００１を構成する設定情報管理テーブルでは、ユーザＩＤに関連付けて、撮影条件、および撮影装置側画像処理情報が管理されている。

【0125】

図１８は、本実施形態に係る処理の一例を示すシーケンス図である。

【0126】

通信端末９０の受付部９２は、ユーザがユーザＩＤ、例えばＡ０００２と、撮影条件を設定する情報を入力することにより、設定された情報を受け付ける（ステップＳ１）。

【0127】

送受信部９１は、ユーザＩＤと、ステップＳ１で設定された撮影条件を撮影装置１０に対して送信し、撮影装置１０の送受信部１１は、通信端末９０から送信されたユーザＩＤと撮影条件を受信する（ステップＳ２）。

【0128】

記憶・読出部１９は、ステップＳ２で受信したユーザＩＤと撮影条件を対応付けて設定情報管理ＤＢ１００１に記憶させる（ステップＳ３）。

【0129】

通信端末９０の受付部９２は、ユーザが、ユーザＩＤ、機種ＩＤ、画像ＩＤ、画像処理情報およびアクセス情報を設定する情報を入力することにより、設定された各種情報を受け付ける（ステップＳ４）。ここで、画像処理情報は、図１７（ａ）で説明した撮影装置側画像処理情報およびサーバ側画像処理情報を含む。

【0130】

機種ＩＤは、例えばＤ０２３４５であり、画像ＩＤは、例えば、Ｐ０１０１～であり、撮影装置側画像処理情報は、例えば手振れ補正であり、サーバ側画像処理情報は、例えばつなぎ処理である。

【0131】

送受信部９１は、ユーザＩＤと、ステップＳ４で設定された各種情報をサーバ５０に対して送信し、サーバ５０の送受信部５１は、通信端末９０から送信されたユーザＩＤと各種情報を受信する（ステップＳ５）。

【0132】

記憶・読出部５９は、ステップＳ５で受信したユーザＩＤと各種情報を対応付けて設定情報管理ＤＢ５００１に記憶させる（ステップＳ６）。記憶・読出部５９は、送信元装置としての撮影装置１０側で実行する第１の画像処理と、送信先装置としてのサーバ５０側で実行する第２の画像処理を示す第２の処理情報を対応付けて設定する設定手段の一例である。

【0133】

撮影装置１０の送受信部１１は、所定の条件をトリガーとして、ユーザＩＤおよび機種ＩＤをサーバ５０に送信し、サーバ５０の送受信部５１は、撮影装置１０から送信されたユーザＩＤおよび機種ＩＤを受信する（ステップＳ７）。

【0134】

ここで、トリガーとする所定の条件は、撮影装置１０が通信ネットワーク１００を介してサーバ５０と接続（同期）可能になる場合である。例えば、撮影装置１０が通信端末９０と連携して（通信端末９０を介して）、通信ネットワーク１００を介してサーバ５０に初めて接続した場合、または、撮影装置１０を起動して通信ネットワーク１００を介してサーバ５０へ２回目以降の接続をした場合、もしくは、撮影装置１０がユーザによる通信ネットワーク１００との切断や通信環境により通信ネットワーク１００に接続できない状態から再接続してサーバ５０へ接続した場合、などである。

【0135】

記憶・読出部５９は、ステップＳ７で受信したユーザＩＤおよび機種ＩＤを検索キーとして設定情報管理ＤＢ５００１から撮影装置側画像処理情報を読み出す（ステップＳ８）。送受信部５１は、ステップＳ８で読み出した撮影装置側画像処理情報をユーザＩＤと対応付けて撮影装置１０に送信し、撮影装置１０の送受信部１１は、サーバ５０から送信されたユーザＩＤおよび撮影装置側画像処理情報を受信する（ステップＳ９）。

【0136】

記憶・読出部１９は、ステップＳ９で受信したユーザＩＤと撮影装置側画像処理情報を対応付けて設定情報管理ＤＢ１００１に記憶させる（ステップＳ１０）。

【0137】

撮影制御部１３は、所定の条件をトリガーとして、記憶・読出部５９によりユーザＩＤを検索キーとして設定情報管理ＤＢ１００１から撮影条件を読み出して、静止画撮影部１５または動画撮影部１４により、静止画または動画を撮影し、記憶・読出部１９は、撮影した静止画または動画を示す撮影画像を画像ＩＤに対応付けて画像管理ＤＢ１００２に記憶させる（ステップＳ１１）。

【0138】

画像処理部１６は、記憶・読出部５９によりユーザＩＤを検索キーとして設定情報管理ＤＢ１００１から撮影装置側画像処理情報を読み出して、ステップＳ１１で撮影した静止画または動画に対して、撮影装置側画像処理情報で示される画像処理を実行し、記憶・読出部１９は、画像処理部１６により画像処理が実行された静止画または動画を示す処理画像を画像ＩＤに対応付けて画像管理ＤＢ１００２に記憶させる（ステップＳ１２）。

【0139】

撮影装置１０の送受信部１１は、ユーザＩＤ、機種ＩＤ、ステップＳ１２で画像処理が実行された処理画像とその画像ＩＤをサーバ５０に送信し、サーバ５０の送受信部５１は、撮影装置１０から送信されたユーザＩＤ、機種ＩＤ、処理画像および画像ＩＤを受信する（ステップＳ１３）。

【0140】

画像処理部５７は、記憶・読出部５９により、ステップＳ１３で受信したユーザＩＤおよび機種ＩＤを検索キーとして設定情報管理ＤＢ５００１からサーバ側画像処理情報を読み出して、ステップＳ１３で受信した処理画像に対して、サーバ側画像処理情報で示される画像処理を実行し、記憶・読出部５９は、ステップＳ１３で受信した処理画像、および画像処理部５７により画像処理が実行された処理画像をそれぞれ画像ＩＤに対応付けて画像管理ＤＢ５００２に記憶させる（ステップＳ１４）。

【0141】

送受信部５１が、外部サーバ７０から送信されたユーザＩＤおよび画像要求を受信すると（ステップＳ１５）、記憶・読出部５９は、ステップＳ１５で受信したユーザＩＤを検索キーとして設定情報管理ＤＢ５００１から外部サーバ７０によりアクセス可能な画像の画像ＩＤを読み出す（ステップＳ１６）。

【0142】

記憶・読出部５９は、ステップＳ１６で読み出した画像ＩＤを検索キーとして画像管理ＤＢ５００２から処理画像を読み出して（ステップＳ１７）、送受信部５１は、ステップＳ１７で読み出した処理画像をユーザＩＤと対応付けて外部サーバ７０に送信する（ステップＳ１８）。

【0143】

図１９は、本実施形態に係る画像処理の一例としてつなぎ処理を示すフローチャートである。図１９は、図１８に示したシーケンス図のステップＳ１２またはＳ１４に対応する処理を示す。

【0144】

画像処理部１６または５７は、撮像素子１０３ａ，１０３ｂのそれぞれによって取得された部分画像０および部分画像１に対し、位置検出用変換テーブルを用いて歪み補正を行う。これによって、位置検出用補正画像０および位置検出用補正画像１が得られる。これにより、全天球画像フォーマットの補正画像が得られる（ステップＳ２１）。

【0145】

ここで、位置検出用変換テーブルは、事前に製造元等で、レンズ設計データなどを元に、レンズの射影関係に基づき、放射歪曲および偏心歪曲等に起因した理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものである。

【0146】

画像処理部１６または５７は、位置検出用補正画像０および位置検出用補正画像１の重複領域において、画像間のつなぎ位置検出を行う（ステップＳ２２）。

【0147】

具体的には、画像処理部１６または５７は、ステップＳ２１で変換された補正画像０，１の入力を受けて、パターンマッチング処理により、入力された補正画像０，１間のつなぎ位置を検出し、検出結果データを生成する。

【0148】

画像処理部１６または５７は、ステップＳ２２で生成した検出結果データを用いて、位置検出用変換テーブルを画像が球面座標上で位置合わせされるように修正する（ステップＳ２３）。

【0149】

具体的には、ステップＳ２２のつなぎ位置検出処理により、全天球画像フォーマットの座標値毎に、ずらし量が求まるので、ステップＳ２３では、部分画像０の歪み補正に用いた検出用歪み補正テーブル０において、入力座標値（θ，φ）に対し、修正前には（θ＋Δθ，φ＋Δφ）に対応付けられていた（ｘ，ｙ）を対応付けるように修正する。なお、部分画像１の歪み補正に用いた検出用歪み補正テーブル１については対応付けを変える必要はない。

【0150】

画像処理部１６または５７は、ステップＳ２３で修正された位置検出用変換テーブルから、回転座標変換することによって、画像合成用変換テーブルを生成する（ステップＳ２４）。

【0151】

画像処理部１６または５７は、ステップＳ２４で生成した画像合成用変換テーブルを用いて、元の部分画像０および部分画像１に対し歪み補正を行い、画像合成用補正画像０および画像合成用補正画像１を得る（ステップＳ２５）。

【0152】

これにより、魚眼レンズで撮像された２つの部分画像０，１は、全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね左半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね右半球にマッピングされる。

【0153】

画像処理部１６または５７は、画像合成用補正画像０および画像合成用補正画像１を合成する（ステップＳ２６）。

【0154】

この合成処理では、画像間で重複する重複領域については、ブレンド処理等が行われ、片方しか画素値が存在しない領域については、存在するそのままの画素値が採用されることになる。上記合成処理により、魚眼レンズにより撮像された２枚の部分画像から、１枚の全天球画像が生成される。

【0155】

図２０は、図１９のステップＳ２２で説明した位置検出処理の際における２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。

【0156】

図２１は、図１９のステップＳ２５で説明した画像合成処理の際における２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。

【0157】

図２２は、本実施形態の第１の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【0158】

図２２（ａ）は、図１３に示したサーバ５０の記憶部５０００に構築された設定情報管理ＤＢ５００１を構成する設定情報管理テーブルを示す。

【0159】

設定情報管理ＤＢ５００１を構成する設定情報管理テーブルでは、ユーザＩＤ、撮影装置１０を識別する機種ＩＤ、および画像処理を実行する画像を識別する画像ＩＤに関連付けて、サーバ側画像処理情報、および画像管理ＤＢ５００２に記憶される画像に対する外部サーバのアクセスの可否を示すアクセス情報が管理されている。

【0160】

すなわち、図２２（ａ）に示される設定情報管理テーブルは、図１７（ａ）に示される設定情報管理テーブルとは異なり、撮影装置側画像処理情報は記憶せず、管理しない。

【0161】

図２２（ｂ）は、図１３に示した撮影装置１０の記憶部１０００に構築された設定情報管理ＤＢ１００１を構成する設定情報管理テーブルを示し、図１７（ｂ）に示される設定情報管理テーブルと同様に構成される。
す。

【0162】

図２３は、本実施形態第１の変形例に係る処理の一例を示すシーケンス図である。

【0163】

通信端末９０の受付部９２は、ユーザが、ユーザＩＤと、撮影条件を設定する情報を入力することにより、設定された情報を受け付ける（ステップＳ１０１）。

【0164】

受付部９２は、ユーザが、ユーザＩＤ、機種ＩＤ、画像ＩＤ、画像処理情報およびアクセス情報を設定する情報を入力することにより、設定された各種情報を受け付ける（ステップＳ１０２）。ここで、画像処理情報は、撮影装置側画像処理情報およびサーバ側画像処理情報を含む。

【0165】

受付部９２は、送信元装置としての撮影装置１０側で実行する第１の画像処理と、送信先装置としてのサーバ５０側で実行する第２の画像処理を示す第２の処理情報を対応付けて設定する設定手段の一例である。

【0166】

送受信部９１は、ユーザＩＤ、ステップＳ１０１で設定された撮影条件、およびステップＳ１０２で設定された撮影装置側画像処理情報を撮影装置１０に対して送信し、撮影装置１０の送受信部１１は、通信端末９０から送信されたユーザＩＤ、撮影条件および撮影装置側画像処理情報を受信する（ステップＳ１０３）。

【0167】

記憶・読出部１９は、ステップＳ１０３で受信したユーザＩＤ、撮影条件および撮影装置側画像処理情報を対応付けて設定情報管理ＤＢ１００１に記憶させる（ステップＳ１０４）。

【0168】

通信端末９０の送受信部９１は、ユーザＩＤと、ステップＳ１０２で設定された撮影装置側画像処理情報を除く各種情報をサーバ５０に対して送信し、サーバ５０の送受信部５１は、通信端末９０から送信されたユーザＩＤと各種情報を受信する（ステップＳ１０５）。

【0169】

記憶・読出部５９は、ステップＳ１０５で受信したユーザＩＤと各種情報を対応付けて設定情報管理ＤＢ５００１に記憶させる（ステップＳ１０６）。

【0170】

ステップＳ１０７～Ｓ１１４の処理は、図１８で説明したステップＳ１１～Ｓ１８の処理と同様である。

【0171】

図２４は、本実施形態の第２の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【0172】

図２４（ａ）は、図１３に示したサーバ５０の記憶部５０００に構築された設定情報管理ＤＢ５００１を構成する設定情報管理テーブルを示し、図２２（ａ）に示される設定情報管理テーブルと同様に構成される。

【0173】

図２４（ｂ）は、図１３に示した撮影装置１０の記憶部１０００に構築された設定情報管理ＤＢ１００１を構成する設定情報管理テーブルを示す。

【0174】

設定情報管理ＤＢ１００１を構成する設定情報管理テーブルでは、ユーザＩＤ、撮影条件および画像ＩＤに関連付けて、撮影装置側画像処理情報およびサーバ側画像処理情報が管理されている。

【0175】

すなわち、図２４（ｂ）に示される設定情報管理テーブルは、図１７（ｂ）に示される設定情報管理テーブルに加えて、画像ＩＤおよびサーバ側画像処理情報を記憶して管理する。

【0176】

図２５は、本実施形態第２の変形例に係る処理の一例を示すシーケンス図である。

【0177】

通信端末９０の受付部９２は、ユーザＩＤと、ユーザが撮影条件を設定する情報を入力することにより、設定された情報を受け付ける（ステップＳ２０１）。

【0178】

受付部９２は、ユーザが、ユーザＩＤ、機種ＩＤ、画像ＩＤ、画像処理情報およびアクセス情報を設定する情報を入力することにより、設定された各種情報を受け付ける（ステップＳ２０２）。画像処理情報は、撮影装置側画像処理情報およびサーバ側画像処理情報を含む。

【0179】

送受信部９１は、ユーザＩＤ、ステップＳ２０１で設定された撮影条件、およびステップＳ２０２で設定された画像ＩＤ、および画像処理情報を撮影装置１０に対して送信し、撮影装置１０の送受信部１１は、通信端末９０から送信されたユーザＩＤ、撮影条件、画像ＩＤおよび画像処理情報を受信する（ステップＳ２０３）。

【0180】

記憶・読出部１９は、ステップＳ２０３で受信したユーザＩＤ、撮影条件および画像処理情報を対応付けて設定情報管理ＤＢ１００１に記憶させる（ステップＳ２０４）。記憶・読出部１９は、送信元装置としての撮影装置１０側で実行する第１の画像処理と、送信先装置としてのサーバ５０側で実行する第２の画像処理を示す第２の処理情報を対応付けて設定する設定手段の一例である。

【0181】

通信端末９０の送受信部９１は、ユーザＩＤと、ステップＳ２０２で設定された画像処理情報を除く各種情報をサーバ５０に対して送信し、サーバ５０の送受信部５１は、通信端末９０から送信されたユーザＩＤと各種情報を受信する（ステップＳ２０５）。

【0182】

記憶・読出部５９は、ステップＳ２０５で受信したユーザＩＤと各種情報を対応付けて設定情報管理ＤＢ５００１に記憶させる（ステップＳ２０６）。

【0183】

撮影装置１０の送受信部１１は、所定の条件をトリガーとして、ユーザＩＤ、機種ＩＤ、画像ＩＤおよびサーバ側画像処理情報をサーバ５０に送信し、サーバ５０の送受信部５１は、撮影装置１０から送信されたユーザＩＤと各種情報を受信する（ステップＳ２０７）。

【0184】

記憶・読出部５９は、ステップＳ２０７で受信したユーザＩＤおよび機種ＩＤと各種情報を対応付けて設定情報管理ＤＢ５００１に記憶させる（ステップＳ２０８）。

【0185】

ステップＳ２０９～Ｓ２１６の処理は、図１８で説明したステップＳ１１～Ｓ１８の処理と同様である。

【0186】

図２６は、本実施形態の第３の変形例に係る設定情報管理テーブルの一例を示す概念図である。第３の変形例におけるＴｗｉｎ機能は、撮影装置１０および通信端末９０側のメタデータ、構成、状態などの情報をサーバ５０に保持する機能である。

【0187】

図２６（ａ）は、図１３に示したサーバ５０の記憶部５０００に構築された設定情報管理ＤＢ５００１を構成する設定情報管理テーブルを示し、図２２（ａ）および図２４（ａ）に示される設定情報管理テーブルと同様に構成される。

【0188】

図２６（ｂ）は、図１３に示した撮影装置１０の記憶部１０００に構築された設定情報管理ＤＢ１００１を構成する設定情報管理テーブルを示す。

【0189】

設定情報管理ＤＢ１００１を構成する設定情報管理テーブルでは、ユーザＩＤに関連付けて撮影条件が管理されている。

【0190】

すなわち、図２６（ｂ）に示される設定情報管理テーブルは、図１７（ａ）に示される設定情報管理テーブルとは異なり、撮影装置側画像処理情報は記憶せず、管理しない。

【0191】

図２６（ｃ）は、図１３に示した通信端末９０の記憶部９０００に構築された設定情報管理ＤＢ９００１を構成する設定情報管理テーブルを示す。

【0192】

設定情報管理ＤＢ９００１を構成する設定情報管理テーブルでは、ユーザＩＤ、機種ＩＤに関連付けて、通信端末側処理情報が管理されている。

【0193】

通信端末側画像処理情報は、送信元装置としての通信端末９０側で実行する第１の画像処理を示す第１の処理情報の一例である。

【0194】

図２７は、本実施形態第３の変形例に係る処理の一例を示すシーケンス図である。

【0195】

通信端末９０の受付部９２は、ユーザが、ユーザＩＤと、撮影条件を設定する情報を入力することにより、設定された情報を受け付ける（ステップＳ３０１）。

【0196】

送受信部９１は、ユーザＩＤと、ステップＳ３０１で設定された撮影条件を撮影装置１０に対して送信し、撮影装置１０の送受信部１１は、通信端末９０から送信されたユーザＩＤと撮影条件を受信する（ステップＳ３０２）。

【0197】

記憶・読出部１９は、ステップＳ３０２で受信したユーザＩＤと撮影条件を対応付けて設定情報管理ＤＢ１００１に記憶させる（ステップＳ３０３）。

【0198】

通信端末９０の受付部９２は、ユーザが、ユーザＩＤ、機種ＩＤ、画像ＩＤ、画像処理情報およびアクセス情報を設定する情報を入力することにより、設定された各種情報を受け付ける。画像処理情報は、通信端末側画像処理情報およびサーバ側画像処理情報を含む。記憶・読出部９９は、受付部９２が受け付けたユーザＩＤ、機種ＩＤ、および通信端末側処理情報を対応付けて設定情報管理ＤＢ９００１に記憶させる（ステップＳ３０４）。

【0199】

受付部９２は、送信元装置としての通信端末９０側で実行する第１の画像処理と、送信先装置としてのサーバ５０側で実行する第２の画像処理を示す第２の処理情報を対応付けて設定する設定手段の一例である。

【0200】

送受信部９１は、ユーザＩＤと、ステップＳ３０４で設定された通信端末側画像処理情報を除く各種情報をサーバ５０に対して送信し、サーバ５０の送受信部５１は、通信端末９０から送信されたユーザＩＤと各種情報を受信する（ステップＳ３０５）。

【0201】

記憶・読出部５９は、ステップＳ５で受信したユーザＩＤと各種情報を対応付けて設定情報管理ＤＢ５００１に記憶させる（ステップＳ３０６）。

【0202】

撮影制御部１３は、所定の条件をトリガーとして、記憶・読出部５９によりユーザＩＤを検索キーとして設定情報管理ＤＢ１００１から撮影条件を読み出して、静止画撮影部１５または動画撮影部１４により、静止画または動画を撮影し、記憶・読出部１９は、撮影した静止画または動画を示す撮影画像を画像ＩＤに対応付けて画像管理ＤＢ１００２に記憶させる（ステップＳ３０７）。

【0203】

撮影装置１０の送受信部１１は、ステップＳ３０７で撮影した撮影画像とその画像ＩＤをユーザＩＤおよび機種ＩＤと対応付けて通信端末９０に送信し、通信端末９０の送受信部９１は、撮影装置１０から送信されたユーザＩＤ、機種ＩＤ、撮影画像および画像ＩＤを受信する（ステップＳ３０８）。

【0204】

画像処理部９４は、記憶・読出部９９により、ステップＳ３０８で受信したユーザＩＤおよび機種ＩＤを検索キーとして設定情報管理ＤＢ９００１から通信端末側画像処理情報を読み出して、ステップＳ３０８で受信した撮影画像に対して、通信端末側画像処理情報で示される画像処理を実行し、記憶・読出部９９は、画像処理部９４により画像処理が実行された処理画像を画像ＩＤに対応付けて画像管理ＤＢ９００２に記憶させる（ステップＳ３０９）。

【0205】

送受信部９１は、ユーザＩＤ、機種ＩＤ、ステップＳ３０９で画像処理が実行された処理画像とその画像ＩＤをサーバ５０に送信し、サーバ５０の送受信部５１は、通信端末９０から送信されたユーザＩＤ、機種ＩＤ、処理画像および画像ＩＤを受信する（ステップＳ３１０）。

【0206】

ステップＳ３１１～Ｓ３１５の処理は、図１８で説明したステップＳ１４～Ｓ１８の処理と同様である。

【0207】

図２８は、本実施形態の第４の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【0208】

図２８（ａ）は、図１３に示したサーバ５０の記憶部５０００に構築された設定情報管理ＤＢ５００１を構成する設定情報管理テーブルを示し、図２６（ａ）に示される設定情報管理テーブルと同様に構成される。

【0209】

図２８（ｂ）は、図１３に示した撮影装置１０の記憶部１０００に構築された設定情報管理ＤＢ１００１を構成する設定情報管理テーブルを示し、図２６（ｂ）に示される設定情報管理テーブルと同様に構成される。

【0210】

図２８（ｃ）は、図１３に示した通信端末９０の記憶部９０００に構築された設定情報管理ＤＢ９００１を構成する設定情報管理テーブルを示す。

【0211】

設定情報管理ＤＢ９００１を構成する設定情報管理テーブルでは、ユーザＩＤ、機種ＩＤおよび画像ＩＤに関連付けて、通信端末側処理情報およびサーバ側画像処理情報が管理されている。

【0212】

図２８に示す第４の変形例に係る処理は、図２７に示した第３の変形例のシーケンス図と同様であるが、図２７のステップＳ３０４において、記憶・読出部９９は、受付部９２が受け付けたユーザＩＤ、機種ＩＤ、および通信端末側処理情報に加えて、受付部９２が受け付けた画像ＩＤおよびサーバ側画像処理情報を対応付けて設定情報管理ＤＢ９００１に記憶させる。

【0213】

記憶・読出部９９は、送信元装置としての通信端末９０側で実行する第１の画像処理と、送信先装置としてのサーバ５０側で実行する第２の画像処理を示す第２の処理情報を対応付けて設定する設定手段の一例である。

【0214】

図２９は、本実施形態の第５の変形例に係る設定情報管理テーブルの一例を示す概念図である。

【0215】

図２９（ａ）は、図１３に示したサーバ５０の記憶部５０００に構築された設定情報管理ＤＢ５００１を構成する設定情報管理テーブルを示し、図２６（ａ）に示される設定情報管理テーブルに加えて、通信端末側画像処理情報を記憶して管理する。

【0216】

設定情報管理テーブルは、サーバ５０の受付部５２に対して入力された情報や、通信端末９０以外の外部端末から送信されて送受信部５１が受信した情報等に基づき、記憶・読出部５９により、図２９（ａ）に示す各種情報を記憶して管理する。

【0217】

記憶・読出部５９は、送信元装置としての通信端末９０側で実行する第１の画像処理と、送信先装置としてのサーバ５０側で実行する第２の画像処理を示す第２の処理情報を対応付けて設定する設定手段の一例である。

【0218】

図２９（ｂ）は、図１３に示した撮影装置１０の記憶部１０００に構築された設定情報管理ＤＢ１００１を構成する設定情報管理テーブルを示し、図２６（ｂ）に示される設定情報管理テーブルと同様に構成される。

【0219】

図２９（ｃ）は、図１３に示した通信端末９０の記憶部９０００に構築された設定情報管理ＤＢ９００１を構成する設定情報管理テーブルを示し、図２６（ｃ）に示される設定情報管理テーブルと同様に構成される。

【0220】

図３０は、本実施形態第５の変形例に係る処理の一例を示すシーケンス図である。

【0221】

通信端末９０の受付部９２は、ユーザがユーザＩＤと、撮影条件を設定する情報を入力することにより、設定された情報を受け付ける（ステップＳ４０１）。

【0222】

送受信部９１は、ユーザＩＤと、ステップＳ４０１で設定された撮影条件を撮影装置１０に対して送信し、撮影装置１０の送受信部１１は、通信端末９０から送信されたユーザＩＤと撮影条件を受信する（ステップＳ４０２）。

【0223】

記憶・読出部１９は、ステップＳ４０２で受信したユーザＩＤと撮影条件を対応付けて設定情報管理ＤＢ１００１に記憶させる（ステップＳ４０３）。

【0224】

通信端末９０の送受信部９１は、所定の条件をトリガーとして、ユーザＩＤおよび機種ＩＤをサーバ５０に送信し、サーバ５０の送受信部５１は、通信端末９０から送信されたユーザＩＤおよび機種ＩＤを受信する（ステップＳ４０５）。

【0225】

記憶・読出部５９は、ステップＳ４０５で受信したユーザＩＤおよび機種ＩＤを検索キーとして設定情報管理ＤＢ５００１から通信端末側画像処理情報を読み出す（ステップＳ４０６）。送受信部５１は、ステップＳ４０６で読み出した通信端末側画像処理情報をユーザＩＤ、機種ＩＤと対応付けて通信端末９０に送信し、通信端末９０の送受信部９１は、サーバ５０から送信されたユーザＩＤ、機種ＩＤおよび通信端末側画像処理情報を受信する（ステップＳ４０７）。

【0226】

記憶・読出部９９は、ステップＳ４０７で受信したユーザＩＤ、機種ＩＤと撮影装置側画像処理情報を対応付けて設定情報管理ＤＢ９００１に記憶させる（ステップＳ４０８）。

【0227】

ステップＳ４０９～Ｓ４１７の処理は、図２７で説明したステップＳ３０７～Ｓ３１５の処理と同様である。

【0228】

以上説明したように、本発明の一本実施形態に係る、送信元装置の一例である撮影装置１０または通信端末９０や、送信先装置の一例であるサーバ５０は、例えば不動産物件を管理または販売する不動産業者や、不動産物件を紹介する不動産紹介業者や、建築物等の構造物を管理する建築業者などが利用可能に構成されているが、本発明の適用はこれらに限られない。

【0229】

例えば、銀行や、小売業者が商品を販売する小売店、自治体が管理する道路や市街地などを監視対象とした監視カメラシステムに適用することも可能である。この場合、図１を例にすると、銀行や小売店などの監視対象において、撮影装置１０を天井や壁などの所定の監視位置に設置する。

【0230】

道路や市街地を監視対象とする場合は、撮影装置１０を歩道橋や電柱などの構造物に設置する。そして、サーバ５０は画像を管理する画像管理業者が有してもよく、銀行や小売店または自治体が有してもよい。

【0231】

外部サーバ７０は、監視対象の警備を行う警備業者が有し、通信ネットワーク１００を介してサーバ５０と通信可能に構成される。通信端末９０は、銀行や小売店または自治体が有してもよく、警備業者が有してもよく、両者が有してもよい。

【0232】

ここで、監視対象を監視する用途の場合、撮影画像の共有にリアルタイム性（即時性）が求められる場合がある。このとき、撮影装置１０側では、最低限、利用者が画像を確認できるレベルである比較的負荷の少ない画像処理を実行し、サーバ５０へ共有する。

【0233】

サーバ５０において、例えば物体検出処理など、比較的負荷の大きい画像処理を実行する。こうすることで、撮影装置１０はサーバ５０に素早く画像を共有することができ、監視カメラシステムに適用する場合において、撮影画像を効率的に活用することが可能となる。

【0234】

●まとめ●
［第１態様］
以上説明したように、本発明の一実施形態に係る情報処理装置の一例であるサーバ５０は、送信元装置の一例である撮影装置１０または通信端末９０から送信された、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理が実行された処理画像を受信する受信手段の一例である送受信部５１と、処理画像に対して、画像処理設定情報に基づく第２の画像処理を、実行する画像処理部５７と、を備える。

【0235】

これにより、撮影装置１０または通信端末９０と、サーバ５０で、画像処理を適切に役割分担して実行することができる。

【0236】

具体的には、第１の画像処理と第２の画像処理で、処理が重複しないようにしたり、低負荷の処理を第１の画像処理とするとともに高負荷の処理を第２の画像処理としたり、することができる。

【0237】

［第２態様］
第１態様において、画像処理設定情報は、撮影装置１０または通信端末９０で実行される第１の画像処理と、サーバ５０で実行される第２の画像処理が設定された情報である。

【0238】

画像処理設定情報は、撮影装置１０または通信端末９０とサーバ５０の利用開始前に、設計、出荷、リリース等の際に事前設定されてもよく、撮影装置１０または通信端末９０とサーバ５０を利用開始時または利用中に、ユーザが任意に設定、変更可能であってもよい。

【0239】

［第３態様］
第１態様または第２態様において、サーバ５０は、第１の画像処理および第２の画像処理を対応付けて設定する設定手段の一例である記憶・読出部５９を備える。

【0240】

これにより、サーバ５０は、第１の画像処理および第２の画像処理を対応付けて設定することができる。

【0241】

［第４態様］
第３態様において、サーバ５０は、撮影装置１０または通信端末９０に対して、第１の画像処理を示す第１の処理情報を送信する送信手段の一例である送受信部５１を備える。

【0242】

これにより、サーバ５０側で設定した第１の画像処理を、撮影装置１０または通信端末９０側で実行することができる。

【0243】

［第５態様］
第１態様または第２態様において、送受信部５１は、さらに、送信元装置の一例である撮影装置１０および通信端末９０の何れか、または外部装置の一例である通信端末９０から、第２の処理情報を受信する。

【0244】

これにより、撮影装置１０または通信端末９０側で設定した第２の画像処理を、サーバ５０側で実行することができる。

【0245】

［第６態様］
第１～第５態様の何れかにおいて、送信元装置は、被写体を撮影する撮影装置１０である。

【0246】

これにより、撮影装置１０とサーバ５０で、画像処理を適切に役割分担して実行することができる。

【0247】

［第７態様］
本発明の一実施形態に係る情報処理装置の一例である撮影装置１０または通信端末９０は、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理を実行する画像処理部１６または９４と、送信先装置の一例であるサーバ５０に対して、第１の画像処理が実行された処理画像を送信する送信手段の一例である送受信部１１または９１と、を備え、第１の画像処理は、処理画像に対してサーバ５０側で実行する画像処理設定情報に基づく第２の画像処理に対応づけられている。

【0248】

［第８態様］
第７態様において、画像処理設定情報は、撮影装置１０または通信端末９０で実行される第１の画像処理と、サーバ５０で実行される第２の画像処理が設定された情報である。

【0249】

［第９態様］
第７態様または第８態様において、撮影装置１０または通信端末９０は、第１の画像処理および第２の画像処理を対応付けて設定する設定手段の一例である記憶・読出部１９または受付部９２を備える。

【0250】

これにより、撮影装置１０または通信端末９０は、第１の画像処理および第２の画像処理を対応付けて設定することができる。

【0251】

［第１０態様］
第９態様において、送受信部１１または９１は、さらに、サーバ５０に対して、第２の画像処理を示す第２の処理情報を送信する。

【0252】

これにより、撮影装置１０または通信端末９０側で設定した第２の画像処理を、サーバ５０側で実行することができる。

【0253】

［第１１態様］
第７態様または第８態様において、撮影装置１０は、送信先装置の一例であるサーバ５０、または外部装置の一例である通信端末９０から、第１の画像処理を示す第１の処理情報を受信する受信手段の一例である送受信部１１を備える。

【0254】

これにより、サーバ５０または通信端末９０側で設定した第１の画像処理を、撮影装置１０で実行することができる。

【0255】

［第１２態様］
第７～第１１態様の何れかにおいて、情報処理装置は、被写体を撮影する撮影装置１０である。

【0256】

これにより、撮影装置１０とサーバ５０で、画像処理を適切に役割分担して実行することができる。

【0257】

［第１３態様］
本発明の一実施形態に係るサーバ５０により実行される情報処理方法は、撮影装置１０または通信端末９０から送信された、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理が実行された処理画像を受信する受信ステップと、画像処理設定情報に基づく第２の画像処理を、処理画像に対して実行する画像処理ステップと、を実行する。

【0258】

［第１４態様］
本発明の一実施形態に係る撮影装置１０または通信端末９０により実行される情報処理方法は、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理を実行する画像処理ステップと、サーバ５０に対して、第１の画像処理が実行された処理画像を送信する送信ステップと、を実行し、第１の画像処理は、処理画像に対して送信先装置側で実行する画像処理設定情報に基づく第２の画像処理に対応づけられている。

【0259】

［第１５態様］
本発明の一実施形態に係るプログラムは、第１３態様または第１４態様の情報処理方法をコンピュータに実行させる。

【0260】

［第１６態様］
本発明の一実施形態に係る情報処理システムの一例である画像処理システム１は、撮影装置１０または通信端末９０と、撮影装置１０または通信端末９０と通信可能なサーバ５０と、を備え、撮影装置１０または通信端末９０は、被写体を撮影した撮影画像に対して画像処理設定情報に基づく第１の画像処理を実行する画像処理部１６または９４と、サーバ５０に対して、第１の画像処理が実行された処理画像を送信する送受信部１１または９１と、を備え、サーバ５０は、撮影装置１０または通信端末９０から送信された、処理画像を受信する送受信部５１と、処理画像に対して、画像処理設定情報に基づく第２の画像処理を実行する画像処理部５７と、を備える。

【0261】

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＳＯＣ（Ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および従来の回路モジュール等のデバイスを含むものとする。

【0262】

これまで本発明の一実施形態に係る情報処理装置、情報処理方法、プログラムおよび情報処理システムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0263】

１ 画像処理システム（情報処理システムの一例）
１０ 撮影装置（情報処理装置、送信元装置の一例）
１１ 送受信部（送信手段、受信手段の一例）
１２ 操作受付部
１３ 撮影制御部（撮影制御手段の一例）
１４ 動画撮影部
１５ 静止画撮影部
１６ 画像処理部
１９ 記憶・読出部（設定手段の一例）
２０ 支持部材
５０ サーバ（情報処理装置、送信先装置の一例）
５１ 送受信部（受信手段、送信手段の一例）
５７ 画像処理部
５８ パス生成部（パス生成手段の一例）
５９ 記憶・読出部（設定手段の一例）
６０ 画像処理部（画像処理手段の一例）
９０ 通信端末（情報処理装置、送信元装置の一例）
９１ 送受信部（送信手段の一例）
９２ 受付部（設定手段の一例）
９３ 表示制御部（表示制御手段の一例）
９４ 画像処理部
９０６ ディスプレイ（表示部の一例）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】