特許 7219620 配信画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-31

(45)【発行日】2023-02-08

(54)【発明の名称】配信画像生成方法

(51)【国際特許分類】

   H04N 21/2343 20110101AFI20230201BHJP

   H04N 21/258 20110101ALI20230201BHJP

【ＦＩ】

H04N21/2343

H04N21/258

【請求項の数】 6

(21)【出願番号】P 2019009451

(22)【出願日】2019-01-23

(65)【公開番号】P2020120254

(43)【公開日】2020-08-06

【審査請求日】2022-01-24

(73)【特許権者】

【識別番号】517416905

【氏名又は名称】株式会社近江デジタルファブリケーションズ

(74)【代理人】

【識別番号】100191189

【弁理士】

【氏名又は名称】浅野 哲平

(74)【代理人】

【識別番号】100199761

【弁理士】

【氏名又は名称】福屋 好泰

(74)【代理人】

【識別番号】100182121

【弁理士】

【氏名又は名称】三宅 紘子

(72)【発明者】

【氏名】平山 巧馬

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００６－１４８７６７（ＪＰ，Ａ）

【文献】特開２０１０－２１９８７２（ＪＰ，Ａ）

【文献】特開２０１６－０１５７０５（ＪＰ，Ａ）

【文献】特表２０１９－５２１３８８（ＪＰ，Ａ）

【文献】国際公開第２０１８／００４９３６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ７／２０ － ７／５６

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｎ ５／２２２－ ５／２５７

(57)【特許請求の範囲】

【請求項1】

ネットワークを介して配信される配信画像を生成する配信画像生成方法であって、
前記配信画像の配信先端末から画角を取得するステップ、
少なくとも全方位が撮像されて生成された画像を取得するステップ、
前記取得した画像から画素を抽出して配信画像を生成する生成ステップ、
を含み、
前記生成ステップでは、取得した画角に応じて定まる関数に基づいて前記取得した画像から画素を間引き抽出することを特徴とする、配信画像生成方法。

【請求項2】

前記関数は、前記間引き間隔が前記配信画像の中心から外側になるに従って増大することを特徴とする、請求項１に記載の配信画像生成方法。

【請求項3】

前記関数は、前記画像がマッピングされたとした立体の中心から見たユーザの視線に対する角度と、前記配信画像の中心からの距離の対応を定めるものであり、当該距離が最大のとき前記角度が１８０度となることを特徴とする、請求項２または請求項２に記載の配信画像生成方法。

【請求項4】

前記関数は、前記画角内にある前記立体上の画素を前記配信画像に含まれる円状領域の内側に配列し、前記画角外にある前記立体上の画素を前記円状領域の外側に配列するよう定められることを特徴とする、請求項３に記載の配信画像生成方法。

【請求項5】

前記円状領域は前記配信画像の縁に接するよう設けられることを特徴とする請求項４に記載の配信画像生成方法。

【請求項6】

前記関数は、前記距離が前記円状領域の外形を形成する円の半径であるときの前記ユーザの視線に対する角度が前記画角となるよう定められることを特徴とする請求項５または請求項５に記載の配信画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、配信画像生成方法に関する。

【背景技術】

【0002】

カメラによって撮影した画像を、当該カメラから離れた遠隔地において携帯情報端末やパソコンなどのコンピュータで受信し、受信した画像をコンピュータの表示画面に表示させる画像配信システムが知られている。このような、画像配信システムは、例えば、留守中の部屋内を監視するための監視システムとして用いられている。近年では、全天周の画像を生成するカメラを備え、より広い範囲の画像を配信できる画像配信システムが登場している。

【0003】

例えば、特許文献１には、カメラで撮影した全天周の映像を正距円筒図法によってパノラマ展開し、展開したパノラマ画像を配信する映像配信装置が記載されている。当該映像配信装置では、低解像度の全天周画像に対して、ユーザが注視している部分を高精細な画像で重畳して送信することで、ユーザに提供する映像の品質を向上させると共に、映像を配信する際の情報量を抑制することを可能にしている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１５７０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、高解像度の画像と低解像度の画像を単に重畳するだけでは、解像度の違いに起因する境界が画像に現れるため、当該画像を見るユーザに違和感を与えるおそれがある。

【0006】

本発明は、上記の課題に鑑み、画像を配信する際の情報量を抑制しながらも、当該画像を見るユーザに対して違和感を与えることのない配信画像生成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明は、ネットワークを介して配信される配信画像を生成する配信画像生成方法であって、前記配信画像の配信先端末から画角を取得するステップ、少なくとも全方位が撮像されて生成された画像を取得するステップ、前記取得した画像から画素を抽出して配信画像を生成する生成ステップ、を含み、前記生成ステップでは、取得した画角に応じて定まる関数に基づいて前記取得した画像から画素を間引き抽出することを特徴とする。

【0008】

また、前記関数は、前記間引き間隔が前記配信画像の中心から外側になるに従って増大することを特徴とする。

【0009】

また、前記関数は、前記画像がマッピングされたとした立体の中心から見たユーザの視線に対する角度と、前記配信画像の中心からの距離の対応を定めるものであり、当該距離が最大のとき前記角度が１８０度となることを特徴とする。

【0010】

また、前記関数は、前記画角内にある前記立体上の画素を前記配信画像に含まれる円状領域の内側に配列し、前記画角外にある前記立体上の画素を前記円状領域の外側に配列するよう定められることを特徴とする。

【0011】

また、前記円状領域は前記配信画像の縁に接するよう設けられることを特徴とする。

【0012】

また、前記関数は、前記距離が前記円状領域の外形を形成する円の半径であるときの前記ユーザの視線に対する角度が前記画角となるよう定められることを特徴とする。

【発明の効果】

【0013】

本発明によれば、コンピュータに配信される配信画像は、関数に従って当該画像の画質が周縁部分の外側になるに従って漸減するように生成されている。従って、画像を配信する際の情報量を抑制しながらも、当該画像を見るユーザに対して違和感を与えることがない。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る画像配信システムの概略図

【図2】上記画像配信システムのブロック図

【図3】上記画像配信システムのフロー図

【図4】上記フロー図の生成処理における画像の生成過程を示した図

【図5】配信画像と仮想球の対応関係を示した図

【図6】配信画像における低解像度部分を生成する場合の対応関係を示した図

【図7】関数の例を示した図

【発明を実施するための形態】

【0015】

図１に示すように、本実施形態の画像配信システム１０は、ネットワーク通信回線３に接続された画像配信装置１２と携帯情報端末１４により構成されている。これら画像配信装置１２と携帯情報端末１４は、不図示のシグナリングサーバによって、ｐｅｅｒ‐ｔｏ‐ｐｅｅｒ接続が確立され、相互に通信可能となっている。

【0016】

画像配信装置１２は、ネットワーク通信回線３を通じて画像を配信する装置であって、周りを撮影するためのカメラモジュール１６を備えている。カメラモジュール１６には、２つのイメージセンサ１８，１９が設けられている。これらのイメージセンサ１８，１９は、各々の方形の受光面１８ａ，１９ａに結像された光の強度に応じた電気信号を出力するものであって、互いに受光面１８ａ，１９ａが逆向きになるように配されている。また、イメージセンサ１８，１９各々の受光面１８ａ，１９ａに収まるように半天周の像（イメージサークル）を結像させる不図示の光学部品（魚眼レンズ）が所定の位置に設けられている。この半天周とは、イメージセンサ１８，１９の受光面１８ａ，１９ａを中心にして仮想された半径無限大の半球面である。

【0017】

上記のカメラモジュール１６には、さらに、アナログ‐デジタル変換器（不図示）を有しており、当該アナログ‐デジタル変換器によって各イメージセンサ１８，１９から出力されたアナログ信号がデジタル信号へと変換される。このデジタル信号は画像配信装置１２のＣＰＵ２０へと入力され、撮影画像が生成される。これにより、本実施形態では、各イメージセンサ１８，１９に結像された２つの魚眼画像、すなわち、一方のイメージセンサ１８に結像された一方向の半天周の像を含む一の魚眼画像、および他方のイメージセンサ１９に結像された他方向の半天周の像を含む他の魚眼画像が生成される。

【0018】

画像配信装置１２は、画像配信プログラムが予め記憶されたメモリ２２と、ネットワーク通信回線３に接続するための通信モジュール２４と、を備えている。画像配信プログラムがＣＰＵ２０によって実行されることで、ＣＰＵ２０は、図２に示すように、通信モジュール２４（図１）を介して携帯情報端末１４から後述する画角情報および姿勢情報を受信する受信部２６、カメラモジュール１６から取得したデジタル信号に基づいて配信画像５２（図４）を生成する生成部２８、通信モジュール２４を介して配信画像５２を配信する配信部３０として機能する。

【0019】

図１に戻り、携帯情報端末１４は、代表的にはスマートホンやタブレットなどの端末であって、ＣＰＵ３２やメモリ３４に加えて、ユーザからの入力を受け付ける入力部（不図示）として機能するタッチパネル３６、ユーザに対して情報を表示する表示部３８（図２）として機能する液晶ディスプレイ４０、ネットワーク通信回線３に接続するための通信モジュール４２、及び携帯情報端末１４の姿勢を検出するための角速度センサー４４を備えている。

【0020】

携帯情報端末１４のメモリ３４には、画像配信装置１２から取得した配信画像５２を液晶ディスプレイ４０に表示させるアプリケーションが予め記憶されており、ＣＰＵ３２が当該アプリケーションを実行することで、図２に示すように、後述の画角情報および姿勢情報を画像配信装置１２に送信する送信部４６、画像配信装置１２から配信画像５２を受信する受信部４８、受信した配信画像５２を展開する展開部５０、及び展開された画像を液晶ディスプレイ４０に表示する表示部３８として機能する。

【0021】

以下、図３に基づいて、本実施形態における画像の配信フローを説明する。

【0022】

携帯情報端末１４においてアプリケーションが実行されると、携帯情報端末１４では画像配信装置１２とｐｅｅｒ‐ｔｏ‐Ｐｅｅｒ接続を行うための接続処理（ｓ１０１）が実行される。

【0023】

携帯情報端末１４は、接続処理（ｓ１０１）によって画像配信装置１２との通信が確立すると、画角情報及び姿勢情報を取得する取得処理（ｓ１０２）を実行する。姿勢情報は、ユーザによって操作されている携帯情報端末１４の姿勢を指標する情報であり、代表的には、角速度センサー４４から出力される信号に基づいて決定されるロール角（α）、ピッチ角（β）、及びヨー角（γ）を含む。画角情報は、携帯情報端末１４の液晶ディスプレイ４０に、ユーザが注目する部分として表示させるために、撮影画像から抽出する範囲を指標する情報であり、タッチパネル３６に対するユーザによる拡大・縮小表示操作に基づいて決定される。

【0024】

取得処理（ｓ１０２）が実行されると、携帯情報端末１４は、画像の配信を要求するリクエスト処理（ｓ１０３）を実行する。リクエスト処理（ｓ１０３）では画角情報と姿勢情報が画像配信装置１２に送信される。

【0025】

画像配信装置１２では、電源が投入されて、接続処理（ｓ２０１）が実行されると、携帯情報端末１４から送信された画角情報と姿勢情報を受信する受信処理（ｓ２０２）が実行される。

【0026】

画像配信装置１２は、画角情報及び姿勢情報を受信すると撮影処理（ｓ２０３）を実行する。撮影処理（ｓ２０３）は、イメージセンサ１８，１９を中心とした２方向の半天周を撮影する処理であって、ＣＰＵ２０が、イメージセンサ１８，１９およびアナログ‐デジタル変換器を制御して、アナログ‐デジタル変換器から入力されたデジタル信号に基づいて２つの撮影画像を生成する。当該撮影処理（ｓ２０３）により生成された各撮影画像は魚眼画像である。具体的には、矩形の画像領域を備えており、当該領域内にイメージセンサ１８，１９の受光面１８ａ、１９ａに結像された半天周の画像を含む円形の半天周エリアと、当該半天周エリアの周り（四隅）に生成された空（黒色）の情報が配列されている。

【0027】

画像配信装置１２は、撮影処理（ｓ２０３）を実行すると、配信画像５２（図４（ｂ））を生成する生成処理（ｓ２０４）を実行する。配信画像５２は、携帯情報端末１４において展開されて表示される画像５４（図４（ａ））の元となる画像であって、画角情報や姿勢情報に基づいて、撮影画像から画素を部分的に抽出することで生成される。配信画像５２が生成されると、画像配信装置１２は配信処理（ｓ２０６）を実行して、当該配信画像５２を携帯情報端末１４に対して配信する。

【0028】

携帯情報端末１４では、画像配信装置１２からの配信画像５２を受信する受信処理（ｓ１０４）が実行される。当該処理により、配信画像５２を受信すると、携帯情報端末１４は、当該配信画像５２を画像５４へと展開する展開処理（ｓ１０５）を実行する。展開処理（ｓ１０５）を実行すると、携帯情報端末１４は、画像５４を液晶ディスプレイ４０に表示させる表示処理（ｓ１０６）を実行する。当該表示処理（ｓ１０６）の後は、ユーザが携帯情報端末１４の姿勢を変える度に、上記の処理（ｓ１０２）～（ｓ１０６）が携帯情報端末１４で実行され、処理（ｓ２０２）～（ｓ２０６）が画像配信装置１２で実行される。

【0029】

ここで、携帯情報端末１４において展開され、表示される画像５４は、図４（ａ）に示すように、画像の周縁部分がその内側（中央）部分に比べて低画質となるよう構成されている。言い換えれば、画像５４においてユーザが注視する内側部分が周縁部分よりも高画質となるように構成されている。

【0030】

このような画像５４の元となる配信画像５２は、図４（ｂ）に示すように、矩形の画像であり上記高画質に表示される部分が、配信画像５２の中心を基点として当該画像の４辺（各縁）に内接する円（内接円）内に広がっており、上記低画質となる部分が、当該円の外周から配信画像５２の４隅にかけて広がっている。このような配信画像５２の各画素は、ＣＰＵ２０による所定の演算によって撮影画像から抽出され配列されるものである。本実施形態では、配信画像５２中の各画素に対応する画素を、２つの撮影画像が仮想的にマッピングされた球体（以下、仮想球５６という）から、画角情報と姿勢情報に基づいて抽出するよう演算を行なっている。

【0031】

具体的には、図４（ｃ）に示すように、配信画像５２の各画素に対応する仮想球５６面上の第１座標が対応式によって、画角情報に応じて算出され（第１算出ステップ）、当該第１座標に姿勢情報を含む回転式を適用して第２座標が算出され（第２算出ステップ）、図４（ｄ）に示すように、当該第２座標に位置している画素情報が抽出される。
なお、説明の便宜上、配信画像５２の座標は、図５（ｂ）に示すように、その中心を原点とするＸＹ直交座標によって示し、配信画像５２の横方向（Ｘ軸）は－１≦Ｘ≦１の値をとり、縦方向（Ｙ軸）は－１≦Ｙ≦１の値をとるものとする。また、仮想球５６の座標は、図５（ａ）に示すように、その中心を原点とするＸＹＺ直交座標によって示し、仮想球５６の半径ｒは１とする。

【0032】

上記の第１算出ステップは、画角情報に応じて定まる関数に基づいて撮影画像から画素を間引き抽出するための第１座標を算出するステップであって、配信画像５２の各画素に対応する仮想球５６の球面座標（ｒ，θ，φ）を関数に基づいて算出する球面座標算出ステップ、及び当該算出した球面座標に対応する直交座標（ｘ，ｙ，ｚ）を算出する直交座標算出ステップを含む。

【0033】

配信画像の点Ｐを例に球面座標算出ステップを説明する。当該点Ｐに対応する仮想球５６上の点Ｐ´の球面座標は（ｒ，θ_ｐ´，φ_ｐ´）で表されるが、当該角度θ_ｐ´（仮想球５６におけるＺ軸に対する角度）と、角度φ_ｐ´（Ｘ軸に対する角度）は次のように求められる。なお、上記の通り仮想球５６の半径ｒは１である。

【0034】

角度θ_ｐ´は、配信画像５２のＸＹ直交座標における原点から点Ｐまでの距離Ｐ_ｒを、画角情報に対応する関数ｆ（ｒ）に入力することで求められる。当該距離Ｐ_ｒについては、点Ｐの座標値（Ｐ_ｘ，Ｐ_ｙ）に基づいて、次の対応式により求められる。

【0035】

【数1】

【0036】

関数ｆ（ｒ）は、図７に示すように、距離ｒと角度θの関係を定めたものであり、複数の画角情報ごとに定められている。例えば、画角情報が３０°の場合には、図７（ａ）に示されるように、ｒ＝１の場合にθが３０°になるように関数ｆ（ｒ）が定められており、当該関数に対して、上記数１において求められた距離Ｐ_ｒが代入されて点Ｐに対応する角度θ_Ｐ´が求められる。また、画角情報が９０°の場合には、図７（ｂ）に示されるようにｒ＝１の場合にθが９０°になるように関数が定められており、当該関数に対して上記数１において求められた距離Ｐ_ｒが代入されて点Ｐに対応する角度θ_Ｐ´が求められる。すなわち、各関数は、配信画像５２における高画素部分と低画素部分の境界が画角情報に対応するように定められている。当該関数は、図７（ｃ）に示されるように１次関数であっても構わない。

【0037】

角度φ_ｐ´は、配信画像５２のＸＹ直交座標におけるφ_ｐと同一であり、当該φ_ｐは点Ｐの座標（Ｐ_ｘ，Ｐ_ｙ）に基づいて、以下の対応式により求められる。

【0038】

【数2】

【0039】

ここで、図６に示すように、低画質部分を構成している画素、例えば円周Ｃ上にある画素に対して、上記の対応式（数２）と同様に角度φを求めた場合、破線で示された弧（破線弧）上に位置する画素が考慮されず、一点鎖線で示された弧に対応する画素のみが考慮される偏った画素情報の抽出となってしまう。そこで、本実施形態では、円周に対する破線弧の比率に基づいて、抽出すべき画素を選択している。具体的には、破線部分を含めた円周Ｃ上の点を均等に一点鎖線上に配列することで、偏りの少ない画素情報の抽出を実現しつつ配信画像５２の情報量の低減を実現している。そのため、例えば円周Ｃ上の画素Ｑには画素Ｑ´に対応する画素情報が抽出されることとなる。このような均等配列を実現するための対応式は次の式になる。

【0040】

【数3】

【0041】

ここで、φ_iは、円周Ｃに対する破線弧の比率（割合）を求めるための角度である。

【0042】

上記のようにして、配信画像５２の各画素に対する球面座標（１，θ，φ）が求められると、直交座標算出ステップにおいて、次の変換式により各画素に対する第１座標（ｘ_１，ｙ_１，ｚ_１）が求められる。

【0043】

【数4】

【数5】

【数6】

【0044】

次いで、第２算出ステップが実行される。第２算出ステップでは、各第１座標に対して、姿勢情報を含む回転式を適用して第２座標（ｘ_２，ｙ_２，ｚ_２）が求められる。

【0045】

【数7】

【0046】

上記第２算出ステップにより、仮想球５６における抽出すべき画素が特定されることとなる。具体的には、第１算出ステップにおいて求められた座標図４（ｃ）に示すように、第２座標が求められると、当該座標に位置する画素情報が抽出され、抽出された画素情報が対応する配信画像５２の各画素に割り当てられる。このようにして、高画質部分となる内接円内には画角に応じた仮想球５６上の画素が魚眼画像状に抽出され、低画質部分となる内接円外には画角外となる仮想球５６上の画素が間引き抽出された配信画像５２が生成されることとなっている。

【0047】

なお、上記第１算出ステップにおいて算出された座標は、第２算出ステップにおいて、姿勢情報に応じてシフトされることとなっている。従って、第１算出ステップにおいて求めた角度θはｚ軸に対する角度として算出されたが、最終的には、図４（ｄ）に示されるように、仮想球５６の中心から姿勢情報に対応して伸びる半直線に対する角度を指標することとなる。ここで、当該姿勢情報に対応して伸びる半直線は、仮想球５６の中心から見たユーザの視線に対応するものである。従って、角度θは撮影画像がマッピングされた仮想球５６の中心から見たユーザの視線に対する角度を指標するものであり、関数ｆ（ｒ）は当該角度と、配信画像の中心からの距離の対応を定めたものとなる。

【0048】

また、図７（ａ）や図７（ｂ）に示すように、画角情報に応じて定まる関数ｆ（ｒ）は、ｒの値が大きくなるに従ってθの増加度が増すように定められている。すなわち、仮想球５６において抽出すべき画素の間隔（間引き間隔）が配信画像の中心から外側になるに従って増大するよう、関数ｆ（ｒ）が定められている。

【0049】

上記配信画像５２を受信した携帯情報端末１４では、配信画像５２を画像５４へと展開する展開処理（ｓ１０５）が実行される。当該処理では、先ず、配信画像５２に基づいて展開用画像が生成される。展開用画像の中央には配信画像５２の高画質部分の画素がそのまま配列され、当該高画質部分の周りには配信画像５２の低画質部分の画素が配列される。ここで当該低画質部分の各画素については、そのまま配列するのではなく、上記の数式４を用いてφ_Ｑ´の位置を特定し、特定した位置に画素を配置するこのとき、φ_Ｑ´を含む円周Ｃ上には連続して画素が配列されないため、各画素間を補間する補間処理が行われる。当該補間処理は特に限定されないが、例えば同一円周上にある画素と画素の間にそれぞれと近似した画素情報を配列する。

【0050】

上記の補間処理が実行されると、公知のパノラマ展開手法を用いて展開用画像が展開され画像５４が生成されることとなる。

【0051】

本実施形態の画像配信システム１０によると、画像配信装置１２から携帯情報端末１４へと配信される配信画像５２は、画像５４に展開したときに最もユーザが注目する部分が高画質に生成され、その周りの着目され難い部分が低画質に圧縮されて生成されている。このように、画像の情報量を低減することで、通信の高速化を実現しつつ、ユーザには高画質な画像を提供することができる。なお、画像５４における低画質部分は、ユーザが携帯情報端末１４の姿勢を変えた後、新たな配信画像５２を受信して新たな画像５４が展開されるまでの間、当該姿勢を変更した分だけ液晶ディスプレイ４０に表示されることとなる。

【0052】

また、配信画像５２は、携帯情報端末１４によって画像５４として展開されたときに、当該画像の画質が周縁部分の外側になるに従って漸減するように生成されている。従って、画像を配信する際の情報量を抑制しながらも、当該画像を見るユーザに対して違和感を与えることがない。

【0053】

以上、本願発明に係る配信画像生成方法を実施形態に基づいて説明してきたが、本発明は、上記した形態に限らないことは勿論であり、例えば、以下のような形態で実施されても構わない。

【0054】

＜変形例＞
（１）上記の実施形態の球面座標算出ステップでは、球面座標の角度θを求める際に、画角情報に対応付けて予め定められた関数（図７）を用いたが、当該関数は予め定められたものに限られず、取得した画角情報に基づいて関数を生成しても良い。例えば、一次関数や二次関数を用いる場合には、画角情報に対応する係数を決定し、関数を生成すればよい。また、指数関数を用いる場合には、画角情報に対応する底を決定し、関数を生成すればよい。なお、これら係数や底を決定するために、これら係数や底の値と画角情報の対応のみを予め定めておいてもよい。

【0055】

すなわち、関数は、画角情報が指標する画角内にある仮想球５６上の画素を配信画像の中心を基点とする円（内接円）の内側に配列し、当該画角外にある仮想球５６上の画素を円の外側に配列するよう定められる。この時、当該関数は、距離（ｒ）が円の半径（上記実施形態では１）の値をとる場合に、角度θが画角情報となるよう定められる。このような関数は、距離（ｒ）が０の場合に角度θが０となる点（原点）、距離（ｒ）が最大値（配信画像の中心から配信画像の角までの距離）の場合に角度θが１８０となる点、かつ、距離（ｒ）が円の半径の場合に角度θが画角となる点を通るよう定められたベジェ曲線やスプライン曲線が代表例として挙げられる。

【0056】

（２）画像配信システム１０が有する携帯情報端末１４は１つに限られず、複数であってもよい。また、携帯情報端末１４に限られず、デスクトップ型やノート型のパソコンであってもよい。すなわち、画像配信装置１２から配信画像５２を受信し、画像５４を表示するのはコンピュータであればよい。なお、パソコンを用いる場合には、例えば、Ｐｅｅｒ－ｔｏ－Ｐｅｅｒ通信可能なブラウザを介して画像配信システム１０と情報（画角情報や配信画像５２）を送受信することができる。また、画角情報を入力する入力手段として、携帯情報端末１４では角速度センサー４４を用いたが、マウスを用いた画面操作により画角情報を入力しても良い。姿勢情報は、マウスによって指定されたブラウザの画像表示部内における位置座標に基づいて、仮想的な姿勢が求められたものである。また、画角情報は、マウスホイールの回転操作に基づいて求められる。

【0057】

（３）上記の実施形態では、画像配信装置１２は、全天周を撮影するカメラモジュール１６を備えているが、当該カメラモジュールは半天周を撮影する一のイメージセンサ１８のみを備えても構わない。このようなカメラモジュールを有する画像配信装置は、例えば、室内の天井などに取り付けられ、室内を撮影し、当該室内の様子を配信画像５２として送信する装置として用いられる。そして、当該配信画像５２を生成する際には、撮影画像が仮想球５２の下側にマッピングされ上記の第１座標算出ステップおよび第２座標算出ステップが実行される。

【0058】

（４）また、上記の実施形態では、各イメージセンサ１８，１９により生成される撮影画像は半天周の画像であったが、少なくとも全方位を含む全方位画像であれば良い。ここで、全方位画像とは、東西南北のすべて方位を撮像した画像、換言すれば、ある点を基点とし、当該基点の周囲（水平方向に３６０度）を撮影した画像である。このような全方位画像は、イメージセンサ１８から出力された撮影画像の中心部分を除いた画像であっても良いし、撮影画角が９０度のカメラモジュールを東西南北に４つ配置し、これらのカメラモジュールから得た撮影画像を仮想球の水平方向に並べてマッピングしても良い。

【0059】

（５）上記の実施形態では、カメラモジュール１６によって生成された撮影画像が仮想球５６にマッピングされていたが、当該態様に限定されず、カメラモジュールによって撮影された撮影画像が、仮想キューブにマッピングされても構わない。当該態様においては、生成処理において、配信画像５２上の位置と仮想キューブ上の位置の対応関係を定めた所定の対応式に基づいて第１座標が求められ、当該第１座標に所定の回転式を適用することで第２座標が求められる。これにより、配信画像５２の各画素に対して、仮想キューブにおける画素情報が抽出されることとなる。また、同様に、撮影画像が仮想円筒にマッピングされても構わない。

【0060】

（６）上記の実施形態や変形例では、撮影画像が仮想球５６や仮想キューブなどにマッピングされた場合を例に説明したが、当該態様には限られず、撮影画像が仮想球や仮想キューブなどにマッピングされることを想定して、所定の計算式に基づいてメモリ２２に画素情報が展開されても構わない。当該態様においては、配信画像５２の各画素について、上記の対応式に基づいて第１座標が求め、上記の回転式に基づいて第２座標を求め、当該第２座標に対応するメモリ番地から画素情報を抽出する。

【0061】

本願発明は、その趣旨を逸脱しない範囲で当業者の知識に基づいて種々なる改良、修正、又は変形を加えた態様でも実施できる。また、同一の作用又は効果が生じる範囲内で、何れかの発明特定事項を他の技術に置換した形態で実施しても良い。

【符号の説明】

【0062】

３ … ネットワーク通信回線
１０ … 画像配信システム
１２ … 画像配信装置
１４ … 携帯情報端末（コンピュータ）
１６ … カメラモジュール
２８ … 生成部
３０ … 配信部
３８ … 表示部
４８ … 受信部
５０ … 展開部
５２ … 配信画像
５４ … 画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】