特許 5896424 全方位画像編集プログラム及び全方位画像編集装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5896424

(24)【登録日】2016年3月11日

(45)【発行日】2016年3月30日

(54)【発明の名称】全方位画像編集プログラム及び全方位画像編集装置

(51)【国際特許分類】

   G06T 19/20 20110101AFI20160317BHJP

   G06T 11/80 20060101ALI20160317BHJP

【ＦＩ】

   G06T19/20

   G06T11/80 A

【請求項の数】16

【全頁数】25

(21)【出願番号】特願2013-511911(P2013-511911)

(86)(22)【出願日】2012年4月17日

(86)【国際出願番号】JP2012002636

(87)【国際公開番号】WO2012147303

(87)【国際公開日】20121101

【審査請求日】2015年1月26日

(31)【優先権主張番号】特願2011-96940(P2011-96940)

(32)【優先日】2011年4月25日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】511103834

【氏名又は名称】林 光雄

(74)【代理人】

【識別番号】100110434

【弁理士】

【氏名又は名称】佐藤 勝

(72)【発明者】

【氏名】林 光雄

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２００９−２１０９６３（ＪＰ，Ａ）

【文献】 特開２００４−０３８９２６（ＪＰ，Ａ）

【文献】 特開２００２−０２４８６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １１／６０−１１／８０

Ｇ０６Ｔ １９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

操作入力を行う操作入力手段と、
各種画像を表示する表示手段と、
全方位画像編集プログラムに従って制御する中央制御手段と、を備え、
上記中央制御手段は、
上記操作入力手段から少なくとも座標及びボタンの入力情報を受付け、
視線変更モードである場合には、上記入力情報を基に視線角度、視野角を更新し、スクリーン更新処理を行い、上記表示手段に画像出力し、
ドローイングモードである場合には、少なくともドローイングパラメータを選択し、当該ドローイングパラメータを基にドローイング用画像に描画をし、
ドローイング終了の場合には、全方位画像更新処理を実行し、ドローイング用画像をクリアし、スクリーン更新処理を行い、上記表示手段に画像出力し、
上記いずれの場合も視点は移動しないものであって、
上記全方位画像更新処理では、
全方位画像の画素走査を行い、
更新する全方位画像の画素と視線情報とに対応するドローイング用画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、
不透明度と色情報とを用いて所定の合成方法に基づき全方位画像の画素を更新し、全方位画像において全画素走査が完了するまで処理を繰り返すこと
を特徴とする全方位画像編集装置。

【請求項2】

上記中央制御手段は、上記スクリーン更新処理では、
スクリーン画像の画素を走査し、
更新するスクリーン画像の画素と視線情報とに対応する全方位画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、
不透明度と色情報とを用いてスクリーン画像の画素を更新し、スクリーン画像において全画素走査が完了するまで処理を繰り返すこと
を特徴とする請求項１に記載の全方位画像編集装置。

【請求項3】

上記中央制御手段は、スクリーン画像の上に所定の合成方法に基づきドローイング用画像を重畳して、上記表示手段に画像出力すること
を特徴とする請求項１又は請求項２に記載の全方位画像編集装置。

【請求項4】

上記中央制御手段は、ドローイング用画像に描画後、スクリーン更新処理を行い、スクリーン画像の上に所定の合成方法に基づきドローイング用画像を重畳して、上記表示手段に画像出力すること
を特徴とする請求項１又は請求項２に記載の全方位画像編集装置。

【請求項5】

上記中央制御手段は、上記スクリーン更新処理では、視線角度に対応するポリゴン頂点の座標を算出し、視野角に対応するポリゴン頂点の座標を算出し、テクスチャ画像からスクリーン画像への描画処理を行うこと
を特徴とする請求項１乃至４のいずれかに記載の全方位画像編集装置。

【請求項6】

上記中央制御手段は、テクスチャ画像からスクリーン画像への描画処理では、スクリーン画像の画素を走査し、更新するスクリーン画像の画素に対応するテクスチャ画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、不透明度と色情報とを用い、スクリーン画像の画素を更新し、スクリーン画像においてポリゴン面に対応する全画素走査が完了し、レイヤーに対応する全ポリゴン面の抽出が完了し、全レイヤーの抽出が完了するまで処理を繰り返すこと
を特徴とする請求項５に記載の全方位画像編集装置。

【請求項7】

上記中央制御手段は、上記全方位画像更新処理では、視線角度に対応するポリゴン頂点の座標を算出し、視野角に対応するポリゴン頂点の座標を算出し、ドローイング用画像からテクスチャ画像への描画処理を行うこと
を特徴とする請求項１乃至４のいずれかに記載の全方位画像編集装置。

【請求項8】

上記中央制御手段は、上記ドローイング用画像からテクスチャ画像への描画処理では、テクスチャ画像の画素走査を行い、更新するテクスチャ画像の画素に対応するドローイング用画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、不透明度と色情報とを用いて所定の合成方法に基づきテクスチャ画像の画素を更新し、テクスチャ画像においてポリゴン面に対応する全画素走査が完了し、レイヤーに対応する全ポリゴン面の抽出が完了するまで処理を繰り返すこと
を特徴とする請求項７に記載の全方位画像編集装置。

【請求項9】

コンピュータが、
操作入力手段から少なくとも座標及びボタンの入力情報を受付け、
視線変更モードである場合には、上記入力情報を基に視線角度、視野角を更新し、スクリーン更新処理を行い、表示手段に画像出力し、
ドローイングモードである場合には、少なくともドローイングパラメータを選択し、当該ドローイングパラメータを基にドローイング用画像に描画をし、
ドローイング終了の場合には、全方位画像更新処理を実行し、ドローイング用画像をクリアし、スクリーン更新処理を行い、表示手段に画像出力する中央制御手段として機能し、上記いずれの場合も視点は移動しないものであって、
上記全方位画像更新処理では、
全方位画像の画素走査を行い、
更新する全方位画像の画素と視線情報とに対応するドローイング用画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、
不透明度と色情報とを用いて所定の合成方法に基づき全方位画像の画素を更新し、全方位画像において全画素走査が完了するまで処理を繰り返すこと
を特徴とする全方位画像編集プログラム。

【請求項10】

上記スクリーン更新処理では、
スクリーン画像の画素を走査し、
更新するスクリーン画像の画素と視線情報とに対応する全方位画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、
不透明度と色情報とを用いてスクリーン画像の画素を更新し、スクリーン画像において全画素走査が完了するまで処理を繰り返すこと
を特徴とする請求項９に記載の全方位画像編集プログラム。

【請求項11】

スクリーン画像の上に所定の合成方法に基づきドローイング用画像を重畳して、上記表示手段に画像出力すること
を特徴とする請求項９又は請求項１０に記載の全方位画像編集プログラム。

【請求項12】

ドローイング用画像に描画後、スクリーン更新処理を行い、スクリーン画像の上に所定の合成方法に基づきドローイング用画像を重畳して、上記表示手段に画像出力すること
を特徴とする請求項９又は請求項１０に記載の全方位画像編集プログラム。

【請求項13】

上記スクリーン更新処理では、視線角度に対応するポリゴン頂点の座標を算出し、視野角に対応するポリゴン頂点の座標を算出し、テクスチャ画像からスクリーン画像への描画処理を行うこと
を特徴とする請求項９乃至１２のいずれかに記載の全方位画像編集プログラム。

【請求項14】

テクスチャ画像からスクリーン画像への描画処理では、スクリーン画像の画素を走査し、更新するスクリーン画像の画素に対応するテクスチャ画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、不透明度と色情報とを用い、スクリーン画像の画素を更新し、スクリーン画像においてポリゴン面に対応する全画素走査が完了し、レイヤーに対応する全ポリゴン面の抽出が完了し、全レイヤーの抽出が完了するまで処理を繰り返すこと
を特徴とする請求項１３に記載の全方位画像編集プログラム。

【請求項15】

上記全方位画像更新処理では、視線角度に対応するポリゴン頂点の座標を算出し、視野角に対応するポリゴン頂点の座標を算出し、ドローイング用画像からテクスチャ画像への描画処理を行うこと
を特徴とする請求項９乃至１２のいずれかに記載の全方位画像編集プログラム。

【請求項16】

上記ドローイング用画像からテクスチャ画像への描画処理では、テクスチャ画像の画素走査を行い、更新するテクスチャ画像の画素に対応するドローイング用画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、不透明度と色情報とを用いて所定の合成方法に基づきテクスチャ画像の画素を更新し、テクスチャ画像においてポリゴン面に対応する全画素走査が完了し、レイヤーに対応する全ポリゴン面の抽出が完了するまで処理を繰り返すこと
を特徴とする請求項１５に記載の全方位画像編集プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者の全方位を覆う背景に見立てた画像（以下、全方位画像という）を編集する全方位画像編集プログラム及び全方位画像編集装置に関する。

【背景技術】

【0002】

従来、全方位画像の分野において、実写画像による作成手法（全方位カメラ、スイングパノラマ等）、及びコンピュータグラフィックスによる作成手法（球状マップ、スカイボックス等）は確立されている。尚、全方位カメラとは、一台で３６０度の広い範囲を観察できるカメラであり、スイングパノラマとは、パノラマ写真を自動合成する機能である。球状マップとは、オブジェクト周囲の空間やライティング効果を表現した特殊テクスチャであって、１枚の２次元画像で全周囲を表したものである。スカイボックスとは、球状マップと同様な目的の特殊テクスチャであり、６枚の正方形画像で全周囲をあらわしたものである。

【0003】

ここで、特許文献１では、３Ｄコンピュータモデルのためのテクスチャデータを編集する方法が開示されている。即ち、同方法では、３Ｄコンピュータモデルとそれに適用されたテクスチャデータを表す画像を、ユーザが選択した観察方向から生成し、ユーザへ表示する。さらに、ユーザの指示に従って画像データへの変更がなされ、対応する変更がテクスチャデータになされる。加えて、３Ｄコンピュータモデル内の、ユーザへ表示される画像の観察方向に対して斜角にある各ポリゴンを特定するための処理が実施される。特定されたポリゴンは、このポリゴンに対するテクスチャデータが変更されないよう、その後の処理から除外される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−３８９２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術では、ポリゴンを扱い、更にスクリーン座標系からテクスチャ座標系への変換を用いてテクスチャ画像を編集するものではあるが、一般的なメッシュをターゲットにしており、視点の移動を制限しない。更に、半透明（アルファブレンド）を用いておらず、また、ユーザの観察方向に従って生成された表示用画像データそのものを外部プログラムで編集し、フィードバックさせている。また、斜角のポリゴンに対するテクスチャデータの変更を制限することは、全方位画像の編集において、視野角を大幅に広げてドローイングすることを阻害する。

【0006】

このように、従来、絵画よる全方位画像作成手法は充分に確立されておらず、作成には過大な時間を要する。

【0007】

本発明は上述の技術的な課題に鑑み、全方位画像を直感的に編集することが可能な全方位画像編集プログラム、及び全方位画像編集装置を提供することを目的とする。
さらに、本発明は、完成させた全方位画像を用いて、作品としてのパノラマ画像の作成や、見回し映像の作成等も可能とし、また、作業手順を再現させることで、メイキング映像の作成も可能とする全方位画像編集プログラム、及び全方位画像編集装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上述した技術的な課題を解決するため、本発明の第１の態様に係る全方位画像編集装置は、操作入力を行う操作入力手段と、各種画像を表示する表示手段と、全方位画像編集プログラムに従って制御する中央制御手段とを備え、上記中央制御手段は、上記操作入力手段から少なくとも座標及びボタンの入力情報を受付け、視線変更モードである場合には上記入力情報を基に視線角度、視野角を更新し、スクリーン更新処理を行い、上記表示手段に画像出力し、ドローイングモードである場合には、少なくともドローイングパラメータを選択し、当該ドローイングパラメータを基にドローイング用画像に描画をし、ドローイング終了の場合には全方位画像更新処理を実行し、ドローイング用画像をクリアし、スクリーン更新処理を行い、上記表示手段に画像出力し、上記いずれの場合も視点は移動しないことを特徴とする。

【0009】

更に、本発明の第２の態様に係る全方位画像編集プログラムは、コンピュータが、操作入力手段から少なくとも座標及びボタンの入力情報を受付け、視線変更モードである場合には、上記入力情報を基に視線角度、視野角を更新し、スクリーン更新処理を行い、表示手段に画像出力し、ドローイングモードである場合には、少なくともドローイングパラメータを選択し、当該ドローイングパラメータを基にドローイング用画像に描画をし、ドローイング終了の場合には、全方位画像更新処理を実行し、ドローイング用画像をクリアし、スクリーン更新処理を行い、表示手段に画像出力する中央制御手段として機能し、上記いずれの場合も視点は移動しないことを特徴とする。

【発明の効果】

【0010】

本発明に係る全方位画像編集プログラム及び装置によれば、全方位画像を直感的に編集することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る全方位画像編集装置の構成図である。

【図2】ポリゴンモデルを利用して全方位画像の編集を行う場合に使用するメインメモリ１２のメモリマップの一例を示す図である。

【図3】正二十面体ポリゴンモデルの例を示す図である。

【図4】ポリゴンモデルが持つ上層テクスチャを示す図である。

【図5】ポリゴンモデルが持つ下層テクスチャを示す図である。

【図6】本発明の一実施形態に係る全方位画像編集装置により全方位画像編集プログラムに従って実行される処理の流れを説明するフローチャートである。

【図7】図６のステップＳ１０で実行されるスクリーン更新処理について詳述するフローチャートである。

【図8】図７のステップＳ２３で実行される、テクスチャ画像（テクスチャ座標系）からスクリーン画像（スクリーン座標系）への描画処理の流れを説明するフローチャートである。

【図9】ポリゴンモデルの中心から任意の視線を用い、下層テクスチャに上層テクスチャを重ねてスクリーン画像に投影した例を示す図である。

【図10】図６のステップＳ８で実行される全方位画像更新処理について、ポリゴンモデルを用いる場合を例に挙げて、説明するフローチャートである。

【図11】図１０のステップＳ４３で実行されるドローイング用画像（スクリーン座標系）からテクスチャ画像（テクスチャ座標系）への描画処理の流れを説明するフローチャートである。

【図12】ドローイングの例を示す図である。

【図13】ドローイング結果を示す図である。

【図14】上層テクスチャ画像を下層テクスチャ画像に結合する様子を示す図である。

【図15】作業者が観測可能なスクリーン画像の推移を示し、作業手順を説明する図である。

【図16】生成されたテクスチャ画像（上層テクスチャを下層テクスチャに結合済み）の様子を示す図である。

【図17】作品例を示す図である。

【図18】本発明の実施形態に係る全方位画像編集装置により作品データとしてファイルに出力する処理の流れを示すフローチャートである。

【図19】本発明の実施形態に係る全方位画像編集装置により見回し映像を動画として作成する手順を説明するフローチャートである。

【図20】座標概念を説明するための図である。

【図21】全方位画像（任意の座標系）および視線情報からスクリーン画像（スクリーン座標系）への描画処理の流れを説明するフローチャートである。

【図22】ドローイング用画像（スクリーン座標系）及び視線情報から全方位画像（任意の座標系）への描画処理の流れを説明するフローチャートである。

【図23】直方体モデルまたは立方体モデルを使用した全方位画像更新処理の概念図である。

【図24】直方体モデルまたは立方体モデルを使用した全方位画像更新処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の全方位画像編集プログラム及び全方位画像編集装置に係る好適な実施形態について図面を参照しながら説明する。なお、本発明の全方位画像編集プログラム及び全方位画像編集装置は、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において、適宜変更可能である。

【0013】

本発明の全方位画像編集プログラム及び装置では、仮想空間内において、作業者の全方位を覆う背景に見立てた画像である全方位画像を、座標変換により２次元のスクリーン画像に投影し、表示装置に表示する。全方位画像の編集を目的とする作業者は、まず、ポインティング装置により、仮想空間内の視線方向、ならびに視野角の変更等を行い、スクリーン画像内の全方位画像の表示を更新させ、そのスクリーン画像を手がかりとし、スクリーン画像と同じ座標系であるドローイング画像に対してポインティング装置により２次元的にドローイング（描き込み）を行う。ドローイング終了後、ドローイング画像に対して座標変換を行い、全方位画像の適切な位置に投影する。作業者は、このように視線変更とドローイングの手順を繰り返すことで、全方位画像を完成させる。以下、詳述する。

【0014】

図１には本発明の一実施形態に係る全方位画像編集装置の構成を示し説明する。

【0015】

この図１に示されるように、全方位画像編集装置１は、パーソナルコンピュータ１０と表示装置２０、ポインティング装置３０等からなる。

【0016】

パーソナルコンピュータ１０は、マルチタスク対応プロセッサ等からなる中央制御部１１と、一時記憶装置としてのＲＡＭ等からなるメインメモリ１２、グラフィックカード等の画像制御部１３、入出力制御部１４、内蔵不揮発性記憶媒体１５、メディア読み書きインターフェイス１６を含む。

【0017】

画像制御部１３は、ビデオメモリ１３ａも備えている。ビデオメモリ１３ａとは、パーソナルコンピュータ１０本体のメインメモリ１２と同じく、一時的にデータを保存する場所で、グラフィックカードについているメモリはＶＲＡＭとも称される。画面に３Ｄグラフィック画像を表示する場合、その際に必要となるデータ量は大きくなる。画像制御部１３で処理を終えたデータはビデオメモリ１３ａに保存されて随時使われていく。ビデオメモリ１３ａの容量が多いほど、細かい３Ｄグラフィック画像でも、スムーズに不良もなく表示する事ができるようになる。

【0018】

表示装置２０は、液晶ディスプレイ等に代表される、画像を表示することができる装置である。ポインティング装置３０は、マウスやタッチパネル、ペンタブレットに代表される、座標入力及び／又はボタン入力が可能な装置である。

【0019】

プログラムデータ５０や方位画素対応付けデータ４２、全方位画像入力データ４０はメディア読み書きインターフェイス１６を介して入力され、全方位画像出力データ４１はメディア読み書きインターフェィス１６を介して出力される。

【0020】

プログラムデータ５０とは、本発明が動作可能なソフトウェアである。後述する全方位画像編集プログラムのデータ等がこれに該当する。

【0021】

方位画像対応付けデータ４２とは、方位と画素の位置を相互に対応付けるテーブル又は関数である。ポリゴンモデルを用いる場合は、ポリゴンモデルデータがこれに相当し、３次元形状のオブジェクトとなる。方位画像対応付けデータ４２は、プログラムデータ５０に付随してもよいし、外部で定義されたデータを読み込んでもよい。

【0022】

全方位画像入力データ４０、全方位画像出力データ４１は、ソフトウェアが扱う画像群である。例えばポリゴンモデルを用いる場合はテクスチャ画像群がこれに相当する。入力されたテクスチャ画像群等はメインメモリ１２に一時記憶される。

【0023】

全方位画像入力データ４０及びプログラムデータ５０は、不図示の外部記憶媒体から読み込んでもよく、通信ネットワークを介して外部コンピュータから受信し、内蔵不揮発性記憶媒体１５に取り込んでもよい。出力データは、不図示の外部記憶媒体へ書き込んでもよく、通信ネットワークを介して外部コンピュータに送信してもよい。

【0024】

ここで、図２には、ポリゴンモデルを利用して全方位画像の編集を行う場合に使用するメインメモリ１２のメモリマップの一例を示し説明する。

【0025】

各画像は、不透明度付きの色情報（ａ：アルファ，ｒ：赤，ｇ：緑，ｂ：青）を２次元的な配列として持つ。「アルファ」とは、不透明度情報を示している。パソコンでは１つのピクセルの色情報を、２４ビット（１色につき８ビット、赤・緑・青の３色で８×３＝２４ビット）という単位で記録している。８ビットでは、２５６段階の記録ができる。アルファ付きＰＮＧ（３２ビットＰＮＧ）では色情報の他に、各ピクセルの不透明度も８ビットの２５６段階で記録できる。アルファ値がゼロで完全な透明、２５５で完全な不透明であることを意味する。

【0026】

ポリゴン頂点は、３次元空間座標（ｘ：水平，ｙ：垂直，ｚ：奥行き）と２次元テクスチャ座標（ｕ：水平，ｖ：垂直）とを持つ。ポリゴン面は、三角形を表わすため、ポリゴン頂点への参照を３つとテクスチャ画像への参照をレイヤー枚数分だけ持つ。ポリゴンモデルは、３次元形状を表わすため、ポリゴン頂点とポリゴン面とをそれぞれ配列として持つことになる。１つのレイヤーが持つテクスチャ群の構造がどのレイヤーについても同一である場合、テクスチャ画像への参照は、レイヤー内の相対的な参照を１つとしてもよい。

【0027】

スクリーン画像とは、全方位画像を座標変換により２次元座標平面上に投影し、表示装置２０により作業者に提示する画像である。

【0028】

ドローイングとは、主にポインティングデバイスを用いて２次元（平面）の画像に対して図形や線等の描き込みを行う作業である。ドローイング用画像（ドローイング画像）とは、作業者が実際にドローイングを行う対象とする２次元（平面）の画像である。ドローイング用画像は、スクリーン画像とは別の記憶域にあり、スクリーン画像と同じ座標系であり、ドローイング開始前は完全に透明な状態とする。ドローイングを施した箇所は不透明度情報及び色情報を更新する。これは、即ち作業者がスクリーン画像に重なっている透明な層にドローイングを行うことに等しい。ドローイングパラメータとは、ドローイングの手法および属性を決定するパラメータである。手法は、フリーハンド、直線、矩形、円、画像の貼り付け、等が挙げられる。属性は、線の場合は幅や色、図形の場合は塗りつぶしの模様、等が考えられる。パラメータの種類が多いほど表現方法が多彩となりうる。尚、本願でいう「ドローイング（drawing）」には、一般的な「ペインティング（painting）」も概念上含まれる。

【0029】

ポリゴンモデルを利用することはあくまでも一例であり、全方位画像の表示や編集における手段を技術的に制限するものではない。全方位に画素が対応付けられていれば、ポリゴンモデルやテクスチャの概念を用いることも必須ではない。例えば、球面ミラーを用いた全方位カメラ等から得られるような全方位画像に対しての編集も可能となる。

【0030】

ここで、全方位を覆う背景の例として、図３に示されるような正二十面体ポリゴンモデルを用意し、その中心を視点とする場合を考える。視点は移動しないことを前提とする。

【0031】

ポリゴンモデルには２つのテクスチャ画像を持たせ、上層（作業者から見て手前）と下層（作業者から見て奥）のレイヤーとして扱う。本実施形態では、各レイヤーの描画または表示に用いる視線角度として、全レイヤー共通の視線角度を用いることを可能とする。これにより、各レイヤーの視線角度が一致することが重要な用途（たとえば、「線」を目的とするレイヤーと「塗り」を目的とするレイヤーとを用いる用途）としての使用が可能となる。

【0032】

但し、正二十面体ポリゴンモデルを扱うことは、あくまでも一例にすぎない。各ポリゴン面に対応するテクスチャ画像が設定されていれば、どのようなポリゴンモデルも可能である。例えば、正二十面体の代わりに立方体等を扱うこともできる。

【0033】

図４には、正二十面体ポリゴンモデルの全ポリゴン面に対応する上層テクスチャの例を示し説明する。各ポリゴン頂点のテクスチャ座標は、正二十面体の展開図に類似した図形の頂点と見なして設定している。図の実線部分はポリゴン面単位で各頂点のテクスチャ座標の位置関係を示しているに過ぎず、実際のテクスチャにはこのような実線を含む必要はない。上層テクスチャは下層テクスチャに重ねるように表示するため、上層テクスチャは不透明度を用いて下層テクスチャとの合成が可能である。作業開始前の上層テクスチャ画像は完全に透明であることが望ましい。図４の市松模様は透明であることを示すものであり、実際のテクスチャにはこのような模様を含む必要はない。

【0034】

図５には、正二十面体ポリゴンモデルの全ポリゴン面に対応する下層テクスチャの例を示し説明する。各ポリゴン頂点のテクスチャ座標は、上層テクスチャと同様に設定している。作業者が視線角度を把握し易くする手段の例として、テクスチャ全体に不透明のランダムノイズ模様を適用している。最下層のテクスチャは完全な不透明であることが望ましい。これは完成作品に透明又は半透明の画素が残ることを防ぐためである。但し、上層テクスチャを重ねることで不透明にする場合、或いは完成作品を更に別の映像に重ねることを前提としている場合等においては、この限りではない。

【0035】

以下、図６のフローチャートを参照して、本実施形態に係る全方位画像編集装置１により全方位画像編集プログラムに従って実行される処理の流れを説明する。ここでは、ポインティング装置３０が２ボタンマウスであると仮定し、全方位画像編集プログラムの動作の一例を示し、本発明と直接関係のない動作の記述は省略する。この処理は、中央制御部１１が全方位画像編集プログラムに従って実行する。

【0036】

本処理を開始すると、ポインティング装置３０から座標及びボタンを入力する（ステップＳ１）。続いて、視線変更モードであるか否かを判断し（ステップＳ２）、視線変更モードである場合には（ステップＳ２をYESに分岐）、入力情報を基に視線角度、視野角を更新する（ステップＳ３）。

【0037】

即ち、視線変更モードでは、左ボタンを押しながら左右にドラッグすると、視線はｙ軸を中心とした（ヨー）回転をする。左ボタンを押しながら上下にドラッグすると、視線はｘ軸を中心とした（ピッチ）回転をする。左ダブルクリックすると、視線のピッチ回転は初期（例えば、水平）状態に戻る。右ボタンを押しながら左右にドラッグすると、視線はｚ軸を中心とした（ロール）回転をする。右ボタンを押しながら上下にドラッグすると、視野角が増減する。右ダブルクリックすると、視線のロール回転は初期（例えば、水平）状態に戻る。こうして視線が変更されたタイミングで詳細は後述するスクリーン更新処理を行う（ステップＳ１０）。視野角を大幅に広げてドローイングすることで、単に広範囲の描き込みだけなく、遠近感の表現が容易となる。即ち、視野角が１８０度に限りなく近い場合（たとえば、１４０度〜１７９．７５度）、ドローイング画像の中心から離れた領域（即ちドローイング画像の端付近）でのドローイングは、例として平地において遠方から水平線にかけての地面の表現（特定の方向に大きくつぶれるような遠近感）が期待できる。

【0038】

そして、スクリーン画像の上に合成方法に基づきドローイング用画像を重畳し、画像出力することにより、全方位画像更新処理が行われる前におおよそのドローイング結果を確認可能とする（ステップＳ１１，Ｓ１２）。即ち、重畳されたドローイング用画像を手がかりに、視線角度や視野角の調整を可能とする。

【0039】

スクリーン画像は、あらかじめ最後に更新されたスクリーン画像を複製しておくことで復元が可能である。これにより、視線情報や視野角等の変更がない場合、スクリーン画像に対して重畳が行われた後、テクスチャ画像からスクリーン画像への描画処理を再び行うことなく、短時間のうちに重畳が行われていない状態に戻すことを可能とする。これはドローイングモードにおいて高速なスクリーン更新となり、ドローイング用画像のリアルタイムな重畳に適している。

【0040】

視線変更モードではない場合には（ステップＳ２をNOに分岐）、ドローイングモードであるか否かを判断し（ステップＳ４）、ドローイングモードである場合には（ステップＳ４をYESに分岐）、ドローイングパラメータおよび合成方法を選択し（ステップＳ５）、入力情報を基にドローイング用画像に描画をする（ステップＳ６）。即ち、ドローイングモードでは、スクリーン画像の領域内で左ボタンを押しながらドラッグすることで、ドラッグした座標に相当するドローイング用画像の画素をドローイングパラメータ（色情報、線の幅等）に基づいて更新する。ドローイングは、入力座標をそのまま反映させるフリーハンド手段の他、直線、矩形、格子、楕円等の複数手段を用意してもよい。スクリーン画像の領域内で右ボタンを押すと、ドローイングパラメータの色情報をドラッグした座標に相当するスクリーン用画像の画素と同じ色情報に変更する。

【0041】

そして、スクリーン画像の上に合成方法に基づきドローイング用画像を重畳し、画像出力することにより、全方位画像更新処理が行われる前におおよそのドローイング結果を確認可能とする（ステップＳ１１，Ｓ１２）。ドローイング用画像の重畳は、ドローイング時にリアルタイムで行うことで、ドローイング作業効率の向上が期待できる。ドローイングモードと視線変更モードを切り替える方法として、操作画面上に切り替え用のボタン等を用意する方法が挙げられる。

【0042】

ドローイングモードでない場合には（ステップＳ４をNOに分岐）、ドローイングモード終了か否かを判断する（ステップＳ７）。ドローイング終了とみなす条件としては、ドラッグ中にマウスの左ボタンが離されたタイミングとしてもよいし、これに限定することなく、例えばドローイング終了処理を実行するボタン等を用意してもよい。ここで、ドローイング終了のタイミングを選択可能とするならば、ドローイング用画像に描画をした後、ドローイング終了前に再び視線変更モードに戻ることも可能である。即ち、先述のようにドローイング用画像を重畳させながら、視線角度、視野角の調整が可能である。

【0043】

ドローイング終了とみなされた場合（ステップＳ７をYESに分岐）、詳細は後述する全方位画像更新処理を実行し（ステップＳ８）、ドローイング用画像をクリアする（ステップＳ９）。ドローイング終了後は、直ちに次のドローイングを可能とするため、自動的にドローイングモードに復帰する事が望ましい。全方位画像更新処理に時間がかかる場合、次のドローイング操作を直ちに受け付けられず、スムーズなドローイング操作を阻害する恐れがある。これを防ぐために、ドローイング画像と同じサイズのバッファ用画像を用い、プロセッサのタスクを割り振り、ドローイング処理と全方位画像更新処理を並列に行ってもよい。

【0044】

続いて、詳細は後述するスクリーン更新処理を実行する（ステップＳ１０）。そして、スクリーン画像の上に合成方法に基づきドローイング用画像を重畳し、画像出力する（ステップＳ１１，Ｓ１２）。ただし、ドローイング終了におけるドローイング用画像の重畳は、ドローイング処理と全方位画像更新処理を並列に行う場合等を除いた多くの場合で、当該条件下においてドローイング用画像は事前にクリアされ、完全に透明な状態であるので、この状態の画像を重畳する事は、事実上意味を成さない。

【0045】

ハードウェア等による高速な画像処理の手段を用い、全方位画像更新処理が短時間（たとえば、１０ミリ秒間以内）で完了できる場合、かつ、ドローイング終了前に再び視線変更モードに戻ることを不要とする場合、ドローイングモードにおいてドローイング用画像に何らかの更新を行った後、直ちにドローイング終了の処理に移行し、再びドローイングモードに戻ることで、リアルタイムで全方位画像の更新かつ表示が可能となる。これにより、ドローイング用画像を重畳しなくとも、ドローイング作業効率の向上が期待できる。

【0046】

以上の操作方法および動作は一例であり、これに限定せず別の操作方法を適用、追加してもよいことは勿論である。

【0047】

次に図７のフローチャートを参照して、図６のステップＳ１０で実行されるスクリーン更新処理について詳述する。ここでは、ポリゴンモデルを用いる場合を想定している。

【0048】

本スクリーン更新処理では、先ず視線角度に対応するポリゴン頂点の座標（ビュー座標系）を算出し（ステップＳ２１）、視野角に対応するポリゴン頂点の座標（射影座標系、スクリーン座標系）を算出し（ステップＳ２２）、詳細は後述するが、テクスチャ画像（テクスチャ座標系）からスクリーン画像（スクリーン座標系）への描画処理を行い（ステップＳ２３）、リターンする。

【0049】

テクスチャ画像からスクリーン画像への描画処理は、従来のテクスチャマッピングと同等の手法を用いることができる。尚、ポリゴンモデルを用いない場合においても、視線角度、視野角からスクリーンの各画素に対応する方位を求め、方位画素対応付けデータに基づき座標変換し、全方位画像からスクリーン画像へ描画すればよい。

【0050】

以下、図８のフローチャートを参照して、図７のステップＳ２３で実行される、テクスチャ画像（テクスチャ座標系）からスクリーン画像（スクリーン座標系）への描画処理の流れを説明する。ここでは、作業者が実際に観測することのできるスクリーン画像の更新方法を示している。

【0051】

このテクスチャ画像（テクスチャ座標系）からスクリーン画像（スクリーン座標系）への描画処理を開始すると、全てのレイヤーの抽出が完了したか否かを判断し（ステップＳ３１）、全てのレイヤーの抽出が完了していないと判断されると（ステップＳ３１をNOに分岐）、次のレイヤーを抽出し（ステップＳ３２）、レイヤーに対応する全ポリゴン面の抽出が完了したか否かを判断する（ステップＳ３３）。ここで、レイヤーに対応する全ポリゴン面の抽出が完了していないと判断されると（ステップＳ３３をNOに分岐）、次のポリゴン面を抽出し（ステップＳ３４）、スクリーン画像においてポリゴン面に対応する全画素走査が完了したか否かを判断する（ステップＳ３５）。

【0052】

このステップＳ３５において、全画素走査が完了していなければ（ステップＳ３５をNOに分岐）、スクリーン画像の次画素を走査し（ステップＳ３６）、更新するスクリーン画像の画素に対応するテクスチャ画像の画素、およびその近傍の画素から不透明度と色情報とを抽出、ならびに算出し（ステップＳ３７）、不透明度と色情報とを用い、スクリーン画像の画素を更新し（ステップＳ３８）、上記ステップＳ３５に戻る。

【0053】

一方、ステップＳ３５にて、全画素走査が完了していれば（ステップＳ３５をYESに分岐）、上記ステップＳ３３に戻り、上記処理を繰り返す。こうして、レイヤーに対応する全ポリゴン面の抽出が完了し（ステップＳ３３をYESに分岐）、全レイヤーの抽出を完了すると（ステップＳ３１をYESに分岐）、リターンする。

【0054】

なお、画像描画の為の演算は、中央制御部の代わりに専用のハードウェアを用いてもよい。スクリーン画像の描画の際にバイリニア等のフィルタリングを行い、画質の向上を図ってもよい。また、描画処理毎に全レイヤーを描画する代わりに、予め全レイヤーの複製を結合した１つの画像を作成しておき、それをテクスチャとみなしてスクリーン画像へ描画してもよい。この場合、結合画像の作成はドローイング後に行われるテクスチャ画像更新終了時に行うことになる。

【0055】

ここで、図９には、ポリゴンモデルの中心から任意の視線を用い、下層テクスチャに上層テクスチャを重ねてスクリーン画像に投影した例を示す。但し、上層テクスチャは完全に透明としているため、結果的に下層テクスチャのみが見える状態である。同図では、ポリゴン面単位で頂点のスクリーン座標の位置関係を分かり易くするためにポリゴン面の境界を実線で表しているが、実際には、このような実線を描画する必要はない。

【0056】

次に、図１０のフローチャートを参照して、図６のステップＳ８で実行される全方位画像更新処理について、ポリゴンモデルを用いる場合を例に挙げて、説明する。

【0057】

この全方位画像更新処理を開始すると、先ず視線角度に対応するポリゴン頂点の座標（ビュー座標系）を算出し（ステップＳ４１）、次いで視野角に対応するポリゴン頂点の座標（射影座標系、スクリーン座標系）を算出し（ステップＳ４２）、詳細は後述するが、ドローイング用画像（スクリーン座標系）からテクスチャ画像（テクスチャ座標系）への描画処理を行う（ステップＳ４３）。そして、ポリゴン面の端に対応するテクスチャ画像を補完し（ステップＳ４４）、本処理を終了し、リターンする。このように、座標変換における入出力関係が、スクリーン更新処理で用いている投影とは逆になる。

【0058】

描画手段によっては、ポリゴン面のつなぎ目である端部分が描画されなかったり、不自然になったりする場合がある。その画素については、周りの画素から適切な方法で補完を行う等をして自然なつなぎ目にするとよい。

【0059】

また、ポリゴンモデルを用いない場合においても、方位画素対応付けデータに基づき全方位画像の各画素に対して方位を求め、視野角内に含まれる場合、その方位をスクリーン座標に変換し、その座標に対応するドローイング画像の画素及びその周辺画素を求め、ドローイング画像から全方位画像へ描画すればよい。

【0060】

次に図１１のフローチャートを参照して、図１０のステップＳ４３で実行されるドローイング用画像（スクリーン座標系）からテクスチャ画像（テクスチャ座標系）への描画処理の流れを説明する。ここでは、作業者が行ったドローイングの内容を、選択したレイヤーのテクスチャに反映させる方法を示している。

【0061】

レイヤーを選定し（ステップＳ５１）、レイヤーに対応する全ポリゴン面の抽出が完了したか否かを判断し（ステップＳ５２）、抽出を完了していなければ（ステップＳ５２をNOに分岐）、次のポリゴン面を抽出し（ステップＳ５３）、テクスチャ画像においてポリゴン面に対応する全画素走査が完了したか否かを判断する（ステップＳ５４）。

【0062】

このステップＳ５４で全画素走査が完了していないと判断されると（ステップＳ５４をNOに分岐）、テクスチャ画像の次画素走査を行い（ステップＳ５５）、更新するテクスチャ画像の画素に対応するドローイング用画像の画素、およびその近傍の画素から不透明度と色情報とを抽出、ならびに算出し（ステップＳ５６）、不透明度と色情報とを用い、合成方法に基づきテクスチャ画像の画素を更新し（ステップＳ５７）、ステップＳ５４に戻ることになる。

【0063】

一方、上記ステップＳ５４でテクスチャ画像においてポリゴン面に対応する全画素走査を完了していると判断されると（ステップＳ５４をYESに分岐）、上記ステップＳ５２に戻る。こうして、レイヤーに対応する全ポリゴン面の抽出を完了したと判断されると（ステップＳ５２をYESに分岐）、リターンする。

【0064】

なお、ドローイング画像をテクスチャ画像へ合成する方法は、標準的な合成方法のほかに、不透明度を減少方向に向かわせるような（消去）合成方法や、色値を乗算させるような（ハイライト）合成方法等を選択可能としてもよい。画像描画のための演算は、中央制御部の代わりに専用のハードウェアを用いてもよい。テクスチャ画像の描画の際にバイリニア等のフィルタリングを行い、画質の向上を図ってもよい。

【0065】

ここで、図１２には、ドローイングの例を示す。即ち、ドローイング画像に、半透明の円および格子状の破線を描き込んでいる例を示している。ポリゴンモデルを投影させたスクリーン画像の上に、ドローイング画像を標準的な合成方法で重畳している。

【0066】

図１３には、ドローイング結果を示す。即ち、同図では、図１１に示したようなドローイング用画像（スクリーン座標系）からテクスチャ画像（テクスチャ座標系）への描画処理により、上層テクスチャ画像を標準的な合成方法で更新した状態を示している。

【0067】

図１４には、上層テクスチャ画像を下層テクスチャ画像に結合する様子を示す。レイヤーの独立が不要となった場合、レイヤー同士の結合を可能としてもよい。図１４は上層テクスチャを下層テクスチャに結合した例である。このとき、結合元（この場合は上層）のレイヤーをクリアすることで、新規のレイヤーとして使用可能になる。

【0068】

ここで、図１５には作業者が観測可能なスクリーン画像の推移を示し、作業手順を説明する。視点は立方体ポリゴンモデルの中心、テクスチャは上層および下層の２つで、下層は不透明のランダムノイズ模様を適用、上層テクスチャは完全な透明を適用している。

【0069】

この例では、初期状態から（＃１）、上層テクスチャが選択され、「Ａ」がドローイングされ、ドローイング終了され（＃２）、視線変更された後（＃３）、「Ｂ」がドローイングされ、ドローイング終了され（＃４）、視線変更された後（＃５）、「Ｃ」がドローイングされ、ドローイング終了され（＃６）、視線変更された後（＃７）、下層テクスチャが選択され、斜線がドローイングされ、ドローイング終了されている（＃８）。

【0070】

こうして生成されたテクスチャ画像（上層テクスチャを下層テクスチャに結合済み）の様子は図１６に示される。そして、作品例は、図１７に示される。

【0071】

次に、図１８のフローチャートを参照して、本発明の実施形態に係る全方位画像編集装置により作品データとしてファイルに出力する処理の流れを示し説明する。

【0072】

ここでは、例として、作品データは、作品基本情報、ドローイング再現データ、視線移動データ、画像閲覧プログラム、ポリゴン頂点群、ポリゴン面群、およびテクスチャ画像をすべて含むものとし、該作品データは、再び編集装置から読み込み、編集作業を続行することができるものとする。また、閲覧装置が存在する場合、鑑賞者が作品データを閲覧することも可能であるものとする。

【0073】

本処理を開始すると、パック用フォルダを準備し（ステップＳ６１）、作品基本情報をファイルに書き出す（ステップＳ６２）。作品基本情報とは、作品データに含まれているデータの種類や作品の著作名等が含まれた情報である。続いて、ドローイング再現データをファイルに書き出す（ステップＳ６３）。ドローイング再現データとは、作業者のドローイング手順を再現するためのシーケンスデータである。ドローイング時の視線情報、ドローイングパラメータ、ドローイング画像からテクスチャ画像への合成方法、選択レイヤー、ドローイング終了のタイミング等のシーケンスがこれに相当する。

【0074】

次いで、視線移動再現データをファイルに書き出す（ステップＳ６４）。視線移動再現データは、見回しを自動的に行うためのシーケンスデータであり、作品を効果的に映像化するためのカメラワークとなる。続いて、画像閲覧プログラムをファイルに書き出す（ステップＳ６５）。画像閲覧プログラムとは、外部の閲覧用プログラムを必要とせず、スタンドアロンで閲覧が可能なプログラムである。

【0075】

続いて、ポリゴン頂点群をファイルに書き出し（ステップＳ６６）、ポリゴン面群をファイルに書き出し（ステップＳ６７）、全てのレイヤーの書き出しが完了したか否かを判断する（ステップＳ６８）。ここで、全てのレイヤーの書き出しが完了していないと判断された場合には（ステップＳ６８をNOに分岐）、次のレイヤーを抽出し（ステップＳ６９）、レイヤーに対応する全テクスチャ画像の書き出しが完了したか否かを判断する（ステップＳ７０）。そして、当該書き出しが完了していないと判断された場合には（ステップＳ７０をNOに分岐）、次のテクスチャ画像を抽出し（ステップＳ７１）、テクスチャ画像をファイルに書き出し（ステップＳ７２）、上記ステップＳ７０に戻る。

【0076】

そして、レイヤーに対応する全テクスチャ画像の書き出しが完了したと判断されると（ステップＳ７０をYESに分岐）、上記ステップＳ６８に戻る。そして、全てのレイヤーの書き出しが完了したと判断されると（ステップＳ６８をYESに分岐）、全ファイルをパックし（ステップＳ７３）、パックしたデータのファイルを作成し（ステップＳ７４）、リターンする。「パック」とは、作品データに含まれるデータを圧縮し、作品データを容易に配布可能なファイルに変換する処理である。たとえば、ＺＩＰファイルフォーマット等に変換する処理がこれに相当する。

【0077】

尚、作品データとして実際に含めるデータの種類は、必要に応じて作業者が取捨選択できるようにしてもよい。例えば、鑑賞者が閲覧装置によって単純に作品データを見回すのみと仮定する。この場合には、ドローイング再現データは冗長であり、必ずしも必要ではない。また、テクスチャ画像はレイヤーの結合を行うことで、テクスチャ画像の数が減少し、閲覧装置側でレイヤーの結合を行う負担をなくすことも可能となる。さらに、汎用性のあるファイル形式として作品データを配布する場合、データを圧縮せず、作成したすべてのファイルを含めたフォルダ自体を作品データとしてもよい。

【0078】

次に、図１９のフローチャートを参照して、本発明の実施形態に係る全方位画像編集装置により見回し映像を動画として作成する手順を説明する。

【0079】

処理を開始すると、全ての視線移動再現データの抽出を完了したか否かを判断し（ステップＳ８１）、完了していないと判断されると（ステップＳ８１をNOに分岐）、次の視線移動再現データを抽出し（ステップＳ８２）、視線移動再現データを基に視線角度、視野角を更新し（ステップＳ８３）、スクリーン更新処理を実行する（ステップＳ８４）。そしてスクリーン画像を１フレームの画像としてファイルに書き出し、上記ステップＳ８１に戻る。こうして、全ての視線移動再現データの抽出を完了すると（ステップＳ８１をYESに分岐）、リターンする。

【0080】

このように、本処理では、視線移動を再現するデータにより１フレームごとに視線を僅かずつ移動していき、各々のフレームを描画、ならびにファイルへの書き出しを行う。ファイル形式は、ＡＶＩやＭＰＧ、ＭＯＶ等に代表される一般的な動画ファイル形式、または連番画像ファイル群の形式等が挙げられるが、これらに限定されない。

【0081】

図２０を参照して、座標変換の概念を述べる。同図の上方には、正距方位図法に基いた全方位画像のラスターイメージを示しており、同図の下方には、３次元の全方位仮想空間を示している。この全方位仮想空間にはスクリーン画像およびドローイング画像のラスターイメージを併せて図示している。全方位画像への入力は実線矢印で示しており、全方位画像からの出力は破線矢印で示している。

【0082】

図２１のフローチャートを参照して、全方位画像（任意の座標系）および視線情報からスクリーン画像（スクリーン座標系）への描画処理の流れを説明する。ここでは、作業者が実際に観測することのできるスクリーン画像の更新方法を示している。当該処理は、図６のステップＳ１０でポリゴンモデルを用いない場合に実行される。

【0083】

スクリーン更新処理を開始すると、先ず全てのレイヤーの抽出が完了しているか否かを判断する（ステップＳ９１）。そして、全てのレイヤーの抽出が完了していなければ（ステップＳ９１をNOに分岐）、次のレイヤーを抽出し（ステップＳ９２）、レイヤーに対応する全ての全方位画像の抽出が完了したか否かを判断する（ステップＳ９３）。そして、該抽出が完了していなければ次の全方位画像を抽出し（ステップＳ９４）、スクリーン画像において全画素走査が完了したか否かを判断する（ステップＳ９５）。

【0084】

ここで、スクリーン画像において全画素走査が完了していないと判断されると（ステップＳ９５をNOに分岐）、スクリーン画像の次画素走査を実施し（ステップＳ９６）、更新するスクリーン画像の画素と視線情報とに対応する３次元ベクトルを算出し（ステップＳ９７）、３次元ベクトルの方位に対応する全方位画像の画素、およびその近傍の画素から不透明度と色情報とを抽出、ならびに算出し（ステップＳ９８）、不透明度と色情報とを用いてスクリーン画像の画素を更新し（ステップＳ９９）、ステップＳ９５に戻る。

【0085】

スクリーン画像において全画素走査を完了したと判断されると（ステップＳ９５）、ステップＳ９３に戻る。そして、レイヤーに対応する全ての全方位画像の抽出が完了したものと判断されると（ステップＳ９３をYESに分岐）、ステップＳ９１に戻る。そして、全てのレイヤーの抽出を完了したと判断されると（ステップＳ９１をYESに分岐）、リターンすることになる。

【0086】

いま、例えば、球面ミラーを用いた全方位カメラ等から得られるような全方位画像を再現する場合の例を考える。

【0087】

スクリーン画像（ｗ：幅，ｈ：高さ）の画素（ｕ：水平方向，ｖ：垂直方向）と視線情報（ヨー角，ピッチ角，ロール角，視野角）とに対応する３次元ベクトル（ｘ，ｙ，ｚ）の方位は、コンピュータグラフィックス分野における従来の計算方法を用いて求める。

【0088】

次いで、３次元ベクトル（ｘ，ｙ，ｚ）の方位から全方位画像（ｗ：幅，ｈ：高さ）の画素（ｕ：水平方向，ｖ：垂直方向）への座標変換において、従来の正距方位図法に基づき以下のような計算方法を用いる。
ＰＩは、円周率
ｒは、２次元ベクトル（ｘ，ｚ）の長さ、ｓｑｒｔ（ｘ×ｘ＋ｚ×ｚ）
ｔは、２次元ベクトル（ｙ，ｒ）のＸ軸とのなす角の範囲を「０度〜１８０度」から「０〜１」に正規化したもの、ａｔａｎ２（ｒ，−ｙ）÷ＰＩ
ｕは、（１＋ｘ×ｔ÷ｒ）×ｗ÷２
ｖは、（１−ｚ×ｔ÷ｒ）×ｈ÷２
この例に限定されることなく、３次元ベクトルの方位と全方位画像の座標変換が相互に可能であれば、どのような計算方法を用いてもよい。

【0089】

なお、画像描画のための演算は、中央制御部の代わりに専用のハードウェアを用いてもよい。また、スクリーン画像の描画の際にバイリニア等のフィルタリングを行い、画質の向上を図ってもよい。さらに、描画処理毎に全レイヤーを描画する代わりに、予め全レイヤーの複製を結合した１つの画像を作成しておき、それを全方位画像とみなしてスクリーン画像へ描画してもよい。この場合、結合画像の作成はドローイング後に行われる全方位画像更新終了時に行うことになる。

【0090】

次に図２２のフローチャートを参照して、ドローイング用画像（スクリーン座標系）及び視線情報から全方位画像（任意の座標系）への描画処理の流れを説明する。ここでは作業者が行ったドローイングの内容を選択したレイヤーの全方位画像に反映させる方法を示している。当該処理は、図６のステップＳ８でポリゴンモデルを用いない場合に実行される。

【0091】

この描画処理に入ると、レイヤーを選定し（ステップＳ１０１）、レイヤーに対応する全ての全方位画像の抽出が完了したか否かを判断する（ステップＳ１０２）。ここで、レイヤーに対応する全方位画像の抽出が完了していないと判断された場合には（ステップＳ１０２をNOに分岐）、次の全方位画像を抽出し（ステップＳ１０３）、全方位画像において全画素走査が完了しているか否かを判断する（ステップＳ１０４）。

【0092】

ここで、全方位画像において全画素走査が完了していないと判断された場合には（ステップＳ１０４をNOに分岐）、全方位画像の次の画素を走査し（ステップＳ１０５）、更新する全方位画像の画素に対応する３次元ベクトルを算出し（ステップＳ１０６）、３次元ベクトルの方位と視線情報とに対応するドローイング用画像の画素、およびその近傍の画素から不透明度と色情報とを抽出、ならびに算出し（ステップＳ１０７）、不透明度と色情報とを用い、合成方法に基づき全方位画像の画素を更新し（ステップＳ１０８）、ステップＳ１０４に戻る。

【0093】

そして、全方位画像において全画素走査が完了していると判断された場合には（ステップＳ１０４をYESに分岐）、ステップＳ１０２に戻る。そして、レイヤーに対応する全ての全方位画像の抽出を完了していると判断された場合には（ステップＳ１０２をYESに分岐）、リターンする。

【0094】

ここで、再び球面ミラーを用いた全方位カメラ等から得られるような全方位画像を再現する場合の例を考える。

【0095】

座標変換については、全方位画像（ｗ：幅，ｈ：高さ）の画素（ｕ：水平方向，ｖ：垂直方向）から３次元ベクトル（ｘ，ｙ，ｚ）の方位への座標変換において、従来の正距方位図法に基づき、以下のような計算方法を用いる。すなわち、３次元ベクトルの方位から全方位画像の画素への座標変換とは逆の座標変換に相当する。
ＰＩは、円周率
ｎｕは、ｕの範囲を「０〜ｗ」から「−１〜＋１」に正規化したもの、２×ｕ÷ｗ−１
ｎｖは、ｖの範囲を「ｈ〜０」から「−１〜＋１」に正規化したもの、１−２×ｖ÷ｈ
ｒは、２次元ベクトル（ｎｕ，ｎｖ）の長さ、ｓｑｒｔ（ｎｕ×ｎｕ＋ｎｖ×ｎｖ）
ｘは、ｎｕ×ｓｉｎ（ｒ×ＰＩ）÷ｒ
ｙは、−ｃｏｓ（ｒ×ＰＩ）
ｚは、ｎｖ×ｓｉｎ（ｒ×ＰＩ）÷ｒ
この例に限定されることなく、３次元ベクトルの方位と全方位画像の座標変換が相互に可能であれば、どのような計算方法を用いてもよい。

【0096】

３次元ベクトル（ｘ，ｙ，ｚ）の方位と視線情報（ヨー角，ピッチ角，ロール角，視野角）とに対応するスクリーン画像（ｗ：幅，ｈ：高さ）の画素（ｕ：水平方向，ｖ：垂直方向）は、コンピュータグラフィックス分野における従来の計算方法を用いて求める。

【0097】

ドローイング画像を全方位画像へ合成する方法は、標準的な合成方法のほかに、不透明度を減少方向に向かわせるような（消去）合成方法や、色値を乗算させるような（ハイライト）合成方法等を選択可能としてもよい。また、画像描画のための演算は、中央制御部の代わりに専用のハードウェアを用いてもよい。さらに、全方位画像の描画の際にバイリニア等のフィルタリングを行い、画質の向上を図ってもよい。

【0098】

次に図２３には、直方体モデルまたは立方体モデルを使用した全方位画像更新処理の概念図を示し説明する。

【0099】

ポリゴンモデルを用いる方法で各面が矩形である場合に、ＧＰＵ（Graphics Processing Unit）を用いて容易に実装することができる。直方体モデルまたは立方体モデルを使用した場合、「全方位画像の表示」としてはモデルの中心部が視点となり、テクスチャを持った全６面をスクリーン画像にレンダリングする。これに対し、「全方位画像の更新」を行う場合、各面のテクスチャにレンダリングを行う。これについての手段を示す。

【0100】

図示の如く視野角を含んだ視線情報に対応する長方錐を作成する。このとき、ドローイング画像を長方形底面とみなし、視点は長方形底面と向かい合う頂点とみなし、直方体モデルの中心に位置する。ドローイング画像を描画するＧＰＵ長方形ポリゴンのテクスチャとして扱う。直方体モデルの６つの長方形面を抽出する。長方形面の「上辺」「下辺」「右側辺」「左側辺」は予め定義しておく。

【0101】

各長方形面のテクスチャをＧＰＵレンダリング対象とみなす。ＧＰＵビュー変換時の視線角度について、視線方位は「視点」から「長方形面の中心」に向かう方位とする。視線上方向は「長方形面の中心」から「長方形面の上辺の中点」に向けての方位とする。ＧＰＵ射影変換時の視野角は、「テクスチャ画像の上辺の中点」「視点」「テクスチャ画像の下辺の中点」をなす角とする。ＧＰＵ射影変換時のアスペクト比は、直方体モデルにおける長方形面の縦の長さに対する横の長さとする。直方体モデルが立方体であればＧＰＵ射影変換時の視野角は９０度、アスペクト比は１になる。

【0102】

以下、図２４のフローチャートを参照して、直方体モデルまたは立方体モデルを使用した全方位画像更新処理の流れを示し説明する。

【0103】

本処理を開始すると、先ずレイヤーを選定し（ステップＳ１１１）、視点を原点とし、ｚ座標を１とし、観測中の視野角とアスペクト比に応じた長方形ポリゴン（座標情報はｘ，ｙ，ｚおよびｕ，ｖ）をＧＰＵポリゴンデータとして作成し（ステップＳ１１２）、ドローイング画像（ピクセル色情報はａ，ｒ，ｇ，ｂ）をＧＰＵテクスチャとして設定する（ステップＳ１１３）。

【0104】

続いて、直方体モデル面（長方形）を６面全て抽出完了したか否かを判断する（ステップＳ１１４）。ここで、６面全てを抽出完了していないと判断された場合には（ステップＳ１１４をNOに分岐）、直方体モデル面（長方形）を抽出し（ステップＳ１１５）、直方体モデル面に対応するテクスチャ画像をＧＰＵレンダリング対象として設定し（ステップＳ１１６）、視点と直方体モデル面の位置関係から視線方位および視線上方向を作成し、ＧＰＵビュー行列として設定し（ステップＳ１１７）、視点と直方体モデル面の位置関係から視野角およびアスペクト比を作成し、ＧＰＵ射影行列として設定し（ステップＳ１１８）、ＧＰＵポリゴンデータをレンダリングし（ステップＳ１１９）、ステップＳ１１４に戻る。

【0105】

こうして、直方体モデル面（長方形）を６面全て抽出完了したと判断されると（ステップＳ１１４をYESに分岐）、リターンする。

【0106】

以上説明したように、本発明の一の実施形態によれば、操作入力を行う操作入力手段としてのポインティング装置３０、各種画像を表示する表示手段としての表示装置２０と、全方位画像編集プログラムに従って制御する中央制御手段としての中央制御部１１とを備え、上記中央制御手段は、上記操作入力手段から少なくとも座標及びボタンの入力情報を受付け、視線変更モードである場合には、上記入力情報を基に視線角度、視野角を更新し、スクリーン更新処理を行い、上記表示手段に画像出力し、ドローイングモードである場合には、少なくともドローイングパラメータを選択し、当該ドローイングパラメータを基にドローイング用画像に描画をし、ドローイング終了の場合には、全方位画像更新処理を実行し、ドローイング用画像をクリアし、スクリーン更新処理を行い、上記表示手段に画像出力することを特徴とする全方位画像編集装置が提供される。

【0107】

更に上記中央制御手段としての中央制御部１１は、スクリーン画像の上に所定の合成方法に基づきドローイング用画像を重畳して、上記表示手段に画像出力することを特徴としてよい。更に、上記中央制御手段としての中央制御部１１は、ドローイング用画像に描画後、スクリーン更新処理を行い、スクリーン画像の上に所定の合成方法に基づきドローイング用画像を重畳して、上記表示手段に画像出力することを特徴としてよい。

【0108】

更に上記中央制御手段としての中央制御部１１は、上記スクリーン更新処理では、視線角度に対応するポリゴン頂点の座標を算出し、視野角に対応するポリゴン頂点の座標を算出し、テクスチャ画像からスクリーン画像への描画処理を行うことを特徴としてよい。更に、上記中央制御手段としての中央制御部１１は、テクスチャ画像からスクリーン画像への描画処理では、スクリーン画像の画素を走査し、更新するスクリーン画像の画素に対応するテクスチャ画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、不透明度と色情報とを用い、スクリーン画像の画素を更新し、スクリーン画像においてポリゴン面に対応する全画素走査が完了し、レイヤーに対応する全ポリゴン面の抽出が完了し、全レイヤーの抽出が完了するまで処理を繰り返すことを特徴としてよい。

【0109】

更に上記中央制御手段としての中央制御部１１は、上記全方位画像更新処理では、視線角度に対応するポリゴン頂点の座標を算出し、視野角に対応するポリゴン頂点の座標を算出し、ドローイング用画像からテクスチャ画像への描画処理を行うことを特徴としてよい。更に、上記中央制御手段としての中央制御部１１は、上記ドローイング用画像からテクスチャ画像への描画処理では、テクスチャ画像の画素走査を行い、更新するテクスチャ画像の画素に対応するドローイング用画像の画素及びその近傍の画素から不透明度と色情報とを抽出並びに算出し、不透明度と色情報とを用いて所定の合成方法に基づきテクスチャ画像の画素を更新し、テクスチャ画像においてポリゴン面に対応する全画素走査が完了し、レイヤーに対応する全ポリゴン面の抽出が完了するまで処理を繰り返すことを特徴としてよい。

【0110】

更に、本発明の一実施形態によれば、パーソナルコンピュータ１０が、操作入力手段としてのポインティング装置３０から少なくとも座標及びボタンの入力情報を受付け、視線変更モードである場合には、上記入力情報を基に視線角度、視野角を更新し、スクリーン更新処理を行い、表示手段としての表示装置２０に画像出力し、ドローイングモードである場合には、少なくともドローイングパラメータを選択し、当該ドローイングパラメータを基にドローイング用画像に描画をし、ドローイング終了の場合には、全方位画像更新処理を実行し、ドローイング用画像をクリアし、スクリーン更新処理を行い、表示手段に画像出力する中央制御手段として機能することを特徴とする全方位画像編集プログラムが提供される。ここで、上記中央制御手段としての中央制御部１１が、スクリーン画像の上に所定の合成方法に基づきドローイング用画像を重畳して、上記表示手段に画像出力することを特徴としてよい。また、上記中央制御手段としての中央制御部１１が、ドローイング用画像に描画後、スクリーン更新処理を行い、スクリーン画像の上に所定の合成方法に基づきドローイング用画像を重畳して、上記表示手段に画像出力することを特徴としてよい。

【符号の説明】

【0111】

１ 全方位画像編集装置
１０ パーソナルコンピュータ
１１ 中央制御部
１２ メインメモリ
１３ 画像制御部
１３ａビデオメモリ
１４ 入出力制御部
１５ 内蔵不揮発性記憶媒体
１６ メディア読み書きインターフェイス
２０ 表示装置
３０ ポインティング装置
４０ 全方位画像入力データ
４１ 全方位画像出力データ
４２ 方位画素対応付けデータ
５０ プログラムデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】