特許 5980960 映像生成装置、映像生成プログラム、及び映像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5980960

(24)【登録日】2016年8月5日

(45)【発行日】2016年8月31日

(54)【発明の名称】映像生成装置、映像生成プログラム、及び映像生成方法

(51)【国際特許分類】

   G06T 13/20 20110101AFI20160818BHJP

   G06T 19/00 20110101ALI20160818BHJP

【ＦＩ】

   G06T13/20

   G06T19/00 A

【請求項の数】15

【全頁数】17

(21)【出願番号】特願2014-557173(P2014-557173)

(86)(22)【出願日】2013年1月16日

(86)【国際出願番号】JP2013000138

(87)【国際公開番号】WO2014111968

(87)【国際公開日】20140724

【審査請求日】2016年1月18日

(73)【特許権者】

【識別番号】511103834

【氏名又は名称】林 光雄

(74)【代理人】

【識別番号】100110434

【弁理士】

【氏名又は名称】佐藤 勝

(72)【発明者】

【氏名】林 光雄

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 国際公開第２０１２／１４７３０３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／００−１３／８０

Ｇ０６Ｔ １９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

映像生成プログラムを記憶する記憶部と、
前記記憶部に記憶された映像生成プログラムを実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生するよう制御する中央制御部と、を備えたこと
を特徴とする映像生成装置。

【請求項2】

映像生成プログラムを記憶する記憶部と、
前記映像生成プログラムを実行することで、
再現シーケンスが持つ有効な視線情報を抽出し、
前記抽出された視線情報に関するフレームが視線情報間で一定数となるように該フレームを選択し、
前記選択されたフレームに関するものであって、視線情報間のフレーム数が一定を保つように調整された数のストローク情報を抽出し、
前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新し、
前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す、
ように制御する中央制御部と、を備えたこと
を特徴とする映像生成装置。

【請求項3】

前記再現シーケンスは、視線情報とストローク情報を含み、
前記視線情報は視線角度や視野角の情報を含み、
前記ストローク情報はドローイング属性を含むこと
を特徴とする請求項２に記載の映像生成装置。

【請求項4】

前記ドローイング属性は、始点座標、終点座標、色情報、線の幅の情報の少なくともいずれかを含むこと
を特徴とする請求項３に記載の映像生成装置。

【請求項5】

前記ストローク情報はドローイング終了フラグを含み、
前記中央制御部は、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性を基にドローイング画像を更新し、前記ストローク情報がドローイング終了フラグを含んでいる場合には、前記視線情報を基に前記ドローイング画像を全方位画像に描画し、前記補間生成された視線情報および抽出された視線情報を基にドローイング画像をスクリーン画像に描画すること
を特徴とする請求項２乃至４のいずれかに記載の映像生成装置。

【請求項6】

コンピュータを、
記憶部に記憶された映像生成プログラムを実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生するよう制御する中央制御部として機能させること
を特徴とする映像生成プログラム。

【請求項7】

コンピュータを、
記憶部に記憶された映像生成プログラムを実行する手順と、
再現シーケンスが持つ有効な視線情報を抽出する手順と、
前記抽出された視線情報に関するフレームが視線情報間で一定数となるように該フレームを選択する手順と、
前記選択されたフレームに関するものであって、視線情報間のフレーム数が一定を保つように調整された数のストローク情報を抽出する手順と、
前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新する手順と、
前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す手順と、
を実行するように制御する中央制御部として機能させること
を特徴とする映像生成プログラム。

【請求項8】

前記再現シーケンスは、視線情報とストローク情報を含み、
前記視線情報は視線角度や視野角の情報を含み、
前記ストローク情報はドローイング属性を含むこと
を特徴とする請求項７に記載の映像生成プログラム。

【請求項9】

前記ドローイング属性は、始点座標、終点座標、色情報、線の幅の情報の少なくともいずれかを含むこと
を特徴とする請求項８に記載の映像生成プログラム。

【請求項10】

前記ストローク情報はドローイング終了フラグを含み、
前記中央制御部は、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性を基にドローイング画像を更新し、前記ストローク情報がドローイング終了フラグを含んでいる場合には、前記視線情報を基に前記ドローイング画像を全方位画像に描画し、前記補間生成された視線情報および抽出された視線情報を基にドローイング画像をスクリーン画像に描画すること
を特徴とする請求項７乃至９のいずれかに記載の映像生成プログラム。

【請求項11】

中央制御部が、記憶部に記憶された映像生成プログラムを実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生すること
を特徴とする映像生成方法。

【請求項12】

中央制御部が、
記憶部に記憶された映像生成プログラムを実行する手順と、
再現シーケンスが持つ有効な視線情報を抽出する手順と、
前記抽出された視線情報に関するフレームが視線情報間で一定数となるように該フレームを選択する手順と、
前記選択されたフレームに関するものであって、視線情報間のフレーム数が一定を保つように調整された数のストローク情報を抽出する手順と、
前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新する手順と、
前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す手順と、
を実行すること
を特徴とする映像生成方法。

【請求項13】

前記再現シーケンスは、視線情報とストローク情報を含み、
前記視線情報は視線角度や視野角の情報を含み、
前記ストローク情報はドローイング属性を含むこと
を特徴とする請求項１２に記載の映像生成方法。

【請求項14】

前記ドローイング属性は、始点座標、終点座標、色情報、線の幅の情報の少なくともいずれかを含むこと
を特徴とする請求項１３に記載の映像生成方法。

【請求項15】

前記ストローク情報はドローイング終了フラグを含み、
前記中央制御部は、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性を基にドローイング画像を更新し、前記ストローク情報がドローイング終了フラグを含んでいる場合には、前記視線情報を基に前記ドローイング画像を全方位画像に描画し、前記補間生成された視線情報および抽出された視線情報を基にドローイング画像をスクリーン画像に描画すること
を特徴とする請求項１２乃至１４のいずれかに記載の映像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、全方位画像編集装置を用いた作画の様子を再現するメイキング映像を生成する映像生成装置、映像生成プログラム、及び映像生成方法に関する。

【背景技術】

【0002】

例えば、本出願人による先願（特許文献１参照）に記載の全方位画像編集装置（以下、単に「全方位画像編集装置」と記載）を用いる際、作画者は視線変更とドローイングの手順を繰り返すことで、全方位画像を完成させる。ストロークの最中に視線移動が行われることはなく、１つの視線である程度連続してストロークが行われる。なお、「全方位画像」とは、作業者の全方位を覆う背景に見立てた画像をいう。

【0003】

ここで、従来の絵画によるメイキング映像を自動的に生成する方法として、作業画面を録画する方法や、ストローク情報を記録する方法等が挙げられる。

【0004】

作業画面を録画する方法は、作業に用いるグラフィカルユーザーインターフェース（GUI；Graphical User Interface）の操作や、作業に伴う作品画像の拡大表示や回転表示等もそのまま再現されるので、運筆だけでなく全体の作業手順を明確に提示する映像が生成可能である。なお、実際の作業時間に対してメイキング映像の時間を短くするために、再生速度を上げる手法がしばしば扱われる。例えば、６０分間の作業の様子を６倍速とすることで再生時間を１０分間に収めることができる。

【0005】

一方、ストローク情報を記録する方法は、作品の全体像を常に表示させながら運筆を提示する映像が生成可能であり、また、完成させる作品画像に関する運筆以外の不要な情報は一切表示させないことも可能である。なお、実際の作業時間に対してメイキング映像の時間を短くするために、運筆以外の時間を省略する手法がしばしば扱われる。例えば、線の終点から次の始点にペンを運ぶ時間、何も操作しない時間、等を再現させないことで再生時間を短縮できる。

【0006】

ところで、全方位画像を一般的な平面のディスプレイ（たとえば、液晶ディスプレイ）で表示可能な２次元の映像として生成する有効な方法の一つとして「見回し映像」が挙げられる。

【0007】

見回し映像は、魚眼レンズの画像やパノラマ画像と異なり、一般に馴染みのある自然な映像であり、常に何らかの方向を向いた状態として表される。すなわち、全方位画像においてすべての方向を表すためには、視線を移動することが必要となる。

【0008】

このような見回し映像は、視線移動が滑らかであれば没入感を効果的に保つことができる。これは、実写撮影で用いるカメラ、及びコンピュータグラフィックスで用いる仮想カメラ等においてカメラワーク（たとえば、パン・チルト・ズーム）が滑らかであることが望まれる点と同様である。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】国際公開第ＷＯ／２０１２／１４７３０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、従来手法ではストロークの最中に視線移動が行われない。このため、たとえば、１つの視線に対するストローク数が膨大である場合、見回しが行われない時間が長く及んでしまう。反対に、１つの視線に対するストローク数が僅かである場合や存在しない場合は、見回しが過剰に行われ、鑑賞者に目まぐるしさを与えてしまう。

【0011】

さらに、作画の作業における視線移動は、滑らかに行うことが本来の目的ではなく、新たな視線でのストロークのために行うことが目的なので、これをそのまま再現した結果として見回しがいびつになってしまう場合がほとんどである。

【0012】

本発明は上述したような技術的な課題に鑑みてなされたもので、全方位画像の作画の再現において、見回しによる没入感を効果的に保ちつつ、運筆の様子をわかりやすく提示する映像の自動的な生成を実現することを目的とする。

【課題を解決するための手段】

【0013】

本発明の第１の態様に係る映像生成装置は、映像生成プログラムを記憶する記憶部と、前記記憶部に記憶された映像生成プログラムを実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生するよう制御する中央制御部と、を備えたことを特徴とする。

【0014】

本発明の第２の態様に係る映像生成装置は、映像生成プログラムを記憶する記憶部と、前記映像生成プログラムを実行することで、再現シーケンスが持つ有効な視線情報を抽出し、前記抽出された視線情報に関するフレームを選択し、前記選択されたフレームに関するストローク情報を抽出し、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新し、前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す、ように制御する中央制御部と、を備えたことを特徴とする。

【0015】

本発明の第３の態様に係る映像生成プログラムは、コンピュータを、記憶部に記憶された映像生成プログラムを実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生するよう制御する中央制御部として機能させることを特徴とする。

【0016】

本発明の第４の態様に係る映像生成プログラムは、コンピュータを、記憶部に記憶された映像生成プログラムを実行する手順と、再現シーケンスが持つ有効な視線情報を抽出する手順と、前記抽出された視線情報に関するフレームを選択する手順と、前記選択されたフレームに関するストローク情報を抽出する手順と、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新する手順と、前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す手順と、を実行するように制御する中央制御部として機能させることを特徴とする。

【0017】

本発明の第５の態様に係る映像生成方法は、中央制御部が、記憶部に記憶された映像生成プログラムを実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生することを特徴とする。

【0018】

本発明の第６の態様に係る映像生成方法は、中央制御部が、記憶部に記憶された映像生成プログラムを実行する手順と、再現シーケンスが持つ有効な視線情報を抽出する手順と、前記抽出された視線情報に関するフレームを選択する手順と、前記選択されたフレームに関するストローク情報を抽出する手順と、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新する手順と、前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す手順と、を実行することを特徴とする。

【発明の効果】

【0019】

本発明によれば、全方位画像の作画の再現において、見回しによる没入感を効果的に保ちつつ、運筆の様子をわかりやすく提示する映像の自動的な生成を実現する映像生成装置、映像生成プログラム、及び映像生成方法を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係る映像生成装置の構成を示す図である。

【図2】映像生成に使用するメインメモリのメモリマップを示す図である。

【図3】（ａ）及び（ｂ）は再現シーケンスに記録されている情報の種類と構造を示す図である。

【図4】本発明の一実施形態に係る映像生成プログラムの全体の処理の流れを示すフローチャートである。

【図5】再現シーケンスの一例を示す図である。

【図6】再現シーケンスをグループに分ける概念を示す図である。

【図7】再現シーケンスの関連付けの概念を示す図である。

【図8】再現シーケンスおよび再生フレームを時系列に配置した例を示す図である。

【図9】（ａ）及び（ｂ）は映像生成例（作画の様子、映像生成の様子）を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の映像生成装置、映像生成プログラム、及び映像生成方法に係る好適な実施形態について図面を参照しながら説明する。なお、本発明の映像生成装置、映像生成プログラム、及び映像生成方法は、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において、適宜変更可能である。以下、詳述する。

【0022】

図１には本発明の一実施形態に係る映像生成装置の構成を示し説明する。

【0023】

この図１に示されるように、映像生成装置１は、パーソナルコンピュータ１０と表示装置２０、映像パラメータ入力装置３０等からなる。

【0024】

パーソナルコンピュータ１０は、マルチタスク対応プロセッサ等からなる中央制御部１１と、一時記憶装置としてのＲＡＭ（Random Access Memory）等からなるメインメモリ１２、グラフィックカード等の画像制御部１３、入出力制御部１４、内蔵不揮発性記憶媒体１５、メディア読み書きインターフェイス１６を含む。

【0025】

画像制御部１３は、ビデオメモリ１３ａも備えている。ビデオメモリ１３ａとは、パーソナルコンピュータ１０本体のメインメモリ１２と同じく、一時的にデータを保存する場所であり、グラフィックカードについているメモリはＶＲＡＭ（Video RAM）とも称される。画面に３Ｄグラフィック画像を表示する場合、その際に必要となるデータ量は大きくなる。画像制御部１３で処理を終えたデータはビデオメモリ１３ａに保存されて随時使われていく。ビデオメモリ１３ａの容量が多いほど、細かい３Ｄグラフィック画像でも、スムーズに不良もなく表示することができるようになる。尚、昨今ではＶＲＡＭの高速化が進み、ＧＤＤＲ(Graphics DDR)と称される高速処理専用のメモリ規格も登場し、３次元グラフィックス描画における莫大なデータの高速転送が実現されている。

【0026】

表示装置２０は、液晶ディスプレイ等に代表される、画像を表示することができる装置である。映像パラメータ入力装置３０は、見回し映像出力データ４１に関する調整（例えば、視線情報や再生速度、画質の調整等）をユーザが任意に指定可能とする装置であり、即ちマウスやタッチパネル、ペンタブレットに代表される、座標入力及び／又はボタン入力が可能な装置、並びにキーボードに代表される、キー入力が可能な装置である。

【0027】

プログラムデータ５０や方位画素対応付けデータ４２、シーケンス入力データ４０はメディア読み書きインターフェイス１６を介してパーソナルコンピュータ１０に入力され、見回し映像出力データ４１はメディア読み書きインターフェィス１６を介してパーソナルコンピュータ１０より外部に出力される。

【0028】

プログラムデータ５０とは、本発明が動作可能なソフトウェアである。後述する映像生成プログラムのデータ等がこれに該当する。

【0029】

方位画像対応付けデータ４２とは、方位と画素の位置を相互に対応付けるテーブル又は関数である。ポリゴンモデルを用いる場合は、ポリゴンモデルデータがこれに相当し、３次元形状のオブジェクトとなる。方位画像対応付けデータ４２は、プログラムデータ５０に付随してもよいし、外部で定義されたデータを読み込んでもよい。

【0030】

シーケンス入力データ４０は、ソフトウェアが扱うデータであり、全方位画像編集装置における作画の操作が順番に記録されたデータであり、後述の再現シーケンスとして用いる。入力されたデータはメインメモリ１２に一時記憶される。見回し映像出力データ４１は、ソフトウェアが扱う画像群であり、連続した画像、すなわち映像データとして出力される。

【0031】

方位画像対応付けデータ４２及びプログラムデータ５０は、不図示の外部記憶媒体から読み込んでもよく、通信ネットワークを介して不図示の外部コンピュータから不図示の通信制御部により受信し、入出力制御部１４を介して内蔵不揮発性記憶媒体１５に取り込んでもよい。見回し映像出力データ４１は、不図示の外部記憶媒体へ書き込んでもよく、通信ネットワークを介して不図示の外部コンピュータに送信してもよい。

【0032】

図２には映像生成に使用するメインメモリ１２のメモリマップを示している。

【0033】

各画像は、不透明度付きの色情報（ａ：アルファ，ｒ：赤，ｇ：緑，ｂ：青）を２次元的な配列として持つ。「アルファ」とは、不透明度情報を示している。パソコンでは１つのピクセルの色情報を、２４ビット（１色につき８ビット、赤・緑・青の３色で８×３＝２４ビット）という単位で記録している。８ビットでは、２５６段階の記録ができる。アルファ付きＰＮＧ（３２ビットＰＮＧ；32bit Portable Network Graphics）では色情報の他に、各ピクセルの不透明度も８ビットの２５６段階で記録できる。アルファ値がゼロで完全な透明、２５５で完全な不透明であることを意味する。

【0034】

全方位画像関連情報とは、全方位画像編集装置における作画者および本発明における鑑賞者の全方位を覆う背景（すなわち全方位画像）を表すための情報である。同図は特にポリゴンモデルを利用する場合の例である。ポリゴン頂点は、３次元空間座標（ｘ：水平，ｙ：垂直，ｚ：奥行き）と２次元テクスチャ座標（ｕ：水平，ｖ：垂直）とを持つ。ポリゴン面は、三角形を表わすため、ポリゴン頂点への参照を３つとテクスチャ画像への参照をレイヤー枚数分だけ持つ。ポリゴンモデルは、３次元形状を表わすため、ポリゴン頂点とポリゴン面とをそれぞれ配列として持つことになる。１つのレイヤーが持つテクスチャ群の構造がどのレイヤーについても同一である場合、テクスチャ画像への参照は、レイヤー内の相対的な参照を１つとしてもよい。

【0035】

スクリーン画像とは、全方位画像を座標変換により２次元座標平面上に投影し、表示装置２０により作画者に提示する画像、または見回し映像出力データ４１として出力する１フレーム分の画像である。本発明においては、主に全方位画像の更新の過程をスクリーン画像に投影し、鑑賞者に提示する。

【0036】

ドローイングとは、全方位画像編集装置において主にポインティングデバイスを用いて２次元（平面）の画像に対して図形や線等の描き込みを行う作業である。ドローイング画像（ドローイング用画像）とは、作画者が実際にドローイングを行う対象とする２次元（平面）の画像である。ドローイング画像は、スクリーン画像とは別の記憶域にあり、スクリーン画像と同じ座標系であり、ドローイング開始前は完全に透明な状態とする。ドローイングを施した箇所は不透明度情報及び色情報を更新する。これは、即ち作画者がスクリーン画像に重なっている透明な層にドローイングを行うことに等しい。ドローイングの手法として、フリーハンド、直線、曲線、矩形、円、画像の貼り付け、等が挙げられる。ドローイングの属性は、手法が線の場合は幅や色、手法が図形の場合は塗りつぶしの模様、等が考えられる。本発明においては、ドローイングは後述の再現シーケンスによって自動的に行われる。

【0037】

なお、ドローイング画像はドローイングの内容を全方位画像に反映させるまでの一時的な画像でもあり、必要に応じて用いればよい。例えば、作画においてドローイング終了前に再び視線変更モードに戻る（視線を修正する）ことを必要とせず、ドローイング内容を直ちに全方位画像へ反映する事を作画ルールとする場合、ドローイング画像を用いない事も可能である。

【0038】

再現シーケンスとは、全方位画像編集装置における作画の操作が情報として順番に記録されたデータであり、本発明においては全方位画像の更新に用いられる。

【0039】

以下、図３には再現シーケンスに記録されている情報の種類と構造を示し詳述する。

【0040】

再現シーケンスの要素となる情報は少なくとも２種類あり、主に視線情報とストローク情報である。

【0041】

視線情報は、主に視線角度（ヨー角，ピッチ角，ロール角）および視野角を持つ。このほか、視線情報としてシフト量（水平シフト、垂直シフト）を持ってもよい。シフトとは、画像を平行移動する手法であり、たとえば全方位画像編集装置を用いた遠近感の表現において、遠方から水平線にかけての地面や、近くにある高い建造物の上部などを、視野角を大きくせず詳細に表現することができる。

【0042】

ストローク情報は、ドローイング属性および／またはドローイング終了フラグを持つ。

【0043】

ストローク情報が持つドローイング属性は、ドローイングの手法が直線である場合を例として、始点座標と終点座標（ｘ：水平ピクセル，ｙ：垂直ピクセル）、色情報（ａ：アルファ，ｒ：赤，ｇ：緑，ｂ：青）、線の幅、を持つ。なお、曲線やフリーハンドを表現する場合も、短い直線を複数用いることで近似することができる。

【0044】

ストローク情報が持つドローイング終了フラグは、ドローイング終了処理（すなわち、これまでに描き込まれたドローイング画像を全方位画像に描画し、ドローイング画像をクリアする処理）を行うかを判断するためのフラグである。

【0045】

全方位画像編集装置において、ドローイングは原則的に何らかの方向を向いた状態で行われる。すなわち、再現シーケンスに含まれるストローク情報は、それぞれいずれかの視線情報に関連している事となる。

【0046】

次に図４のフローチャートを参照して、本発明の一実施形態に係る映像生成プログラムの全体の処理の流れを示し説明する。

【0047】

なお、同図はドローイング画像を用いる場合を例とし、ストローク情報を抽出した後、ドローイング画像を更新する処理と全方位画像を更新する処理とに分かれている。また、同様にスクリーン画像に描画する処理についても同様に分かれている。

【0048】

また、同図はレイヤーの概念を含めていないが、レイヤーを用いる場合は全方位画像およびドローイング画像をスクリーン画像に描画する順序等に注意する。

【0049】

処理を開始すると、先ず再現シーケンスが持つ全ての有効な視線情報を抽出完了したか否かを判断する（ステップＳ１）。ここでは、まだ抽出完了していないので、Noに分岐し、次の有効な視線情報を抽出する（ステップＳ２）。

【0050】

続いて、抽出された視線情報に関する全てのフレームを選択完了したか否かを判断する（ステップＳ３）。ここでは、まだ選択完了していないので、Noに分岐し、次のフレームを選択する（ステップＳ４）。

【0051】

次いで、選択フレームに関する全てのストローク情報を抽出完了したか否かを判断する（ステップＳ５）。ここで、まだ抽出完了していない場合には、Noに分岐し、次のストローク情報を抽出する（ステップＳ６）。ただし、選択フレームに関するストローク情報が存在しない場合、そのまま抽出完了とし、ステップＳ５をYesに分岐し、ステップＳ１２に進む。

【0052】

続いて、ストローク情報がドローイング属性を含んでいるか否かを判断する（ステップＳ７）。ここで、含んでいる場合には、Yesに分岐し、ドローイング属性を基にドローイング画像を更新し（ステップＳ８）、ステップＳ９に進む。一方、含んでいない場合には、そのままステップＳ９に進む。

【0053】

次いで、ストローク情報がドローイング終了フラグを含んでいるか否かを判断する（ステップＳ９）。ここで、含んでいる場合には、Yesに分岐し、抽出された視線情報を基にドローイング画像を全方位画像に描画し（ステップＳ１０）、ドローイング画像をクリアし（ステップＳ１１）、ステップＳ５に戻る。

【0054】

そして、再び、選択フレームに関する全てのストローク情報を抽出完了したか否かを判断する（ステップＳ５）。ここで、抽出完了している場合には、Yesに分岐し、抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し（ステップＳ１２）、補間生成された視線情報を基に全方位画像をスクリーン画像に描画し（ステップＳ１３）、補間生成された視線情報および抽出された視線情報を基にドローイング画像をスクリーン画像に描画し（ステップＳ１４）、スクリーン画像を選択フレームの画像として書き出し（ステップＳ１５）、ステップＳ３に戻る。なお、「選択フレームの画像として書き出し」とは、鑑賞者に提示するための画像を生成する処理である。

【0055】

続いて、再び、抽出された視線情報に関する全てのフレームを選択完了したか否かを判断する（ステップＳ３）。ここで、選択完了したと判断した場合には、Yesに分岐し、ステップＳ１に戻る。ステップＳ１では、再び、再現シーケンスが持つ全ての有効な視線情報を抽出完了したか否かが判断され（ステップＳ１）、抽出完了していなければ前述したようなステップＳ１乃至Ｓ１５の処理が繰り返される。そして、抽出完了すると、本処理を終了することになる。

【0056】

以下、上記処理について更に掘り下げて説明する。

【0057】

図５には再現シーケンスの一例を示し説明する。

【0058】

同図は番号を０〜４１とする合計４２個の要素を持つ再現シーケンスの例である。再現シーケンスの要素の種類として、視線情報は「■」、ドローイング属性を持つストローク情報は「▲」、ドローイング終了フラグを持つストローク情報は「△」で表している。

【0059】

説明を容易にするため、この例および以降の例では、再現シーケンスの元となった全方位画像編集装置における作画のルールとして、視線の変更の直前にドローイング終了が行われることを前提としている。

【0060】

図６には、先述の再現シーケンスをグループに分ける概念を示す。

【0061】

同図は１つのグループを１つの行で表している。ドローイング終了フラグを持つストローク情報をグループの末尾とする。なお、視線情報が存在しないグループがある場合、そのグループを直前のグループに結合するとよい。

【0062】

図７には、再現シーケンスの関連付けの概念を示す。

【0063】

先述のグループ化された再現シーケンスに対して、関連付けを行う。

【0064】

まず、データの関連付けに先立ち、視線情報が複数存在しているグループについて、グループ内の最後の視線情報を有効な視線情報とみなす。有効とみなされない視線情報は破棄する。これにより、各グループの視線情報を正しく用いることができると同時に、関連するストローク情報が１つもない視線情報を不要にできる。

【0065】

データの関連付けの概念を示す。視線情報群をＶと表し、添字ｊの視線情報をＶ［ｊ］と表す。すなわち、視線情報群Ｖの添字はグループ番号でもある。ストローク情報群をＳと表し、添字ｉのストローク情報をＳ［ｉ］と表す。視線情報Ｖ［ｊ］に関連するストローク先頭位置リストをｐと表し、添字ｊの視線情報Ｖ［ｊ］に関連するストローク情報の先頭位置をｐ［ｊ］と表す。すなわち、添字ｊの視線情報Ｖ［ｊ］に関連する先頭のストローク情報をＳ［ｐ［ｊ］］で表す。

【0066】

ここで、視線情報Ｖ［ｊ］に関連するストローク情報群は、添字がｐ［ｊ］以上ｐ［ｊ＋１］未満である各ストローク情報（即ちＳ［ｐ［ｊ］＋０］、Ｓ［ｐ［ｊ］＋１］、Ｓ［ｐ［ｊ］＋２］、...、Ｓ［ｐ［ｊ＋１］−１］）となるので、添字ｊの視線情報Ｖ［ｊ］に関連するストローク情報の総数はｐ［ｊ＋１］−ｐ［ｊ］により求めることができる。

【0067】

以上が再現シーケンスの関連付けの例であるが、１つの視線情報と、それに関連するストローク情報群をグループ化する方法であれば、他の方法を用いて関連付けを行ってもよい。その際、再現シーケンスの元となる全方位画像編集装置における作画のルールに適する方法が望まれる。

【0068】

ストロークの再生を一時停止させて見回しのみを行う期間を設けるような場合は、関連するストローク情報が１つもない視線情報を任意に挿入可能であってもよい。

【0069】

図８には、再現シーケンスおよび再生フレームを時系列に配置した例を示す。

【0070】

同図の例は、先述の視線情報およびストローク情報、さらに映像生成のための再生フレームについて、それらの関係を時系列で表している。

【0071】

作画に用いた視線情報は、先述の例を基にＶ［０］〜Ｖ［３］の合計４つとする。各視線情報間の時間は等間隔になるようにする。１つの視線情報に関連する各情報の集まりをグループとする。例えば、Ｖ［０］に関連するグループ番号は０である。グループの境目は、隣り合う２つの視線情報の中央付近とする。

【0072】

再生フレーム数は例として視線情報１つあたり（すなわち、１グループあたり）１０フレーム、合計４０フレームとする。
すなわち、
Ｖ［０］に関連するフレーム番号を０〜９
Ｖ［１］に関連するフレーム番号を１０〜１９
Ｖ［２］に関連するフレーム番号を２０〜２９
Ｖ［３］に関連するフレーム番号を３０〜３９
とする。
各フレーム間の時間は等間隔になるようにし、さらに視線情報の時刻が、それに関連するフレーム群の中央付近となるようにする。

【0073】

例えばＶ［１］の時刻が、フレーム番号１０とフレーム番号２０との中央（すなわちフレーム番号１５）の時刻となるよう、各フレーム（すなわちフレーム番号１０〜１９）の時刻を調整する。この場合、フレーム番号１０の時刻はＶ［０］とＶ［１］との中心時刻となる。このように、１グループあたりのフレーム数（および視線情報間のフレーム数）は一定であることが望ましい。ただし、一定のフレーム数とは、実際には数フレーム（１〜２フレーム程度）の誤差を許容してもよい（もし、全体で５０フレームの映像を４グループで生成したい場合、各グループのフレーム数は１２または１３になる）。

【0074】

各グループにおけるストローク情報群については、先述の例を基に
Ｖ［０］に関連するストローク情報群をＳ［０］〜Ｓ［４］の合計５個
Ｖ［１］に関連するストローク情報群をＳ［５］〜Ｓ［１７］の合計１３個
Ｖ［２］に関連するストローク情報群をＳ［１８］〜Ｓ［２６］の合計９個
Ｖ［３］に関連するストローク情報群をＳ［２７］〜Ｓ［３１］の合計５個
とする。
このとき、ストローク先頭位置ｐの内容は、ｐ［０］＝０、ｐ［１］＝５、ｐ［２］＝１８、ｐ［３］＝２７、ｐ［４］＝３２となる。なお、ｐ［４］の値はストローク情報の最後の添字（３１）に１を加えたものであり、すなわち、終端のデータＶ［３］においてストローク情報総数を求めるために用いる。

【0075】

各ストローク情報間の時間は等間隔になるようにし、さらに視線情報の時刻が、それに関連するストローク情報群の中央付近となるようにする。

【0076】

例えばＶ［０］の時刻が、Ｓ［０］とＳ［５］との中央の時刻となるよう、各ストローク情報（Ｓ［０］〜Ｓ［４］）の時刻を調整する。

【0077】

グループ内のストローク情報の数は、全グループ共通になるとは限らないことに留意する。これは、ストローク情報間の時間は全体を通して等間隔とは限らず、ストロークの再生速度が必ずしも一定ではないことを意味する。

【0078】

以上のデータを用い、各フレームについて画像を生成する。

【0079】

ここで、例としてフレーム番号１３の画像を生成する流れを説明する。フレーム番号０〜１２の画像は既に生成されているものとする。

【0080】

まず、フレームに表示する全方位画像および／またはドローイング画像にストロークを反映するため、直前のフレームの時刻より後、かつ現在のフレームの時刻以下の範囲にあるストローク情報（群）、すなわちＳ［８］〜Ｓ［９］を用いる事とする。

【0081】

ストロークを書き込む場合（特に、全方位画像を更新する場合）の視線情報は、フレーム番号１３が関わっているグループ（すなわちグループ番号１）の視線情報であるのでＶ［１］である。

【0082】

なお、既にＳ［０］〜Ｓ［７］を用いるストロークは先行して全方位画像およびドローイング画像に反映されているはずであり、これに加えてＳ［８］〜Ｓ［９］のストロークが反映される事となる。

【0083】

続いて、フレームに全方位画像およびドローイング画像を表示するための新たな視線を求める。フレームに時刻が近い４つの視線情報を用いて、曲線の補間方法の一つであるＣａｔｍｕｌｌ−Ｒｏｍ補間により算出する。

【0084】

すなわち、ＣａｔｍｕｌｌＲｏｍ（Ｖ［−１］，Ｖ［０］，Ｖ［１］，Ｖ［２］，（１０−５）÷１０）をヨー角、ピッチ角、ロール角、および視野角のそれぞれについて算出して補間する。ただし、Ｖ［−１］は存在しないので、代わりにデータの先端であるＶ［０］を用い、ＣａｔｍｕｌｌＲｏｍ（Ｖ［０］，Ｖ［０］，Ｖ［１］，Ｖ［２］，（１０−５）÷１０）を算出する。曲線の補間方法を用いることで、視線移動が曲線的で滑らかとなり、視線の急激な方向転換を防ぐことができる。

【0085】

以上のように用意された全方位画像およびドローイング画像ならびに視線を用いて、フレームの画像を生成する。

【0086】

図９には映像生成例（作画の様子、映像生成の様子）を示す。

【0087】

先述の例を具体的に示す。図９は複数の長方形を様々な方向に描いた場合の映像生成例である。ここでは、全方位画像編集装置において、作画者は正面に長方形を１つ描き、真下を向いて長方形を３つ描き、正面右を向いて長方形を２つ描き、背面に長方形を１つ描いたものとする。

【0088】

ドローイングの手法は全て直線とし、１つの長方形につき、ドローイング属性を持ったストローク情報を４つ用いている。視線の移動の直前には、ドローイング終了フラグを持ったストローク情報を１つ用いている。

【0089】

生成される映像は作画時の視線（ただし、破棄された視線を除く。以後同様）を順番に通りながら滑らかに視線が移動する。

【0090】

作画時の視線と同等の視線を通るフレーム（たとえば、フレーム番号５）のとき、その視線情報が含まれるグループのストロークは半分程度完了している。作画時の視線とその次の視線の中央付近を通るフレーム（たとえば、フレーム番号１０）のときにグループが切り替わり、次のグループのストロークが開始する。

【0091】

ここで、本発明には以下が含まれる。
本発明の第１の態様によれば、映像生成プログラム（プログラムデータ５０）を記憶する記憶部たるメインメモリ１２と、前記記憶部に記憶された映像生成プログラムを実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生するよう制御する中央制御部１１と、を備えたことを特徴とする映像生成装置が提供される。

【0092】

本発明の第２の態様によれば、映像生成プログラム（プログラムデータ５０）を記憶する記憶部としてのメインメモリ１２と、前記映像生成プログラムを実行することで、再現シーケンスが持つ有効な視線情報を抽出し、前記抽出された視線情報に関するフレームを選択し、前記選択されたフレームに関するストローク情報を抽出し、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新し、前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す、ように制御する中央制御部１１と、を備えたことを特徴とする映像生成装置が提供される。

【0093】

本発明の第３の態様によれば、コンピュータ１０を、記憶部としてのメインメモリ１２に記憶された映像生成プログラム（プログラムデータ５０）を実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生するよう制御する中央制御部１１として機能させることを特徴とする映像生成プログラムが提供される。

【0094】

本発明の第４の態様によれば、コンピュータ１０を、記憶部としてのメインメモリ１２に記憶された映像生成プログラム（プログラムデータ５０）を実行する手順と、再現シーケンスが持つ有効な視線情報を抽出する手順と、前記抽出された視線情報に関するフレームを選択する手順と、前記選択されたフレームに関するストローク情報を抽出する手順と、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新する手順と、前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す手順と、を実行するように制御する中央制御部１１として機能させることを特徴とする映像生成プログラムが提供される。

【0095】

本発明の第５の態様によれば、中央制御部１１が、記憶部としてのメインメモリ１２に記憶された映像生成プログラム（プログラムデータ５０）を実行することで、視線情報およびストローク情報群が記録された再現シーケンスから、有効な視線情報に関してストローク情報群を対応付け、視線情報間のフレーム数を一定とし、第１の視線から第２の視線を経て第３の視線へと視線を移動するときには、前記第１及び第２の中央のフレームから前記第２及び第３の中央のフレームまでの範囲には、前記第２の視線に対応するストローク情報群を再生することを特徴とする映像生成方法が提供される。

【0096】

本発明の第６の態様によれば、中央制御部１１が、記憶部としてのメインメモリ１２に記憶された映像生成プログラム（プログラムデータ５０）を実行する手順と、再現シーケンスが持つ有効な視線情報を抽出する手順と、前記抽出された視線情報に関するフレームを選択する手順と、前記選択されたフレームに関するストローク情報を抽出する手順と、前記ストローク情報がドローイング属性を含んでいる場合には、該ドローイング属性および前記視線情報を基に全方位画像を更新する手順と、前記選択されたフレームに関する全てのストローク情報を抽出完了すると、前記抽出された視線情報および近傍の視線情報ならびに抽出されたフレームの位置を基に新たな視線情報を補間生成し、この補間生成された視線情報を基に全方位画像をスクリーン画像に描画し、該スクリーン画像を選択フレームの画像として書き出す手順と、を実行することを特徴とする映像生成方法が提供される。

【0097】

このように本発明は、全方位画像が更新される様子（すなわち、ストロークの様子）を高い確率で観察できる映像を生成するので、運筆の様子をわかりやすく提示できる。

【0098】

さらに本発明は、作画者による操作を記憶したデータを利用して自動的に映像を生成するので、映像生成にかかる作業の負担を軽減できる。

【0099】

前述した通り、ストロークの再生速度は必ずしも一定ではない。ただし、ストロークの再生速度の変化は、視線の移動速度の変化ほどには没入感に影響を与えないものと考えられる。すなわち、本発明は、ストロークの再生速度の変化を許容することで、滑らかな視線移動を可能とし、見回しによる没入感を効果的に保つ効果が期待できる。

【符号の説明】

【0100】

１ 映像生成装置
１０ パーソナルコンピュータ
１１ 中央制御部
１２ メインメモリ
１３ 画像制御部
１３ａビデオメモリ
１４ 入出力制御部
１５ 内蔵不揮発性記憶媒体
１６ メディア読み書きインターフェイス
２０ 表示装置
３０ 映像パラメータ入力装置
４０ シーケンス入力データ
４１ 見回し映像出力データ
４２ 方位画素対応付けデータ
５０ プログラムデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】