特許 7319974 バレットタイム撮影効果の実現方法及びパノラマカメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-25

(45)【発行日】2023-08-02

(54)【発明の名称】バレットタイム撮影効果の実現方法及びパノラマカメラ

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230726BHJP

   H04N 23/698 20230101ALI20230726BHJP

   H04N 23/68 20230101ALI20230726BHJP

   G03B 15/00 20210101ALI20230726BHJP

   G06T 3/00 20060101ALI20230726BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 380

H04N5/232 480

G03B15/00 D

G03B15/00 F

G06T3/00 780

【請求項の数】 7

(21)【出願番号】P 2020526319

(86)(22)【出願日】2018-11-02

(65)【公表番号】

(43)【公表日】2021-01-28

(86)【国際出願番号】 CN2018113720

(87)【国際公開番号】W WO2019096016

(87)【国際公開日】2019-05-23

【審査請求日】2020-05-12

【審判番号】

【審判請求日】2022-05-11

(31)【優先権主張番号】201711123367.2

(32)【優先日】2017-11-14

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】陳 聡

(72)【発明者】

【氏名】姜 文杰

(72)【発明者】

【氏名】劉 靖康

【合議体】

【審判長】千葉 輝久

【審判官】木方 庸輔

【審判官】渡辺 努

(56)【参考文献】

【文献】Ｉｎｓｔａ３６０影石，「怎幺拍出刷爆朋友圏的“子弾時間”大片？一篇文章全看□」，［ｏｎｌｉｎｅ］，２０１７年９月２１日，微博，［２０２１年５月６日検索］，インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｅｉｂｏ．ｃｏｍ／ｔｔａｒｔｉｃｌｅ／ｐ／ｓｈｏｗ？ｉｄ＝２３０９４０４１５４５４５４９５２４０９３２／＞（□は、立心偏に菫）

【文献】稲本奈穂、「サッカーシーンにおける自由視点映像生成のための視点内挿法」、エンタテインメントＶＲ、日本バーチャルリアリティ学会論文誌、第７巻、第４号、日本、日本バーチャルリアリティ学会、２００２年１２月３１日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 5/222-5/257,

H04N 23/00,23/40-23/76,23/90-23/959,

G06T 3/00,

G06T 3/00,

G03B 37/00

(57)【特許請求の範囲】

【請求項1】

パノラマカメラが被写体の周りを回転しながら撮ったパノラマビデオを取得するステップと、
前記取得したパノラマビデオの中から、前記被写体側に接近した半球をサンプル画像のサンプリング範囲とした前記被写体側に接近した半球画像を取得するステップと、
前記半球画像を接合して接合画像を生成するステップと、
前記接合画像において視点を被写体の方向に固定することで、バレットタイム撮影の効果を実現するステップとを含む
ことを特徴とするバレットタイム撮影効果の実現方法。

【請求項2】

前記被写体が撮影者である場合、前記パノラマカメラが被写体の周りを回転しながら撮った前記パノラマビデオは、
前記撮影者が頭部の上方で前記パノラマカメラに連結した補助線又は自撮り棒を振り回すことで前記パノラマカメラを前記撮影者の周りで回転させて、前記撮影者側に位置する物体及び／又は人の運動状態を撮影することにより得られる
ことを特徴とする請求項１に記載のバレットタイム撮影効果の実現方法。

【請求項3】

前記補助線又は前記自撮り棒を振り回すとき、前記パノラマカメラを、前記撮影者の体に垂直した水平面上で回転させる
ことを特徴とする請求項２に記載のバレットタイム撮影効果の実現方法。

【請求項4】

前記半球画像を接合して接合画像を生成した後、撮影領域の方向座標系と地球座標系が一致するよう、前記接合画像に対し手ぶれ補正処理を行うステップを更に含む
ことを特徴とする請求項１に記載のバレットタイム撮影効果の実現方法。

【請求項5】

前記接合画像において視点を被写体の方向に固定することは、
前記接合画像の注視点を前記被写体の方向に固定して、前記被写体の領域に対するフレーミングを行うことである
ことを特徴とする請求項１乃至４のいずれか一項に記載のバレットタイム撮影効果の実現方法。

【請求項6】

コンピュータープログラムが記憶されており、
処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至５のいずれか一項に記載のバレットタイム撮影効果の実現方法のステップを実施する
ことを特徴とするコンピューター可読記憶媒体。

【請求項7】

一つ又は複数の処理装置と、前記処理装置と接続した記憶装置と、一つ又は複数のコンピュータープログラムを備え、
前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、
前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至５のいずれか一項に記載のバレットタイム撮影効果の実現方法のステップを実施する
ことを特徴とするパノラマカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理分野に関し、特に、バレットタイム撮影の効果を実現する方法及びパノラマカメラに関する。

【背景技術】

【0002】

バレットタイム（Bullet time）は、映画、テレビＣＭやＰＣゲームなどによく使われ、例えば、強化されたスローモーション、時間停止などの効果のように、コンピューターの補助的撮影技術で変速の特殊効果を模擬する。バレットタイム撮影は、最初は被写体の周りに周設した一連の静止カメラ（ビデオカメラではない）によって行われた。通常、これらのカメラは同時に又は順にシャッターが操作される。そして、各カメラが撮影したフレームごとの写真を組み合せることで、静止物の視角回転効果、又は超スローモーション効果を生成する。

【0003】

理論上、仮想のビデオカメラによれば無限の視角及びフレームリフレッシュ速度を達成することができるが、静止カメラを使えば撮影ルートの制限を受けてしまう。バレットタイムの特徴として、時間上の極端な変化だけではなく、空間上の極端な変化もあり、スローモージョンと同時に撮影角度（観客視角）も場面を囲んで回転する。バレットタイムは、映画、ＣＭ、ＭＶ、創造的な活動などの領域でよく使われている。しかし、バレットタイムとは、視覚効果は鮮やかであるが、制作がかなり煩わしい。

【0004】

従来のカメラによれば、高速の動きと同時に、被写体に対する撮影視角からのフレーミングを常に維持することは、実は実現できないことである。このため、バレットタイム撮影効果を得るためには、事前に撮影ルートに複数のカメラを設置して、カメラの露光順番、撮影フレームシーケンシャルをコントロールし、後期合成を行ってバレットタイム撮影効果を得る。また、従来技術のバレットタイム撮影効果の得るためのシステムは、カメラの数が多すぎて、精確に制御できない問題で撮影速度が遅くなるので、撮影需要に適応できず、且つ値段もかなり高くて、撮影コストが上がる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、カメラの数が多すぎて精確に制御できないことから撮影速度が遅くなって、撮影要求を満足せず、且つ高価により撮影コストが高くなるという、従来技術の問題点を解決するためのバレットタイム撮影効果の実現方法、コンピューター可読記憶媒体及びパノラマカメラを提供することである。

【課題を解決するための手段】

【0006】

本発明によるバレットタイム撮影効果の実現方法は、パノラマカメラが被写体の周りを回転しながら撮ったパノラマビデオを取得するステップ、前記パノラマビデオから被写体側に近づいたときの半球画像を取得するステップ、前記半球画像を接合して接合画像を生成するステップ、前記接合画像の視点を固定して、バレットタイム撮影の効果を実現するステップを含む。

【0007】

また、本発明によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されて、処理装置により前記コンピュータープログラムを実行する際、本発明によるバレットタイム撮影効果の実現方法のステップを実施する。

【0008】

また、本発明によるパノラマカメラは、一つ又は複数の処理装置と、前記処理装置と接続した記憶装置と、一つ又は複数のコンピュータープログラムを備え、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、前記処理装置により前記コンピュータープログラムを実行する際、本発明によるバレットタイム撮影効果の実現方法のステップを実施する。

【発明の効果】

【0009】

本発明では、パノラマカメラが被写体の周りを回転しながら撮ったパノラマビデオを取得し、パノラマビデオから被写体側に近づいたときの半球画像を取得し、半球画像を接合して接合画像を生成し、そして合画像の視点を固定することにより、バレットタイム撮影の効果を実現する。すなわち、一部のパノラマカメラを使うことでもバレットタイム撮影効果を得ることができるため、本発明によれば、バレットタイム撮影のコストが低くなり、パノラマカメラを被写体の周りで回転させながらパノラマビデオを撮り、そのパノラマビデオを処理することでバレットタイム撮影効果を得るので、精度が高い。

【図面の簡単な説明】

【0010】

【図1】本発明の第一の実施形態によるバレットタイム撮影効果の実現方法のフローチャートである。

【図2】本発明の第三の実施形態によるパノラマカメラの構成ブロック図である。

【発明を実施するための形態】

【0011】

本発明の目的、技術手段及び技術効果をより明確に説明するために、以下、図面、実施形態に基づいて詳しく説明する。もちろん、下記実施形態は本発明を説明するためものであり、本発明を限定するものではない。

【0012】

[第一の実施形態]
図１に示すように、本実施形態によるバレットタイム撮影効果の実現方法は、下記ステップを含むが、実質上同じ効果をもたらすのであれば、図１に示されたフローチャートの順番に限らない。

【0013】

Ｓ１０１：パノラマカメラが被写体の周りを回転しながら撮ったパノラマビデオを取得する。

【0014】

本実施形態において、被写体が撮影者である場合、パノラマカメラが被写体の周りを回転しながら撮ったパノラマビデオは、下記方法によって撮ったものである。
すなわち、撮影者が頭部の上方でパノラマカメラに連結した補助線又は自撮り棒を振り回すことでパノラマカメラを撮影者の周りで回転させ、これとともに、撮影者側に位置する物体及び／又は人の運動状態を撮影する。

【0015】

最適なバレットタイム撮影効果を得るためには、自撮り棒又は補助線を振り回すとき、パノラマカメラは撮影者の体に垂直な水平面で回転するように維持したほうがいい。

【0016】

Ｓ１０２：パノラマビデオから被写体側に近づいたときの半球画像を取得する。

【0017】

本実施形態において、ステップＳ１０２は詳しくは、カメラセンサーのレジスタにおけるサンプル画像の始点座標と終点座標を調整して、被写体側に近づく半球をサンプル画像のサンプリング範囲とする。

【0018】

Ｓ１０３：半球画像を接合して接合画像を生成する。

【0019】

本実施形態において、ステップＳ１０３を行った後、下記方法を含んでもいい。すなわち、撮影領域の方向座標系と地球座標系が一致するように、接合画像に対し手ぶれ補正処理を行う。

【0020】

Ｓ１０４：接合画像の視点を固定して、バレットタイム撮影の効果を実現する。

【0021】

本実施形態において、ステップＳ１０４は詳しくは、接合画像の視点を被写体の方向に固定して、被写体の領域に対するフレーミングを行う。

【0022】

正常な手ぶれ補正モードにおいて、視点の変化は、Ｖがｚ軸を中心にしてＶ’の同じ経度の位置Ｖ₀に枢動し、回転行列がR₀であり、同じ経度線でＶ₀をＶ’に回転させ、回転行列がR₁であり、最終の手ぶれ補正の変換行列がR₂ = R ₀ ×R ₁ ×Rであり、
ここで、Ｖは地球座標系において視点中心と接合画像中心のベクトルで、Ｖ=(0,0,-1)であり、Ｖ’は接合画像に対し手ぶれ補正を行った後のベクトルで、Ｖ’=(x’,y’,z’)、Ｖ’= R×Ｖであり、Rは手ぶれ補正計算法による初期回転行列であり、R₀=exp(φ[k₀]_x) ，R₁=exp(φ[k₁]_x)であり、k₀=(0,0,1)^Tはｚ軸方向であり、k₁=(-sin(φ),cos(φ),0)^Tは経度が同じ経度の回転軸であり、φ=atan2(y’,x’)は経度方向であり、

は緯度方向である。

【0023】

[第二の実施形態]
本実施形態よるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置によりコンピュータープログラムを実行する際、上記第一の実施形態によるバレットタイム撮影効果の実現方法のステップを実施する。

【0024】

［第三の実施形態］
図２には本実施形態によるパノラマカメラの構成ブロック図が示される。パノラマカメラ１００は、一つ又は複数の処理装置１０１と、処理装置と接続した記憶装置１０２と、一つ又は複数のコンピュータープログラムとを備えている。一つ又は複数のコンピュータープログラムは、記憶装置１０２に記憶されて、一つ又は複数の処理装置１０１により実行されるように配置されている。処理装置１０１によりコンピュータープログラムを実行する際、上記第一の実施形態によるバレットタイム撮影効果の実現方法のステップを実施する。

【0025】

本発明の実施形態において、パノラマカメラの被写体の周りを回転しながら撮ったパノラマビデオを取得し、パノラマビデオから被写体側に近づいたときの半球画像を取得し、半球画像を接合して接合画像を生成し、そして合成画像の視点を固定することにより、バレットタイム撮影の効果を実現する。すなわち、一部のパノラマカメラを使うことでもバレットタイム撮影効果を得ることができるため、本発明によれば、バレットタイム撮影のコストが低くなり、パノラマカメラを被写体の周りで回転させながらパノラマビデオを撮り、そのパノラマビデオを処理することでバレットタイム撮影効果を実現するので、精度が高い。

【0026】

もちろん、上述した方法におけるすべて又は一部のステップは、プログラムにより関連のハードウェアに指令を出して完成することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができる。ここで、記憶媒体として、例えばリードオンリーメモリ（ＲＯＭ，Read Only Memory）、ランダムアクセスメモリ（ＲＡＭ，Random Access Memory）、磁気ディスク、光ディスクなどがある。

【0027】

以上のように、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等代替または改善することができ、いずれも本発明の保護範囲に含まれる。

【図1】

【図2】