ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】映像生成装置、映像生成方法、およびプログラム
(51)【国際特許分類】
G06T 13/80 20110101AFI20241210BHJP
【ＦＩ】
G06T13/80 B
【請求項の数】
10
(21)【出願番号】P 2022006057
(22)【出願日】2022-01-19
(65)【公開番号】P2023105325
(43)【公開日】2023-07-31
【審査請求日】2024-01-22
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）▲１▼ウェブサイト掲載日 ２０２１年１月２０日（オンライン口頭発表：２０２１年１月２２日） ▲２▼ウェブサイトのアドレス ・日本視覚学会 ｈｔｔｐ：／／ｗｗｗ．ｖｉｓｉｏｎｓｏｃｉｅｔｙ．ｊｐ／ｍｅｅｔｉｎｇ．ｈｔｍｌ ・日本視覚学会２０２１年冬季大会 抄録集 ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．２４６３６／ｖｉｓｉｏｎ．３３．１＿３５ ・抄録集の学会誌 ｈｔｔｐｓ：／／ｗｗｗ．ｊｓｔａｇｅ．ｊｓｔ．ｇｏ．ｊｐ／ａｒｔｉｃｌｅ／ｖｉｓｉｏｎ／３３／１／３３＿３５／＿ａｒｔｉｃｌｅ／－ｃｈａｒ／ｊａ／
【新規性喪失の例外の表示】特許法第３０条第２項適用 （２）▲１▼ウェブサイト掲載日 ２０２１年５月２０日 （口頭発表：２０２１年５月２３日） ▲２▼ウェブサイトのアドレス ・Ｖ－ＶＳＳ ウェブサイト ｈｔｔｐｓ：／／ｗｗｗ．ｖｉｓｉｏｎｓｃｉｅｎｃｅｓ．ｏｒｇ／ ・Ｖ－ＶＳＳ ２０２１（プログラムとポスターの公開） ｈｔｔｐｓ：／／ｗｗｗ．ｖｉｓｉｏｎｓｃｉｅｎｃｅｓ．ｏｒｇ／ｐｒｏｇｒａｍｓ／Ｖ－ＶＳＳ＿２０２１＿Ｐｒｏｇｒａｍ．ｐｄｆ ・プログラムの学会誌 ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１６７／ｊｏｖ．２１．９．２８６７
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】吹上 大樹
(72)【発明者】
【氏名】河邉 隆寛
(72)【発明者】
【氏名】久保田 祐貴
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１８－１８０７５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １３／００－１３／８０
(57)【特許請求の範囲】
【請求項1】
提示用単位映像が繰り返して連続させて提示された際に、当該提示を見た観察者に、視対象が連続して動いているかのように知覚させるための映像を生成する映像生成装置であって、１以上の整数をＮとして、
ある画像である第１の元画像と、前記第１の元画像とは異なる画像である第２の元画像と、を用いてＮ個の追加画像を生成する追加画像生成部と、
前記第１の元画像と、前記第２の元画像と、Ｎ個の前記追加画像と、のＮ＋２個の画像による組を前記提示用単位映像として生成する提示用映像生成部と、
を含み、
前記追加画像生成部は、
前記提示用単位映像に含まれるＮ＋２個の画像において、前記提示される際に隣接する２個の画像間での、前記提示される際の単位時間あたりの運動エネルギー、がなるべく等しくなるように、Ｎ個の前記追加画像を生成する
映像生成装置。
【請求項2】
請求項１に記載の映像生成装置であって、前記第２の元画像は、１個以上の視対象が前記第１の元画像における位置と略同じ位置ではない位置にあり、前記視対象以外のものが前記第１の元画像における位置と略同じ位置にある画像である
映像生成装置。
【請求項3】
請求項２に記載の映像生成装置であって、前記第２の元画像における前記１個以上の前記視対象の位置は、前記第１の元画像と前記第２の元画像とを継時的に連続して提示した際に運動が知覚される範囲にある
映像生成装置。
【請求項4】
請求項１から３の何れか１項に記載の映像生成装置であって、前記追加画像生成部は、
前記第１の元画像と、前記第２の元画像と、Ｎ個の前記追加画像の初期の暫定画像と、のＮ＋２個の画像による組を初期の更新対象の画像組として、
更新対象の画像組について、前記提示される際に隣接する２個の画像間での前記運動エネルギーの差分の絶対値の総和を損失として、当該損失が小さくなるようにＮ個の前記追加画像の暫定画像の画素値を更新する処理を所定の条件を満たすまで繰り返すことで得たＮ個の前記暫定画像を、Ｎ個の前記追加画像として得る、
映像生成装置。
【請求項5】
請求項１から３の何れか１項に記載の映像生成装置であって、１以上Ｎ以下の各整数をｎとして、
前記提示用映像生成部は、
前記第１の元画像を第１フレームの画像とし、前記第２の元画像を第２フレームの画像とし、Ｎ個の前記追加画像のｎ番目の画像を第ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、前記提示用単位映像を生成し、
前記追加画像生成部は、
前記第１フレームの画像から前記第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、前記第Ｎ＋２フレームの画像と前記第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように前記Ｎ個の追加画像を生成する、
映像生成装置。
【請求項6】
請求項５に記載の映像生成装置であって、前記追加画像生成部は、
前記第１フレームの画像と、前記第２フレームの画像と、Ｎ個の前記第ｎ＋２フレームの初期の暫定画像と、による組を初期の更新対象の画像組として、
更新対象の画像組について、
前記第１フレームの画像から前記第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、前記第Ｎ＋２フレームの画像と前記第１フレームの画像によるペア１個と、のＮ＋２個のペアについての、各ペアを構成する２個の画像間での運動エネルギーの差分の絶対値の総和、
または、
前記第２フレームの画像から前記第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ個と、前記第Ｎ＋２フレームの画像と前記第１フレームの画像によるペア１個と、のＮ＋１個のペアの各ペアを構成する２個の画像間での運動エネルギーと、前記第１フレームの画像と前記第２フレームの画像の間での運動エネルギーと、の差分の絶対値の総和、
を損失として、当該損失が小さくなるようにＮ個の前記追加画像の暫定画像の画素値を更新する処理を所定の条件を満たすまで繰り返すことで得たＮ個の前記暫定画像をＮ個の前記追加画像として得る、
映像生成装置。
【請求項7】
請求項１から３の何れか１項に記載の映像生成装置であって、２以上の整数をＮとして、１以上Ｎ以下の各整数をｎとして、
前記提示用映像生成部は、
前記第１の元画像を第１フレームの画像とし、前記第２の元画像を第３フレームから第Ｎ＋１フレームうちの何れか１つのフレームである第ｘフレームの画像とし、Ｎ個の前記追加画像のそれぞれを第１フレームでも第ｘフレームでもないＮ個のフレームそれぞれの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、前記提示用単位映像を生成し、
前記追加画像生成部は、
前記第１フレームの画像から前記第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、前記第Ｎ＋２フレームの画像と前記第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように前記Ｎ個の追加画像を生成する、
映像生成装置。
【請求項8】
請求項７に記載の映像生成装置であって、前記追加画像生成部は、
前記第１フレームの画像と、前記第ｘフレームの画像と、第１フレームでも第ｘフレームでもないＮ個のフレームの初期の暫定画像と、による組を初期の更新対象の画像組として、
更新対象の画像組について、
前記第１フレームの画像から前記第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、前記第Ｎ＋２フレームの画像と前記第１フレームの画像によるペア１個と、のＮ＋２個のペアについての、各ペアを構成する２個の画像間での運動エネルギーの差分の絶対値の総和、
または、
前記第１フレームの画像と前記第ｘフレームの画像の間での運動エネルギーをｘ－１で割った値と、Ｎ＋２個の各ペアを構成する２個の画像間での運動エネルギーと、の差分の絶対値の総和、
を損失として、当該損失が小さくなるようにＮ個の前記追加画像の暫定画像の画素値を更新する処理を所定の条件を満たすまで繰り返すことで得たＮ個の前記暫定画像をＮ個の前記追加画像として得る、
映像生成装置。
【請求項9】
映像生成装置が、提示用単位映像が繰り返して連続させて提示された際に、当該提示を見た観察者に、視対象が連続して動いているかのように知覚させるための映像を生成する映像生成方法であって、１以上の整数をＮとして、
前記映像生成装置が、ある画像である第１の元画像と、前記第１の元画像とは異なる画像である第２の元画像と、を用いてＮ個の追加画像を生成する追加画像生成ステップと、
前記映像生成装置が、前記第１の元画像と、前記第２の元画像と、Ｎ個の前記追加画像と、のＮ＋２個の画像による組を前記提示用単位映像として生成する提示用映像生成ステップと、
を含み、
前記追加画像生成ステップは、
前記提示用単位映像に含まれるＮ＋２個の画像において、前記提示される際に隣接する２個の画像間での、前記提示される際の単位時間あたりの運動エネルギー、がなるべく等しくなるように、Ｎ個の前記追加画像を生成する
映像生成方法。
【請求項10】
請求項１から８の何れか１項に記載の映像生成装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、錯覚をもたらす映像を生成する技術に関し、特に、複数枚の画像を同じ順序で繰り返して連続した映像を観察者が見たときに、当該映像中で視対象が連続して動いているかのように観察者に知覚させる映像を生成する技術に関する。
【背景技術】
【0002】
非特許文献１には、動いている対象を含む動画から連続する２枚の画像を第１フレームの画像と第２フレームの画像として取得し、第１フレームの画像と第２フレームの画像のそれぞれの画素値のコントラスト極性を反転させたものを第３フレームの画像と第４フレームの画像として生成し、第１フレームの画像から第４フレームの画像を順に繰り返して連続した映像を提示することで、当該映像を見た観察者が当該映像に含まれる対象が一方向へ動き続けているかのように知覚することが記載されている。特許文献１には、前述した第１フレームの画像と第２フレームの画像の高空間周波数帯域の画像情報のみのコントラスト極性を反転させたものそれぞれを第３フレームの画像と第４フレームの画像として生成した場合でも、当該映像を見た観察者が当該映像に含まれる対象が一方向へ動き続けているかのように知覚することが記載されている。非特許文献１と特許文献１に記載されている錯覚のことを以下では"Four-stroke apparent motion"と呼ぶ。
【0003】
非特許文献２には、動いている対象を含む動画から連続する２枚の画像を第１フレームの画像と第２フレームの画像として取得し、第３フレームの画像として全画素が灰色の画像を用意し、第１フレームの画像から第３フレームの画像を順に繰り返して連続した映像を提示することで、当該映像を見た観察者が当該映像に含まれる対象が一方向へ動き続けているかのように知覚することが記載されている。非特許文献２に記載されている錯覚のことを、非特許文献２に記載されているのと同様に、以下では"Two-stroke apparent motion"と呼ぶ。
【0004】
非特許文献１と特許文献１と非特許文献２に記載されているような錯覚、すなわち、３個以上のフレームの画像を順に繰り返して連続した映像を提示することで、当該映像を見た観察者が当該映像に含まれる視対象が動き続けているかのように知覚する錯覚のことを、以下では便宜的に「連続運動錯覚」と呼ぶこととする。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１８－１８０７５３号公報
【非特許文献】
【0006】
【文献】Anstis, S. M. and Rogers, B. J., "Illusory Continuous Motion from Oscillating Positive-Negative Patterns: Implications for Motion Perception," Perception, Vol.15, pp.627-640, 1986.
【文献】Mather, G. and Challinor, K. L.,"Psychophysical properties of two-stroke apparent motion," Journal of Vision, 9(1):28, pp.1-6, 2009.
【発明の概要】
【発明が解決しようとする課題】
【0007】
連続運動錯覚として知られているのはFour-stroke apparent motionとTwo-stroke apparent motionの２つであり、連続運動錯覚を生じさせるための映像を生成するその他の方法は知られていない。Four-stroke apparent motionとTwo-stroke apparent motionが人間の視覚系における運動検出特性に基づく錯覚となっていることは知られているが、任意のフレーム数の画像を順に繰り返した映像を生成する場合において具体的にどのように映像を生成すれば人間の視覚系における運動検出特性に基づく連続運動錯覚を生じさせる映像が得られるのかは知られていない。すなわち、Four-stroke apparent motionを生じさせるために追加する第３フレームの画像と第４フレームの画像の生成方法と、Two-stroke apparent motionを生じさせるために追加する第３フレームの画像の生成方法と、は全く異なっており、２フレームの元の画像に対して同じ枠組みで任意のフレーム数の画像を追加して連続運動錯覚を生じさせるための映像を生成する技術は知られていない。
【0008】
本発明は、２個の元の画像に任意の個数の画像を追加した連続運動錯覚を生じさせるための映像を、人間の視覚系における運動検出特性に基づくように、生成する技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様は、提示用単位映像が繰り返して連続させて提示された際に、当該提示を見た観察者に、視対象が連続して動いているかのように知覚させるための映像を生成する映像生成装置であって、１以上の整数をＮとして、ある画像である第１の元画像と、前記第１の元画像とは異なる画像である第２の元画像と、を用いてＮ個の追加画像を生成する追加画像生成部と、前記第１の元画像と、前記第２の元画像と、Ｎ個の前記追加画像と、のＮ＋２個の画像による組を前記提示用単位映像として生成する提示用映像生成部と、を含み、前記追加画像生成部は、前記提示用単位映像に含まれるＮ＋２個の画像において、前記提示される際に隣接する２個の画像間での、前記提示される際の単位時間あたりの運動エネルギー、がなるべく等しくなるように、Ｎ個の前記追加画像を生成する。
【発明の効果】
【0010】
本発明によれば、２個の元の画像に任意の個数の画像を追加した連続運動錯覚を生じさせるための映像を、人間の視覚系における運動検出特性に基づいて、生成することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
連続運動錯覚を生じさせるためには、３個以上のフレームの画像を順に繰り返して連続した映像が提示される必要がある。例えば、第１フレームから第３フレームまでの３フレームの画像を用いる場合であれば、第１フレーム、第２フレーム、第３フレームの順の３個の画像による画像組を最小単位として、当該最小単位の画像組が繰り返して連続した画像組が映像として提示される。この提示される映像全体の画像組のことを以下では「提示用連続映像」と呼び、最小単位の画像組のことを「提示用単位映像」と呼ぶ。すなわち、提示用単位映像を繰り返して連続させた映像が提示用連続映像である。
【0013】
Four-stroke apparent motionを生じさせるための提示用単位映像、Two-stroke apparent motionを生じさせるための提示用単位映像、本発明の提示用単位映像、の何れも、ある画像である第１の画像と、第１の画像とは異なる画像である第２の画像と、の２個の画像を用いて提示用単位映像が生成される。第１の画像と第２の画像は、提示用単位映像を生成する元となる画像であるので、第１の画像と第２の画像のことを以下では「元画像」と呼ぶ。第１の元画像の典型例は、ある対象を含む画像であり、第２の元画像の典型例は、第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像である。なお、「第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像」は便宜的な表現であり、「第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像」とは、正しくは、当該ある対象が第１の元画像における位置に対して移動した位置にあり、当該ある対象以外のものは第１の元画像における位置と略同じ位置にある画像、のことである。例えば、第１の元画像はある背景画像の第１の位置にある対象が配置されたものであり、第２の元画像は当該ある背景画像の第１の位置に近接した第２の位置に当該ある対象が配置されたものである。近接した位置とは、第１の元画像と第２の元画像とを継時的に連続提示した際に運動が知覚される範囲における位置である。なお、観察者が知覚しない程度であれば、当該ある対象も当該ある対象以外のものも、第１の元画像と第２の元画像の２つの画像において、形状が異なっていたり、模様が異なっていたり、大きさが異なっていたりしてもよい。略同じ位置とは、実際には僅かに異なっていたとしても観察者が知覚しない程度の異なりであり、観察者が同じ位置であると知覚する位置のことである。
【0014】
Four-stroke apparent motionを生じさせるための提示用単位映像は、２個の元画像に２個の画像が追加されたものである。Two-stroke apparent motionを生じさせる提示用単位映像は、２個の元画像に１個の画像が追加されたものである。本発明の提示用単位映像は、２個の元画像に任意の個数の画像が追加されたものである。これらの追加された画像のことを、以下では「追加画像」という。すなわち、提示用単位映像に含まれる画像のうちの、元画像以外の画像は、追加画像である。具体的には、Four-stroke apparent motionを生じさせるための提示用単位映像は、２個の元画像と２個の追加画像から成り、当該提示用単位映像の第１フレームの画像が第１の元画像であり、当該提示用単位映像の第２フレームの画像が第２の元画像であり、当該提示用単位映像の第３フレームの画像が第１の追加画像であり、当該提示用単位映像の第４フレームの画像が第２の追加画像である。また、Two-stroke apparent motionを生じさせるための提示用単位映像は、２個の元画像と１個の追加画像から成り、当該提示用単位映像の第１フレームの画像が第１の元画像であり、当該提示用単位映像の第２フレームの画像が第２の元画像であり、当該提示用単位映像の第３フレームの画像が追加画像である。また、本発明の提示用単位映像は２個の元画像と任意の個数の追加画像から成り、例えば、当該提示用単位映像の第１フレームの画像が第１の元画像であり、当該提示用単位映像の第２フレームの画像が第２の元画像であり、当該提示用単位映像の第３フレーム以降の画像それぞれが追加画像である。以下では、本発明の提示用単位映像に含まれる追加画像の個数をＮとする。Ｎは１以上の整数である。
【0015】
なお、説明を簡単化するために、全ての画像はいわゆる同じサイズの画像であるとする。すなわち、以降の説明では、全ての画像は縦と横のそれぞれの方向に画素が並んだ二次元の画像であり、全ての画像における縦の画素数は等しく、全ての画像における横の画素数は等しいことを前提とする。また、第２実施形態までは提示される映像のフレームレートが固定であること、すなわち、画像が提示される時間間隔が一定であること、を前提とする。
【0016】
＜発明の概要＞
Four-stroke apparent motionもTwo-stroke apparent motionも、特定の枚数の追加画像を与える場合に、人間の運動検出特性に照らして有効な画像生成方法であるが、それぞれの画像生成の手続きは全く異なっており、任意の枚数の追加画像を生成する場合に一般に使える方法ではない。これらに対し、本発明では、人間の視覚系における運動検出特性にとって最適となるようにすることを考慮して、すなわち、人間の視覚系における運動検出特性にとってなるべく適切となるように、追加画像の枚数に依存しない手続きによって追加画像を生成する。具体的には、本発明では、２個の元画像を用いてＮ個の追加画像を生成してＮ＋２個の画像による提示用単位映像を生成する映像生成処理において、提示される際に隣接する２個の画像の間での運動エネルギーがなるべく等しくなるようにＮ個の追加画像を生成する。
Four-stroke apparent motionもTwo-stroke apparent motionも、特定の枚数の追加画像を与える場合に、人間の運動検出特性に照らして有効な画像生成方法であるが、それぞれの画像生成の手続きは全く異なっており、任意の枚数の追加画像を生成する場合に一般に使える方法ではない。これらに対し、本発明では、人間の視覚系における運動検出特性にとって最適となるようにすることを考慮して、すなわち、人間の視覚系における運動検出特性にとってなるべく適切となるように、追加画像の枚数に依存しない手続きによって追加画像を生成する。具体的には、本発明では、２個の元画像を用いてＮ個の追加画像を生成してＮ＋２個の画像による提示用単位映像を生成する映像生成処理において、提示される際に隣接する２個の画像の間での運動エネルギーがなるべく等しくなるようにＮ個の追加画像を生成する。
【0017】
例えば、Ｎ＝１の場合であれば、提示される際に隣接する２個の画像によるペアは、第１フレームの画像と第２フレームの画像によるペア、第２フレームの画像と第３フレームの画像によるペア、第３フレームの画像と第１フレームの画像によるペア、の３個である。そこで、Ｎ＝１の場合は、第１フレームの画像と第２フレームの画像の間での運動エネルギー、第２フレームの画像と第３フレームの画像の間での運動エネルギー、第３フレームの画像と第１フレームの画像の間での運動エネルギー、の３個の運動エネルギーがなるべく等しくなるように１個の追加画像を生成する。
【0018】
また例えば、Ｎ＝２の場合であれば、提示される際に隣接する２個の画像によるペアは、第１フレームの画像と第２フレームの画像によるペア、第２フレームの画像と第３フレームの画像によるペア、第３フレームの画像と第４フレームの画像によるペア、第４フレームの画像と第１フレームの画像によるペア、の４個である。そこで、Ｎ＝２の場合は、第１フレームの画像と第２フレームの画像の間での運動エネルギー、第２フレームの画像と第３フレームの画像の間での運動エネルギー、第３フレームの画像と第４フレームの画像の間での運動エネルギー、第４フレームの画像と第１フレームの画像の間での運動エネルギー、の４個の運動エネルギーがなるべく等しくなるように２個の追加画像を生成する。
【0019】
例えば、本発明では、２個の元画像と、Ｎ個の追加画像の初期の暫定画像と、によるＮ＋２個の画像による画像組を初期の更新対象の画像組として、更新対象の画像組に含まれるＮ個の追加画像の暫定画像を所定の条件を満たすように更新して新たな更新対象の画像組を得る更新処理を繰り返すことで、Ｎ個の追加画像を生成する。所定の条件とは、更新対象の画像組において順番が隣接する２個の画像によるペアＮ＋１個と、更新対象の画像組のＮ＋２番目の画像と１番目の画像によるペア１個と、の計Ｎ＋２個のペアの画像間での運動エネルギーがなるべく等しくなるようにする条件である。本発明では、この条件を満たす更新処理の一具体例として、Ｎ＋２個のペアの画像間での運動エネルギーの差分の絶対値の総和を損失として、当該損失が小さくなるように追加画像の暫定画像の画素値を更新する処理を用いる。もちろん、前述した条件を満たす更新処理であればどのような更新処理を用いてもよく、前述した具体例とは異なる損失が小さくなるように追加画像の暫定画像の画素値を更新する処理を用いてもよい。なお、追加画像の初期の暫定画像はどのような画像であってもよいが、例えば、ホワイトノイズやガウシアンノイズによる二次元ノイズ画像を各追加画像の初期の暫定画像とすればよい。
【0020】
＜第１実施形態＞
図１に例示するように、第１実施形態の映像生成装置１００は、元画像取得部１１０と追加画像生成部１２０と提示用映像生成部１３０を有する。図２に例示するように、映像生成装置１００は、ステップＳ１１０とステップＳ１２０とステップＳ１３０の処理を行う。映像生成装置１００は、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、の２個の画像を用いて、Ｎ個の追加画像を生成して、Ｎ＋２個の画像による提示用単位映像を生成する。映像生成装置１００は、提示用単位映像が繰り返して連続させて提示された際に、当該提示を見た観察者に、対象が連続して動いているかのように知覚させるための映像を生成する映像生成装置である。
図１に例示するように、第１実施形態の映像生成装置１００は、元画像取得部１１０と追加画像生成部１２０と提示用映像生成部１３０を有する。図２に例示するように、映像生成装置１００は、ステップＳ１１０とステップＳ１２０とステップＳ１３０の処理を行う。映像生成装置１００は、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、の２個の画像を用いて、Ｎ個の追加画像を生成して、Ｎ＋２個の画像による提示用単位映像を生成する。映像生成装置１００は、提示用単位映像が繰り返して連続させて提示された際に、当該提示を見た観察者に、対象が連続して動いているかのように知覚させるための映像を生成する映像生成装置である。
【0021】
［元画像取得部１１０］
元画像取得部１１０は、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、を取得して出力する（ステップＳ１１０）。元画像取得部１１０が出力した第１の元画像と第２の元画像は追加画像生成部１２０と提示用映像生成部１３０に入力される。
元画像取得部１１０は、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、を取得して出力する（ステップＳ１１０）。元画像取得部１１０が出力した第１の元画像と第２の元画像は追加画像生成部１２０と提示用映像生成部１３０に入力される。
【0022】
［［元画像取得部１１０の第１例］］
ある対象の動きを含む動画が入力映像として映像生成装置１００に入力された場合には、元画像取得部１１０には、映像生成装置１００に入力された入力映像が入力される。例えば、元画像取得部１１０は、入力映像から連続した２個のフレームの画像を第１の元画像と第２の元画像として取得して出力する。入力映像において連続する２個のフレームの画像において当該ある対象の位置の異なりが視認されない場合には、元画像取得部１１０は、入力映像から間に１個以上のフレームが存在する２個のフレームの画像を第１の元画像と第２の元画像として取得して出力してもよい。すなわち、元画像取得部１１０は、入力映像からある対象を含むある１つのフレームを第１の元画像として取得して出力し、当該入力映像から当該ある１つのフレームとは別のフレームの画像であって第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像を第２の元画像として取得して出力する（ステップＳ１１０Ａ）。
ある対象の動きを含む動画が入力映像として映像生成装置１００に入力された場合には、元画像取得部１１０には、映像生成装置１００に入力された入力映像が入力される。例えば、元画像取得部１１０は、入力映像から連続した２個のフレームの画像を第１の元画像と第２の元画像として取得して出力する。入力映像において連続する２個のフレームの画像において当該ある対象の位置の異なりが視認されない場合には、元画像取得部１１０は、入力映像から間に１個以上のフレームが存在する２個のフレームの画像を第１の元画像と第２の元画像として取得して出力してもよい。すなわち、元画像取得部１１０は、入力映像からある対象を含むある１つのフレームを第１の元画像として取得して出力し、当該入力映像から当該ある１つのフレームとは別のフレームの画像であって第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像を第２の元画像として取得して出力する（ステップＳ１１０Ａ）。
【0023】
［［元画像取得部１１０の第２例］］
ある対象を含む画像が入力画像として映像生成装置１００に入力された場合には、元画像取得部１１０には、入力画像を第１の元画像として出力するとともに、入力画像に含まれる当該ある対象の位置を近接した別の位置に移動させた画像を公知の画像合成技術を用いて合成して第２の元画像として出力する（ステップＳ１１０Ｂ）。
ある対象を含む画像が入力画像として映像生成装置１００に入力された場合には、元画像取得部１１０には、入力画像を第１の元画像として出力するとともに、入力画像に含まれる当該ある対象の位置を近接した別の位置に移動させた画像を公知の画像合成技術を用いて合成して第２の元画像として出力する（ステップＳ１１０Ｂ）。
【0024】
［［元画像取得部１１０の第３例］］
ある対象の画像とある背景の画像が入力画像として映像生成装置１００に入力された場合には、元画像取得部１１０には、背景の画像の第１の位置に当該ある対象を配置した画像を合成して第１の元画像として出力するとともに、背景の画像の第１の位置に近接した第２の位置に当該ある対象を配置した画像を合成して第２の元画像として出力する（ステップＳ１１０Ｃ）。
ある対象の画像とある背景の画像が入力画像として映像生成装置１００に入力された場合には、元画像取得部１１０には、背景の画像の第１の位置に当該ある対象を配置した画像を合成して第１の元画像として出力するとともに、背景の画像の第１の位置に近接した第２の位置に当該ある対象を配置した画像を合成して第２の元画像として出力する（ステップＳ１１０Ｃ）。
【0025】
第１例から第３例の元画像取得部１１０が生成するのは、ある対象を含む画像である第１の元画像と、第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像である第２の元画像である。すなわち、第１例から第３例の元画像取得部１１０が生成する第１の元画像と第２の元画像においては、ある対象が異なる位置にあり、当該ある対象以外のものは略同じ位置にある。しかし、これは１つの典型例であって、第１の元画像と第２の元画像においては、複数の対象が異なる位置にあり、当該複数の対象以外のものが略同じ位置にあってもよい。また、第１の元画像と第２の元画像においてどの対象が異なる位置にあってどの対象が略同じ位置にあるかなどを考慮せずに、元画像取得部１１０は、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、を得るようにしてもよい。要するに、元画像取得部１１０は、互いに異なる２つの画像を第１の元画像と第２の元画像として得るようにすればよい。
【0026】
なお、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、が２個の入力画像として映像生成装置１００に入力される場合には、元画像取得部１１０は、映像生成装置１００に入力された２個の入力画像をそのまま第１の元画像と第２の元画像として出力すればよい。また、この場合には、映像生成装置１００が元画像取得部１１０を備えないようにして、映像生成装置１００がステップＳ１１０を行わないようにして、映像生成装置１００に入力された２個の入力画像がそのまま第１の元画像と第２の元画像として追加画像生成部１２０と提示用映像生成部１３０に入力されるようにしてもよい。
【0027】
［追加画像生成部１２０］
追加画像生成部１２０には、元画像取得部１１０が出力した第１の元画像と第２の元画像、または、映像生成装置１００に入力された２個の画像である第１の元画像と第２の元画像が入力される。第１の元画像と第２の元画像は互いに異なる画像であり、第１の元画像の一例はある対象を含む画像であり、第２の元画像の一例は第１の元画像に対して当該対象に動きが与えられた画像に相当する画像である。追加画像生成部１２０は、第１の元画像と第２の元画像を用いて、Ｎ個の追加画像を生成して出力する（ステップＳ１２０）。その際、追加画像生成部１２０は、後述する提示用映像生成部１３０が生成する提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の追加画像を生成する。追加画像の生成においては、提示される際の画像の順番、すなわち、後述する提示用映像生成部１３０が生成する提示用単位映像に含まれる画像の順番、を考慮する必要があるので、追加画像生成部１２０の動作の詳細については提示用映像生成部１３０の説明の後で説明する。追加画像生成部１２０が出力したＮ個の追加画像は提示用映像生成部１３０に入力される。
追加画像生成部１２０には、元画像取得部１１０が出力した第１の元画像と第２の元画像、または、映像生成装置１００に入力された２個の画像である第１の元画像と第２の元画像が入力される。第１の元画像と第２の元画像は互いに異なる画像であり、第１の元画像の一例はある対象を含む画像であり、第２の元画像の一例は第１の元画像に対して当該対象に動きが与えられた画像に相当する画像である。追加画像生成部１２０は、第１の元画像と第２の元画像を用いて、Ｎ個の追加画像を生成して出力する（ステップＳ１２０）。その際、追加画像生成部１２０は、後述する提示用映像生成部１３０が生成する提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の追加画像を生成する。追加画像の生成においては、提示される際の画像の順番、すなわち、後述する提示用映像生成部１３０が生成する提示用単位映像に含まれる画像の順番、を考慮する必要があるので、追加画像生成部１２０の動作の詳細については提示用映像生成部１３０の説明の後で説明する。追加画像生成部１２０が出力したＮ個の追加画像は提示用映像生成部１３０に入力される。
【0028】
なお、生成する追加画像の個数であるＮの値は、映像生成装置１００内に予め記憶しておいてもよいし、映像生成装置１００の外から追加画像生成部１２０に入力されるようにしてもよい。Ｎの値を映像生成装置１００内に予め記憶しておく場合には、図示しない記憶部を映像生成装置１００に備えて、当該記憶部にＮの値を予め記憶しておけばよい。Ｎの値が映像生成装置１００の外から追加画像生成部１２０に入力されるようにする場合には、キーボードやテンキーやタッチパネルなどの図示しない入力部を映像生成装置１００に備えて、入力部が利用者によるＮの値の入力を受け付けるようにして、利用者が入力部に入力した生成する追加画像の個数の値、すなわち、入力部が受け付けた値をＮの値として追加画像生成部１２０に対して出力して、図１に破線で示すように、Ｎの値が追加画像生成部１２０に入力されるようにすればよい。
【0029】
また、生成する追加画像の個数であるＮの値は、ある１個の値であってもよいし、異なる複数個の値であってもよい。Ｎの値が異なる複数個の値（Ｎ1、Ｎ2，・・・）である場合には、追加画像生成部１２０はＮの値それぞれ（すなわち、Ｎ1、Ｎ2，・・・それぞれ）に対して追加画像を生成して出力すればよく、後述する提示用映像生成部１３０はＮの値それぞれ（すなわち、Ｎ1、Ｎ2，・・・それぞれ）に対して処理を行えばよい。
【0030】
［提示用映像生成部１３０］
提示用映像生成部１３０には、元画像取得部１１０が出力した第１の元画像と第２の元画像、もしくは、映像生成装置１００に入力された２個の画像である第１の元画像と第２の元画像、と、追加画像生成部１２０が出力したＮ個の追加画像と、が入力される。提示用映像生成部１３０は、入力されたＮ＋２個の画像を提示する順番に連結した画像組を最小単位として生成し、生成した当該最小単位の画像組を提示用単位映像として出力するか、または、当該最小単位の画像組（すなわち、提示用単位映像）を複数回繰り返して接続した画像組を提示用連続映像として出力する（ステップＳ１３０）。提示用映像生成部１３０が出力した提示用単位映像または提示用連続映像は、映像生成装置１００から出力されて、映像提示装置、映像提示装置に入力する映像を記録しておく記録装置、などに入力される。
提示用映像生成部１３０には、元画像取得部１１０が出力した第１の元画像と第２の元画像、もしくは、映像生成装置１００に入力された２個の画像である第１の元画像と第２の元画像、と、追加画像生成部１２０が出力したＮ個の追加画像と、が入力される。提示用映像生成部１３０は、入力されたＮ＋２個の画像を提示する順番に連結した画像組を最小単位として生成し、生成した当該最小単位の画像組を提示用単位映像として出力するか、または、当該最小単位の画像組（すなわち、提示用単位映像）を複数回繰り返して接続した画像組を提示用連続映像として出力する（ステップＳ１３０）。提示用映像生成部１３０が出力した提示用単位映像または提示用連続映像は、映像生成装置１００から出力されて、映像提示装置、映像提示装置に入力する映像を記録しておく記録装置、などに入力される。
【0031】
１以上Ｎ以下の各整数をｎとすると、例えば、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、Ｎ個の追加画像のｎ番目の画像を最小単位の画像組の第ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、Ｎ＋２フレームからなる最小単位の画像組を生成する。
【0032】
例えば、Ｎ＝１の場合であれば、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、１個の追加画像を最小単位の画像組の第３フレームの画像として、第１フレームの画像から第３フレームの画像までを順に連結することで最小単位の画像組を生成する。また例えば、Ｎ＝２の場合であれば、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、２個の追加画像のうちの１番目の画像を最小単位の画像組の第３フレームの画像とし、２個の追加画像のうちの２番目の画像を最小単位の画像組の第４フレームの画像として、第１フレームの画像から第４フレームの画像までを順に連結することで最小単位の画像組を生成する。
【0033】
［映像の提示］
映像提示装置は、観察者が観察可能なように映像を提示する装置であって、例えば、映像を表示するディスプレイ装置、映像を投影するプロジェクタを備える。映像提示装置には、映像生成装置１００が出力した提示用単位映像または提示用連続映像が入力される。映像提示装置は、提示用単位映像が入力された場合には、入力された提示用単位映像を複数回繰り返して接続した映像を提示し、提示用連続映像が入力された場合には、入力された提示用連続映像をそのまま提示する。すなわち、映像提示装置は、上述した最小単位の画像組を複数回繰り返して接続した画像組を提示する。
映像提示装置は、観察者が観察可能なように映像を提示する装置であって、例えば、映像を表示するディスプレイ装置、映像を投影するプロジェクタを備える。映像提示装置には、映像生成装置１００が出力した提示用単位映像または提示用連続映像が入力される。映像提示装置は、提示用単位映像が入力された場合には、入力された提示用単位映像を複数回繰り返して接続した映像を提示し、提示用連続映像が入力された場合には、入力された提示用連続映像をそのまま提示する。すなわち、映像提示装置は、上述した最小単位の画像組を複数回繰り返して接続した画像組を提示する。
【0034】
したがって、上述したＮ＋２フレームからなる最小単位の画像組（すなわち、提示用単位映像）における提示される画像の順番は、第１フレームの画像、第２フレームの画像、ｎが１からＮまでの順の第ｎフレームの画像、第１フレームの画像、第２フレームの画像、ｎが１からＮまでの順の第ｎフレームの画像、第１フレームの画像、第２フレームの画像、・・・である。すなわち、最小単位の画像組（すなわち、提示用単位映像）に含まれるＮ＋２個の画像における提示される際に隣接する２個の画像によるペアは、最小単位の画像組において順番が隣接する２個の画像によるペアＮ＋１個と、最小単位の画像組のＮ＋２番目の画像と１番目の画像によるペア１個と、の計Ｎ＋２個のペアである。
【0035】
［追加画像生成部１２０の詳細］
上述したように、追加画像生成部１２０は、提示用映像生成部１３０が生成する提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の追加画像を生成する。また、上述したように、提示用映像生成部１３０が生成する提示用単位映像は、例えば、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、Ｎ個の追加画像のｎ番目の画像を最小単位の画像組の第ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結したＮ＋２フレームからなる最小単位の画像組である。したがって、この例であれば、追加画像生成部１２０は、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように追加画像を生成する。Ｎ＝２の場合とＮ＝３の場合の追加画像生成部１２０の動作の具体例は以下の通りである。
上述したように、追加画像生成部１２０は、提示用映像生成部１３０が生成する提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の追加画像を生成する。また、上述したように、提示用映像生成部１３０が生成する提示用単位映像は、例えば、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、Ｎ個の追加画像のｎ番目の画像を最小単位の画像組の第ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結したＮ＋２フレームからなる最小単位の画像組である。したがって、この例であれば、追加画像生成部１２０は、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように追加画像を生成する。Ｎ＝２の場合とＮ＝３の場合の追加画像生成部１２０の動作の具体例は以下の通りである。
【0036】
［Ｎ＝２の場合の追加画像生成部１２０の動作の具体例］
Ｎ＝２の場合、すなわち、映像生成装置１００が４フレームの画像による提示用単位映像を生成する場合には、追加画像生成部１２０は、例えば下記のステップＳ１２０－Ａ１からステップＳ１２０－Ａ３を行う。
Ｎ＝２の場合、すなわち、映像生成装置１００が４フレームの画像による提示用単位映像を生成する場合には、追加画像生成部１２０は、例えば下記のステップＳ１２０－Ａ１からステップＳ１２０－Ａ３を行う。
【0037】
追加画像生成部１２０は、まず、元画像取得部１１０が取得した第１の元画像を第１フレームの画像とし、元画像取得部１１０が取得した第２の元画像を第２フレームの画像とし、所定の初期画像を第３フレームの暫定画像とし、所定の初期画像を第４フレームの暫定画像として設定する（ステップＳ１２０－Ａ１）。所定の初期画像は、任意の画像であり、例えばホワイトノイズやガウシアンノイズによる二次元ノイズ画像である。
【0038】
追加画像生成部１２０は、次に、第１フレームの画像と第２フレームの画像の間での運動エネルギー、第２フレームの画像と第３フレームの暫定画像の間での運動エネルギー、第３フレームの暫定画像と第４フレームの暫定画像の間での運動エネルギー、第４フレームの暫定画像と第１フレームの画像の間での運動エネルギー、の４つの運動エネルギーがなるべく等しくなるようにする条件を満たすように、第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値を更新する処理を所定の回数繰り返す（ステップＳ１２０－Ａ２）。ステップＳ１２０－Ａ２の各更新処理は、例えば、以下のステップＳ１２０－Ａ２１とステップＳ１２０－Ａ２２による処理である。なお、追加画像生成部１２０は、ステップＳ１２０－Ａ２において、更新処理の終了条件が所定の回数であることは必須ではなく、所定の終了条件を満たすまで更新処理を繰り返すようにすればよい。
【0039】
ステップＳ１２０－Ａ２１：追加画像生成部１２０は、フレーム間の運動エネルギーそれぞれを算出する。具体的には、追加画像生成部１２０は、第１フレームの画像と第２フレームの画像の間の運動エネルギー、第２フレームの画像と第３フレームの暫定画像の間の運動エネルギー、第３フレームの暫定画像と第４フレームの暫定画像の間の運動エネルギー、第４フレームの暫定画像と第１フレームの画像の間の運動エネルギー、を算出する。
【0040】
ステップＳ１２０－Ａ２２：追加画像生成部１２０は、ステップＳ１２０－Ａ２１で得たフレーム間の運動エネルギーがなるべく等しくなるような損失に基づいて、当該損失が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行う。追加画像生成部１２０は、公知の何れの最適化処理を行ってもよいが、例えば、参考文献１に記載されたアルゴリズムによる最適化処理を行えばよい。
参考文献１： Kingma, D. and Ba, J. "Adam: A Method for Stochastic Optimization," Proceedings of the 3rd International Conference for Learning Representations, San Diego, 2015.
参考文献１： Kingma, D. and Ba, J. "Adam: A Method for Stochastic Optimization," Proceedings of the 3rd International Conference for Learning Representations, San Diego, 2015.
【0041】
追加画像生成部１２０は、次に、ステップＳ１２０－Ａ２で最終的に得た第３フレームの暫定画像と第４フレームの暫定画像のそれぞれ、すなわち、最適化後の第３フレームの暫定画像と第４フレームの暫定画像のそれぞれを、第３フレームの追加画像と第４フレームの追加画像として出力する（ステップＳ１２０－Ａ３）。
【0042】
追加画像生成部１２０は、提示される際に隣接する２個のフレーム間の運動エネルギーを計算するステップＳ１２０－Ａ２１の処理を、例えば以下のステップＡとステップＢによって行う。
ステップＡ：まず、提示される際に隣接する２個の画像を提示される際の時間方向に連結した画像列に、空間周波数f、空間方位o、時間周波数τ、および位相φの４種類のパラメータの組によって定義される複数の異なる３次元フィルタ群のうちの各フィルタを畳み込み、各畳み込み結果を得る。各フィルタは、追加画像生成部１２０の図示しない記憶部に予め記憶されている。畳み込み処理の対象となる画像列に含まれる画像が２フレーム分であるため、各フィルタは、時間範囲が２フレームまでに制限されたフィルタとすればよい。
ステップＡ：まず、提示される際に隣接する２個の画像を提示される際の時間方向に連結した画像列に、空間周波数f、空間方位o、時間周波数τ、および位相φの４種類のパラメータの組によって定義される複数の異なる３次元フィルタ群のうちの各フィルタを畳み込み、各畳み込み結果を得る。各フィルタは、追加画像生成部１２０の図示しない記憶部に予め記憶されている。畳み込み処理の対象となる画像列に含まれる画像が２フレーム分であるため、各フィルタは、時間範囲が２フレームまでに制限されたフィルタとすればよい。
【0043】
追加画像生成部１２０では、こうした要件を満たす３次元フィルタ群として、例えば、参考文献２に記載される２次元Steerableフィルタを用いて生成されたものを用いる。具体的には、追加画像生成部１２０は、位相が互いに2πτだけ異なる２つの２次元Steerableフィルタψ’f,o,φ, ψ’f,o,φ+2πτを時間方向に連結したものを、３次元フィルタψf,o,τ,φとして用いる。追加画像生成部１２０の図示しない記憶部には、この３次元フィルタを複数の空間周波数f、空間方位o、時間周波数τ、および位相φの組み合わせの分だけ生成したものが予め記憶されていて、追加画像生成部１２０は、入力された画像列に対して各フィルタを畳み込み、各畳み込み結果を得る。空間周波数f、空間方位o、時間周波数τとしては、畳み込み処理の対象となる画像列に含まれる時間・空間周波数帯や方位が検出可能なように、予め設定された値を用いればよい。位相φとしては、0oと90oの２種類、すなわち、0とπ/2の２種類を用いる。上述した畳み込み処理で得られたf, o, τ, φ毎の畳み込み結果をSp,f,o,τ,φとする。ここでpは画素の各位置を表すものとする。
【0044】
ステップＢ：追加画像生成部１２０は、ステップＡで得た畳み込み結果について、位相だけが異なるもの同士で平方和を計算することによって、空間周波数f、空間方位o、時間周波数τによる各組み合わせについての各画素における運動エネルギーMp,f,o,τを得る。すなわち、追加画像生成部１２０は、空間周波数f、空間方位o、時間周波数τによる各組み合わせについて、各画素における運動エネルギーを下記の式（１）により得る。
【数1】
【0045】
なお、ステップＢで得た画素p、空間周波数f、空間方位o、時間周波数τ毎の運動エネルギーを連結したものが、提示される際に隣接する２個のフレーム間の運動エネルギーである。
参考文献２： Simoncelli, E. P. and Freeman, W. T., "The Steerable Pyramid: A Flexible Architecture for Multi-Scale Derivative Computation," IEEE Second International Conference on Image Processing, Washington DC, 1995.
参考文献２： Simoncelli, E. P. and Freeman, W. T., "The Steerable Pyramid: A Flexible Architecture for Multi-Scale Derivative Computation," IEEE Second International Conference on Image Processing, Washington DC, 1995.
【0046】
追加画像生成部１２０は、ステップＳ１２０－Ａ２２では、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるようにする損失として、例えば、以下で説明する２つの損失L1, L2の何れかを用いればよい。１つ目の損失L1は、提示される際に隣接する２個の画像間での運動エネルギーの差分の絶対値の総和が小さくなるようにするための損失であり、２つ目の損失L2は、提示される際に隣接する２個の元画像間での運動エネルギーを目標として、提示される際に隣接する２個の画像間での運動エネルギーのうちの提示される際に隣接する２個の元画像間での運動エネルギー以外のものそれぞれができるだけ目標に近づくようにするための損失である。
【0047】
提示される際に隣接する２個の画像によるペア、すなわち、ステップＳ１２０－Ａ２１で運動エネルギーを計算した２個の画像によるペアのそれぞれにインデックスを割り当てて、各損失を具体的に説明する。この説明においては、第１フレームの画像と第２フレームの画像によるペア（すなわち、第１の元画像と第２の元画像によるペア）のインデックスをi=1とし、第２フレームの画像と第３フレームの画像によるペアのインデックスをi=2とし、第３フレームの画像と第４フレームの画像によるペアのインデックスをi=3とし、第４フレームの画像と第１フレームの画像によるペアのインデックスをi=4とする。また、ステップＳ１２０－Ａ２１で得られた各ペアiの画素p、空間周波数f、空間方位o、時間周波数τによる組合せそれぞれに対応する運動エネルギーをMi
p,f,o,τとする。さらに、隣接する２つのペアのインデックスの組による集合をF={(1, 2), (2, 3), (3, 4)}とし、空間周波数f、空間方位o、時間周波数τの全ての組の集合をCとし、画像に含まれる画素の集合をXとする。そうすると、１つ目の損失L1、すなわち、提示される際に隣接する２個の画像間での運動エネルギーの差分の絶対値の総和が小さくなるようにするための損失は、下記の式（２）の通りとなる。すなわち、追加画像生成部１２０は、損失L1を用いる場合には、ステップＳ１２０－Ａ２２においては、下記の式（２）の損失L1の値が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行う。
【数2】
【0048】
なお、追加画像生成部１２０は、ステップＳ１２０－Ａ２２における最適化処理では式（２）の定数部分を含まずに、下記の式（２'）の損失L1の値が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行ってもよい。下記の式（２'）のL1は、提示される際に隣接する２個の画像間での運動エネルギーの差分の絶対値の総和である。
【数3】
【0049】
また、２つ目の損失L2、すなわち、提示される際に隣接する２個の元画像間での運動エネルギーM1
p,f,o,τを目標として、提示される際に隣接する２個の画像間での運動エネルギーのうちの提示される際に隣接する２個の元画像間での運動エネルギー以外のものそれぞれができるだけ目標に近づくようにするための損失は、下記の式（３）の通りとなる。すなわち、追加画像生成部１２０は、損失L2を用いる場合には、ステップＳ１２０－Ａ２２においては、下記の式（３）の損失L2の値が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行う。
【数4】
【0050】
なお、追加画像生成部１２０は、ステップＳ１２０－Ａ２２における最適化処理では式（３）の定数部分を含まずに、下記の式（３'）の損失L2の値が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行ってもよい。
【数5】
【0051】
なお、後述するＮ＝３の場合などを含むように式（３'）を一般化すると、下記の式（３''）になる。下記の式（３''）のL2は、第１の元画像と第２の元画像の間での運動エネルギーと、提示される際に隣接する２個の画像間での運動エネルギーのうちの第１の元画像と第２の元画像の間での運動エネルギー以外のものそれぞれと、の差分の絶対値の総和である。
【数6】
【0052】
［Ｎ＝３の場合の追加画像生成部１２０の動作の具体例］
Ｎ＝３の場合、すなわち、映像生成装置１００が５フレームの画像による提示用単位映像を生成する場合には、追加画像生成部１２０は、例えば下記のステップＳ１２０－Ｂ１からステップＳ１２０－Ｂ３を行う。
Ｎ＝３の場合、すなわち、映像生成装置１００が５フレームの画像による提示用単位映像を生成する場合には、追加画像生成部１２０は、例えば下記のステップＳ１２０－Ｂ１からステップＳ１２０－Ｂ３を行う。
【0053】
追加画像生成部１２０は、まず、元画像取得部１１０が取得した第１の元画像を第１フレームの画像とし、元画像取得部１１０が取得した第２の元画像を第２フレームの画像とし、所定の初期画像を第３フレームの暫定画像とし、所定の初期画像を第４フレームの暫定画像とし、所定の初期画像を第５フレームの暫定画像として設定する（ステップＳ１２０－Ｂ１）。所定の初期画像は、任意の画像であり、例えばホワイトノイズやガウシアンノイズによる二次元ノイズ画像である。
【0054】
追加画像生成部１２０は、次に、第１フレームの画像と第２フレームの画像の間での運動エネルギー、第２フレームの画像と第３フレームの暫定画像の間での運動エネルギー、第３フレームの暫定画像と第４フレームの暫定画像の間での運動エネルギー、第４フレームの暫定画像と第５フレームの暫定画像の間での運動エネルギー、第５フレームの暫定画像と第１フレームの画像の間での運動エネルギー、の５つの運動エネルギーがなるべく等しくなるようにする条件を満たすように、第３フレームの暫定画像と第４フレームの暫定画像と第５フレームの暫定画像の画素値を更新する処理を所定の回数繰り返す（ステップＳ１２０－Ｂ２）。ステップＳ１２０－Ｂ２の各更新処理は、例えば、以下のステップＳ１２０－Ｂ２１とステップＳ１２０－Ｂ２２による処理である。なお、追加画像生成部１２０は、ステップＳ１２０－Ｂ２において、更新処理の終了条件が所定の回数であることは必須ではなく、所定の終了条件を満たすまで更新処理を繰り返すようにすればよい。
【0055】
ステップＳ１２０－Ｂ２１：追加画像生成部１２０は、フレーム間の運動エネルギーそれぞれを算出する。具体的には、追加画像生成部１２０は、第１フレームの画像と第２フレームの画像の間の運動エネルギー、第２フレームの画像と第３フレームの暫定画像の間の運動エネルギー、第３フレームの暫定画像と第４フレームの暫定画像の間の運動エネルギー、第４フレームの暫定画像と第５フレームの暫定画像の間の運動エネルギー、第５フレームの暫定画像と第１フレームの画像の間の運動エネルギー、を算出する。
【0056】
ステップＳ１２０－Ｂ２２：追加画像生成部１２０は、ステップＳ１２０－Ｂ２１で得たフレーム間の運動エネルギーがなるべく等しくなるような損失に基づいて、当該損失が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値と第５フレームの暫定画像の画素値とを更新する最適化処理を行う。例えば、追加画像生成部１２０は、Ｎ＝２の場合の追加画像生成部１２０の動作の具体例の説明箇所で上述した２つの損失L1, L2の何れか、具体的には、提示される際に隣接する２個の画像間での運動エネルギーの差分の絶対値の総和、または、第１の元画像と第２の元画像の間での運動エネルギーと、提示される際に隣接する２個の画像間での運動エネルギーのうちの第１の元画像と第２の元画像の間での運動エネルギー以外のものそれぞれと、の差分の絶対値の総和、を損失として、損失が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値と第５フレームの暫定画像の画素値とを更新する最適化処理を行えばよい。追加画像生成部１２０は、公知の何れの最適化処理を行ってもよいが、例えば、参考文献１に記載されたアルゴリズムによる最適化処理を行えばよい。
【0057】
追加画像生成部１２０は、次に、ステップＳ１２０－Ｂ２で得た第３フレームの暫定画像と第４フレームの暫定画像と第５フレームの暫定画像のそれぞれ、すなわち、最適化後の第３フレームの暫定画像と第４フレームの暫定画像と第５フレームの暫定画像のそれぞれを、第３フレームの追加画像と第４フレームの追加画像と第５フレームの追加画像として出力する（ステップＳ１２０－Ｂ３）。
【0058】
＜第２実施形態＞
第１実施形態では、第１の元画像を提示用単位映像の第１フレームの画像とし、第２の元画像を提示用単位映像の第２フレームの画像とし、Ｎ個の追加画像のｎ番目の画像を提示用単位映像の第ｎ＋２フレームの画像とする具体例を説明したが、提示用単位映像において、第１の元画像と第２の元画像の間に１個以上の追加画像が含まれるようにしてもよい。この場合も第１実施形態と同様に、追加画像生成部１２０は、提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の前記追加画像を生成すればよい。
第１実施形態では、第１の元画像を提示用単位映像の第１フレームの画像とし、第２の元画像を提示用単位映像の第２フレームの画像とし、Ｎ個の追加画像のｎ番目の画像を提示用単位映像の第ｎ＋２フレームの画像とする具体例を説明したが、提示用単位映像において、第１の元画像と第２の元画像の間に１個以上の追加画像が含まれるようにしてもよい。この場合も第１実施形態と同様に、追加画像生成部１２０は、提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の前記追加画像を生成すればよい。
【0059】
例えば、Ｎを２以上の整数として、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、１番目の追加画像を最小単位の画像組の第２フレームの画像とし、第２の元画像を最小単位の画像組の第３フレームの画像とし、２番目以降の各追加画像を最小単位の画像組の第ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、Ｎ＋２フレームからなる最小単位の画像組を提示用単位映像として生成するようにしてもよい。この例においても、追加画像生成部１２０は、第１実施形態と同様に、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように追加画像を生成すればよい。追加画像生成部１２０の最適化処理における損失としては、第１実施形態で上述した損失L1を用いてもよいし、以下で説明する損失L3を用いてもよい。損失L3は、第１の元画像と第２の元画像の間での運動エネルギーを第１の元画像と第２の元画像の間の追加画像の個数に１を加えた値で割った値を目標として、提示される際に隣接する２個の画像間での運動エネルギーそれぞれができるだけ目標に近づくようにするための損失である。
【0060】
追加画像生成部１２０が行う最適化処理における損失を得る具体例を、Ｎ＝３として、提示用映像生成部１３０が、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第３フレームの画像とし、１番目の追加画像を第２フレームの画像とし、２番目の追加画像を第４フレームの画像とし、３番目の追加画像を第５フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、Ｎ＋２フレームからなる最小単位の画像組を提示用単位映像として生成する例で説明する。この例であれば、追加画像生成部１２０は、まず、目標運動エネルギーMT
p,f,o,τを、第１フレームの画像と第３フレームの画像を時間的に連結した画像列に第１実施形態で上述した複数の異なる３次元の各フィルタψf,o,τ,φを畳み込んで得られた各畳み込み結果Sp,f,o,τ,φを使って下記の式（４）により得る。
その後、追加画像生成部１２０は、最適化処理における損失L3を下記の式（５）により得る。
【数7】
その後、追加画像生成部１２０は、最適化処理における損失L3を下記の式（５）により得る。
【数8】
【0061】
また、より一般的に、Ｎを２以上の整数、ｘを３以上の整数として、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、１番目の追加画像を最小単位の画像組の第２フレームの画像とし、…、ｘ－２番目の追加画像を最小単位の画像組の第ｘ－１フレームの画像とし、第２の元画像を最小単位の画像組の第ｘフレームの画像とし、ｘ－１番目の追加画像を最小単位の画像組の第ｘ＋１フレームの画像とし、…、Ｎ番目の追加画像を最小単位の画像組の第Ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、Ｎ＋２フレームからなる最小単位の画像組を提示用単位映像として生成するようにしてもよい。この場合においても、追加画像生成部１２０は、第１実施形態と同様に、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように追加画像を生成すればよい。追加画像生成部１２０の最適化処理における損失としては、上述の通り、損失L1を用いてもよいし、損失L3を用いてもよい。
【0062】
追加画像生成部１２０は、まず、目標運動エネルギーMT
p,f,o,τを、第１フレームの画像と第ｘフレームの画像を時間的に連結した画像列に第１実施形態で上述した複数の異なる３次元の各フィルタψf,o,τ,φを畳み込んで得られた各畳み込み結果Sp,f,o,τ,φを使って下記の式（４'）により得る。
その後、追加画像生成部１２０は、最適化処理における損失損失L3を下記の式（５'）により得る。
【数9】
その後、追加画像生成部１２０は、最適化処理における損失損失L3を下記の式（５'）により得る。
【数10】
【0063】
＜第３実施形態＞
第２実施形態までは提示される映像のフレームレートが固定であることを前提としたが、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについての提示される時間間隔は、全て同一であることは必須ではなく、予め設定された時間間隔であればよい。本発明では、Ｎ＋２個のペアについての提示される時間間隔が全て同一であるか否かにかかわらず、観察者が観察する際の、人間の視覚系における運動検出特性を考慮して追加画像を生成すればよい。したがって、Ｎ＋２個のペアについての提示される時間間隔が全て同一であるか否かにかかわらず、追加画像生成部１２０は、提示される際に隣接する２個の画像の間での提示される際の単位時間あたりの運動エネルギーがなるべく等しくなるようにＮ個の追加画像を生成ればよい。
第２実施形態までは提示される映像のフレームレートが固定であることを前提としたが、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについての提示される時間間隔は、全て同一であることは必須ではなく、予め設定された時間間隔であればよい。本発明では、Ｎ＋２個のペアについての提示される時間間隔が全て同一であるか否かにかかわらず、観察者が観察する際の、人間の視覚系における運動検出特性を考慮して追加画像を生成すればよい。したがって、Ｎ＋２個のペアについての提示される時間間隔が全て同一であるか否かにかかわらず、追加画像生成部１２０は、提示される際に隣接する２個の画像の間での提示される際の単位時間あたりの運動エネルギーがなるべく等しくなるようにＮ個の追加画像を生成ればよい。
【0064】
＜プログラム及び記録媒体＞
上述した映像生成装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図３に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
上述した映像生成装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図３に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【0065】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。
【0066】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0067】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【0068】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【0069】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【図1】
【図2】
【図3】