特許 6611837 映像呈示装置、その方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6611837

(24)【登録日】2019年11月8日

(45)【発行日】2019年11月27日

(54)【発明の名称】映像呈示装置、その方法、プログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20191118BHJP

   G03B 21/00 20060101ALI20191118BHJP

   G03B 21/14 20060101ALI20191118BHJP

   G09G 5/00 20060101ALI20191118BHJP

   G09G 5/36 20060101ALI20191118BHJP

【ＦＩ】

   H04N5/74 Z

   G03B21/00 D

   G03B21/14 Z

   G09G5/00 530T

   G09G5/00 550C

   G09G5/00 550H

   G09G5/36 520C

   G09G5/36 520D

   G09G5/36 510M

【請求項の数】3

【全頁数】27

(21)【出願番号】特願2018-22975(P2018-22975)

(22)【出願日】2018年2月13日

(62)【分割の表示】特願2016-514945(P2016-514945)の分割

【原出願日】2015年4月21日

(65)【公開番号】特開2018-78660(P2018-78660A)

(43)【公開日】2018年5月17日

【審査請求日】2018年2月13日

(31)【優先権主張番号】特願2014-88389(P2014-88389)

(32)【優先日】2014年4月22日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2014-230720(P2014-230720)

(32)【優先日】2014年11月13日

(33)【優先権主張国】JP

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１） 頒布日 ２０１４年５月１５日 刊行物 「Ｖｉｓｉｏｎ Ｓｃｉｅｎｃｅｓ Ｓｏｃｉｅｔｙ １４ｔｈ Ａｎｎｎｕａｌ Ｍｅｅｔｉｎｇ Ｐｒｏｇｒａｍ」 発表題目 「Ｔｏ Ｄｅｆｏｒｍ ｏｒ Ｎｏｔ ｔｏ Ｄｅｆｏｒｍ ： Ｉｌｌｕｓｏｒｙ Ｄｅｆｏｒｍａｔｉｏｎｓ ｏｆ ａ Ｓｔａｔｉｃ Ｏｂｊｅｃｔ Ｔｒｉｇｇｅｒｅｄ ｂｙ ｔｈｅ Ｌｉｇｈｔ Ｐｒｏｊｅｃｔｉｏｎ ｏｆ Ｍｏｔｉｏｎ Ｓｉｇｎａｌｓ」（歪むか、歪まないか：運動信号の光投影によって引き起こされる静止物体の錯覚的変形）公開者 河邉 隆寛、澤山 正貴、丸谷 和史、西田 眞也

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】河邉 隆寛

(72)【発明者】

【氏名】西田 眞也

(72)【発明者】

【氏名】丸谷 和史

(72)【発明者】

【氏名】澤山 正貴

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１１−０８５６８６（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１６３３１７（ＷＯ，Ａ１）

【文献】 特開平０８−００６１５８（ＪＰ，Ａ）

【文献】 特表２０１０−５０６３１７（ＪＰ，Ａ）

【文献】 特開２０１５−００７８８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ９／３１

Ｇ０３Ｂ ２１／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

対象物を撮影して原画像を取得する撮影ステップと、
前記原画像から複数の位相分布の異なる狭帯域画像を生成し、前記生成した複数の位相分布の異なる狭帯域画像が時間的に滑らかにつながるように並べた映像を生成する映像生成ステップと、
前記生成された映像を、前記対象物に重ねて表示する、または、前記対象物に映像を投影する呈示ステップと、
を含み、
前記狭帯域画像は、前記原画像に含まれるエッジの情報を保持しつつ、画像全体の空間周波数帯域を前記原画像の空間周波数帯域よりも狭めた画像であり、
前記呈示ステップは、前記対象物に含まれるエッジまたは前記対象物の輪郭と、前記狭帯域画像に含まれるエッジと、が重なるように前記生成された映像を前記対象物に重ねて表示する、または、対象物に映像を投影する
映像呈示方法。

【請求項2】

対象物を撮影して原画像を取得する撮影部と、
前記原画像から複数の位相分布の異なる狭帯域画像を生成し、前記生成した複数の位相分布の異なる狭帯域画像が時間的に滑らかにつながるように並べた映像を生成する映像生成部と、
前記生成された映像を、前記対象物に重ねて表示する、または、前記対象物に映像を投影する呈示部と、
を含み、
前記狭帯域画像は、前記原画像に含まれるエッジの情報を保持しつつ、画像全体の空間周波数帯域を前記原画像の空間周波数帯域よりも狭めた画像であり、
前記呈示部は、前記対象物の輪郭または前記対象物に含まれるエッジまたは前記対象物の輪郭と、前記狭帯域画像に含まれるエッジと、が重なるように前記生成された映像を重ねて表示する、または、前記対象物に映像を投影する
映像呈示装置。

【請求項3】

請求項２の映像呈示装置の処理をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視覚的な錯覚をもたらす技術に関する。

【背景技術】

【0002】

例えば非特許文献１には、対象物（単一無彩色）の３次元形状をカメラで計測し、対象物の３次元形状に合わせて動きを表現した映像を投影することで、対象物に錯覚的な動きの効果を与える技術が開示されている。非特許文献１では、平板な単一無彩色の平面と、当該平面に置かれた単一無彩色の自動車模型を対象物として、この対象物をキャンバスとし、自動車のボディの色や反射特性、自動車の周囲の道路、自動車が走っている空間の昼光の条件などをシミュレーションした配色を映像として対象物に投影し、対象物である自動車模型があたかも道路を走行しているように錯覚させ、対象物に動きの効果を付与している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Raskar, R.; Ziegler, R.; Willwacher, T., "Cartoon Dioramas in Motion", International Symposium on Non-Photorealistic Animation and Rendering (NPAR), June 2002.

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１は、対象物を単なるキャンバスとみなし、対象物が有するパターンを利用することなく対象物に動きの効果を与えるものであった。本発明の課題は、対象物が有するパターンを利用して対象物に動きが与えられているように知覚させることである。

【課題を解決するための手段】

【0005】

対象物に透過性のある映像を重ねて表示する、または、対象物に映像を投影する。この際、映像に含まれるエッジが、対象物に含まれるエッジまたは対象物の輪郭と重なるように、映像を表示または投影する。この映像は、低空間周波数成分を有する歪み分布に基づいて対象物の画像をピクセル移動によって変形した画像と、対象物の画像と、の差分画像が時間的に切り替わる映像である。

【発明の効果】

【0006】

これにより、対象物が有するパターンを利用して対象物に動きが与えられているように知覚させることができる。

【図面の簡単な説明】

【0007】

【図1】第１実施形態の映像表示装置の構成を示すブロック図。

【図2】第１実施形態の映像表示装置の動作を示すフローチャート。

【図3】第１実施形態の実施例の映像投影装置の構成を示すブロック図。

【図4】第１実施形態の実施例の映像投影装置の動作を示すフローチャート。

【図5】第１実施形態の実施例の映像投影装置の投影部をプロジェクタで実現した場合の投影画角と対象物の関係について説明する図。

【図6】第２実施形態の映像表示装置の構成を示すブロック図。

【図7】第２実施形態の映像表示装置の動作を示すフローチャート。

【図8】第３実施形態の映像表示装置の構成を示すブロック図。

【図9】第３実施形態の映像表示装置の映像生成部の動作を示すフローチャート。

【図10】静止成分と運動成分を例示する図。

【図11】第４実施形態の映像表示装置の構成を示すブロック図。

【図12】第４実施形態の映像表示装置の動作を示すフローチャート。

【図13】図１３Ａおよび図１３Ｂは処理の概要を例示するための概念図である。

【図14】図１４Ａおよび図１４Ｂは処理の概要を例示するための概念図である。

【図15】図１５は実施形態の機能構成を例示するブロック図である。

【図16】図１６は実施形態の処理を例示するフロー図である。

【図17】図１７は実施形態の処理を例示するフロー図である。

【図18】図１８Ａおよび図１８Ｂは画像に輝度運動成分を加味する方法を例示するための図である。

【図19】図１９は実施形態の機能構成を例示するブロック図である。

【発明を実施するための形態】

【0008】

本発明の実施の形態を説明する。以下に説明する実施形態では、従来技術とは異なり、対象物のパターンを利用しつつ、そのパターンの見え方を錯覚的に変形させる。各実施形態では、対象物を単なるキャンバスと見なすのではなく、対象物が有するパターンを積極的に利用して動きの錯覚を生じさせる。よって対象物は単一無彩色ではなく、有彩色もしくはグレースケールとするのが好適である。各実施形態では、従来技術とは異なり、対象物の３次元性を考慮しなくともよい。例えば、静止対象物を撮影した画像の見え方を錯覚的に変形させることも可能である。従来技術では対象物の移動や変形という側面に光を当ててきたが、各実施形態では、対象物が有するパターンと対象物に重ねて表示する映像の画像情報の双方を利用することで、対象物に元々存在しなかった質感や印象（液体感や顔表情）を、対象物に持たせており、この点で従来技術と異なる。また、単に撮影した画像を画面上で変形させるという技術とは異なり、各実施形態では、対象物の質感印象変化を映像の重ね合わせによって視聴者に与えることができる。これにより、従来技術とは異なる知覚体験を視聴者に与えることができる。以下、各実施形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0009】

［第１実施形態］
以下、図１、図２を参照して、本発明の基本的な構成例である第１実施形態の映像表示装置について説明する。図１は、本実施形態の映像表示装置１の構成を示すブロック図である。図２は、本実施形態の映像表示装置１の動作を示すフローチャートである。図１に示すように、映像表示装置１は、表示部１１を含む。表示部１１は、対象物に透過性のある映像を重ねて表示する。ここで、「対象物」とは、立体的形状を備える物（例えば、花瓶、ボール、模型）であってもよいし、所定の平面（例えば、紙、ボード、壁、スクリーン）であってもよい。対象物が平面である場合には、その平面にパターンが含まれることが望ましい。平面に含まれるパターンの例として、例えば、紙に印刷した写真、画像、所定の平面に投影した写真、画像が考えられる。対象物をディスプレイなどの画面とした場合には、パターンの例として、ディスプレイなどの画面に表示した画像などが挙げられる。

【0010】

対象物に透過性のある映像を「重ねて表示する」方法として、典型的には、対象物にプロジェクタなどで映像を投影する方法がある。この場合、プロジェクタなどで投影された映像は、当然に透過性を有する。また、例えば対象物の前方に透明な液晶画面を設置し、当該液晶画面に透過性のある映像を流すことにより、液晶画面を挟んで、対象物と対向する観察者からみて、対象物に透過性のある映像を「重ねて表示する」ことも可能である。ここで、「映像」とは、例えば、低空間周波数成分を有する歪み分布の画像が時間的に切り替わる映像である。本実施形態では映像は予め用意されており、映像表示装置１の外部から入力されるものとする。表示部１１は、当該映像に含まれるエッジが対象物の輪郭、または対象物に含まれるエッジと重なるように映像を表示する。例えば、対象物が花瓶である場合、表示部１１は、映像に含まれるエッジが、対象物である花瓶の輪郭や、花瓶に描かれた模様などの花瓶に含まれるエッジと重なるように映像を表示する。例えば、対象物が平面であって、当該平面にパターンとして画像が投影されている場合、表示部１１は、映像に含まれるエッジが、対象物に投影された画像の模様など、対象物に含まれるエッジと重なるように映像を表示する。

【0011】

従って、表示部１１は、透過性のある映像であって、低空間周波数成分を有する歪み分布の画像が時間的に切り替わる映像を、映像に含まれるエッジが対象物の輪郭、または対象物に含まれるエッジと重なるように、対象物に重ねて表示する（Ｓ１１）。

【0012】

［第１実施形態の実施例］
以下、本実施形態の一実施例である映像投影装置１ａについて、図３、図４を参照して説明する。図３は、本実施形態の実施例の映像投影装置１ａの構成を示すブロック図である。図４は、本実施形態の実施例の映像投影装置１ａの動作を示すフローチャートである。図３に示す通り、映像投影装置１ａは、投影部１１ａを含む構成である。本実施例では、静止している対象物を扱うものとする。前述同様、投影部１１ａは、低空間周波数成分を有する歪み分布の画像が時間的に切り替わる映像を、映像に含まれるエッジが対象物の輪郭、または対象物に含まれるエッジと重なるように、静止している対象物に重ねて投影する（Ｓ１１ａ）。投影部１１ａは、例えばプロジェクタなどで実現可能である。例えば、投影部１１ａがプロジェクタである場合、図５に示すようにプロジェクタ投影レンズ中心からみた対象物９の水平方向の視角θ、垂直方向の視角φは投影する映像の水平、垂直方向の視角と一致させる必要がある。

【0013】

なお、表示部１１の実施例として投影部１１ａを選択することは、後述の第２、３、４実施形態などにおいても同様に可能であり、後述の実施形態の各装置を表す各ブロック図には、表示部１１の実施例として投影部１１ａが包含されることを表記してある。

【0014】

非特許文献１の技術では、対象物の周囲にある媒質（例えば空気、水、水蒸気）が不規則に揺らいでいるように見せる特殊な錯覚を与えることは簡単ではない。非特許文献１の技術を応用して上述のような特殊な錯覚を与えるためには、媒質の揺らぎや、光線の屈折などをシミュレーションするための膨大な計算が必要である。本実施形態の映像投影装置１aによれば、少ない計算量で対象物に特殊な錯覚を付与することができる。また、本実施形態の映像投影装置１aによれば、平面形状の対象物、立体形状の対象物、有彩色の対象物、および無彩色かつ濃淡を有する対象物にも錯覚を付与することができる。

【0015】

［第２実施形態］
以下、図６、図７を参照して映像生成機能を装置内に含む第２実施形態の映像表示装置２について説明する。図６は、本実施形態の映像表示装置２の構成を示すブロック図である。図７は、本実施形態の映像表示装置２の動作を示すフローチャートである。図６に示すように、映像表示装置２は、第１実施形態と同じ表示部１１と、撮影部２１と、映像生成部２２を含む。

【0016】

撮影部２１は、対象物を撮影して原画像を取得する（Ｓ２１）。映像生成部２２は、原画像から複数の異なる狭帯域画像を生成し、生成した複数の異なる狭帯域画像が時間的に滑らかにつながるように並べた映像を生成する（Ｓ２２）。表示部１１は、前述同様、生成された映像を、対象物に重ねて表示する（Ｓ１１）。

【0017】

狭帯域画像は、原画像に含まれるエッジの情報を保持しつつ、画像全体の空間周波数帯域を原画像の空間周波数帯域よりも狭めた画像であって、かつ、透過性のある画像である。

【0018】

映像生成部２２の実現例として、例えば参考文献１に記載のように、画像を位相の１８０度異なる方位フィルタで畳み込み、畳み込みした画像間を時間的に滑らかにつないで錯覚的に運動印象をもたらす映像を生成してもよい。
（参考文献１：Freeman, W. T., Adelson, E. H., & Heeger, D. J. (1991). Proceedings of the 18th annual conference on computer graphics and interactive techniques, 27-30.）

【0019】

［第３実施形態］
以下、図８、図９を参照して映像生成機能を装置内に含む第３実施形態の映像表示装置３について説明する。図８は、本実施形態の映像表示装置３の構成を示すブロック図である。図９は、本実施形態の映像表示装置３の映像生成部３２の動作を示すフローチャートである。図８に示すように、映像表示装置３は、第２実施形態と同じ表示部１１、撮影部２１と、第２実施形態と異なる映像生成部３２を含む。映像生成部３２は、変形映像生成部３２１と、フーリエ変換部３２２と、分離部３２３を含む。変形映像生成部３２１は、対象物を撮影した原画像に対し動的な変形を加えることによって、静止対象画像が変形する映像を作成する（Ｓ３２１）。変形はピクセル移動によって表現される。このピクセル移動は予め計算しておいたアルゴリズムに基づく。例えば液体印象を対象物に付加したい場合は参考文献２、および本願出願時に未公開の特許出願である特願２０１３−１３２６０９号のアルゴリズムを参考にする。
（参考文献２：Kawabe, T., Maruya, K., & Nishida, S. (2013). Seeing transparent liquids from dynamic image distortion. Journal of Vision, 13(9): 208.）

【0020】

以下、特願２０１３−１３２６０９号のアルゴリズムに基づく変形映像生成部３２１の実現例を開示する。まず、変形映像生成部３２１は、歪み分布に基づいて原画像を変調した変調画像を複数生成する。このとき、透明液体が流動している印象が強く知覚されるようにするためには、歪み分布（歪み地図）の空間周波数が３ｃｐｄ（ｃｙｃｌｅｓ ｐｅｒ ｄｅｇｒｅｅ）以下となる歪みを原画像に変調することが望ましい。換言すれば、隣接画素間での歪み量の差が小さくなるような粗い歪みを原画像に加えると、より強く透明液体の印象を知覚させることができる。なお、原画像に同一の低い空間周波数成分（例えば３ｃｐｄ以下）を有する歪み分布を用いて変調しても良いし、異なる低い空間周波数成分（例えば一方には２ｃｐｄ以下、他方には３ｃｐｄ以下）を有する歪み分布を用いて変調しても良い。また、変調画像には２次元以上の歪み方向を付与するものとする。歪みの種類は、回転歪み、平行移動歪み、ランダムな歪みなどの２次元の幾何学的な歪みであれば何でも良い。

【0021】

次に、変形映像生成部３２１は、原画像から生成された複数の変調画像に基づいて映像を生成する。例えば変形映像生成部３２１は、原画像から生成された複数の変調画像が時間的に切替呈示されるように、順序付けしてなる変調画像列を映像として生成してもよい。変調画像列は、変調画像列が視聴者に静止画の系列ではなく動画像として視聴可能な範囲で各画像の呈示時間（フレームレート）を設定されたもの、すなわち、「変調画像を時間的に並べることで構成される映像」である。また、例えば変形映像生成部３２１は、原画像から生成された複数の変調画像の各々を切り替えて呈示させる制御を行ってもよい。各画像の呈示間隔は、視聴者に静止画の系列ではなく動画像（映像）として視聴可能な範囲で制御すればよい。例えば、各画像の呈示時間が０．０５（ｓｅｃ）を超えない範囲としたり、２０Ｈｚ以上のフレームレートとしたりすればよい。

【0022】

次に、フーリエ変換部３２２は、変形映像生成部３２１で作成された映像を３次元（時空間）フーリエ変換する（Ｓ３２２）。分離部３２３は、時間フィルタリングによってＤＣ成分（静止成分）と運動成分とを分離し、運動成分のみを映像として出力する（Ｓ３２３）。

【0023】

別の表現では、変形映像生成部３２１は、所定のアルゴリズムに基づいて原画像のピクセルを移動して得た複数の画像群を時間的に滑らかにつながるように並べた映像を生成する（Ｓ３２１）。フーリエ変換部３２２は、生成された映像を３次元（時空間）フーリエ変換する（Ｓ３２２）。分離部３２３は、フーリエ変換結果に基づいて、静止成分と運動成分とを分離し、運動成分のみを映像として出力する（Ｓ３２３）。

【0024】

図１０に、上述のステップＳ３２１〜Ｓ３２３により抽出された、静止成分（ＤＣ成分）と運動成分の例を示す。運動成分は主に高空間周波数成分で構成される。図５に示したように、対象物と同じ視角で運動成分を映像として、対象物に重ねて表示することにより、両者の位相関係が元の動画と一致する。この条件下では、対象物の空間構造が運動成分によって錯覚的に捕捉される。その結果として、対象物が動いて見える。

【0025】

［第４実施形態］
以下、図１１、図１２を参照して対象物に表示する原画像の生成機能を装置内に含む第４実施形態の映像表示装置４について説明する。図１１は、本実施形態の映像表示装置４の構成を示すブロック図である。図１２は、本実施形態の映像表示装置４の動作を示すフローチャートである。図１１に示すように、本実施形態の映像表示装置４は、第３実施形態と同じ表示部１１、撮影部２１、映像生成部３２と、第３実施形態にない原画像表示部４１を含む。撮影部２１、映像生成部３２は、第３実施形態と同様に、それぞれステップＳ２１、Ｓ３２を実行する。原画像表示部４１は、ステップＳ２１において対象物を撮影して取得した原画像を別の静止メディア（例えば、ディスプレイ、スクリーンなど）に表示（投影）する（Ｓ４１）。表示部１１は、このように静止メディアに対して表示した原画像に対して映像を重ねて表示（投影）する。これにより、上述と同様の効果が得られる。このとき、映像は第２実施形態に示したように画像に方位フィルタを畳み込んで作成してもよいし、第３実施形態に示したように画像に変形を加えることで作成してもよい。別の静止メディアに表示する場合は、対象物に原画像を印刷したり、別のプロジェクタによって投影したり、電子ペーパーに表示したりすることが可能である。

【0026】

対象物の撮影は外部カメラを用いる。カメラはできるだけ空間解像度の高いものがよい。計算時間を除けば、即時的に眼前の静止対象に錯覚的動きを付加することが可能である。本実施形態の一実施例である映像投影装置４ａの投影部１１ａとして、プロジェクタを用いることができる。このプロジェクタは市販のもので構わないが、明るい部屋で用いる場合は、輝度の高いプロジェクタとする必要がある。

【0027】

対象物のサイズによって、理想的な視聴距離は異なってくる。例えば本形態の方式を用いて１６ｃｍ四方の映像に動きを付加した場合、１．５ｍほどの視聴距離が必要となる。対象が大きいほど、視聴距離を長くする必要がある。

【0028】

３次元の対象物に映像を投影する場合、対象物投影面の奥行きを考慮しないで投影した場合、対象物投影面の奥行き差が大きい場合には、映像と対象物の構造にずれが生じる場合がある。ずれが生じない範囲で投影可能な、比較的投影面の奥行き差が小さい対象物を用いればより好適となる。また、奥行きの大きい３次元対象物に映像を投影する場合には、対象物の３次元形状を把握し、当該形状に合わせて投影する映像を変形することで、奥行き方向へ傾いた面を錯覚的に変形することが可能である。

【0029】

本形態の映像表示装置によれば、例えば静止した顔画像の表情を錯覚的に変化させたり、視線方向を変えたりすることができる。また、動きのパターンを変更することで、対象物がはためいて見えるように錯覚させたり、流動する液体下に存在するかのように錯覚させたりすることができる。印刷物のような２次元媒体を対象物として、当該対象物に映像を投影する場合、媒体内の対象物のもつ輝度のダイナミックレンジは一般に狭いが、本形態では、対象物に比べてハイダイナミックレンジの映像を、対象物に重ねて投影するので、対象物の見かけを高画質にしつつ、その対象物に錯覚的な動きを付加することができる。また、本形態の映像表示装置によれば、カメラで撮影した画像に対して、処理時間を除けば、即時的に動きの錯覚的効果を付加することが可能である。

【0030】

本形態の映像表示装置は、美術館や博物館での展示手法や、エンターテインメント施設で利用されるアトラクションの要素技術として応用可能である。例えば、紙などの静止メディアに印刷された子供向けキャラクタを視覚的に動かすことができる。

【0031】

従来技術では、動画を呈示するために、その動画の時間周波数に応じた色差運動成分が必要であった。以下では、所定の大きさ以上の時間周波数の色差運動成分を用いることなく、その大きさ以上の時間周波数で像が動いているように錯覚させる形態を説明する。

【0032】

人間は、時空間フィルタリングのような機能を通して、動画内から局所的な運動成分を検出している（参考文献３：Watson, A. B., & Ahumada, A. J, “Model of human visual-motion sensing,” Journal of the Optical Society of America, (1985), A, 2, 322-342.）。これと同様な機能は、時間周波数フィルタなどを通して動画内から運動成分と静止成分とを分離抽出するという画像情報処理によって実現できる。

【0033】

人間は色や輝度コントラストで定義される静止画像成分を輝度運動成分に引き寄せて知覚することが知られている（「参考文献４：Ramachandran, V. S., “Interaction between colour and motion in human vision,” Nature (1987), 328, 645-647.」および「参考文献５：Anstis, S., “Kinetic edges become displaced, segregated, and invisible,” In D. M.-K. Lam (Ed.), Neural mechanisms of visual perception, Proceedings of the Second Retina Research Foundation Conference, Texas (1989): Portfolio Press, 247-260.」）。この視覚特性から、動画内の輝度運動成分によって、画像の見え方を変調させることができると考えられる。

【0034】

人間の視覚系は色信号で定義された運動信号に鈍感である一方で、輝度信号で定義された運動信号に対しては敏感である（参考文献６：Ramachandran, V. S., & Gregory, R. L, “Does colour provide an input to human motion perception?” Nature (1978), 275, 55-56.）。加えて、一定以上の速さで動く対象に対する人間の空間解像度は静止した対象に対するものよりも低い（参考文献７：Kelly, D. H. (1979). Motion and vision. II. Stabilized spatio-temporal threshold surface. Journal of the Optical Society of America, 69, 1340-1349.）。すなわち、動画の運動成分から色成分を除去したとしても、人間に知覚される映像の質は大きく低下しない。

【0035】

各実施形態では、以上のような人間の知覚特性を考慮し、絶対値が零より大きい空間周波数成分を含み「時間周波数の絶対値が第１値以下の像」に、「時間周波数の絶対値が第２値以上の輝度運動成分」を加味する。なお「輝度運動成分」は「像」に応じた成分であり、「第２値」は「第１値」よりも大きい。「絶対値が零より大きい空間周波数成分を含む」とは、非零の空間周波数成分を含むことを意味する。例えば、「第１値」がＦ_１であり、「第２値」がＦ_２であるとすると、０≦Ｆ_１＜Ｆ_２の関係を満たす。Ｆ_１＝０であってもよいし、Ｆ_１＞０であってもよい。Ｆ_１の例は、「像」が止まっているかのように知覚される時間周波数の絶対値である（例えば、零の近傍）。ただし、Ｆ_１が、「像」が動いていると知覚される時間周波数であってもよい。Ｆ_１＝０の場合、「時間周波数の絶対値が第１値以下の像」は静止した像である。Ｆ_１＞０の場合、「時間周波数の絶対値が第１値以下の像」は、大きさが第１値以下の周波数成分を持つ動きを持ち、「時間周波数の絶対値が第２値以上の輝度運動成分」よりもゆっくりと動く像である。「像」は単一の時間周波数成分（例えば０Ｈｚ）のみを持っていてもよいし、複数個の時間周波数成分を持っていてもよい（すなわち、複数個の時間周波数の像を合成したものであってもよい）。以下では、「時間周波数の絶対値が第１値以下の成分」を「低時間周波数成分」と呼び、「時間周波数の絶対値が第２値以上の成分」を「高時間周波数成分」と呼ぶ。「像」は一様ではなく、絶対値が零より大きい空間周波数成分（非零の空間周波数成分）を含むことが望ましい。「像」の色差成分および輝度成分の両方が絶対値が零より大きい空間周波数成分を含んでいてもよいし、色差成分または輝度成分の一方のみが絶対値が零より大きい空間周波数成分を含んでいてもよい。このような「像」に「輝度運動成分」が加味された映像を見た人間は、「像」が「第１値」の大きさの時間周波数よりも高い時間周波数で動いているように錯覚する（動的錯覚）。例えば、静止した「像」に「輝度運動成分」を加味した場合、人間はこの「像」が動いているように錯覚する。なお、「周波数αが周波数βよりも高い」とは、周波数αの絶対値｜α｜が周波数βの絶対値｜β｜よりも大きいことを意味する。

【0036】

「像」は輝度成分のみを含む無彩色（グレースケール）の像であってもよいし、有彩色（カラー）を含む像であってもよい。特に、後者の像に輝度運動成分を加味した場合、低時間周波数成分よりも高い色差成分を含んでいないにもかかわらず、有彩色の像が低時間周波数成分よりも高い周波数で動いているように錯覚させることができる。「像」は情報処理の対象となる画像（画像情報）であってもよいし、対象物の表面に表れた像であってもよい。対象物の表面に表れた「像」の例は、対象物の表面に「印刷」「描画」「表示」または「投影」された画像や写真、対象物の表面を構成する素材の色合いに基づく柄や模様、対象物の表面の形状に基づくパターン（例えば、模様、境界線、濃淡）などである。「対象物の表面」は、平面であってもよいし、曲面であってもよいし、凹凸面であってもよい。「対象物」は、立体的形状を備える物（例えば、花瓶、ボール、模型、建築物）であってもよいし、用途上、平面とみなせる物（例えば、紙、ボード、壁、スクリーン、画面、透過型ディスプレイ）であってもよい。

【0037】

大きな動的錯覚をもたらすためには、「像」および「輝度運動成分」が同一の「動画」に対応することが望ましい。例えば、「像」が「動画」の「複数個のフレーム」での時間周波数が零（時間周波数＝０Ｈｚ）または零の近傍となる成分に対応し、「輝度運動成分」が当該「複数個のフレーム」での時間周波数の絶対値が正（｜時間周波数｜＞０Ｈｚ）となる輝度成分に対応する。特に「動画」が「周期的または反復的な運動成分」を含む場合、より大きな効果が期待できる。「周期的な運動成分」とは、厳密に周期運動を行う成分のみを意味するのではなく、周期性の高い運動を行う成分をも意味する。同様に、「反復的な運動成分」とは、厳密な反復運動を行う成分のみを意味するのではなく、反復性の高い運動を行う成分をも意味する。「動画」が「周期的または反復的な運動成分」を含む場合、「像」が当該「動画」に含まれた任意のフレームの静止画像に対応するものであってもよい。「ＡがＢに対応する」とは、ＡがＢであることであってもよいし、ＡにＢが由来すること（基づくこと）であってもよいし、ＢにＡが由来することであってもよい。「ＡにＢが由来する」とは、ＡがＢから得られることであってもよいし、ＡがＢの複製から得られることであってもよいし、ＡがＢを近似したものから得られることであってもよい。例えば、「動画」やその複製から「像」および「輝度運動成分」が抽出されてもよいし、カメラやスキャナーで取り込まれた静止した「像」から「動画」が生成され、その「動画」から「輝度運動成分」が抽出されてもよい。

【0038】

一定値以上の輝度コントラストに対する運動視の機能は定常的である（参考文献８：Pantle, A., & Sekuler, R. (1969). Contrast response of human visual mechanisms sensitive to orientation and direction of motion. Vision Research, 9, 397-406.）。また、運動視の空間解像度は静止画像に対する知覚の空間解像度よりも低い（参考文献７）。つまり、動画から抽出した輝度運動成分の空間解像度やコントラストを操作して運動情報自体の質を落としても、知覚される動画像の質は保たれる。よって「動画」に含まれた輝度運動成分動画の高空間周波数成分やコントラストを低減させた成分を「輝度運動成分」としても、十分な動的錯覚を引き起こすことができる。これにより、動的錯覚の程度をほとんど低下させることなく、情報量を削減できる。

【0039】

「像に輝度運動成分を加味する」とは、例えば「像に輝度運動成分を合成すること」「像に輝度運動成分を重ね合わせること」「像に輝度運動成分を統合すること」「像に輝度運動成分を追加すること」「像に輝度運動成分を反映させること」「像に輝度運動成分を盛り込むこと」または「像の画素値と輝度運動成分の画素値とに対し、少なくとも加算または乗算またはべき乗を含む演算を作用させること」である。「画像に輝度運動成分を加味する」ための具体的な方法については後述する。

【0040】

［第５実施形態］
本形態では、動画Ｍ_１から「低時間周波数成分」と「高時間周波数成分」とを抽出する。「低時間周波数成分」を「画像（像）」とし、「高時間周波数成分」から抽出した輝度成分を「輝度運動成分」とする。「高時間周波数成分」の色差成分は使用されない。「画像」に「輝度運動成分」を統合（加味）する演算が行われ、それによって得られた動画Ｍ_２が表示される（図１３Ａ）。これにより、動画Ｍ_２を見た人間の視覚系で「画像」と「輝度運動成分」とが統合され、「画像」が「低時間周波数」よりも高い時間周波数で動いているような錯覚をもたらす。このように、動画Ｍ_１から「高時間周波数成分」の色差成分を取り除いても知覚的な映像の質が保たれる。

【0041】

＜構成＞
図１５に例示するように、本形態の動画成分抽出装置５１は、低時間周波数成分抽出部５１１（第１処理部）、輝度運動成分抽出部５１２（第２処理部）、および出力部５１３を有する。本形態の動的錯覚呈示装置５２（錯覚呈示装置）は、入力部５２１、演算部５２２、および表示部５２３を有する。動画成分抽出装置５１および低時間周波数成分抽出部５１１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）、ＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ、ディスプレイ等の表示装置等を備える汎用または専用のコンピュータに所定のプログラムが読み込まれることで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

【0042】

＜処理＞
図１６を用いて本形態の処理を説明する。本形態の動画Ｍ_１は有彩色を含むカラー動画であり、Ｒチャネル、Ｇチャネル、Ｂチャネルの強度変化を表す画素値で構成されている（式（１））。

【数1】

ただし、｛Ｒ（ｘ，ｙ，ｔ）｝，｛Ｇ（ｘ，ｙ，ｔ）｝，｛Ｂ（ｘ，ｙ，ｔ）｝は、それぞれ、画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）を要素とする空間２次元、時間１次元の情報を持つ３次元行列である。画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）は、それぞれ水平位置ｘ、垂直位置ｙ、フレーム番号ｔでのＲチャネル、Ｇチャネル、Ｂチャネルの強度を表す。ｘ，ｙ，ｔは、それぞれ３次元座標系で動画を表現した場合の水平位置、垂直位置、フレーム番号を示す整数である。水平位置の下限および上限をｘ_ｍｉｎおよびｘ_ｍａｘ（ｘ_ｍｉｎ＜ｘ_ｍａｘ）とし、垂直位置の下限および上限をｙ_ｍｉｎおよびｙ_ｍａｘ（ｙ_ｍｉｎ＜ｙ_ｍａｘ）とし、フレーム番号の下限および上限をｔ_ｍｉｎおよびｔ_ｍａｘ（ｔ_ｍｉｎ＜ｔ_ｍａｘ）とする。ｘ，ｙ，ｔはｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘを満たす。動画Ｍ_１は絶対値が零より大きい空間周波数成分（非零の空間周波数成分）を持つフレーム（一様ではないフレーム）を含むことが望ましい。

【0043】

動画Ｍ_１を構成する画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）は、動画成分抽出装置５１（図１５）の低時間周波数成分抽出部５１１および輝度運動成分抽出部５１２に入力される。

【0044】

低時間周波数成分抽出部５１１は、画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）から静止成分Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）を得て出力する。本形態では、画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）の時間平均値を、それぞれＲ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）とする（式（２））。

【数2】

ただし、Ｍｅａｎ［ｘ（ｔ）］_{ａ≦ｔ≦ｂ}はｘ（ａ），・・・，ｘ（ｂ）の平均値を表す。

【0045】

低時間周波数成分抽出部５１１は、Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ）を要素とする２次元行列｛Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝，｛Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝，｛Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝からなる静止した画像Ｍ_{ｓｔａｔｉｃ}（式（３））を出力する。

【数3】

画像Ｍ_{ｓｔａｔｉｃ}は、動画Ｍ_１の複数個のフレームｔ（ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）での時間周波数が零となる成分であり、「第１値」を０とした場合の「時間周波数の絶対値が第１値以下の像」の一例である。画像Ｍ_{ｓｔａｔｉｃ}は、絶対値が零より大きい空間周波数成分を含むことが望ましく、また有彩色を含むことが望ましい（ステップＳ５１１）。

【0046】

輝度運動成分抽出部５１２は、画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）をＲ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ），Ｇ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ），Ｂ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）とおき（ステップＳ５１２１）、これらを各色が輝度に貢献する程度に応じて重み付け加算し、動画Ｍ_１の輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）を得る（ステップＳ５１２２）（式（４））。
Y_original(x,y,t)=α_RR_original(x,y,t)+α_GG_original(x,y,t)+α_BB_original(x,y,t) (4)
ただし、α_Ｒ，α_Ｇ，α_Ｂは重み係数（定数）である（例えば、α_Ｒ＝０．２９９，α_Ｇ＝０．５８７，α_Ｂ＝０．１１４）。

【0047】

さらに輝度運動成分抽出部５１２は、各フレームｔの輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）から、輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）を減じることで輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を得て出力する（式（５））。輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）は、輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）を時間平均することで得られる。
Y_motion(x,y,t)=Y_original(x,y,t)-Y_static(x,y) (5)
輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）は、動画Ｍ_１の複数個のフレームｔ（ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）での時間周波数の絶対値が正となる輝度成分であり、「時間周波数の絶対値が第２値以上の輝度運動成分」の一例である。この輝度運動成分は像に応じた成分であり、第２値が第１値よりも大きい（ステップＳ５１２３）。

【0048】

画像Ｍ_{ｓｔａｔｉｃ}および輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）は出力部５１３に入力され、そこから動的錯覚呈示装置５２に送られる。画像Ｍ_{ｓｔａｔｉｃ}および輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）は、動的錯覚呈示装置５２の入力部５２１に入力され、演算部５２２に送られる。演算部５２２は、画像Ｍ_{ｓｔａｔｉｃ}に輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を加味した動画Ｍ_２を得て出力する。例えば、演算部５２２は、画像Ｍ_{ｓｔａｔｉｃ}の各静止成分Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ）に輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を加算して動画Ｍ_２を得る（図１８Ａ，式（６））。

【数4】

これにより、動画Ｍ_１から色運動情報を除去した動画Ｍ_２を作成できる（ステップＳ５２２）。なお、式（６）の場合、動画Ｍ_２の各ピクセルの色度（ＲＧＢの比）は動画Ｍ_１（原動画）から多少変化する。しかし、一般的に色変化に対して人間の視覚特性は鈍感であり、動画Ｍ_２の見かけ上の質は動画Ｍ_１に対して低下しない。各ピクセルの色度を保存したい場合は、輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）の運動による変調比率Ｙ’_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を各ＲＧＢチャネルに乗算すればよい（式（７），図１８Ｂ）。

【数5】

この場合、各ＲＧＢチャネル強度の比率が保たれるため、色信号の変調を伴わない輝度運動成分が合成できる（ステップＳ５２２）。すなわち、本形態では、対象物（Ｍ_{ｓｔａｔｉｃ}）に動きが与えられているように知覚させるために、対象物に映像（Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはＹ’_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ））を重畳する。この映像は、対象物に与えられる動きに対応する輝度運動成分を含む映像（例えば、輝度成分のみを含む映像）である。また、式（６）（７）に例示するように、対象物（Ｍ_{ｓｔａｔｉｃ}）の領域と、映像中（Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはＹ’_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ））の当該対象物に与えられる動きに対応する領域と、が重なるように、当該映像を当該対象物に重畳する。また、映像中の複数個のフレームにおける輝度運動成分の時間周波数の絶対値は、対象物に対応する映像中の複数個のフレームにおける時間周波数の絶対値より大きい。

【0049】

以上のように得られた動画Ｍ_２は表示部５２３に入力され、そこから表示される（ステップＳ５２３）。動画Ｍ_２は色信号の運動成分を含んでいないにもかかわらず、動いているような錯覚をもたらす。すなわち、動画Ｍ_１から色運動成分を除去しても、本来の動画と遜色のない視覚体験をユーザーに与えることができる。

【0050】

［第５実施形態の変形例１］
動画Ｍ_１から各成分を分離抽出する処理は、フーリエ変換等によって動画Ｍ_１を時間周波数領域に変換し、時間周波数フィルタリングを行うことでも実現できる。以降では、これまでに説明した事項との相違点を中心に説明する。すでに説明した事項については同じ参照番号を用いて説明を省略する場合がある。

【0051】

＜構成＞
図１５に例示するように、本形態の動画成分抽出装置５１’は、周波数領域変換部５１４’、低時間周波数成分抽出部５１１’（第１処理部）、高時間周波数成分抽出部５１５’、輝度運動成分抽出部５１２’（第２処理部）、時間領域変換部５１６’，５１７’、および出力部５１３を有する。動的錯覚呈示装置５２は第５実施形態と同じである。動画成分抽出装置５１’は、例えば、上述のようなコンピュータに所定のプログラムが読み込まれることで構成される。

【0052】

＜処理＞
図１７を用いて本変形例の処理を説明する。前述の動画Ｍ_１を構成する画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）は、周波数領域変換部５１４’に入力される。周波数領域変換部５１４’は、画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）を時間周波数領域に変換し、時間周波数領域の値ＦＲ（ｘ，ｙ，ｆ），ＦＧ（ｘ，ｙ，ｆ），ＦＢ（ｘ，ｙ，ｆ）を得る。以下ではフーリエ変換を用いる例を示す（式（８））。

【数6】

この場合、ＦＲ（ｘ，ｙ，ｆ），ＦＧ（ｘ，ｙ，ｆ），ＦＢ（ｘ，ｙ，ｆ）は、Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）に関する次元ｔのフーリエスペクトルである。式（８）の積分範囲は−∞から＋∞であるが、実際には有限区間ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘのみについて計算すればよい。また、Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）は離散値であるため、離散フーリエ変換が用いられてもよい。ｆは時間周波数を表す整数インデックスである。ｆ＝０は時間周波数が０Ｈｚであることを表し、ｆが大きいほど高い時間周波数（絶対値の大きな時間周波数）を表す。｜ｆ｜の上限をｆ_ｍａｘとすると、０≦｜ｆ｜≦ｆ_ｍａｘの関係を満たす。また、ｉは虚数単位を表し、πは円周率を表す。ＦＲ（ｘ，ｙ，ｆ），ＦＧ（ｘ，ｙ，ｆ），ＦＢ（ｘ，ｙ，ｆ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，０≦｜ｆ｜≦ｆ_ｍａｘ）は、低時間周波数成分抽出部５１１’および高時間周波数成分抽出部５１５’に送られる（ステップＳ５１４’）。

【0053】

低時間周波数成分抽出部５１１’は、ＦＲ（ｘ，ｙ，ｆ），ＦＧ（ｘ，ｙ，ｆ），ＦＢ（ｘ，ｙ，ｆ）にローパスフィルタＬＦ（ｆ）を乗算し、ＧＲ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ），ＧＧ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ），ＧＢ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ）を得て出力する（式（９））。
GR_static(x,y,f)=FR(x,y,f)LF(f)
GG_static(x,y,f)=FG(x,y,f)LF(f) （９）
GB_static(x,y,f)=FB(x,y,f)LF(f)
ただし、ローパスフィルタＬＦ（ｆ）は式（１０）で表される。

【数7】

ただし、ｋは０以上の定数である。ｋ＝０の場合、ローパスフィルタＬＦ（ｆ）は時間周波数が０Ｈｚの成分を抽出する。ｋ＞０の場合、ローパスフィルタＬＦ（ｆ）は、時間周波数の絶対値がｋに対応する時間周波数以下の成分を抽出する（ステップＳ５１１’）。

【0054】

ＧＲ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ），ＧＧ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ），ＧＢ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ）は時間領域変換部５１６’に入力される。時間領域変換部５１６’は、ＧＲ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ），ＧＧ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ），ＧＢ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｆ）を時間領域に変換し、低時間周波数成分Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｔ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｔ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｔ）を得る。以下では逆フーリエ変換を用いる例を示す（式（１１））。

【数8】

式（１１）の積分範囲は−∞から＋∞であるが、実際には有限区間０≦｜ｆ｜≦ｆ_ｍａｘのみについて計算すればよい。また、逆離散フーリエ変換が用いられてもよい。時間領域変換部５１６’は、以下のような低時間周波数成分の画像（像）Ｍ_{ｓｔａｔｉｃ}を出力する。

【数9】

この画像Ｍ_{ｓｔａｔｉｃ}は「時間周波数の絶対値が第１値以下の像」の一例である。式（１０）においてｋ＝０に設定した場合、Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｔ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｔ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ，ｔ）は、それぞれ、Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）の時間平均値となり、Ｍ_{ｓｔａｔｉｃ}は静止した画像となる。この場合の画像Ｍ_{ｓｔａｔｉｃ}は、動画Ｍ_１の複数個のフレームｔ（ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）での時間周波数が零となる成分からなる。式（１０）においてｋ＞０に設定した場合、Ｍ_{ｓｔａｔｉｃ}はゆっくりとした動き成分を含む画像となる（ステップＳ５１６’）。

【0055】

高時間周波数成分抽出部５１５’は、ＦＲ（ｘ，ｙ，ｆ），ＦＧ（ｘ，ｙ，ｆ），ＦＢ（ｘ，ｙ，ｆ）にハイパスフィルタＨＦ（ｆ）を乗算し、ＧＲ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ），ＧＧ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ），ＧＢ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，０≦|ｆ|≦ｆ_ｍａｘ）を得て出力する（式（１３））。
GR_motion(x,y,f)=FR(x,y,f)HF(f)
GG_motion(x,y,f)=FG(x,y,f)HF(f) (13)
GB_motion(x,y,f)=FB(x,y,f)HF(f)
ただし、ハイパスフィルタＨＦ（ｆ）は式（１４）で表される。

【数10】

ｈは０以上の定数である。ｈ＝０の場合、ハイパスフィルタＨＦ（ｆ）は絶対値が正の時間周波数の成分を抽出する。ｈ＞０の場合、ハイパスフィルタＨＦ（ｆ）は、時間周波数の絶対値がｈに対応する時間周波数よりも大きな時間周波数成分を抽出する。ｈはｋ以上であることが望ましい。必ずしもｋとｈとを等しくする必要はない。ｋとｈとを等しくした場合、ローパスフィルタＬＦ（ｆ）とハイパスフィルタＨＦ（ｆ）は相補的になる。この場合、ハイパスフィルタＨＦ（ｆ）を用いることに代えて、低時間周波数成分抽出部５１１’で取り除かれなかった成分をＧＲ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ），ＧＧ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ），ＧＢ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ）としてもよい。すなわち、
GR_motion(x,y,f)=FR(x,y,f)-GR_static(x,y,f)
GG_motion(x,y,f)=FG(x,y,f)-GG_static(x,y,f) （１５）
GB_motion(x,y,f)=FB(x,y,f)-GB_static(x,y,f)
としてもよい（ステップＳ５１５’）。

【0056】

ＧＲ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ），ＧＧ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ），ＧＢ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ）は時間領域変換部５１７’に入力される。時間領域変換部５１７’は、ＧＲ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ），ＧＧ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ），ＧＢ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｆ）を時間領域に変換し、高時間周波数成分Ｒ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ），Ｇ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ），Ｂ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）を得て出力する。以下では逆フーリエ変換を用いる例を示す（式（１６））。

【数11】

式（１６）の積分範囲は−∞から＋∞であるが、実際には有限区間０≦｜ｆ｜≦ｆ_ｍａｘのみについて計算すればよい。また、逆離散フーリエ変換が用いられてもよい（ステップＳ５１７’）。

【0057】

輝度運動成分抽出部５１２’は、Ｒ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ），Ｇ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ），Ｂ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を重み付け加算し、動画Ｍ_１の輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）を得て出力する（ステップＳ５１２’）（式（１７））。
Y_motion(x,y,t)=α_RR_motion(x,y,t)+α_GG_motion(x,y,t)+α_BB_motion(x,y,t) (17)
ただし、α_Ｒ，α_Ｇ，α_Ｂは重み係数（定数）である。輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）は「時間周波数の絶対値が第２値以上の輝度運動成分」の一例である。

【0058】

以降の処理は第５実施形態と同じである。本形態では、画像Ｍ_{ｓｔａｔｉｃ}よりも高い時間周波数で動画Ｍ_２が動いているような錯覚をユーザーにもたらすことができる。

【0059】

［第５実施形態の変形例２］
第５実施形態およびその変形例１では、動画Ｍ_１の低時間周波数成分からなる画像Ｍ_{ｓｔａｔｉｃ}に、動画Ｍ_１の高時間周波数成分から抽出した輝度運動成分を加味した動画Ｍ_２を生成した（図１３Ａ）。しかしながら、動画Ｍ_１の低時間周波数成分から抽出した「色差成分」から定まる色成分の画像Ｍ_{ｓｔａｔｉｃ}に、動画Ｍ_１の高時間周波数成分から抽出した輝度運動成分を加味した動画Ｍ_２を生成してもよい（図１３Ｂ）。あるいは、動画Ｍ_１の低時間周波数成分から抽出した「輝度成分」からなる画像Ｍ_{ｓｔａｔｉｃ}に、動画Ｍ_１の高時間周波数成分から抽出した輝度運動成分を加味した動画Ｍ_２を生成してもよい（図１４Ａ）。このような動画Ｍ_２でも、動的錯覚をもたらすことができる。また、動画Ｍ_１がグレースケール動画であってもよい。

【0060】

［第６実施形態］
動画Ｍ_１が周期的または反復的な運動成分（例えば、小さな動き）を含む場合、動画Ｍ_１に含まれた任意のフレーム（例えばｔ＝ｎ番目のフレーム）の静止画像を「画像」として用いてもよい（図１３Ａ）。すなわち、動画Ｍ_１から抽出した任意のフレームの静止画像に輝度運動成分を加味した動画Ｍ_２を生成してもよい。このような動画Ｍ_２でも、静止画像が動いてみえるように錯覚させることができる。

【0061】

＜構成＞
図１５に例示するように、本形態の動画成分抽出装置６１は、画像抽出部６１１（第１処理部）、輝度運動成分抽出部６１２（第２処理部）、および出力部５１３を有する。動的錯覚呈示装置５２は第５実施形態と同じである。動画成分抽出装置６１は、例えば、上述のようなコンピュータに所定のプログラムが読み込まれることで構成される。

【0062】

＜処理＞
図１６を用いて本形態の処理を説明する。第５実施形態との相違点はステップＳ５１１に代えてステップＳ６１１が実行され、ステップＳ５１２３に代えてステップＳ６１２３が実行される点である。以下では、相違点であるステップＳ６１１およびステップＳ６１２３のみを説明する。

【0063】

《ステップＳ６１１》
動画Ｍ_１（式（１））は画像抽出部６１１および輝度運動成分抽出部６１２に入力される。画像抽出部６１１は、動画Ｍ_１からｔ＝ｎ番目のフレームの静止画像を抽出し、それを画像Ｍ_{ｓｔａｔｉｃ}として出力する。すなわち、Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ）＝Ｒ（ｘ，ｙ，ｎ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ）＝Ｇ（ｘ，ｙ，ｎ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）＝Ｂ（ｘ，ｙ，ｎ）（ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ）を要素とする２次元行列｛Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝，｛Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝，｛Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝からなる画像Ｍ_{ｓｔａｔｉｃ}（式（３））を出力する。本形態の画像Ｍ_{ｓｔａｔｉｃ}も、「第１値」を０とした場合の「時間周波数の絶対値が第１値以下の像」の一例である。画像Ｍ_{ｓｔａｔｉｃ}は、絶対値が零より大きい空間周波数成分を含むことが望ましく、また有彩色を含むことが望ましい（ステップＳ６１１）。

【0064】

《ステップＳ６１２３》
輝度運動成分抽出部６１２は、Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ）に対応する輝度成分を輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）とする。輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）は、ステップＳ５１２２と同じように、Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）を重み付け加算することで得られる。輝度運動成分抽出部６１２は、各フレームｔの輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）から、輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）を減じることで輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）を得て出力する（ステップＳ６１２３）（式（５））。すなわち、本形態の映像（Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ））は、対象物に対応する映像中の複数個のフレームそれぞれの輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）から、対象物に対応する映像に基づく静止画像から得られる輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）を減じて得られる輝度運動成分を含む。

【0065】

本形態では、輝度運動成分によって任意フレームの単一の静止画像が視覚的に動いているように錯覚させ、本来の動画像と遜色のない視覚体験をユーザーに与えることができる。

【0066】

［第６実施形態の変形例］
本形態では、動画Ｍ_１の任意のフレームの静止画像Ｍ_{ｓｔａｔｉｃ}に、動画Ｍ_１の高時間周波数成分から抽出した輝度運動成分を加味した動画Ｍ_２を生成した（図１３Ａ）。しかしながら、動画Ｍ_１の任意のフレームの静止画像Ｍ_{ｓｔａｔｉｃ}から抽出した「色差成分」から定まる色成分の画像に、動画Ｍ_１の高時間周波数成分から抽出した輝度運動成分を加味した動画Ｍ_２を生成してもよい（図１３Ｂ）。あるいは、動画Ｍ_１の任意のフレームの静止画像Ｍ_{ｓｔａｔｉｃ}から抽出した「輝度成分」からなる画像に、動画Ｍ_１の高時間周波数成分から抽出した輝度運動成分を加味した動画Ｍ_２を生成してもよい（図１４Ａ）。このような動画Ｍ_２でも、動的錯覚をもたらすことができる。また、動画Ｍ_１がグレースケール動画であってもよい。

【0067】

［第７実施形態］
前述したように、視覚系の運動視特性上、「画像」に合成する「輝度運動成分」の空間解像度やコントラストを低減させても、知覚される動画像の質は保たれる。本形態では、動画Ｍ_１の「低時間周波数成分」を「画像（像）」とし、動画Ｍ_１の「高時間周波数成分」から抽出した輝度成分（動画Ｍ_１に含まれた輝度運動成分画像）の高空間周波数成分またはコントラストの少なくとも一方を低減させた成分を「輝度運動成分」とする。例えば、輝度運動成分画像に対し、高空間周波数成分またはコントラストの少なくとも一方を低減させるためのフィルタリングを行う。その後、「画像」に「輝度運動成分」を統合（加味）する演算が行われ、それによって得られた動画Ｍ_２が表示される（図１４Ｂ）。

【0068】

＜構成＞
図１５に例示するように、本形態の動画成分抽出装置７１は、低時間周波数成分抽出部５１１、輝度運動成分抽出部５１２、フィルタリング部７１９、および出力部５１３を有する。本形態の動的錯覚呈示装置５２は、第５実施形態と同じである。動画成分抽出装置７１は、例えば、上述のようなコンピュータに所定のプログラムが読み込まれることで構成される。

【0069】

＜処理＞
図１６を用いて本形態の処理を説明する。本形態と第５実施形態との相違点は、ステップＳ５１２３で得られた輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）（輝度運動成分画像）にフィルタリングを行い、フィルタリング後の輝度運動成分を「画像」に加味して動画Ｍ_２を得る点である。以下では、Ｓ５１２３で得られた輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）に対するフィルタリングの処理のみを説明する。

【0070】

ステップＳ５１２３で得られた輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）はフィルタリング部７１９に入力される。フィルタリング部７１９は、まず、Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を時間空間周波数領域に変換してＦＹ_{ｍｏｔｉｏｎ}（ξ，η，τ）を得る。ただし、ξ，η，τは、それぞれ水平方向の空間周波数，垂直方向の空間周波数，時間周波数を表す。水平方向の空間周波数の下限および上限をξ_ｍｉｎおよびξ_ｍａｘ（ξ_ｍｉｎ＜ξ_ｍａｘ）とし、垂直方向の空間周波数の下限および上限をη_ｍｉｎおよびη_ｍａｘ（η_ｍｉｎ＜η_ｍａｘ）とし、時間周波数の下限および上限をτ_ｍｉｎおよびτ_ｍａｘ（τ_ｍｉｎ＜τ_ｍａｘ）とする。ξ，η，τはξ_ｍｉｎ≦ξ≦ξ_ｍａｘ，η_ｍｉｎ≦η≦η_ｍａｘ，τ_ｍｉｎ≦τ≦τ_ｍａｘを満たす。以下ではフーリエ変換を用いる例を示す（式（１８））。この場合のＦＹ_{ｍｏｔｉｏｎ}（ξ，η，τ）は、Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）のフーリエスペクトルである。

【数12】

式（１８）の積分範囲は−∞から＋∞であるが、実際には有限区間ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘのみについて計算すればよい。また、離散フーリエ変換が用いられてもよい（ステップＳ７１９１）。

【0071】

次にフィルタリング部７１９は、ＦＹ_{ｍｏｔｉｏｎ}（ξ，η，τ）にフィルタＧ（ξ，η，τ）を乗算し、さらに逆フーリエ変換によって輝度運動成分ｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を得る（式１９）。

【数13】

式（１９）の積分範囲は−∞から＋∞であるが、実際には有限区間ξ_ｍｉｎ≦ξ≦ξ_ｍａｘ，η_ｍｉｎ≦η≦η_ｍａｘ，τ_ｍｉｎ≦τ≦τ_ｍａｘのみについて計算すればよい。また、逆離散フーリエ変換が用いられてもよい。輝度運動成分ｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）は「時間周波数の絶対値が第２値以上の輝度運動成分」の一例である。

【0072】

Ｇ（ξ，η，τ）は高空間周波数成分またはコントラストを低減させるためのフィルタである。高空間周波数成分を低減させるためのフィルタはローパスフィルタであり、コントラスト（全体コントラスト）を低減させるためのフィルタは、例えば、濃淡レベルを線形変換する関数やヒストグラムを平坦化する関数（時空間周波数フィルタ）などである。以下にローパスフィルタの具体例を示す（式（２０））。

【数14】

ただし、ａおよびｂは正の定数である。ここではステップ状に高空間周波数フーリエスペクトルをカットする関数をＧ（ξ，η，τ）としているが、高空間周波数フーリエスペクトルをカットできるものであれば、どのような関数をＧ（ξ，η，τ）としてもよい（ステップＳ７１９２）。

【0073】

以降の処理は、第５実施形態の輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を輝度運動成分ｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）に置換したものとなる。前述のように、フィルタリングによって輝度運動成分動画の高空間周波数を低減させたり、コントラストを低減させたりしても、視覚系の特性が許容する範囲内で動画の知覚的な質には影響しない。そのため、フィルタリングによって輝度運動成分の情報量を落としても、本来の動画Ｍ_１と遜色のない視覚体験をユーザーに与えることができる。

【0074】

［第７実施形態の変形例］
第７実施形態は、第５実施形態の輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を輝度運動成分ｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）に置換した形態であった。しかしながら、第５実施形態の変形例１の輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を輝度運動成分ｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）に置換してもよい。この場合には、図１７のステップＳ５１２’の後にステップＳ７１９１およびＳ７１９２が実行される。同様に、第５実施形態の変形例２または第６実施形態の輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を輝度運動成分ｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）に置換しもよい。

【0075】

［第８実施形態］
第８実施形態では、前述した「時間周波数の絶対値が第１値以下の像」が「対象物」の表面に表れており、「時間周波数の絶対値が第２値以上の輝度運動成分」がこの「像」に重ね合わせられる。これによっても「像」が動いているように錯覚させることができる。以下では、静止した「像」が「対象物」上に印刷され、その「像」に対して「時間周波数の絶対値が第２値以上の輝度運動成分」が投影される例を説明する。

【0076】

＜構成＞
図１９に例示するように、本形態の動画成分抽出装置８１は、第５実施形態から第７実施形態またはそれらの変形例の動画成分抽出装置５１,５１’,６１,７１の何れかの出力部５１３を出力部８１３および印刷部８１４に置換したものである。本形態の動的錯覚呈示装置８２（錯覚呈示装置）は、入力部８２１、および投影部８２３（プロジェクタ）を有する。また、本形態で例示する対象物８３は紙等の２次元媒体である。

【0077】

＜処理＞
前述した何れかの実施形態または変形例のように動画Ｍ_１から抽出された静止した画像Ｍ_{ｓｔａｔｉｃ}（式（３））は印刷部８１４（出力部）に入力される。印刷部８１４は、画像Ｍ_{ｓｔａｔｉｃ}を対象物８３の表面に印刷する。何れかの実施形態または変形例のように動画Ｍ_１から抽出された輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）は動的錯覚呈示装置８２に送られ、入力部８２１に入力される。輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）は投影部８２３に送られ、投影部８２３は、公知の光プロダクション技術（例えば、参考文献９：河邉隆寛，澤山正貴，丸谷和史，西田眞也，（2014），“静止した2次元対象を運動情報によって錯覚的に変形させる光投影手法，” 2014年映像情報メディア学会年次大会, 5-3.）によって、輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を、対象物８３上に印刷された画像Ｍ_{ｓｔａｔｉｃ}に投影して動画Ｍ_２を表示する（式（２１））。

【数15】

ただし、式（２１）の○は、画像Ｍ_{ｓｔａｔｉｃ}の輝度成分に対して輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）が複合的に加算・乗算される状態（加味される状態）を表す。言い換えると、画像Ｍ_{ｓｔａｔｉｃ}の輝度成分と輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）とに対して加算および乗算の少なくとも一方を含む演算が施される状態を表す。すなわち、印刷物に光を投影した場合、紙やインクの特性に応じて反射のパターンが異なり、部分的には乗算的に輝度が変化し、他の部分では加算的に輝度が変化することが想定されるので、この両方の輝度変化を生じさせる計算を○で表している。なお、式（６）は画像Ｍ_{ｓｔａｔｉｃ}中の輝度成分に対して輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）が加算される状態を示しており、式（７）は画像Ｍ_{ｓｔａｔｉｃ}中の輝度成分に対して輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）の運動による変調比率Ｙ’_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）が乗算される状態を示している。すなわち、本形態では、対象物（Ｍ_{ｓｔａｔｉｃ}）に動きが与えられているように知覚させるために、対象物に映像（Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を重畳する。この映像は、対象物に与えられる動きに対応する輝度運動成分を含む映像（例えば、輝度成分のみを含む映像）である。また、式（３）（２１）に例示するように、対象物（Ｍ_{ｓｔａｔｉｃ}）の領域と、映像中（Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ））の当該対象物に与えられる動きに対応する領域と、が重なるように、当該映像を当該対象物に重畳する。また、映像中の複数個のフレームにおける輝度運動成分の時間周波数の絶対値は、対象物に対応する映像中の複数個のフレームにおける時間周波数の絶対値より大きい。

【0078】

このようにしても動的な錯覚を呈示できる。なお、輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）をプロジェクタによって投影する場合、これらは負の値を持てない。そのため、動画Ｍ_２の全体的な輝度は上昇する。さらに、投影による輝度上昇は一部乗算的となる。そのため、動画Ｍ_２の輝度分布は元の動画Ｍ_１の輝度とはかなり異なる。それにもかかわらず、ユーザーは動画Ｍ_２から元の動画Ｍ_１の動きを視覚体験できる。これには、参考文献９が示すような、視覚系による適応的な輝度コントラストノーマライゼーションが関与していると考えられる。このように、本形態でも本来の動画Ｍ_１と遜色のない視覚体験をユーザーに与えることができる。

【0079】

［第８実施形態の変形例］
第８実施形態では、静止した画像Ｍ_{ｓｔａｔｉｃ}が紙等「対象物」上に印刷された。しかし、これを印刷するのではなく、他のプロジェクタでスクリーン等の「対象物」に投影して表示したり、電子ペーパー等の「対象物」に表示したりしてもよい。また、参考文献９が示すような透過型ディスプレイに「運動成分動画」を投影してもよい。また、画像Ｍ_{ｓｔａｔｉｃ}を投影や表示する場合には、画像Ｍ_{ｓｔａｔｉｃ}が静止した画像である必要はなく、ゆっくり動いている画像であってもよい。この場合には、画像Ｍ_{ｓｔａｔｉｃ}よりも高い時間周波数で動いているような視覚体験をユーザーに与えることができる。また、動画Ｍ_１から画像Ｍ_{ｓｔａｔｉｃ}を抽出するのではなく、建築物や絵画等の「対象物」を撮影して得られた静止画像に基づいて動画Ｍ_１を作成し、それから輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を生成したり、「対象物」を撮影して得られた静止画像から輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を生成したりしてもよい。このように生成した輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を「対象物」の表面に表れた像に投影することで、「像」が動いているように錯覚させることができる。

【0080】

［その他の変形例等］
なお、本発明は上述の実施形態およびその変形例に限定されるものではない。例えば、動画成分抽出装置および動的錯覚呈示装置が同一の装置であってもよい。あるいは、動画成分抽出装置や動的錯覚呈示装置が含む各部の処理が互いに異なる装置で実施されてもよい。

【0081】

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

【0082】

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

【0083】

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0084】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

【0085】

「撮影によって得た第１の画像を記録する第１画像データ」と、「前記第１の画像に含まれるエッジの情報を保持しつつ、画像全体の空間周波数帯域を前記第１の画像の空間周波数帯域よりも狭めた狭帯域画像であり、表示時に当該狭帯域画像に含まれるエッジが前記第１の画像のエッジと重なるように前記第１の画像の上に重ねて表示される、透過性を有する第２の画像を記録する第２画像データ」と、を対応付けたデータ構造の流通が行われてもよい。この流通は、そのデータ構造をインターネット等によって配信することで行われてもよいし、そのデータ構造を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行われてもよい。

【0086】

また、動画成分抽出装置から出力された「絶対値が零より大きい空間周波数成分を含み時間周波数の絶対値が第１値以下の像」を表す第１データと、「像に応じた、時間周波数の絶対値が第２値以上の輝度運動成分」を表す第２データと、を含むデータ構造の流通が行われてもよい。この流通は、そのデータ構造をインターネット等によって配信することで行われてもよいし、そのデータ構造を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行われてもよい。このデータ構造の提供を受けた装置は、「第１データ」および「第２データ」を演算部に入力し、当該演算部は「像」に「輝度運動成分」を加味する演算を行って動画を得、表示部からこの動画を表示する。または、第１データが出力部に入力され、出力部が「像」を「対象物」の表面に表し、第２データが投影部に入力され、投影部が「輝度運動成分」を「対象物」の表面に表された「像」に投影する。これにより、動的錯覚を起こさせる動画を表示部または対象物に表示することができる。また、「対象物」に動きが与えられているように知覚させるために、「対象物」に映像を重畳する装置で用いる映像のデータ構造の流通が行われてもよい。ここで、映像中の複数個のフレームにおける前記輝度運動成分の時間周波数の絶対値は、「対象物」に対応する映像中の複数個のフレームにおける時間周波数の絶対値より大きい。あるいは、このデータ構造が「対象物」に対応する映像中の複数個のフレームそれぞれの輝度成分から、「対象物」に対応する映像に基づく静止画像から得られる輝度静止成分を減じて得られる輝度運動成分を含んでもよい。

【産業上の利用可能性】

【0087】

本発明は、例えば、（１）光投影によって紙媒体に動き印象を加えたり、看板に動きの印象を与えたりといった広告分野、（２）床、壁などのインテリアの模様を錯覚的に変形させるといったインテリア分野、（３）キャラクタのイラストに動きを与えたり、従来のプロジェクションマッピング技術と融合したりといった芸術、玩具、エンターテインメント分野などに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】