特許 6181278 可視光波長変換部を有する頭部装着型映像提示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6181278

(24)【登録日】2017年7月28日

(45)【発行日】2017年8月16日

(54)【発明の名称】可視光波長変換部を有する頭部装着型映像提示装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20170807BHJP

   H04N 5/64 20060101ALI20170807BHJP

   H04N 9/31 20060101ALI20170807BHJP

   G09G 5/00 20060101ALI20170807BHJP

   G09G 5/02 20060101ALI20170807BHJP

   G09G 5/06 20060101ALI20170807BHJP

【ＦＩ】

   H04N7/18 U

   H04N5/64 511A

   H04N9/31 Z

   G09G5/00 510G

   G09G5/00 550C

   G09G5/02 B

   G09G5/06

【請求項の数】16

【全頁数】27

(21)【出願番号】特願2016-249858(P2016-249858)

(22)【出願日】2016年12月22日

【審査請求日】2016年12月22日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516386074

【氏名又は名称】ＪＩＧ−ＳＡＷ株式会社

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】冨田 浩史

(72)【発明者】

【氏名】菅野 江里子

(72)【発明者】

【氏名】藤井 剛

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２０１６−０９５５７７（ＪＰ，Ａ）

【文献】 特開昭６３−２８２８８３（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０１９０８１（ＷＯ，Ａ１）

【文献】 特開２００３−２２３６３５（ＪＰ，Ａ）

【文献】 特開２０１４−１６５７６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｇ０９Ｇ ５／００−５／３６

Ｇ０９Ｇ ５／３７７−５／４２

Ｈ０４Ｎ １／４０−１／４０９

Ｈ０４Ｎ １／４６−１／４８

Ｈ０４Ｎ １／５２

Ｈ０４Ｎ １／６０

Ｈ０４Ｎ ５／６４−５／６５５

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ９／１２−９／３１

(57)【特許請求の範囲】

【請求項1】

可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザのための頭部装着型映像提示装置であって、
ユーザの視界方向を撮像して第１の映像情報を取得する撮像部と、
前記第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に波長変換し、当該波長変換された色信号に基づく第２の映像情報を出力する波長変換部と、
前記第２の映像情報に基づいて、波長変換されたユーザの視界方向の映像をユーザに提示する映像提示部と、
を備える、頭部装着型映像提示装置。

【請求項2】

前記波長変換部は、
ＸＹＺ表色系におけるスペクトル色度座標を含む第１のテーブルと、
前記一部の波長域の波長を前記他の波長域に変換するために、前記第１のテーブルにおいて前記一部の波長域の波長に対応づけられた色度座標を前記他の波長域の波長に対応づけ、前記第１のテーブルにおいて前記他の波長域の波長に対応づけられた色度座標の少なくとも一部を前記第１のテーブルにおいて対応づけられた色度座標とは異なる色度座標に対応づけた第２のテーブルと、
を含み、
前記第１の映像情報に基づいて、ＸＹＺ表色系で色を表現するＸＹＺ信号を取得し、 前記第１のテーブルに基づいて、前記ＸＹＺ信号に対応する波長を特定し、
前記第２のテーブルに基づいて、前記特定された波長に対応づけられた変換された波長のためのＸＹＺ信号を取得し、
前記変換されたＸＹＺ信号に基づく第２の映像情報を出力する、
請求項１に記載の頭部装着型映像提示装置。

【請求項3】

前記波長変換部は、
前記第１の映像情報に基づいてＲＧＢ表色系で色を表現するＲＧＢ信号を取得し、
前記ＲＧＢ信号に基づいてＸＹＺ信号の刺激和を演算し、
前記ＲＧＢ信号から取得されるＲ信号値を前記刺激和で除算してｒ信号値を取得し、 前記取得されたｒ信号値がｒ信号上限値以上である場合は、前記取得されたｒ信号値をｒ信号上限値に変換し、
前記変換されたｒ信号値に前記刺激和を乗算して変換されたＲ信号値を取得し、
前記変換されたＲ信号値を含むＲＧＢ信号に基づく第２の映像情報を出力し、
前記ｒ信号上限値は、ＸＹＺ表色系によるスペクトル色度座標をＲＧＢ変換して得られる前記他の波長域における最大のｒ信号値以下の値である、
請求項１に記載の頭部装着型映像提示装置。

【請求項4】

前記波長変換部は、
前記ＲＧＢ信号から取得されるＧ信号値を前記刺激和で除算してｇ信号値を取得し、 前記取得されたｇ信号値がｇ信号下限値以下である場合は、前記ｇ信号値をｇ信号下限値に変換し、
前記変換されたｇ信号値に前記刺激和を乗算して変換されたＧ信号値を取得し、
前記変換されたＧ信号値を更に含むＲＧＢ信号に基づく第２の映像情報を出力し、
前記ｇ信号下限値は、ＸＹＺ表色系によるスペクトル色度座標をＲＧＢ変換して得られる前記他の波長域における両端の波長のためのｇ信号値のうち大きい方のｇ信号値以上である、
請求項３に記載の頭部装着型映像提示装置。

【請求項5】

前記波長変換部は、
前記第１の映像情報に基づいてＲＧＢ表色系で色を表現するＲＧＢ信号を取得し、
ＸＹＺ表色系によるスペクトル色度座標をＲＧＢ変換して得られるＲＧＢ表色系によるスペクトル色度座標に基づいて決定されたｒ信号変換係数を、前記取得されたＲＧＢ信号に含まれるＲ信号値に乗算して変換されたＲ信号値を取得し、
前記変換されたＲ信号値を含むＲＧＢ信号に基づく第２の映像情報を出力し、
前記ｒ信号変換係数は、前記ＲＧＢ表色系によるスペクトル色度座標におけるｒ信号値に当該ｒ信号変換係数を乗算したときに得られる値の最大値がｒ信号上限値を超えないように決定され、
前記ｒ信号上限値は、前記ＲＧＢ表色系によるスペクトル色度座標における他の波長域における最大ｒ信号値以下の値である、
請求項１に記載の頭部装着型映像提示装置。

【請求項6】

前記ｒ信号変換係数を、前記取得されたＲＧＢ信号に含まれるＲ信号値に乗算して変換されたＲ信号値を取得することに代えて、
取得されたＲＧＢ信号に基づいて演算された刺激和で前記取得されたＲＧＢ信号に含まれるＲ信号値を除算して得られたｒ信号値に、前記ｒ信号変換係数を乗算して変換されたｒ信号値を取得し、当該変換されたｒ信号値に前記刺激和を乗算して、変換されたＲ信号値を取得する、
請求項５に記載の頭部装着型映像提示装置。

【請求項7】

前記波長変換部は、
前記取得されたＲＧＢ信号に基づいてＸＹＺ信号の刺激和を演算し、
前記取得されたＲＧＢ信号に含まれるＧ信号値を、前記刺激和で除算してｇ信号値を取得し、
前記ｇ信号値に所定の係数を乗算した後、ｇ信号下限値を加算し、前記刺激和を乗算して変換されたＧ信号値を取得し、
前記変換されたＧ信号値をさらに含むＲＧＢ信号に基づく第２の映像情報を出力し、 前記ｇ信号下限値は、前記ＲＧＢ表色系によるスペクトル色度座標における前記他の波長域における両端の波長のためのｇ信号値のうち大きい方のｇ信号値以上である、
請求項５又は６のいずれか１項に記載の頭部装着型映像提示装置。

【請求項8】

前記ｒ信号上限値は波長６００ｎｍのためのｒ信号値である、請求項３〜７のいずれか１項に記載の頭部装着型映像提示装置。

【請求項9】

前記他の波長域は４５０〜６００ｎｍである、請求項１〜８のいずれか１項に記載の頭部装着型映像提示装置。

【請求項10】

前記映像提示部はプロジェクタである、請求項１〜９のいずれか１項に記載の頭部装着型映像提示装置。

【請求項11】

前記映像提示部はディスプレイである、請求項１〜９のいずれか１項に記載の頭部装着型映像提示装置。

【請求項12】

前記撮像部はユーザの左眼に提示するためのユーザの視界方向の左眼用映像及び当該左眼用映像とは異なるユーザの右眼に提示するためのユーザの視界方向の右眼用映像を撮像し、
前記第１の映像情報は前記左眼用映像及び前記右眼用映像のための映像情報を含み、
前記第２の映像情報は前記波長変換部によって波長変換された前記左眼用映像及び前記右眼用映像のための映像情報を含み、
前記映像提示部は前記第２の映像情報に含まれる前記波長変換された左眼用映像のための映像情報に基づいてユーザの左眼に対して波長変換された左眼用映像を提示し、前記第２の映像情報に含まれる前記波長変換された右眼用映像ための映像情報に基づいてユーザの右眼に対して波長変換された右眼用映像を提示する、
請求項１〜１１のいずれか１項に記載の頭部装着型映像提示装置。

【請求項13】

前記ユーザは、網膜変性患者であって前記他の波長域内の光を神経節細胞が受容可能となるタンパク質が眼球に投与されたユーザである、請求項１〜１２のいずれか１項に記載の頭部装着型映像提示装置。

【請求項14】

可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザに前記他の波長域内の色を表現する色信号に基づく映像を提示するための映像信号を出力する波長変換装置であって、
ユーザの視界方向を撮像して取得された第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に波長変換し、
前記波長変換された色信号に基づく第２の映像情報を出力する、
波長変換装置。

【請求項15】

可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザに前記他の波長域内の色を表現する色信号に基づく映像を提示するための映像信号を出力するためのプログラムであって、コンピュータに、
ユーザの視界方向を撮像して取得された第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に波長変換する工程と、
前記変換された色信号に基づく第２の映像情報を出力させる工程と、
を実行させる、プログラム。

【請求項16】

可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザに前記他の波長域内の色を表現する色信号に基づく映像を提示するための映像信号を出力するための方法であって、コンピュータが、
ユーザの視界方向を撮像して取得された第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に波長変換する工程と、
前記波長変換された色信号に基づく第２の映像情報を出力する工程と、
を実行する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、可視光波長変換部を有する頭部装着型映像提示装置に関する。

【背景技術】

【0002】

日本に於ける年間失明者数は１６０００人におよび、その要因は、重度の外傷を除き、網膜内層の障害と、外層の障害に起因するものの大きく２つに分けられる。網膜色素変性、加齢黄斑変性及び網膜剥離といった網膜変性疾患では、網膜外層が選択的に変性することが知られている。網膜の光受容とその情報伝達機構についてみると、入射した光、映像情報は網膜外層に位置する光受容細胞（視細胞）で受容され、網膜内層に伝達される。その情報は網膜内層に位置する、視神経を構成する神経節細胞によって脳に伝えられる。このように光すなわち映像を受容できる細胞は網膜において視細胞のみであり、視細胞が何らかの要因で変性、消失すると、その他の細胞が正常であったとしても失明に至る。

【0003】

視細胞の光受容様式によれば、視細胞に存在する光受容タンパク質で光受容後、様々なタンパク質の連鎖反応が必要であることが分かっている。このような様式から、従来、単一の遺伝子を導入することによって、光受容能を賦与することは不可能であると考えられてきた。これに関連して、神経細胞に光受容能を与えるためには、最低限、３種類のタンパク質（すなわち、アレスチン、オプシン、Ｇ蛋白質αサブユニット）を１つの細胞に導入することが必要であることが報告されている（非特許文献１）。

【0004】

Ｎａｇｅｌら（非特許文献２）は、緑藻類クラミドモナス（Ｃｈａｍｙｄｏｍｏｎａｓ）より単離されたチャネルロドプシン−２（以下、「ＣｈＲ２」とも称する）が光受容能と陽イオン選択的透過性を併せ持つこと、及びＣｈＲ２遺伝子を導入することによって培養哺乳類細胞（ＨＥＫ２９３、ＢＨＫ）等に光受容能を与えることができることを報告した。緑藻類ボルボックスから赤色に感受性を有する同様の遺伝子が見出されている（非特許文献３）。

【0005】

本発明者らは、クラミドモナス・レインハルトチイ（Ｃｈｌａｍｙｄｏｍｏｎａｓ ｒｅｉｎｈａｒｄｔｉｉ）由来のチャネルロドプシン−１のＮ末端領域を、ボルボックス由来のチャネルロドプシンと融合させて得られた、改変されたボルボックス（Ｖｏｌｖｏｘ ｃａｒｔｅｒｉ）由来の光受容チャネルロドプシンタンパク質を用いることで、該チャネルロドプシンの細胞膜上での発現効率を改善できることを見出した（特許文献１）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】ＷＯ２０１１／０１９０８１

【非特許文献】

【0007】

【非特許文献1】Ｚｅｍｅｌｍａｎ ＢＶ ｅｔ ａｌ．，Ｎｅｕｒｏｎ．２００２ Ｊａｎ ３；３３（１）：１５−２２

【非特許文献2】Ｎａｇｅｌ Ｇ ｅｔ ａｌ．，Ｐｒｏｃ Ｎａｔｌ Ａｃａｄ ＳｃｉＵ Ｓ Ａ．２００３ Ｎｏｖ ２５；１００（２４）：１３９４０−５

【非特許文献3】Ｆｒｅｎｇ Ｚｈａｎｇ ｅｔ ａｌ．，Ｎａｔｕｒｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，Ｖｏｌｕｍｅ １１，Ｎｕｍｂｅｒ ６，Ｊｕｎｅ ２００８：ｐ６３１−６３３

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、クラミドモナス由来のＣｈＲ２は光感受性が青色に限定されているために、視覚が回復したとしても青色のみしか見ることができない。緑藻類ボルボックスから光感受性を有する同様の遺伝子が見出されたが視覚の回復は赤色に限定される。改変されたボルボックス由来の光受容チャネルロドプシンタンパク質はより広い波長域に反応するものであるものの、４５０〜６００ｎｍ付近に限定され、３８０〜４５０ｎｍ及び６００〜７５０ｎｍの波長については良好な反応を示さない。

【0009】

このように、網膜変性患者に対してタンパク質を投与することで、可視光波長領域のうちの一定の波長領域については反応させることが可能ではあるが、他の領域については依然として十分に反応させることができない。網膜変性患者を含め、可視光波長域のうちの一部の波長域に対する感度が低下している者にその視野に入射する可視光すべてを認識させるための手段は実現されていない。

【課題を解決するための手段】

【0010】

本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち本発明の一実施態様の頭部装着型映像提示装置は、可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザのための頭部装着型映像提示装置であって、ユーザの視界方向を撮像して第１の映像情報を取得する撮像部と、前記第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に変換し、当該変換された色信号に基づく第２の映像情報を出力する波長変換部と、前記第２の映像情報に基づいて、波長変換されたユーザの視界方向の映像をユーザに提示する映像提示部と、を備える。

【0011】

本発明の前記波長変換部は、ＸＹＺ表色系におけるスペクトル色度座標を含む第１のテーブルと、前記一部の波長域の波長を前記他の波長域に変換するために、前記第１のテーブルにおいて前記一部の波長域の波長に対応づけられた色度座標を前記他の波長域の波長に対応づけ、前記第１のテーブルにおいて前記他の波長域の波長に対応づけられた色度座標の少なくとも一部を前記第１のテーブルにおいて対応づけられた色度座標とは異なる色度座標に対応づけた第２のテーブルと、を含み、前記第１の映像情報に基づいて、ＸＹＺ表色系で色を表現するＸＹＺ信号を取得し、前記第１のテーブルに基づいて、前記ＸＹＺ信号に対応する波長を特定し、前記第２のテーブルに基づいて、前記特定された波長に対応づけられた変換された波長のためのＸＹＺ信号を取得し、前記変換されたＸＹＺ信号に基づく第２の映像情報を出力するようにしてもよい。

【0012】

また、前記波長変換部は、前記第１の映像情報に基づいてＲＧＢ表色系で色を表現するＲＧＢ信号を取得し、前記ＲＧＢ信号に基づいてＸＹＺ信号の刺激和を演算し、前記ＲＧＢ信号から取得されるＲ信号値を前記刺激和で除算してｒ信号値を取得し、前記取得されたｒ信号値がｒ信号上限値以上である場合は、前記取得されたｒ信号値をｒ信号上限値に変換し、前記変換されたｒ信号値に前記刺激和を乗算して変換されたＲ信号値を取得し、前記変換されたＲ信号値を含むＲＧＢ信号に基づく第２の映像情報を出力し、前記ｒ信号上限値は、ＸＹＺ表色系によるスペクトル色度座標をＲＧＢ変換して得られる前記他の波長域における最大のｒ信号値以下の値であるようにしてもよい。

【0013】

さらに、前記波長変換部は、前記ＲＧＢ信号から取得されるＧ信号値を前記刺激和で除算してｇ信号値を取得し、前記取得されたｇ信号値がｇ信号下限値以下である場合は、前記ｇ信号値をｇ信号下限値に変換し、前記変換されたｇ信号値に前記刺激和を乗算して変換されたＧ信号値を取得し、前記変換されたＧ信号値を更に含むＲＧＢ信号に基づく第２の映像情報を出力し、前記ｇ信号下限値は、ＸＹＺ表色系によるスペクトル色度座標をＲＧＢ変換して得られる前記他の波長域における両端の波長のためのｇ信号値のうち大きい方のｇ信号値以上であるようにしてもよい。

【0014】

前記波長変換部は、前記第１の映像情報に基づいてＲＧＢ表色系で色を表現するＲＧＢ信号を取得し、ＸＹＺ表色系によるスペクトル色度座標をＲＧＢ変換して得られるＲＧＢ表色系によるスペクトル色度座標に基づいて決定されたｒ信号変換係数を、前記取得されたＲＧＢ信号に含まれるＲ信号値に乗算して変換されたＲ信号値を取得し、前記変換されたＲ信号値を含むＲＧＢ信号に基づく第２の映像情報を出力し、前記ｒ信号変換係数は、前記ＲＧＢ表色系によるスペクトル色度座標におけるｒ信号値に当該ｒ信号変換係数を乗算したときに得られる値の最大値がｒ信号上限値を超えないように決定され、前記ｒ信号上限値は、前記ＲＧＢ表色系によるスペクトル色度座標における他の波長域における最大のｒ信号値以下の値であるようにしてもよい。

【0015】

前記ｒ信号変換係数を、前記取得されたＲＧＢ信号に含まれるＲ信号値に乗算して変換されたＲ信号値を取得することに代えて、取得されたＲＧＢ信号に基づいて演算された刺激和で前記取得されたＲＧＢ信号に含まれるＲ信号値を除算して得られたｒ信号値に、前記ｒ信号変換係数を乗算して変換されたｒ信号値を取得し、当該変換されたｒ信号値に前記刺激和を乗算して、変換されたＲ信号値を取得することもできる。

【0016】

前記波長変換部は、前記取得されたＲＧＢ信号に基づいてＸＹＺ信号の刺激和を演算し、前記取得されたＲＧＢ信号に含まれるＧ信号値を、前記刺激和で除算してｇ信号値を取得し、前記ｇ信号値に所定の係数を乗算した後ｇ信号下限値を加算し、前記刺激和を乗算して変換されたＧ信号値を取得し、前記変換されたＧ信号値をさらに含むＲＧＢ信号に基づく第２の映像情報を出力し、前記ｇ信号下限値は、前記ＲＧＢ表色系によるスペクトル色度座標における前記他の波長域における両端の波長のためのｇ信号値のうち大きい方のｇ信号値以上であるとしてもよい。

【0017】

前記ｒ信号上限値は波長６００ｎｍのためのｒ信号値としてもよい。

【0018】

前記他の波長域は４５０ｎｍ〜６００ｎｍとしてもよい。

【0019】

前記提示部はプロジェクタやディスプレイとすることができる。

【0020】

前記撮像部はユーザの左眼に提示するためのユーザの視界方向の左眼用映像及び当該左眼用映像とは異なるユーザの右眼に提示するためのユーザの視界方向の右眼用映像を撮像し、前記第１の映像情報は前記左眼用映像及び右眼用映像のための映像情報を含み、前記第２の映像情報は前記波長変換部によって変換された前記左眼用映像及び右眼用映像のための映像情報を含み、前記映像提示部は前記第２の映像情報に含まれる前記変換された左眼用映像のための映像情報に基づいてユーザの左眼に対して変換された左眼用映像を提示し、前記第２の映像情報に含まれる前記変換された右眼用映像ための映像情報に基づいてユーザの右眼に対して変換された右眼用映像を提示するようにしてもよい。

【0021】

前記ユーザは、網膜変性患者であって前記他の波長域内の光を神経節細胞が受容可能となるタンパク質が眼球に投与されたユーザとすることができる。

【0022】

また、本発明の一実施態様の波長変換装置は、可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザに前記他の波長域内の色を表現する色信号に基づく映像を提示するための映像信号を出力する波長変換装置であって、ユーザの視界方向を撮像して取得された第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に変換し、前記変換された色信号に基づく第２の映像情報を出力する。

【0023】

さらに、本発明の一実施形態のプログラムは、可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザに前記他の波長域内の色を表現する色信号に基づく映像を提示するための映像信号を出力するためのプログラムであって、コンピュータに、ユーザの視界方向を撮像して取得された第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に変換する工程と、前記変換された色信号に基づく第２の映像情報を出力させる工程と、を実行させることができる。

【0024】

本発明の実施形態の方法は、可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザに前記他の波長域内の色を表現する色信号に基づく映像を提示するための映像信号を出力するための方法であって、コンピュータが、ユーザの視界方向を撮像して取得された第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に変換する工程と、前記変換された色信号に基づく第２の映像情報を出力する工程と、を実行してもよい。

【発明の効果】

【0025】

本発明によれば、可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザであっても、可視光線の全てを認識できるようにすることができる。

【図面の簡単な説明】

【0026】

【図1a】本発明の一実施形態に係る頭部装着型映像提示装置の概略斜視図である。

【図1b】本発明の一実施形態に係る頭部装着型映像提示装置の概略背面側斜視図である。

【図1c】本発明の一実施形態に係る頭部装着型映像提示装置の概略背面側斜視図である。

【図1d】本発明の一実施形態に係る頭部装着型映像提示装置の概略斜視図である。

【図2】本発明の一実施形態に係る頭部装着型映像提示装置のハードウェア構成ブロック図である。

【図3】本発明の一実施形態に係る変換前後の波長領域を示す図である。

【図4】本発明の一実施形態に係る情報処理を示すフローチャートである。

【図5】本発明の一実施形態に係る情報処理を示すフローチャートである。

【図6】本発明の一実施形態に係るＸＹＺ表色系によるスペクトル色度座標のグラフである。

【図7】本発明の一実施形態に係る情報処理を示すフローチャートである。

【図8】本発明の一実施形態に係るＲＧＢ表色系によるスペクトル色度座標のグラフである。

【図9】本発明の一実施形態に係る情報処理を示すフローチャートである。

【図10】本発明の一実施形態に係るＲＧＢ表色系によるスペクトル色度座標のグラフである。

【図11】本発明の一実施形態に係る情報処理を示すフローチャートである。

【図12】本発明の一実施形態に係るＲＧＢ表色系によるスペクトル色度座標のグラフである。

【発明を実施するための形態】

【0027】

［第１の実施形態］
本発明の一つの実施形態における頭部装着型映像提示装置１００の概略図を図１ａ〜ｄに示す。頭部装着型映像提示装置１００はユーザの頭部に装着されて使用されるものであり、撮像部１０１及び映像提示部１０２を備える。撮像部１０１はユーザの視界方向を撮像できる位置に配置され、映像提示部１０２はユーザに映像を提示できる位置に配置される。頭部装着型映像提示装置１００は、撮像部１０１によって撮像されたユーザの視界方向の映像を波長変換部１０３によって波長変換処理（色変換処理）して、映像提示部１０２において波長変換された映像をユーザに提示する。波長変換部１０３は図１においては図示を省略した。

【0028】

図１ａは頭部装着型映像提示装置１００の一つの構成例の概略斜視図であり、図１ｂ及び図１ｃはその概略背面側斜視図である。図１ｄは頭部装着型映像提示装置１００のもう一つの構成例の概略斜視図である。図１ｂは映像提示部１０２としてプロジェクタを用いた場合の構成例である。本図においては左右の眼の各々のために別々のプロジェクタレンズを備える構成としたが、軽量化、低廉化のために一つのレンズのみを備えて、一方の眼にのみ映像を提示する構成としてもよい。図１ｃは映像提示部１０２としてディスプレイを用いた場合の構成例を示す。図１ｄは映像提示部１０２としてプロジェクタを用いた場合であり、光源を含むプロジェクタ筐体１１０、プリズム１１１及び１１２を備える。プロジェクタ筐体１１０から放射された光がプリズム１１１及び１１２によってコの字に屈折されてユーザの右眼に向けて放射される。プロジェクタは、例えば網膜投影方式を用いて網膜に直接投影することでユーザに映像を視覚させることができる。

【0029】

第１の実施形態における頭部装着型映像提示装置１００のハードウェア構成図を図２に示す。頭部装着型映像提示装置１００は、前述のように、撮像部１０１、映像提示部１０２、波長変換部１０３を備え、さらに、処理部１０４、記憶部１０５及びバス１０８を備える。波長変換部１０３は内部記憶部１０７を備える。記憶部１０５はプログラム１０６を格納する。

【0030】

頭部装着型映像提示装置１００は可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザのための装置である。このユーザは、一部の可視光波長域については感度が低下しているため、その波長域の光を認識しにくいか、全く認識できない。本発明において感度が低下しているとは、感度が全くない場合を含む。一方、その他の波長域の光については、健常者に比べれば感度が低い場合もあるが、前記一部の波長域に比べて感度が高い。頭部装着型映像提示装置１００は、比較的感度が低下している波長域の光を波長変換して、比較的感度の高い波長域で認識させるようにする。

【0031】

本発明が対象とするユーザの可視光波長に対する感度が低下した理由はどのようなものであってもかまわない。その原因の一例として、網膜色素変性症、加齢黄斑変性症、網膜剥離等の網膜変性の疾患が挙げられる。本実施形態の対象ユーザは、網膜変性患者であるが、改変ボルボックス由来の光受容チャネルロドプシンタンパク質を投与することにより、可視光波長域のうちの４５０〜６００ｎｍの波長域内の色については感度が向上し認識可能となった一方、３８０〜４５０ｎｍ及び６００〜７５０ｎｍの波長域内の色については依然として感度が非常に低く認識できない患者とする。

【0032】

撮像部１０１は、ユーザの視界方向を撮像して第１の映像情報を取得する。波長変換部１０３は、撮像部１０１によって取得された第１の映像情報における少なくとも感度が低下している一部の波長域のための色信号の少なくとも一部を、可視光波長域のうちの比較的感度の高い他の可視光波長域内の色で表現する色信号に変換し、当該変換された色信号に基づく第２の映像情報を出力する。映像提示部１０２は、波長変換部１０３によって出力された第２の映像情報に基づいて、波長変換されたユーザの視界方向の映像をユーザに提示する。映像提示部１０２は、映像を提示するプロジェクタでもよいし、液晶ディスプレイ、有機ＥＬディスプレイやプラズマディスプレイ等のディスプレイ装置であってもよい。

【0033】

ユーザの可視光線に対する感度が比較的良好な波長域（可視光波長域のうちの他の波長域）であってもディスプレイのような映像提示装置が放射する光量では十分に可視光を認識できないユーザもいる。このようなユーザのためには、映像提示部１０２としてプロジェクタを用いることが望ましい。プロジェクタによって強度の強い可視光線をユーザの眼に直接入射させることで、ユーザに映像を認識させることができる。本実施形態において映像提示部１０２として二つのレンズを備えるプロジェクタを用いた場合、両レンズから第２の映像情報に基づいて同じ映像を提示するための光が放射される。また、二つのレンズを備えるプロジェクタを用いる場合には、各眼のために異なる別々の波長変換を行った映像を提示することが好ましい。各眼毎に各波長に対する感度が異なる場合に、各眼に適した波長変換を行うことができる。

【0034】

処理部１０４は、記憶部１０５に格納されたプログラム１０６に含まれる命令に基づいて、撮像部１０１、映像提示部１０２、波長変換部１０３を制御して、情報処理を実行する。記憶部１０５はハードディスク、メインメモリ、及びバッファメモリを含む。記憶部１０５にはプログラム１０６が記憶される。ただし記憶部１０５は、情報を格納できるものであればいかなる不揮発性ストレージ又は不揮発性メモリであってもよく、着脱可能なものであっても構わない。記憶部１０５には、プログラム１０６や当該プログラムの実行に伴って参照されうる各種のデータが記憶される。波長変換部１０３は波長変換のために必要な情報を内部記憶部１０７に格納してもよいし、記憶部１０５に格納してもよいし、併用してもよい。内部記憶部１０７は記憶部１０５と同様にハードディスク、メインメモリ、及びバッファメモリを含む。波長変換部１０３は集積回路によって実現されてもよいし、記憶部１０５に格納されたプログラム１０６を処理部１０４が実行することによって、波長変換部としての機能を実現してもよい。バス１０８は眼鏡型映像提示装置１００に含まれる各ハードウェア要素間を接続する。

【0035】

本実施形態においては、図３に示すとおり、３８０〜７５０ｎｍの可視光波長域の光を４５０〜６００ｎｍの波長域の光に波長変換する。すなわち、可視光波長域３８０〜７５０ｎｍの波長域内の可視光線を、本実施形態が対象とするユーザが認識可能な４５０〜６００ｎｍの波長域内の波長に変換して提示し、４５０ｎｍ以下及び６００ｎｍ以上の波長は出力、提示されないようにする。このため、本来認識できない波長の可視光線がユーザの視界に含まれていたとしても、実際の波長とは異なる波長によってではあるがその可視光線の存在も含んだ視界の映像を認識させることが可能となる。

【0036】

本実施形態における頭部装着型映像提示装置１００の動作について図４に示したフローチャートを用いて説明する。まず、ステップ４０１において、撮像部１０１がユーザの視界方向の撮像を開始して第１の映像情報を取得する。撮像部１０１は撮像を中止しない限り撮像を継続し、第１の映像情報を波長変換部１０３に継続的に出力する。ステップ４０２において、波長変換部１０３が、撮像部１０１から出力された第１の映像情報を取得し、３８０ｎｍ以下及び７５０ｎｍ以上の波長光のための色信号のうちの少なくとも一部を、４５０〜６００ｎｍの波長光のための色で表現する色信号に変換し、当該変換された色信号に基づく第２の映像情報を出力する。波長変換は、可視光波長全体に行ってもよいし、ユーザが認識できない波長域４５０ｎｍ以下及び６００ｎｍ以上の波長を含んでいればどのような波長域に対して行ってもよい。ステップ４０３において、映像提示部１０２が、波長変換部１０３によって出力された第２の映像情報に基づいて、波長変換されたユーザの視界方向の映像をユーザに提示する。映像の提示は例えば映像提示部１０２がプロジェクタである場合には、当該プロジェクタから映像情報に基づいた光を放射することにより行われる。その後、ステップ４０２に戻り、波長変換部１０３は、撮像部１０１が順次出力する第１の映像情報に対して波長変換を実行して第２の映像情報を出力し、ステップ４０３において映像提示部１０２がこれに基づいて映像を提示する処理を繰り返す。

【0037】

本実施形態の上述の処理を実行することにより、図３に示すように、可視光波長域３８０〜７５０ｎｍの波長域内の可視光線を、本実施形態が対象とするユーザが認識可能である４５０〜６００ｎｍの波長域内の波長に変換して表示し、本来認識できない波長の可視光線の存在も含んだ視界の映像をユーザに認識させることが可能となる。ユーザが認識可能な波長域が他の波長域であっても同様の方法により、本発明の実施が可能であることは明らかである。

【0038】

［第２の実施形態］
本実施形態は、波長変換処理としてＸＹＺ変換を用いる点で第１の実施形態と異なる。その他の点については、第１の実施形態と同様である。以下、第１の実施形態と異なる波長変換処理を中心に説明する。

【0039】

本実施形態において波長変換部１０３は、ＸＹＺ表色系におけるスペクトル色度座標を含む第１のテーブルと、ユーザの感度が可視光域内の他の波長域に比較して低下している一部の可視光波長域の波長を他の波長域内の波長に変換するために、前記第１のテーブルにおいて前記一部の可視光波長域の波長に対応づけられた色度座標を前記他の波長域内の波長に対応づけ、前記第１のテーブルにおいて前記他の波長域の波長に対応づけられた色度座標の少なくとも一部を前記第１のテーブルにおいて対応づけられた色度座標とは異なる色度座標に対応づけた第２のテーブルと、を含む。本実施形態においてこれらのテーブルは波長変換部１０３に備えられた内部記憶部１０７に格納されるが、記憶部１０５に格納されてもよい。波長変換部１０３は、第１の映像情報に基づいて、ＸＹＺ表色系で色を表現するＸＹＺ信号を取得し、前記第１のテーブルに基づいて、前記ＸＹＺ信号に対応する波長を特定し、前記第２のテーブルに基づいて、前記特定された波長に対応づけられた変換された波長のためのＸＹＺ信号を取得し、前記変換されたＸＹＺ信号に基づく第２の映像情報を出力する。

【0040】

図５に、波長変換処理（ステップ４０２）として、本実施形態におけるＸＹＺ変換を用いる処理を示す。ステップ５０１において、撮像部１０１が取得した第１の映像情報から１フレームを取り出す。撮像部１０１によって取得された第１の映像情報は複数のフレームを含む動画データであり、例えば、３０ｆｐｓ（Frames per Second）の動画データであれば、１秒間に３０フレーム撮像される。本実施形態においては、波長変換部１０３が第１の映像情報から１フレームを読み出し、波長変換処理を実行し、映像提示部１０２が映像を提示する、という処理をフレーム毎に繰り返し実行する。

【0041】

ステップ５０１において取り出した１フレームの映像情報における色信号として各画素のＲＧＢ信号を、ステップ５０２において取得する。撮像部１０１から取得された映像情報のＲＧＢ信号がガンマ補正を含むｓＲＧＢ信号である場合には、逆ガンマ補正を行うことによりＲＧＢ信号を取得する。ＲＧＢ信号を取得する他の実施形態においても同様に必要に応じて逆ガンマ補正を行う。入力されるＲＧＢ信号値が所定値以上となると適切な波長変換処理を行うことができない場合があるため、キャリブレーション若しくは、参照信号を基にした自動利得制御（ＡＧＣ）によりＲＧＢ信号が所定の範囲内の大きさとなるような制御を行ってもよい。ＡＧＣは波長変換の前の適切なタイミングで参照信号を基に実行される。そして、ステップ５０３において、このＲＧＢ信号をＸＹＺ信号に変換（ＸＹＺ変換）する。ＲＧＢ信号をＸＹＺ信号へ変換する種々の変換式が知られているが、本実施形態においては、ＣＩＥ ＲＧＢ方式による式（１）を用いる。ここでｉは画素番号を示し、０〜最大画素番号ｉ_ｍａｘ（画素数−１）までの値を取りうる。このＸＹＺ変換をすべての画素（ｉ＝０〜ｉ_ｍａｘ）に対して行う。さらにステップ５０４において、各画素の三刺激値ＸＹＺの刺激和Ｓ［ｉ］を式（２）の演算により取得し、内部記憶部１０７に格納する。

【0042】

【数1】

【数2】

【0043】

そして、ステップ５０５において、式（３）に示すとおり取得されたＸＹＺ値を刺激和Ｓ［ｉ］で除算して、すべての画素のための正規化されたｘｙｚ値を取得する。

【0044】

【数3】

【0045】

ステップ５０６において、この正規化されたｘｙｚ値及びＸＹＺ表色系におけるスペクトル色度座標に基づいて、各画素の波長を特定する。スペクトル色度座標は、正規化されたｘｙｚ値と波長との対応関係が示されているものであればどのようなものであってもかまわない。本実施形態においては、表１及び図６（ａ）に示すＣＩＥによって策定されたＸＹＺ表色系におけるスペクトル色度座標を用いる。このＸＹＺ表色系におけるスペクトル色度座標そのものは当業者によく知られたものであるから、表１においては説明のために必要な波長域についてのみ示し、その他の領域については簡略化のため省略する。また、本実施形態においては、３８０〜７００ｎｍまでのスペクトル色度座標を用いるが、より広い範囲やより狭い範囲を含むスペクトル色度座標の表、例えば、３８０〜７５０ｎｍまでのスペクトル色度座標を用いた場合であっても同様の方法により本発明の実現が可能であることは明らかである。

【0046】

【表1】

【0047】

ステップ５０５で取得された各画素のｘｙｚ値と表１のｘｙｚ値とを比較し、対応する波長λを特定する。例えば、まずｘ値を基準として比較して一致又はいくつかの近いｘ値を持つ波長を候補として特定し、その後、ｙ値、ｚ値を基準として順次比較を実行し、一致又は最も近いｘｙｚ値を有する波長をその画素のための波長として特定する。

【0048】

取得された画素ｉのためのｘｙｚ値がｘ［ｉ］＝０．１７３３２、ｙ［ｉ］＝０．００４８２、ｚ［ｉ］＝０．８２１８８であったとき（これをｘｙｚ［ｉ］＝（０．１７３３２, ０．００４８２, ０．８２１８８）と表現する）であった場合は、まずｘ値を基準として候補となる波長λを選択する。表１においてｘ＝０．１７３３２を持つ波長λはないから、最も近いｘ値（０．１７３４４）を持つ波長λ＝４００ｎｍと２番目に近いｘ値（０．１７３２９）を持つ波長λ＝４０１ｎｍと３番目に近いｘ値（０．１７３３８）を持つ波長λ＝３９９ｎｍを候補として選択する。次に、候補波長λ＝３９９ｎｍ、４００ｎｍ及び４０１ｎｍのうち、ｙ［ｉ］＝０．００４８２に最も近いｙ値（０．００４８１）を持つ波長λ＝３９９ｎｍと次に近いｙ値（０．００４８０）を持つ波長λ＝４００ｎｍを候補として絞り込む。さらに、波長λ＝３９９ｎｍ及び４００ｎｍのうちｚ［ｉ］＝０．８２１８８により近いｚ値（０．８２１８６）を持つ波長λ＝４００ｎｍをこの画素ｉの波長として特定する。その他、取得された画素ｉのためのｘｙｚ値と表１におけるｘｙｚ値との間の相関を様々な方法で算出して相関が最も大きい波長を選択して波長λを特定できることは当業者には明らかである。

【0049】

この波長特定処理をすべての画素について行い、画素毎の波長λ［ｉ］を特定する。なお、本実施形態においては、波長３８０〜７００ｎｍの範囲のスペクトル色度座標を用いているが、この範囲外の波長が入力された場合には、上述の方法により、スペクトル色度座標を用いて波長３８０〜７００ｎｍの範囲内の波長が特定される。

【0050】

次に、ステップ５０７において波長変換を行う。波長変換は、ユーザの感度が低下して認識できない可視光波長域の波長をユーザが認識可能な可視光波長域の波長に変換する。本実施形態においては、ユーザが認識可能な波長域もユーザが認識可能な波長域内の他の波長に変換するが、ユーザの感度が低下している可視光波長域のみを波長変換してもよい。本実施形態において波長変換は以下の波長変換テーブルを用いて行う。

【0051】

【表2】

【0052】

表２の波長変換テーブルにおいて、「変換前波長λ（nm）」は波長変換前の波長、「変換後波長λ（nm）」は変換後（変換先）の波長を示す。「ｘ（λ）」、「ｙ（λ）」、「ｚ（λ）」は変換後の波長λを表現するためのｘ（λ）、ｙ（λ）、ｚ（λ）値を示す。すなわち、この波長変換表は、変換前波長λ（nm）に対して、変換後波長λ（nm）及び変換後波長λ（nm）のためのｘｙｚ値を割り当てる。例えば、変換前波長λ（nm）＝３８０ｎｍに対して、変換後波長λ（nm）として４５０ｎｍを割り当て、変換後波長４５０ｎｍを表現するためのｘｙｚ値（０．１５６６４, ０．０１７７１, ０．８２５６５）を割り当てる。この変換後波長λ（nm）を表現するためのｘｙｚ値は表１に示したＸＹＺ表色系におけるスペクトル色度座標のテーブルから取得される。変換後波長λ（nm）は発明の理解のために記載したが、実際の情報処理においては含まれなくともよい。

【0053】

この波長変換表を作成するにあたり、式（４）を用いて、可視光波長域３８０〜７００ｎｍの波長に対する４５０〜６００ｎｍの変換後波長を直線近似或いは1次近似計算により求める。

【0054】

【数4】

【0055】

表１に示したＸＹＺ表色系におけるスペクトル色度座標は１ｎｍ毎にｘｙｚ値を示すだけであるから、式（４）で算出された小数点を含む変換後波長を適宜、四捨五入、切り捨て、切り上げ等行って、整数値の変換後波長に割り当てる。また、ＸＹＺ表色系におけるスペクトル色度座標には４５０〜６００ｎｍのｘｙｚ値が１ｎｍ毎に示されているから１５１個の波長に対するｘｙｚ値が示されているのに対して、可視光波長域３８０〜７００ｎｍに１ｎｍ毎にｘｙｚを割り当てると３２１個のｘｙｚ値が必要となる。したがって、スペクトル色度座標に示されたｘｙｚ値の数が不足する。そこで、本実施形態においては、前述の方法により変換前波長３８０ｎｍから１ないし２ｎｍ毎にＸＹＺ表色系におけるスペクトル色度座標のテーブルに示された波長４５０ｎｍから１ｎｍ毎のｘｙｚ値を割り当て、割り当てされなかった変換前波長については、「変換後波長λ（nm）」は空欄として、その前後の波長に割り当てられたｘｙｚ値に基づいて線形補間を行った。この補間方式はｎ次近似(ｎ＝１以上)に限定されず、他の方式を用いてもよい。

【0056】

例えば、変換前波長３８０ｎｍに対して変換後波長４５０ｎｍのためのｘｙｚ値（０．１５６６４, ０．０１７７１, ０．８２５６５）を割り当て、変換前波長３８２ｎｍに対して変換後波長４５１ｎｍのためのｘｙｚ値（０．１５５６０, ０．０１８６１, ０．８２５７９）を割り当て、その間の変換前波長λ３８１ｎｍについては変換後波長４５０ｎｍと４５１ｎｍのためのｘｙｚ値の間の値（平均値）であるｘｙｚ値（０．１５６１２, ０．０１８１６, ０．８２５７２）を割り当てる。

【0057】

本実施形態においては、この波長変換表を用いて、ステップ５０７において特定された波長を変換する。例えば、ステップ５０６において特定された波長λ［ｉ］が３９９ｎｍである場合、まず、変換前波長λ（nm）＝３９９ｎｍの行を検索する。そして、検索によって特定された行の変換後波長λは４５９ｎｍであり、そのためのｘｙｚ値として割り当てられた（０．１４５４７, ０．０２８１２, ０．８２６４１）を出力する。すなわち、波長３９９ｎｍを表現するｘｙｚ値を持つ画素ｉのためのｘｙｚ［ｉ］として波長４５９ｎｍを表現する（０．１４４７２，０．０２８９１，０．８２６３８）を出力するから、この画素［ｉ］の波長が３９９ｎｍから４５９ｎｍに変換される。

【0058】

ステップ５０８において、変換されたすべての画素のｘｙｚ［ｉ］に対してその画素ｉのための刺激和Ｓ［ｉ］を内部記憶部１０７より読み出して式（５）に示すとおり乗算し、波長変換後のＸＹＺ値を取得する。そして、ステップ５０９において、この変換後ＸＹＺ値を式（６）に基づいてＲＧＢ変換し、ステップ５１０において変換後のＲＧＢ信号を映像提示部１０２に出力する。

【0059】

【数5】

【0060】

【数6】

【0061】

その後、ステップ４０３において、映像提示部１０２がステップ５０７において波長変換部１０３から出力されたＲＧＢ信号に基づいてユーザに対して映像の提示を行う。必要に応じてガンマ補正を行ってもよい。ＲＧＢ信号を出力する他の実施形態においても同様に必要に応じてガンマ補正を行う。

【0062】

上述の処理により１つのフレームの映像を提示したのち、ステップ４０２へ戻って、次のフレームについての本実施形態の前述の波長変換（ステップ４０２）及び映像提示（ステップ４０３）を行う。本実施形態においては、１フレーム毎に波長変換（ステップ４０２）及び映像提示（ステップ４０３）を行ったが、複数フレームをまとめて波長変換を行ったのち、映像提示を行ってもよい。

【0063】

本実施形態においては、可視光波長域全体の３８０〜７００ｎｍ内の波長がユーザの認識可能な波長域４５０〜６００ｎｍに変換される。変換前後のＸＹＺ表色系によるスペクトル色度座標をグラフで表したものを図６に示す。図６（ａ）は変換前、図６（ｂ）は変換後のグラフを示す。変換前（図６（ａ））においては、各波長に対してその波長を表現するための本来のｘｙｚ値が割り当てられているが、変換後（図６（ｂ））は各波長に対して、その波長を表現するための本来のｘｙｚ値ではなく４５０〜６００ｎｍのためのｘｙｚ値が３８０〜７００ｎｍにわたってほぼ均等に割り当てられている。したがって、図６（ａ）の４５０〜６００ｎｍのグラフの形状が左右に引き延ばされた形で図６（ｂ）の３８０〜７００ｎｍに割り当てられていることが理解される。変換後においては、波長３８０ｎｍに対して波長４５０ｎｍを表現するためのｘｙｚ値が割り当てられているから、３８０ｎｍの入力があった画素においては４５０ｎｍのｘｙｚ値に基づいた出力が映像提示部１０２によってなされ、波長４５０ｎｍの光がユーザによって観察されることとなる。

【0064】

したがって、本実施形態を用いることにより、ユーザは、感度が低下して本来認識できない波長域の可視光線があった場合であっても比較的感度が良好で認識可能な波長に変換された可視光線として観察できるようになる。さらに、変換前波長が認識可能な波長域にほぼ線形に割り当てられているから、隣接する部分間の色の関係等の表現が実際の色表現に近い表現でユーザに認識させることを可能とする。

【0065】

本実施形態においては、可視光波長域３８０〜７００ｎｍ内の波長を波長域４５０〜６００ｎｍに変換するという一つの連続した波長域から一つの連続した波長域への変換を行う例を示したが、一つの連続的な波長域から二つ以上の分離した波長域への変換や、二つ以上の分離した波長域から他の二つ以上の分離した波長域へ変換することも同様の方法により可能であることは明らかである。

【0066】

［第３の実施形態］
本実施形態は、波長変換処理が第１及び第２の実施形態と異なる。その他の点については、第１及び第２の実施形態と同様である。以下、第１及び第２の実施形態と異なる波長変換処理を中心に説明する。

【0067】

本実施形態においては、波長変換ステップ４０２においてＸＹＺ変換を行わず、ＲＧＢ信号において波長変換を行う。以下、本実施形態における波長変換ステップ４０２を図７に示したフローチャートに基づいて説明する。第２の実施形態と同様に、ステップ７０１において、波長変換部１０３が、撮像部１０１から取得された第１の映像情報から１フレームを読み出し、ステップ７０２において、このフレームにおける各画素のＲＧＢ信号を取得する。次に、ステップ７０３において、式（１）から導出される式（７）を用いて、ＲＧＢ信号に基づいて各画素の刺激和Ｓ［ｉ］を算出して、内部記憶部１０７に格納する。刺激和［ｉ］は近似式等によって算出されるものであってもかまわない。

【0068】

【数7】

【0069】

ここで、Ｒ［ｉ］、Ｇ［ｉ］及びＢ［ｉ］は画素ｉのＲ信号値、Ｇ信号値及びＢ信号値である。また、ｒ［ｉ］、ｇ［ｉ］及びｂ［ｉ］は画素ｉのＲ［ｉ］、Ｇ［ｉ］及びＢ［ｉ］を刺激和Ｓ［ｉ］で除算して得られる。ステップ７０４において、各画素のＲ［ｉ］を刺激和Ｓ［ｉ］で除算し、ｒ［ｉ］を演算する。

【0070】

ステップ７０５において、各画素のｒ［ｉ］がｒ信号上限値以上であるか否かの判定を行い、上限値以上であれば、その上限値に変換する。上限値より小さい場合には変換を行わずそのままのｒ［ｉ］を変換されたｒ［ｉ］として出力する。本実施形態において用いるＲＧＢ表色系によるスペクトル色度座標を表３及び図８（ａ）に示した。本実施形態におけるＲＧＢ表色系によるスペクトル色度座標は、表１及び図６（ａ）に示したＣＩＥによって策定されたＸＹＺ表色系によるスペクトル色度座標に式（６）に示したＲＧＢ変換を用いて作成した。表３及び図８に示されるｒｇｂ信号値は、ＸＹＺ表色系によるスペクトル色度座標に示された正規化されたｘｙｚ信号値をＲＧＢ変換して得られた値である。ＲＧＢ表色系によるスペクトル色度座標は、ＸＹＺ表色系による色度座標に基づいて、ｒｇｂ信号値と波長との対応関係が示されているものであればどのようなものであってもよい。網膜変性疾患により、認識可能な可視光波長域が４５０〜６００ｎｍである患者を想定した場合、波長が６００ｎｍより長い波長を表現するためのＲＧＢ信号を出力しても認識できない。図８（ａ）によれば、波長６００ｎｍより長い波長においては、Ｇ及びＢ信号に比べて、Ｒ信号が大きく支配的である。そこで、本実施形態においては、各画素ｉのｒ［ｉ］が、ユーザが認識可能なｒ信号の最大値、すなわち、波長６００ｎｍにおけるｒ信号値をｒ信号上限値とし、これを超える場合には、このｒ信号上限値に変換することにより、常にユーザが認識可能なｒ信号を出力し、約６００ｎｍ以上の波長光が提示部１０２より提示されないようにすることが可能である。表３及び図８（ａ）に示したスペクトル色度座標から波長６００ｎｍのときのｒ信号値（１．１４８８８）を取得する。ｒ信号上限値はユーザが認識可能な波長域におけるｒ信号の最大値より小さければよい。

【0071】

【表3】

【0072】

そして、ステップ７０６において、変換されたｒ［ｉ］にその画素ｉの刺激和Ｓ［ｉ］を乗算して変換されたＲ［ｉ］を取得する。ステップ７０７において、撮像部１０１によって撮像され出力された各画素のＲＧＢ信号に含まれるＲ信号値をこの変換されたＲ信号値に置換することにより、変換されたＲ信号値を含むＲＧＢ信号を波長変換部１０３から映像提示部１０２に出力する。Ｇ及びＢ信号値については変換を行わず、撮像部１０１から出力された値を用いる。映像提示部１０２はこの変換されたＲＧＢ信号に基づいてフレームの提示を行う（ステップ４０３）。

【0073】

このような変換処理により、図８（ｂ）に示すように、波長６００ｎｍ以上のｒ［ｉ］としてｒ信号上限値が出力され、波長６００ｎｍ以上の波長が撮像部１０１によって撮像された場合であっても、約６００ｎｍの波長の光が映像提示部によって提示される。

【0074】

本実施形態を用いることにより、６００ｎｍより長い波長を認識できないユーザであっても、映像提示部１０２を介して波長６００ｎｍより長い波長光を約６００ｎｍの波長光として観察することが可能となる。６００ｎｍ以下の波長域においては本来の波長で出力されるから、隣接する部分間の色の関係等の表現が実際の色表現でユーザに認識させることを可能とする。また、本発明においては、ユーザの視界の波長変換をリアルタイムに実行して、眼鏡のようにユーザにリアルタイムに視界を提供できることが好ましい。しかしながら、ヘッドマウントディスプレイのようなユーザの頭部に装着する装置においては、ハードウェアの処理能力が限られている場合がある。本実施形態は、ＸＹＺ変換を経ることなくＲＧＢ信号を直接処理して波長変換を実現するから、情報処理が少なく、限られたハードウェア資源によっても、リアルタイムな変換波長映像の提示を可能とする。

【0075】

［第４の実施形態］
本実施形態は、ＸＹＺ変換を伴わずにＲＧＢ信号値の処理を実行するという点において第３の実施形態と同様であるが、具体的な波長変換処理が第３の実施形態と異なる。以下、第３の実施形態と異なる波長変換処理を中心に説明する。本実施形態においては、撮像部１０１から取得されるＲＧＢ信号における各Ｒ信号値、Ｇ信号値及びＢ信号値が負の値を取らないことを前提とする。

【0076】

本実施形態における波長変換ステップ４０２の具体的な処理を、図９に示したフローチャートに基づいて説明する。ステップ９０１〜９０３は、第３の実施形態におけるステップ７０１〜７０３と同様である。ステップ９０４においては、各画素のＲ［ｉ］とともにＧ［ｉ］についても刺激和Ｓ［ｉ］で除算を行い、ｒ［ｉ］及びｇ［ｉ］を取得する。そして、ステップ９０５において、ｒ［ｉ］がｒ信号上限値以上であれば、ｒ信号上限値に変換し、ステップ９０６において、ｇ［ｉ］がｇ信号下限値以下であれば、ｇ信号下限値に変換する。

【0077】

本実施形態においては、表３及び図８（ａ）に示されたＲＧＢ表色系によるスペクトル色度座標のグラフに基づいて、波長６００ｎｍにおけるｒ信号値（１．１１４８８８）及びｇ信号値（０．２０８３７）をそれぞれｒ信号上限値及びｇ信号下限値として決定する。ｒ信号上限値はユーザが認識可能な波長のためのｒ信号値の最大値とすることが好ましいが、それ以下の値であればよい。本実施形態においては撮像部１０１は負の値を返さないから、表３及び図８（ａ）に示されるＲＧＢ表色系によるスペクトル色度座標において負の値となっている値は０に読み替える。例えば、４５０〜５００ｎｍにおけるｒ信号値は０であり、この波長域におけるｒ信号値の最大値は０となるから、ｒ信号上限値は０となる。ｇ信号下限値はユーザが認識可能な波長域の両端の波長のためのｇ信号値のうち大きい方の値とする。本実施形態においては、ユーザが認識可能な波長域として４５０〜６００ｎｍを想定した。この波長域の両端のｇ信号値を比較した場合、波長６００ｎｍのための信号値の方が大きいため、ｇ信号下限値を６００ｎｍの値とする。例えば、ユーザが認識可能な波長域として５００〜６００ｎｍした場合には波長５００ｎｍのｇ信号値の方が大きいから、波長５００ｎｍのための信号値をｇ信号下限値とする。図８（ａ）からｇ信号値のためのＲＧＢ表色系によるスペクトル色度座標のグラフは上に凸の形状であるから、前述のようにｇ信号値がｇ信号下限値以上の値となるようにすることにより、ユーザが認識できない波長光が提示されないようにできる。

【0078】

そして、波長変換部１０３は、この変換されたｒ［ｉ］及びｇ［ｉ］に刺激和Ｓ［ｉ］を乗算して変換されたＲ［ｉ］及びＧ［ｉ］を取得し（ステップ９０７）、これらを含む変換されたＲＧＢ信号を出力する（ステップ９０８）。Ｂ［ｉ］については変換されていないものを使用する。映像提示部１０２は、これに基づいて映像提示部１０２が映像の提示を行う（ステップ４０３）。

【0079】

このようにｒ信号値及びｇ信号値を変換することにより、本実施形態によって出力されるスペクトル色度座標のグラフは図１０に示すようになる。波長が６００ｎｍ以上の領域においては、ｒ信号及びｇ信号は波長６００ｎｍのための値を出力する。図８（ａ）において６００ｎｍ以上の波長に対するｂ信号値は負の値であるが、本実施形態における撮像部１０１は負の値については０を出力する。したがって、撮像部１０１が６００ｎｍ以上の光を撮像した場合であっても、本実施形態の波長変換により、６００ｎｍのためのＲＧＢ信号に変換されて出力されるから、６００ｎｍの光が提示される。

【0080】

さらに、波長が短い領域においてもｇ［ｉ］がｇ信号下限値（０．２０８３７）以下となる場合にはｇ［ｉ］の値がｇ信号下限値に変換されて出力される。本実施形態においては波長４７９ｎｍのときにｇ信号下限値となり、それよりも短い波長のときのｇ［ｉ］はこれを下回る値となるから、ｇ信号下限値に変換される。波長４７９ｎｍよりも短い波長域においては、ｒ信号値及びｂ信号値はほぼ一定の値となるから、ｇ信号値をｇ信号下限値に固定することにより、この領域においてほぼ４７９ｎｍの波長光が放射されることとなる。

【0081】

第３の実施形態においては、波長が６００ｎｍより長い波長域においては、ｒ信号が大きく支配的であることに注目し、ｒ信号のみの変換を行った。本実施形態においては、ｒ信号とともにｇ信号についても波長６００ｎｍ以上の波長に対しては６００ｎｍのｇ信号値を出力する。本実施形態を用いることにより、撮像部１０１が４５０ｎｍ以下及び６００ｎｍ以上の光を撮像したとしても、映像提示部１０２からはほぼ４７９〜６００ｎｍの波長の光のみが提示されるから、４５０〜６００ｎｍの波長域しか認識できないユーザであっても、すべての可視光を認識できることになる。４７９〜６００ｎｍの波長域においては本来の波長で出力されるから、隣接する部分間の色の関係等の表現が実際の色表現に近い表現でユーザに認識させることを可能とする。また、第３の実施形態と同様に、ＸＹＺ変換を伴わないで波長変換処理を実行できるから、高速処理が可能となる。

【0082】

［第５の実施形態］
本実施形態は、ＸＹＺ変換を伴わずにＲＧＢ信号の処理を実行するという点において第３及び第４の実施形態と同様であるが、具体的な波長変換処理が異なる。以下、第３及び第４の実施形態と異なる波長変換処理を中心に説明する。本実施形態においても、撮像部１０１から取得されるＲＧＢ信号における各Ｒ信号値、Ｇ信号値及びＢ信号値が負の値を取らない。

【0083】

以下、本実施形態における波長変換ステップ４０２を図１１に示したフローチャートに基づいて説明する。ステップ１１０１〜１１０４は、第４の実施形態におけるステップ９０１〜９０４と同様である。そして、ステップ１１０５において、ｒ［ｉ］及びｇ［ｉ］に対して所定の演算を行って波長変換を行う。本実施形態においては、ｒ［ｉ］のための演算として、変換後のｒ［ｉ］の最大値がユーザが認識可能な波長域における最大ｒ信号値以下となるようにｒ信号変換係数をｒ［ｉ］に乗算する。ｒ信号変換係数は、ＲＧＢ表色系によるスペクトル色度座標において示されたｒ信号値にこの変換係数を乗算して得られる値の最大値がｒ信号上限値を超えないように決定される。ｇ［ｉ］のための演算としては、変換後のｇ［ｉ］の最小値がユーザが認識可能な波長のためのｇ信号値の下限値以上となるような演算を行う。本実施形態においては、以下の式に基づいてｒ［ｉ］及びｇ［ｉ］を変換する。

【0084】

【数8】

【0085】

【数9】

【0086】

ここで、ｕｐｐｅｒ_ｌｉｍｉｔ_ｒは波長変換後のｒ信号上限値、ｐｅａｋ_ｒは波長変換前の最大ｒ信号値である。ｕｐｐｅｒ_ｌｉｍｉｔ_ｒをｐｅａｋ_ｒで除算した値をｒ信号変換係数とする。式（８）から分かるとおり変換後のｒ［ｉ］はｒ信号上限値が最大値となる。ｒ信号上限値はユーザが認識可能な波長のためのｒ信号値の最大値とすることが好ましいが、それ以下の値であればよい。本実施形態においてｒ信号上限値は波長６００ｎｍにおけるｒ信号値である１．１４８８８であり、ｐｅａｋ_ｒは波長７００ｎｍにおけるｒ信号値である１．４９９９０であり、ｒ信号変換係数は約０．７６６（１．１４８８８／１．４９９９０）である。このｒ信号変換係数を用いれば、ＲＧＢ表色系によるスペクトル色度座標において示されたｒ信号値に乗算して得られる値の最大値はｒ信号上限値（１．１４８８８）となる。各画素のｒ［ｉ］についても同様に、式（８）に示したｒ信号変換係数を乗算することにより、ｒ信号上限値を上限とする値に線形に変換することが可能となる。

【0087】

図８（ａ）によれば、４５０〜６００ｎｍの波長域のみを認識できるユーザは、波長６００ｎｍのためのｒ信号値より大きいｒ信号値が出力されると認識できないことが理解される。そこで、本実施形態においては、波長６００ｎｍのためのｒ信号値が変換後の最大値となるように波長６００ｎｍのｒ信号値をｕｐｐｅｒ_ｌｉｍｉｔ_ｒ（ｒ信号上限値）とし、波長変換前の最大ｒ信号値を示す波長７００ｎｍのｒ信号値をｐｅａｋ_ｒ（変換前最大ｒ信号値）とした。ｕｐｐｅｒ_ｌｉｍｉｔ_ｒ及びｐｅａｋ_ｒは表３及び図８（ａ）に示したＲＧＢ表色系によるスペクトル色度座標から決定できるものであり、ｒ信号値変換係数は予め決定可能な係数である。

【0088】

ｐｅａｋ_ｇは波長変換前の最大ｇ信号値であり、ｌｏｗｅｒ_ｌｉｍｉｔ_ｇは波長変換後のｇ信号下限値であり、オフセット値である。本実施形態においてｐｅａｋ_ｇは波長５１８ｎｍにおけるｇ信号値（１．１６２４１）とし、ｌｏｗｅｒ_ｌｉｍｉｔ_ｇは波長６００ｎｍにおけるｇ信号値（０．２０８３７）とする。式（９）の右項のｒ［ｉ］に乗算される係数はｇ信号変換係数であり、変換後のｇ信号値が変換前のｇ信号値の最大値を超えないようにするとともに、変換後のｇ信号についてのスペクトル色度座標のグラフの形状が変換前の形状に類似するように決定される。式（９）に示した演算を行うことにより、各画素のｇ［ｉ］をオフセット値としてｌｏｗｅｒ_ｌｉｍｉｔ_ｇ（ｇ信号下限値）を下限としつつ、上限値は変換前と同一値に保つ値に線形に変換することが可能となる。図８（ａ）によれば、ｇ信号値は上に凸の形状を有するグラフによって示され、ユーザが認識できる４５０〜６００ｎｍの波長域における両端の波長のためのｇ信号値を比較すると６００ｎｍのためのｇ信号値の方が大きい。したがって、このユーザは波長６００ｎｍのためのｇ信号値以上のｇ信号値であれば認識できることが理解される。そこで、本実施形態においては、波長６００ｎｍのためのｇ信号値が最小値となるように波長６００ｎｍのｇ信号値をオフセット信号としてｌｏｗｅｒ_ｌｉｍｉｔ_ｇ（ｇ信号下限値）とし、波長変換前の最大ｇ信号値を示す波長５１８ｎｍのｇ信号値のｐｅａｋ_ｇを保つような演算を行うこととした。

【0089】

ステップ１１０６において、式（８）及び（９）によって変換されたｒ［ｉ］及びｇ［ｉ］に刺激和Ｓ［ｉ］を乗算して、波長変換されたＲ及びＧ値を取得し、ステップ１１０７においてこれらを含むＲＧＢ信号を映像提示部１０２へ出力する。Ｂ信号値については変換を行わず、撮像部１０１から出力された値を用いる。なお、ｒ［ｉ］についての波長変換演算は乗算のみであるから、ステップ１１０４で除算した刺激和Ｓ［ｉ］はステップ１１０６の乗算で打ち消される。したがって、ステップ１１０４及び１１０６における刺激和の除算及び乗算は省略して、Ｒ［ｉ］のまま波長変換処理を実行してもよい。

【0090】

波長変換のための演算方法は、前述の式（８）及び（９）に限定されない。ｒ［ｉ］のための演算としては、変換後のｒ［ｉ］の最大値が、ユーザが認識可能なｒ信号値の最大値以下であるｒ信号上限値を超えないような演算であればどのような演算であってもかまわない。例えば、変換されたｒ信号がｒ信号上限値を超えないのであればｒ信号変換係数を２／３としてこれをｒ［ｉ］に乗算するだけでもよい。ｇ［ｉ］のための演算としては、変換後のｇ［ｉ］の最小値が前述のｌｏｗｅｒ_ｌｉｍｉｔ_ｇ（ｇ信号下限値）以上となるような演算であれば、例えば、ｇ信号変換係数＝１としてｇ［ｉ］にｌｏｗｅｒ_ｌｉｍｉｔ_ｇを加算するだけでもよいし、ｇ［ｉ］をｐｅａｋ_ｇで除算した後に（ｇ信号変換係数＝１／ｐｅａｋ_ｇ）、ｌｏｗｅｒ_ｌｉｍｉｔ_ｇを加算してもよい。また、Ｒ信号値のみ又はＧ信号値のみの処理によっても波長変換は可能である。

【0091】

本実施形態を用いれば、スペクトル色度座標のグラフの形状を類似の形状に保ったままユーザが認識可能な波長を表現するためのＲＧＢ信号に変換することが可能となる。したがって、ｒ信号上限値以上又はｇ信号下限値以下のＲＧＢ信号値を上限ないし下限値に固定する実施形態に比べて、隣接する部分間の色の関係等の表現が実際の色表現に近い表現でユーザに認識させることを可能とする。さらに、実施形態３及び４と同様に、ＸＹＺ変換を伴わないから高速な処理も可能である。

【0092】

［第６の実施形態］
本実施形態における頭部装着型映像装置は、撮像部１０１によって撮像された視差を持つ映像をユーザの各眼に提示する３Ｄ型頭部装着型映像提示装置である点で、第１から第５の実施形態と異なる。その他の点においては他の実施形態と同様である。以下、他の実施形態と異なる点を中心に説明する。

【0093】

図４のステップ４０１として、撮像部１０１はユーザの左眼に提示するためのユーザの視界方向の映像及びユーザの右眼に提示するためのユーザの視界方向の映像を撮像し、この左右の眼に提示するための視差のある映像情報を含む第１の映像情報を出力する。左右の眼の各々に提示される映像は視差のある映像であり、互いに異なる映像となる。左右の眼に提示するための映像情報を撮像するために例えば並べて配置された二つの単眼カメラやステレオカメラを用いてもよい。一つの単眼カメラで演算された視差を用いて左右の映像情報を生成してもよい。

【0094】

ステップ４０２として、波長変換部１０３は第１の映像情報に含まれる左右の眼に提示するための映像情報の各々に対して波長変換処理を行い、変換された左右の眼に提示するための視差のある映像情報を含む第２の映像情報を出力する。波長変換処理は第１から第５の実施形態において説明した波長変換処理のいずれであってもかまわない。映像提示部１０２は第２の映像情報に含まれる左眼に提示するための映像情報に基づいてユーザの左眼に対して映像を提示し、第２の映像情報に含まれる右眼に提示するための映像情報に基づいてユーザの右眼に対して映像を提示する。左右の眼に提示するための映像情報を提示するために例えば二つのディスプレイを用いてもよい。図１ｂにおいて映像提示部１０２としてプロジェクタのレンズを二つ備える構成を示した。本実施形態においては、それぞれのレンズから左右それぞれの眼に提示するための視差のある映像情報を提示する。本実施形態を用いることにより、ユーザに三次元的な映像を提供することが可能となる。また、各眼毎に各波長に対する感度が異なる場合には、各眼に適した別々の波長変換を行い、各眼のために異なる波長変換を行った映像を提示することが望ましいが、例えば一方の眼の感度に適応させた波長変換を両方の眼の映像情報に対して行ってもかまわない。

【0095】

以上に説明した処理又は動作において、矛盾が生じない限りにおいて、処理、動作及び組み合わせを自由に変更することができる。また以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0096】

１００ 頭部装着型映像提示装置
１０１ 撮像部
１０２ 映像提示部
１０３ 波長変換部
１０４ 処理部
１０５ 記憶部
１０６ プログラム
１０７ 内部記憶部
１０８ バス
１１０ プロジェクタ筐体
１１１ プリズム
１１２ プリズム

【要約】

【課題】可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザのための可視光波長変換部を有する頭部装着型映像提示装置を提供すること。
【解決手段】可視光波長域のうちの一部の波長域に対する感度が可視光波長域のうちの他の波長域と比較して低下しているユーザのための頭部装着型映像提示装置であって、ユーザの視界方向を撮像して第１の映像情報を取得する撮像部と、前記第１の映像情報における少なくとも前記一部の波長域のための色信号の少なくとも一部を、前記他の波長域内の色を表現する色信号に変換し、当該変換された色信号に基づく第２の映像情報を出力する波長変換部と、前記第２の映像情報に基づいて、波長変換されたユーザの視界方向の映像をユーザに提示する映像提示部と、を備える、頭部装着型映像提示装置。
【選択図】図１ａ

【図1a】

【図1b】

【図1c】

【図1d】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】