特許 7418075 撮像表示装置、ウェアラブルデバイスおよび撮像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】撮像表示装置、ウェアラブルデバイスおよび撮像表示システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240112BHJP

   H04N 5/66 20060101ALI20240112BHJP

   H04N 23/63 20230101ALI20240112BHJP

   H04N 23/60 20230101ALI20240112BHJP

【ＦＩ】

H04N7/18 U

H04N5/66 Z

H04N23/63

H04N23/60 500

【請求項の数】 27

(21)【出願番号】P 2019126318

(22)【出願日】2019-07-05

(65)【公開番号】P2020048185

(43)【公開日】2020-03-26

【審査請求日】2022-06-27

(31)【優先権主張番号】P 2018174104

(32)【優先日】2018-09-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】西出 洋祐

(72)【発明者】

【氏名】市川 武史

(72)【発明者】

【氏名】沖田 彰

(72)【発明者】

【氏名】坪井 俊紀

(72)【発明者】

【氏名】中辻 七朗

(72)【発明者】

【氏名】吉岡 宏

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１８－１４１９４３（ＪＰ，Ａ）

【文献】特開２０１７－１７４１２５（ＪＰ，Ａ）

【文献】特開平１１－１２２５４４（ＪＰ，Ａ）

【文献】特開平８－１０２９２４（ＪＰ，Ａ）

【文献】国際公開第２０１７／０４７１７８（ＷＯ，Ａ１）

【文献】特開２０１０－９２４３６（ＪＰ，Ａ）

【文献】特開２０１８－６０９８０（ＪＰ，Ａ）

【文献】国際公開第２０１８／０８７８７９（ＷＯ，Ａ１）

【文献】特開２０１８－１２６８５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ２３／００

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

複数の光電変換素子を有する撮像部と、
前記撮像部からの信号を処理する処理部と、
前記処理部からの信号に基づく画像を表示する表示部と、を備え、
前記撮像部は、第１時刻に第１画像情報を取得し、
前記処理部は、前記第１画像情報を基に、前記第１画像情報に含まれる被写体を検出し前記被写体の動作を予測し、前記予測された被写体像を含む画像情報である前記第１時刻よりも後の第２時刻の第１予測画像情報を生成し、
前記表示部は、前記第２時刻に、前記第１予測画像情報に基づく画像を表示することを特徴とする撮像表示装置。

【請求項2】

前記第２時刻に、前記撮像部は第２画像情報を取得し、
前記第２時刻よりも後の第３時刻に、前記撮像部は第３画像情報を取得し、
前記処理部は、前記第２画像情報を基に、前記第２画像情報に含まれる被写体を検出し前記被写体の動作を予測し、前記予測された被写体像を含む画像情報である前記第３時刻の第２予測画像情報を生成し、
前記表示部は、前記第３時刻に、前記第２予測画像情報に基づく画像を表示することを特徴とする請求項１に記載の撮像表示装置。

【請求項3】

前記第１時刻と前記第２時刻の間の第４時刻に、前記撮像部は第４画像情報を得る撮像動作を行い、
前記第１予測画像情報は、少なくとも前記第１画像情報と前記第４画像情報とから生成されていることを特徴とする請求項１または２に記載の撮像表示装置。

【請求項4】

前記撮像部で１秒あたりに取得する画像情報の数を撮像フレームレートとし、前記表示部で１秒あたりに表示する画像の数を表示フレームレートとすると、前記撮像フレームレートは前記表示フレームレートと等しい、または前記撮像フレームレートは前記表示フレームレートよりも大きいことを特徴とする請求項１乃至３のいずれか１項に記載の撮像表示装置。

【請求項5】

前記処理部は、前記第１画像情報の中で動体と静体を検出し、前記動体と検出された第１部分と、前記静体と検出された第２部分とを特定し、
前記処理部は、前記第１予測画像情報を生成する際に、前記第２部分に低解像度化の処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像表示装置。

【請求項6】

前記撮像表示装置は、更に、視線を検知する視線検知部を有し、
前記処理部は、前記第１予測画像情報を生成する際に、前記視線検知部が検知した視線領域以外の解像度を低下させる処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像表示装置。

【請求項7】

前記処理部は、前記第１予測画像情報を生成する際に、前記第２時刻の視線領域を予測することを特徴とする請求項６に記載の撮像表示装置。

【請求項8】

ある時刻に前記撮像部が取得する画像情報と、前記ある時刻に前記表示部が表示する予測画像情報との時間的な差分ΔＡは、前記表示部が１秒あたりに表示する画像の枚数をＤＦＲとすると、－２／ＤＦＲ≦ΔＡ≦２／ＤＦＲを満たすことを特徴とする請求項１乃至７のいずれか１項に記載の撮像表示装置。

【請求項9】

前記差分ΔＡは、－４×１０－３≦ΔＡ≦４×１０－３を満たすことを特徴とする請求項８に記載の撮像表示装置。

【請求項10】

前記処理部は、ＡＩ部を有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像表示装置。

【請求項11】

前記ＡＩ部はディープラーニング機能を備えることを特徴とする請求項１０に記載の撮像表示装置。

【請求項12】

前記ＡＩ部は学習済モデルを有し、前記学習済モデルは、専門家から取得したデータに基づき構築されていることを特徴とする請求項１０に記載の撮像表示装置。

【請求項13】

前記処理部において、前記第１予測画像情報に基づく画像の一部分について拡大処理した部分画像情報を生成し、前記部分画像情報に基づく画像を前記表示部に表示することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像表示装置。

【請求項14】

前記処理部は、前記部分画像情報を生成する際に、前記一部分に対して解像度を向上させる処理を施すことを特徴とする請求項１３に記載の撮像表示装置。

【請求項15】

更に、前記第１画像情報を保持する記録部を有することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像表示装置。

【請求項16】

前記複数の光電変換素子は、可視光領域と近赤外光領域の光が検出可能であり、
前記処理部は、前記第１画像情報の前記近赤外光領域の画像情報を可視光領域の画像情報に変換する処理を行うことを特徴とする請求項１乃至１５のいずれか１項に記載の撮像表示装置。

【請求項17】

前記処理部は、前記第１画像情報の輝度よりも前記第１予測画像情報の輝度を高くする処理を行うことを特徴とする請求項１乃至１６のいずれか１項に記載の撮像表示装置。

【請求項18】

前記撮像部は撮像が行われる撮像領域を有し、
前記表示部は表示が行われる表示領域を有し、
前記撮像領域の重心と、前記表示領域の重心とが一致していることを特徴とする請求項１乃至１７のいずれか１項に記載の撮像表示装置。

【請求項19】

前記表示部は、有機ＬＥＤまたは無機ＬＥＤを発光素子として有することを特徴とする請求項１乃至１８のいずれか１項に記載の撮像表示装置。

【請求項20】

前記撮像部は、裏面照射型のＣＭＯＳイメージセンサを含むことを特徴とする請求項１乃至１９のいずれか１項に記載の撮像表示装置。

【請求項21】

前記撮像部は、前記複数の光電変換素子が配された基板と、前記複数の光電変換素子からの信号を処理する回路が配された基板とが積層されていることを特徴とする請求項１乃至２０のいずれか１項に記載の撮像表示装置。

【請求項22】

前記撮像部が設けられた第１チップと、前記表示部が設けられた第２チップと、前記処理部が設けられた第３チップとの少なくとも３つのチップが積層されていることを特徴とする請求項１乃至２１のいずれか１項に記載の撮像表示装置。

【請求項23】

前記第３チップは前記第１チップと前記第２チップの間に設けられていることを特徴とする請求項２２に記載の撮像表示装置。

【請求項24】

請求項１乃至２３のいずれか１項に記載の撮像表示装置と、
前記撮像表示装置に電力を供給する電源部と、を備えることを特徴とするウェアラブルデバイス。

【請求項25】

前記電源部は、外部との接続を無線で行うインターフェースを備えることを特徴とする請求項２４に記載のウェアラブルデバイス。

【請求項26】

複数の、請求項１乃至２３のいずれか１項に記載の撮像表示装置と、
前記複数の撮像表示装置を制御するための制御装置と、を有する撮像表示システム。

【請求項27】

前記制御装置は、前記複数の撮像表示装置における前記第１時刻と前記第２時刻の間隔が異なるように制御することを特徴とする請求項２６に記載の撮像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像表示装置、ウェアラブルデバイスおよび撮像表示システムに関する。

【背景技術】

【0002】

ヘッドマウントディスプレイやスマートグラスと呼ばれる、撮像表示装置を備えたウェアラブルデバイスが知られている。このようなウェアラブルデバイスの１つの方式では、利用者の目の前の景色が撮像装置を用いて画像として撮り込まれ、その画像が表示装置に表示される。この方式によって、利用者は、表示装置を通しながらも、外界の景色をあたかも直接見ているような感覚を得ることができる。

【0003】

特許文献１は、このような表示装置を小型化するために、フォトダイオードとエレクトロルミネッセンス（以下、ＥＬ）素子とを同じ基板上にマトリクス状に設ける技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－１７６１６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の装置において、景色など現実の事象を撮像し画像を表示するまでの時間が長いと、現実の事象と表示される画像との間に差が生じてしまう。現実の事象と表示される画像との間に差があると、例えば、動いている物体を掴む動作は行うことができない。

【0006】

本発明は、撮像表示装置において、現実の事象と表示される画像との間の時間的な差を低減するための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の撮像表示装置の１つの側面は、複数の光電変換素子を有する撮像部と、前記撮像部からの信号を処理する処理部と、前記処理部からの信号に基づく画像を表示する表示部と、を備え、前記撮像部は、第１時刻に第１画像情報を取得し、前記処理部は、前記第１画像情報を基に、前記第１画像情報に含まれる被写体を検出し前記被写体の動作を予測し、前記予測された被写体像を含む画像情報である前記第１時刻よりも後の第２時刻の第１予測画像情報を生成し、前記表示部は、前記第２時刻に、前記第１予測画像情報に基づく画像を表示することを特徴とする。

【発明の効果】

【0008】

本発明によって、現実の事象と表示される画像との差が低減した撮像表示装置を得ることができる。

【図面の簡単な説明】

【0009】

【図1】（ａ）実施例１の撮像表示装置を説明する模式図、（ｂ）実施例１の撮像表示装置の変形例を説明する模式図、（ｃ）実施例１の撮像表示装置の別の変形例を説明する模式図、（ｄ）実施例１の撮像表示装置の別の変形例を説明する模式図。

【図2】（ａ）実施例１の撮像表示装置の動作を説明する図、（ｂ）実施例１の撮像表示装置の動作を説明する図。

【図3】実施例１の撮像表示装置の動作を説明する比較例。

【図4】実施例２の撮像表示装置を説明する模式図。

【図5】実施例２の撮像表示装置の動作を説明する図。

【図6】（ａ）実施例３の撮像表示装置の動作を説明する図、（ｂ）実施例３の撮像表示装置の動作を説明する図。

【図7】実施例４の撮像表示装置を説明する模式図。

【図8】実施例５の撮像表示装置の動作を説明する図。

【図9】実施例６の撮像表示装置の動作を説明する図。

【図10】（ａ）ウェアラブルデバイスを説明する模式図、（ｂ）ウェアラブルデバイスを説明する模式図、（ｃ）撮像部と表示部との位置関係を説明する断面模式図、（ｄ）撮像部と表示部との位置関係を説明する平面模式図、（ｅ）撮像部と表示部との位置関係を説明する平面模式図。

【図11】撮像表示システムを説明する模式図。

【図12】実施例１０の撮像表示装置を説明する模式図。

【図13】実施例１１の撮像表示装置の動作を説明する模式図。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら各実施例を説明する。各実施例の説明において、他の実施例と同一の構成については説明を省略する場合がある。また、各実施形態は適宜変更、組み合わせが可能である。

【0011】

（実施例１）
本実施例について、図１、２を用いて説明する。図１（ａ）は、本実施例を説明するための撮像表示装置１００の模式図である。撮像表示装置１００は、撮像部１０１と、処理部１０２と、表示部１０３とを有する。

【0012】

撮像部１０１は複数の受光素子を有する。受光素子は例えば光電変換素子であり、外部から入射した光（外部情報）を電気信号に変換し、画像情報を取得する撮像動作を行う。処理部１０２は、撮像部１０１からの画像情報をもとに、未来に撮像部１０１にて撮像されるであろう画像情報（以下、予測画像情報とする）を生成する。表示部１０３は、複数の発光素子を有する。複数の発光素子は、電気信号を光に変換する。表示部１０３は、処理部１０２にて生成された予測画像情報に応じた画像を表示（出力）する。撮像部１０１と表示部１０３は、複数の画素がアレイ状に配置されているとも言える。撮像部１０１の各画素は少なくとも１つの受光素子を有し、表示部１０３の各画素は少なくとも１つの発光素子を有している。処理部１０２は、撮像部１０１からの画像情報を受け、表示部１０３へ予測画像情報を出力する。また、処理部１０２は、撮像部１０１へ撮像動作の制御信号を出力し、表示部１０３の表示動作の制御信号を出力することもできる。

【0013】

ここで、図１（ａ）に示す本実施例の撮像表示装置の変形例について説明する。図１（ｂ）は、図１（ａ）に示す本実施例の撮像表示装置１００の変形例を説明するための模式図である。撮像表示装置１２０は、図１（ａ）の処理部１０２が人工知能（以下、ＡＩ；Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）部を搭載したＡＩ部１０４を有している。本実施例では、ＡＩ部１０４はディープラーニング（深層学習）機能を有する。図１（ｂ）において、撮像部１０１で撮像された画像情報は、ＡＩ部１０４を有する処理部１０２によって予測画像情報へと変換される。

【0014】

図１（ｃ）は、図１（ａ）に示す本実施例の撮像表示装置１００の変形例を説明するための模式図である。撮像表示装置１３０の処理部１０２は、処理装置１０５と通信を行っている。処理部１０２と処理装置１０５とは、ネットワークを介して接続する。また、処理装置１０５は、撮像表示装置１３０の外部に設けられており、例えば、クラウドに設けられていてもよい。撮像表示装置１３０では、処理部１０２ではなく処理装置１０５がＡＩ部１０４を有する。処理部１０２と処理装置１０５は、互いに情報をやり取りし、画像情報から予測画像情報を生成する。図１（ｃ）において、撮像部１０１で撮像された画像情報は、処理装置１０５からの情報を得た処理部１０２によって予測画像情報へと変換される。撮像表示装置１３０では、このように外部の装置に蓄積された情報を利用して、予測画像情報を生成することができる。

【0015】

図１（ｄ）は、図１（ａ）に示す本実施例の撮像表示装置１００の変形例を説明するための模式図である。撮像表示装置１４０の処理部１０２はＡＩ部１０４を有する。処理部１０２は処理装置１０６と通信し、処理装置１０６は更に別の処理装置１０５と通信する。処理装置１０６はクラウド上に設けられており、例えばデータの蓄積などを行う。処理装置１０５は撮像表示装置１４０や処理装置１０６とは別に設けられており、ＡＩ部１０４を有する。処理部１０２と処理装置１０５の間、および処理装置１０６と処理装置１０５との間は、ネットワークを介して接続している。図１（ｄ）において、処理部１０２は、処理装置１０６に蓄積された設定情報を受信し、設定情報を基に予測画像情報の生成を行う。設定情報は、環境や対象物の基本的な情報や、予測画像情報を生成するための各種値を含む。また、処理部１０２は撮像部１０１からの画像情報を含む複数の情報を処理装置１０６へ送信する。複数の情報は、処理装置１０６を介して、処理装置１０５へ送信される。処理装置１０５は、受けとった複数の情報を基に予測画像情報を生成するための各種値を生成し、処理装置１０６へ送信する。処理装置１０６は、蓄積している基本的な情報や各種値を更新し、新たな情報として保持する。撮像表示装置１４０では、このように外部装置に蓄積された情報を利用して、予測画像情報を生成することができる。

【0016】

図１（ａ）において、処理部１０２は、撮像部１０１で得られた画像情報を基に未来に撮像部１０１にて撮像される画像情報を予測し、予測画像情報として表示部１０３に伝達する。更に、処理部１０２では、画像情報だけではなく温度湿度情報、加速度情報、圧力情報等のその他情報も合わせて処理することができる。変形例である図１（ｂ）の処理部１０２と、図１（ｃ）の処理部１０２および処理装置１０５と、図１（ｄ）の処理部１０２、処理装置１０５、および処理装置１０６も同様である。

【0017】

次に、本実施例の撮像表示装置の動作について図２を用いて説明する。図２（ａ）と図２（ｂ）は、本実施例の撮像表示装置１００の動作を説明する図であり、ある時間における１フレームの画像情報と予測画像情報の関係を説明するための図である。図２（ａ）と図２（ｂ）において、時刻Ｔｎにおける画像情報をＡｎ、処理部で処理後の未来の画像情報（予測画像情報）をＢｎとする。

【0018】

図２（ａ）を用いて本実施例の撮像表示装置の動作について説明する。本動作において、撮像部１０１は、時刻Ｔ_－２に画像情報Ａ_－２を、時刻Ｔ_－１に画像情報Ａ_－１を、時刻Ｔ_０に画像情報Ａ_０を、時刻Ｔ_＋１に画像情報Ａ_＋１を得る撮像動作を行う。次に、処理部１０２は、入力された画像情報Ａ_－１、Ａ_０、Ａ_＋１を基に、予測画像情報Ｂ_０、Ｂ_＋１、Ｂ_＋２を生成する。そして、処理部１０２は、予測画像情報Ｂ_０、Ｂ_＋１、Ｂ_＋２を表示部１０３へ出力する。表示部１０３は、時刻Ｔ_０に予測画像情報Ｂ_０に基づく画像を、時刻Ｔ_＋１に予測画像情報Ｂ_＋１に基づく画像を、時刻Ｔ_＋２に予測画像情報Ｂ_＋２に基づく画像を表示する表示動作を行う。

【0019】

つまり、ある時刻Ｔ_－１に、撮像部１０１は画像情報Ａ_－１を得る撮像動作を行い、ある時刻Ｔ_－１よりも後の時刻Ｔ_０に、撮像部１０１は画像情報Ａ_－１とは別の画像情報Ａ_０を得る撮像動作を行う。時刻Ｔ_０に、表示部１０３は画像情報Ａ_－１から生成された予測画像情報Ｂ_０に応じた画像を表示する表示動作を行う。更に、時刻Ｔ_０よりも後の時刻Ｔ_＋１に、撮像部１０１は、画像情報Ａ_０とは別の画像情報Ａ_＋１を得る撮像動作を行う。そして、表示部１０３は、画像情報Ａ_０から生成された予測画像情報Ｂ_＋１に応じた画像を表示する表示動作を行う。

【0020】

ここで、図３を用いて比較例を説明する。本実施例のような処理部１０２を有していない撮像表示装置では、撮像部１０１にて時刻Ｔ_－１に撮像された画像情報Ａ_－１が表示部１０３にて時刻Ｔ_０に表示されてしまう。

【0021】

図２（ａ）に示す本実施例の予測画像情報を表示する場合と、図３に示す撮像部１０１で撮像した画像情報をそのまま表示する場合との違いについて説明する。ここで、現在の時刻が時刻Ｔ_０である場合に、その時刻に現実の事象（実画像）は、画像情報Ａ_０である。本実施例の表示部１０３が表示する画像のもととなる情報は、予測画像情報Ｂ_０である。ここで、撮像部１０１が撮像した画像情報をそのまま使用したとすると、表示部１０３が表示する画像のもととなる情報は、画像情報Ａ_－１である。ここで、画像情報の変化量は、（画像情報Ａ_－１－画像情報Ａ_０）≧（予測画像情報Ｂ_０－画像情報Ａ_０）となる。従って、本実施例の構成によって、現実の事象と表示される画像との差が低減した撮像表示装置を得ることができる。

【0022】

更に、本実施例の予測画像情報を表示するタイミングについて説明する。本実施例の処理部１０２では、ある時刻において、撮像部１０１で撮像された画像情報と、表示部１０３が表示する画像との間に遅延が少なくなるように予測画像情報を生成する。その予測画像情報を表示するタイミングを次のように設定すると好ましい。

【0023】

まず、撮像部１０１にて任意の時間Ｔｎに画像が撮像されるとする。表示部１０３にて時刻Ｔｎの予測画像情報が生成され、表示部１０３にて時刻Ｔｎの予測画像情報にもとづく画像が表示される時刻をＴｍとする。ここで、撮像されるタイミングと表示されるタイミングの差分ΔＴを式（１）で示すことができる。
ΔＴ＝Ｔｎ－Ｔｍ・・・（１）

【0024】

ここで、表示部１０３が１秒あたりに表示する画像の枚数である表示フレームレートＤＦＲ（ｆｐｓ；ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）とする。この差分ΔＴが式（２）を満たすように撮像表示装置が制御される。より好ましくは、差分ΔＴが式（３）を満たすように撮像表示装置が制御される。
－２／ＤＦＲ≦ΔＴ≦２／ＤＦＲ・・・（２）
－１／ＤＦＲ≦ΔＴ≦１／ＤＦＲ・・・（３）

【0025】

例えば、表示フレームレートが２４０（ｆｐｓ）の場合、撮像されてから表示されるまでの１画像（１フレーム）の時間は約４×１０^－３（秒）である。したがって、差分ΔＴは次のようになる。
－４×１０^－３≦ΔＴ≦４×１０^－３・・・（４）

【0026】

このようなタイミングで予測画像情報にもとづく画像を表示することで、実画像と表示される画像の間の遅延が少ない動画表示が可能となる。この動画表示は、いわゆるリアルタイム表示とも言える。従って、本実施例ではリアルタイム表示、厳密には擬似的リアルタイム表示が可能となる。本実施例は、静止画でも適用可能であるが、動画において行うことが効果的である。

【0027】

なお、このようなタイミングで表示する他に、予測画像情報を生成する際にも、この時刻の幅は利用できる。任意の時間に撮像部１０１にて撮像される画像情報をＡｎとする。同時刻に表示部１０３が表示する画像情報をＤｎとする。ここで、画像情報の差分ΔＡ、すなわち時間的なずれ量をΔＡ＝Ｄｎ－Ａｎとすることができる。ここで、図２（ａ）の実施例においては、Ｄｎ＝Ｂｎとなっている。つまり、ある時刻における撮像部１０１で撮像された画像情報、つまりその時刻の現実の事象（実画像）と、表示部１０３で表示された画像情報の時間的な差分が±４×１０^－３（秒）であればよい。画像情報の時間的な差分が±４×１０^－３（秒）とは、表示部１０３にて表示された画像が、ある時刻における実画像に対して４×１０^－３（秒）遅延した画像、あるいは４×１０^－３（秒）未来の画像となることである。予測画像情報はこのような条件で生成されると好ましい。なお、画像情報Ａｎと画像情報Ｄｎの比較は、例えば、画像情報Ａｎと画像情報ＤｎのＲＡＷデータを用いて行うことができる。そして、差分の二乗平均平方根をとったときに±４×１０^－３（秒）以内に画像情報Ｄｎが存在するようにすればよい。この差分の情報を用いて、処理部１０２は、次の予測画像情報を生成する際の各種パラメーターを設定する。

【0028】

なお、図３のように撮像部１０１で撮像した画像情報を表示部１０３にて表示する際には遅延が生じる。特に、付加的な画像処理を行う場合には、遅延は１００×１０^－３（秒）となる。しかし、本実施例の予測画像情報を生成することによって、実画像との時間的な差異のない表示を行うことができる。

【0029】

また、付加的な画像処理とは、例えば、暗い画像の輝度をあげる暗視野画像処理、小さな被写体を拡大して表示する拡大画像処理、温度を画像表示する温度表示処理などである。本実施例の動作によれば、このような画像処理を行う時間を加えてもリアルタイム表示が可能となる。

【0030】

次に、図２（ｂ）における動作を説明する。本動作において、撮像部１０１は、時刻Ｔ_－２に画像情報Ａ_－２を、時刻Ｔ_－１に画像情報Ａ_－１を、時刻Ｔ_０に画像情報Ａ_０を、時刻Ｔ_＋１に画像情報Ａ_＋１を得る撮像動作を行う。次に、処理部１０２は、入力された画像情報Ａ_－１、Ａ_０、Ａ_＋１を基に、予測画像情報Ｂ_＋１、Ｂ_＋２、Ｂ_＋３を生成する。そして、処理部１０２は、予測画像情報Ｂ_＋１、Ｂ_＋２、Ｂ_＋３を表示部１０３へ出力する。表示部１０３は、時刻Ｔ_０に予測画像情報Ｂ_＋１に基づく画像を、時刻Ｔ_＋１に予測画像情報Ｂ_＋２に基づく画像を、時刻Ｔ_＋２に予測画像情報Ｂ_＋３に基づく画像を表示する表示動作を行う。つまり、時刻Ｔ_１に撮像されるであろう画像情報を予測し、時刻Ｔ_０に表示させている。このように、撮像時刻よりも未来の時刻の情報を撮像時刻に表示させることが可能となる。この動作を連続的に繰り返すことで、実画像よりも未来の画像を連続的に表示する、すなわち映像として表示することができる。

【0031】

予測画像情報の元となる画像情報について説明する。例えば、図２（ａ）の説明において、予測画像情報Ｂ_０は画像情報Ａ_－１を基に生成される。図２（ｂ）の説明において、予測画像情報Ｂ_＋１は画像情報Ａ_－１を基に生成される。つまり、１つの予測画像情報は１つの画像情報を基に生成される。しかし、１つの予測画像情報を２つ以上の画像情報に基づき生成してもよい。例えば、図２（ａ）において予測画像情報Ｂ_０は画像情報Ａ_－２、Ａ_－１を基に生成されてもよく、図２（ｂ）においては、予測画像情報Ｂ_＋１は画像情報Ａ_－２、Ａ_－１を基に生成されてもよい。従って、予測画像情報を、少なくとも１つの画像情報を利用して生成することが可能である。

【0032】

本実施例のフレームレートについて説明する。まず、撮像部１０１の１秒あたりに取得する画像情報の枚数を撮像のフレームレートＳＦＲ（ｆｐｓ）とする。そして、上述のように表示部１０３の１秒あたりに表示する画像情報の枚数を表示のフレームレートＤＦＲ（ｆｐｓ）とする。このとき、本実施例の図２（ａ）および図２（ｂ）におけるフレームレートの関係は、ＳＦＲ＝ＤＦＲである。しかし、撮像と表示のフレームレートは異なっていてもよく、特に、ＳＦＲ≧ＤＦＲであることが望ましい。複数の撮像された画像情報から予測画像情報を生成することができるためである。

【0033】

次に、撮像表示装置１００の構造について説明する。まず、撮像部１０１が有する光電変換素子は、例えば、フォトダイオードやフォトゲートと、光電変換膜などを含みうる。フォトダイオードやフォトゲートの材料は、例えば、シリコン、ゲルマニウム、インジウム、ガリウム、ヒ素等が挙げられる。フォトダイオードの形態としては、例えば、ＰＮ接合型フォトダイオード、ＰＩＮ型フォトダイオード、アバランシェ型フォトダイオード等が挙げられる。

【0034】

撮像部１０１は、例えばＣＭＯＳイメージセンサを用いることができ、それは表面照射型でも裏面照射型でも良い。また、ＣＭＯＳイメージセンサは、フォトダイオードが配置された半導体基板と、走査回路や制御回路が配置された半導体基板とが積層した構造を有していてもよい。

【0035】

また、光電変換膜の材料は有機材料と無機材料とがある。有機の光電変換膜としては、例えば、一対の電極間に光電変換する有機層を少なくとも一層含んだ構造を有する。有機の光電変換膜は、一対の電極間に複数の有機層が積層された構造を有してもよい。有機層は単一材料でも複数の材料が混合されていてもよい。また、有機層は、例えば、真空蒸着プロセスや塗布プロセス等を用いて形成することができる。無機の光電変換膜は、例えば、有機層の代わりに、微細な半導体結晶を含有する量子ドット薄膜層を用いた量子ドット型や、ペロブスカイト構造の遷移金属酸化物等からなる光電変換層を有するペロブスカイト型などが挙げられる。

【0036】

表示部１０３は、複数の発光素子を有する。発光素子は、例えば、液晶（ＬＣＤ）、無機発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、量子ドットＬＥＤ（ＱＬＥＤ）等である。無機ＬＥＤに使用される材料は、例えば、アルミニウム、ガリウム、ヒ素、リン、インジウム、窒素、セレン、亜鉛、ダイヤモンド、酸化亜鉛、ペロブスカイト半導体等である。これらを用いてｐｎ接合構造にすることで、それぞれ材料のバンドギャップ差に相当するエネルギー（波長）を有する光が放出される。有機ＬＥＤは、例えば、一対の電極間に少なくとも１種の有機発光材料を含有した発光層を有し、複数の発光層を有していてもよく、複数の有機層が積層された構造を有しても、発光層は単一材料でも複数の材料が混合されていてもよい。発光層からの光は、蛍光でも燐光でもよく、単色発光（青色、緑色、赤色等）でも白色発光でもよい。また、有機層は、例えば、真空蒸着プロセスや塗布プロセス等を用いて形成することができる。

【0037】

更に、撮像表示装置は、撮像部１０１と処理部１０２と表示部１０３の少なくとも３つのチップが積層され、半導体プロセスによって互いに電気的に接続した構造を有していてもよい。

【0038】

本実施例の撮像表示装置１００をウェアラブルデバイスとして使用する場合、処理部での処理データ量は少ないほど好ましい。なぜなら、ウェアラブルデバイスは可能な限り軽量化、薄型化の必要があり、データ処理の負荷が小さいほど処理部のチップを小さくできるためである。データ処理量の負荷を減らす方法として、例えば、図１（ｃ）や図１（ｄ）のようにＡＩ処理を別装置（クラウド等）で行うことが挙げられる。また、処理量を減らす方法として、視線領域以外の部分の解像度を低下させる、視線領域以外の部分の静止画にする、視線領域以外の部分をカラーでなくモノクロで処理を行う等が挙げられる。

【0039】

（実施例２）
本実施例について、図４および図５を用いて説明する。図４は、本実施例の撮像表示装置４００を説明する模式図である。撮像表示装置４００は、図１（ｃ）に示す撮像表示装置１３０と同様に撮像部１０１と、処理部１０２と、表示部１０３と、処理部１０５とを有している。撮像表示装置４００は、更に、環境情報を検出する検出部１０７を有する。撮像表示装置４００では、処理部１０２と処理装置１０５がＡＩ部１０４を有している。

【0040】

検出部１０７は、少なくとも１つのセンサを有する。該センサは、少なくとも１つの環境情報を検出することができる。環境情報としては、気温、水温、湿度、気圧、水圧、輝度などが挙げられる。また、検出部１０７によって、撮像部１０１の被写体の加速度など物理的な情報を得てもよい。本実施例において検出部１０７は撮像表示装置４００に内蔵されているが、外部に設けられていてもよい。

【0041】

次に、撮像部１０１からの画像情報と、検出部１０７からの環境情報とを基に、例えば、ディープラーニング機能を有したＡＩ部１０４により予測画像情報を生成する。このとき、処理部１０２での処理に要する時間を考慮した時刻の予測画像情報を生成する。つまり、ある時刻に撮像した場合、撮像から表示までの時刻に加え、処理に要する時間をある時刻に加えた未来の時刻での予測画像情報を生成する。詳細な動作については、実施例１と同様である。

【0042】

次に、ＡＩ部１０４による処理について、野球を行っている場面を例に挙げ説明する。図５は、本実施例の撮像表示装置の動作を説明する図である。図５は、４つの時刻Ｔ_－３、Ｔ_－２、Ｔ_－１、Ｔ_０における４種類の例を示している。

【0043】

図５の実像（明時）は、実像を示す。ここで、実像は、各時刻に撮像部１０１で撮像される画像とも言える。実像（明時）は、明るい環境で（明時に）野球を行う場合の各時刻の実像を示している。ピッチャーやボールがはっきりと確認できるため、バッターが時刻Ｔ_０でボールを打ち返すことができる。

【0044】

実像（暗時）は、実像を示す。ここで、実像は、各時刻に撮像部１０１で撮像される画像とも言える。実像（暗時）は、暗い環境で（暗時に）野球を行う場合の各時刻の実像を示している。肉眼ではボールが見えないため、バッターは時刻Ｔ_０でボールを打ち返すことができない。つまり、時刻Ｔ_－３、Ｔ_－２、Ｔ_－１において、実像（明時）と実像（暗時）のピッチャーとボールの動作や位置は同一であるが、時刻Ｔ_０において結果が異なっている。

【0045】

比較例の画像では、暗時に野球を行う場合に、比較例の撮像表示装置を用いた場合を説明する。比較例の画像は、実像（暗時）に付加的に画像処理を行い、撮像表示装置に表示された画像を示す。実像（暗時）で説明したような肉眼では見えない状態であっても、撮像された画像情報に付加的な処理を行うことで実像（明時）のような表示をさせることが可能である。付加的な画像処理とは、暗時の画像の輝度を高める処理である。このような処理を行うことで、バッターがボールを見ることができる。しかし、遅延があるため、時刻Ｔ_－１におけるボールの位置が実像とは異なってしまう。よって、バッターは時刻Ｔ_０でボールを打ち返すことができない。

【0046】

本実施例の画像では、暗時に野球を行う場合に、本実施例の撮像表示装置を用いた場合を説明する。本実施例の画像は、実像（暗時）に付加的に画像処理を行い、撮像表示装置１００に表示された画像を示す。実像（暗時）で説明したような肉眼では見えない状態であっても、撮像された画像情報に付加的な処理を行うことで実像（明時）のような表示をさせることが可能である。更に、本実施例の撮像表示装置のように予測画像情報を用いた遅延のない画像を表示させることが可能である。従って、バッターは明時に野球を行っているように、時刻Ｔ_０でボールを打ち返すことができる。時刻Ｔ_－３、Ｔ_－２、Ｔ_－１、Ｔ_０において、実像（明時）のピッチャーとボールの動作や位置はほぼ同一である。

【0047】

本実施例のように、予測画像情報を用いた撮像表示装置によって、リアルタイム表示が可能であるため、ボールのような動体の位置を正確に把握することができる。また、予測画像情報を用いるため、撮像された画像情報に付加的な処理を行った場合にも、リアルタイム表示が可能である。本実施例の撮像表示装置は、野球などスポーツをはじめとする動体の動きを撮像し表示する場合に好適である。

【0048】

なお、図５の事例においては、検出部１０７は風向、風速などの情報を検出し、処理部１０２へと出力する。処理部１０２は、ボールの速度やコースの予測にこれら情報を利用してボールの予測画像情報を生成する。また、検出部１０７が輝度情報を検出することで、処理部１０２において付加的な画像処理を行うか否かの判定を行うこともできる。

【0049】

また、本実施例の撮像表示装置４００において、撮像フレームレートＳＦＲを表示フレームレートＤＦＲよりも大きくすることが好ましい。例えば、撮像フレームレートＳＦＲを５００ｆｐｓとし、表示フレームレートＤＦＲを６０ｆｐｓとする。ＳＦＲ＞ＤＦＲであるため、多くの画像情報を基に１つの予測画像情報を生成することができる。よって、表示される画像と実像との一致率がより正確になるため、動体の動きを正確に表示することができる。

【0050】

なお、図１（ｄ）のような外部の処理装置１０５へ送信する各種情報は、本実施例の図４に示す検出部１０７で取得した各種情報を含む。また、処理装置１０６に蓄積される基本的な情報とは例えば、バッテリーの投球データ、ピッチャーの投球フォームのデータ、天候、使用者（バッター）の情報である。

【0051】

（実施例３）
本実施例では、実施例２に示した撮像表示装置４００の別の動作について説明する。図６（ａ）および図６（ｂ）は、本実施例の撮像表示装置の動作を説明する図である。図６（ａ）は実像であり、図６（ｂ）は予測画像情報に基づく画像を示している。

【0052】

図６（ａ）に示す実像は、ある時刻に撮像部１０１において取得された画像情報６００とも言える。処理部１０２において、ある時刻よりも前に撮像された画像情報、および画像情報６００の中の少なくとも２つの画像情報を用いて、動体６０２を検出する。また、同時に景色の中で特徴的な静体６０１を検出してもよい。特徴的な静体６０１とは、後に説明する視線検知等で特定可能である。ここでは、例えば、２本の木は特徴的な静体６０１であり、１つの電車は動体６０２である。その後の画像処理方法を説明する。

【0053】

まず、１つの画像処理方法は、画像情報において動体６０２と判別された部分のみ、ＡＩ部１０４を用いて部分的な予測画像情報を生成する方法である。そして、静体６０１の画像情報の予測画像情報は生成しない。静体６０１は実像の変化が生じにくいためである。このようにして、生成された予測画像情報６１０を図６（ｂ）に示す。図６（ｂ）では、説明のため図６（ａ）における動体６０２を残している。予測画像情報６１０において、動体６１２の位置は動体６０２と異なり、静体６１１の位置は静体６０１（不図示）と変わらない。このような処理によって、リアルタイム表示をしつつ、処理部１０２の負荷を低減することができる。

【0054】

次の画像処理方法は、動体６０２と判別された部分のみに、更に付加的な画像処理を行う方法である。付加的な画像処理として、動体６０２と判別された部分を高解像度化し、静体６０１と判別された部分は低解像度化する。表示部１０３では、高解像度の動体６１２と低解像度の静体６１１が表示される。部分によって処理を変えることで、処理部１０２の負荷を低減することができる。また、動体６１２を高解像度で表示し、静体６１１を低解像度で表示することで、人間の眼で見たときの画像に近い、自然な画像を提供することができる。

【0055】

また、別の画像処理方法として、動体６０２の予測画像情報を生成した後に、表示部１０３へ信号を出力するまで時間がある場合には、動体６０２の周辺の静体である部分についても予測画像情報を生成する。これにより、より精度の高いリアルタイム表示が可能となる。

【0056】

上述のように、処理部１０２において撮像部１０１から入力した画像情報において、まず動体検出を行い、部分ごとに処理方法を変える。このような処理方法によって、処理部１０２の負荷を低減しつつより高品質な画像を表示できる。

【0057】

なお、静体と動体を検出する方法は、２つ以上の画像情報を用いる他にもある。例えば、検出部１０７として動体検出部を有していてもよい。動体検出部は、測距センサなども含みうる。なお、静体６０１と動体６０２の個数は、限定されない。

【0058】

（実施例４）
本実施例の撮像表示装置を図７、図８を用いて説明する。図７は、本実施例の撮像表示装置７００を説明する模式図である。撮像表示装置７００は、図４に示した撮像表示装置４００の検出部１０７を視線検知部１０８へと置き換えている。図７において、撮像表示装置７００は視線検知部１０８を内蔵しているが、外付けの視線検知部１０８であってもよい。

【0059】

図７において、撮像部１０１にて撮像された画像情報は処理部１０２に出力される。同時に、視線検知部１０８が取得する視線情報は処理部１０２に出力される。処理部１０２は、ＡＩ部１０４を用いて予測画像情報を生成する。更に、視線情報から未来の視線の動きや位置を予測し、予測視線情報を生成する。次に、予測視線情報によって視線が位置する部分を高解像度とし、それ以外の部分を低解像度とした画像処理を付加し、最終的な予測画像情報を生成する。表示部１０３では、リアルタイム表示をしつつ、予測された視線が位置する部分を高解像度で、それ以外の部分の低解像度で表示することができる。

【0060】

この動作について、図８を用いて詳細に説明する。図８は、本実施例の撮像表示装置の動作を説明する図である。図８は、図５と同様に野球を行っている場面を示している。図８は、４つの時刻Ｔ_－３、Ｔ_－２、Ｔ_－１、Ｔ_０における３種類の例を示している。

【0061】

実像は、各時刻に撮像される画像とも言える。バッターが時刻Ｔ_０でボールを打ち返している。説明用画像は、実像に視線（視線領域）を模式的に示したものである。視線は視線検知部１０８によって検出されている。説明用画像において、視線はボールに合っており、視線がボールの移動に合わせて移動していることがわかる。本実施例の画像は、本実施例の予測視線情報を利用した画像である。視線が位置する部分を高解像度とし、それ以外の部分を低解像度とした画像処理を付加した予測画像情報に基づく画像である。ボールの部分は高解像度であり、ピッチャーの部分は低解像度であることがわかる。このような処理により、処理部１０２の負荷を低減しつつ、高品位な画像のリアルタイム表示が可能となる。

【0062】

撮像表示装置７００では、図４に示した検出部１０７を視線検知部１０８に置き換えているが、検出部１０７と視線検知部１０８の両方を有していてもよく、適宜、変更可能である。また、視線検知部１０８は、目の虹彩の位置を検出する方法や赤外線を照射して角膜反射を利用する方法など任意の手法を適用することができる。

【0063】

（実施例５）
本実施例では、実施例４の視線検知部１０８が複数の視線領域を検出した場合の処理方法について図９を用いて説明する。図９は、本実施例の撮像表示装置の動作を説明する図である。図９は、図８と同様に野球を行っている場面を示し、３つの時刻Ｔ_－３、Ｔ_－２、Ｔ_－１における３種類の例を示している。本実施例では、複数の視線領域に重みづけを行い、各視線領域を重みづけに応じた解像度に処理した予測画像情報を生成する。表示部１０３において、複数の視線領域の部分は重みづけに応じた解像度で、それ以外の部分は低解像度の画像が表示される。

【0064】

図９を用いて詳細に説明する。実像は、各時刻に撮像される画像とも言える。実像は、ピッチャーと１塁ランナーがおり、バッターが時刻Ｔ_－１でボールを打ち返そうとしているところを示している。

【0065】

図９の説明用画像は、実像に視線領域を模式的に示したものである。各視線領域には重みづけの数値（％）が示されている。時刻Ｔ_－３では、バッターの視線はピッチャーが投げるボールとランナーにある。ここで、ボールの視線領域に６０％、ランナーの視線領域に４０％と重みづけがされている。時刻Ｔ_－２では、バッターの視線はボールにある。そこで、視線領域の重みづけは、ボールに９０％、ランナーに８％、ピッチャーに２％となる。時刻Ｔ_－１では、バッターの視線はほぼボールにある。視線領域の重みづけは、ボールに９８％、ランナーに１％、ピッチャーに１％となっている。この重みづけは、処理部１０２においてなされ、視線検知部１０８で検出された視線の動きから判定してもよく、また別のＡＩ部１０４によって判定されてもよい。

【0066】

次に、本実施の画像は、本実施例の予測視線情報を利用した画像である。処理部１０２は、説明用画像に示した視線領域の重みづけに応じてその部分の解像度を調整し、予測画像情報を生成する。本実施の画像に示される数字は解像度の割合を示しており、最高解像度を１００％とした場合の値である。視線領域以外の部分は、最低解像度で表示させることができる。これにより、人間の目で見える画像に近い画像を表示させることができる。また、処理部１０２の動作負荷を低減することができる。

【0067】

（実施例６）
本実施例の撮像表示装置は、可視光以外（近赤外、赤外、紫外など）の光を利用した画像を表示することができる。例えば、図４に示す撮像表示装置４００において、撮像部１０１は可視光領域を検出可能な光電変換素子と、可視光領域以外の波長帯の光を検出可能な光電変換素子を有する。例えば、撮像部１０１は少なくとも２つのエリアセンサを有する。１つは可視光用の光電変換素子が配されたエリアセンサであり、もう１つは可視光外用の光電変換素子が配されたエリアセンサである。または、撮像部１０１は１つのエリアセンサを有する。１つのエリアセンサは可視光用の光電変換素子と、可視光外用の光電変換素子を少なくとも１つずつ有している。

【0068】

このような撮像部１０１によって、可視光領域の画像情報に加えて、近赤外光領域を含む可視光外の領域の画像信号も取得することができる。処理部１０２では、これらの画像情報を利用して、１つの可視光領域の予測画像情報を生成する。これにより、可視光領域の感度が低い状況においても、感度が向上した画像が表示される。つまり、本実施例の撮像表示装置によれば、人の眼には見えない像もリアルタイムで表示される。このような本実施例の撮像表示装置は、例えば、暗視装置、監視装置、双眼鏡、望遠鏡、医療用検出器等にも適用可能である。

【0069】

（実施例７）
上記では、ディープラーニング機能を有したＡＩ処理により予測画像情報を生成したが、本実施例では機械学習済モデルを利用した場合について説明する。専門家によるデータを収集し、学習済モデルを構築する。そして、非専門家に対して、専門家のデータに基づく予測画像情報を生成した撮像表示装置を適用する。例えば、プロスポーツ選手からデータを取得して学習済モデルを構築する。そして、この学習済モデルを利用したＡＩ部によって予測画像情報を生成させる。アマチュア選手が本実施例の撮像表示装置を利用することで、アマチュア選手は、プロスポーツ選手の視線や注意の払いかたの特徴を体感することができ、より短時間でスポーツの上達が図られる。本実施例は、スポーツの分野だけでなく、熟練者の技術の継承が望まれる分野にも適用可能である。例えば、パイロット、医者、伝統工芸といった様々な分野で技能を必要とする職業や、セキュリティなど安全の分野など様々な分野に適用可能である。

【0070】

（実施例８）
図１０を参照して、各実施例の撮像表示装置のウェアラブルデバイスへの適用例について説明する。撮像表示装置は、例えばスマートグラス、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、スマートコンタクトレンズのようなウェアラブルデバイスに適用できる。

【0071】

図１０（ａ）は、スマートグラス１０００を説明するための模式図である。スマートグラス１０００は、眼鏡型撮像表示装置や眼鏡とも称する。スマートグラス１０００は、眼鏡のフレームと、各実施例の撮像表示装置を有する。具体的には、スマートグラス１０００は、少なくとも撮像部１００１と、処理部１００２と、表示部１００３とを有する。２つの撮像部１００１は眼鏡のフレーム側面に設けられ、処理部１００２は眼鏡のテンプル（つる）に格納されている。表示部１００３は、表示形式によって任意の位置に設けられるが、レンズ１０１１に含まれていても良い。いずれの場合にも、表示部１００３はレンズ１０１１に画像を表示させる。なお、処理部１００２は、ＡＩ部を含んでいてもよい。スマートグラス１０００は、外部インターフェースを有し、処理部１００２が外部のＡＩ部とやり取りを行ってもよい。

【0072】

図１０（ａ）のスマートグラス１０００は、左目用と右目用の２個の撮像表示装置を有していてもよい。この場合、左目用と右目用の撮像表示装置において、撮像および表示のタイミングを任意に設定することもできる。具体的には、同時刻に撮像し、別時刻に表示する動作や、別時刻に撮像して同時刻に表示する動作である。

【0073】

図１０（ｂ）は、スマートコンタクトレンズ１０２０を説明するための模式図である。スマートコンタクトレンズ１０２０は、コンタクトレンズ型撮像表示装置やコンタクトレンズとも称する。１つのスマートコンタクトレンズ１０２０は、１つの撮像表示装置１０２１と、１つの制御装置１０２２とを有する。制御装置１０２２は、撮像表示装置１０２１に電力を供給する電源部として機能するとともに、ＡＩ部を有し、撮像表示装置１０２１の処理部を補助する。なお、ＡＩ部はスマートコンタクトレンズ１０２０とは別の端末に設けられていてもよい。スマートコンタクトレンズ１０２０には、撮像表示装置１０２１に光を集光するための光学系が設けられていることが好ましい。電源部は、外部との接続を行うインターフェースを有する。電源部の外部との接続（充電）は有線でも、無線でもよい。

【0074】

図１０（ａ）のレンズ１０１１や、図１０（ｂ）のスマートコンタクトレンズ１０２０の母材は透明であり、撮像表示装置の表示部は透明なレンズ部分に表示画像を投影する。その際、図２（ｂ）で説明したような表示時刻よりも未来の予測画像情報に基づく画像を表示することもでき、実像と未来の予測された画像の両方を見ることができる。例えば、現実の時刻よりも少し先の画像情報をリアルタイムで表示できるため、例えば、野球において外野を守る際に、バッターが打つ打球の方向に先回りしてポジションを取ることができる。この際、実像と予測された画像の両方を見ることができるため、運動能力以上のプレイを実現することができる。また、撮像表示装置は、取得した画像情報を表示させるタイミングを自由に調整することができる。これにより、利用者（ユーザー）に適した動作を選択することができる。

【0075】

また、図１０（ａ）、図１０（ｂ）のように、撮像部１００１と表示部１００３とが別の位置に設けられていてもよいが、撮像部１００１と表示部１００３が視線状において積層するように設けられていてもよい。図１０（ｃ）に撮像部１００１と表示部１００３の断面模式図を示す。図１０（ｄ）に撮像部１００１側からみた撮像部１００１と表示部１００３の平面模式図を示す。図１０（ｅ）に表示部１００３側からみた撮像部１００１と表示部１００３の平面模式図を示す。図１０（ｄ）には、撮像部１００１の画素が配列した撮像領域１０３１の重心が示されている。図１０（ｅ）には、表示部１００３の画素が配列した表示領域１０３３の重心が示されている。図１０（ｃ）に示すように、２つの重心を線分Ａが通るように、撮像部１００１と表示部１００３が設けられているとよい。それは、ウェアラブルデバイスにおいて、撮像された画像情報と表示される画像における位置の違いによって生じる差異を低減できるためである。

【0076】

（実施例９）
本実施例では、撮像表示システムについて説明する。図１１は、撮像表示システム１１００を説明するための模式図である。本実施例の撮像表示システムは、複数の撮像表示装置１１０１と、少なくとも１つの制御装置１１０２とを有する。撮像表示装置１１０１はいずれの実施例の撮像表示装置であってもよく、例えば、図１（ａ）の撮像表示装置１００であるものとする。

【0077】

複数の撮像表示装置１１０１と制御装置１１０２は、信号の授受を行うことができる。撮像表示装置１１０１と制御装置１１０２のそれぞれは、有線あるいは無線の通信を行う外部インターフェース部を有している。制御装置１１０２は、複数の撮像表示装置１１０１から信号が入力され、複数の撮像表示装置１１０１を制御する信号を出力する。また、制御装置１１０２は、複数の撮像表示装置１１０１の処理部１０２の機能の一部を有していてもよい。撮像表示システムは、更に、別のデータ蓄積部、制御部、処理部などを有していてもよい。例えば、本撮像表示システムは、図１（ｄ）に示した処理装置１０５や処理装置１０６を有していてもよい。その場合には、制御装置１１０２が処理装置１０５や処理装置１０６と通信することができる。

【0078】

本実施例の撮像表示システムは、例えば、複数の撮像表示装置１００を用いて、複数の撮像部１０１から得た画像情報を利用して、１つの表示部１０３に画像を表示することができる。具体的な例としては、複数名の人がそれぞれ撮像表示装置１００を有しているとき、複数の撮像表示装置１００で画像情報を取得し、別の１名が有する１つの撮像表示装置１００にリアルタイム表示することができる。例えば、同フィールドでプレイするプロスポーツ選手の視線画像を、少なくとも１名の観客が同時にリアルタイムで見ることができる。

【0079】

また、１つの撮像部１０１からの画像情報を利用して、複数の表示部１０３に画像を表示させてもよい。具体的には、１つの撮像表示装置１００で画像情報を取得し、別の複数の撮像表示装置１００にリアルタイム表示することができる。例えば、１名のプロスポーツ選手の視線画像を、複数名の観客が同時にリアルタイムで見ることができる。

【0080】

このように、プロスポーツ選手の視線を体感することで、観客は自身がフィールドにいるかのような臨場感に溢れる画像を見ることができる
また、本システムにおいて、異なる表示装置における撮像動作や表示動作の間隔を異ならせることもできる。また本システムは、複数の撮像表示装置によって取得された画像情報や各種情報を共有化し、複数の撮像表示装置の予測画像情報を作成する際に利用することができる。

【0081】

（実施例１０）
本実施例について、図１２を用いて説明する。図１２は、本実施例の撮像表示装置８００を説明する模式図である。図１２は、図１（ｃ）に示す撮像表示装置１３０と対応しており、同一の構成には同一の符号を付し説明を省略する。撮像表示装置８００は、撮像部１０１と、処理部１０２と、表示部１０３と、処理部１０５とを有している。処理部１０２は、更に、画像情報を記録処理する記録部１０９を有する。撮像表示装置８００では、処理部１０２と処理装置１０５がＡＩ部１０４を有している。図１２では、撮像表示装置８００が記録部１０９を有しているが、処理部１０２が有していてもよい。記録部１０９の場所は適宜、設定できる。記録部１０９に入力される情報は、例えば、撮像部１０１からの画像情報であり、予測画像情報へと変換する前の情報である。このような画像情報を保持することで、予測ではない画像も取得することができる。

【0082】

本実施例の動作を説明する。撮像部１０１からの画像情報は、記録部１０９と予測画像情報を生成する処理部１０２の両方に入力される。処理部１０２に画像情報が入力された後の動作については、実施例１と同様である。記録部１０９に入力された画像情報は、予測画像へと変換せずに、撮像部１０１で得られた画像情報のまま記録される。このような構成を有することで、処理部１０２において予測画像情報を生成することで現実の事象と表示される画像との間の時間的な差を低減させつつ、撮像部で得られた画像情報をそのまま記録することができる。

【0083】

（実施例１１）
本実施例では、実施例１の処理部１０２及びＡＩ部１０４を用いて、さらに拡大処理を行う場合の方法について説明する。図１３は、本実施例の撮像表示装置の動作を説明する図である。図１３の外部情報は、図６と同様に実像であり、撮像部１０１において取得された画像情報とも言える。

【0084】

例１は比較例である。例１の拡大画像は、撮像部１０１において取得された画像情報の特定の領域である一部分を拡大処理した部分画像情報を示している。ここで、表示部１０３は部分画像情報に基づいた画像を表示する。例１に示すように、一般に、拡大処理した部分画像情報は、解像度が低下してしまう。

【0085】

例２は本実施例に係る例である。例１の拡大画像は、撮像部１０１において取得された画像情報の特定の領域である一部分を拡大処理した部分画像情報を示している。ここで、表示部１０３は部分画像情報に基づいた画像を表示する。例２では、処理部１０２は、一部分を拡大処理するとともに、高解像度化処理を行う。高解像度化処理は、解像度を向上させる処理であり、部分画素情報において、例えば、複数の画像情報を用いた画素間の補完処理で行うことができる。また、高解像度化処理は、ＡＩ部１０４によって、複数の画像情報を用いた補完処理や、画像情報の輪郭を検出して形状を推定するなどの補完処理を行うことでなされる。

【0086】

本実施例の撮像表示装置では、処理部１０２及びＡＩ部１０４において、画像情報に基づく画像の一部分を拡大処理することができる。よって、表示部１０３に拡大した部分画像情報に基づく画像を表示することができる。さらに、部分画像情報に対して高解像度化処理を施すことができる。なお、本実施例の拡大した部分画像情報に基づく画像は、他の実施例にて説明した現実の事象と表示される画像との間の時間的な差を低減させることができる機能と、同時に実現することができる。

【0087】

各実施例において、野球を例に挙げて説明をしてきたがそれに限定されることはない。本発明の撮像表示装置によれば、現実の事象と表示される画像との時間的な差分を低減することができ、利用者は違和感を覚えることなくデバイスを使用できる。

【符号の説明】

【0088】

１００ 撮像表示装置
１０１ 撮像部
１０２ 処理部
１０３ 表示部
１０４ ＡＩ部
１０５ 処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】