特開 2024-16600 表示装置、ヘッドマウントディスプレイ、および画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024016600

(43)【公開日】2024-02-07

(54)【発明の名称】表示装置、ヘッドマウントディスプレイ、および画像表示方法

(51)【国際特許分類】

   H04N 13/344 20180101AFI20240131BHJP

   H04N 13/239 20180101ALI20240131BHJP

   H04N 13/122 20180101ALI20240131BHJP

   H04N 5/64 20060101ALI20240131BHJP

【ＦＩ】

H04N13/344

H04N13/239

H04N13/122

H04N5/64 511A

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022118845

(22)【出願日】2022-07-26

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】西部 満

(72)【発明者】

【氏名】岩城 春香

(72)【発明者】

【氏名】大江 邦明

(72)【発明者】

【氏名】南野 孝範

【テーマコード（参考）】

5C061

【Ｆターム（参考）】

5C061AA01

5C061AB14

5C061AB18

(57)【要約】

【課題】表示装置のリソース量によらず高品質な撮影画像を低遅延で表示する。
【解決手段】
ヘッドマウントディスプレイ１００において撮影画像取得部５０はステレオカメラによる撮影画像のデータをバッファメモリ５２に格納する。特異点検出部５４はそれぞれ、割り当てられた対象画素と隣接画素群からなる画素ブロックを読み出し、対象画素が異常値を有する特異点か否かを並列に判定する。特異点の場合、補正部５６は隣接画素の画素値を用いて補正する。検出条件制御部６６は、特異点の検出条件を調整したり、対象画素の領域を限定したりする。欠陥位置登録部６８は、特異点の位置に継続性がある場合、欠陥位置として登録する。
【選択図】図５

【特許請求の範囲】

【請求項1】

表示に用いる撮影画像のデータを取得する撮影画像取得部と、
前記撮影画像のうち、それぞれに割り当てられた対象画素が、異常値を有する特異点か否かを判定する複数の特異点検出部と、
それぞれに割り当てられた対象画素が前記特異点のとき、隣接する画素群の値を用いて画素値を補正する複数の補正部と、
前記特異点の画素値が補正された画像のデータを表示パネルに出力する出力部と、
を備えたことを特徴とする表示装置。

【請求項2】

前記特異点検出部は、割り当てられた前記対象画素の値が、隣接する画素群により決定される画素値の正常範囲から逸脱しているとき、当該対象画素を特異点と判定することを特徴とする請求項１に記載の表示装置。

【請求項3】

前記特異点検出部は、前記隣接する画素群の範囲を拡張させて、前記画素値の正常範囲を決定することにより、前記対象画素の値の逸脱を複数回確認することを特徴とする請求項２に記載の表示装置。

【請求項4】

前記特異点検出部は、前記隣接する画素群の範囲の拡張後に、前記対象画素の値が前記正常範囲から逸脱したとき、前記対象画素とともに、拡張前の前記隣接する画素群のいずれかの画素を特異点と判定することを特徴とする請求項３に記載の表示装置。

【請求項5】

前記撮影画像の特性に係るパラメータを取得する画像パラメータ取得部をさらに備え、
前記特異点検出部は、前記画素値の正常範囲を、前記パラメータに応じて変化させることを特徴とする請求項２から４のいずれかに記載の表示装置。

【請求項6】

表示中の前記撮影画像に対するユーザの注視点を取得する注視点取得部をさらに備え、
前記特異点検出部は、前記注視点から所定範囲の領域内の画素を対象画素として、特異点か否かを判定することを特徴とする請求項１から４のいずれかに記載の表示装置。

【請求項7】

表示中の前記撮影画像の中心から所定範囲の領域内の画素を対象画素として、特異点か否かを判定することを特徴とする請求項１から４のいずれかに記載の表示装置。

【請求項8】

前記特異点の発生位置を監視することにより、欠陥が生じている撮像素子の位置を特定し登録する欠陥位置登録部をさらに備え、
前記補正部は、登録済みの位置に対応する画素の値を、隣接する画素群の値を用いて補正することを特徴とする請求項１から４のいずれかに記載の表示装置。

【請求項9】

前記欠陥位置登録部は、前記撮影画像の視野が変化していると見なされる期間に検出された前記特異点の位置に基づき、前記欠陥が生じている撮像素子の位置を特定することを特徴とする請求項８に記載の表示装置。

【請求項10】

前記撮影画像を撮影するカメラを一体的に備えるとともに、
前記表示装置の動き情報を取得する動き情報取得部をさらに備え、
前記欠陥位置登録部は、動き情報取得部による動き情報に基づき、前記視野が変化していると見なされる期間を決定することを特徴とする請求項９に記載の表示装置。

【請求項11】

請求項１から４のいずれかに記載の表示装置であって、
前方の実空間を撮影するステレオカメラと、
前記撮影画像をユーザの眼前に表示する表示パネルと、
をさらに備えたことを特徴とするヘッドマウントディスプレイ。

【請求項12】

表示に用いる撮影画像のデータを取得するステップと、
前記撮影画像のうち、それぞれの実行主体に割り当てられた対象画素が、異常値を有する特異点か否かを並列に判定するステップと、
それぞれの実行主体に割り当てられた対象画素が前記特異点のとき、隣接する画素群の値を用いて画素値を並列に補正するステップと、
前記特異点の画素値が補正された画像のデータを表示パネルに出力するステップと、
を含むことを特徴とする画像表示方法。

【請求項13】

表示に用いる撮影画像のデータを取得する機能と、
前記撮影画像のうち、それぞれの実行主体に割り当てられた対象画素が、異常値を有する特異点か否かを並列に判定する機能と、
それぞれの実行主体に割り当てられた対象画素が前記特異点のとき、隣接する画素群の値を用いて画素値を並列に補正する機能と、
前記特異点の画素値が補正された画像のデータを表示パネルに出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、撮影画像を含む画像を表示する表示装置、ヘッドマウントディスプレイ、および画像表示方法に関する。

【背景技術】

【0002】

近年、撮影中の画像を即時に表示させたり配信したりする技術が広く普及している。例えば、ヘッドマウントディスプレイにカメラを搭載し、その撮影画像を即時表示する機構によれば、密閉式のヘッドマウントディスプレイであってもユーザが周囲を見渡せるようになる。また撮影画像の好適な位置にグラフィクスを重畳することにより、拡張現実や複合現実を実現できる。

【0003】

撮影画像には、撮像素子の欠陥などに起因して、本来の色を表さない特異な画素が生じ得る。そのため電子カメラの分野では、このような欠陥画素を信号処理し、補正するための様々な手法が提案されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５－２２３７９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

表示装置の種類によらず、リアルタイムでの実空間の映像を、あたかも実空間を直接見ているかのように表すには、局所的な欠陥を高精度に補正することが求められる。例えば暗い室内での表示に最高輝度の点が表れたり、明るい屋外での表示に黒い点が表れたりすると、際立って見えてしまい、画質全体に対する印象悪化を招きやすい。録画した画像を後から鑑賞する場合や、撮像装置の電子ファインダで画像を確認する場合と比べ、表示装置において鑑賞用の画像と同等に撮影画像を即時表示させる態様では特に、補正のためのリソース量や所要時間に係る制約が大きい一方、画質をより高める必要がある。

【0006】

本発明はこうした課題に鑑みてなされたものであり、その目的は、表示装置のリソース量によらず、高品質な撮影画像を低遅延で表示できる技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様は表示装置に関する。この表示装置は、表示に用いる撮影画像のデータを取得する撮影画像取得部と、撮影画像のうち、それぞれに割り当てられた対象画素が、異常値を有する特異点か否かを判定する複数の特異点検出部と、それぞれに割り当てられた対象画素が特異点のとき、隣接する画素群の値を用いて画素値を補正する複数の補正部と、特異点の画素値が補正された画像のデータを表示パネルに出力する出力部と、を備えたことを特徴とする。

【0008】

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記表示装置であって、前方の実空間を撮影するステレオカメラと、撮影画像をユーザの眼前に表示する表示パネルと、をさらに備えたことを特徴とする。

【0009】

本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、表示に用いる撮影画像のデータを取得するステップと、撮影画像のうち、それぞれの実行主体に割り当てられた対象画素が、異常値を有する特異点か否かを並列に判定するステップと、それぞれの実行主体に割り当てられた対象画素が特異点のとき、隣接する画素群の値を用いて画素値を並列に補正するステップと、特異点の画素値が補正された画像のデータを表示パネルに出力するステップと、を含むことを特徴とする。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、表示装置のリソース量によらず、高品質な撮影画像を低遅延で表示できる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態のヘッドマウントディスプレイの外観例を示す図である。

【図2】本実施の形態の画像表示システムの構成例を示す図である。

【図3】本実施の形態の画像表示システムにおけるデータの経路を模式的に示す図である。

【図4】本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。

【図5】本実施の形態におけるヘッドマウントディスプレイの機能ブロックの構成を示す図である。

【図6】本実施の形態において特異点検出部が特異点を検出する手法の例を説明するための図である。

【図7】本実施の形態において検出条件制御部が、ある対象画素の正常／異常の判定において、用いる画素ブロックの範囲を段階的に変化させる態様を説明するための図である。

【図8】本実施の形態において検出条件制御部が、撮影画像に与えられたゲイン値に基づき検出条件を変化させる態様を説明するための図である。

【図9】本実施の形態において欠陥位置登録部が、撮像素子のうち欠陥が生じている画素の位置を特定する態様を説明するための図である。

【図10】本実施の形態においてヘッドマウントディスプレイが、撮影画像の特異点を補正しながらデータ出力するフローチャートを示す図である。

【図11】図１０に示した処理「Ａ」の手順を示すフローチャートである。

【発明を実施するための形態】

【0013】

本実施の形態は、撮影中の画像を表示する装置に関する。この限りにおいて表示装置の種類は限定されず、例えば携帯端末や撮像装置に内蔵される表示装置でもよいが、以後は、より高い画質が要求されるヘッドマウントディスプレイを例に説明する。図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

【0014】

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

【0015】

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０を備える。本実施の形態では、ステレオカメラ１１０が撮影している動画像を、少ない遅延で表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供する。以後、このようなモードを「シースルーモード」と呼ぶ。例えばヘッドマウントディスプレイ１００は、コンテンツの画像を表示していない期間を自動でシースルーモードとする。

【0016】

これによりユーザは、コンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ１００を外すことなく周囲の状況を確認できる。シースルーモードはこのほか、ユーザが明示的に操作を行ったことを契機として、開始させたり終了させたりしてもよい。これによりコンテンツの鑑賞中であっても、任意のタイミングで一時的に実空間の画像へ表示を切り替えることができ、実世界での突発的な事象に対処するなど必要な作業を行える。なお図示する例でステレオカメラ１１０は、筐体１０８の前面下方に設けられているが、その配置は特に限定されない。またステレオカメラ１１０以外のカメラが設けられていてもよい。

【0017】

ステレオカメラ１１０による撮影画像は、コンテンツの画像としても利用できる。例えばカメラの視野にある実物体に合わせた位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現できる。また撮影画像を表示に含めるか否かによらず、撮影画像を解析し、その結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることもできる。

【0018】

例えば、撮影画像にステレオマッチングを施すことにより、被写体の像の対応点を抽出し、三角測量の原理で被写体の距離を取得してもよい。あるいはVisual SLAM（Simultaneous Localization and Mapping）など周知の技術により、周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得してもよい。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。

【0019】

図２は、本実施の形態における画像表示システムの構成例を示す。画像表示システム１０において、ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ Ｔｙｐｅ－Ｃなどの周辺機器を接続するインターフェースによりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

【0020】

コンテンツ処理装置２００は、基本的に、コンテンツを処理して表示画像を生成し、ヘッドマウントディスプレイ１００に送信することで表示させる情報処理装置である。典型的にはコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野で表示画像を生成する。例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつ、ゲームの舞台である仮想世界を表す画像を生成し、ＶＲ（仮想現実：Virtual Reality）を実現する。

【0021】

本実施の形態においてコンテンツ処理装置２００が処理するコンテンツは特に限定されず、上述のとおりＡＲやＭＲを実現してもよいし、映画などあらかじめ表示画像が制作されているものであってもよい。以後の説明では、シースルーモードで表示される実空間のリアルタイムでの画像以外の画像を、「コンテンツ画像」とする。

【0022】

図３は、本実施の形態の画像表示システム１０におけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は上述のとおり、ステレオカメラ１１０と表示パネル１２２を備える。表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルである。本実施の形態において表示パネル１２２は、ユーザの左目および右目に正対する左右の領域に、動画像のフレームを構成する左目用および右目用の画像をそれぞれ表示する。

【0023】

左目用画像と右目用画像を、両眼の間隔に対応する視差を有するステレオ画像とすることにより、表示対象を立体的に見せることができる。表示パネル１２２は、左目用のパネルと右目用のパネルを左右に並べてなる２つのパネルで構成してもよいし、左目用画像と右目用画像を左右に接続した画像を表示する１つのパネルであってもよい。

【0024】

ヘッドマウントディスプレイ１００はさらに、画像処理用集積回路１２０を備える。画像処理用集積回路１２０は例えば、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ１００はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、ＤＲＡＭ（Dynamic Random Access Memory）などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよいが、ここでは図示を省略している。

【0025】

図では、ステレオカメラ１１０が撮影した画像を表示に含めるケースにおける、２通りのデータ経路を矢印で示している。ＡＲやＭＲを実現する場合、一般にはステレオカメラ１１０による撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示する画像表示システム１０においてコンテンツを処理する主体はコンテンツ処理装置２００のため、矢印Ｂに示すように、ステレオカメラ１１０で撮影された画像は、画像処理用集積回路１２０を経て一旦、コンテンツ処理装置２００に送信される。

【0026】

そして仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ１００に返され、表示パネル１２２に表示される。一方、シースルーモードの場合、矢印Ａに示すように、ステレオカメラ１１０で撮影された画像を、画像処理用集積回路１２０で表示に適した画像に補正したうえ表示パネル１２２に表示させることができる。矢印Ａの経路によれば、矢印Ｂの経路と比較しデータの伝送経路が格段に短くなるため、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。

【0027】

ただし本実施の形態におけるシースルーモードのデータ経路を矢印Ａに限定する主旨ではない。つまり矢印Ｂの経路を採用し、ステレオカメラ１１０により撮影された画像を、一旦、コンテンツ処理装置２００に送信してもよい。そして、コンテンツ処理装置２００側で表示画像として補正したうえで、ヘッドマウントディスプレイ１００に返すことで表示に至る構成としてもよい。

【0028】

いずれにしろ本実施の形態では好適には、ステレオカメラ１１０による撮影画像を行単位など１フレームより小さい単位で順次、パイプライン処理することにより、表示までの時間を最小限にする。これにより、頭部の動きに対し映像が遅れて表示され、ユーザが違和感や映像酔いを覚える可能性を低くする。

【0029】

これまで述べた画像表示システム１０において、シースルーモード、あるいはＡＲやＭＲを、ユーザに与える違和感を少なく実現するには、ステレオカメラ１１０が撮影した画像を可能な限り高速に処理し低遅延で出力することが求められる。一方で、ステレオカメラ１１０のイメージセンサを構成する撮像素子のいずれか、あるいは画素値読み出しのための配線などに欠陥が生じた場合、対応する画素の値が異常となり、表示画像において特異な点となって表れることがある。

【0030】

一般的な撮像装置では、イメージセンサが出力したいわゆるＲＡＷ画像に対し、ＩＳＰ（Image Signal Processor）が適宜補正を行ったうえで画像を出力する。一方、ヘッドマウントディスプレイ１００の場合、撮影画像を表示するのみならず、画像解析、コンテンツ処理装置２００とのデータの送受信、接眼レンズに対応する歪み画像の生成処理など、多様な処理を同時に実施する必要があり、リソースにかかる負荷が大きくなりやすい。

【0031】

ヘッドマウントディスプレイや携帯端末など軽量化、小型化が求められる装置の場合は特に、基板における回路の配置スペースや配線の引き回しなどの問題からデータの伝送経路が限られ、一つの処理に対し利用できるリソースが限定される可能性もある。その一方で、ＡＲやＭＲなど、撮影画像をコンテンツ画像に用いる場合はもとより、シースルーモードにおいても、接眼レンズで拡大して見せる場合は特に、撮影画像を高精細に表示させる必要がある。

【0032】

そこで本実施の形態では、異常な画素値の検出や補正を、局所的な処理で完結させることにより、全体的な画質への影響を最小限に抑えつつ、低遅延での表示を行えるようにする。また検出条件を適応的に制御することにより、局所的な処理であっても高い精度で真に異常な画素値を検出できるようにする。以後、撮影画像において、撮像素子の不具合などにより画素値が異常な箇所、つまり本来の像を表さない箇所を「特異点」と呼ぶ。１つの特異点は、１つの画素、あるいは位置的に連続した複数の画素で構成される。

【0033】

図４は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ（Central Processing Unit）１３６、ＧＰＵ（Graphics Processing Unit)１３８、メインメモリ１４０、表示部１４２を含む。これらの各部はバス１５２を介して相互に接続されている。バス１５２にはさらに、音声出力部１４４、通信部１４６、モーションセンサ１４８、ステレオカメラ１１０、および記憶部１５０が接続される。なおバス１５２の構成は限定されず、例えば複数のバスをインターフェースで接続した構成としてもよい。

【0034】

ＣＰＵ１３６は、記憶部１５０に記憶されているオペレーティングシステムを実行することによりヘッドマウントディスプレイ１００の全体を制御する。またＣＰＵ１３６は、記憶部１５０から読み出されてメインメモリ１４０にロードされた、あるいは通信部１４６を介してダウンロードされた、各種プログラムを実行する。ＧＰＵ１３８は、ＣＰＵ１３６からの描画命令にしたがって描画や補正を行う。メインメモリ１４０は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

【0035】

表示部１４２は、図３で示した表示パネル１２２を含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。音声出力部１４４は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。

【0036】

通信部１４６は、コンテンツ処理装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）など既知の無線通信技術、あるいは有線通信技術により通信を実現する。モーションセンサ１４８はジャイロセンサ、加速度センサ、角加速度センサなどを含み、ヘッドマウントディスプレイ１００の傾き、加速度、角速度などを取得する。ステレオカメラ１１０は、図１で示したとおり、周囲の実空間を左右の視点から撮影するビデオカメラの対である。記憶部１５０はＲＯＭ（Read Only Memory）などのストレージで構成される。

【0037】

図５は、本実施の形態におけるヘッドマウントディスプレイ１００の機能ブロックの構成を示している。図示する機能ブロックは、ハードウェア的には、図４に示した回路構成で実現でき、ソフトウェア的には、記憶部１５０からメインメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0038】

図示するヘッドマウントディスプレイ１００において、ステレオカメラ１１０および表示パネル１２２以外の機能ブロックは、図３の画像処理用集積回路１２０に含まれ得る。ヘッドマウントディスプレイ１００は、撮影画像のデータを取得する撮影画像取得部５０、撮影画像のデータを一時保存するバッファメモリ５２、特異点を検出する特異点検出部５４、特異点の画素値を補正する補正部５６、および、必要に応じて補正された撮影画像のデータを出力する出力制御部５８を備える。

【0039】

ヘッドマウントディスプレイ１００はさらに、撮影画像の特性に係る所定のパラメータを取得する画像パラメータ取得部６０、ユーザの注視点の情報を取得する注視点取得部６２、ヘッドマウントディスプレイ１００の動きに係る情報を取得する動き情報取得部６４、特異点の検出条件を制御する検出条件制御部６６、および、欠陥ありと認められる画素の位置を特定し登録する欠陥位置登録部６８を備える。

【0040】

撮影画像取得部５０は、ステレオカメラ１１０のイメージセンサから撮影画像のデータを取得しバッファメモリ５２に格納する。撮影画像取得部５０はこの際、イメージセンサにおいて画素値をＡＤ変換する際に適用されたゲイン値など、撮影画像の特性にかかる所定のパラメータも取得してよい。撮影画像取得部５０はまた、取得した撮影画像のデータに対し、デモザイク処理や色調補正など必要な処理を施してもよい。バッファメモリ５２は、撮影画像のうち少なくとも所定の行数分の画素値のデータを一時格納する。

【0041】

特異点検出部５４は、所定サイズの画素ブロックのデータをバッファメモリ５２から読み出し、特異点の有無を確認する。特異点検出部５４は基本的に、対象画素の値を、それを囲む隣接した画素群（以後、「隣接画素群」と呼ぶ）の値と比較し、異常値とみなせる条件を満たしたときに対象画素が特異点であると判定する。特異点検出部５４は例えば、隣接画素群の値を用いて対象画素の正常範囲を決定したうえ、実際の対象画素の値が当該正常範囲を逸脱しているとき、対処画素を特異点と判定する。そのため特異点検出部５４は、対象画素と、その隣接画素群により構成される画素ブロックを一単位としてバッファメモリ５２から読み出す。

【0042】

対象画素が特異点でなければ、特異点検出部５４はその画素値を、画素の位置座標とともに出力制御部５８に供給する。対象画素を特異点と判定したら、特異点検出部５４は当該画素の位置座標とともに、その隣接画素群のデータを補正部５６に供給する。

【0043】

補正部５６は、特異点と判定された対象画素の値を補正する。補正部５６は基本的に、周囲の画素と類似の画素値で対象画素の値を補填することにより、表示上での欠陥を気づかれにくくする。この限りにおいて補正のための演算手法は特に限定されないが、例えば補正部５６は、隣接画素群あるいはその一部の画素の値の平均値を対象画素の値とする。演算を単純化するほど、補正に要する時間を短縮できるが、少なくとも隣接する複数の画素の値を根拠に新たな画素値を決定することで、特異点やノイズの連鎖を抑えられる。補正部５６は、そのように決定した画素値を、対象画素の位置座標とともに出力制御部５８に供給する。

【0044】

特異点検出部５４は、撮影画像における全ての画素を順次、対象画素と設定して同様の判定処理を繰り返し、補正部５６が必要に応じて補正する。これらの処理は、対象画素ごとに独立に実施できる。そのため図示するように、特異点検出部５４と補正部５６の対を複数設け、それぞれに異なる対象画素を割り当てて並列に処理してもよい。このような並列処理を高速に実現するため、好適には特異点検出部５４と補正部５６の機能をＧＰＵ１３８、あるいは図示しないＶＰＵ（Visual Processing Unit）に実装する。ＧＰＵ１３８あるいはＶＰＵにより、複数の実行主体（プロセス）を発生させ、対象画素を順次割り当てて並列処理することにより、例えば１００万個の画素を、５００マイクロ秒以下で処理できる。

【0045】

出力制御部５８は、特異点でないと判定された画素のデータを特異点検出部５４から、特異点と判定された画素の補正後のデータを補正部５６から、それぞれ取得し、表示画像を形成して表示パネル１２２に出力する。この際、出力制御部５８は、接眼レンズを介して見たときに歪みのない画像が視認されるように、歪曲収差や色収差を打ち消す方向に撮影画像を補正した表示画像を生成してよい。出力制御部５８はそのほか、表示パネル１２２に対応する各種データ変換を行ってよい。

【0046】

なお出力制御部５８は、特異点が補正された撮影画像のデータを、コンテンツ処理装置２００に送信してもよい。この場合、コンテンツ処理装置２００は、撮影画像の適切な位置に仮想オブジェクトを描画することで、ＡＲやＭＲのコンテンツ画像のデータを生成し、ヘッドマウントディスプレイ１００に返信してもよい。出力制御部５８は当該データを取得し、適宜補正や変換を行って表示パネル１２２に出力してもよい。

【0047】

検出条件制御部６６は、撮影画像が元来有する特性や、特異点検出部５４による判定結果などに応じて、特異点の検出条件を最適化する。前者の例として、検出条件制御部６６は、撮影画像に与えられたゲイン値に基づき、画素値の異常を判定する条件を変化させる。特異点は基本的に、ゲイン値が大きいほど他の画素との差が増幅され際立って見える。換言すればゲイン値が小さいときは補正をせずとも特異点が視認されにくいため、異常値とみなす範囲を狭める（正常値と見なす条件を緩和する）。これにより、必要以上の補正を回避するとともに、正常な画素値を異常とする誤判定の可能性を低くする。

【0048】

これを実現するため、画像パラメータ取得部６０は、ゲイン値など撮影画像の特性に係る所定のパラメータの値を撮影画像取得部５０から取得し、検出条件制御部６６に供給する。画像パラメータ取得部６０が取得するパラメータはゲイン値に限らず、特異点の目立ち具合に影響を与えるものであればよい。例えば画像パラメータ取得部６０は、撮影画像取得部５０が色調補正やデータ変換に用いたパラメータを取得してもよい。

【0049】

撮影画像に係るパラメータの変化と、特異点の目立ちやすさの変化、ひいては好適な特異点の検出条件との対応は、あらかじめ実験などにより求めておく。検出条件制御部６６は、当該データを内部で保持し、実際に取得されたパラメータに基づき検出条件を制御する。

【0050】

一方、特異点検出部５４による判定結果に応じて検出条件を最適化する例として、検出条件制御部６６は、位置的に連続している対象画素が特異点を構成している可能性を踏まえ、判定に用いる隣接画素群の範囲、ひいては画素ブロックの範囲を調整する。対象画素が異常値を有していても、比較対象である隣接画素群にも異常値が含まれる場合、両者の差が小さいことに起因して、対象画素の異常が判定されないことがあり得る。逆に、対象画素を含む連続した画素の値が、他の画素の値と大きく異なっていても、ある程度の長さで連続している場合は、異常ではなく本来の像を表している可能性が高くなる。

【0051】

そこで検出条件制御部６６は、例えば、特異点検出部５４における最初の判定で異常がないとされた対象画素について、画素ブロックの範囲を広げて２度目（あるいはそれ以上）の判定を行うように制御する。この場合、最初の判定において特異点検出部５４が、隣接画素群にも異常がある可能性の高さを所定の規則により評価し、検出条件制御部６６は、当該可能性が高い場合に、２度目以降の判定を行うように制御してもよい。

【0052】

異常値を示す画素が２つ以上連続している場合、それらを囲む新たな範囲の隣接画素群との比較により、それらの値を異常値として検出できる。画素ブロックの範囲を広げる回数に上限を設けることにより、異常値のようであっても長さがあり、本来の像である可能性の高い画素が補正され、像が消えてしまう不具合を回避できる。

【0053】

検出条件制御部６６はまた、撮影画像において特異点を検出する領域を制御してもよい。人の視覚特性として、視野のうち中心窩に対応する注視領域から離れるほど、視機能が低下することが知られている。つまり表示パネル１２２に表示中の画像のうち、ユーザの注視点から離れた位置に特異点が発現しても、ぼやけて見えることにより気づかれにくい。そこで検出条件制御部６６は、ユーザの注視点の情報を所定のレートで取得し、それに応じて特異点を検出する領域を決定したうえ、特異点検出部５４に逐次通知する。

【0054】

これにより特異点検出部５４は、通知された領域内に限定して対象画素を設定し、画素値の異常を判定する。当然、補正部５６は、当該領域内に限定した補正を行うことになる。この態様において注視点取得部６２は、図示しない注視点検出器により構成され、表示パネル１２２に表示されている画像に対するユーザの注視点を所定のレートで取得する。注視点検出器は一般的な装置でよく、例えばユーザの眼に赤外線を照射し、その反射光を撮影して眼球の向きを特定することにより注視点を求める。

【0055】

本実施の形態において注視点検出器は、ヘッドマウントディスプレイ１００の内部に、ユーザの目に対応するように配置される。注視点取得部６２は、表示画像における注視点の位置座標を、検出条件制御部６６に逐次供給する。検出条件制御部６６は、注視点が更新される都度、それを中心とする所定サイズの領域を特異点の検出領域として決定する。この場合、注視点の移動により検出領域も移動する。

【0056】

一方、ヘッドマウントディスプレイ１００の場合、ユーザは視線の方向に顔を向けることが多い。すなわち視線と表示視野が連動しやすいため、結果として注視点は表示画像の中央に集中する可能性が高い。したがって検出条件制御部６６は、表示画像の中央に対応する、撮影画像上の位置から所定サイズの領域を、特異点の検出領域としてもよい。この場合、注視点取得部６２の機能を省略できる。

【0057】

欠陥位置登録部６８は、撮影画像の平面において、特異点が生じる位置を複数フレームに渡り監視することにより、ステレオカメラ１１０のイメージセンサにおいて欠陥が生じている撮像素子の位置を特定する。特異点の発生原因の多くは撮像素子の欠陥であり、この場合、撮影画像の同じ位置に特異点が継続的に生じることになる。したがって、欠陥があると推定される画素の位置を特定し登録しておけば、特異点検出部５４による判定処理を省略しても、画素値の補正が可能である。

【0058】

そこで欠陥位置登録部６８は、特異点検出部５４による特異点の検出結果を所定期間、収集し、継続して特異点と判定された画素、あるいは所定値以上の頻度で特異点と判定された画素の位置を、欠陥位置として特定する。欠陥位置登録部６８は、特定した欠陥位置のデータを、メインメモリ１４０や記憶部１５０などに登録する。欠陥位置が登録されたら、補正部５６は当該登録データを参照し、その位置にある画素を対象画素としたうえ、隣接画素群のデータをバッファメモリ５２から直接読み出して、対象画素を補正する。補正の手法は上述と同様でよい。

【0059】

このように継続性の観点から補正対象を決定することにより、実空間における光の加減などにより突発的に、本来の画素が極端な値をとっても、それを特異点と誤判定して補正してしまうのを防ぐことができる。また特異点検出部５４の処理を省略できるため、全体的な処理に要する時間をより短縮できる。

【0060】

なお一旦、欠陥位置が登録されたら、その後は専ら、登録されたら位置の画素のみを対象に補正してもよいし、特異点検出部５４による特異点検出処理を、所定の頻度で追加してもよい。後者の場合、新たに欠陥位置が特定されたら追加の登録を行う。登録済みの欠陥位置が、その後の判定で特異点とされない場合は、欠陥でない可能性があるため登録データから除外する。

【0061】

一方、実世界の照明や実物体の配置、材質、照度等によっては、実際の像が特異点のように見えることがあり得る。これを欠陥位置として誤って登録してしまわないよう、欠陥位置登録部６８は、ステレオカメラ１１０の視野が変化している期間のみ、特異点の検出結果を収集するようにしてもよい。視野が変化しても特異点が移動しなければ、撮像素子の欠陥が原因の特異点と推定されるためである。この態様において動き情報取得部６４は、モーションセンサ１４８により構成され、ヘッドマウントディスプレイ１００（およびステレオカメラ１１０）の角速度や速度を測定して、欠陥位置登録部６８に所定のレートで通知する。

【0062】

あるいは動き情報取得部６４は、フレーム間差分をとるなど撮影画像自体を解析することにより、ヘッドマウントディスプレイ１００（およびステレオカメラ１１０）の角速度や速度を特定してもよい。いずれにしろ欠陥位置登録部６８は、ヘッドマウントディスプレイ１００とともにステレオカメラ１１０が動き、撮影画像の視野が変化していると見なされる期間に検出された特異点の位置情報を収集し、撮影画像中の像の移動に関わらず静止している特異点の位置を、欠陥位置として特定する。なお同様の処理は、ヘッドマウントディスプレイに限らず、携帯端末や撮像装置などカメラを備え、視野の変化を特定できる装置であれば実施できる。

【0063】

欠陥位置登録部６８が欠陥位置を取得する範囲は、注視点を含む所定サイズの領域に限定してもよい。例えば上述のとおり検出条件制御部６６が、注視点に基づき特異点検出対象の領域を限定すれば、自ずと当該領域内での欠陥位置を取得できる。あるいは欠陥位置登録部６８は初期処理として、撮影画像の全領域を対象に特異点を検出して欠陥位置を登録し、その後、検出条件制御部６６は、注視点から所定範囲に限定して、特異点検出処理を追加で実施してもよい。

【0064】

図６は、特異点検出部５４が特異点を検出する手法の例を説明するための図である。図の左上には撮影画像３００を模式的に示しており、格子で区切られた最小単位の矩形が各画素を表している。特異点検出部５４はこのうち対象画素３０４を１つ定め、それと隣接画素群からなる画素ブロック３０２のデータをバッファメモリ５２から読み出す。そして特異点検出部５４は、隣接画素群の画素値の最大値ｍａｘおよび最小値ｍｉｎを取得し、対象画素３０４の画素値ｐが、ｍｉｎ≦ｐ≦ｍａｘの条件を満たせば画素値ｐを正常値とし、当該条件を満たさなければ異常値と判定する。

【0065】

図の例では、右下に拡大して示すように、対象画素３０４の画素値ｐ＝２５５、隣接画素群の画素値の最大値ｍａｘ＝１５７、最小値ｍｉｎ＝０のため、画素値ｐは異常値と判定される。この場合、特異点検出部５４は、対象画素３０４の位置座標とともに、隣接画素群の画素値を補正部５６に供給する。補正部５６は例えば、隣接画素群のうち、対象画素３０４と縦方向、横方向に隣接する４つの画素の値の平均値を算出し、対象画素３０４の画素値とする。図の例では、４つの画素値（６９，５６，８７、９６）の平均値「７７」が対象画素３０４の画素値となる。

【0066】

一方、対象画素の画素値ｐが上記条件を満たし、正常値と判定されたら、特異点検出部５４は、当該対象画素のデータを出力制御部５８に供給する。これにより対象画素のデータは、そのまま表示処理に用いられる。なお図では対象画素を中心に３×３の画素ブロックを用いて判定を行っているが、本実施の形態をこれに限る趣旨ではない。例えば特異点検出部５４は、さらに外側に範囲を広げ、対象画素を中心に５×５等の画素ブロックを用いて判定を行ってもよい。上述のとおり特異点検出部５４は、画素ブロックの範囲を拡張しながら、複数回の判定を行ってもよい。

【0067】

また対象画素の値が異常と判定された際の補正手法も限定されない。例えば異常値の判定に用いる隣接画素群と、補正に用いる隣接画素群の範囲や個数は、同じであっても異なっていてもよい。また隣接画素群の画素値を統計処理し、外れ値を除外したうえで平均値を計算し、対象画素の値とするなどでもよい。あるいは画素ブロックにバイラテラルフィルタ等の平滑化フィルタを適用して対象画素の値を決定してもよい。ただし計算手法をシンプルにするほど、また計算に用いる入力値を少なくするほど、補正に要する時間を短くできる。

【0068】

本手法によれば、メディアンフィルタやガウシアンフィルタなど一般的なノイズ除去フィルタと異なり、限定された範囲の画素値を用いて局所的に補正するため、画像が本来有する解像度への影響を抑えられる。さらに、撮影画像に意図的にノイズを加えるディザリングが施されている場合に、その効果を打ち消すことがない点においても、一般的なノイズ除去フィルタより有利である。

【0069】

図７は、検出条件制御部６６が、ある対象画素の正常／異常の判定において、用いる画素ブロックの範囲を段階的に変化させる態様を説明するための図である。図の左側は図６と同様、撮影画像のうち、対象画素３０８を中心とした３×３の画素ブロック３０６を示しているが、対象画素３０８とともに、隣接する画素３１０も異常値を有するケースを想定している。この場合、隣接画素群のうち画素３１０の値も特異なため、上記条件によれば対象画素３０８の値が正常と判定されてしまう。

【0070】

そこで検出条件制御部６６は例えば、３×３の画素ブロック３０６を一段階目の判定用とし、対象画素３０８の画素値が正常と判定された場合に、画素ブロック３０６を上下左右に拡張した５×５の画素ブロック３１２を用いて、二段階目の判定を行うように特異点検出部５４を制御する。二段階目の判定において特異点検出部５４は、例えば隣接画素群のうち、新たに加わった最外周の画素群の画素値の最大値ｍａｘと最小値ｍｉｎを取得し、上記条件で対象画素３０８の画素値の正常性を判定する。

【0071】

図の例では、対象画素３０８の画素値ｐ＝２５４、最外周の画素群の画素値の最大値ｍａｘ＝１５５、最小値ｍｉｎ＝３のため、画素値ｐが異常と判定される。この場合、補正部５６は例えば、最外周の画素群、あるいはその一部の画素の値の平均値などを、対象画素の値とする。あるいは特異点検出部５４は、画素ブロック３１２において、対象画素３０８を２重に囲む全ての隣接画素群の値のうち、２番目に大きい画素値ｍａｘ_２ｎｄと２番目に小さい画素値ｍｉｎ_２ｎｄを取得し、正常性の判定に用いてもよい。

【0072】

すなわち対象画素３０８の画素値ｐが、ｍｉｎ_２ｎｄ≦ｐ≦ｍａｘ_２ｎｄの条件を満たせば画素値ｐを正常とし、当該条件を満たさなければ異常と判定する。図の例では、対象画素３０８の画素値ｐ＝２５４、隣接画素群の画素値のうち２番目に大きい画素値ｍａｘ_２ｎｄ＝１５７、２番目に小さい画素値ｍｉｎ_２ｎｄ＝３のため、画素値ｐが異常と判定される。この場合、補正部５６は例えば、隣接画素群のうち、最大値および最小値を有する画素を除いた画素、あるいはその一部の画素の値の平均値などを、対象画素の値とする。

【0073】

図では画像ブロックの範囲を二段階に変化させているが、三段階以上に変化させてもよい。ただし画素値が特異であってもその範囲が広ければ、撮像素子の欠陥起因でなく本来の像を表している可能性が高まる。したがって好適には、図示するような二段階程度の拡張により、正常値に対する判定処理を無駄に繰り返すのを回避するとともに、特異な値でも本来の像を表している画素を誤って補正してしまうのを防ぐ。

【0074】

なお、一段階目の画素ブロック３０６を用いた判定において、検出条件制御部６６は、異常を示す画素が連続している可能性を評価し、その結果に応じて二段階目の判定を行うか否かを決定してもよい。例えば検出条件制御部６６は、一段階目の判定において、隣接画素群の画素値の最大値ｍａｘと最小値ｍｉｎの差をしきい値と比較し、当該差がしきい値より大きい場合に、二段階目の判定を行うように制御する。

【0075】

図の例では、画素ブロック３０６において画素３１０の値が大きいため、最大値ｍａｘと最小値ｍｉｎの差も「２５５」と大きくなる。検出条件制御部６６は当該値をしきい値と比較し、結果的に判定を２段階目に進める。図示するような複数段階での判定により、元の画素ブロック３０６において、対象画素３０８以外に異常値を有する画素３１０の存在が判明する。そこで補正部５６は、対象画素３０８に加え、異常値を有する画素３１０画素値を同時に補正してもよい。

【0076】

図８は、検出条件制御部６６が、撮影画像に与えられたゲイン値に基づき検出条件を変化させる態様を説明するための図である。図の上段は、撮影画像３１４ａ、３１４ｂを模式的に示している。撮影画像３１４ａ、３１４ｂには、実際には被写体の像が表れるが、図ではわかりやすさのため像を省略したうえ、検出すべき特異点３１６ａ、３１６ｂを白色矩形で示している。

【0077】

同じイメージセンサで撮影された画像であっても、ＡＤコンバータにおいて調整されるゲイン値に依存して特異点の見え方が変化する。例えばゲイン値ｇが大きい撮影画像３１４ａにおいては、他の画素との差が増幅される結果、特異点３１６ａが多く発現する。ゲイン値ｇが小さい撮影画像３１４ｂにおいては、他の画素との差が抑えられる結果、特異点３１６ｂが目立ちにくく発現数が小さくなる。

【0078】

このような特異点の発現特性を踏まえ、検出条件制御部６６は、ゲイン値ｇに応じて特異点の検出条件を調整する。例えばゲイン値ｇが所定のしきい値ｇ_ｔｈより大きい場合、検出条件制御部６６はこれまで述べたように、対象画素の値を正常値とする数値範囲の上限および下限をそれぞれ、隣接画素群の画素値の最大値ｍａｘおよび最小値ｍｉｎとする。この条件を図の左下に示している。一方、ゲイン値ｇが所定のしきい値ｇ_ｔｈ以下の場合、検出条件制御部６６は、対象画素の画素値を正常とする数値範囲を拡張する。

【0079】

すなわち図の右下に示すように、検出条件制御部６６は、画素値を正常と判定する上限をΔｐだけ増加させ、下限をΔｐ’だけ減少させる。マージン量ｐ、ｐ’は等しくても異なっていてもよく、実験などにより最適値を求めておく。このように画素値を正常とする条件を緩和することにより、異常値と正常値に大きな差がなく区別のつきにくい状況において、本来の像を表す画素値を異常と判定し、余計な補正を施してしまう可能性を低くできる。なお上述のとおり、検出条件の変化に用いるパラメータはゲイン値ｇに限らない。また検出条件の変化のバリエーションも２つに限らず、３つ以上でもよいし、正常値とする上限、下限を連続的に変化させてもよい。

【0080】

図９は、欠陥位置登録部６８が、撮像素子のうち欠陥が生じている画素の位置を特定する態様を説明するための図である。同図は縦方向を時間軸とし、撮影画像のフレームのうち抜粋したフレーム３２０ａ、３２０ｂ、３２０ｃ、３２０ｄの変遷を模式的に示している。また同図右側には、ユーザの頭部の角速度の変化を示している。ヘッドマウントディスプレイ１００の場合、ユーザの頭部の動きによって視野が変化する。図の例では時刻ｔ１からｔ３にかけて、ユーザが顔の向きを右方向に転回させたことにより、被写体であるテーブルが左方向に移動している。

【0081】

各フレーム３２０ａ、３２０ｂ、３２０ｃ、３２０ｄにはそれぞれ、特異点３２２ａ、３２２ｂ、３２２ｃ、３２２ｄが発現しているとすると、特異点検出部５４は、それらを異常値と判定し、補正部５６が画素値を補正する。しかしながらユーザが頭部を動かさない時刻ｔ０からｔ１の期間においては、フレーム３２０ａ、３２０ｂに示すように視野が変化しないため、特異点３２２ａ、３２２ｂが実世界における何らかの像を表しているのか、撮像素子の欠陥由来なのかを判別するのが難しい。

【0082】

ユーザが頭部を動かしている時刻ｔ１からｔ３の期間であれば、視野の変化に対応し特異点３２２ｂ、３２２ｃ、３２２ｄが変位していないことから、イメージセンサの対応する位置に、撮像素子の欠陥があると判断できる。したがって欠陥位置登録部６８は例えば、動き情報取得部６４から与えられる角速度または速度がしきい値Ｖ_ｔｈを超えている期間Ｔにおいて、特異点検出部５４による検出結果を収集する。

【0083】

そして欠陥位置登録部６８は例えば、同じ画素に所定回数以上の特異点が検出されたら、当該画素の位置を欠陥位置として登録する。これにより、補正すべき画素を高精度で特定できるとともに、以後は特異点検出部５４の処理を省略でき、欠陥補正に係る処理をより高速化できる。

【0084】

次に、以上の構成により実現できるヘッドマウントディスプレイの動作を説明する。図１０は、本実施の形態においてヘッドマウントディスプレイが、撮影画像の特異点を補正しながらデータ出力するフローチャートを示している。この処理手順は、ユーザがヘッドマウントディスプレイ１００を装着し、ステレオカメラ１１０が前方の実空間を撮影している状態において、フレームごとに実施される。

【0085】

前提として、撮影画像取得部５０が取得した撮影画像のフレームのうち所定数の行のデータがバッファメモリ５２に格納されている。まず特異点検出部５４は、対象画素を１つ設定し、それを中心とする所定サイズの画素ブロックを読み出す（Ｓ１０、Ｓ１２）。ユーザが注視している領域に限定して補正を行う場合、特異点検出部５４はＳ１０において、注視点から所定範囲の領域内で対象画素を設定する。

【0086】

対象画素に対し最初の段階として設定する画素ブロックは、例えば３×３の画素とする。特異点検出部５４は、Ｓ１０で決定した対象画素の位置が欠陥位置として登録されていないことを確認したうえ（Ｓ１４のＹ）、隣接画素群との比較により、対象画素の画素値が正常か異常かを判定する（Ｓ１６）。このとき特異点検出部５４は上述のとおり、ゲイン値など撮影画像の特性に基づき、画素値を正常と判定する範囲を調整してよい。

【0087】

画素値を正常と判定した場合（Ｓ１８のＹ）、特異点検出部５４は、画素ブロックを拡張して再度、画素値が正常か異常かを判定する（Ｓ２０のＮ、Ｓ１２、Ｓ１４のＹ、Ｓ１６）。二段階目として設定する画素ブロックは、例えば５×５の画素とする。このように画素ブロックを複数段階で拡張しながら正常値か異常値かを判定していき、所定の段階数まで拡張しても正常値であることが判定されたら（Ｓ２０のＹ）、特異点検出部５４は、対象画素の画素値を出力制御部５８に出力する（Ｓ２２）。

【0088】

これにより当該対象画素は元の値のまま、表示処理に用いられる。なお画素ブロックを拡張しない態様では、Ｓ２０の判定を省略する。Ｓ１６において対象画素の画素値が異常と判定された場合（Ｓ１８のＮ）、補正部５６は後述する処理「Ａ」により異常値を補正し、補正後の画素値を出力制御部５８に出力する（Ｓ２２）。ヘッドマウントディスプレイ１００は、基本的には、Ｓ１０～Ｓ２２の処理を、撮影画像の全ての画素を対象画素として繰り返す（Ｓ２４のＮ）。これにより、撮影画像のフレームに発現している特異点を高速かつ精度よく補正したうえ表示できる。

【0089】

ただし上述のとおり、特異点検出部５４と補正部５６は、異なる対象画素について並列に処理してよい。また注視領域内の画素のみを補正の対象とする場合、それ以外の画素についてはＳ１４～Ｓ２０の処理を省略できる。すなわち特異点検出部５４は、対象画素の値のみをバッファメモリ５２から読み出し、そのまま出力制御部５８に出力する（Ｓ２２）。

【0090】

撮影画像の全ての画素について出力が完了したら、ヘッドマウントディスプレイ１００は１フレーム分の処理を終える（Ｓ２４のＹ）。図示する処理を撮影画像のフレームごとに繰り返し、ある程度の数のフレームが処理されると、後述するように欠陥位置登録部６８により欠陥位置が登録される。登録後は、Ｓ１０において補正部５６が当該欠陥位置の画素を対象画素と設定し、それを中心とする所定サイズの画素ブロックを読み出す（Ｓ１０、Ｓ１２）。

【0091】

対象画素は欠陥位置であるため（Ｓ１４のＮ）、補正部５６は、隣接画素群の画素値を用いて対象画素の値を補正し（Ｓ２６）、その値を出力制御部５８に出力する（Ｓ２２）。ただし上述のとおり、特異点検出部５４が所定の頻度でＳ１０～Ｓ２０の特異点の検出を行ってもよい。この場合、欠陥位置登録部６８は、検出結果に基づき登録情報に誤りがないかを確認したうえ、誤りがあれば修正するようにしてもよい。

【0092】

図１１は、図１０に示した処理「Ａ」の手順を示すフローチャートである。すなわちこの処理は、対象画素の値が異常であると判定されたときに開始される。まず欠陥位置登録部６８は、ヘッドマウントディスプレイ１００、ひいては頭部に動きがあるか否かを確認し、動きがある場合（Ｓ３０のＹ）、対象画素の位置座標をメモリ等に一時記憶させる（Ｓ３２）。それまでに検出された位置座標が記憶されている場合、欠陥位置登録部６８は、同じ位置で継続して特異点が発現していると見なせるか否かを判定する（Ｓ３４）。

【0093】

例えば欠陥位置登録部６８は、所定数以上のフレームで同じ位置に特異点が検出されたら、特異点に継続性があると判定する。特異点に継続性がある場合（Ｓ３４のＹ）、欠陥位置登録部６８は、当該特異点の位置を欠陥位置として登録する（Ｓ３６）。継続性があることが判定されない場合（Ｓ３４のＮ）、欠陥位置の登録処理はスキップし、補正部５６が隣接画素群の画素値を用いて対象画素の値を補正する（Ｓ３８）。

【0094】

Ｓ３０においてヘッドマウントディスプレイ１００に動きがなければ（Ｓ３０のＮ）、Ｓ３２～Ｓ３６の処理は省略し、補正部５６が隣接画素群の画素値を用いて対象画素の値を補正する（Ｓ３８）。ただしヘッドマウントディスプレイ１００の動きによらず特異点の継続性を監視する態様においては、Ｓ３０の判定処理を省略する。Ｓ３６の処理により、図１０のフローチャートにおいて、Ｓ２６の経路が発生する。

【0095】

以上述べた本実施の形態によれば、撮影画像を表示する表示装置において、撮像素子の欠陥などによって生じる特異点を検出して補正する。この際、対象画素とそれに隣接する画素群との画素値の比較により、対象画素が正常か否かを判定する。また異常な場合、隣接画素群の画素値を用いて補正する。つまり、極小領域のデータを用いて局所的に判定、補正を実施するため、一般的なノイズ低減フィルタと比較し、画像全体の解像度への影響を抑えられる。また対象画素ごとに独立した処理が可能なため、並列化が容易であり、既存のＧＰＵやＶＰＵを利用した高速処理を実現できる。

【0096】

さらに撮影画像平面のうちユーザの注視点などに基づき限定された領域を補正対象とすることにより、視認上への影響を最小限に、フレーム当たりの特異点検出や補正に要する時間をより短縮できる。また、ゲイン値など撮影画像の特性によって特異点の検出条件を調整したり、特異点検出に用いる隣接画素群の範囲を調整して複数段階で検出処理を実施したりすることにより、より高い精度で特異点を検出し補正できる。

【0097】

さらに検出結果を時間方向に監視し、同じ位置に継続して特異点が発現することを特定できたら、当該位置を登録しておくことにより、以後の処理は、その位置の画素に限定して補正を行う。これにより、特異点検出処理自体を省略でき、より短時間で撮影画像を表示できる。この際、ヘッドマウントディスプレイが元来備えるモーションセンサなどを利用し、視野の変化に対し変位しない特異点の位置を収集することにより、本来の像を特異点と誤検出するのを防止できる。以上の構成により、リソース量によらず高品質な撮影画像を低遅延で表示できる。

【0098】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0099】

１０ 画像表示システム、 ５０ 撮影画像取得部、 ５２ バッファメモリ、 ５４ 特異点検出部、 ５６ 補正部、 ５８ 出力制御部、 ６０ 画像パラメータ取得部、 ６２ 注視点取得部、 ６４ 動き情報取得部、 ６６ 検出条件制御部、 ６８ 欠陥位置登録部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ 画像処理用集積回路、 １２２ 表示パネル、 １３６ ＣＰＵ、 １３８ ＧＰＵ、 ２００ コンテンツ処理装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】