IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ACW−DEEPの特許一覧 ▶ 西武建設株式会社の特許一覧

特開2022-60706視認性を向上させたヘッドマウントディスプレイ
<>
  • 特開-視認性を向上させたヘッドマウントディスプレイ 図1
  • 特開-視認性を向上させたヘッドマウントディスプレイ 図2
  • 特開-視認性を向上させたヘッドマウントディスプレイ 図3
  • 特開-視認性を向上させたヘッドマウントディスプレイ 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022060706
(43)【公開日】2022-04-15
(54)【発明の名称】視認性を向上させたヘッドマウントディスプレイ
(51)【国際特許分類】
   H04N 5/64 20060101AFI20220408BHJP
   G06T 19/00 20110101ALI20220408BHJP
   G02B 27/02 20060101ALI20220408BHJP
【FI】
H04N5/64 511A
G06T19/00 600
G02B27/02 Z
【審査請求】有
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2020168331
(22)【出願日】2020-10-05
(11)【特許番号】
(45)【特許公報発行日】2022-01-12
(71)【出願人】
【識別番号】516049674
【氏名又は名称】株式会社ACW-DEEP
(71)【出願人】
【識別番号】592158969
【氏名又は名称】西武建設株式会社
(74)【代理人】
【識別番号】100082418
【弁理士】
【氏名又は名称】山口 朔生
(74)【代理人】
【識別番号】100167601
【弁理士】
【氏名又は名称】大島 信之
(74)【代理人】
【識別番号】100201329
【弁理士】
【氏名又は名称】山口 真二郎
(74)【代理人】
【識別番号】100220917
【弁理士】
【氏名又は名称】松本 忠大
(72)【発明者】
【氏名】山口 聡
(72)【発明者】
【氏名】角田 寧
(72)【発明者】
【氏名】須長 真介
(72)【発明者】
【氏名】金野 直樹
【テーマコード(参考)】
2H199
5B050
【Fターム(参考)】
2H199CA42
2H199CA86
2H199CA92
5B050AA10
5B050BA09
5B050DA04
5B050EA09
5B050EA19
5B050FA02
5B050FA05
(57)【要約】
【課題】従来のヘッドマウントディスプレイと比較して、より映像の視認性が高い手段を提供すること。
【解決手段】実写映像を撮影するカメラを有する撮影部10と、実写映像の少なくとも一部である処理映像Cと別途用意した素材映像Bとを合成してなる合成映像Aをユーザに表示する表示部20と、を少なくとも具備したヘッドマウントディスプレイであり、表示部20のレンズ21の光軸方向(第1の光軸X)に対し、撮影部10の光軸方向(第2の光軸Y)を下方向に傾斜させることで、ユーザの上下方向の視野角に考慮した合成映像を得る。
【選択図】図1
【特許請求の範囲】
【請求項1】
ユーザが装着するヘッドマウントディスプレイであって、
実写映像を撮影するカメラを有する、撮影部と、
前記実写映像の少なくとも一部と、別途用意した素材映像とを合成してなる合成映像を前記ユーザに表示する、表示部と、
を少なくとも具備し、
前記ヘッドマウントディスプレイの高さ方向を上下方向、幅方向を左右方向、厚さ方向を前後方向としたときに、
前記表示部のレンズの光軸方向に対し、前記撮影部の光軸方向が下方向に傾斜していることを特徴とする、
ヘッドマウントディスプレイ。
【請求項2】
前記表示部のレンズの光軸と前記撮影部の光軸との交点が、前記ユーザの目の位置に設定されており、前記撮影部を、前記表示部のレンズの光軸上から外れた位置に設けてあることを特徴とする、
請求項1に記載のヘッドマウントディスプレイ。
【請求項3】
前記表示部のレンズの光軸と前記撮影部の光軸との交点が、前記撮影部の位置に設定されており、前記撮影部を、前記表示部のレンズの光軸上に設けてあることを特徴とする、
請求項1に記載のヘッドマウントディスプレイ。
【請求項4】
前記表示部のレンズの光軸が、前記ヘッドマウントディスプレイの装着時における前記ユーザの真正面の視線方向に対して、下方向に傾斜してあることを特徴とする、
請求項1乃至3のうち何れか1項に記載のヘッドマウントディスプレイ。
【請求項5】
前記撮影部を構成するカメラのレンズの光軸方向を調整可能に構成してあることを特徴とする、
請求項1乃至4のうち何れか1項に記載のヘッドマウントディスプレイ。
【請求項6】
前記撮影部を構成するカメラの前方に光軸屈折手段を設けることによって、前記撮影部の光軸方向を下方向に傾斜させていることを特徴とする、
請求項1乃至5のうち何れか1項に記載のヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張仮想空間をユーザに体験させるためのヘッドマウントディスプレイに関し、より視認性を向上させたヘッドマウントディスプレイに関する。
【背景技術】
【0002】
AR(「Augmented Reality」:拡張現実)やMR(「Mixed Reality」:複合現実)の映像を表示するために、ヘッドマウントディスプレイ(以下、「HMD」ともいう。)の前面にカメラを設けることが知られている。
【0003】
例えば、非特許文献1には、予め二眼式のカメラを内蔵したHMDが開示されている。
また、非特許文献2には、HMDに別途取り付け可能な外付け式の二眼式のカメラが開示されている。
このカメラで撮影した映像と、仮想の素材映像を組み合わせた映像をHMD上で表示することで、ユーザにAR空間やVR空間を体験させることができる。
【0004】
また、出願人は、HMDに表示させる映像として、素材映像からなる仮想空間に、リアルタイムに撮影するユーザ周辺の生映像(実写映像)に映像処理を行った処理映像を組み合わせた合成映像を生成し、仮想空間にユーザの手足等を表示可能とすることで、あたかも仮想空間に現実のユーザが存在するように認識させることが可能な、拡張式の仮想現実提供システムを発明している(特許文献1)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第6717486号公報
【非特許文献】
【0006】
【非特許文献1】https://www.vive.com/jp/product/vive-pro-eye/overview/
【非特許文献2】https://www.ask-corp.jp/products/stereolabs/camera/zed-mini.html
【発明の概要】
【発明が解決しようとする課題】
【0007】
出願人は、上記した先行技術文献に開示される手段の提供を目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決すべくなされた、本願の第1発明は、ユーザが装着するヘッドマウントディスプレイであって、実写映像を撮影するカメラを有する、撮影部と、前記実写映像の少なくとも一部と、別途用意した素材映像とを合成してなる合成映像を前記ユーザに表示する、表示部と、を少なくとも具備し、前記ヘッドマウントディスプレイの高さ方向を上下方向、幅方向を左右方向、厚さ方向を前後方向としたときに、前記表示部のレンズの光軸方向に対し、前記撮影部の光軸方向が下方向に傾斜していることを特徴とする。
また、本願の第2発明は、前記第1発明において、前記表示部のレンズの光軸と前記撮影部の光軸との交点が、前記ユーザの目の位置に設定されており、前記撮影部を、前記表示部のレンズの光軸上から外れた位置に設けてあることを特徴とする。
また、本願の第3発明は、前記第1発明において、前記表示部のレンズの光軸と前記撮影部の光軸との交点が、前記撮影部の位置に設定されており、前記撮影部を、前記表示部のレンズの光軸上に設けてあることを特徴とする。
また、本願の第4発明は、前記第1発明乃至第3発明のうち何れか1つの発明において、前記表示部のレンズの光軸が、前記ヘッドマウントディスプレイの装着時における、前記ユーザの真正面の視線方向に対して、下方向に傾斜してあることを特徴とする。
また、本願の第5発明は、前記第1発明乃至第4発明のうち何れか1つの発明において、前記撮影部を構成するカメラのレンズの光軸方向を調整可能に構成してあることを特徴とする。
また、本願の第6発明は、前記第1発明乃至第5発明のうち何れか1つの発明において、前記撮影部を構成するカメラの前方に光軸屈折手段を設けることによって、前記撮影部の光軸方向を下方向に傾斜させていることを特徴とする。
【発明の効果】
【0009】
本発明によれば、以下に記載する効果のうち、少なくとも何れか1つの効果を奏する。
(1)表示部のレンズの光軸方向に対して、撮影部の光軸方向を下方向に傾斜させることで、下方側に視野角の広い人間の視野に沿った撮影映像を合成してなる合成映像を提供することができる。
(2)ユーザの目より下方にある胸元周辺の空間や、前方に差し出した手が位置する空間などが、撮影部で撮影した実写映像においてレンズ収差の小さい中央付近に位置することとなるため、これらの空間を撮影してなる実写映像側の処理映像がよりクリアとなって視認性の向上に繋がる。
(3)下方側に視野角の広い人間の視野に沿った合成映像により、ユーザによる手元でのコントローラの操作性や安全な歩行の助けに寄与する。
(4)カメラの前方にプリズムやミラーなどの光軸屈折手段を設けることで、既存のHMDを流用する態様で、撮影部の光軸方向を下方向に傾斜させることができる。
【図面の簡単な説明】
【0010】
図1】実施例1に係るヘッドマウントディスプレイの構成図。
図2】人間の視野角を示すイメージ図。
図3】実施例2に係るヘッドマウントディスプレイの構成図。
図4】実施例3に係るヘッドマウントディスプレイの構成図。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、本発明の実施例について説明する。
【実施例0012】
<1>システム構成(図1
本発明に係るヘッドマウントディスプレイ(HMD)は、ユーザの頭部に装着する装置であり、少なくとも撮影部10と表示部20とを具備した装置である。
以下、各部の詳細について説明する。
【0013】
<2>撮影部(図1
撮影部10は、HMDの前方を撮影して実写映像を取得するための装置である。
撮影部10は、HMDに予め内蔵してあるタイプでも、別途HMDに着脱自在な外付け型であってもよい。
本実施例では、撮影部10を、立体視を可能とする二眼型のカメラを、HMD本体の前方に配置して構成している。
【0014】
<2.1>撮影部の位置
図1では、後述する表示部20のレンズの光軸(第1の光軸X)と撮影部10の光軸(第2の光軸Y)との交点Pが、ユーザの目の位置Dに設定されている。
そのため、第2の光軸Y上に位置する撮影部10は、HMDの前面の下部に取り付けられた状態となっている。この点も、前記した先行技術文献に示す従来のHMDと異なる。
【0015】
なお、本発明において「ユーザの目の位置D」は、位置を厳密に特定するものではなく、ユーザの目元周辺等も含まれる。なお、図1では、各光軸の交点Pの位置をわかりやすく図示する都合上、ユーザの目の前方近くに、ユーザの目の位置Dを設定している。
【0016】
<3>表示部(図1
表示部20は、撮影部10で取得した実写映像のうち少なくとも一部の映像と、別途用意した素材映像Bとを合成してなる合成映像Aを表示するための装置である。
表示部20は、HMDに内蔵されて、前記合成映像Aを表示するディスプレイと、当該ディスプレイをユーザが視認するための二眼のレンズ21等によって構成される。
【0017】
<3.1>合成映像の生成方法(図1
合成映像Aは、HMDに備えた記憶媒体や、HMDに接続してあるPCなどの情報処理装置から送られる、素材映像Bと、撮影部10で撮影された実写映像から、少なくとも一部の映像を抽出してなる処理映像Cを合成して得られる映像である。
【0018】
<3.2>素材映像(図1
素材映像Bは、合成映像Aの大部分を占める映像であり、現実の場所を撮影してなる撮影映像またはCG映像、もしくはこれらの組合せ映像を用いることができる。
【0019】
<3.3>処理映像(図1
処理映像Cは、撮影部10で撮影された実写映像から、少なくとも一部の映像を抽出してなる映像である。
撮影部10で撮影された実写映像から合成用の処理映像Cを生成する方法としては、出願人が過去に特許取得した、特許第6717486号で開示するデプス系除去処理およびクロマ系除去処理のうち少なくとも何れかの処理を行う方法や、その他公知の除去処理を行う方法などがある。
例えば、特許第6717486号で開示するデプス系除去処理は、撮影部10で取得する実写映像に対し、当該カメラから得られる深度情報や、別途HMDに設けた深度センサから得られる深度情報を利用して、カメラから所定の距離未満の物体のみを抽出する処理である。
【0020】
<3.4>合成映像の一例(図1
図1で示す合成映像Aは、室内の床、天井、壁、本棚、机等が、CGや予め撮影された背景映像からなる仮想の素材映像Bであり、撮影部10のカメラによる撮影映像に対し、少なくともデプス系除去処理を経て、ユーザの手C1のみが抜き出された処理映像Cが合成されてなる映像をイメージしている。
【0021】
<4>各レンズの光軸方向について(図1
図1に示すように、HMDの高さ方向を上下方向、幅方向を左右方向、厚さ方向を前後方向としたとき、撮影部10の光軸(本実施例ではレンズ11の光軸に相当)である第2の光軸Yは、表示部20を構成するレンズ21の光軸である第1の光軸Xと一致しておらず、第2の光軸Yの軸方向に対して、第1の光軸Xの軸方向が前方に向かって下方に傾斜角θを有するよう傾斜した状態となっている。
【0022】
なお、本発明では、第2の光軸Yを傾斜させるにあたり、撮影部10のカメラを物理的に傾斜させた構成に限定されない。
例えば、撮影部10のカメラのレンズ11の光軸は水平のままとし、レンズ11の前方にプリズムやミラーなどの光軸屈折手段を設けることで、光学的に本発明に係る第2の光軸Yを設ける様に構成しても良い。
【0023】
<4.1>合成映像に対する光軸点の位置
上記構成によって、表示部20で表示する合成映像Aの中心点、言い換えると、表示部20のレンズ21の光軸点(第1の光軸点X1)に対し、撮影部10のカメラのレンズ11の光軸点(第2の光軸点Y1)は、下方にずれたイメージとなる。より詳細に説明すると、合成映像Aの生成時に、前記した傾斜角θを考慮して、合成映像Aの全体においてやや下側の領域に、撮影部10による実写映像から得られる処理映像Cが合成されるイメージとなる。
【0024】
<5>作用効果(図1図2
図2に、人間の上下方向の視野角のイメージ図を示す。
図2に示すように、人間の上下方向の視野角は上方に約50°、下方に約75°とされている。
このように、下側に視野角の広い人間が使用するにあたり、本願発明に係るHMDによって表示される合成映像Aは、図1に示すように、視認性の高い処理映像Cが映像全体の下方側で合成されることで、人間の視野に適した映像となる。
また、本発明に係る合成映像Aは、ユーザが自身の前方に手C1を差し出した場合を想定すると、当該手が置かれる空間周囲が、撮影部10による撮影映像においてレンズ収差の小さい中央付近に位置するように作用し、ユーザの胸元付近の前方空間の映像がよりクリアとなって視認性の向上に繋がる、という効果を得ることができる。
ところで、HMDが如何なる姿勢であっても、当該効果は変わらない。
例えば、HMDを装着したユーザが上を向いて作業を行う場合などでもユーザの手は、常にユーザ頭部からみて常に目の下側に位置することが多い為である。
【0025】
<6>作用効果に関する別表現(図示せず)
上記<5>の作用効果を異なる表現で説明すると以下の通りとなる。
例えば、机に設置したパソコンのディスプレイとキーボードに向かうユーザを想定する。
この状態で、ユーザの装着しているメガネが下にずれた状態となると、ユーザが真正面を向いた状態から視線のみを下に落とした際に、メガネのレンズの中央付近でキーボードを鮮明に視認できる状態となるイメージが、本発明における作用効果のイメージと合致することになる。
この場合、メガネによって鮮明に見える視野が、撮影部10による映像を元にした処理映像Cに相当し、ユーザ自体の視野角に沿って視認できる範囲の映像が、HMDの表示部20によって表示される合成映像Aに相当するイメージとなる。
【0026】
<7>各映像の解像度および画角(図1
図1では、表示部20のディスプレイに表示する映像の解像度および画角に対し、撮影部10のカメラで撮影する実写映像の解像度と画角が小さい(狭い)状態を図示しているが、本発明は当該構成に限定されない。
すなわち、本発明では、両者の解像度および画角が同一でも良いし、撮影部10側の実写映像の解像度および画角が、表示部20のディスプレイに表示する映像の解像度および画角よりも大きい(広い)状態であってもよい。
【0027】
<8>傾斜角の範囲(図1
第1の光軸Xに対する第2の光軸Yの傾斜角θは、HMDの厚さに伴う、撮影部10の位置とユーザの目の位置Dとの離隔距離によって最適な値が定まる。
よって、前記撮影部10の光軸方向の傾斜角θを調整可能な機構を採用しておくと、ユーザに応じた最適な傾斜角を個別に設定することができる。
【実施例0028】
[水平方向上に位置する撮影部10を傾斜させた構成(図3)]
本発明の第2実施例について、図3を参照しながら説明する。
本実施例は、これまでのHMDのように、第1の光軸X上に配置するようにHMDの前面に設けた撮影部10の位置を保持したまま、撮影部10のカメラのレンズの光軸を下方向に傾斜させた構成を呈している。
この場合、ユーザの目の位置Dから第1の光軸Xと第2の光軸Yとの交点Pまでに距離Lが生じるため、この距離Lを考慮して校正した合成処理を行うことで、実施例1と同様の効果を得ることができる。
【実施例0029】
[HMDを傾斜させつつ、更に撮影部10を傾斜させた構成(図4)]
本発明の第3実施例について、図4を参照しながら説明する。
図4では、HMDの内側において、ユーザの額との接触箇所にスペーサ30を設けており、HMDの装着時にスペーサ30によって第1の光軸Xが前後方向Zから下方にθ1だけ傾斜した状態を呈しつつ、さらに、第1の光軸Xから第2の光軸Yがθ2だけ傾斜するように撮影部10を設けてある構成を呈している。
本実施例においても、各軸間の傾斜角θ1,θ2を考慮して校正した合成処理を行うことで、実施例1と同様の効果を得ることができる。
【符号の説明】
【0030】
10 撮影部
11 レンズ
20 表示部
21 レンズ
30 スペーサ
A 合成映像
B 素材映像
C 処理映像
C1 手
D 目の位置
P 交点
X 第1の光軸
X1 第1の光軸点
Y 第2の光軸
Y1 第2の光軸点
Z 前後方向
θ 傾斜角
図1
図2
図3
図4
【手続補正書】
【提出日】2020-10-09
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
図1
図2
図3
図4
【手続補正書】
【提出日】2021-10-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザが装着するヘッドマウントディスプレイであって、
ヘッドマウントディスプレイの前面に設け、実写映像を撮影するカメラを有する、撮影部と、
ヘッドマウントディスプレイに内蔵され、前記実写映像の少なくとも一部と、別途用意した素材映像とを合成してなる合成映像を前記ユーザに表示する、表示部と、
を少なくとも具備し、
前記ヘッドマウントディスプレイの高さ方向を上下方向、幅方向を左右方向、厚さ方向を前後方向としたときに、前記表示部のレンズの光軸方向に対し、前記撮影部の光軸方向が下方向に傾斜しており、
前記表示部のレンズの光軸と前記撮影部の光軸との交点が、前記ユーザの目の位置に設定されており、前記撮影部を、前記表示部のレンズの光軸上から外れた位置に設けてあることを特徴とする、
ッドマウントディスプレイ。
【請求項2】
ユーザが装着するヘッドマウントディスプレイであって、
ヘッドマウントディスプレイの前面に設け、実写映像を撮影するカメラを有する、撮影部と、
ヘッドマウントディスプレイに内蔵され、前記実写映像の少なくとも一部と、別途用意した素材映像とを合成してなる合成映像を前記ユーザに表示する、表示部と、
を少なくとも具備し、
前記ヘッドマウントディスプレイの高さ方向を上下方向、幅方向を左右方向、厚さ方向を前後方向としたときに、前記表示部のレンズの光軸方向に対し、前記撮影部の光軸方向が下方向に傾斜しており、
前記表示部のレンズの光軸と前記撮影部の光軸との交点が、前記撮影部の位置に設定されており、前記撮影部を、前記表示部のレンズの光軸上に設けてあることを特徴とする、
ッドマウントディスプレイ。
【請求項3】
前記表示部のレンズの光軸が、前記ヘッドマウントディスプレイの装着時における前記ユーザの真正面の視線方向に対して、下方向に傾斜してあることを特徴とする、
請求項1または2に記載のヘッドマウントディスプレイ。
【請求項4】
前記撮影部を構成するカメラのレンズの光軸方向を調整可能に構成してあることを特徴とする、
請求項1乃至のうち何れか1項に記載のヘッドマウントディスプレイ。
【請求項5】
前記撮影部を構成するカメラの前方に光軸屈折手段を設けることによって、前記撮影部の光軸方向を下方向に傾斜させていることを特徴とする、
請求項1乃至のうち何れか1項に記載のヘッドマウントディスプレイ。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
よって、本発明は、上記した先行技術文献に開示される従来のヘッドマウントディスプレイと比較して、より映像の視認性が高い手段の提供を目的とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
上記課題を解決すべくなされた、本願の第1発明は、ユーザが装着するヘッドマウントディスプレイであって、ヘッドマウントディスプレイの前面に設け、実写映像を撮影するカメラを有する、撮影部と、ヘッドマウントディスプレイに内蔵され、前記実写映像の少なくとも一部と、別途用意した素材映像とを合成してなる合成映像を前記ユーザに表示する、表示部と、を少なくとも具備し、前記ヘッドマウントディスプレイの高さ方向を上下方向、幅方向を左右方向、厚さ方向を前後方向としたときに、前記表示部のレンズの光軸方向に対し、前記撮影部の光軸方向が下方向に傾斜しており、前記表示部のレンズの光軸と前記撮影部の光軸との交点が、前記ユーザの目の位置に設定されており、前記撮影部を、前記表示部のレンズの光軸上から外れた位置に設けてあることを特徴とする。
また、本願の第発明は、ユーザが装着するヘッドマウントディスプレイであって、ヘッドマウントディスプレイの前面に設け、実写映像を撮影するカメラを有する、撮影部と、ヘッドマウントディスプレイに内蔵され、前記実写映像の少なくとも一部と、別途用意した素材映像とを合成してなる合成映像を前記ユーザに表示する、表示部と、を少なくとも具備し、前記ヘッドマウントディスプレイの高さ方向を上下方向、幅方向を左右方向、厚さ方向を前後方向としたときに、前記表示部のレンズの光軸方向に対し、前記撮影部の光軸方向が下方向に傾斜しており、前記表示部のレンズの光軸と前記撮影部の光軸との交点が、前記撮影部の位置に設定されており、前記撮影部を、前記表示部のレンズの光軸上に設けてあることを特徴とする。
また、本願の第発明は、前記第1発明または第2発明において、前記表示部のレンズの光軸が、前記ヘッドマウントディスプレイの装着時における、前記ユーザの真正面の視線方向に対して、下方向に傾斜してあることを特徴とする。
また、本願の第発明は、前記第1発明乃至第発明のうち何れか1つの発明において、前記撮影部を構成するカメラのレンズの光軸方向を調整可能に構成してあることを特徴とする。
また、本願の第発明は、前記第1発明乃至第発明のうち何れか1つの発明において、前記撮影部を構成するカメラの前方に光軸屈折手段を設けることによって、前記撮影部の光軸方向を下方向に傾斜させていることを特徴とする。