IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社オルツの特許一覧 ▶ カン ホースーンの特許一覧

特開2022-146839画像を3次元的に表示するための方法、プログラムおよびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022146839
(43)【公開日】2022-10-05
(54)【発明の名称】画像を3次元的に表示するための方法、プログラムおよびシステム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20220928BHJP
   G09G 5/36 20060101ALI20220928BHJP
   G09G 5/377 20060101ALI20220928BHJP
   G09G 5/00 20060101ALI20220928BHJP
【FI】
G06T19/00 A
G09G5/36 520K
G09G5/36 520M
G09G5/36 510M
G09G5/00 510Q
G09G5/00 550C
【審査請求】未請求
【請求項の数】25
【出願形態】OL
(21)【出願番号】P 2021092377
(22)【出願日】2021-06-01
(31)【優先権主張番号】P 2021047451
(32)【優先日】2021-03-22
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】515018091
【氏名又は名称】株式会社オルツ
(71)【出願人】
【識別番号】518143369
【氏名又は名称】カン ホースーン
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100107489
【弁理士】
【氏名又は名称】大塩 竹志
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】カン ホースーン
【テーマコード(参考)】
5B050
5C182
【Fターム(参考)】
5B050CA07
5B050DA01
5B050DA10
5B050EA07
5B050EA12
5B050EA18
5B050EA19
5B050EA27
5B050FA02
5B050GA02
5C182AA02
5C182AA03
5C182AA31
5C182AB02
5C182AB08
5C182AB33
5C182AC03
5C182AC43
5C182BA14
5C182BA29
5C182BA56
5C182BA75
5C182BB02
5C182BB03
5C182BB11
5C182BC01
5C182BC26
5C182CB11
5C182CB13
5C182CB14
5C182CB32
5C182CB54
(57)【要約】
【課題】画像を3次元的に表示するために、疑似3次元画像を作成することが可能な方法等を提供すること
【解決手段】本発明は、画像を3次元的に表示するための方法を提供し、本方法は、対象の画像を含む画像を受信することと、前記画像を処理することにより、前記対象の画像とは別の要素の3次元的表現を前記画像内に追加することによって疑似3次元効果を奏する疑似3次元画像を作成することと、前記疑似3次元画像を表示することとを含む。
【選択図】図1C
【特許請求の範囲】
【請求項1】
画像を3次元的に表示するための方法であって、
対象の画像を含む画像を受信することと、
前記画像を処理することにより、前記対象の画像とは別の要素の3次元的表現を前記画像内に追加することによって疑似3次元効果を奏する疑似3次元画像を作成することと、
前記疑似3次元画像を表示することと
を含む方法。
【請求項2】
前記疑似3次元画像を作成することは、前記要素の3次元的表現を前記対象の画像の周囲で回転させることにより前記疑似3次元画像として疑似3次元動画を作成することを含む、請求項1に記載の方法。
【請求項3】
前記要素の3次元的表現の一部が前記対象の画像の上に重ね合わせられて前記対象の画像の前記一部が前記要素の3次元的表現によって隠れ、前記要素の3次元的表現の他の一部が前記対象の画像の下に重ね合わせられて前記要素の3次元的表現の前記他の一部が前記対象の画像によって隠れるように前記要素の3次元的表現が追加される、請求項1または請求項2に記載の方法。
【請求項4】
前記要素は、複数の水平方向走査線を含み、
前記要素の3次元的表現を前記画像内に追加することは、前記複数の水平方向走査線の3次元的表現を前記対象の画像上に追加することを含む、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記疑似3次元画像を作成することは、前記画像から視点の異なる複数の画像を生成することと、前記視点の異なる複数の画像を時間的に連続して結合することにより前記疑似3次元画像として疑似3次元動画を作成することを含む、請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記疑似3次元画像は、疑似3次元動画であり、
前記方法は、
前記疑似3次元画像に音を同期させることと、
前記疑似3次元画像を表示しているときに、前記同期させられた音を再生することと
をさらに含む、請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記音は、前記画像中の動きに基づいて変化する、請求項6に記載の方法。
【請求項8】
前記音は、前記対象の画像が前記対象の画像の周囲に規定される境界を超えることに応答して、変化する、請求項6または請求項7に記載の方法。
【請求項9】
前記音は、前記境界の外での前記対象の動きに応答して、変化する、請求項8に記載の方法。
【請求項10】
前記境界は、前記対象の画像の周囲に配置された前記要素の3次元的表現によって規定される、請求項8または請求項9に記載の方法。
【請求項11】
前記音の変化は、前記音の大きさ、音程、音色のうちの少なくとも1つの変化を含む、請求項7~10のいずれか一稿に記載の方法。
【請求項12】
前記疑似3次元画像を表示することは、少なくとも1つの部材が第1の軸周りに回転して平面状の表示面を形成する回転型ディスプレイ上に前記疑似3次元画像を表示することを含む、請求項1~11のいずれか一項に記載の方法。
【請求項13】
前記回転型ディスプレイは、前記表示面の向きを変更可能に構成されており、
前記方法は、
前記回転型ディスプレイに対するユーザの位置を検出することと、
前記検出された位置に基づいて、前記表示面の向き変更することと
を含む、請求項12に記載の方法。
【請求項14】
前記疑似3次元画像を表示することは、前記表示面の向きに基づいて、前記疑似3次元画像中の前記対象の向きを変更して前記表示面上に前記疑似3次元画像を表示することを含む、請求項7に記載の方法。
【請求項15】
前記疑似3次元画像を表示することは、少なくとも1つの部材が第1の軸周りに回転しかつ第1の軸に略垂直な第2の周りに回転して略球面状の表示面を形成する回転型ディスプレイ上に前記疑似3次元画像を表示することを含む、請求項1~11のいずれか一項に記載の方法。
【請求項16】
前記回転型ディスプレイは、複数の部材がそれぞれ回転して複数の表示面を形成する、請求項12~15のいずれか一項に記載の方法。
【請求項17】
画像を3次元的に表示するためのプログラムであって、前記プログラムは、プロセッサと、表示部とを備えるコンピュータシステムにおいて実行され、前記プログラムは、
対象の画像を含む画像を受信することと、
前記画像を処理することにより、前記対象の画像とは別の要素の3次元的表現を前記画像内に追加することによって疑似3次元効果を奏する疑似3次元画像を作成することと、
前記疑似3次元画像を前記表示部に表示することと
を含む処理を前記プロセッサに行わせる、プログラム。
【請求項18】
画像を3次元的に表示するためのシステムであって、
対象の画像を含む画像を受信する受信手段と、
前記画像を処理することにより、前記対象の画像とは別の要素の3次元的表現を前記画像内に追加することによって疑似3次元効果を奏する疑似3次元画像を作成する作成手段と、
前記疑似3次元画像を表示する表示手段と
を備えるシステム。
【請求項19】
画像を3次元的に表示するための方法であって、
画像を受信することと、
前記画像に音を同期させることであって、前記音は、前記画像中の動きに応答して変化する、ことと
前記画像を表示することと、
前記画像を表示しているときに、前記同期させられた音を再生することと
を含む方法。
【請求項20】
画像を3次元的に表示するためのプログラムであって、前記プログラムは、プロセッサと、表示部と、音出力部とを備えるコンピュータシステムにおいて実行され、前記プログラムは、
画像を受信することと、
前記画像に音を同期させることであって、前記音は、前記画像中の動きに応答して変化する、ことと
前記画像を前記表示部に表示することと、
前記画像を表示しているときに、前記同期させられた音を前記音出力部から再生することと
を含む処理を前記プロセッサに行わせる、プログラム。
【請求項21】
画像を3次元的に表示するためのシステムであって、
画像を受信する受信手段と、
前記画像に音を同期させる同期手段であって、前記音は、前記画像中の動きに応答して変化する、同期手段と
前記画像を表示する表示手段と、
前記画像を表示しているときに、前記同期させられた音を再生する再生手段と
を備えるシステム。
【請求項22】
画像をディスプレイ上に表示する方法であって、
前記ディスプレイに対するユーザの視点の位置を検出することと、
画像を処理することにより、前記ディスプレイ上に表示されるべき前記画像の部分を決定することであって、
前記ユーザの視点を中心とし、前記ユーザの視点と前記ディスプレイとの間の距離を半径とする仮想球体を設定することと、
前記画像を前記仮想球体の内面に貼り付けることと、
前記ディスプレイの表示面に対応する前記仮想球体の内面の部分に貼り付けられている前記画像の部分を特定することと、
を含む、ことと、
前記決定された画像の部分を前記ディスプレイの前記表示面に表示することと
を含む方法。
【請求項23】
前記画像は、エクイレクタングラー図法で表現されている、請求項22に記載の方法。
【請求項24】
前記ディスプレイは、据え置き型ディスプレイである、請求項22または請求項23に記載の方法。
【請求項25】
前記ディスプレイは、少なくとも1つの部材が回転して表示面を形成する回転型ディスプレイである、請求項24に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を3次元的に表示するための方法、プログラムおよびシステムに関する。
【背景技術】
【0002】
一般的なディスプレイ装置に画像を表示すると、画像は、平面的に表示される。ディスプレイ装置の表示面が平面だからである。
【0003】
画像を3次元的に表示するための特殊なデバイスが開発されている(例えば、特許文献1)
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2010-513970号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、画像を3次元的に表示するために、疑似3次元画像を作成することが可能な方法等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、以下の項目を提供する。
(項目1)
画像を3次元的に表示するための方法であって、
対象の画像を含む画像を受信することと、
前記画像を処理することにより、前記対象の画像とは別の要素の3次元的表現を前記画像内に追加することによって疑似3次元効果を奏する疑似3次元画像を作成することと、
前記疑似3次元画像を表示することと
を含む方法。
(項目2)
前記疑似3次元画像を作成することは、前記要素の3次元的表現を前記対象の画像の周囲で回転させることにより前記疑似3次元画像として疑似3次元動画を作成することを含む、項目1に記載の方法。
(項目3)
前記要素の3次元的表現の一部が前記対象の画像の上に重ね合わせられて前記対象の画像の前記一部が前記要素の3次元的表現によって隠れ、前記要素の3次元的表現の他の一部が前記対象の画像の下に重ね合わせられて前記要素の3次元的表現の前記他の一部が前記対象の画像によって隠れるように前記要素の3次元的表現が追加される、項目1または項目2に記載の方法。
(項目4)
前記要素は、複数の水平方向走査線を含み、
前記要素の3次元的表現を前記画像内に追加することは、前記複数の水平方向走査線の3次元的表現を前記対象の画像上に追加することを含む、項目1~3のいずれか一項に記載の方法。
(項目5)
前記疑似3次元画像を作成することは、前記画像から視点の異なる複数の画像を生成することと、前記視点の異なる複数の画像を時間的に連続して結合することにより前記疑似3次元画像として疑似3次元動画を作成することを含む、項目1~4のいずれか一項に記載の方法。
(項目6)
前記疑似3次元画像は、疑似3次元動画であり、
前記方法は、
前記疑似3次元画像に音を同期させることと、
前記疑似3次元画像を表示しているときに、前記同期させられた音を再生することと
をさらに含む、項目1~5のいずれか一項に記載の方法。
(項目7)
前記音は、前記画像中の動きに基づいて変化する、項目6に記載の方法。
(項目8)
前記音は、前記対象の画像が前記対象の画像の周囲に規定される境界を超えることに応答して、変化する、項目6または項目7に記載の方法。
(項目9)
前記音は、前記境界の外での前記対象の動きに応答して、変化する、項目8に記載の方法。
(項目10)
前記境界は、前記対象の画像の周囲に配置された前記要素の3次元的表現によって規定される、項目8または項目9に記載の方法。
(項目11)
前記音の変化は、前記音の大きさ、音程、音色のうちの少なくとも1つの変化を含む、項目7~10のいずれか一稿に記載の方法。
(項目12)
前記疑似3次元画像を表示することは、少なくとも1つの部材が第1の軸周りに回転して平面状の表示面を形成する回転型ディスプレイ上に前記疑似3次元画像を表示することを含む、項目1~11のいずれか一項に記載の方法。
(項目13)
前記回転型ディスプレイは、前記表示面の向きを変更可能に構成されており、
前記方法は、
前記回転型ディスプレイに対するユーザの位置を検出することと、
前記検出された位置に基づいて、前記表示面の向き変更することと
を含む、項目12に記載の方法。
(項目14)
前記疑似3次元画像を表示することは、前記表示面の向きに基づいて、前記疑似3次元画像中の前記対象の向きを変更して前記表示面上に前記疑似3次元画像を表示することを含む、項目7に記載の方法。
(項目15)
前記疑似3次元画像を表示することは、少なくとも1つの部材が第1の軸周りに回転しかつ第1の軸に略垂直な第2の周りに回転して略球面状の表示面を形成する回転型ディスプレイ上に前記疑似3次元画像を表示することを含む、項目1~11のいずれか一項に記載の方法。
(項目16)
前記回転型ディスプレイは、複数の部材がそれぞれ回転して複数の表示面を形成する、項目12~15のいずれか一項に記載の方法。
(項目17)
画像を3次元的に表示するためのプログラムであって、前記プログラムは、プロセッサと、表示部とを備えるコンピュータシステムにおいて実行され、前記プログラムは、
対象の画像を含む画像を受信することと、
前記画像を処理することにより、前記対象の画像とは別の要素の3次元的表現を前記画像内に追加することによって疑似3次元効果を奏する疑似3次元画像を作成することと、
前記疑似3次元画像を前記表示部に表示することと
を含む処理を前記プロセッサに行わせる、プログラム。
(項目17A)
上記項目のうちの1つまたは複数に記載の特徴を含む、項目17に記載のプログラム。
(項目18)
画像を3次元的に表示するためのシステムであって、
対象の画像を含む画像を受信する受信手段と、
前記画像を処理することにより、前記対象の画像とは別の要素の3次元的表現を前記画像内に追加することによって疑似3次元効果を奏する疑似3次元画像を作成する作成手段と、
前記疑似3次元画像を表示する表示手段と
を備えるシステム。
(項目18A)
上記項目のうちの1つまたは複数に記載の特徴を含む、項目18に記載のシステム。
(項目18B)
画像を3次元的に表示するためのプログラムを格納する記憶媒体であって、前記プログラムは、プロセッサと、表示部とを備えるコンピュータシステムにおいて実行され、前記プログラムは、
対象の画像を含む画像を受信することと、
前記画像を処理することにより、前記対象の画像とは別の要素の3次元的表現を前記画像内に追加することによって疑似3次元効果を奏する疑似3次元画像を作成することと、
前記疑似3次元画像を前記表示部に表示することと
を含む処理を前記プロセッサに行わせる、記憶媒体。
(項目18C)
上記項目のうちの1つまたは複数に記載の特徴を含む、項目18Bに記載の記憶媒体。
(項目19)
画像を3次元的に表示するための方法であって、
画像を受信することと、
前記画像に音を同期させることであって、前記音は、前記画像中の動きに応答して変化する、ことと
前記画像を表示することと、
前記画像を表示しているときに、前記同期させられた音を再生することと
を含む方法。
(項目19A)
上記項目のうちの1つまたは複数に記載の特徴を含む、項目19に記載の方法。
(項目20)
画像を3次元的に表示するためのプログラムであって、前記プログラムは、プロセッサと、表示部と、音出力部とを備えるコンピュータシステムにおいて実行され、前記プログラムは、
画像を受信することと、
前記画像に音を同期させることであって、前記音は、前記画像中の動きに応答して変化する、ことと
前記画像を前記表示部に表示することと、
前記画像を表示しているときに、前記同期させられた音を前記音出力部から再生することと
を含む処理を前記プロセッサに行わせる、プログラム。
(項目20A)
上記項目のうちの1つまたは複数に記載の特徴を含む、項目20に記載のプログラム。
(項目21)
画像を3次元的に表示するためのシステムであって、
画像を受信する受信手段と、
前記画像に音を同期させる同期手段であって、前記音は、前記画像中の動きに応答して変化する、同期手段と
前記画像を表示する表示手段と、
前記画像を表示しているときに、前記同期させられた音を再生する再生手段と
を備えるシステム。
(項目21A)
上記項目のうちの1つまたは複数に記載の特徴を含む、項目21に記載のシステム。
(項目22)
画像をディスプレイ上に表示する方法であって、
前記ディスプレイに対するユーザの視点の位置を検出することと、
画像を処理することにより、前記ディスプレイ上に表示されるべき前記画像の部分を決定することであって、
前記ユーザの視点を中心とし、前記ユーザの視点と前記ディスプレイとの間の距離を半径とする仮想球体を設定することと、
前記画像を前記仮想球体の内面に貼り付けることと、
前記ディスプレイの表示面に対応する前記仮想球体の内面の部分に貼り付けられている前記画像の部分を特定することと、
を含む、ことと、
前記決定された画像の部分を前記ディスプレイの前記表示面に表示することと
を含む方法。
(項目23)
前記画像は、エクイレクタングラー図法で表現されている、項目22に記載の方法。
(項目24)
前記ディスプレイは、据え置き型ディスプレイである、項目22または項目23に記載の方法。
(項目25)
前記ディスプレイは、少なくとも1つの部材が回転して表示面を形成する回転型ディスプレイである、項目24に記載の方法。
【発明の効果】
【0007】
本発明によれば、表示されるべき画像から疑似3次元画像を作成することができ、これにより、例えば、3次元モデルが存在しない画像であっても、3次元的に表現されることができるようになる。
【図面の簡単な説明】
【0008】
図1A】画像10が表示されている様子を示す図
図1B】本発明の一実施形態における手法に従って、図1Aに示される画像10内の対象の画像11を3次元的に表現した例を示す図
図1C図1Bに示される疑似3次元画像20において、対象の画像11の遠近感をさらに増強して、対象の画像11を3次元的に表現した例を示す図
図1D図1Bに示される疑似3次元画像20において、対象の画像11の遠近感をさらに増強して、対象の画像11を3次元的に表現した例を示す図
図1E】対象の画像11が動く過程を示す図
図1F】対象の画像11が動く過程を示す図
図1G】対象の画像11が動く様子を示す図
図1H】立方体12が動く過程を示す図
図1I】立方体12が動く過程を示す図
図1J】立方体12が動く様子を示す図
図2A】本発明の別の実施形態における手法に従って、図1Aに示される画像10内の対象の画像11を3次元的に表現した例を示す図
図2B図2Aに示される疑似3次元画像30において、対象の画像11の遠近感をさらに増強して、対象の画像11を3次元的に表現した例を示す図
図2C】疑似3次元画像20’を示す図
図2D】疑似3次元画像20’’を示す図
図3A】本発明の別の実施形態における手法に従って、図1Aに示される画像10内の対象の画像11を3次元的に表現した例を示す図
図3B】本発明の別の実施形態における手法に従って、図1Aに示される画像10内の対象の画像11を3次元的に表現した例を示す図
図4A】疑似3次元画像を表示するための画像表示装置の一例を示す図
図4B図4Aに示される表示面の向きにおいて、回転型ディスプレイ20の表示面23に表示される画像の一例を示す図
図4C】ユーザUが回転型ディスプレイ20の周りで矢印の方向に移動した状態を示す図
図4D図4Cに示されるユーザ位置に向いた表示面23に表示される画像の一例を示す図
図4E】回転型ディスプレイ20の表示面23に画像を表示する様子を示す図
図4F】本発明の一実施形態における回転型ディスプレイ25を示す図
図4G】本発明の別の実施形態における回転型ディスプレイ27を示す図
図5A】本発明の一実施形態における手法のフローの一例を概略的に示す図
図5B】ユーザUの視点とディスプレイ20との間の距離が小さい場合の図
図5C】ユーザUの視点とディスプレイ20との間の距離が大きい場合の図
図6A】画像を3次元的に表示するためのシステム100の構成の一例を示す図
図6B】別の実施形態における画像を3次元的に表示するためのシステム100’の構成の一例を示す図
図6C】ユーザ装置200の構成の一例を示す図
図7A】画像を3次元的に表示するためのシステム100による処理700の一例を示す図
図7B】画像を3次元的に表示するためのシステム100’による処理710の一例を示す図
図8】画像をディスプレイ上に表示するための処理800の一例を示す図
【発明を実施するための形態】
【0009】
以下、本発明を説明する。本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および科学技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書(定義を含めて)が優先する。
【0010】
本明細書において、「画像」とは、2次元平面に表示可能な画像のことをいう。画像は、2次元情報(縦×横)を含む「2次元画像」のみならず、3次元情報(縦×横×奥行)を含む「3次元画像」を含む。「3次元画像」は、例えば、RGB-Dカメラを用いて取得され得る。「3次元画像」は、例えば、2次元画像に対して奥行き情報を推定する処理を行い、2次元画像に奥行き情報を付加することによって取得され得る。画像には、静止画および動画が含まれる。動画とは、時間的に連続する複数の静止画であるとみなされる。
【0011】
本明細書において、「3次元的」とは、3次元ではないが、3次元であるかのようであるさまのことをいう。
【0012】
本明細書において、「3次元的に表示する」とは、3次元ではないもの(例えば、2次元平面内にあるもの)を3次元であるかのように表示することを意味する。
【0013】
本明細書において、「3次元的表現」とは、3次元ではないもの(例えば、2次元平面内にあるもの)を3次元であるかのように表現したものを意味する。例えば、3次元的表現は、陰影をつけることによって3次元であるかのように表現したもの、明暗をつけることによって3次元であるかのように表現したもの、視差をつけることによって3次元であるかのように表現したもの、大きさの違いをつけることによって3次元であるかのように表現したもの、または、遠近感をつけることによって3次元であるかのように表現したもののうちの少なくとも1つを含む。
【0014】
本明細書において、「疑似3次元効果」とは、視覚における錯覚(錯視)により、3次元的に見える効果のことをいう。見る人の感覚に依存して、疑似3次元効果の程度に違いはあり得る。「疑似3次元画像」は、「疑似3次元効果」を奏する画像のことをいう。
【0015】
本明細書において、「対象」とは、画像内に現れる任意の物体のことをいう。対象は、例えば、生物であってもよいし、無生物であってもよい。対象は、例えば、人間であってもよいし、動物であってもよいし、植物であってもよい。
【0016】
本明細書において、「約」とは、後に続く数値の±10%を意味する。
【0017】
以下、図面を参照しながら、本発明の実施の形態を説明する。
【0018】
1.1 画像を3次元的に表現する手法
本発明の発明者は、平面ディスプレイに表示される画像(2次元画像)を3次元的に表現する手法を開発した。この手法を用いると、平面ディスプレイに表示される画像が3次元的に表示されることになり、平面ディスプレイを見る人は、平面ディスプレイに表示される画像があたかも3次元空間内に表示されていると錯覚し得る。このような錯覚による効果を奏する画像が、疑似3次元画像である。この手法では、画像の3次元モデルが存在しない場合であっても、画像を3次元的に表現することができるようになる。
【0019】
図1Aは、画像10が表示されている様子を示す。画像10内には、対象(本例では、人)の画像11が含まれている。
【0020】
画像10は平面ディスプレイに表示されるため、対象の画像11は、2次元的または平面的に見えている。
【0021】
図1Bは、本発明の一実施形態における手法に従って、図1Aに示される画像10内の対象の画像11を3次元的に表現した例を示す。
【0022】
図1Bに示される疑似3次元画像20では、元の画像10に比べて、対象の画像11とは別の要素(本例では、立方体12)が追加されている。立方体12は、3次元的表現で画像に追加されている。例えば、図1Bに示されるように、立方体12は、見る人に近い辺が太く、かつ見る人から遠い辺が細くなるように表現されている。これにより、立方体12には遠近感が生じている。疑似3次元画像20において、立方体12の遠近感により、対象の画像11にも遠近感が生じており、これにより、対象の画像11が3次元的に見え得る。
【0023】
さらに、立方体12は、対象の画像11の周囲に配置されており、立方体12は、立方体12の一部が対象の画像11の一部を隠すように対象の画像11に重なり、立方体12の一部が対象の画像11の一部に隠れるように対象の画像11に重なっている。これにより、立方体12の遠近感が増強され、ひいては、対象の画像11の遠近感も増強され得る。
【0024】
このように、疑似3次元画像20では、対象の画像11自体は2次元画像であるものの、立方体12の存在により、対象の画像11は、3次元的に表現されていると錯覚されやすい。
【0025】
図1Cおよび図1Dは、図1Bに示される疑似3次元画像20において、対象の画像11の遠近感をさらに増強して、対象の画像11を3次元的に表現した例を示す。図1Cおよび図1Dに示される例では、疑似3次元画像20は、動画であり、図1Cおよび図1Dに示される画像は、動画の1フレームであるとみなされ得る。
【0026】
図1Cおよび図1Dでは、立方体12が軸周りに回転させられている。軸は、例えば、立方体12の上面および下面を通過する中心軸である。図1Cおよび図1Dに示されるように、立方体12が回転させられるにつれて、見る人に近い辺および見る人から遠い辺が遷移する。これに伴い、太く表現される辺および細く表現される辺が遷移する。これにより、回転させられる立方体12の遠近感が更に増強される。画像10において、立方体12の増強された遠近感により、対象の画像11の遠近感も増強されており、これにより、対象の画像11がさらに3次元的に見え得る。
【0027】
さらに、立方体12は、対象の画像11の周囲で回転させられている。立方体12が回転させられるにつれて、対象の画像11の一部を隠す立方体12の一部および対象の画像11の一部に隠れる立方体12の一部が遷移する。これにより、立方体12の遠近感がさらに増強され、ひいては、対象の画像11の遠近感もさらに増強され得る。
【0028】
このように、疑似3次元画像20では、対象の画像11自体は2次元画像であるものの、回転させられる立方体12の存在により、対象の画像11は、3次元的に表現されているとより錯覚されやすい。
【0029】
なお、軸は、任意の軸であり得る。軸は、回転により立方体12の遠近感が増強される軸であることが好ましい。軸は、例えば、立方体12の側面を通過する中心軸であってもよいし、立方体12の少なくとも1つの面を通過する軸(中心軸または中心からずれた軸)であってもよいし、立方体12外の軸であってもよい。
【0030】
上述した例では、対象の画像11とは別の要素による視覚的効果によって画像を3次元的に表現することを説明したが、本発明の一実施形態では、視覚的効果に加えて、または、視覚的効果に代えて、聴覚的効果によって画像を3次元的に表現することができる。この実施形態における平面ディスプレイは、スピーカを備えるかスピーカに接続されているものとする。
【0031】
例えば、画像10が、対象が動く様子を表現した動画であったとする。画像10には、動く対象の画像11が含まれることになる。このような画像10から生成した疑似3次元画像20において、図1Eに示される状態から、図1Fに示される状態に、対象の画像11が動いたとする。この動きにより、対象の腕の画像が、立方体12の外に出ているように見えるようになる。図1Eに示される状態から図1Fに示される状態に対象の画像が変化する過程で、対象の腕の画像が立方体12に接触した瞬間から音を再生し、対象の腕の画像が立方体12から遠くに延びるにつれて、その音を変化させることができる。音は、スピーカから再生され得る。対象の腕の画像が立方体12に接触した瞬間に再生される音により、立方体12があたかも3次元空間内にあるかような錯覚を生じさせ、そして、立方体12と腕の画像との間の距離に従って音を変化させることによって、空間の3次元的な広がりの錯覚を生じさせることができる。音の変化は、例えば、音の大きさ、音の音程、音の音色のうちの少なくとも1つであり得る。例えば、対象の腕の画像が立方体12から遠くに延びるにつれて音を大きくすることができる。あるいは、例えば、対象の腕の画像が立方体12から遠くに延びるにつれて音を小さくするようにしてもよいし、例えば、対象の腕の画像が立方体12から遠くに延びるにつれて音を高くもしくは低くするようにしてもよいし、例えば、対象の腕の画像が立方体12から遠くに延びるにつれて別の音色に近づくようにするようにしてもよい。このような聴覚的効果により、立方体12の存在が強調され、ひいては、対象の画像11の遠近感がさらに強調されることになる。
【0032】
さらに、立方体12から遠ざかる対象の腕の画像の動きに加えて、または、これに代えて、立方体12の外部での対象の画像の他の動きに応じて、音を変化させるようにしてもよい。例えば、図1Gに示されるように、対象の腕の画像が立方体12の外部で矢印の方向に円弧を描いて上下に動くとき、その動きに合わせて音を変化させることができる。例えば、対象の腕の画像が立方体12の外部で矢印の方向に円弧を描いて下に動くにつれて音を大きく(または小さく)し、上に動くにつれて音を小さく(または大きく)することができる。あるいは、例えば、対象の腕の画像が立方体12の外部で矢印の方向に円弧を描いて下に動くにつれて音を高く(または低く)し、上に動くにつれて音を低く(または高く)するようにしてもよいし、例えば、対象の腕の画像が立方体12の外部で矢印の方向に円弧を描いて下に動くにつれて音を第1の音色に近づけ、上に動くにつれて音を第2の音色に近づけるようにしてもよい。このような聴覚的効果によっても、立方体12の存在が強調され、ひいては、対象の画像11の遠近感がさらに強調されることになる。
【0033】
このように、立方体12と対象の画像11の少なくとも一部との関係に従って、音を再生し、かつ音を変化させることによって、立方体12の存在を強調することができ、対象の画像11は、3次元的に表現されているとより錯覚されやすくなる。立方体12と対象の画像11の少なくとも一部との関係は、例えば、上述したように、立方体12と対象の画像11の一部との距離(すなわち、静的関係)であってもよいし、立方体12に対する対象の画像11の一部の動き(すなわち、動的関係)であってもよいし、他の関係であってもよい。
【0034】
上述した例では、対象の画像11が動くことにより、立方体12との関係が変わることを説明したが、本発明はこれに限定されない。例えば、図1Cおよび図1Dを参照して上述したように、立方体12が移動し、それに伴って、立方体12と対象の画像11の少なくとも一部との関係も変化し、立方体12と対象の画像11の少なくとも一部との関係に従って、音を再生し、かつ音を変化させるようにしてもよい。
【0035】
例えば、図1H図1Jでは、図1Cおよび図1Dと同様に、立方体12が軸周りに回転させられている。図1Hでは、対象の画像11は、立方体12の内部に収まっている。従って、スピーカから音は再生されない。
【0036】
立方体12が軸周りに回転させられると、図1Iに示されるように、対象の腕の画像が、立方体12の外に出ているように見えるようになる。図1Hに示される状態から図1Iに示される状態に立方体12が変化する過程で、立方体12が対象の腕の画像に接触した瞬間から音を再生し、立方体12が対象の腕の画像から遠くなるにつれて、その音を変化させることができる。音は、スピーカから再生され得る。立方体12が対象の腕の画像に接触した瞬間に再生される音により、立方体12があたかも3次元空間内にあるかのような錯覚を生じさせ、そして、立方体12と腕の画像との間の距離に従って音を変化させることによって、空間の3次元的な広がりの錯覚を生じさせることができる。音の変化は、例えば、音の大きさ、音の音程、音の音色のうちの少なくとも1つであり得る。例えば、立方体12が対象の腕の画像から遠くなるにつれて音を大きくすることができる。あるいは、例えば、立方体12が対象の腕の画像から遠くなるにつれて音を小さくするようにしてもよいし、立方体12が対象の腕の画像から遠くなるにつれて音を高くもしくは低くするようにしてもよいし、立方体12が対象の腕の画像から遠くなるにつれて別の音色に近づくようにするようにしてもよい。このような聴覚的効果により、立方体12の存在が強調され、ひいては、対象の画像11の遠近感がさらに強調されることになる。
【0037】
さらに、対象の腕の画像から遠ざかる立方体12の動きに加えて、立方体12の外部での対象の画像の動きに応じて、音を変化させるようにしてもよい。例えば、図1Jに示されるように、対象の腕の画像が立方体12の外部で矢印の方向に円弧を描いて上下に動くとき、および/または、対象の腕の画像が立方体12の外部で矢印の方向に左右に動くとき、その動きに合わせて音を変化させることができる。例えば、対象の腕の画像が立方体12の外部で矢印の方向に円弧を描いて下に動くにつれて音を大きく(または小さく)し、上に動くにつれて音を小さく(または大きく)することができる。あるいは、例えば、対象の腕の画像が立方体12の外部で矢印の方向に円弧を描いて下に動くにつれて音を高く(または低く)し、上に動くにつれて音を低く(または高く)するようにしてもよいし、例えば、対象の腕の画像が立方体12の外部で矢印の方向に円弧を描いて下に動くにつれて音を第1の音色に近づけ、上に動くにつれて音を第2の音色に近づけるようにしてもよい。例えば、対象の腕の画像が立方体12から遠くに延びるにつれて音を大きくもしくは小さくするようにしてもよいし、例えば、対象の腕の画像が立方体12から遠くに延びるにつれて音を高くもしくは低くするようにしてもよいし、例えば、対象の腕の画像が立方体12から遠くに延びるにつれて別の音色に近づくようにするようにしてもよい。このような聴覚的効果によっても、立方体12の存在が強調され、ひいては、対象の画像11の遠近感がさらに強調されることになる。
【0038】
上述した例では、立方体12を境界として、対象の画像の一部が境界から遠くに延びるにつれて音を変化させるまたは対象の画像の一部が境界の外で動くことに応じて音を変化させることを説明したが、境界はこれに限定されない。境界は、対象の画像の近く、例えば、対象の画像の周囲に規定される限り、任意の境界であり得る。例えば、境界は、立方体12のように可視であってもよいし、不可視であってもよい。境界が不可視である場合には、視覚的効果に依拠することなく、聴覚的効果によって画像を3次元的に表現することになる。
【0039】
境界は、任意の形状を有し得る。例えば、対象の画像の周囲を包囲する形状(例えば、球形、楕円球形、円筒形、角柱形等)であってもよいし、対象の画像を包囲しない形状(例えば、平面形、曲面形、半球形等)であってもよい。境界は、経時的に変化するものであってもよいし、経時的に変化しないものであってもよい。例えば、境界が立方体12によって表される上記の例のように、境界は、経時的に軸周りに回転し得る。
【0040】
再生され変化させられる音は、任意の音であり得る。音は、例えば、画像に直接関係のある音であってもよし、画像に幾分か関係のある音であってもよいし、画像に無関係の音であってもよい。好ましくは、音は、画像に無関係の音であり得、より好ましくは、画像に直接関係のある音であり得る。画像に直接関係のある音は、例えば、元の画像10に音が同期されていた場合(例えば、元の画像10が音付きの静止画または音付きの動画であった場合)の同期されていた音であり得る。画像に幾分か関係のある音は、例えば、画像との関連が連想される音(例えば、鳥の画像に対する鳥の羽音もしくは鳴き声、車の画像に対する車の走行音もしくは警音器音等)であり得る。元の画像10に音が同期されていた場合であっても、音は、元の画像10に同期されていた音以外の音であることができる。
【0041】
上述した例では、視覚的効果および/または聴覚的効果によって画像を3次元的に表現することを説明したが、例えば、人間の五感のうちの少なくとも1つに与える効果(例えば、嗅覚的効果)によって、画像を3次元的に表現することも可能である。
【0042】
図2Aは、本発明の別の実施形態における手法に従って、図1Aに示される画像10内の対象の画像11を3次元的に表現した例を示す。
【0043】
図2Aに示される疑似3次元画像30では、元の画像10に比べて、対象の画像11とは別の要素(本例では、水平方向走査線13)が追加されて表示されている。水平方向走査線13は、対象の画像11上に追加されている。このとき、水平方向走査線13は、画像10に含まれる3次元情報または画像から導出される3次元情報に基づいて、対象の輪郭形状を表現するように追加される。例えば、図2Aに示されるように、水平方向走査線13は、対象の顔の曲面に沿って湾曲し、かつ、対象の鼻の凹凸に沿って湾曲するように表現されている。疑似3次元画像30において、水平方向走査線13が対象の輪郭形状を表現することにより、対象の画像11に遠近感が生じており、これにより、対象の画像11が3次元的に見え得る。
【0044】
このように、疑似3次元画像30では、対象の画像11自体は2次元画像であるものの、水平方向走査線13の存在により、対象の画像11は、3次元的に表現されていると錯覚されやすい。
【0045】
図2Bは、図2Aに示される疑似3次元画像30において、対象の画像11の遠近感をさらに増強して、対象の画像11を3次元的に表現した例を示す。
【0046】
図2Bでは、図1Bを参照して上述した立方体12が対象の画像11の周囲に追加されている。上述したように、立方体12の遠近感により、対象の画像11にも遠近感が生じており、これにより、対象の画像11が3次元的に見え得る。
【0047】
立方体12は、図1Cおよび図1Dを参照して上述したように、軸周りに回転させられ得る。これにより、疑似3次元画像30は動画となる。立方体12が軸周りに回転させられることにより、対象の画像11の遠近感をさらに増強することができる。
【0048】
さらに、図1E図1Jを参照して上述したように、立方体12と対象の画像11の少なくとも一部との関係に従って、音を再生し、かつ音を変化させることによって、立方体12の存在を強調することもでき、対象の画像11の遠近感をさらに増強することができる。
【0049】
このように、疑似3次元画像30では、対象の画像11自体は2次元画像であるものの、水平方向走査線13の存在ならびに立方体12の存在または回転させられる立方体12の存在、さらには立方体12との対象の画像11の一部との関係に従って再生および変化する音の存在により、対象の画像11は、3次元的に表現されているとより錯覚されやすい。
【0050】
なお、上述した例では、画像に追加される要素(上述した例では、立方体12)が対象の画像11に重なる例を説明したが、画像に追加される要素は、必ずしも対象の画像11に重なる必要はない。要素は、疑似3次元効果を奏する限り、画像内の任意の位置に追加されることができる。例えば、図2Cの疑似3次元画像20’に示されるように、追加される要素は、対象の画像11に隣接して配置されることができる。追加される要素が3次元的に表現されることにより、画像内に幾分か遠近感が生じ、対象の画像11にも幾分かの遠近感が生じ得る。これにより、対象の画像11が3次元的に見え得る。
【0051】
また、上述した例では、1つの要素(上述した例では、立方体12)が画像10に追加される例を説明したが、追加される要素の数はこれに限定されない。例えば、図2Dの疑似3次元画像20’’に示されるように、複数の要素12が画像10に追加されることができる。追加される複数の要素は、例えば、それぞれの軸周りに回転させられるようにしてもよいし、図2Dの疑似3次元画像20’’に示されるように、複数の要素のうちの少なくともいくつかに共通する軸周りに回転させられるようにしてもよい。追加される要素の存在により、または、追加される要素が回転させられることにより、画像内に遠近感が生じ、対象の画像11にも遠近感が生じ得る。これにより、対象の画像11が3次元的に見え得る。
【0052】
上述した手法を用いて、本来は画像10には存在しない要素が疑似3次元画像において追加することにより、疑似3次元画像は、仮想的な画像であることの印象が強くなる。
【0053】
図3A図3Bは、本発明の別の実施形態における手法に従って、図1Aに示される画像10内の対象の画像11を3次元的に表現した例を示す。図1Cおよび図1Dに示される例では、疑似3次元画像は、動画であり、図3Aおよび図3Dに示される静止画41、42は、動画の1フレームであるとみなされ得る。
【0054】
図3Aでは、図1Aに示される画像10から作成された、対象を第1の視線方向から見た静止画41が表示されている。或る画像から視線方向が異なる画像を作成する手法は、当該技術分野において公知の手法であり得る。例えば、画像に含まれる3次元情報または画像から導出される3次元情報に基づいて、或る画像から視線方向が異なる画像を作成することができる。例えば、機械学習技術を用いて、或る画像から視線方向が異なる画像を作成することができる。例えば、画像10が動画である場合には、動画の各フレームに対して静止画が生成されることができる。
【0055】
第1の視線方向は、図1Aに示される画像10の視線方向に比べて、より左の方向から対象を見たときの視線方向である。
【0056】
図3Bでは、図1Aに示される画像10から作成された、対象を第2の視線方向から見た静止画42が表示されている。上述したように、或る画像から視線方向が異なる画像を作成する手法は、当該技術分野において公知の手法であり得る。
【0057】
第2の視線方向は、図1Aに示される画像10の視線方向に比べて、より右の方向から対象を見たときの視線方向である。
【0058】
図3A図3Bに示される例では、作成された静止画41および静止画42を時間的に連続して結合することにより、疑似3次元動画が生成されて表示される。視点が異なる2つの静止画をフレームとして有する疑似3次元動画により、異なる視点から生じる視差により、対象の画像11に遠近感が生じているように見える。これにより、対象の画像11が3次元的に見え得る。
【0059】
生成された疑似3次元動画では、例えば、静止画41および静止画42が交互に繰り返し出現するようにしてもよい。これにより、任意の長さの動画が生成され得る。あるいは、画像10が動画である場合には、生成された動画では、各フレームから作成された静止画41および静止画42が、フレームの順に連続して出現するようにしてもよい。このとき、フレームレートは任意の値に設定され得る。例えば、画像10のフレームレートを維持すると、画像10の長さの2倍の長さの疑似3次元動画が生成され得る。例えば、フレームレートを2倍にすることで、画像10の長さと同じ長さの疑似3次元動画が生成され得る。
【0060】
生成された疑似3次元動画には、上述した要素(例えば、要素12、水平方向走査線13)が追加されてもよいし、画像と共に音が再生されてもよい。これにより、対象の画像11の遠近感を増強することができる。要素12が追加される場合には、要素12は、軸周りに回転させられることができる。これにより、対象の画像11の遠近感をさらに増強することができる。
【0061】
上述した手法は、例えば、対象の3次元モデルが存在せず、対象の2次元画像しか存在しない場合であっても、対象の画像を3次元的に表現することができる。もちろん、対象の3次元モデルが存在する場合であっても、上述した手法を適用することが可能である。
【0062】
図4Aは、疑似3次元画像を表示するための画像表示装置の一例を示している。
【0063】
本例では、画像表示装置は、少なくとも1つの部材21が回転して表示面を形成する回転型ディスプレイ20(「ホログラムディスプレイ」とも称される)である。少なくとも1つの部材21は回転軸C1周りに回転することが可能である。直線状の少なくとも1つの部材21を回転させることにより、平面状の表示面を形成することが可能である。少なくとも1つの部材21上には光源(例えば、LED)が配置されている。少なくとも1つの部材21上の光源は、少なくとも1つの部材21の回転角度に応じて発光を制御されることにより、残像効果で表示面上に画像を投影することができる。回転型ディスプレイ20では、少なくとも1つの部材21が回転することにより、背景が透過して見えるため、あたかも画像が空中浮遊しているかのように見えるという効果がある。
【0064】
また、回転型ディスプレイ20に表示される画像のフレームレートは、少なくとも1つの部材21の回転速度に依存している。概して、回転型ディスプレイ20に表示される画像のフレームレートは、一般的なディスプレイ装置に表示される画像のフレームレートよりも有意に小さい。回転型ディスプレイ20のフレームレートは、例えば、約20fps~約40fps、例えば、約30fpsであり得る。これにより、回転型ディスプレイ20上に表示される画像は、一般的なディスプレイ装置に表示される画像よりも粗い画像となり得る。粗い画像を表示することにより、回転型ディスプレイ20上に表示される画像は、仮想的な画像であることの印象が強くなる。
【0065】
回転型ディスプレイ20は、本体22を有する。本体22は、回転軸C2周りに回転することが可能なように構成されている。本体22が回転軸C2周りに回転することにより、少なくとも1つの部材21によって形成される表示面の向きを変更することができる。例えば、回転型ディスプレイ20は、検知手段(図示せず)によって回転型ディスプレイ20を見ているユーザの位置を検知し、検知されたユーザUの位置を向くように、本体22を回転軸C2周りに回転させることができる。
【0066】
図4Bは、図4Aに示される表示面の向きにおいて、回転型ディスプレイ20の表示面23に表示される画像の一例を示す。
【0067】
図4Bに示される例では、図1Aに示される例と同様に、表示面23には、対象の画像11が表示されている。対象の画像11において、対象は正面を向いている。これにより、表示面を見るユーザUは、対象の正面側を見ることになる。
【0068】
なお、表示面23には、図1B図3Bを参照して上述した疑似3次元画像が表示されることができる。回転型ディスプレイ20の背景が透過して見える表示面23に疑似3次元画像が表示されることにより、疑似3次元画像は、空中浮遊しているかのように見えるようになり、疑似3次元画像の3次元感が強調され得る。また、フレームレートが有意に低い回転型ディスプレイ20の表示面23に疑似3次元画像が表示されることにより、疑似3次元画像の仮想的な画像であることの印象が強くなる。
【0069】
例えば、図4Cに示されるように、ユーザUが回転型ディスプレイ20の周りで矢印の方向に移動し、回転型ディスプレイ21の左側に移動した場合、回転型ディスプレイ20は、検知手段(図示せず)によってユーザUの位置を検知し、表示面の向きを変更するように、本体22を回転軸C2周りに時計回りに回転させることができる。これにより、回転型ディスプレイ20の表示面は、ユーザUの方を向くことになる。ユーザUは移動した後も、回転型ディスプレイ20の表示面を見ることができる。
【0070】
図4Dは、図4Cに示されるユーザ位置に向いた表示面23に表示される画像の一例を示す。
【0071】
図4Cに示されるユーザ位置は、図4Aに示されるユーザ位置に対して左側に移動しているため、ユーザUは、図4Aに示される表示面に表示される画像において正面を向いている対象を左側から見ることになるとみなすことができる。そこで、図4Cに示されるユーザ位置に向いた表示面23には、正面を向いている対象を左側から見た画像11’を表示することができる。これにより、ユーザUは、対象の画像11、11’における対象が3次元物体であるかのように錯覚し得る。このような錯覚は、回転型ディスプレイ21の表示面が、図4Aに示されるユーザ位置および図4Cに示されるユーザ位置の両方でユーザUの方に向けられることによってさらに増強され得る。表示面が常にユーザUを向いているため、ユーザUは、表示面が平面的であることを感じにくいからである。
【0072】
図1B図3Bを参照して上述した疑似3次元画像は、このような表示面23に表示されることにより、疑似3次元効果がさらに強調され得る。
【0073】
例えば、上述した回転型ディスプレイ20によれば、ユーザUは、回転型ディスプレイ20に対するどの角度位置からでも、表示面23に対して正対することができ、歪みのない画像を視認することができる。例えば、ユーザU1が回転型ディスプレイ20に対するいずれの角度位置から回転型ディスプレイ20を見ても、表示面23に表示された馬の画像は、図4E(a)に示されるように、歪むことなく、ユーザU1に提示される。他方で、ユーザU1がディスプレイを視認しているとき、別のユーザU2がユーザU1とは異なる角度位置から回転型ディスプレイ20を見ようとすると、回転型ディスプレイ20の表示面23は、ユーザU2の方を向くことができず、結果として、ユーザU2は、歪んだ画像を視認することになる。例えば、表示面23に表示された馬の画像は、図4E(b)に示されるように、歪んでユーザU2に提示される。
【0074】
本発明の一実施形態において、回転型ディスプレイ25は、少なくとも1つの部材26を第1の回転軸C1周りに回転させ、かつ、少なくとも1つの部材26を第2の回転軸C2周りに回転させることにより、立体的な表示面を形成することができる。第2の回転軸C2は、第1の回転軸C1に対して略垂直であり得る。図4F(a)では、第1の回転軸C1周りの回転の方向がRC1で表され、第2の回転軸C2周りの回転の方向がRC2で表されている。直線状の少なくとも1つの部材26を第1の回転軸C1および第2の回転軸C2の周りに回転させることにより、略球面状の表示面を形成することが可能である。少なくとも1つの部材26上には光源(例えば、LED)が配置されている。少なくとも1つの部材26上の光源は、少なくとも1つの部材26の回転角度に応じて発光を制御されることにより、残像効果で略球面状の表示面上に画像を投影することができる。例えば、回転型ディスプレイ25は、図4F(b)に示されるように、略球面状の表示面を形成することができる。上述した構成以外の構成については、回転型ディスプレイ25は、上述した回転型ディスプレイ20と同様の構成を有し得る。
【0075】
このような略球面状の表示面であれば、ユーザU1がディスプレイを視認しているときに、別のユーザU2がユーザU1とは異なる角度位置から回転型ディスプレイ25を見る場合であっても、ユーザU2は、ユーザU1と同様に、歪んでいない画像を視認することができる。例えば、複数の別のユーザがユーザU1とは異なる角度位置から回転型ディスプレイ25を見る場合であっても、複数のユーザのそれぞれは、ユーザU1と同様に、歪んでいない画像を視認することができる。
【0076】
回転型ディスプレイ25の略球面状の表示面には、図1B図3Bを参照して上述した疑似3次元画像が表示されることができる。回転型ディスプレイ25の背景が透過して見える表示面に疑似3次元画像が表示されることにより、疑似3次元画像は、空中浮遊しているかのように見えるようになり、疑似3次元画像の3次元感が強調され得る。また、フレームレートが有意に低い回転型ディスプレイ25の表示面に疑似3次元画像が表示されることにより、疑似3次元画像の仮想的な画像であることの印象が強くなる。さらには、回転型ディスプレイ25に対するいずれの角度位置からも歪んでいない疑似3次元画像を視認することができることにより、疑似3次元画像の3次元感が際立ち得る。
【0077】
上述した回転型ディスプレイ20、25は、少なくとも1つの部材21、26を共通軸周りに回転させて1つの平面状の表示面、1つの略球面状の表示面を形成することを説明したが、本発明は、これに限定されない。例えば、複数の部材をそれぞれの軸周りに回転させて複数の表示面を形成することも本発明の範囲内である。
【0078】
図4Gは、一実施形態における回転型ディスプレイ27の一例を示す。回転型ディスプレイ27は、少なくとも1つの第1の部材を回転させることによって形成された第1の表示面28と、少なくとも1つの第2の部材を回転させることによって形成された第2の表示面29とを形成するように構成されている。第1の部材および第2の部材は2つの軸周りに回転させられ、それぞれ略球面状の表示面を形成することができる。図4Gに示される例では、第1の部材および第2の部材は、共通する軸(本体軸)周りに回転させられている。上述した構成以外の構成については、回転型ディスプレイ27は、上述した回転型ディスプレイ20または25と同様の構成を有し得る。
【0079】
このように複数の表示面を形成することにより、表示領域を拡張することができる。例えば、それぞれの表示面に別個の画像を表示するようにしてもよいし、複数の表示面にわたって1つの画像を表示するようにしてもよい。複数の表示面により、映像表現の幅が広がる。
【0080】
回転型ディスプレイ27の略球面状の表示面には、図1B図3Bを参照して上述した疑似3次元画像が表示されることができる。回転型ディスプレイ27の背景が透過して見える表示面に疑似3次元画像が表示されることにより、疑似3次元画像は、空中浮遊しているかのように見えるようになり、疑似3次元画像の3次元感が強調され得る。また、フレームレートが有意に低い回転型ディスプレイ27の表示面に疑似3次元画像が表示されることにより、疑似3次元画像の仮想的な画像であることの印象が強くなる。さらには、回転型ディスプレイ27に対するいずれの角度位置からも歪んでいない疑似3次元画像を視認することができることにより、疑似3次元画像の3次元感が際立ち得る。さらには、複数の表示面により、多彩な疑似3次元画像を表現することも可能になる。
【0081】
上述した例では、特殊な回転型ディスプレイ21、25、27に疑似3次元画像を表示することを説明したが、疑似3次元画像を表示する画像表示装置は、これに限定されない。疑似3次元画像は、任意の他の画像表示装置に表示されることができる。好ましくは、画像表示装置は、背景が透過して見える透明ディスプレイであり得る。これにより、表示される疑似3次元画像の疑似3次元効果が増強されるからである。加えて、または、これに代えて、画像表示装置は、フレームレートが有意に低いディスプレイであり得る。これにより、低いフレームレートで疑似3次元画像が表示されることになり、疑似3次元画像の仮想的な画像であることの印象が強くなり、ひいては、疑似3次元効果を増強することができるからである。
【0082】
1.2 専用表示装置に依存しない、仮想現実画像を提供する手法
本発明の発明者は、専用表示装置(例えば、VRゴーグル、ヘッドマウントディスプレイ等)を用いることなく、仮想現実画像をユーザに提供する手法を開発した。この手法を用いると、ユーザは、専用表示装置を装着することなく、自然な仮想現実画像を違和感なく楽しむことができるようになる。例えば、この手法を用いると、据え置き型のディスプレイ、または、上述した回転型ディスプレイ20、25、27等に自然な仮想現実画像を表示することができるようになる。
【0083】
図5Aは、本発明の一実施形態における手法のフローの一例を概略的に図示する。
【0084】
まず、仮想現実画像として表示される画像の基となる画像51が取得される。画像51は、特定の図法で表現されていることが好ましい。特定の図法は、例えば、正距円筒図法(またはエクイレクタングラー図法とも呼ばれる)であり得る。エクイレクタングラー図法では、緯線および経線が直角であり、かつ緯線および経線が等間隔に交差する。これにより、2点間の距離が正しく表現されることになる。エクイレクタングラー図法は、仮想現実画像を表示するときによく使われている図法である。図5Aに示されるように、エクイタングラー図法で表現された画像51では、画像51内に歪みが存在して見える。
【0085】
次いで、画像51を仮想球体52の内面に貼り付ける。例えば、エクイレクタングラー図法で表された画像を球体の内面に貼り付けると、歪みのない自然な画像を生成することができる。
【0086】
仮想球体52は、ユーザUの視点を中心とし、ユーザUの視点と仮想現実画像を表示するディスプレイ20との間の距離を半径とする仮想的な球体である。例えば、図5Bに示されるように、ユーザUの視点とディスプレイ20との間の距離が小さい場合、仮想球体52の直径は小さくなる一方で、図5Cに示されるように、ユーザUの視点とディスプレイ20との間の距離が大きい場合、仮想球体52の直径は大きくなる。
【0087】
ユーザUの視点とディスプレイ20との間の距離は、例えば、ディスプレイ20が備え得る検知手段(図示せず)によって測定することが可能である。検知手段は、ユーザUの眼の位置を検知し、測距の分野で公知の技術を用いて、ユーザUの視点とディスプレイ20との間の距離を測定することができる。
【0088】
次いで、ディスプレイ20の表示面に対応する仮想球体52の内面の部分に貼り付けられている画像51の部分が特定され、特定された部分の画像53がディスプレイ20の表示面に表示される。ユーザUは、画像53を見ることができる。
【0089】
例えば、図5Bに示されるように、ユーザUの視点とディスプレイ20との間の距離が小さい場合、仮想球体52の直径は小さくなるため、ディスプレイ20の表示面に対応する仮想球体52の内面の部分に貼り付けられている画像の部分は、相対的に大きくなる。これに対して、図5Cに示されるように、ユーザUの視点とディスプレイ20との間の距離が大きい場合、仮想球体52の直径は大きくなるため、ディスプレイ20の表示面に対応する仮想球体52の内面の部分に貼り付けられている画像の部分は、相対的に小さくなる。すなわち、ユーザUがディスプレイに近づくと、ユーザUとディスプレイとの間の遠近感を表現するように、画像51内のより大きい領域が表示されることになり、ユーザUがディスプレイから遠ざかると、ユーザUとディスプレイとの間の遠近感を表現するように、画像51内のより小さい領域が表示されることになる。
【0090】
例えば、図5Bおよび図5Cにおいて、画像53内の車54に着目する。図5Bに示される画像53では、車54はディスプレイ20に小さく表示されているが、ユーザUはディスプレイ20に近いので、ユーザUは、ディスプレイ20自体を大きく知覚し、ひいては、車54も相応の大きさであると知覚する。ユーザUがディスプレイ20から遠ざかると、図5Cに示される画像53のように車54がディスプレイ20に大きく表示されるが、ユーザUは、ディスプレイ20自体を小さく知覚し、ひいては、車54も相応の大きさであると知覚する。これにより、ユーザUは、ディスプレイ20に近づいた場合とディスプレイ20から遠ざかった場合とで、車54が略同じ大きさであると知覚することになる。
【0091】
ディスプレイ20に表示される画像を通して、画像内で手前に写っている物体は、ユーザUがディスプレイに近づこうとディスプレイから遠ざかろうと、ユーザUに近いように知覚され、画像内で奥に写っている物体は、ユーザUがディスプレイに近づこうとディスプレイから遠ざかろうと、ユーザUから遠いように知覚される。このように、ディスプレイ20に表示される画像の遠近感が維持されるので、ユーザUは、ディスプレイ20を通じて、画像を現実世界の感覚で見ることができる。言い換えると、ユーザUは、ディスプレイ20を通じて、仮想現実画像を体験することができるのである。
【0092】
上述した例では、回転型ディスプレイ20に画像を表示することを説明したが、本発明は、これに限定されない。ユーザUとディスプレイとの間の距離を測定することができる限り、任意のディスプレイに画像を表示することができる。
【0093】
上述した画像を3次元的に表現する手法および仮想現実画像を提供する手法は、例えば、後述する画像を3次元的に表示するためのシステム100によって実装され得る。
【0094】
2.画像を3次元的に表示するためのシステムの構成
図6Aは、画像を3次元的に表示するためのシステム100の構成の一例を示す。
【0095】
システム100は、受信手段110と、作成手段120と、表示手段130とを備えている。
受信手段110は、画像を受信するように構成されている。受信手段110は、任意の態様で画像を受信することができる。受信される画像には、対象の画像が含まれている。受信手段110は、システム100の外部から画像を受信するようにしてもよいし、システム100の内部(例えば、システムが備え得る記憶手段から画像を受信するようにしてもよい。システム100の外部から画像を受信する場合には、受信手段110は、例えば、システム100に接続された記憶媒体から画像を受信するようにしてもよいし、システム100に接続されたネットワークを介して画像を受信してもよい。ここで、ネットワークの種類は問わない。インターネット、LAN等の任意のネットワークが用いられ得る。
【0096】
受信される画像は、任意のデータ形式であり得る。受信される画像は、2次元情報(縦×横)を含む2次元画像であってもよいし、3次元情報(縦×横×奥行)を含む3次元画像であってもよい。
【0097】
受信された画像は、作成手段120に渡される。
【0098】
作成手段120は、画像を処理することにより、疑似3次元画像を作成するように構成されている。作成手段120は、例えば、画像を処理することにより、対象の画像とは別の要素の3次元的表現を画像内に追加する(例えば、図1B図2Dを参照)ことによって疑似3次元画像を作成することができる。ここで、要素の3次元的表現は、例えば、要素に陰影をつけること、要素に明暗をつけること、要素に大きさの違いをつけること、または、要素に遠近感をつけることのうちの少なくとも1つを含む。作成手段120による処理は、当該技術分野で公知の画像処理であり得る。
【0099】
作成手段120は、例えば、画像内に追加された要素の3次元的表現を対象の画像の周囲で回転させることにより、疑似3次元動画を作成することができる。このような疑似3次元動画は、対象の画像の疑似3次元効果を増強させる点で好ましい。
【0100】
作成手段120は、例えば、要素の3次元的表現の一部が対象の画像の上に重ね合わせられて対象の画像の一部が要素の3次元的表現によって隠れ、要素の3次元的表現の他の一部が対象の画像の下に重ね合わせられて要素の3次元的表現の上記他の一部が対象の画像によって隠れるように、要素の3次元的表現を追加することができる。これにより、対象の画像の疑似3次元効果をさらに増強することができる。
【0101】
ここで、要素は、任意の物体であり得、任意の形状、大きさ、色彩等を有し得る。
【0102】
作成手段120は、例えば、複数の水平方向走査線の3次元的表現を対象の画像上に追加することができる。複数の水平方向走査線の3次元的表現は、対象の3次元的な輪郭形状に沿うように引かれた走査線であり得る。対象の3次元的な輪郭形状は、例えば、画像に含まれる3次元情報または画像から導出される3次元情報に基づいて決定され得る。画像から3次元情報を導出する処理は、例えば、当該技術分野において公知の技術で行われ得る。画像から3次元情報を導出する処理は、画像から深度情報を推定することが可能なAIモデルを用いて行われ得る。
【0103】
作成手段120は、例えば、画像から視点の異なる複数の画像を生成し(例えば、図3Aおよび図3Bを参照)、視点の異なる複数の画像を時間的に連続して結合することにより疑似3次元動画を作成することができる。視点の異なる複数の画像は、例えば、画像に含まれる3次元情報または画像から導出される3次元情報に基づいて作成され得る。例えば、視点の異なる画像は、仮想的な視点を設定し、その仮想的な視点からどのように見えるかを3次元情報に基づいて推定することによって、作成され得る。視点の異なる複数の画像は、例えば、当該技術分野において公知の技術を用いて作成され得る。例えば、視点の異なる複数の画像は、視差を有する画像対を作成することが可能なAIモデルを用いて行われ得る。
【0104】
作成手段120によって作成された疑似3次元画像は、表示手段130に渡される。
【0105】
表示手段130は、疑似3次元画像を表示するように構成されている。表示手段130は、画像を表示することができる限り、任意の表示手段であり得る。表示手段130は、例えば、液晶ディスプレイ、LEDディスプレイ等であるがこれらに限定されない。一実施形態において、表示手段130は、少なくとも1つの部材が回転して表示面を形成する回転型ディスプレイであり得る。回転型ディスプレイは、例えば、上述した回転型ディスプレイ20、25、27等であり得る。
【0106】
一実施形態において、表示手段130は、表示面の向きを変更可能なように構成され得る。表示手段130は、任意の機構を用いて、表示面の向きを変更可能であり得る。
【0107】
システム100は、さらに、表示手段130の前に位置するユーザの位置を検出するように構成された検出手段を備えることができる。検出手段は、任意のセンサであり得る。検出手段は、例えば、カメラであり得る。本例において、システム100は、検出手段によって検出されたユーザの位置に表示手段130の表示面が向くように、表示手段130の表示面の向きを変更することができる。これにより、ユーザは、常に表示手段130の表示面を正面から見ることができるようになる。
【0108】
図6Bは、別の実施形態における画像を3次元的に表示するためのシステム100’の構成の一例を示す。システム100’は、疑似3次元画像の疑似3次元効果を強調するための音を画像に同期させて再生するための手段を備える点を除いて、システム100と同様の構成を有する。ここでは、図6Aを参照して上述した構成を同様の構成には同一の参照番号を付し、詳細な説明は省略する。
【0109】
システム100’は、受信手段110と、作成手段120と、表示手段130と、同期手段140と、再生手段150とを備えている。
【0110】
受信手段110は、画像を受信するように構成されている。受信された画像は、作成手段120に渡される。
【0111】
作成手段120は、画像を処理することにより、疑似3次元画像を作成するように構成されている。作成手段120によって作成された疑似3次元画像は、表示手段130および同期手段140に渡される。
【0112】
表示手段130は、疑似3次元画像を表示するように構成されている。
【0113】
同期手段140は、画像に音を同期させるように構成されている。画像は、作成手段120によって作成された疑似3次元画像であってもよいし、受信手段110が受信した画像であってもよい。同期手段140は、動画作成分野で公知の任意の手法を用いて、画像に音を同期させることができる。
【0114】
音は、任意の音であり得る。音は、例えば、画像に直接関係のある音であってもよし、画像に幾分か関係のある音であってもよいし、画像に無関係の音であってもよい。好ましくは、音は、画像に無関係の音であり得、より好ましくは、画像に直接関係のある音であり得る。画像に直接関係のある音は、例えば、受信手段110によって受信された画像に音が既に同期されていた場合(例えば、画像が音付きの静止画または音付きの動画であった場合)の同期されていた音であり得る。画像に幾分か関係のある音は、例えば、画像との関連が連想される音(例えば、鳥の画像に対する鳥の羽音もしくは鳴き声、車の画像に対する車の走行音もしくは警音器音等)であり得る。画像に音が同期されていた場合であっても、音は、画像に同期されていた音以外の音であることができる。
【0115】
同期手段140は、同期された音が再生されると、画像中の動きに基づいて変化しているように聞こえるように、音を同期させることができる。例えば、同期手段140は、図1E図1Jを参照して上述したように、疑似3次元画像中の要素の3次元的表現と対象の画像との関係に従って、音が変化しているように聞こえるように、音を同期させることができる。音の変化は、例えば、音の大きさ、音の音程、音の音色のうちの少なくとも1つであり得る。例えば、対象の画像の少なくとも一部が要素の3次元的表現に接触したときに音が鳴るように、音を同期させることができる。例えば、対象の画像の少なくとも一部が要素の3次元的表現から遠くに延びるにつれて音を大きくもしくは小さくなるように、あるいは、例えば、対象の画像の少なくとも一部が要素の3次元的表現から遠くに延びるにつれて音を高くもしくは低くなるように、例えば、対象の画像の少なくとも一部が要素の3次元的表現から遠くに延びるにつれて別の音色に近づくように、音を同期させることができる。例えば、対象の画像の少なくとも一部が要素の3次元的表現の外部で動くとき、その動きに合わせて音が変化しているように聞こえるように、音を同期させることができる。
【0116】
例えば、同期手段140は、疑似3次元画像中に設定される境界と対象の画像との関係に従って、音が変化しているように聞こえるように、音を同期させることができる。これは、上述した例で、疑似3次元画像中の要素の3次元的表現が不可視である場合に相当する。例えば、対象の画像の少なくとも一部が境界を超えたことに応答して音が鳴るように、音を同期させることができる。例えば、対象の画像の少なくとも一部が境界から遠くに延びるにつれて音を大きくもしくは小さくなるように、あるいは、例えば、対象の画像の少なくとも一部が境界から遠くに延びるにつれて音を高くもしくは低くなるように、例えば、対象の画像の少なくとも一部が境界から遠くに延びるにつれて別の音色に近づくように、音を同期させることができる。例えば、対象の画像の少なくとも一部が境界の外部で動くとき、その動きに合わせて音が変化しているように聞こえるように、音を同期させることができる。
【0117】
境界は、任意の形状を有し得る。例えば、対象の画像の周囲を包囲する形状(例えば、球形、楕円球形、円筒形、角柱形等)であってもよいし、対象の画像を包囲しない形状(例えば、平面形、曲面形、半球形等)であってもよい。境界は、経時的に変化するものであってもよいし、経時的に変化しないものであってもよい。
【0118】
同期手段140によって画像と同期された音は、再生手段150に渡される。
【0119】
再生手段150は、表示手段130が画像を表示しているときに、画像と同期させられた音を再生するように構成されている。再生手段150は、表示されている画像に合わせて音を再生することができる限り、任意の再生手段であることができる。再生手段150は、例えば、スピーカである。例えば、スピーカは、表示手段130に内蔵されるものであってもよいし、表示手段130に外付けのものであってもよい。
【0120】
上述した例では、視覚的効果および聴覚的効果によって3次元感を強調するために、疑似3次元画像に合わせて音を再生することを説明したが、本発明はこれに限定されない。例えば、聴覚的効果のみによって3次元感を強調するための構成も本発明の範囲内である。この場合、例えば、図6Bに示される構成において、作成手段120および表示手段130が省略され得る。
【0121】
上述したシステム100、100’は、例えば、ユーザ装置200において実装され得る。
【0122】
図6Cは、ユーザ装置200の構成の一例を示す。
【0123】
ユーザ装置200は、スマートフォン、タブレットコンピュータ、スマートグラス、スマートウォッチ、ラップトップコンピュータ、デスクトップコンピュータ等の任意の端末装置であり得る。
【0124】
ユーザ装置200は、通信インターフェース部210と、入力部220と、表示部230と、メモリ部240と、プロセッサ部250とを備える。
【0125】
通信インターフェース部210は、ユーザ装置200の外部との通信を制御する。ユーザ装置200のプロセッサ部250は、通信インターフェース部210を介して、ユーザ装置200の外部から情報を受信することが可能であり、ユーザ装置200の外部に情報を送信することが可能である。例えば、ユーザ装置200のプロセッサ部250は、通信インターフェース部210を介して、画像を受信することができる。ユーザ装置200の外部に疑似3次元画像を送信することが可能である。通信インターフェース部210は、任意の方法で通信を制御し得る。
【0126】
例えば、システム100の受信手段110は、通信インターフェース部210によって実装され得る。
【0127】
入力部220は、ユーザが情報をユーザ装置200に入力することを可能にする。入力部220が、どのような態様で、ユーザが情報をユーザ装置200に入力することを可能にするかは問わない。例えば、入力部220がタッチパネルである場合には、ユーザがタッチパネルにタッチすることによって情報を入力するようにしてもよい。あるいは、入力部220がマウスである場合には、ユーザがマウスを操作することによって情報を入力するようにしてもよい。あるいは、入力部220がキーボードである場合には、ユーザがキーボードのキーを押下することによって情報を入力するようにしてもよい。あるいは、入力部220がマイクである場合には、ユーザが音声で情報を入力するようにしてもよい。
【0128】
表示部230は、情報を表示するための任意のディスプレイであり得る。
【0129】
例えば、システム100の表示手段130は、表示部230によって実装され得る。
【0130】
メモリ部240には、ユーザ装置200における処理を実行するためのプログラムやそのプログラムの実行に必要とされるデータ等が格納されている。メモリ部240には、例えば、画像を3次元的に表示するためのプログラム(例えば、後述する図7A図7Bに示される処理を実現するプログラム)の一部または全部が格納されている。メモリ部240には、例えば、画像をディスプレイ上に表示するためのプログラム(例えば、後述する図8に示される処理を実現するプログラム)の一部または全部が格納されてもよい。メモリ部240には、任意の機能を実装するアプリケーションが格納されていてもよい。ここで、プログラムをどのようにしてメモリ部240に格納するかは問わない。例えば、プログラムは、メモリ部240にプリインストールされていてもよい。あるいは、プログラムは、ネットワーク500を経由してダウンロードされることによってメモリ部240にインストールされるようにしてもよい。プログラムは、コンピュータ読み取り可能な有形記憶媒体上に記憶されてもよい。メモリ部240は、任意の記憶手段によって実装され得る。
【0131】
プロセッサ部250は、ユーザ装置200全体の動作を制御する。プロセッサ部250は、メモリ部240に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、ユーザ装置200を所望のステップを実行する装置として機能させることが可能である。プロセッサ部250は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。
【0132】
例えば、システム100の作成手段120は、プロセッサ部250によって実装され得る。例えば、システム100の同期手段140は、プロセッサ部250によって実装され得る。
【0133】
ユーザ装置200は、例えば、表示部230の前に位置するユーザの位置を検出するように構成された検出部を備えることができる。検出部は、任意のセンサであり得る。検出部は、例えば、カメラであり得る。システム100検出手段は、検出部によって実装され得る。
【0134】
ユーザ装置200は、例えば、音を再生するための再生部(図示せず)を備えるようにしてもよい。再生部は、音を再生するための任意のスピーカであり得る。例えば、システム100の再生手段150は、再生部によって実装され得る。
【0135】
図6Cに示される例では、ユーザ装置200の各構成要素がユーザ装置200内に設けられているが、本発明はこれに限定されない。ユーザ装置200の各構成要素のいずれかがユーザ装置200の外部に設けられることも可能である。例えば、表示部230がユーザ装置200の外部に設けられる(すなわち、表示部230が外部ディスプレイである)ことも可能である。例えば、入力部220、表示部230、メモリ部240、プロセッサ部250のそれぞれが別々のハードウェア部品で構成されている場合には、各ハードウェア部品が任意のネットワークを介して接続されてもよい。このとき、ネットワークの種類は問わない。各ハードウェア部品は、例えば、LANを介して接続されてもよいし、無線接続されてもよいし、有線接続されてもよい。ユーザ装置200は、特定のハードウェア構成には限定されない。例えば、プロセッサ部250をデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。ユーザ装置200の構成は、その機能を実現できる限りにおいて上述したものに限定されない。
【0136】
システム100の構成要素は、例えば、上述したようにユーザ装置200側に備えられるようにしてもよいし、ユーザ装置200およびサーバ装置の両方に分散されてもよい。システム100の構成要素がユーザ装置200およびサーバ装置の両方に分散される場合、ユーザ装置200が表示手段130(および再生手段150)を備え、サーバ装置が受信手段110および作成手段120(および同期手段140)を備えるようにしてもよい。
【0137】
3.画像を3次元的に表示するためのシステムによる処理
図7Aは、画像を3次元的に表示するためのシステム100による処理700の一例を示す。図7Aに示される例では、システム100がユーザ装置200によって実装され、処理が、ユーザ装置200のプロセッサ部250によって実行される場合を例に説明する。上述したように、プロセッサ部250は、作成手段120を実装し得る。
【0138】
ステップS701では、プロセッサ部250が、画像を受信する。画像には、対象の画像が含まれている。プロセッサ部250は、例えば、通信インターフェース部210を介してシステム100の外部から受信された画像を受信することができる。
【0139】
ステップS702では、プロセッサ部250が、ステップS701で受信された画像を処理することにより、疑似3次元画像を作成する。プロセッサ部250は、画像を処理することにより、対象の画像とは別の要素の3次元的表現を画像内に追加する(例えば、図1B図2Dを参照)ことによって疑似3次元画像を作成することができる。ここで、要素の3次元的表現は、例えば、要素に陰影をつけること、要素に明暗をつけること、要素に大きさの違いをつけること、または、要素に遠近感をつけることのうちの少なくとも1つを含む。プロセッサ部250による処理は、当該技術分野で公知の画像処理であり得る。
【0140】
プロセッサ部250は、例えば、画像内に追加された要素の3次元的表現を対象の画像の周囲で回転させることにより、疑似3次元動画を作成することができる。このような疑似3次元動画は、対象の画像の疑似3次元効果を増強させる点で好ましい。
【0141】
上記に加えて、または、上記に代えて、プロセッサ部250は、例えば、要素の3次元的表現の一部が対象の画像の上に重ね合わせられて対象の画像の一部が要素の3次元的表現によって隠れ、要素の3次元的表現の他の一部が対象の画像の下に重ね合わせられて要素の3次元的表現の上記他の一部が対象の画像によって隠れるように、要素の3次元的表現を追加することができる。これにより、対象の画像の疑似3次元効果をさらに増強することができる。
【0142】
上記に加えて、または、上記に代えて、プロセッサ部250は、例えば、複数の水平方向走査線の3次元的表現を対象の画像上に追加することができる。複数の水平方向走査線の3次元的表現は、対象の3次元的な輪郭形状に沿うように引かれた走査線であり得る。プロセッサ部250は、画像に含まれる3次元情報または画像から導出される3次元情報に基づいて対象の3次元的な輪郭形状を決定することができる。画像から3次元情報を導出する処理は、例えば、当該技術分野において公知の技術で行われ得る。画像から3次元情報を導出する処理は、画像から深度情報を推定することが可能なAIモデルを用いて行われ得る。
【0143】
上記に加えて、または、上記に代えて、プロセッサ部250は、例えば、画像から視点の異なる複数の画像を生成し(例えば、図3Aおよび図3Bを参照)、視点の異なる複数の画像を時間的に連続して結合することにより疑似3次元動画を作成することができる。プロセッサ部250は、例えば、画像に含まれる3次元情報または画像から導出される3次元情報に基づいて視点の異なる複数の画像を作成することができる。視点の異なる複数の画像は、例えば、当該技術分野において公知の技術を用いて作成され得る。例えば、視点の異なる複数の画像は、視差を有する画像対を作成することが可能なAIモデルを用いて行われ得る。
【0144】
ステップS703では、プロセッサ部250が、ステップ702で作成された疑似3次元画像を表示部230に表示する。
【0145】
プロセッサ部250は、例えば、ステップ702で作成された疑似3次元画像をそのまま表示部230に表示することができる。あるいは、プロセッサ部250は、表示部230の表示面の向きに応じて疑似3次元画像中の対象の向きを変更して疑似3次元画像を表示部230に表示するようにしてもよい。これにより、例えば、ユーザの表示部230に対する向きに応じた画像が表示部230に表示されることになる。
【0146】
なお、表示部230の表示面の向きに応じて疑似3次元画像中の対象の向きを変更して疑似3次元画像を表示部230に表示することを説明したが、表示される画像は、ステップ702で作成された疑似3次元画像に限定されない。例えば、ステップS701で受信された画像が3次元画像である場合には、ステップS701で受信された画像中の対象の向きを変更して、その画像を表示部230に表示することができる。この場合でも、画像中の対象が3次元物体であるように見えることにより、表示される画像は、結果として疑似3次元画像となり得る。
【0147】
例えば、処理700は、ユーザ装置200およびサーバ装置の両方に分散されて行われてもよい。このとき、例えば、ステップS701およびステップS702はサーバ装置で行われ、ステップS703はユーザ装置200で行われることができる。
【0148】
図7Bは、画像を3次元的に表示するためのシステム100’による処理710の一例を示す。図7Bに示される例では、システム100’がユーザ装置200によって実装され、処理が、ユーザ装置200のプロセッサ部250によって実行される場合を例に説明する。上述したように、プロセッサ部250は、作成手段120および同期手段140を実装し得る。
【0149】
ステップS711では、プロセッサ部250が、画像を受信する。ステップS711は、ステップS701と同様である。
【0150】
ステップS702では、プロセッサ部250が、ステップS701で受信された画像を処理することにより、疑似3次元画像を作成する。ステップS712は、ステップS702と同様である。
【0151】
ステップS703では、プロセッサ部250が、ステップS702で作成された疑似3次元画像に音を同期させる。プロセッサ部250は、動画作成分野で公知の任意の手法を用いて、画像に音を同期させることができる。
【0152】
プロセッサ部250は、同期された音が再生されると画像中の動きに基づいて変化しているように聞こえるように、音を同期させることができる。プロセッサ部250は、疑似3次元画像中に設定される境界と対象の画像との関係に従って、音が変化しているように聞こえるように、音を同期させることができる。境界は、疑似3次元画像中の彫塑の3次元的表現であってもよいし、それ以外であってもよい。
【0153】
ステップS714では、プロセッサ部250が、ステップ712で作成された疑似3次元画像を表示部230に表示する。ステップS714は、ステップS703と同様である。
【0154】
ステップS715では、プロセッサ部250が、ステップS714で疑似3次元画像が表示されているときに、ステップS713で同期させられた音を再生部から再生する。
【0155】
処理710によって、疑似3次元画像による視覚的な疑似3次元的効果に加えて、疑似3次元画像中の動きに合わせて再生される音による聴覚的な疑似3次元的効果により、画像の3次元感が強調されることになる。
【0156】
例えば、処理710は、ユーザ装置200およびサーバ装置の両方に分散されて行われてもよい。このとき、例えば、ステップS711~ステップS713はサーバ装置で行われ、ステップS714およびステップS715はユーザ装置200で行われることができる。
【0157】
処理710は、視覚的な疑似3次元的効果に加えて、聴覚的な疑似3次元的効果により、画像の3次元感を強調することを説明したが、聴覚的な疑似3次元効果のみにより、画像の3次元感を強調するようにしてもよい。この場合、ステップS712が省略され、ステップS713では、ステップS711で受信された画像に音が同期され、ステップS714では、ステップS711で受信された画像が表示されることになる。
【0158】
図8は、画像をディスプレイ上に表示するための処理800の一例を示す。処理800により、専用表示装置(例えば、VRゴーグル、ヘッドマウントディスプレイ等)を用いることなく、仮想現実画像をユーザに提供することができる。処理800は、例えば、ユーザ装置200のプロセッサ部250によって実行される。
【0159】
ステップS801において、ユーザ装置200の検出部が、ディスプレイに対するユーザの視点の位置を検出する。検出部は、任意の検出手段によってユーザの視点の位置を検出することができる。例えば、検出部は、カメラによって撮影された画像に基づいて、ユーザの視点の位置を検出することができる。ユーザの視点の位置は、例えば、ユーザの眼の位置(より具体的には、例えば、ユーザの両眼の中間点)であり得る。
【0160】
ステップS802において、ユーザ装置200のプロセッサ部250が、仮想現実画像として表示されるべき画像を受信し、画像を処理することにより、ディスプレイ上に表示されるべき画像の部分を決定する。ディスプレイ上に表示されるべき画像の部分を決定することは、例えば、以下のステップS8021~ステップS8023によって行われることができる。
【0161】
ステップS8021において、プロセッサ部250は、仮想球体を設定する。仮想球体は、ユーザの視点を中心とし、ユーザの視点とディスプレイとの間の距離を半径とする仮想的な球体である。例えば、図5Bに示されるように、ユーザの視点とディスプレイとの間の距離が小さい場合、仮想球体の直径は小さくなる一方で、図5Cに示されるように、ユーザの視点とディスプレイとの間の距離が大きい場合、仮想球体の直径は大きくなる。
【0162】
ステップS8022において、プロセッサ部250は、仮想現実画像として表示されるべき画像を、ステップS8021で設定された仮想球体の内面に貼り付ける。プロセッサ部250は、画像処理の分野において公知の任意の処理によって、球体の内面に画像を貼り付けることができる。ここで、画像は、エクイレクタングラー図法によって表現されていることが好ましい。エクイレクタングラー図法によって表現されている画像は、球体の内面に歪みなく貼り付けることができるからである。
【0163】
ステップS8023において、プロセッサ部250は、ディスプレイの表示面に対応する仮想球体の内面の部分に貼り付けられている画像の部分を特定する。ディスプレイの表示面に対応する仮想球体の内面の部分は、ユーザの視点を中心に仮想球体を仮想的に配置したときに、ディスプレイの表示面に重なる部分である。プロセッサ部250は、例えば、ユーザとディスプレイとの間の相対的な位置関係から、ディスプレイの表示面に対応する仮想球体の内面の部分を導出することができる。そして、プロセッサ部250は、導出された部分と仮想球体に貼り付けられた画像との関係から、画像の部分を特定することができる。
【0164】
このようにして、ディスプレイ上に表示されるべき画像の部分が決定されると、ステップS803に進む。
【0165】
ステップS803では、ステップS802で決定された画像の部分をディスプレイの表示面に表示する。
【0166】
例えば、ユーザがディスプレイに対する位置を変更する度にステップS801~ステップS803を繰り返すことにより、ユーザの位置に応じた画像を表示することができる。
【0167】
処理800によって表示される画像では、ユーザによって知覚される遠近感が維持されることになる。すなわち、仮想現実画像内で遠くにある物体は、ユーザがディスプレイに近づいてもユーザがディスプレイから遠ざかっても、依然として遠くにあるように見え、仮想現実画像内で近くにある物体は、ユーザがディスプレイに近づいてもユーザがディスプレイから遠ざかっても、依然として近くにあるように見える。このように、ユーザUは、ディスプレイを通じて、画像を現実世界の感覚で見ることができる。このディスプレイは、専用表示装置(例えば、VRゴーグル、ヘッドマウントディスプレイ等)であってもよいが、一般的な据え置き型のディスプレイ、または、上述した回転型ディスプレイ20、25、27等であってもよい。すなわち、ユーザは、専用表示装置を装着することなく、自然な仮想現実画像を見ることができるようになる。
【0168】
図7A図7Bを参照して上述した例では、図7A図7Bに示される各ステップの処理および図8に示される処理の一部は、プロセッサ部250とメモリ部240に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図7A図7Bに示される各ステップの処理および図8に示される処理の一部のうちの少なくとも1つは、制御回路などのハードウェア構成によって実現されてもよい。
【0169】
また、図7A図7B図8を参照して上述した例では、特定の順序で各ステップの処理が行われることを説明したが、各ステップの処理の順序は説明されるものに限定されない。論理的に可能な任意の順序で、各ステップの処理を行うことができる。また、他の任意のステップを追加することが可能であり、かつ/または、示されるステップのうちの少なくとも1つを省略することが可能である。
【0170】
本発明は、上述した実施形態に限定されるものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。
【産業上の利用可能性】
【0171】
本発明は、画像を3次元的に表示するために、疑似3次元画像を作成することが可能な方法等を提供することができる点で有用である。
【符号の説明】
【0172】
100 システム
110 受信手段
120 作成手段
130 表示手段
図1A
図1B
図1C
図1D
図1E
図1F
図1G
図1H
図1I
図1J
図2A
図2B
図2C
図2D
図3A
図3B
図4A
図4B
図4C
図4D
図4E
図4F
図4G
図5A
図5B
図5C
図6A
図6B
図6C
図7A
図7B
図8