ホーム > 特許ランキング > 日本電信電話株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-19
(45)【発行日】2023-12-27
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
H04N 13/128 20180101AFI20231220BHJP
【ＦＩ】
H04N13/128
【請求項の数】
7
(21)【出願番号】P 2022522132
(86)(22)【出願日】2020-05-12
(86)【国際出願番号】 JP2020018951
(87)【国際公開番号】W WO2021229679
(87)【国際公開日】2021-11-18
【審査請求日】2022-09-29
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100129230
【弁理士】
【氏名又は名称】工藤 理恵
(72)【発明者】
【氏名】佐野 卓
(72)【発明者】
【氏名】菊地 由実
(72)【発明者】
【氏名】深津 真二
(72)【発明者】
【氏名】小野 正人
(72)【発明者】
【氏名】日高 浩太
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開２０１３－０７８１０１（ＪＰ，Ａ）
【文献】特開２０１４－０５３７８２（ＪＰ，Ａ）
【文献】特開２０１３－０５８８４９（ＪＰ，Ａ）
【文献】特開２０１２－２５７０２２（ＪＰ，Ａ）
【文献】特開２０１５－１５６６０７（ＪＰ，Ａ）
【文献】特開２００６－１９７２４０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００
Ｇ０９Ｇ ５／００
Ｇ０２Ｂ ３０／００
Ｇ０３Ｂ ３５／００
(57)【特許請求の範囲】
【請求項1】
動画のフレーム画像から算出した奥行き情報に基づき、前記フレーム画像を３次元表示する際のディスプレイ面と立体感を強調する奥行き範囲を決定する決定部と、前記ディスプレイ面と前記奥行き範囲を用いて前記奥行き情報を圧縮処理してデプスマップを生成する処理部を有し、
前記処理部は、前記ディスプレイ面が所定の範囲内に存在する場合は、前記動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲を前記ディスプレイ面が所定の範囲を超えた方向に補正して奥行き情報を圧縮する
情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、前記所定の範囲は、前記キーフレームの奥行き範囲内に設定された範囲である
情報処理装置。
【請求項3】
請求項１または２に記載の情報処理装置であって、前記処理部は、前記ディスプレイ面が所定の範囲外に存在する場合は、直前のフレームのディスプレイ面に対する現フレームのディスプレイ面の移動量に応じて、前記キーフレームのディスプレイ面と前記キーフレームの奥行き範囲を補正する
情報処理装置。
【請求項4】
請求項３に記載の情報処理装置であって、前記処理部は、前記ディスプレイ面が所定の範囲外に出た後、前記キーフレームのディスプレイ面が現フレームのディスプレイ面と同じ位置になるまで前記キーフレームのディスプレイ面と前記キーフレームの奥行き範囲を毎フレーム補正する
情報処理装置。
【請求項5】
請求項１または２に記載の情報処理装置であって、前記処理部は、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲の一方を広げる
情報処理装置。
【請求項6】
コンピュータが実行する情報処理方法であって、動画のフレーム画像から算出した奥行き情報に基づき、前記フレーム画像を３次元表示する際のディスプレイ面と立体感を強調する奥行き範囲を決定するステップと、
前記ディスプレイ面と前記奥行き範囲を用いて前記奥行き情報を圧縮処理してデプスマップを生成するステップを有し、
前記奥行き情報の圧縮処理では、前記ディスプレイ面が所定の範囲内に存在する場合は、前記動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲を前記ディスプレイ面が所定の範囲を超えた方向に補正して奥行き情報を圧縮する
情報処理方法。
【請求項7】
請求項１ないし５のいずれかに記載の情報処理装置の各部としてコンピュータを動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
３次元画像において、深い奥行きをそのまま表現せずに、遠くの奥行き情報を圧縮することで、注視させたい被写体の立体感を強調できる。
【0003】
非特許文献１では、３次元画像において、ディスプレイ面の前後が最も視差が効果的に感じられることを利用し、注目物の位置にディスプレイ面を設定する。注目物周辺の奥行きの５パーセンタイルから９５パーセンタイルを奥行きの最小・最大として非線形に奥行きをマッピングし、奥行きの最小・最大範囲を超える奥行き情報は圧縮する。
【先行技術文献】
【非特許文献】
【0004】
【文献】Petr Kelnhofer, et al.,“GazeStereo3D: Seamless Disparity Manipulations,”ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2016, Volume 35, Issue 4, 2016.
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の奥行き圧縮手法をそのまま動画に適用した場合、各フレームにおいて注目すべき被写体の位置にディスプレイ面が設定される。そのため、被写体が奥行き方向に移動する動画において、被写体が飛び出したり、奥に進んだりするのではなく、背景が前後に移動するように見えてしまうという問題があった。
【0006】
本発明は、上記に鑑みてなされたものであり、注視物体が奥行き方向に移動する際の３次元動画像の違和感を和らげることを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様の情報処理装置は、動画のフレーム画像から算出した奥行き情報に基づき、前記フレーム画像を３次元表示する際のディスプレイ面と立体感を強調する奥行き範囲を決定する決定部と、前記ディスプレイ面と前記奥行き範囲を用いて前記奥行き情報を圧縮処理してデプスマップを生成する処理部を有し、前記処理部は、前記ディスプレイ面が所定の範囲内に存在する場合は、前記動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲を前記ディスプレイ面が所定の範囲を超えた方向に補正して奥行き情報を圧縮する。
【0008】
本発明の一態様の情報処理方法は、コンピュータが実行する情報処理方法であって、動画のフレーム画像から算出した奥行き情報に基づき、前記フレーム画像を３次元表示する際のディスプレイ面と立体感を強調する奥行き範囲を決定するステップと、前記ディスプレイ面と前記奥行き範囲を用いて前記奥行き情報を圧縮処理してデプスマップを生成するステップを有し、前記奥行き情報の圧縮処理では、前記ディスプレイ面が所定の範囲内に存在する場合は、前記動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲を前記ディスプレイ面が所定の範囲を超えた方向に補正して奥行き情報を圧縮する。
【発明の効果】
【0009】
本発明によれば、注視物体が奥行き方向に移動する際の３次元動画像の違和感を和らげることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について図面を用いて説明する。
【0012】
図１を参照し、本実施形態の情報処理装置について説明する。図１に示す情報処理装置１は、３次元動画を表示する表示システムにおいて視差画像を生成するために用いるデプスマップを出力する装置である。デプスマップは、動画の各フレームの各点の奥行きを示す情報であり、例えば8ビット画像の場合、各フレーム画像の各画素の奥行きを０～２５５で表したものである。
【0013】
図１の情報処理装置１は、奥行き推定部１１、ディスプレイ面決定部１２、奥行き範囲決定部１３、および奥行き圧縮処理部１４を備える。
【0014】
奥行き推定部１１は、動画から切り出したフレーム画像を入力し、フレーム画像中の各位置における奥行きを推定して、奥行き情報を出力する。フレーム画像は、単眼画像であってもよいし、ステレオ画像であってもよい。なお、情報処理装置１は、奥行き推定部１１を備えずに、フレーム画像から算出した奥行き情報を外部から入力してもよい。
【0015】
ディスプレイ面決定部１２は、奥行き情報を入力し、任意の奥行き圧縮手法で、ディスプレイ面を決定し、出力する。ディスプレイ面とは、画像を３次元表示する際に表示システムの表示面に対応する面である。３次元動画において、ディスプレイ面よりも視点側にある物体は表示面よりも手前に表示され、ディスプレイ面よりも奥側にある物体は表示面よりも奥側に表示される。ディスプレイ面は、例えば、画面の中央付近の、そのシーンで注視してもらいたい被写体が存在する奥行き位置に決定される。
【0016】
奥行き範囲決定部１３は、奥行き情報を入力し、任意の奥行き範囲決定手法で、奥行き範囲を決定し、出力する。例えば、非特許文献１のように、３次元画像において注目物の位置にディスプレイ面を設定し、注目物周辺の奥行きの５パーセンタイルから９５パーセンタイルを奥行き範囲とする。奥行き範囲は、ディスプレイ面を含み、３Ｄテレビまたは３Ｄプロジェクタ等の３Ｄ映像表示装置で立体感を表現する範囲である。奥行き範囲外は、後述の奥行き圧縮処理部１４により奥行き情報が圧縮される。例えば、奥行き範囲よりも遠くの物体は、同じ奥行き位置にある物体とされる。奥行き範囲とは映像シーンの背景(屋外、屋内)や被写体の数・形・大きさによって主観的に設定することで、立体感や奥行き感を効果的に表現するための処理の範囲のことである。
【0017】
奥行き圧縮処理部１４は、奥行き情報、ディスプレイ面、および奥行き範囲を入力し、ディスプレイ面と奥行き範囲を用いて奥行き情報を圧縮処理し、デプスマップを出力する。
【0018】
奥行き圧縮処理部１４は、キーフレームにおけるディスプレイ面と奥行き範囲を保持しておき、現フレームのディスプレイ面が所定の範囲内に存在する場合は、キーフレームのディスプレイ面と奥行き範囲を用いて奥行き情報を圧縮し、現フレームのディスプレイ面が所定の範囲外に存在する場合は、キーフレームのディスプレイ面と奥行き範囲を補正して奥行き情報を圧縮する。キーフレームとは、動画中の区切りとなるフレームであり、例えば、シーンが切り替わった最初のフレームである。ユーザーが任意にキーフレームを設定することもできる。
【0019】
次に、図２を参照し、奥行き圧縮処理の流れについて説明する。なお、動画の各フレームの奥行き情報は、奥行き推定部１１が算出するか、あるいは外部から入力するものとする。
【0020】
ステップＳ１１にて、ディスプレイ面決定部１２は、奥行き情報に基づいてキーフレームのディスプレイ面を決定する。ディスプレイ面の情報は、奥行き圧縮処理部１４へ送信される。
【0021】
ステップＳ１２にて、奥行き範囲決定部１３は、奥行き情報に基づいてキーフレームの奥行き範囲を決定する。奥行き範囲は、奥行き圧縮処理部１４へ送信される。
【0022】
図３に、キーフレームでのディスプレイ面ＤＩＳＰｄｅｆと、奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘの一例を示す。なお、図３～６では、視点位置を右側に置き、横軸を奥行き方向とした。つまり、図上で左側に行くほど動画では奥側に表示され、右側に行くほど動画では手前に表示される。図３～６では、右向きの人物を図示しているので、動画上では、正面を向いた人物が表示される。
【0023】
ステップＳ１３にて、奥行き圧縮処理部１４は、キーフレームのディスプレイ面と奥行き範囲を用いて奥行き情報を圧縮し、デプスマップを生成する。例えば、デプスマップ上の各点を０～２５５(8ビット)で表す場合、奥行き圧縮処理部１４は、奥行き範囲の最小値ＤＥＰＴＨｍｉｎから最大値ＤＥＰＴＨｍａｘまでの奥行き情報を１～２５４にマッピングし、最小値ＤＥＰＴＨｍｉｎより遠くを０、最大値ＤＥＰＴＨｍａｘより手前を２５５にマッピングする。
【0024】
奥行き圧縮処理部１４は、キーフレームのディスプレイ面とキーフレームの奥行き範囲を保持しておき、次のフレーム以降の奥行き圧縮処理で利用する。
【0025】
表示システムは、情報処理装置１の出力したデプスマップを用い、視差を持つ右眼用フレーム画像と左眼用フレーム画像を生成する。
【0026】
キーフレームの次のフレーム以降は、以下のステップＳ１４～Ｓ１７の処理を繰り返す。
【0027】
ステップＳ１４にて、ディスプレイ面決定部１２は、奥行き情報に基づいてディスプレイ面を決定する。ディスプレイ面の情報は、奥行き圧縮処理部１４へ送信される。
【0028】
ステップＳ１５にて、奥行き圧縮処理部１４は、現フレームのディスプレイ面が所定の範囲内であるか否か判定する。所定の範囲は、図４に示すように、キーフレームの奥行き範囲の最小値ＤＥＰＴＨｍｉｎより手前で、最大値ＤＥＰＴＨｍａｘより奥側の範囲とする。例えば、所定の範囲は、キーフレームの奥行き範囲の１０％～９０％の範囲とする。所定の範囲は任意に設定可能である。
【0029】
ディスプレイ面が所定の範囲内の場合、奥行き圧縮処理部１４は処理をステップＳ１７に進める。例えば、図４の時間ｔ－１のディスプレイ面ＤＩＳＰｃｕｒ（ｔ－１）は矢印で示した所定の範囲内に存在するので、奥行き圧縮処理部１４は処理をステップＳ１７に進める。
【0030】
ディスプレイ面が所定の範囲を超えた場合、ステップＳ１６にて、奥行き圧縮処理部１４はディスプレイ面の移動に合わせて、奥行き範囲を変更する。
【0031】
例えば、図５の時間ｔのディスプレイ面ＤＩＳＰｃｕｒ（ｔ）は所定の範囲を超えているので、奥行き圧縮処理部１４は保持するキーフレームのディスプレイ面とキーフレームの奥行き範囲を変更する。より具体的には、奥行き圧縮処理部１４は、前フレームからのディスプレイ面の移動量ＤＩＦＦ＝ＤＩＳＰｃｕｒ（ｔ）－ＤＩＳＰｃｕｒ（ｔ－１）を求め、キーフレームのディスプレイ面ＤＩＳＰｄｅｆ、キーフレームの奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘをＤＩＦＦ分だけ変更する。例えば、ディスプレイ面が視点にＤＩＦＦ分近づいた場合、ディスプレイ面ＤＩＳＰｄｅｆ、奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘをＤＩＦＦ分だけ視点方向に近づける。ディスプレイ面が視点からＤＩＦＦ分離れた場合、ディスプレイ面ＤＩＳＰｄｅｆ、奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘをＤＩＦＦ分だけ奥側に移動する。
【0032】
なお、現フレームのディスプレイ面ＤＩＳＰｃｕｒ（ｔ）が所定の範囲を超えた後、ＤＩＳＰｄｅｆ＝ＤＩＳＰｃｕｒ（ｔ）となるまで、毎フレーム、キーフレームのディスプレイ面ＤＩＳＰｄｅｆ、キーフレームの奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘを変更してもよい。この場合、フレームごとの移動量ＤＩＦＦは次式で求める。
【0033】
ＤＩＦＦ＝ＭＡＸ（ＤＩＦＦｍｉｎ，ＤＩＳＰｃｕｒ（ｔ）－ＤＩＳＰｃｕｒ（ｔ－１））
ただしＤＩＦＦｍｉｎ＞０である。
ただしＤＩＦＦｍｉｎ＞０である。
【0034】
ディスプレイ面ＤＩＳＰｃｕｒ（ｔ）の動きが止まった場合でも、キーフレームのディスプレイ面ＤＩＳＰｄｅｆはＤＩＦＦｍｉｎの速度で現フレームのディスプレイ面ＤＩＳＰｃｕｒ（ｔ）に毎フレーム近づいていく。ＤＩＳＰｄｅｆ＝ＤＩＳＰｃｕｒ（ｔ）となった後は、ステップＳ１５で現フレームのディスプレイ面が所定の範囲を超えたか否か判定する処理に戻る。
【0035】
ステップＳ１７にて、奥行き圧縮処理部１４は、キーフレームのディスプレイ面ＤＩＳＰｄｅｆ、キーフレームの奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘを用いて奥行き圧縮処理を行い、デプスマップを生成する。表示システムは、情報処理装置１の出力したデプスマップを用い、視差を持つ右眼用フレーム画像と左眼用フレーム画像を生成する。
【0036】
シーンが変わるなど、新たなキーフレームになると、情報処理装置１は、処理をステップＳ１１に戻して処理を続ける。
【0037】
なお、ステップＳ１６の奥行き範囲を変更する処理では、図６に示すように、奥行き範囲の最大値ＤＥＰＴＨｍａｘのみをＤＩＦＦ分だけ変更してもよい。現フレームのディスプレイ面ＤＩＳＰｃｕｒ（ｔ）が所定の範囲から奥側方向に超える場合は、奥行き範囲の最小値ＤＥＰＴＨｍｉｎを奥側にＤＩＦＦ分だけ変更してもよい。
【0038】
以上説明したように、本実施形態の情報処理装置１は、動画のフレーム画像から算出した奥行き情報に基づき、フレーム画像を３次元表示する際のディスプレイ面を決定するディスプレイ面決定部１２と、立体感を強調する奥行き範囲を決定する奥行き範囲決定部１３と、ディスプレイ面と奥行き範囲を用いて奥行き情報を圧縮処理してデプスマップを生成する奥行き圧縮処理部１４を有する。奥行き圧縮処理部１４は、ディスプレイ面が所定の範囲内に存在する場合は、動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、ディスプレイ面が所定の範囲外に存在する場合は、キーフレームの奥行き範囲を補正して奥行き情報を圧縮する。本実施形態では、注視物体が奥行き範囲を超えそうになった場合にのみディスプレイ面を追随することで、注視物体の立体感を強調しながら、注視物体が奥行き方向に移動する際の３次元動画像の違和感を和らげることができる。
【0039】
上記説明した情報処理装置１には、例えば、図７に示すような、中央演算処理装置（ＣＰＵ）９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、情報処理装置１が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
【符号の説明】
【0040】
１…情報処理装置
１１…推定部
１２…ディスプレイ面決定部
１３…奥行き範囲決定部
１４…奥行き圧縮処理部
１１…推定部
１２…ディスプレイ面決定部
１３…奥行き範囲決定部
１４…奥行き圧縮処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】