ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】画像処理装置、方法およびプログラム
(51)【国際特許分類】
H04N 13/261 20180101AFI20241008BHJP
【ＦＩ】
H04N13/261
【請求項の数】
8
(21)【出願番号】P 2023508214
(86)(22)【出願日】2021-03-23
(86)【国際出願番号】 JP2021011980
(87)【国際公開番号】W WO2022201305
(87)【国際公開日】2022-09-29
【審査請求日】2023-06-28
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】小野 正人
(72)【発明者】
【氏名】佐野 卓
(72)【発明者】
【氏名】深津 真二
(72)【発明者】
【氏名】菊地 由実
【審査官】塚本 丈二
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２６６２１２（ＵＳ，Ａ１）
【文献】特開２０１４－０３６３６２（ＪＰ，Ａ）
【文献】特開平１０－０４０４２０（ＪＰ，Ａ）
【文献】特開２０１４－０１６７９２（ＪＰ，Ａ）
【文献】国際公開第２０１１／１３５７６０（ＷＯ，Ａ１）
【文献】特開２０１４－０３５５９７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／００５１３１５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００－１３／３９８
Ｇ０６Ｔ １／００－７／００
Ｇ０６Ｔ １５／００－１５／８７
Ｇ０９Ｇ ５／００－５／４２
(57)【特許請求の範囲】
【請求項1】
動画像における時系列に沿った１つのフレームと、前記１つのフレームのタイミングより前のタイミングのフレームとの間の差分の大きさを算出する差分算出部と、前記差分算出部により算出された差分の大きさが所定条件を満たして大きいときに、前記１つのフレームを、当該フレームの奥行きのマッピングに用いられる関数の生成元としてのキーフレームである第１のフレームとして決定するフレーム決定部と、
前記第１のフレームから前記フレーム決定部により前回決定されたキーフレームである第２のフレームまでの各フレームの奥行きを推定する奥行き推定部と、
前記奥行き推定部により推定された奥行きから、前記第１のフレームの奥行きのマッピングに用いられる関数および前記第２のフレームの奥行きのマッピングに用いられる関数を生成し、前記第２のフレームの奥行きのマッピングに用いられる関数を利用して、前記第２のフレームの奥行きのマッピングに用いられる関数から前記第１のフレームの奥行きのマッピングに用いられる関数にかけて段階的に変化させた、前記第１のフレームと前記第２のフレームとの間の各フレームの奥行きのマッピングに利用可能な関数を生成する関数生成部と、
を備える画像処理装置。
【請求項2】
前記差分算出部は、前記１つのフレームと前記前のタイミングのフレームとの間の時系列で隣接するフレームでなる組ごとに、前記隣接するフレームの間の差分の大きさを算出し、
前記フレーム決定部は、
前記フレーム決定部により前回決定されたキーフレームを起点とした、前記差分算出部により算出された、前記隣接するフレームの間の差分の大きさの累算値が所定条件を満たして大きいときに、前記１つのフレームを新たなキーフレームである前記第１のフレームとして決定する、
請求項１に記載の画像処理装置。
【請求項3】
前記関数生成部は、前記生成された、前記第２のフレームの奥行きのマッピングに用いられる関数から前記生成された、前記第１のフレームの奥行きのマッピングに用いられる関数へ段階的に切り替わる関数を、前記第１のフレームに対して時系列で遡って連続する複数のフレームの各々の奥行きのマッピングに用いられる関数としてさらに生成する、
請求項１に記載の画像処理装置。
【請求項4】
前記第１のフレームの奥行きおよび前記第２のフレームの奥行きが、時系列における、前記第２のフレームより後で前記第１のフレームより前までの各フレームの奥行きより優先して前記奥行き推定部により推定されるように、前記奥行き推定部による処理順を制御する処理順序制御部をさらに備える、請求項１に記載の画像処理装置。
【請求項5】
前記第１のフレームの奥行きのマッピングに用いられる関数および前記第２のフレームの奥行きのマッピングに用いられる関数が、時系列における、前記第２のフレームより後で前記第１のフレームより前の各フレームの奥行きのマッピングに用いられる関数より優先して前記関数生成部により生成されるように、前記関数生成部による処理順を制御する処理順序制御部をさらに備える、請求項１に記載の画像処理装置。
【請求項6】
画像処理装置により行われる方法であって、前記画像処理装置の差分算出部により、動画像における時系列に沿った１つのフレームと、前記１つのフレームのタイミングより前のタイミングのフレームとの間の差分の大きさを算出することと、
前記画像処理装置のフレーム決定部により、前記差分算出部により算出された差分の大きさが所定条件を満たして大きいときに、前記１つのフレームを、当該フレームの奥行きのマッピングに用いられる関数の生成元としてのキーフレームである第１のフレームとして決定することと、
前記画像処理装置の奥行き推定部により、前記第１のフレームから前記フレーム決定部により前回決定されたキーフレームである第２のフレームまでの各フレームの奥行きを推定することと、
前記画像処理装置の関数生成部により、前記奥行き推定部により推定された奥行きから、前記第１のフレームの奥行きのマッピングに用いられる関数および前記第２のフレームの奥行きのマッピングに用いられる関数を生成し、前記第２のフレームの奥行きのマッピングに用いられる関数を利用して、前記第２のフレームの奥行きのマッピングに用いられる関数から前記第１のフレームの奥行きのマッピングに用いられる関数にかけて段階的に変化させた、前記第１のフレームと前記第２のフレームとの間の各フレームの奥行きのマッピングに利用可能な関数を生成することと、
を備える画像処理方法。
【請求項7】
前記差分算出部は、前記１つのフレームと前記前のタイミングのフレームとの間の時系列で隣接するフレームでなる組ごとに、前記隣接するフレームの間の差分の大きさを算出し、
前記フレーム決定部は、
前記フレーム決定部により前回決定されたキーフレームを起点とした、前記差分算出部により算出された、前記隣接するフレームの間の差分の大きさの累算値が所定条件を満たして大きいときに、前記１つのフレームを新たなキーフレームである前記第１のフレームとして決定する、
請求項６に記載の画像処理方法。
【請求項8】
請求項１乃至５のいずれか１項に記載の画像処理装置の各部としてプロセッサを機能させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、方法およびプログラムに関する。
【背景技術】
【0002】
静止画に対し、この奥行き（depth）を圧縮する技術がある。例えば非特許文献１には、ユーザ（user）により視差が効果的に感じられる範囲はディスプレイ（display）面の周辺であることに基づいて、注目物が存在する位置がディスプレイ面とされることと、奥行きの5パーセンタイル（percentile）が奥行きの最小値とされ、奥行きの95パーセンタイルが奥行きの最大値とされて、入力画像に奥行きが非線形にマッピング（mapping）されることとが記載される。
【0003】
上記の、奥行きがマッピングされるときに用いられる関数は奥行き圧縮関数と称される。異なる画像の各々に対して奥行き圧縮処理が行われた場合、画像内の奥行きの分布により、奥行き圧縮関数は異なる。
【0004】
また、非特許文献２には、視差のヒストグラム（histogram）解析結果から視差レイヤ（layer）が導出され、注目する物体が存在するレイヤにおける一定の範囲の奥行きが伸長されることが記載される。これにより、注目される物体における細部のデプスが必要十分に表現され得る。
【先行技術文献】
【非特許文献】
【0005】
【文献】Gaze Stereo 3D : Seamless Disparity Manipulations (Petr Kelnhofer, et al.,“GazeStereo3D: Seamless Disparity Manipulations,”ACMTransactions on Graphics -Proceedings of ACM SIGGRAPH 2016, Volume 35, Issue 4, 2016.
【文献】SangwooLee, YounghuiKim, JungjinLee, KyehyunKim, KyunghanLee and JunyongNoh, “Depth manipulation using disparity histogram analysis for stereoscopic 3D”, The Visual Computer 30(4):455-465, April 2014.
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記の、奥行きを圧縮する技術が、動画像（映像）にそのまま適用された場合、動画の各フレーム（flame）においてディスプレイ面が設定される必要があるため、動画の全フレームに対して奥行きを圧縮する処理が行なわれる必要がある。
【0007】
映像の各フレームでは、フレーム間の間隔が短い、例えばフレームレート（frame rate）が60fpsである場合にはフレーム間の間隔は16.6msecであるため、一般的には被写体の動きは限定的であり、フレーム間で大きな差分は発生しない。
【0008】
しかし、奥行き推定結果の精度が低い、すなわちフレーム毎に奥行き情報の揺らぎが発生する場合には、ユーザに対し、３Ｄ（3 dimensions）映像の視聴時に、被写体の動きが少ないにも関わらず、奥行きが変化するように見える、などの違和感を与える原因となる可能性がある。
【0009】
また、奥行き圧縮処理は、圧縮前の画像の奥行きを伸長する処理であるため、奥行き情報の揺らぎも伸長されることとなり、ユーザに与える違和感が更に大きくなる可能性がある。
【0010】
また、従来の奥行き圧縮処理が行なわれる場合、この処理には、最適化問題を解く処理が含まれるため、処理時間が増加するとともに、さらに奥行き圧縮関数が揺らぐ、場合によっては異常解に帰着する場合がある。
【0011】
この発明は、上記事情に着目してなされたもので、その目的とするところは、画像の奥行きを適切に圧縮することができるようにした画像処理装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0012】
本発明の一態様に係る画像処理装置は、動画像における時系列に沿った１つのフレームと、前記１つのフレームのタイミングより前のタイミングのフレームとの間の差分の大きさを算出する差分算出部と、前記差分算出部により算出された差分の大きさが所定条件を満たして大きいときに、前記１つのフレームを、当該フレームの奥行きのマッピングに用いられる関数の生成元としてのキーフレームである第１のフレームとして決定するフレーム決定部と、前記第１のフレームから前記フレーム決定部により前回決定されたキーフレームである第２のフレームまでの各フレームの奥行きを推定する奥行き推定部と、前記奥行き推定部により推定された奥行きから、前記第１のフレームの奥行きのマッピングに用いられる関数および前記第２のフレームの奥行きのマッピングに用いられる関数を生成し、前記第２のフレームの奥行きのマッピングに用いられる関数を利用して、前記第２のフレームの奥行きのマッピングに用いられる関数から前記第１のフレームの奥行きのマッピングに用いられる関数にかけて段階的に変化させた、前記第１のフレームと前記第２のフレームとの間の各フレームの奥行きのマッピングに利用可能な関数を生成する関数生成部と、を備える。
【0013】
本発明の一態様に係る画像処理方法は、画像処理装置により行われる方法であって、前記画像処理装置の差分算出部により、動画像における時系列に沿った１つのフレームと、前記１つのフレームのタイミングより前のタイミングのフレームとの間の差分の大きさを算出することと、前記画像処理装置のフレーム決定部により、前記差分算出部により算出された差分の大きさが所定条件を満たして大きいときに、前記１つのフレームを、当該フレームの奥行きのマッピングに用いられる関数の生成元としてのキーフレームである第１のフレームとして決定することと、前記画像処理装置の奥行き推定部により、前記第１のフレームから前記フレーム決定部により前回決定されたキーフレームである第２のフレームまでの各フレームの奥行きを推定することと、前記画像処理装置の関数生成部により、前記奥行き推定部により推定された奥行きから、前記第１のフレームの奥行きのマッピングに用いられる関数および前記第２のフレームの奥行きのマッピングに用いられる関数を生成し、前記第２のフレームの奥行きのマッピングに用いられる関数を利用して、前記第２のフレームの奥行きのマッピングに用いられる関数から前記第１のフレームの奥行きのマッピングに用いられる関数にかけて段階的に変化させた、前記第１のフレームと前記第２のフレームとの間の各フレームの奥行きのマッピングに利用可能な関数を生成することと、を備える。
【発明の効果】
【0014】
本発明によれば、画像の奥行きを適切に圧縮することができる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、図面を参照しながら、この発明に係わる一実施形態を説明する。
図１は、本発明の一実施形態に係るデプスマップ生成装置の適用例を示すブロック図である。
図１に示されるように、本発明の一実施形態に係る画像処理装置であるデプスマップ生成装置１００は、フレーム特定情報付加部１１、フレーム間差分算出部１２、キーフレーム決定部１３、処理順序制御部１４、奥行き推定部１５、奥行き圧縮関数生成部１６、および奥行き圧縮処理部１７を有する。
図１は、本発明の一実施形態に係るデプスマップ生成装置の適用例を示すブロック図である。
図１に示されるように、本発明の一実施形態に係る画像処理装置であるデプスマップ生成装置１００は、フレーム特定情報付加部１１、フレーム間差分算出部１２、キーフレーム決定部１３、処理順序制御部１４、奥行き推定部１５、奥行き圧縮関数生成部１６、および奥行き圧縮処理部１７を有する。
【0017】
本実施形態では、デプスマップ生成装置１００は、奥行き圧縮関数の生成に利用されるフレーム（以降、キーフレームと呼ぶ）を適切に設定することができる。
具体的には、入力画像である動画像における時系列で連続する複数のフレーム間の差分、例えば処理対象のフレームと、当該フレームに対する時系列上の直前のフレームとの差分が比較的大きい、例えば所定の閾値を超える場合に限り、デプスマップ生成装置１００は、当該処理対象のフレームに対応するキーフレームを設定し、このキーフレームに基づいて奥行き圧縮関数を設定する。
具体的には、入力画像である動画像における時系列で連続する複数のフレーム間の差分、例えば処理対象のフレームと、当該フレームに対する時系列上の直前のフレームとの差分が比較的大きい、例えば所定の閾値を超える場合に限り、デプスマップ生成装置１００は、当該処理対象のフレームに対応するキーフレームを設定し、このキーフレームに基づいて奥行き圧縮関数を設定する。
【0018】
一方で、処理対象のフレームと、当該フレームに対する時系列上の直前のフレームとの差分が比較的小さい、例えば上記所定の閾値以下である場合には、この処理対象のフレームに対するキーフレームは設定されない。この場合、過去のフレームであって最新のキーフレームとして既に設定されたフレーム、すなわち時系列における、処理対象のフレームに対する直近のキーフレームに基づいて生成された奥行き圧縮関数が、上記処理対象のフレームに対応する奥行き圧縮関数として利用され得る。
これにより、時系列上での差分が比較的小さい各フレームについて、奥行き圧縮関数の生成元として設定されるキーフレームを絞り込むことができるため、奥行き圧縮関数の揺らぎによる影響を受けないようにすることができる効果が得られる。
これにより、時系列上での差分が比較的小さい各フレームについて、奥行き圧縮関数の生成元として設定されるキーフレームを絞り込むことができるため、奥行き圧縮関数の揺らぎによる影響を受けないようにすることができる効果が得られる。
【0019】
また、上記のように、フレーム間の差分が比較的大きいときの処理対象のフレームがキーフレームとして設定されることで、各フレームのうちキーフレームに設定されるフレームは一部でよいため、奥行き圧縮関数の生成に係る処理負荷が効率的となる効果も得られる。
【0020】
本実施形態では、デプスマップ生成装置１００は、原画像である動画像における、時系列で隣接するフレームでなる組ごとに、隣接するフレーム間の差分の領域の大きさおよびその累算値を算出し、この累算値が所定の条件を満たす値となる時点、例えば閾値を超えた時点での処理対象のフレームをキーフレームに設定することもできる。
上記説明したように、本実施形態では、動画像に対する奥行き圧縮処理が効果的に実施され得る。
上記説明したように、本実施形態では、動画像に対する奥行き圧縮処理が効果的に実施され得る。
【0021】
デプスマップ生成装置１００は、上記のフレーム間の差分によりキーフレームを設定することに限らず、例えば、映像のエンコード（encode）処理と組み合わせて、当該エンコード処理がなされたｉ（ｉ＝１，２，…）フレームに該当するフレームをキーフレームに設定してもよい。
【0022】
また、キーフレームの切り替え、すなわち時系列における前のタイミング（timing）で設定されたキーフレームに対する、後のタイミングにおける新たなキーフレームの設定に伴う、奥行き圧縮関数の大幅な変化による影響を避けるため、本実施形態では、デプスマップ生成装置１００は、上記新たなキーフレームを起点とする、キーフレームの切り替え前において時系列上で連続する所定数のフレームに対して、切り替え後のキーフレーム、つまり上記新たなキーフレームから生成された奥行き圧縮関数を生成することができる。
【0023】
さらに、デプスマップ生成装置１００は、当該新たなキーフレームからみて１回前のタイミングで生成された奥行き圧縮関数と上記新たなキーフレームから生成された奥行き圧縮関数との間でスムージング（smoothing）させた、すなわち先のキーフレームに対応する奥行き圧縮関数から後のキーフレームに対応する奥行き圧縮関数にかけて徐々に、すなわち段階的に変化させた奥行き圧縮関数を生成することができる。
そして、デプスマップ生成装置１００は、これらの生成結果を上記新たなキーフレームから遡った所定数のフレームに対応する奥行き圧縮関数として適用することもできる。
そして、デプスマップ生成装置１００は、これらの生成結果を上記新たなキーフレームから遡った所定数のフレームに対応する奥行き圧縮関数として適用することもできる。
【0024】
キーフレーム切り替えの例を以下の（１）～（３）に示す。
（１） シーンチェンジ（scene change）のような映像効果では、このシーンチェンジがなされたフレームにおいて、上記のフレーム間差分が閾値を超えるため、デプスマップ生成装置１００は、上記フレーム間差分が閾値を超えたときに、新たなキーフレームを設定する。
（１） シーンチェンジ（scene change）のような映像効果では、このシーンチェンジがなされたフレームにおいて、上記のフレーム間差分が閾値を超えるため、デプスマップ生成装置１００は、上記フレーム間差分が閾値を超えたときに、新たなキーフレームを設定する。
【0025】
（２） 被写体だけが動いているシーンでは、個々のフレーム間の差分は小さいが、この差分が時系列に沿って累算されて、この累算された値が閾値を超えた時点で、新たなキーフレームを設定する。
【0026】
（３） 既にキーフレームとして設定されたフレームより後の、被写体が略または全く動いていないシーンに対応する各フレームでは、新たなキーフレームは設定されない。すなわち該当のシーンに対応する各フレームでは、同じキーフレームが時系列に沿って継続して利用されて、このキーフレームに基づいた奥行き圧縮関数が生成され得る。
または、上記の、被写体が略または全く動いていないシーンに対応する上記各フレームについては、時系列における、当該各フレームから遡った直近のキーフレームに基づいた奥行き圧縮関数が、当該各フレームに対応する奥行き圧縮関数として後の処理に利用されるべく抽出され、これら抽出された奥行き圧縮関数は、後述する、奥行き圧縮処理部１７による、上記の、被写体が略または全く動いていないシーンに対応する各フレームに当該フレームに対応する奥行き情報をマッピングさせる奥行き圧縮処理に利用される。
または、上記の、被写体が略または全く動いていないシーンに対応する上記各フレームについては、時系列における、当該各フレームから遡った直近のキーフレームに基づいた奥行き圧縮関数が、当該各フレームに対応する奥行き圧縮関数として後の処理に利用されるべく抽出され、これら抽出された奥行き圧縮関数は、後述する、奥行き圧縮処理部１７による、上記の、被写体が略または全く動いていないシーンに対応する各フレームに当該フレームに対応する奥行き情報をマッピングさせる奥行き圧縮処理に利用される。
【0027】
図２は、時系列で連続する各フレーム、キーフレーム、および奥行き圧縮関数の関係の一例を示す図である。
図２に示された例では、スポーツ（sports）選手の動作に係る、各フレームのうち、符号ｆ１で示される初回フレームが１つ目のキーフレームに設定され、このキーフレームに係る奥行き圧縮関数が生成される。
図２に示された例では、スポーツ（sports）選手の動作に係る、各フレームのうち、符号ｆ１で示される初回フレームが１つ目のキーフレームに設定され、このキーフレームに係る奥行き圧縮関数が生成される。
【0028】
そして、このキーフレームを起点とした、時系列で連続する複数のフレームでのフレーム間差分の累算値が閾値を超えたタイミングの、符号ｆ２で示されるフレームを２つ目のキーフレーム、すなわち新たなキーフレームに設定し、このキーフレームに係る奥行き圧縮関数が生成される。
【0029】
本実施形態では、デプスマップ生成装置１００は、上記１つ目のキーフレームと２つ目のキーフレームとの間の、符号ａおよび符号ｂで示される範囲の各フレーム、すなわち上記１つ目のキーフレームと２つ目のキーフレームとの間の、キーフレームとして設定されない各フレームに係る奥行き圧縮関数を、上記１つ目のキーフレームについて設定された奥行き圧縮関数と同じ奥行き圧縮関数に設定することができる。
【0030】
また、本実施形態では、デプスマップ生成装置１００は、上記１つ目のキーフレームと２つ目のキーフレームとの間の、符号ａおよび符号ｂで示される範囲の各フレームのうち符号ｂで示される範囲の数フレームの奥行き圧縮関数を、上記１つ目のキーフレームに係る奥行き圧縮関数から上記２つ目のキーフレームに係る奥行き圧縮関数にかけて徐々に変化させた、いわゆるスムージングさせた奥行き圧縮関数に設定することもできる。上記、符号ｂで示される範囲の各フレームは、１つ目のキーフレームより後で２つ目のキーフレームの前の各フレームの一部であって、時系列における、当該２つ目のキーフレームから数フレームだけ遡って連続するフレームである。
【0031】
図３は、本発明の一実施形態に係る画像処理装置による処理動作の一例を示すフローチャートである。
フレーム特定情報付加部１１は、外部からの動画像である画像情報、例えば単眼画像（single perspective image）またはステレオ画像（stereo image）を入力し、この画像情報の各フレームの順序性が保管されるための、各フレームの特定情報（単に特定情報またはフレーム特定情報と称されることもある）を当該画像情報に付加する（Ｓ１１）。この特定情報は、例えば初回フレームを起点とした各フレームの識別番号＃１，＃２，…、およびタイムスタンプ（time stamp）等である。
フレーム特定情報付加部１１は、外部からの動画像である画像情報、例えば単眼画像（single perspective image）またはステレオ画像（stereo image）を入力し、この画像情報の各フレームの順序性が保管されるための、各フレームの特定情報（単に特定情報またはフレーム特定情報と称されることもある）を当該画像情報に付加する（Ｓ１１）。この特定情報は、例えば初回フレームを起点とした各フレームの識別番号＃１，＃２，…、およびタイムスタンプ（time stamp）等である。
【0032】
フレーム間差分算出部１２は、フレーム特定情報付加部１１からの画像情報における、処理対象のフレーム（後フレームと称されることもある）と、当該フレームに対して時系列上で連続する、かつ時系列上の１つ前のフレーム（前フレームと称されることもある）との差分情報であるフレーム間差分を算出する（Ｓ１２）。
【0033】
キーフレーム決定部１３は、キーフレームの候補である処理対象のフレームを、時系列で連続する各フレームから順次設定し、設定済みの最新のキーフレームを起点として、当該キーフレームから現在の処理対象のフレームまでの、フレーム間差分の累算値を処理対象のフレームごとに算出する。そして、キーフレーム決定部１３は、この累算値が閾値を超えた場合に、この超えた時点での現在の処理対象のフレームを新たなキーフレームに決定する（Ｓ１３）。
【0034】
また、キーフレーム決定部１３は、以降の処理のための制御情報を処理順序制御部１４および奥行き圧縮関数生成部１６に通知する。この制御情報は、少なくともキーフレームの特定情報を含み、スムージング処理のタイミングの範囲、すなわちスムージング処理による奥行き圧縮関数の設定の対象である各フレームを特定する、例えばタイミングを示す情報を含んでもよい。
【0035】
処理順序制御部１４は、キーフレーム決定部１３から通知された制御情報に基づいて、奥行き推定部１５で処理されるフレームの処理順序を制御し、この制御された各フレームを奥行き推定部１５に出力する（Ｓ１４）。
この処理順序の制御では、キーフレーム決定部１３によりキーフレームとして決定された前フレームの奥行き、および後フレームの奥行きが、時系列における前フレームより後で後フレームより前までの各フレームの奥行きより優先して奥行き推定部１５により推定されるように、かつ、上記前フレームの奥行きのマッピングに用いられる奥行き圧縮関数、および上記後フレームの奥行きのマッピングに用いられる奥行き圧縮関数が、時系列における前フレームより後で後フレームより前の各フレームの奥行きのマッピングに用いられる奥行き圧縮関数より優先して、奥行き圧縮関数生成部１６により生成されるように、後段の奥行き推定部１５および奥行き圧縮関数生成部１６による処理順が制御される。
この処理順序の制御では、キーフレーム決定部１３によりキーフレームとして決定された前フレームの奥行き、および後フレームの奥行きが、時系列における前フレームより後で後フレームより前までの各フレームの奥行きより優先して奥行き推定部１５により推定されるように、かつ、上記前フレームの奥行きのマッピングに用いられる奥行き圧縮関数、および上記後フレームの奥行きのマッピングに用いられる奥行き圧縮関数が、時系列における前フレームより後で後フレームより前の各フレームの奥行きのマッピングに用いられる奥行き圧縮関数より優先して、奥行き圧縮関数生成部１６により生成されるように、後段の奥行き推定部１５および奥行き圧縮関数生成部１６による処理順が制御される。
【0036】
奥行き推定部１５は、処理順序制御部１４により処理順序が制御された各フレームの奥行き情報を推定して、この推定された奥行き情報を、当該各フレームおよび当該フレームの上記特定情報と紐付けて、奥行き圧縮関数生成部１６および奥行き圧縮処理部１７に出力する（Ｓ１５）。
なお、奥行き推定部１５による推定処理に代えて、上記処理順序におけるタイムスタンプが紐付けられたデプスカメラ画像を上記奥行き情報としてもよい（図１の（Ａ）参照）。
なお、奥行き推定部１５による推定処理に代えて、上記処理順序におけるタイムスタンプが紐付けられたデプスカメラ画像を上記奥行き情報としてもよい（図１の（Ａ）参照）。
【0037】
奥行き圧縮関数生成部１６は、奥行き推定部１５からの、各フレームの奥行き情報のうち、キーフレーム決定部１３からのキーフレームの特定情報に紐付けられる、当該キーフレームの奥行き情報を選択し、この選択した奥行き情報から、当該奥行き情報に係る奥行き圧縮関数を生成して、前フレームに係る奥行き圧縮関数を利用してキーフレーム間の各フレームに係る奥行き圧縮関数を設定し、これらの奥行き圧縮関数を各フレームの特定情報とともに奥行き圧縮処理部１７に出力する（Ｓ１６）。
これにより、本実施形態では、各フレームのうちキーフレームおよびキーフレーム間の各フレームに係る奥行き圧縮関数が出力される。
これにより、本実施形態では、各フレームのうちキーフレームおよびキーフレーム間の各フレームに係る奥行き圧縮関数が出力される。
【0038】
なお、上記制御情報に、上記のようにスムージング処理のタイミングの範囲が含まれるときは、奥行き圧縮関数生成部１６は、設定済みの最新のキーフレームを起点として時系列に沿って遡った、指定した数の連続したフレームを上記タイミングの範囲に基づいて特定する。
そして、この特定したフレームに対しては、奥行き圧縮関数生成部１６は、切り替え前および切り替え後のキーフレームに係る奥行き圧縮関数、すなわち、後フレームに対応する最新のキーフレームに係る奥行き圧縮関数と、この上記最新のキーフレームに対して１回前に設定されたキーフレーム、すなわち前フレームに対応するキーフレームに係る奥行き圧縮関数との間でスムージングさせた奥行き圧縮関数を生成する。
そして、この特定したフレームに対しては、奥行き圧縮関数生成部１６は、切り替え前および切り替え後のキーフレームに係る奥行き圧縮関数、すなわち、後フレームに対応する最新のキーフレームに係る奥行き圧縮関数と、この上記最新のキーフレームに対して１回前に設定されたキーフレーム、すなわち前フレームに対応するキーフレームに係る奥行き圧縮関数との間でスムージングさせた奥行き圧縮関数を生成する。
【0039】
奥行き圧縮処理部１７は、奥行き推定部１５からの奥行き情報および特定情報、ならびに奥行き圧縮関数生成部１６からの奥行き圧縮関数に基づいて、各フレームに当該フレームに対応する奥行き情報をマッピングさせる奥行き圧縮処理を行なう（Ｓ１７）。
この際、奥行き圧縮処理部１７は、フレーム特定情報に基づいた順序に整えられた各フレームに係るデプスマップを出力する。
この際、奥行き圧縮処理部１７は、フレーム特定情報に基づいた順序に整えられた各フレームに係るデプスマップを出力する。
【0040】
図４は、本発明の一実施形態に係るデプスマップ生成装置による処理動作の具体例を示す図である。
図４に示された例では、時系列で連続する元画像の複数個のフレームに、時系列における順番に対応するフレーム特定情報＃１、＃２、＃３、＃４、＃５、＃６（図示せず）、…、＃Ｎ－１、＃Ｎ、＃Ｎ＋１（図示せず）、…が付され、１個目のフレームおよびＮ個目のフレームがキーフレームに設定された例が示される。
以下、フレーム特定情報＃１、＃２、＃３、＃４、＃５、…、＃Ｎ－１、＃Ｎ、＃Ｎ＋１、…が付されたフレームを、フレーム＃１、＃２、＃３、＃４、＃５、…、＃Ｎ－１、＃Ｎ、＃Ｎ＋１…と称することがある。
図４に示された例では、時系列で連続する元画像の複数個のフレームに、時系列における順番に対応するフレーム特定情報＃１、＃２、＃３、＃４、＃５、＃６（図示せず）、…、＃Ｎ－１、＃Ｎ、＃Ｎ＋１（図示せず）、…が付され、１個目のフレームおよびＮ個目のフレームがキーフレームに設定された例が示される。
以下、フレーム特定情報＃１、＃２、＃３、＃４、＃５、…、＃Ｎ－１、＃Ｎ、＃Ｎ＋１、…が付されたフレームを、フレーム＃１、＃２、＃３、＃４、＃５、…、＃Ｎ－１、＃Ｎ、＃Ｎ＋１…と称することがある。
【0041】
本実施形態では、フレーム間差分算出部１２およびキーフレーム決定部１３による処理と、奥行き推定部１５による処理とは、別々のスレッド（thread）で行なわれてもよい。
また、処理の効率化のため、図４に示された例では、キーフレーム＃１から＃Ｎまでの各フレームのうち、キーフレームであるフレーム＃１および＃Ｎに対する、奥行き推定部１５による奥行き情報の生成処理、および奥行き圧縮関数生成部１６による奥行き圧縮関数の生成処理は、キーフレームでないフレーム、すなわちフレーム＃１から＃Ｎ－１までの各フレームに対する奥行き情報の生成処理および奥行き圧縮関数の生成処理に対して優先的に実施されるように、処理順序制御部１４による処理順序の制御がなされる。
この結果、図４に示された例では、キーフレームであるフレーム＃１および＃Ｎに係るフレームに対する奥行き情報の生成処理および奥行き圧縮関数の生成処理が優先され、フレーム＃１、＃２、＃３、＃４、＃Ｎ、＃５、＃６、…、＃Ｎ－１の順で奥行き情報の生成処理が実施される。そして、図４に示された例では、フレーム＃１に対する奥行き圧縮関数ｆｔ＿１およびフレーム＃Ｎに対する奥行き圧縮関数ｆｔ＿ｎがそれぞれ生成される。
また、処理の効率化のため、図４に示された例では、キーフレーム＃１から＃Ｎまでの各フレームのうち、キーフレームであるフレーム＃１および＃Ｎに対する、奥行き推定部１５による奥行き情報の生成処理、および奥行き圧縮関数生成部１６による奥行き圧縮関数の生成処理は、キーフレームでないフレーム、すなわちフレーム＃１から＃Ｎ－１までの各フレームに対する奥行き情報の生成処理および奥行き圧縮関数の生成処理に対して優先的に実施されるように、処理順序制御部１４による処理順序の制御がなされる。
この結果、図４に示された例では、キーフレームであるフレーム＃１および＃Ｎに係るフレームに対する奥行き情報の生成処理および奥行き圧縮関数の生成処理が優先され、フレーム＃１、＃２、＃３、＃４、＃Ｎ、＃５、＃６、…、＃Ｎ－１の順で奥行き情報の生成処理が実施される。そして、図４に示された例では、フレーム＃１に対する奥行き圧縮関数ｆｔ＿１およびフレーム＃Ｎに対する奥行き圧縮関数ｆｔ＿ｎがそれぞれ生成される。
【0042】
そして、全フレームを対象とした奥行き圧縮関数の設定では、フレーム＃１とフレーム＃Ｎ－２との間の各フレームには、フレーム＃１に対する奥行き圧縮関数ｆｔ＿１が用いられ、フレーム＃Ｎから遡った２つのフレーム＃Ｎ－１および＃Ｎ－２には、上記生成された奥行き圧縮関数ｆｔ＿１と奥行き圧縮関数ｆｔ＿ｎとの間で徐々に変化させた、すなわちスムージングさせた奥行き圧縮関数が設定される。
【0043】
最終的に、奥行き圧縮処理部１７による奥行き圧縮処理が行なわれる際には、フレーム特定情報付加部１１により各フレームに付加されたフレーム特定情報の順に各フレームが、図４に示されるフレーム＃１、＃２、＃３、＃４、＃５、…、＃Ｎ－１、＃Ｎ、＃Ｎ＋１…のように整列し直され、この整列し直された各フレームについて奥行き圧縮処理がなされる。
【0044】
上記のスムージングさせた奥行き圧縮関数の設定において、奥行き圧縮関数ｆｔ＿１に対するキーフレーム＃１からの切り替え時のキーフレームのフレーム番号がＮである場合で、フレーム＃Ｎからみて１つ遡ったフレームに対応する奥行き圧縮関数をft_i、フレーム＃Ｎに対応する奥行き圧縮関数をft_n、このフレーム＃Ｎに対する１つ後のフレームに対応する奥行き圧縮関数をft_j、スムージングさせるフレームの範囲をkとした場合、フレーム番号(N-m)が付された各フレームに対応する奥行き圧縮関数ft_ｍについて説明する。
【0045】
「0＜m≦k」の場合、すなわちフレーム＃１からみたキーフレームの切り替え前における各フレームの奥行き圧縮関数ft_ｍは、以下の式（１）で示される。
ft_ｍ＝(m*ft_i+(k+1-m)*ft_n)/(k+1) …式（１）
また、「-k≦m＜0」の場合、すなわちフレーム＃１からみたキーフレームの切り替え後における各フレームの奥行き圧縮関数ft_ｍは、以下の式（２）で示される。
ft_ｍ＝((k+1+m)*ft_j+(-1*m)*ft_n)/(k+1) …式（２）
ft_ｍ＝(m*ft_i+(k+1-m)*ft_n)/(k+1) …式（１）
また、「-k≦m＜0」の場合、すなわちフレーム＃１からみたキーフレームの切り替え後における各フレームの奥行き圧縮関数ft_ｍは、以下の式（２）で示される。
ft_ｍ＝((k+1+m)*ft_j+(-1*m)*ft_n)/(k+1) …式（２）
【0046】
次に、上記のフレーム間差分の算出の例について説明する。図５は、フレーム間の差分の算出の一例を示す図である。
図５に示された例では、フレーム間差分算出部１２は、時系列上で連続する２つのフレーム、例えば図５の符号ａに対応するフレームＡと、図５の符号ｂに対応するフレームＢのそれぞれの画素を比較し、画素値に差分がある画素を差分が発生した画素として扱う。図５の符号ｂに対応するフレームＢと図５の符号ｃに対応するフレームＣについても同様である。
図５に示された例では、フレーム間差分算出部１２は、時系列上で連続する２つのフレーム、例えば図５の符号ａに対応するフレームＡと、図５の符号ｂに対応するフレームＢのそれぞれの画素を比較し、画素値に差分がある画素を差分が発生した画素として扱う。図５の符号ｂに対応するフレームＢと図５の符号ｃに対応するフレームＣについても同様である。
【0047】
フレーム間差分算出部１２は、連続するフレーム間のそれぞれの差分の絶対値を計算し、この絶対値に対応する画像を、図５の符号ｄおよびｅに対応する「差分画像」として計算する。符号ｄは、上記フレームＡとフレームＢとの間の差分の絶対値に対応する画像を示し、符号ｅは、上記フレームＢとフレームＣとの間の差分の絶対値に対応する画像を示す。
【0048】
フレーム間差分算出部１２は、上記符号ｄおよびｅに対応する「差分画像」間の論理積画像、すなわち図５の符号ｆで示される画像を計算する。
フレーム間差分算出部１２は、上記論理積の画像の二値化処理を行ない、この処理結果を、図５の符号ｆに対応する画像として出力する。つまり、フレーム間差分算出部１２は、時系列上で連続する２つのフレーム差分がある領域を算出することができる。
また、後処理として、フレーム間差分算出部１２は、上記算出された差分からノイズ（noise）を除外するような処理を行なってもよい。
フレーム間差分算出部１２は、上記論理積の画像の二値化処理を行ない、この処理結果を、図５の符号ｆに対応する画像として出力する。つまり、フレーム間差分算出部１２は、時系列上で連続する２つのフレーム差分がある領域を算出することができる。
また、後処理として、フレーム間差分算出部１２は、上記算出された差分からノイズ（noise）を除外するような処理を行なってもよい。
【0049】
図６は、本発明の一実施形態に係るデプスマップ生成装置のハードウエア構成の一例を示すブロック図である。
図６に示された例では、上記の実施形態に係るデプスマップ生成装置１００は、例えばサーバコンピュータ（server computer）またはパーソナルコンピュータ（personal computer）により構成され、ＣＰＵ（Central Processing Unit）等のハードウエアプロセッサ（hardware processor）１１１Ａを有する。そして、このハードウエアプロセッサ１１１Ａに対し、プログラムメモリ（program memory）１１１Ｂ、データメモリ（data memory）１１２、入出力インタフェース（interface）１１３及び通信インタフェース１１４が、バス（bus）１２０を介して接続される。
図６に示された例では、上記の実施形態に係るデプスマップ生成装置１００は、例えばサーバコンピュータ（server computer）またはパーソナルコンピュータ（personal computer）により構成され、ＣＰＵ（Central Processing Unit）等のハードウエアプロセッサ（hardware processor）１１１Ａを有する。そして、このハードウエアプロセッサ１１１Ａに対し、プログラムメモリ（program memory）１１１Ｂ、データメモリ（data memory）１１２、入出力インタフェース（interface）１１３及び通信インタフェース１１４が、バス（bus）１２０を介して接続される。
【0050】
通信インタフェース１１４は、例えば１つ以上の無線の通信インタフェースユニットを含んでおり、通信ネットワーク（network）ＮＷとの間で情報の送受信を可能にする。無線インタフェースとしては、例えば無線ＬＡＮ（Local Area Network）などの小電力無線データ通信規格が採用されたインタフェースが使用される。
【0051】
入出力インタフェース１１３には、デプスマップ生成装置１００に付設される、利用者などにより用いられる入力デバイス（device）２００および出力デバイス３００が接続される。
入出力インタフェース１１３は、キーボード、タッチパネル（touch panel）、タッチパッド（touchpad）、マウス（mouse）等の入力デバイス２００を通じて利用者などにより入力された操作データを取り込むとともに、出力データを液晶または有機ＥＬ（Electro Luminescence）等が用いられた表示デバイスを含む出力デバイス３００へ出力して表示させる処理を行なう。なお、入力デバイス２００および出力デバイス３００には、デプスマップ生成装置１００に内蔵されたデバイスが使用されてもよく、また、ネットワークＮＷを介してデプスマップ生成装置１００と通信可能である他の情報端末の入力デバイスおよび出力デバイスが使用されてもよい。
入出力インタフェース１１３は、キーボード、タッチパネル（touch panel）、タッチパッド（touchpad）、マウス（mouse）等の入力デバイス２００を通じて利用者などにより入力された操作データを取り込むとともに、出力データを液晶または有機ＥＬ（Electro Luminescence）等が用いられた表示デバイスを含む出力デバイス３００へ出力して表示させる処理を行なう。なお、入力デバイス２００および出力デバイス３００には、デプスマップ生成装置１００に内蔵されたデバイスが使用されてもよく、また、ネットワークＮＷを介してデプスマップ生成装置１００と通信可能である他の情報端末の入力デバイスおよび出力デバイスが使用されてもよい。
【0052】
プログラムメモリ１１１Ｂは、非一時的な有形の記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリ（non-volatile memory）と、ＲＯＭ（Read Only Memory）等の不揮発性メモリとが組み合わせて使用されたもので、一実施形態に係る各種制御処理等を実行する為に必要なプログラムが格納されている。
【0053】
データメモリ１１２は、有形の記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリ（volatile memory）とが組み合わせて使用されたもので、各種処理が行なわれる過程で取得および作成された各種データが記憶される為に用いられる。
【0054】
本発明の一実施形態に係るデプスマップ生成装置１００は、ソフトウエア（software）による処理機能部として、図１に示されるフレーム特定情報付加部１１、フレーム間差分算出部１２、キーフレーム決定部１３、処理順序制御部１４、奥行き推定部１５、奥行き圧縮関数生成部１６、および奥行き圧縮処理部１７を有するデータ処理装置として構成され得る。
【0055】
デプスマップ生成装置１００の各部によるワークメモリなどとして用いられる各情報記憶部は、図６に示されたデータメモリ１１２が用いられることで構成され得る。ただし、これらの構成される記憶領域はデプスマップ生成装置１００内に必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウド（cloud）に配置されたデータベースサーバ（database server）等の記憶装置に設けられた領域であってもよい。
【0056】
上記のフレーム特定情報付加部１１、フレーム間差分算出部１２、キーフレーム決定部１３、処理順序制御部１４、奥行き推定部１５、奥行き圧縮関数生成部１６、および奥行き圧縮処理部１７の各部における処理機能部は、いずれも、プログラムメモリ１１１Ｂに格納されたプログラムを上記ハードウエアプロセッサ１１１Ａにより読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部または全部は、特定用途向け集積回路（ＡＳＩＣ（Application Specific Integrated Circuit））またはＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式によって実現されてもよい。
【0057】
本発明の一実施形態に係るデプスマップ生成装置では、動画像における時系列に沿った前フレームと後フレームとの間の差分の領域の大きさが所定条件を満たして大きいときに、前フレームおよび後フレームをキーフレームとして決定し、前フレームから後フレームまでの各フレームの奥行きを推定し、キーフレームである前フレームおよび後フレームに対応する奥行き圧縮関数を生成し、前フレームに対応して生成された奥行き圧縮関数を、前フレームと後フレームとの間の、キーフレームでない各フレームに対応する奥行き圧縮関数として利用可能とする。
すなわち、本発明の一実施形態に係るデプスマップ生成装置では、効果的な3D表現に必要なデプスマップの奥行き圧縮処理にあたって、元映像の時系列でのフレーム間差分とデプスマップとの関連があることに着眼し、所定条件を満たす大きさのフレーム間差分が発生したタイミングで奥行き圧縮関数を更新する、すなわち新たな奥行き圧縮関数を生成することで、従来技術には無い、様々なバリエーション（variation）の映像における奥行き圧縮処理の最適化を実現することができる。
すなわち、本発明の一実施形態に係るデプスマップ生成装置では、効果的な3D表現に必要なデプスマップの奥行き圧縮処理にあたって、元映像の時系列でのフレーム間差分とデプスマップとの関連があることに着眼し、所定条件を満たす大きさのフレーム間差分が発生したタイミングで奥行き圧縮関数を更新する、すなわち新たな奥行き圧縮関数を生成することで、従来技術には無い、様々なバリエーション（variation）の映像における奥行き圧縮処理の最適化を実現することができる。
【0058】
また、上記デプスマップ生成装置は、奥行き圧縮関数の更新時には、新たなキーフレームから遡った一定の時間にわたる各フレームについて、スムージングによる奥行き圧縮関数を設定することができる。これにより、奥行き圧縮関数の更新が行われるキーフレームでの奥行き圧縮関数急激な変化を抑止し、より違和感のない3D視聴を実現することができる。
【0059】
また、各実施形態に記載された手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク（Floppy disk）、ハードディスク（hard disk）等）、光ディスク（optical disc）（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ（Flash memory）等）等の記録媒体に格納し、また通信媒体により伝送して頒布され得る。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブル（table）、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
【0060】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0061】
１００…デプスマップ生成装置
１１…フレーム特定情報付加部
１２…フレーム間差分算出部
１３…キーフレーム決定部
１４…処理順序制御部
１５…奥行き推定部
１６…奥行き圧縮関数生成部
１７…奥行き圧縮処理部
１１…フレーム特定情報付加部
１２…フレーム間差分算出部
１３…キーフレーム決定部
１４…処理順序制御部
１５…奥行き推定部
１６…奥行き圧縮関数生成部
１７…奥行き圧縮処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】