▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
特許7105062画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-13
(45)【発行日】2022-07-22
(54)【発明の名称】画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
(51)【国際特許分類】
H04N 19/597 20140101AFI20220714BHJP
H04N 19/126 20140101ALI20220714BHJP
H04N 19/172 20140101ALI20220714BHJP
【ＦＩ】
H04N19/597
H04N19/126
H04N19/172
【請求項の数】
17
(21)【出願番号】P 2017244861
(22)【出願日】2017-12-21
(65)【公開番号】P2019114842
(43)【公開日】2019-07-11
【審査請求日】2020-06-18
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【弁理士】
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】中田 征志
(72)【発明者】
【氏名】松井 康範
【審査官】久保 光宏
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２２２５３４（ＵＳ，Ａ１）
【文献】特開２００９－１６３７１７（ＪＰ，Ａ）
【文献】欧州特許出願公開第２６９３７５３（ＥＰ，Ａ１）
【文献】特開平６－３５１００６（ＪＰ，Ａ）
【文献】David Eigen, et al.，"Depth Map Prediction from a Single Image using a Multi-Scale Deep Network"，arXiv:1406.2283v1，version v1，[online], arXiv (Cornell University)，2014年06月09日，Pages 1-9，[令和3年6月14日検索], インターネット, <URL: https://arxiv.org/abs/1406.2283v1>.
【文献】Ayan Chakrabarti, et al.，"Depth from a Single Image by Harmonizing Overcomplete Local Network Predictions"，arXiv:1605.07081v2，version v2，[online], arXiv (Cornell University)，2016年09月07日，Pages 1-9，[令和3年6月14日検索], インターネット, <URL: https://arxiv.org/abs/1605.07081v2>.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
Ｈ０４Ｎ１３／００－１３／３９８
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するデプス画像取得部と、前記被写体の撮影画像のデータを取得する撮影画像取得部と、
前記デプス画像の実測されたデータを、前記撮影画像に基づき得られるデプス画像のデータを用いて圧縮するデプス画像圧縮部と、
前記撮影画像のデータと、圧縮されたデプス画像のデータを出力する出力部と、
を備え、
前記デプス画像圧縮部は、圧縮後のデータとして、圧縮対象のデプス画像と、前記撮影画像に基づき得られるデプス画像との差分画像を生成したうえ、前記圧縮対象のデプス画像における画素値が表す距離に応じて、単位距離当たりの階調数を異ならせて、前記差分画像における画素値を量子化することを特徴とする画像処理装置。
【請求項2】
前記デプス画像圧縮部は、前記差分画像として、圧縮対象のデプス画像と、２つの前記撮影画像における対応点の視差に基づき演算により求めたデプス画像との差分画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記デプス画像圧縮部は、圧縮対象のデプス画像における被写体の像の領域において、当該被写体の距離に応じた単位距離当たりの階調数を割り当てたうえ、前記差分画像におけるその像の画素値を量子化することを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記デプス画像圧縮部は、被写体の存在しない距離範囲における単位距離当たりの階調数が、被写体の存在する距離範囲における単位距離当たりの階調数より小さくなるように、前記差分画像における画素値を量子化することを特徴とする請求項３に記載の画像処理装置。
【請求項5】
前記デプス画像圧縮部は、圧縮対象のデプス画像における画素値が表す距離が小さいほど、単位距離当たりの階調数を大きくして、前記差分画像における画素値を量子化することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項6】
前記デプス画像圧縮部は、量子化前後の画素値の対応関係を表す情報をさらに生成することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項7】
前記デプス画像取得部は、前記カメラが異なる視点から実測した、複数のデプス画像のデータを取得し、前記デプス画像圧縮部は、前記差分画像を、前記複数のデプス画像のそれぞれに対し生成することを特徴とする請求項１に記載の画像処理装置。
【請求項8】
前記デプス画像圧縮部は、前記視差に基づくデプス画像を、前記圧縮対象のデプス画像が実測された際の視点からのデプス画像に変換したうえで、当該圧縮対象のデプス画像との差分画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項9】
機械学習機能を備えることにより撮影画像のデータに基づき対応するデプス画像のデータを提供するサーバに接続する通信部をさらに備え、前記デプス画像圧縮部は、前記サーバに前記撮影画像のデータを送信することにより、対応するデプス画像のデータを取得し、当該デプス画像と圧縮対象のデプス画像との差分画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項10】
被写体の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像と前記撮影画像に基づき得られるデプス画像との差分画像のデータと、を取得する画像データ取得部と、前記差分画像に、前記撮影画像に基づき得られるデプス画像を加算することにより、前記カメラが実測したデプス画像のデータを取得するデプス画像伸張部と、
少なくとも前記カメラが実測した前記デプス画像のデータを用いて所定の処理を行い結果を出力する出力部と、
を備え、
前記画像データ取得部は、前記撮影画像のデータより小さいフレームレートで、画素値が量子化された前記差分画像のデータと量子化前後の画素値の対応関係を表す情報とを取得し、
前記デプス画像伸張部は、前記差分画像の画素値を、前記対応関係を表す情報に基づき量子化前の画素値に戻し、前記撮影画像から取得した動きベクトルまたは前記撮影画像のデータに基づき得られるデプス画像から取得した動きベクトルに基づき、前記カメラが実測したデプス画像を時間軸上で補間することを特徴とするコンテンツ処理装置。
【請求項11】
前記デプス画像伸張部は、前記差分画像に、２つの前記撮影画像における対応点の視差に基づき演算により求めたデプス画像を加算することを特徴とする請求項１０に記載のコンテンツ処理装置。
【請求項12】
機械学習機能を備えることにより撮影画像のデータに基づき対応するデプス画像のデータを提供するサーバに接続する通信部をさらに備え、前記デプス画像伸張部は、前記サーバに前記撮影画像のデータを送信することにより、対応するデプス画像のデータを取得し、当該デプス画像と前記差分画像を加算することにより、前記カメラが実測したデプス画像のデータを取得することを特徴とする請求項１０に記載のコンテンツ処理装置。
【請求項13】
被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータと、前記被写体の撮影画像のデータを伝送する画像処理装置と、伝送されたデータを用いて情報処理を実施するコンテンツ処理装置と、を含むコンテンツ処理システムであって、前記画像処理装置は、
前記カメラが実測したデプス画像と、前記撮影画像に基づき得られるデプス画像との差分画像を生成したうえ、前記カメラが実測したデプス画像における画素値が表す距離に応じて、単位距離当たりの階調数を異ならせて、前記差分画像における画素値を量子化するデプス画像圧縮部と、
前記撮影画像のデータと、前記差分画像のデータと、を出力する出力部と、
を備え、
前記コンテンツ処理装置は、
前記差分画像に、前記撮影画像に基づき得られるデプス画像を加算することにより、前記カメラが実測したデプス画像のデータを取得するデプス画像伸張部と、
少なくとも前記カメラが実測した前記デプス画像のデータを用いて所定の処理を行い結果を出力する出力部と、
を備え、
前記デプス画像伸張部は、前記差分画像のデータとともに取得した、量子化前後の画素値の対応関係を表す情報に基づき、前記差分画像の画素値を量子化前の値に戻すことを特徴とするコンテンツ処理システム。
【請求項14】
被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するステップと、前記被写体の撮影画像のデータを取得するステップと、
前記デプス画像の実測されたデータを、前記撮影画像に基づき得られるデプス画像のデータを用いて圧縮するステップと、
前記撮影画像のデータと、圧縮されたデプス画像のデータを出力するステップと、
を含み、
前記圧縮するステップは、圧縮後のデータとして、圧縮対象のデプス画像と、前記撮影画像に基づき得られるデプス画像との差分画像を生成したうえ、前記圧縮対象のデプス画像における画素値が表す距離に応じて、単位距離当たりの階調数を異ならせて、前記差分画像における画素値を量子化することを特徴とする、画像処理装置による画像処理方法。
【請求項15】
被写体の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像と前記撮影画像に基づき得られるデプス画像との差分画像のデータと、を取得するステップと、前記差分画像に、前記撮影画像に基づき得られるデプス画像を加算することにより、前記カメラが実測したデプス画像のデータを取得するステップと、
少なくとも前記カメラが実測した前記デプス画像のデータを用いて所定の処理を行い結果を出力するステップと、
を含み、
前記差分画像のデータを取得するステップは、前記撮影画像のデータより小さいフレームレートで、画素値が量子化された前記差分画像のデータと量子化前後の画素値の対応関係を表す情報とを取得し、
前記カメラが実測したデプス画像のデータを取得するステップは、前記差分画像の画素値を、前記対応関係を表す情報に基づき量子化前の画素値に戻し、前記撮影画像から取得した動きベクトルまたは前記撮影画像のデータに基づき得られるデプス画像から取得した動きベクトルに基づき、前記カメラが実測したデプス画像を時間軸上で補間することを特徴とする、コンテンツ処理装置による画像処理方法。
【請求項16】
被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得する機能と、前記被写体の撮影画像のデータを取得する機能と、
前記デプス画像の実測されたデータを、前記撮影画像に基づき得られるデプス画像のデータを用いて圧縮する機能と、
前記撮影画像のデータと、圧縮されたデプス画像のデータを出力する機能と、
をコンピュータに実現させ、
前記圧縮する機能は、圧縮後のデータとして、圧縮対象のデプス画像と、前記撮影画像に基づき得られるデプス画像との差分画像を生成したうえ、前記圧縮対象のデプス画像における画素値が表す距離に応じて、単位距離当たりの階調数を異ならせて、前記差分画像における画素値を量子化することを特徴とするコンピュータプログラム。
【請求項17】
被写体の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像と前記撮影画像に基づき得られるデプス画像との差分画像のデータと、を取得する機能と、前記差分画像に、前記撮影画像に基づき得られるデプス画像を加算することにより、前記カメラが実測したデプス画像のデータを取得する機能と、
少なくとも前記カメラが実測した前記デプス画像のデータを用いて所定の処理を行い結果を出力する機能と、
をコンピュータに実現させ、
前記差分画像のデータを取得する機能は、前記撮影画像のデータより小さいフレームレートで、画素値が量子化された前記差分画像のデータと量子化前後の画素値の対応関係とを表す情報を取得し、
前記カメラが実測したデプス画像のデータを取得する機能は、前記差分画像の画素値を、前記対応関係を表す情報に基づき量子化前の画素値に戻し、前記撮影画像から取得した動きベクトルまたは前記撮影画像のデータに基づき得られるデプス画像から取得した動きベクトルに基づき、前記カメラが実測したデプス画像を時間軸上で補間することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データの圧縮を含む処理を行う画像処理装置、画像データを利用した処理を行うコンテンツ処理装置、それらを含むコンテンツ処理システム、および、それらでなされる画像処理方法に関する。
【背景技術】
【0002】
ＶＲ（Virtual Reality: 仮想現実）やＡＲ（Augmented Reality: 拡張現実）の技術の発展に伴い、立体視を実現するステレオ画像などのカラー画像に加え、撮像面から被写体までの距離の情報、いわゆるデプス情報が重要視されるようになってきた。デプス情報により、実物体をポリゴンで表現したり、視線が動いても違和感のない立体映像を表示したりできるようになり、より臨場感、没入感のあるコンテンツを実現できる。またデプス情報は、映像として表された空間に仮想オブジェクトとしてのボールを投げ込むなど、ＶＲ空間、ＡＲ空間でのユーザの行動に対するインタラクションの実現においても重要である。
【0003】
精度の高いデプス情報を得るため、近赤外線などの参照光を照射し、その反射光を検出するまでの時間に基づきデプス情報を得る手法や、反射光の分布のひずみや強度に基づきデプス情報を得る手法など、様々な測定手法が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、そのような測距センサにより得たデプス情報を、表示などに用いるカラーの撮影画像のデータとともにホスト端末などに伝送するようにすると、通信帯域の制限により即時性が損なわれたり画質が劣化したりすることが考えられる。例えば従来、カラー画像のデータのみを伝送していた通信帯域を用いてデプス情報をも送信しようとすれば、当然、カラー画像の解像度を低下させたり圧縮率を高めたりする措置が必要となり、画質が劣化しやすくなる。このような問題は、インターネットなどの大規模ネットワークを利用したり、無線通信を利用したりする場合には顕在化しやすい。
【0005】
本発明はこうした課題に鑑みてなされたものであり、その目的は、実測されたデプス情報を用いた高精度な処理を、伝送するデータサイズを増大させずに実現できる技術を提供することにある。
【課題を解決するための手段】
【0006】
本発明のある態様は画像処理装置に関する。この画像処理装置は、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するデプス画像取得部と、被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得する撮影画像取得部と、デプス画像のデータを、複数の撮影画像のデータを用いて圧縮するデプス画像圧縮部と、複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力する出力部と、を備えたことを特徴とする。
【0007】
ここで「画像処理装置」は、情報処理端末、情報処理装置、ネットワークで各種装置に接続可能なサーバなど、画像処理を実施する装置そのもの、およびそれらの装置の一部を構成する集積回路などのいずれでもよい。あるいは「画像処理装置」は、撮像装置であってもよいし、その一部を構成する集積回路でもよい。
【0008】
本発明の別の態様はコンテンツ処理装置に関する。このコンテンツ処理装置は、被写体を異なる視点から撮影してなる複数の撮影画像のデータと、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得する画像データ取得部と、圧縮後のデプス画像のデータを、複数の撮影画像のデータを用いて伸張するデプス画像伸張部と、少なくとも伸張されたデプス画像のデータを用いて所定の処理を行い結果を出力する出力部と、を備えたことを特徴とする。
【0009】
ここで「コンテンツ処理装置」は、ヘッドマウントディスプレイ、情報端末、情報処理装置、ネットワークで各種装置に接続可能なサーバなど、コンテンツを処理する装置そのもの、およびそれらの装置の一部を構成する集積回路などのいずれでもよい。
【0010】
本発明のさらに別の態様はコンテンツ処理システムに関する。このコンテンツ処理システムは、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータと、被写体を異なる視点から撮影してなる複数の撮影画像のデータを伝送する画像処理装置と、デプス画像のデータと撮影画像のデータを用いて情報処理を実施するコンテンツ処理装置と、を含むコンテンツ処理システムであって、画像処理装置は、デプス画像のデータを、複数の撮影画像のデータを用いて圧縮するデプス画像圧縮部と、複数の撮影画像のデータと、圧縮後のデプス画像のデータを出力する出力部と、を備え、コンテンツ処理装置は、圧縮後のデプス画像のデータを、複数の撮影画像のデータを用いて伸張するデプス画像伸張部と、少なくとも伸張された前記デプス画像のデータを用いて所定の処理を行い結果を出力する出力部と、を備えたことを特徴とする。
【0011】
本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は画像処理装置が、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するステップと、被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得するステップと、デプス画像のデータを、複数の撮影画像のデータを用いて圧縮するステップと、複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力するステップと、を含むことを特徴とする。
【0012】
本発明のさらに別の態様も画像処理方法に関する。この画像処理方法はコンテンツ処理装置が、被写体を異なる視点から撮影してなる複数の撮影画像のデータと、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得するステップと、圧縮後のデプス画像のデータを、前記複数の撮影画像のデータを用いて伸張するステップと、少なくとも伸張されたデプス画像のデータを用いて所定の処理を行い結果を出力するステップと、を含むことを特徴とする。
【0013】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0014】
本発明によると、伝送するデータサイズを増大させずに撮影画像を用いた高精度な情報処理を実現できる。
【図面の簡単な説明】
【0015】
【図1】本実施の形態のコンテンツ処理システムの構成例を示す図である。
【図2】本実施の形態における画像処理装置の内部回路構成を示す図である。
【図3】本実施の形態における画像処理装置とコンテンツ処理装置の機能ブロックの構成を示す図である。
【図4】本実施の形態において、ステレオ画像を用いて演算より求めたデプス画像と、デプスカメラにより実測されたデプス画像との差分画像を利用する場合の、デプス画像圧縮部とデプス画像伸張部の機能ブロックの構成と処理の流れを示す図である。
【図5】本実施の形態において、被写体の距離に応じてデプス画像の画素値である距離値の階調数を変化させる場合の、デプス画像圧縮部とデプス画像伸張部の機能ブロックの構成と処理の流れを示す図である。
【図6】本実施の形態においてデプス画像の伸張に用いる、量子化前後の画素値の対応情報を説明するための図である。
【図8】本実施の形態におけるデプス画像圧縮部およびデプス画像伸張部が、サーバから取得できるデータを利用してデプス画像を圧縮／伸張する場合の機能ブロックを示す図である。
【図9】本実施の形態においてデプス画像のフレームレートをステレオ画像より低くする態様における、コンテンツ処理装置のデプス画像伸張部の機能ブロックの構成と処理の流れを示す図である。
【図10】変形例における撮像装置の俯瞰図を模式的に示す図である。
【図11】変形例における撮像装置の素子構造を示す図である。
【発明を実施するための形態】
【0016】
図１は本実施の形態を適用できるコンテンツ処理システムの構成例を示す。コンテンツ処理システム１は、実空間を撮影する撮像装置１２、撮影画像を処理し伝送する形態に変換する画像処理装置１０、伝送された撮影画像を用いて所定の情報処理を実施するコンテンツ処理装置１４、および情報処理の結果を出力する表示装置１６を含む。画像処理装置１０とコンテンツ処理装置１４は必要に応じてネットワーク８を介し通信を確立する。
【0017】
画像処理装置１０と撮像装置１２、コンテンツ処理装置１４と表示装置１６はそれぞれ、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。あるいは画像処理装置１０と撮像装置１２、コンテンツ処理装置１４と表示装置１６はそれぞれ、一体的な装置であってもよい。例えば画像処理装置１０と撮像装置１２を合わせて、ネットワーク８への伝送機能を有する撮像装置としてもよいし、コンテンツデータを配信するサーバとしてもよい。またコンテンツ処理装置１４と表示装置１６を合わせて、携帯端末やヘッドマウントディスプレイとしてもよい。
【0018】
さらに画像処理装置１０とコンテンツ処理装置１４を接続するネットワーク８は、インターネットのように大規模ネットワークでもよいし、有線あるいは無線により確立されたＬＡＮなどのローカルなネットワークでもよい。このように撮像装置１２、画像処理装置１０、コンテンツ処理装置１４、および表示装置１６の外観形状や接続形態は図示するものに限らない。
【0019】
撮像装置１２は、被写空間を所定のフレームレートで撮影するステレオカメラ１８と、同じ被写空間における被写体までの距離の情報を所定のフレームレートで取得するデプスカメラ１９を備える。ステレオカメラ１８はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子と、その出力データにデモザイク処理、レンズ歪み補正、色補正などを施し、撮影画像のデータを生成する画像処理機構を含むビデオカメラを、所定の間隔で左右に配置した構造を有する。
【0020】
デプスカメラ１９は被写空間に近赤外線などの参照光を照射する機構と、その反射光を検出するＣＭＯＳセンサとで構成され、照射から検出までの時間や、反射光の分布のひずみなどにより被写体までの距離を導出する。前者の手法はＴｏＦ（Time of Flight）方式、後者の手法はパターン照射方式として一般に知られる技術である。ただしデプスカメラの構成や距離の導出手法をこれに限る趣旨ではない。いずれにしろ撮像装置１２は、左右の視点から撮影された一対のカラー画像からなるステレオ画像と、それに対応するデプス画像のデータを、所定のレートで画像処理装置１０に供給する。
【0021】
なおデプス画像は、被写体の像の画素値として距離値を表した画像である。また同図の撮像装置１２は、ステレオカメラ１８のセンサの中間にデプスカメラ１９のセンサを配置しているが、各センサの配置や数はこれに限定されない。例えばデプスカメラも左右の視点から撮影するステレオカメラとして、カラー画像を撮影するステレオカメラと上下に近接するように配置してもよいし、カラー画像を撮影するステレオカメラがデプス画像を撮影するカメラを兼ねていてもよい。なお以後の説明では、デプス画像でない一般的な撮影画像の対を「ステレオ画像」と呼ぶ。
【0022】
画像処理装置１０は、撮像装置１２から供給された画像のデータを圧縮して伝送形態としたうえ、所定のレートでコンテンツ処理装置１４に送信する。具体的にはステレオ画像とデプス画像が有する冗長性を利用することで、デプス画像のデータサイズを軽減させる。例えばステレオ画像を用いて演算によりデプス画像を求め、デプスカメラにより実測された結果であるデプス画像との差分画像を圧縮後のデプス情報のデータとする。
【0023】
コンテンツ処理装置１４は、そのように送信されたデータのうち圧縮されているデプス情報を伸張することによりデプス画像を復元する。すなわちデプス情報として上述の差分画像が送信された場合、ステレオ画像を用いて演算によりデプス画像を求め、差分画像に加算することで実測されたデプス画像を復元する。コンテンツ処理装置１４は復元したデプス画像とステレオ画像を用いて情報処理を実施したり、表示画像や音声などの出力データを生成したりする。
【0024】
ここで出力データの内容は特に限定されず、ユーザがシステムに求める機能や起動させたアプリケーションの内容などによって様々であってよい。コンテンツ処理装置１４は例えば、表示装置１６の左右の領域にステレオ画像が表示されるように画像を接続したうえ、被写体とインタラクションする仮想オブジェクトを、デプス画像が表す距離値に基づき描画する。あるいは被写体の実空間での動きをデプス画像から取得し、それをコマンド入力に変換することでゲームを進捗させ、当該ゲーム画面を生成してもよい。
【0025】
表示装置１６は、画像を出力する液晶、プラズマ、有機ＥＬなどのディスプレイと、音声を出力するスピーカーを備え、コンテンツ処理装置１４から供給された出力データを画像や音声として出力する。表示装置１６は、テレビ受像器、各種モニター、携帯端末の表示画面、カメラの電子ファインダなどでもよいし、ユーザの頭に装着してその眼前に画像を表示するヘッドマウントディスプレイでもよい。
【0026】
一般的に、デプス画像をステレオ画像から生成する手法は広く知られている。具体的には、ステレオ画像における同じ像の対応点をブロックマッチングなどにより求め、その水平方向のずれ量から三角測量の原理により距離を導出する。しかしながらこの手法では、両画像の対応がブロックの単位となるため、デプス画像の解像度が低くなる。また被写体表面の特徴点の多少によって、マッチング精度、ひいてはデプス画像の精度が大きく変動する。
【0027】
本実施の形態では、実測されたデプス画像の利用を基本とするため、情報処理の精度を高く維持できる。また、同時に伝送されるステレオ画像などを利用してデータ圧縮を実現することにより、デプス画像の伝送に必要な帯域を抑えることができる。これにより、多くの帯域をカラーのステレオ画像の送信に利用できるため、画質を劣化させることなく高精度な処理を実現できる。
【0028】
図２は画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、外部の機器へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
【0029】
ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なおコンテンツ処理装置１４の内部回路構成もこれと同様でよい。
【0030】
図３は画像処理装置１０とコンテンツ処理装置１４の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図２で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメインメモリにロードした、画像解析機能、情報処理機能、画像描画機能、データ入出力機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0031】
画像処理装置１０は、撮像装置１２からステレオ画像のデータを取得するステレオ画像取得部５０、デプス画像のデータを取得するデプス画像取得部５２、ステレオ画像を用いてデプス画像のデータを圧縮するデプス画像圧縮部５４、および、ステレオ画像と圧縮後のデプス画像のデータを出力する出力部５６を含む。ステレオ画像取得部５０、デプス画像取得部５２はいずれも、図２の入力部３８、ＣＰＵ２３、メインメモリ２６などで実現され、前者はステレオ画像のデータを、後者はデプス画像のデータを、撮像装置１２から所定のフレームレートで順次取得する。ここでステレオ画像取得部５０は、被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得する撮影画像取得部を構成している。
【0032】
ステレオ画像取得部５０、デプス画像取得部５２はそれぞれ、撮像装置１２において露光が完了した行から順に、ストリーム形式でデータを取得してもよい。デプス画像圧縮部５４は、図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、デプス画像のデータサイズを圧縮する。具体的には上述のように、ステレオ画像を用いて演算より求めたデプス画像と、デプス画像取得部５２が取得したデプス画像との差分画像を生成する。あるいはデプス画像圧縮部５４は、被写体までの距離に応じて距離値を表すデータの、単位距離当たりの階調数を変化させて量子化してもよい。
【0033】
この際、デプス画像圧縮部５４は、ステレオ画像のいずれかにおける被写体の像を抽出し、被写体ごとにその距離範囲に応じた適切な階調数を割り当ててもよい。またデプス画像圧縮部５４は、ステレオ画像を用いて演算により求めたデプス画像と実測されたデプス画像との差分画像に対し、距離に応じた階調数の調整を実施してもよい。以後、差分画像や、単位距離当たりの階調数の調整がなされた画像およびそれに付随するデータを「圧縮後のデプス画像」と総称する。
【0034】
出力部５６は、図２のＣＰＵ２３、メインメモリ２６、通信部３２などで実現され、ステレオ画像取得部５０が取得したステレオ画像のデータと、デプス画像圧縮部５４が生成した圧縮後のデプス画像のデータを出力する。出力先はコンテンツ処理装置１４でもよいし、コンテンツ処理装置１４が読み取り可能な記録媒体でもよい。あるいは画像処理装置１０の記憶部３４に一旦格納しておき、コンテンツ処理装置１４からの要求に応じて送信するようにしてもよい。なお出力部５６は、出力対象のデータを一般的な手法により圧縮符号化したり、パケット化したりしてもよい。
【0035】
コンテンツ処理装置１４は、ステレオ画像と圧縮後のデプス画像のデータを取得する画像データ取得部６０、圧縮後のデプス画像を伸張するデプス画像伸張部６２、ステレオ画像とデプス画像のデータを用いて所定の情報処理を実施する情報処理部６４、および、情報処理の結果生成された表示画像や音声のデータを出力する出力部６６を含む。
【0036】
画像データ取得部６０は、図２の通信部３２、ＣＰＵ２３、メインメモリ２６などで実現され、画像処理装置１０からステレオ画像と圧縮後のデプス画像のデータを所定のフレームレートで順次取得する。記録媒体を介する場合は、画像データ取得部６０は記録媒体駆動部４０によりそれらの画像データを順次読み出す。記録媒体を用いる場合も、本実施の形態によって格納されるデータサイズを抑えることができる。なお画像データ取得部６０は、取得した画像のデータが一般的な手法により圧縮符号化されている場合は、それを復号することにより２次元の画像データに戻しておく。
【0037】
デプス画像伸張部６２は、図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、圧縮後のデプス画像を伸張して元のデプス画像を生成する。伸張処理の内容は基本的に、画像処理装置１０においてデプス画像圧縮部５４が行う圧縮処理を逆に辿る処理である。具体例は後述する。
【0038】
情報処理部６４は、図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、ステレオ画像と伸張後のデプス画像を用いて所定の情報処理を実施し、出力データを生成する。上述のとおり情報処理部６４が行う処理の内容は特に限定されない。出力部６６は図２のＣＰＵ２３、メインメモリ２６、出力部３６などで実現され、そのようにして生成された表示画像などの出力データを表示装置１６に出力する。なおコンテンツ処理装置１４のデプス画像伸張部６２は、ゲームや表示に係る処理を実施する装置とは独立した、画像データ伸張装置としてもよい。
【0039】
次に本実施の形態におけるデプス画像の圧縮手法／伸張手法について詳述する。図４は、本実施の形態の一態様として、ステレオ画像を用いて演算より求めたデプス画像と、デプスカメラにより実測されたデプス画像との差分画像を利用する場合の、デプス画像圧縮部５４とデプス画像伸張部６２の機能ブロックの構成と処理の流れを示している。この場合の画像処理装置１０におけるデプス画像圧縮部５４ａは、デプス画像演算部７０と差分画像取得部７２を含む。デプス画像演算部７０はステレオ画像８０を入力データとし、演算によりデプス画像を生成する。
【0040】
具体的には上述のとおり、ステレオマッチングにより両者の対応点を特定し、それらの視差から三角測量の原理により被写体までの距離を導出する。この際、一般的には、ステレオ画像の一方の画像に参照ブロックを設定し、他方の画像においてそれとの類似度が高いブロックを水平方向に探索する。その結果得られた視差に基づき距離値を算出し、参照ブロックを設定した方の画像にマッピングすることにより、対応する視点におけるデプス画像が生成される。
【0041】
差分画像取得部７２は、デプスカメラにより撮影されたデプス画像８２、およびデプス画像演算部７０が生成したデプス画像を入力データとし、両者の画素値の差を表した差分画像８４を生成する。差分画像取得部７２は実際には、従来の差分パルス符号変調（ＤＰＣＭ：Differential Pulse-Code Modulation）の技術に用いられる、動画像のフレーム間の差分を取得するのと同様の回路で実現できる。以降の図における差分画像取得部７２も同様である。画像処理装置１０は、このようにして生成された差分画像８４を圧縮後のデプス画像として、ステレオ画像８０のデータとともに出力する。
【0042】
一方、コンテンツ処理装置１４のデプス画像伸張部６２ａは、デプス画像演算部７４と差分画像加算部７６を含む。デプス画像演算部７４はステレオ画像８０を入力データとし、演算によりデプス画像を生成する。この処理は、画像処理装置１０のデプス画像圧縮部５４ａにおけるデプス画像演算部７０が行う処理と同様である。差分画像加算部７６は、圧縮後のデプス画像である差分画像８４、およびデプス画像演算部７４が生成したデプス画像を入力データとし、両者の画素値を加算して、撮像装置１２が実測したデプス画像８２と同等のデプス画像８６を生成する。差分画像加算部７６は実際には、上述の差分パルス符号変調において動画像のフレームをデコードする回路と同様の回路で実現できる。以降の図における差分画像加算部７６も同様である。
【0043】
デプス画像演算部７０、７４が上記の手法により生成するデプス画像は一般に、演算に用いたステレオ画像より解像度が低く、被写体表面における特徴点の多少によって精度がばらつきやすい。デプスカメラにより実測されたデプス画像８２との差分画像８４は、そのような解像度や精度の低下を補うものである。結果として差分画像８４を送信対象とすることにより、実測されたデプス画像８２より小さいデータサイズで、当該デプス画像８２と同等の情報を伝送できることになる。
【0044】
なお図では全ての画像が同じサイズで示されているが、ステレオ画像８０、デプス画像８２、差分画像８４のサイズや解像度は独立に設定してよい。差分画像の生成や加算に用いる画像のサイズ（解像度）が異なる場合は、既存の補間技術により適宜拡大、縮小した後、同じ位置の画素同士を演算すればよい。また撮像装置１２において、デプスカメラもステレオカメラで構成することにより、実測するデプス画像８２を左右視点からのステレオ画像としてもよい。
【0045】
この場合、デプス画像演算部７０が演算により生成した１つのデプス画像と、左右視点のデプス画像のそれぞれとの差分を計算することにより、差分画像８４も左右視点からのステレオ画像としてよい。すなわちデプス画像圧縮部５４ａは、差分画像８４を、複数のデプス画像のそれぞれに対し生成する。左右視点のデプス画像を実測することにより、一方の視点からは死角になる部分であっても他方の視点から距離が判明し、実世界のより広い範囲の距離情報を用いて精度の高い情報処理を行える。このような態様でも、双方のデプス画像を差分画像に圧縮すれば、送信データのサイズの増大を抑えることができる。
【0046】
あるいは、デプス画像演算部７０が演算により生成した１つのデプス画像における各被写体の像を、デプスカメラの左右の視点から見た状態となるようにずらすことで、実測された２つのデプス画像に対応する２つのデプス画像を生成してもよい。すなわちデプス画像圧縮部５４ａは、視差に基づく１つのデプス画像を、圧縮対象のデプス画像が実測された際の視点からの２つのデプス画像に変換したうえで、当該圧縮対象のデプス画像との差分を生成する。この場合、対応する視点のデプス画像同士を演算することで、差分ステレオ画像を生成できる。
【0047】
このように演算により求めたデプス画像における像を、デプスカメラの視点から見た状態となるようにずらす手法は、ステレオカメラとデプスカメラの位置関係が既知であれば、デプスカメラの数や位置によらず適用可能である。この処理により、実測したデプス画像と演算により求めたデプス画像の差分が小さくなり、データサイズをより抑えられる。被写体の距離情報に基づき、異なる視点からの画像を生成する手法には、一般的なコンピュータグラフィクスの技術を適用できる。
【0048】
図５は、本実施の形態の別の態様として、被写体の距離に応じてデプス画像の画素値である距離値の階調数を変化させる場合の、デプス画像圧縮部５４とデプス画像伸張部６２の機能ブロックの構成と処理の流れを示している。この場合の画像処理装置１０におけるデプス画像圧縮部５４ｂは、被写体認識部９０と階調割り当て部９２を含む。被写体認識部９０は、ステレオ画像のうち少なくとも一方の画像１００を用いて、画像として映る被写体を認識する。
【0049】
被写体認識部９０は例えば、エッジ抽出フィルタを用いて画像１００における輪郭線を抽出することで、被写体の像の領域を特定する。図示する例では、画像１００から顔、木、その他の背景領域が特定される。画像において被写体の像の領域を分離するセグメンテーション技術には、その他にも様々な手法が提案されており、本実施の形態においてそのうちのいずれを採用してもよい。例えば顔の領域には顔認識技術を導入してもよいし、既知形状の被写体にはテンプレートマッチングを導入してもよい。あるいはオプティカルフローなどの手法を利用し前の画像フレームからの物体追跡を行ってもよい。
【0050】
採用する認識手法によっては、実測されたデプス画像１０２やステレオ画像の双方を適宜利用してよい。なお被写体認識部９０による被写体認識は上述のとおり、距離に応じてデプス画像の画素値の階調数を割り当てることを目的としているため、厳密に全ての被写体の像を分離する必要はない。例えば複数の被写体が接している場合、両者を区別しなくても構わない。
【0051】
階調割り当て部９２は、デプスカメラにより撮影されたデプス画像１０２、および被写体認識部９０により認識された、各被写体の像の領域に基づき、デプス画像の画素値として表される距離値の単位距離当たりの階調数を、被写体ごとに決定する。デプス情報を利用した情報処理では、撮像装置から近くにある被写体ほどそのデプス情報に精度が求められる。つまり実世界では同じ移動量でも、画像上での移動量は撮像装置に近いほど大きくなる。また一般的な環境においては、ユーザなど主たる対象は他の被写体より撮像装置の近くに存在する可能性が高い。
【0052】
そのような実世界での状況を情報処理に正確に反映させるには、近くの被写体についての距離情報の分解能を高くすることが望ましい。換言すれば、遠い被写体であれば距離情報の分解能を抑えても情報処理の精度への影響が小さい。したがって階調割り当て部９２は、近い被写体ほど多くの階調数を割り当ててデプス画像１０２の画素値を量子化する。例えばデプス画像の画素値を表すビット深度に対し、顔の像の画素値には５割、背後の木の画素値には３割、それ以外の部分には２割、といった割合でビット数を割り当てる。このような割り当ては当然、距離が異なる被写体の数によっても変化する。
【0053】
これにより、デプス画像全体のデータサイズを増大させることなく、後段の情報処理おいて重要となる近距離の被写体については高い分解能での距離情報を提供できる。階調割り当て部９２は、オブジェクトごとに適切な階調数が割り当てられ量子化されたデプス画像１０４と、量子化前後の画素値の対応情報１０６とを、圧縮後のデプス画像のデータとする。画像処理装置１０は、当該圧縮後のデプス画像のデータとステレオ画像のデータを出力する。
【0054】
一方、コンテンツ処理装置１４のデプス画像伸張部６２ｂはデプス値取得部９６を含む。デプス値取得部９６は、圧縮後のデプス画像のデータ、すなわち距離に応じて階調数が調整されたデプス画像１０４と、量子化前後の画素値の対応情報１０６とを入力データとして、元のデプス画像１０８を復元する。すなわち画像処理装置１０から送信されたデプス画像１０４に表されている、距離によって分解能の異なる画素値のデータを、均等な分解脳でのデータに変換する。変換には、量子化前後の画素値の対応情報１０６を用いる。
【0055】
図６は、デプス画像の伸張に用いる、量子化前後の画素値の対応情報を説明するための図である。（ａ）に示す例は、上述のとおり認識した被写体の距離に基づき階調数を割り当てる場合の、実測された距離に対する量子化後の距離の変化を示している。なお厳密には、量子化後の値は離散的となるが、同図では連続した値として模式的に示している。また同グラフをもって対応情報の形式を限定する趣旨ではない。すなわちコンテンツ処理装置１４において、量子化後の値から量子化前の値を取得できれば、関数やルックアップテーブルなどデータ形式は限定されない。
【0056】
一般的な技術においては、（ａ）において一点鎖線で示した変化１８０のように、実測距離の値に正比例するように量子化後の距離が決定する。一方、本実施の形態では実線で示した変化１８２のように、被写体の存在する距離範囲に多くの階調を割り当て、かつ撮像装置１２からの距離が近いほど多くの階調を割り当てる。
【0057】
例えば図５で示した画像構成においては、最も撮像装置側にある顔の距離範囲、その背後にある木の距離範囲、最も背後にある壁などの距離範囲に、それぞれ階調数Ａ、Ｂ、Ｃを、Ａ＞Ｂ＞Ｃとなるように割り当てる。また被写体間の距離範囲（被写体の存在しない距離範囲）については階調数Ｃより小さい所定の階調数を割り当てる。これは被写体表面の凹凸や被写体同士の距離と比較し、被写体間の距離の刻みの重要性が低いことによる。
【0058】
なお「距離範囲」は、デプス画像において被写体の像の画素値として実際に表れる距離の範囲でもよいし、厚みなどを考慮して被写体の種類ごとにあらかじめ設定しておいてもよい。例えば被写体認識部９０が顔認識をした場合、顔面の凹凸の深さや頭部の厚さに係る一般的なデータを用いて設定してもよい。あるいは距離が近いほど距離範囲を大きくすることにより、移動や誤差の発生を当該範囲内で吸収できるようにしてもよい。階調数Ａ、Ｂ、Ｃの比率は例えば、被写体ごとの平均距離の逆数によって決定する。ただし被写体の距離範囲と、割り当てる階調数の決定規則はこれに限らない。
【0059】
いずれにしろデプス画像の画素値のビット深度を一般的な値ＤからＤ’に削減させたとしても、重要な被写体に与えられる階調数を増加させることができる。画像処理装置１０の階調割り当て部９２は、被写体の認識結果と距離範囲に応じて割り当てる階調数Ａ、Ｂ、Ｃを決定すれば、図示するように量子化前後の距離値を一意に対応づける情報を生成できる。コンテンツ処理装置１４のデプス値取得部９６は、当該情報を参照して、送信されたデプス画像が表す量子化後の距離から、実測された距離を取得することにより、元のデプス画像と同等の画像を生成できる。
【0060】
図６の（ｂ）は（ａ）の変形例として、被写体の存在やその距離にかかわらず、実測された距離に対する量子化後の距離の変化を固定とする場合の、当該変化の例を示している。この場合も定性的には、距離が近いほど多くの階調が割り当てられるようにしているが、実測距離に対し量子化後の距離を曲線状に変化させることにより、被写体の位置や数によらず適用できるようにしている。このようにすると、撮像装置の近傍に被写体がなくても一律に多くの階調が割り当てられてしまう可能性がある一方、被写体認識部９０の処理を省略できる。したがって、ユーザが撮像装置のすぐ前にいることが多いゲームなど、撮影環境や情報処理の内容によっては精度を維持したまま処理の高速化を図れる。
【0061】
図７は、本実施の形態のさらに別の態様として、図４で示した差分画像の画素値の階調数を、図５で示したように調整する場合の、デプス画像圧縮部５４とデプス画像伸張部６２の機能ブロックの構成と処理の流れを示している。この場合の画像処理装置１０におけるデプス画像圧縮部５４ｃは、デプス画像演算部７０、差分画像取得部７２、および階調割り当て部９２を含む。デプス画像演算部７０と差分画像取得部７２は、図４で示したデプス画像演算部７０と差分画像取得部７２と同じ機能を有する。
【0062】
すなわちデプス画像演算部７０はステレオ画像１１２からデプス画像を演算により求め、差分画像取得部７２は、実測されたデプス画像１１４と演算により求められたデプス画像との差分画像を生成する。階調割り当て部９２は、図５で示した階調割り当て部９２と同様の機能を有するが、差分画像取得部７２が生成した差分画像を処理対象とする。実測されたデプス画像と、ステレオ画像から演算して得られたデプス画像との差分においても、撮像装置１２からの距離が近い被写体ほど、その精度が情報処理の精度に影響を与えやすい。
【0063】
そのため差分画像についても、距離が近い被写体ほど多くの階調数を割り当てることで、主たる被写体に関する処理精度を向上させたり、画素値のビット深度を下げ差分画像のデータサイズをさらに圧縮したりすることができる。画像処理装置１０は、階調の調整がなされた差分画像１１６と量子化前後の画素値の対応情報１１８とを、圧縮後のデプス画像のデータとして、ステレオ画像１１２のデータとともに出力する。
【0064】
一方、コンテンツ処理装置１４のデプス画像伸張部６２ｃは、デプス画像演算部７４、差分値取得部１１０、および差分画像加算部７６を含む。デプス画像演算部７４と差分画像加算部７６は、図４で示したデプス画像演算部７４と差分画像加算部７６と同じ機能を有する。すなわちデプス画像演算部７４は、ステレオ画像１１２からデプス画像を演算により求め、差分画像加算部７６は、当該デプス画像と差分画像を加算することにより、元のデプス画像１１９を生成する。
【0065】
差分値取得部１１０は図５で示したデプス値取得部９６と同様の機能を有するが、単位差分当たりの階調数が調整された差分画像を処理対象とする。すなわち量子化前後の画素値の対応情報１１８を参照し、差分画像１１６が表す量子化後の差分値から実際の差分値を画素ごとに取得する。これにより復元された差分画像を差分画像加算部７６に入力することにより、図４で示したのと同様に、元のデプス画像１１９を生成できる。なお図７に示す例では、量子化前後の画素値の対応情報１１８を図６の（ｂ）に示した態様としたが、当然、（ａ）に示した態様としてもよい。この場合、デプス画像圧縮部５４ｃには被写体認識部９０を設ければよい。
【0066】
これまで例示したデプス画像圧縮部５４とデプス画像伸張部６２の機能の一部を、ネットワークを介して接続した別の装置が担うようにしてもよい。図８は、デプス画像圧縮部５４およびデプス画像伸張部６２が、サーバから取得できるデータを利用してデプス画像を圧縮／伸張する場合の機能ブロックを示している。この態様では、ネットワーク８にデプス画像提供サーバ１２０が接続されている。デプス画像提供サーバ１２０は、ネットワークを介して送信された撮影画像から、それに対応するデプス画像を生成し返信する機能を有する。
【0067】
近年、ニューラルネットワークを用いた機械学習としてディープラーニング（深層学習）の技術が実用化されつつある。当該技術を導入し、被写体の属性、色やその変化、像の形状、大きさ、画面構成などの撮影画像上の特性と、デプス情報との対応づけを、大量の撮影画像に基づき学習させておけば、１枚の撮影画像からデプス画像を推定することも可能である。デプス画像提供サーバ１２０はそのような機能により、画像処理装置１０およびコンテンツ処理装置１４から送信された撮影画像に基づきデプス画像を生成し、送信元に返信する。
【0068】
この場合、差分画像の生成やデプス画像の復元においては、ステレオ画像は必須でないため、撮像装置１２は、場合によっては単眼のカラー画像撮影用カメラとデプスカメラで構成することもできる。ただし表示にステレオ画像を利用する場合はこの限りではない。画像処理装置１０のデプス画像圧縮部５４ｄはデプス画像取得部１２２と差分画像取得部７２を含む。デプス画像取得部１２２は、撮像装置１２から取得した撮影画像のデータをデプス画像提供サーバ１２０に送信し、それに応じて返信されたデプス画像を取得する。
【0069】
差分画像取得部７２は、図４で示した差分画像取得部７２と同じ機能を有し、実測されたデプス画像１２６と、デプス画像提供サーバ１２０から送信されたデプス画像との差分画像１２８を生成する。なおこの態様においても図７で示した階調割り当て部９２を導入し、被写体の距離に応じて差分画像の階調数を調整してもよい。画像処理装置１０は、圧縮後のデプス画像のデータとカラーの撮影画像のデータを出力する。
【0070】
コンテンツ処理装置１４のデプス画像伸張部６２ｄは、デプス画像取得部１３０と差分画像加算部７６を含む。デプス画像取得部１３０は、カラーの撮影画像のデータをデプス画像提供サーバ１２０に送信し、それに応じて返信されたデプス画像を取得する。差分画像加算部７６は、図４で示した差分画像加算部７６と同じ機能を有する。すなわち差分画像加算部７６は、デプス画像提供サーバ１２０から送信されたデプス画像と画像処理装置１０から送信された差分画像１２８を加算することにより、元のデプス画像１３２を生成する。なお画像処理装置１０において、被写体の距離に応じた階調数の調整を行う場合は、デプス画像伸張部６２ｄに、図７で示した差分値取得部１１０の機能を導入する。
【0071】
これまで述べた態様は基本的に、ステレオ画像とデプス画像を同じフレームレートで取得、伝送していたが、デプス画像のフレームレートを低くすることにより、伝送データのサイズをさらに圧縮してもよい。図９は、デプス画像のフレームレートをステレオ画像より低くする態様における、コンテンツ処理装置１４のデプス画像伸張部６２の機能ブロックの構成と処理の流れを示している。
【0072】
この態様において画像処理装置１０は、コンテンツ処理装置１４に、ステレオ画像のデータを所定のフレームレートで送信するとともに、それより低いフレームレートで、圧縮されたデプス画像のデータを送信する。同図では圧縮されたデプス画像のデータとして、演算されたデプス画像との差分画像を想定しているが、被写体の距離に応じてデプス画像または差分画像の階調数が調整されたデータでもよい。デプス画像伸張部６２ｅは、デプス画像演算部７４、差分画像加算部７６、動き取得部１４０、および補間部１４２を含む。
【0073】
デプス画像演算部７４および差分画像加算部７６は、図４で示したデプス画像演算部７４および差分画像加算部７６と同じ機能を有する。すなわちデプス画像演算部７４は、ステレオ画像１４４からデプス画像を演算により求め、差分画像加算部７６は、当該デプス画像と差分画像１４６を加算することにより、元のデプス画像を生成する。ただしデプス画像演算部７４は、差分画像１４６と対応する時刻の画像フレームについてのみデプス画像を求めればよい。例えば差分画像１４６のフレームレートをステレオ画像の１／２倍とする場合、デプス画像演算部７４は、１フレームおきのステレオ画像を用いてデプス画像を求める。
【0074】
そして差分画像加算部７６が差分画像１４６と加算することにより、当該差分画像１４６と同じフレームレートで元のデプス画像を得ることができる。一方、動き取得部１４０は、ステレオ画像１４４のうち一方の画像のフレーム間差分をとることにより、被写体の動きベクトルを取得する。動画における被写体の動きベクトルを取得する手法は一般的な技術である。そして補間部１４２は、過去の動きベクトルを用いて次の時間ステップまでの動きを予測したうえ、差分画像加算部７６が生成した、低いフレームレートでのデプス画像に適用することにより、時間軸上でデプス画像を補間する。
【0075】
例えば差分画像１４６のフレームレートをステレオ画像の１／２倍とする場合、差分画像加算部７６により復元されたデプス画像の時間Δｔのフレーム間に、時間Δｔ／２分の予測される動きを与えたデプス画像のフレームを１つ生成して挿入する。これにより、伝送するデータのサイズをさらに少なくしながら、ステレオ画像１４４と同じフレームレートで精度の高いデプス画像１４８を生成できる。
【0076】
またステレオ画像とデプス画像のフレームレートを独立して設定できることから、各画像を撮影するカメラの撮影原理の差も加味してそれぞれに最適なフレームレートを選択でき、両者の画質を向上させることができる。なおフレームレートを独立に設定することによりステレオ画像とデプス画像の撮影タイミングが一致しない場合、デプス画像の撮影タイミングに最も近いタイミングで撮影されたステレオ画像を用いて差分画像を生成したりデプス画像を復元したりしてよい。
【0077】
一方、デプス画像演算部７４は、動きベクトルを取得する目的で、ステレオ画像１４４の全ての画像フレームについてデプス画像を生成してもよい。すなわち動き取得部１４０は、ステレオ画像の代わりに、演算により求められたデプス画像のフレーム間差分をとることにより動きベクトルを求める。この場合も補間部１４２の処理は上述と同様である。
【0078】
以上述べた本実施の形態によれば、撮影されたステレオ画像とデプス画像を用いて情報処理を行うシステムにおいて、データを送出する画像処理装置は、ステレオ画像から演算により求められるデプス画像を利用して、実測されたデプス画像のデータを圧縮する。圧縮データを取得したコンテンツ処理装置は、ステレオ画像から演算により求められるデプス画像を用いて、実測されたデプス画像を復元する。演算により求められるデプス画像と実測されたデプス画像は高い類似性を有するため、その差分画像は元の画素値より格段に少ない階調数で表すことができる。当該データを送信対象とすることにより、限られた伝送帯域を利用して、実測されたデプス画像に基づく高精度な情報処理を実現できる。
【0079】
また、実測されたデプス画像が示す被写体の距離に応じて、デプス画像あるいは差分画像の画素値を表す階調数を調整する。これによりビット深度を増大させることなく、情報処理において重要かつ精度に影響を与えやすい近距離の被写体について高い分解能での距離情報を伝送させることができる。さらに、圧縮されたデプス画像をステレオ画像より低いフレームレートで伝送させ、情報処理に用いる段階で、ステレオ画像を利用した動き補償により補間することで、伝送データのサイズをより小さくできる。
【0080】
以上のことから、表示に用いるカラー画像のデータや主たる被写体の距離情報など、重要なデータに優先して伝送帯域を割り当てることができ、高精度な情報処理や画像表示を、通信状況によらず安定的に実現できる。
【0081】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0082】
例えば本実施の形態では、撮像装置１２を一対のステレオカメラとデプスカメラからなる構成としたが、ステレオ画像とデプス画像を同時期に撮影できれば、撮像装置の構成は限定されない。また少なくとも演算によりデプス画像を生成できれば、デプス画像とともに撮影する画像はステレオ画像、カラー画像に限定されない。以下、撮像装置の変形例につい説明する。図１０は、変形例における撮像装置の俯瞰図を模式的に示している。
【0083】
図示する例で撮像装置１５０は、図と平行な水平面において光軸が放射状となるように複数のビデオカメラ（例えばビデオカメラ１５２）を環状に接続した構成を有する。運用時には撮像装置１５０を、環の中心を軸として水平面上で所定方向（例えば矢印の方向）に回動させる。なお同図では回動のための駆動機構について図示を省略している。このような構成により、各時刻において周囲の３６０°にある全ての被写体をいずれかのカメラの視野内に収めることができるうえ、視野が重ならない領域の被写体であっても、僅かな時間のずれで後続のカメラの視野に入れることができる。
【0084】
結果として、全方位にある被写体に対し、異なる視点からの画像が撮影されることを保証できる。例えば、図示するような構成のカラービデオカメラとデプスカメラを図の奥行き方向に対応する垂直方向に重ねてなる撮像装置を導入すれば、本実施の形態と同様にデプス画像を圧縮でき、より広域での画像をデータサイズの増大を抑えつつ伝送できる。なお周囲３６０°の画像が必要ない場合、撮像装置を構成するカメラの台数を減らすことができる。場合によっては１つのカメラを移動させることにより異なる視点からの画像を撮影していき、時間的に前後して撮影された２つの画像を、平均時刻におけるステレオ画像としてもよい。
【0085】
図１１は、別の変形例における撮像装置の素子構造を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。また同図では隣接した２画素分の断面構造を例示している。画素２１０はマイクロレンズ層２１２、カラーフィルタ層２１４、偏光子層２１６、および光電変換層２１８を含む。マイクロレンズ層２１２は画素ごとに設けられ入射した光を集光する。
【0086】
カラーフィルタ層２１４は、画素ごとに異なる色の光を透過する。偏光子層２１６は、複数の線状の導体部材、例えばタングステンやアルミなどの部材（ワイヤ）を入射光の波長より小さい間隔でストライプ状に配列させたワイヤグリッド型偏光子を含む。マイクロレンズ層２１２により集光されカラーフィルタ層２１４を透過した光が偏光子層２１６に入射すると、偏光子のラインと平行な方向の偏光成分は反射され、垂直な偏光成分のみが透過する。
【0087】
透過した偏光成分を光電変換層２１８で電荷に変換することにより偏光輝度が取得される。図示するようなワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などに開示されている。ただし偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。なお同図では偏光子として、図面の奥行き方向に伸張するワイヤの断面を表しているが、偏光子の主軸角度は４通りとし、それに応じてワイヤの向きも異なる。
【0088】
また図示するように偏光子層２１６には、画素によって偏光子を備える領域と備えない領域があってよい。偏光子を設けない領域では、カラーフィルタ層２１４を透過した光がそのまま光電変換層２１８に入射する。光電変換層２１８は一般的なフォトダイオードを含み、入射した光を電荷として出力する。図示するように１つのマイクロレンズに対しフォトダイオードを複数設けることにより、合焦レンズの異なる領域を透過した光を別々に電荷に変換する。そのようにして検出した光の位相差に基づき焦点検出を行う技術は位相差オートフォーカスの一手法として実用化されている（例えば特開２０１３－１０６１９４号公報参照）。
【0089】
また１画素に設けた複数のフォトダイオードによる検出値を合計すれば、一般的な撮像装置における１画素分の輝度が得られる。すなわち図１１に示した画素の素子構造によれば、一般的なカラー画像、複数方位の偏光画像、位相差画像を同時に得ることができる。ここで位相差画像は、画素ごとに設けた２つのフォトダイオードのうち一方の検出値のみを画素とする画像の対である。位相差画像における像の位置のずれ量は、焦点距離においては０となり、焦点距離から離れるほど大きくなる。また焦点距離より遠いか近いかでずれる方向が逆転する。
【0090】
画像処理装置はこの関係を利用して、位相差画像における像のずれ量から被写体の距離を取得できる。ただしずれ量を特定できることが前提となるため、距離が得られるのは被写体の輪郭線など特徴点の存在する部分に限定される。そこで、複数方位の偏光画像を用いて既存の手法により被写体表面の法線ベクトルを取得し、その結果から得られる表面の傾きに基づき距離値を補間すれば、被写体全体の距離値が得られる。
【0091】
すなわち図示する素子構造によれば、参照光の照射機構などを設けずとも、カラー画像と同一視点のデプス画像を取得できる。差分画像の生成に用いる、演算によるデプス画像の生成のためには、図示するような素子構造のカメラとは別に、一般的なカメラを導入して異なる視点から撮影させることによりステレオ画像を取得してもよい。あるいは図示するような素子構造を有する複数のカメラによりステレオ画像を取得してもよい。この場合、図１０で示したような構造の撮像装置としてもよい。
【0092】
また図示するような素子構造を有する１つのカメラを移動させてステレオ画像を取得したり、図８で示したデプス画像提供サーバ１２０を利用して、１つのカラー画像からデプス画像を取得したりしてもよい。いずれの場合も、本実施の形態で述べた画像処理装置およびコンテンツ処理装置を適用し同様の効果を得ることができる。
【符号の説明】
【0093】
１ コンテンツ処理システム、 １０ 画像処理装置、 １２ 撮像装置、 １４ コンテンツ処理装置、 １６ 表示装置、 １８ ステレオカメラ、 １９ デプスカメラ、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ３２ 通信部、 ３４ 記憶部、 ３６ 出力部、 ３８ 入力部、４０ 記録媒体駆動部、 ５０ ステレオ画像取得部、 ５２ デプス画像取得部、 ５４ デプス画像圧縮部、 ５６ 出力部、 ６０ 画像データ取得部、 ６２ デプス画像伸張部、 ６４ 情報処理部、 ６６ 出力部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】