ホーム > 特許ランキング > 株式会社ＪＶＣケンウッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126850
(43)【公開日】2024-09-20
(54)【発明の名称】三次元情報処理装置及び三次元情報処理方法
(51)【国際特許分類】
H04N 13/128 20180101AFI20240912BHJP
H04N 23/60 20230101ALI20240912BHJP
H04N 13/194 20180101ALI20240912BHJP
H04N 13/178 20180101ALI20240912BHJP
G03B 35/18 20210101ALI20240912BHJP
【ＦＩ】
H04N13/128
H04N23/60 500
H04N13/194
H04N13/178
G03B35/18
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023035558
(22)【出願日】2023-03-08
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社ＪＶＣケンウッド
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】小林 敏秀
(72)【発明者】
【氏名】後町 修
(72)【発明者】
【氏名】吉川 浩
(72)【発明者】
【氏名】▲鮭▼川 達弘
(72)【発明者】
【氏名】杉山 友樹
【テーマコード（参考）】
2H059
5C061
5C122
【Ｆターム（参考）】
2H059AC06
5C061AB06
5C061AB08
5C122EA68
5C122FA04
5C122FD03
5C122FE03
5C122FG03
5C122FH02
5C122FH07
5C122FH08
5C122FK21
5C122FK23
5C122GA34
5C122HA08
5C122HA88
(57)【要約】
【課題】カメラにより取得された三次元情報を好適に伝送する。
【解決手段】三次元情報処理装置は、二次元画像及び三次元情報を取得する三次元情報取得装置から情報を取得し、取得した二次元画像の一部の画素値を変更した二次元画像及び取得した三次元情報より量子化ビット数の小さい三次元情報を生成し、生成した情報を三次元情報表示装置に対して出力する三次元情報処理装置であって、三次元情報取得装置が三次元情報として取得可能な深さ方向の深度のうち三次元情報表示装置に表示させる深度の幅を指定する深度指定部と、三次元情報取得装置から取得された三次元情報の深度を示す量子化ビット数を、深度指定部により指定された深度の幅に基づいて低ビットに変換する変換部と、三次元情報取得装置から取得した二次元画像の画素に対応する深度が、深度指定部により指定された深度の幅から外れていた場合に、当該画素の画素値を変更する範囲外処理部とを備える。
【選択図】図２
【解決手段】三次元情報処理装置は、二次元画像及び三次元情報を取得する三次元情報取得装置から情報を取得し、取得した二次元画像の一部の画素値を変更した二次元画像及び取得した三次元情報より量子化ビット数の小さい三次元情報を生成し、生成した情報を三次元情報表示装置に対して出力する三次元情報処理装置であって、三次元情報取得装置が三次元情報として取得可能な深さ方向の深度のうち三次元情報表示装置に表示させる深度の幅を指定する深度指定部と、三次元情報取得装置から取得された三次元情報の深度を示す量子化ビット数を、深度指定部により指定された深度の幅に基づいて低ビットに変換する変換部と、三次元情報取得装置から取得した二次元画像の画素に対応する深度が、深度指定部により指定された深度の幅から外れていた場合に、当該画素の画素値を変更する範囲外処理部とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
二次元画像及び三次元情報を取得する三次元情報取得装置から情報を取得し、取得した二次元画像の一部の画素値を変更した二次元画像及び取得した三次元情報より量子化ビット数の小さい三次元情報を生成し、生成した情報を三次元情報表示装置に対して出力する三次元情報処理装置であって、
前記三次元情報取得装置が三次元情報として取得可能な深さ方向の情報である深度のうち前記三次元情報表示装置に表示させる深度の幅を指定する深度指定部と、
前記三次元情報取得装置から取得された三次元情報の深度の分解能を示す量子化ビット数を、前記深度指定部により指定された深度の幅に基づいて低ビットに変換する変換部と、
前記三次元情報取得装置から取得した二次元画像の画素に対応する前記深度が、前記深度指定部により指定された深度の幅から外れていた場合に、当該画素の画素値を変更する範囲外処理部と、
を備える三次元情報処理装置。
前記三次元情報取得装置が三次元情報として取得可能な深さ方向の情報である深度のうち前記三次元情報表示装置に表示させる深度の幅を指定する深度指定部と、
前記三次元情報取得装置から取得された三次元情報の深度の分解能を示す量子化ビット数を、前記深度指定部により指定された深度の幅に基づいて低ビットに変換する変換部と、
前記三次元情報取得装置から取得した二次元画像の画素に対応する前記深度が、前記深度指定部により指定された深度の幅から外れていた場合に、当該画素の画素値を変更する範囲外処理部と、
を備える三次元情報処理装置。
【請求項2】
前記深度指定部は、前記三次元情報表示装置に表示させる深度のうち手前側までの距離を示す最小値、及び奥側までの距離を示す最大値により、前記三次元情報表示装置に表示させる深度の幅を指定し、
前記範囲外処理部は、二次元画像の画素値を、前記最小値又は最大値と、当該画素に対応する深度とに応じた色に変換する
請求項１に記載の三次元情報処理装置。
前記範囲外処理部は、二次元画像の画素値を、前記最小値又は最大値と、当該画素に対応する深度とに応じた色に変換する
請求項１に記載の三次元情報処理装置。
【請求項3】
前記三次元情報処理装置は、一連の動画像データに含まれる複数の異なるフレーム画像についての二次元画像及び三次元情報についての処理を行い、
前記深度指定部は、第１のフレーム画像について適用される第１の深度の幅と、第２のフレーム画像について適用される第２の深度の幅と、前記第１の深度の幅から前記第２の深度の幅までの移行スピードとを指定する、
請求項１又は請求項２に記載の三次元情報処理装置。
前記深度指定部は、第１のフレーム画像について適用される第１の深度の幅と、第２のフレーム画像について適用される第２の深度の幅と、前記第１の深度の幅から前記第２の深度の幅までの移行スピードとを指定する、
請求項１又は請求項２に記載の三次元情報処理装置。
【請求項4】
前記深度指定部により指定された前記第１の深度の幅、前記第２の深度の幅、及び前記移行スピードに基づいて、二次元画像をズーム処理する第１電子ズーム部と、
前記深度指定部により指定された前記第１の深度の幅、前記第２の深度の幅、及び前記移行スピードに基づいて、三次元情報をズーム処理する第２電子ズーム部と、
を更に備え、
前記三次元情報処理装置は、一連の動画像データに含まれる複数の異なるフレーム画像であって、ズーム倍率が互いに異なる前記フレーム画像の二次元画像及び三次元情報についての処理を行い、
前記第１電子ズーム部は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行い、
前記第２電子ズーム部は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行う、
請求項３に記載の三次元情報処理装置。
前記深度指定部により指定された前記第１の深度の幅、前記第２の深度の幅、及び前記移行スピードに基づいて、三次元情報をズーム処理する第２電子ズーム部と、
を更に備え、
前記三次元情報処理装置は、一連の動画像データに含まれる複数の異なるフレーム画像であって、ズーム倍率が互いに異なる前記フレーム画像の二次元画像及び三次元情報についての処理を行い、
前記第１電子ズーム部は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行い、
前記第２電子ズーム部は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行う、
請求項３に記載の三次元情報処理装置。
【請求項5】
二次元画像及び三次元情報を取得する三次元情報取得装置から情報を取得し、取得した二次元画像の一部の画素値を変更した二次元画像及び取得した三次元情報より量子化ビット数の小さい三次元情報を生成し、生成した情報を三次元情報表示装置に対して出力する三次元情報処理方法であって、
前記三次元情報取得装置が三次元情報として取得可能な深さ方向の情報である深度のうち前記三次元情報表示装置に表示させる深度の幅を指定する深度指定工程と、
前記三次元情報取得装置から取得された三次元情報の深度を示す量子化ビット数を、前記深度指定工程により指定された深度の幅に基づいて低ビットに変換する変換工程と、
前記三次元情報取得装置から取得した二次元画像の画素に対応する深度が、前記深度指定工程により指定された深度の幅から外れていた場合に、当該画素の画素値を変更する範囲外処理工程と、
を有する三次元情報処理方法。
前記三次元情報取得装置が三次元情報として取得可能な深さ方向の情報である深度のうち前記三次元情報表示装置に表示させる深度の幅を指定する深度指定工程と、
前記三次元情報取得装置から取得された三次元情報の深度を示す量子化ビット数を、前記深度指定工程により指定された深度の幅に基づいて低ビットに変換する変換工程と、
前記三次元情報取得装置から取得した二次元画像の画素に対応する深度が、前記深度指定工程により指定された深度の幅から外れていた場合に、当該画素の画素値を変更する範囲外処理工程と、
を有する三次元情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元情報処理装置及び三次元情報処理方法に関する。
【背景技術】
【0002】
従来、高解像度な立体映像を表示する技術分野において、ディスプレイを見るユーザの視点に応じて、角度や向きが異なる映像を出力する技術があった。このような技術を用いることにより、ユーザはゴーグル等のウェアラブルデバイスを用いることなく、裸眼でディスプレイを見た場合であっても、高解像度な立体映像を見ることができる。このような技術を用いた製品は裸眼３Ｄディスプレイと呼ばれており、既に製品化されているものもある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９―０５４５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような技術を用いた裸眼３Ｄディスプレイは、安全性の観点から、深さ方向の飛び出しや奥行の解像度を保ったまま立体視に対応できる距離幅が、１０～５０［ｃｍ（センチメートル）］程度に制限されている場合がある。一方、このような裸眼３Ｄディスプレイを用いて表示させるコンテンツを取得可能なカメラ（ＲＧＢ映像と同時に距離情報を取得可能なカメラ）によれば、例えば５００［ｍｍ（ミリメートル）］～５［ｍ（メートル）］の範囲で測距可能である。
【0005】
上述したようなカメラを用いて取得したＲＧＢＤデータに基づき、裸眼３Ｄディスプレイに立体映像を表示させようとした場合、カメラにより測距された距離情報の範囲に比べて、裸眼３Ｄディスプレイにより表示可能な距離情報の範囲が狭いため、実際にカメラで捉えた被写体の大きさをそのまま再現できないといった問題があった。
【0006】
例えば、測距された広い奥行き方向の範囲を狭い奥行き範囲におさまるように二次元画像（ＲＧＢ映像）の大きさを合わせて裸眼３Ｄディスプレイに表示させることも考えられるが、この場合、奥行き方向と交わる方向に小さく圧縮された３Ｄ映像となってしまうといった問題があった。また、カメラにより測距され、裸眼３Ｄディスプレイに伝送された広い奥行き方向の情報のうち一部のみを裸眼３Ｄディスプレイに表示させることも考えられる。この場合、伝送されたデータのうち一部のみしか使用しないため、不要なデータを送信することになってしまうといった問題があった。
【0007】
本発明は、このような状況に鑑みてなされたものであって、カメラにより取得された三次元情報を好適に伝送可能な三次元情報処理装置及び三次元情報処理方法の提供を目的とする。
【課題を解決するための手段】
【0008】
［１］本発明の一態様は、二次元画像及び三次元情報を取得する三次元情報取得装置から情報を取得し、取得した二次元画像の一部の画素値を変更した二次元画像及び取得した三次元情報より量子化ビット数の小さい三次元情報を生成し、生成した情報を三次元情報表示装置に対して出力する三次元情報処理装置であって、前記三次元情報取得装置が三次元情報として取得可能な深さ方向の情報である深度のうち前記三次元情報表示装置に表示させる深度の幅を指定する深度指定部と、前記三次元情報取得装置から取得された三次元情報の深度の分解能を示す量子化ビット数を、前記深度指定部により指定された深度の幅に基づいて低ビットに変換する変換部と、前記三次元情報取得装置から取得した二次元画像の画素に対応する前記深度が、前記深度指定部により指定された深度の幅から外れていた場合に、当該画素の画素値を変更する範囲外処理部と、を備える三次元情報処理装置である。
【0009】
［２］また、本発明の一態様は、上記［１］に記載の三次元情報処理装置において、前記深度指定部は、前記三次元情報表示装置に表示させる深度のうち手前側までの距離を示す最小値、及び奥側までの距離を示す最大値により、前記三次元情報表示装置に表示させる深度の幅を指定し、前記範囲外処理部は、二次元画像の画素値を、前記最小値又は最大値と、当該画素に対応する深度とに応じた色に変換するものである。
【0010】
［３］また、本発明の一態様は、上記［１］又は［２］に記載の三次元情報処理装置において、前記三次元情報処理装置は、一連の動画像データに含まれる複数の異なるフレーム画像についての二次元画像及び三次元情報についての処理を行い、前記深度指定部は、第１のフレーム画像について適用される第１の深度の幅と、第２のフレーム画像について適用される第２の深度の幅と、前記第１の深度の幅から前記第２の深度の幅までの移行スピードとを指定するものである。
【0011】
［４］また、本発明の一態様は、上記［１］から［３］のいずれかに記載の三次元情報処理装置は、前記深度指定部により指定された前記第１の深度の幅、前記第２の深度の幅、及び前記移行スピードに基づいて、二次元画像をズーム処理する第１電子ズーム部と、前記深度指定部により指定された前記第１の深度の幅、前記第２の深度の幅、及び前記移行スピードに基づいて、三次元情報をズーム処理する第２電子ズーム部と、を更に備え、前記三次元情報処理装置は、一連の動画像データに含まれる複数の異なるフレーム画像であって、ズーム倍率が互いに異なる前記フレーム画像の二次元画像及び三次元情報についての処理を行い、前記第１電子ズーム部は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行い、前記第２電子ズーム部は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行うものである。
【0012】
［５］また、本発明の一態様は、二次元画像及び三次元情報を取得する三次元情報取得装置から情報を取得し、取得した二次元画像の一部の画素値を変更した二次元画像及び取得した三次元情報より量子化ビット数の小さい三次元情報を生成し、生成した情報を三次元情報表示装置に対して出力する三次元情報処理方法であって、前記三次元情報取得装置が三次元情報として取得可能な深さ方向の情報である深度のうち前記三次元情報表示装置に表示させる深度の幅を指定する深度指定工程と、前記三次元情報取得装置から取得された三次元情報の深度を示す量子化ビット数を、前記深度指定工程により指定された深度の幅に基づいて低ビットに変換する変換工程と、前記三次元情報取得装置から取得した二次元画像の画素に対応する深度が、前記深度指定工程により指定された深度の幅から外れていた場合に、当該画素の画素値を変更する範囲外処理工程と、を有する三次元情報処理方法である。
【発明の効果】
【0013】
本発明によれば、カメラにより取得された三次元情報を好適に伝送することができる。
【図面の簡単な説明】
【0014】
【図1】実施形態１に係る三次元情報表示システムの概略について説明するための図である。
【図2】実施形態１に係る三次元情報取得装置及び三次元情報処理装置の機能構成の一例を示す機能構成図である。
【図3】実施形態１に係る距離範囲取得画面の画面構成の一例を示す図である。
【図4】実施形態１に係る三次元情報取得装置により取得される距離情報とｚ軸との関係について説明するための図である。
【図5】実施形態１に係るＤ－ｚ変換部による変換処理について説明するための図である。
【図6】実施形態１に係る三次元情報表示装置の機能構成の一例を示す機能構成図である。
【図7】実施形態１に係る視差計算について説明するための図である。
【図8】実施形態１に係る透視投影について説明するための図である。
【図9】実施形態２に係るぼかし設定画面の画面構成の一例を示す図である。
【図10】実施形態２に係る範囲外処理部及びｚ値制限部の機能構成の一例を示す機能構成図である。
【図11】実施形態３に係る距離範囲取得画面の画面構成の一例を示す図である。
【図12】実施形態４に係る三次元情報取得装置及び三次元情報処理装置の機能構成の一例を示す機能構成図である。
【図13】実施形態４に係る距離範囲取得画面の画面構成の一例を示す図である。
【図14】実施形態５に係る三次元情報取得装置及び三次元情報処理装置の機能構成の一例を示す機能構成図である。
【図15】実施形態５に係るＲＧＢＤカメラの断面の一例について説明するための模式図である。
【図16】実施形態５に係る可視光反射ダイクロイック膜の反射分光特性の一例を示す図である。
【図17】実施形態６に係る三次元情報表示システムの機能構成の一例を示す機能構成図である。
【発明を実施するための形態】
【0015】
本発明の態様に係る三次元情報処理装置及び三次元情報処理方法について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。
【0016】
【0017】
図１は、実施形態１に係る三次元情報表示システムの概略について説明するための図である。同図を参照しながら、三次元情報表示システム１の概略について説明する。三次元情報表示システム１は、被写体の三次元情報を取得し、取得した三次元情報を、裸眼により認識可能な三次元情報として表示する。三次元情報表示システム１は、三次元情報取得システム１０と、情報処理装置２０と、三次元情報表示装置３０とを備える。
【0018】
三次元情報取得システム１０は、三次元情報取得装置１１０と、三次元情報処理装置１２０とを備える。三次元情報取得装置１１０は、被写体の二次元画像及び距離画像を取得する。三次元情報取得装置１１０は、例えばＲＧＢＤカメラであってもよい。三次元情報取得装置１１０は、ＲＧＢの各色情報と距離情報（Ｄｅｐｔｈ情報）とを水平及び垂直方向にビデオ信号のように同期して取得する。三次元情報取得装置１１０は、被写体までの距離を、例えば０．５～５［ｍ］と広い範囲で測距することができる。三次元情報取得装置１１０は、測距した結果として得られる距離情報を、例えば１６ビットの情報として取得する。三次元情報処理装置１２０は、広い範囲で測距された距離情報を、情報処理装置２０により指定された距離範囲に応じて加工し、三次元情報表示装置３０に出力する。情報処理装置２０により加工された情報は、取得された量子化ビット数（例えば１６ビット）より小さいビット数（例えば８ビット）であってもよい。三次元情報取得装置１１０は、情報処理装置２０により指定された距離範囲に応じて、更に二次元画像情報を加工し、三次元情報表示装置３０に出力する。二次元画像情報の加工とは、具体的には、二次元画像の一部の画素値を変更する処理であってもよい。
【0019】
情報処理装置２０は、不図示の表示部、操作取得部、及びＵＳＢ通信部等を備える。情報処理装置２０は、具体的にはパーソナルコンピュータ、タブレット端末、スマートフォン等であってもよい。情報処理装置２０は、三次元情報取得システム１０及び三次元情報表示装置３０と所定の通信方法により接続される。所定の通信方法とは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続等であってもよい。情報処理装置２０は、ユーザから距離範囲の指定操作を受け付け、当該操作により指定された距離範囲を三次元情報取得システム１０及び三次元情報表示装置３０に出力する。
【0020】
三次元情報表示装置３０は、三次元情報取得システム１０からＲＧＢ信号を取得する。三次元情報取得システム１０から送信されるＲＧＢ信号は、裸眼３Ｄディスプレイにより表示可能な左目用のＲＧＢ画像と、右目用のＲＧＢ画像とが含まれていてもよい。また、三次元情報表示装置３０は、三次元情報取得システム１０から距離情報を取得する。三次元情報取得システム１０から送信される距離情報は、三次元情報取得装置１１０により取得される距離情報より量子化ビット数が小さい低ビットの情報であり、例えば８ビットの情報であってもよい。また、三次元情報表示装置３０は、情報処理装置２０により指定された距離範囲に応じて、裸眼で認識可能な三次元情報を表示する。三次元情報表示装置３０は、例えば裸眼３Ｄディスプレイを含んでいてもよい。
【0021】
図２は、実施形態１に係る三次元情報取得装置及び三次元情報処理装置の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報取得装置１１０及び三次元情報処理装置１２０の機能構成の詳細について説明する。
【0022】
まず、三次元情報取得装置１１０の機能構成の一例について説明する。三次元情報取得装置１１０は、レーザーダイオードアレイＶＣＳＥＬ１１１と、ＲＧＢカメラ１１２と、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ１１６とを備える。ＲＧＢカメラ１１２は、レンズ１１３と、イメージセンサ（ＲＧＢセンサ）１１４と、ＲＧＢプロセス１１５とを備える。ＴＯＦカメラ１１６は、レンズ１１７と、ＴＯＦセンサ１１８と、ＴＯＦプロセス１１９とを備える。
【0023】
レーザーダイオードアレイＶＣＳＥＬ１１１は、例えば波長が９４０［ｎｍ（ナノメートル）］の赤外光を被写体５０に照射する。レーザーダイオードアレイＶＣＳＥＬ１１１は、例えば、垂直方向にレーザービームを放射可能なＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ、垂直共振器型面発光レーザー）等であってもよい。以下の説明において、レーザーダイオードアレイＶＣＳＥＬ１１１を、照射部と記載する場合がある。被写体５０に照射され、反射した赤外光は、レンズ１１７に入射する。レンズ１１７に入射した赤外光は、ＴＯＦセンサ１１８により受光される。ＴＯＦセンサ１１８により受光された光は電気信号に変換され、ＴＯＦプロセス１１９により距離データ（距離情報）に変換される。ＴＯＦプロセス１１９は、０．５［ｍ］～５［ｍ］の範囲の距離データを、１６ビットの距離情報である距離Ｄｃａｍ［１５：０］として三次元情報処理装置１２０に出力する。
【0024】
レンズ１１３には、可視光の環境光が入射する。レンズ１１３に入射した光は、イメージセンサ１１４により受光される。イメージセンサ１１４により受光された光は電気信号に変換され、ＲＧＢプロセス１１５により、既存のホワイトバランスやガンマ処理などのカメラプロセスが行われる。ＲＧＢプロセス１１５は、カメラプロセスが行われた後の信号を、８ビットのＲｃａｍ［７：０］、Ｇｃａｍ［７：０］、及びＢｃａｍ［７：０］として三次元情報処理装置１２０に出力する。
【0025】
次に、三次元情報処理装置１２０の機能構成の一例について説明する。三次元情報処理装置１２０は、ｚ方向深さ幅指定部１２１と、ＭＡＸ値ｚ－ｄ変換部１２２と、ＭＩＮ値ｚ－ｄ変換部１２３と、Ｄ－ｚ変換部１２４と、ｚ値制限部１２５と、範囲制限変換部１２６と、範囲外処理部１２７と、データ追加部１２８とを備える。
【0026】
ｚ方向深さ幅指定部１２１は、三次元情報取得装置１１０が三次元情報として取得可能な深さ（深度）のうち、三次元情報表示装置３０に表示させる深さの幅を指定する。ｚ方向深さ幅指定部１２１は、具体的には、情報処理装置２０と所定の通信方法により接続される。所定の通信方法とは、例えば、ＵＳＢ接続等であってもよい。ｚ方向深さ幅指定部１２１は、情報処理装置２０から、表示対象となる距離範囲についての情報を、Ｄｗｉｄｔｈとして取得する。情報処理装置２０は、ユーザからの入力操作を取得することにより、表示対象となる距離範囲についての情報を取得する。なお、以下の説明において、ｚ方向深さ幅指定部１２１を深度指定部と記載する場合がある。
【0027】
図３は、実施形態１に係る距離範囲取得画面の画面構成の一例を示す図である。同図を参照しながら、情報処理装置２０により表示される表示画面Ｄ１０の画面構成の一例について説明する。図示するように、表示画面Ｄ１０には、ＴＯＦカメラ測距範囲が示される。ＴＯＦカメラ測距範囲とは、三次元情報取得装置１１０により取得可能な距離情報のｚ方向成分の範囲である。図示する一例では、ＴＯＦカメラ測距範囲として、０．５～５［ｍ］が表示されている。ユーザは、距離データ表示範囲設定画面において、ＴＯＦカメラ測距範囲の中で、三次元情報表示装置３０にどの範囲を表示させるかを設定する。
【0028】
距離データ表示範囲設定部は、ユーザ設定最小距離設定部と、ユーザ設定最大距離設定部と、ディスプレイ飛び出し量設定部とを備える。ユーザは、キーボード等の入力デバイスを操作することにより、ユーザ設定最小距離、ユーザ設定最大距離、及びディスプレイ飛び出し量を設定する。ユーザ設定最小距離とは、三次元情報取得装置１１０により取得された距離情報のｚ方向成分の範囲のうち三次元情報表示装置３０により表示させる最小距離（すなわち、ユーザからｚ方向に見て手前側の距離）である。ユーザ設定最大距離とは、三次元情報取得装置１１０により取得された距離情報のｚ方向成分の範囲のうち三次元情報表示装置３０により表示させる最大距離（すなわち、ユーザからｚ方向に見て奥側の距離）である。ディスプレイ飛び出し量とは、ユーザ設定最小距離とユーザ設定最大距離により設定された範囲（又は幅）の、三次元情報表示装置３０のディスプレイからの飛び出し量を設定する。
【0029】
図２に戻り、ｚ方向深さ幅指定部１２１は、取得したユーザ設定最大距離をｚＭＡＸ値としてＭＡＸ値ｚ－ｄ変換部１２２に出力し、取得したユーザ設定最小距離をｚＭＩＮ値としてＭＩＮ値ｚ－ｄ変換部１２３に出力する。
【0030】
図４は、実施形態１に係る三次元情報取得装置１１０により取得される距離情報とｚ軸との関係について説明するための図である。同図を参照しながら、三次元情報取得装置１１０により取得される距離情報とｚ軸との関係、並びにＭＡＸ値ｚ－ｄ変換部１２２及びＭＩＮ値ｚ－ｄ変換部１２３により行われる詳細な演算の一例について説明する。同図は、ＴＯＦセンサ１１８を水平方向及び垂直方向のそれぞれに見た場合の模式図を示す。図４（Ａ）は、ｘｚ平面（水平方向）の模式図を示し、図４（Ｂ）は、ｙｚ平面（垂直方向）の模式図を示す。
【0031】
本実施形態において、表示画面Ｄ１０からユーザにより入力される値は、ユーザにとって直感的にわかりやすくするため、ｚ方向の距離として入力されるようにしている。しかしながら三次元情報取得装置１１０から得られる距離Ｄｃａｍは、図示するように、ＴＯＦセンサ１１８の有効エリアの寸法ｈｓ及びｖｓと、焦点距離ｆｘ及びｆｙとにより決まる画角ＦＯＶｈ、ＦＯＶｖの中での被写体の一点からＴＯＦセンサ１１８の一点までの距離になる。ずなわち、三次元情報取得装置１１０から得られる距離Ｄｃａｍとは、焦点距離（ｚ＝０）を中心とする円弧状の距離となり、ＴＯＦセンサ１１８の面と垂直に交わるｚ軸上での距離とは異なる。
【0032】
ここで、表示対象最小距離Ｄｍｉｎの求め方について説明する。まず、レンズの特性等からｆｘ及びｆｙの焦点距離は既知である。またｚ方向の原点０は、図示するｚ＝０の点となる。ユーザにより設定された最小距離ｚＭＩＮに基づいた場合、ＴＯＦセンサ１１８により測距される距離Ｄｃａｍのうち最小となる距離は、光軸にあたるセンサ画面中央からｚＭＩＮまでの値となる。距離Ｄｃａｍのうちｘｚ平面において最小となる距離を、Ｄｍｉｎｈとして、図４（Ａ）に示す。この場合、Ｄｍｉｎｈは、次の（１）式として得られる。
【0033】
Ｄｍｉｎｈ＝ｆｘ＋ｚＭＩＮ・・・（１）
【0034】
同様に、距離Ｄｃａｍのうちｙｚ平面において最小となる距離を、Ｄｍｉｎｖとして、図４（Ｂ）に示す。この場合、Ｄｍｉｎｖは、次の（２）式として得られる。
【0035】
Ｄｍｉｎｖ＝ｆｙ＋ｚＭＩＮ・・・（２）
【0036】
Ｄｍｉｎは三次元情報取得装置１１０が取得した被写体の二次元画像の画面中央であるので（換言すれば、ＤｍｉｎはＴＯＦセンサ１１８の中心点と垂直に交わる線であるので）、水平方向であるか及び垂直方向であるかは関係ない。したがって、ＤｍｉｎをＤｍｉｎｈとＤｍｉｎｖの平均とすると、次の（３）式を得ることができる。
【0037】
Ｄｍｉｎ＝（Ｄｍｉｎｈ＋Ｄｍｉｎｖ）／２・・・（３）
【0038】
上述した（１）～（３）の計算は、図２に示したＭＩＮ値ｚ－ｄ変換部１２３により行われるものである。
【0039】
次に、表示対象最大距離Ｄｍａｘの求め方について説明する。Ｄｍａｘはｚ＝ｚＭＡＸのときに、距離が最も大きく出る距離情報となるので、センサ画面の四隅のいずれか１点から表示画面において対応する点の対角に位置する１点までの距離となる。まず、表示画面における水平方向の距離Ｈａ及び垂直方向の距離Ｖａは次の（４）式及び（５）式を用いて求めることができる。
【0040】
Ｈａ＝ｚＭＡＸ／ｆｘ×ｈｓ・・・（４）
【0041】
Ｖａ＝ｚＭＡＸ／ｆｙ×ｖｓ・・・（５）
【0042】
ここで、ｈｓとは、図４（Ａ）に示す通り、ＴＯＦセンサ１１８の有効エリアの水平方向の距離である。ＴＯＦセンサ１１８のピクセル間のピッチをＳｐ［ｍｍ］とし、水平画素数（ピクセル数）をｓｈａｌｌとすると、ｈｓは、次の（６）式により得ることができる。
【0043】
ｈｓ＝ｓｈａｌｌ×Ｓｐ・・・（６）
【0044】
垂直方向についても同様に、ｖｓとは、図４（Ｂ）に示す通り、ＴＯＦセンサ１１８の有効エリアの垂直方向の距離である。ＴＯＦセンサ１１８のピクセル間のピッチをＳｐ［ｍｍ］とし、垂直画素数（ピクセル数）をｓｖａｌｌとすると、ｖｓは、次の（７）式により得ることができる。
【0045】
ｖｓ＝ｓｖａｌｌ×Ｓｐ・・・（７）
【0046】
Ｄｍａｘを求めるには、ＴＯＦセンサ１１８からの三次元ベクトルを用いて求めることになる。したがって、Ｄｍａｘは、次の（８）式により得ることができる。
【0047】
Ｄｍａｘ＝ＳＱＲＴ（（Ｈａ／２）＾２＋（Ｖａ／２）＾２＋ｚＭＡＸ＾２）＋ＳＱＲＴ（（ｈｓ／２）＾２＋（ｖｓ／２）＾２＋（（ｆｘ＋ｆｙ）／２）＾２）・・・（８）
【0048】
上述した（４）～（８）の計算は、図２に示したＭＩＮ値ｚ－ｄ変換部１２３により行われるものである。
【0049】
図２に戻り、Ｄ－ｚ変換部１２４の詳細な説明を行う。Ｄ－ｚ変換部１２４は、三次元情報取得装置１１０により得られた距離Ｄｃａｍを、ｚ方向距離に変換する。Ｄ－ｚ変換部１２４により行われる変換処理には、ＯＰＥＮ ＣＶ等のライブラリを用いてもよいし、図５を参照しながら説明する以下の計算方法を用いてもよい。
【0050】
図５は、実施形態１に係るＤ－ｚ変換部１２４による変換処理について説明するための図である。同図を参照しながら、Ｄ－ｚ変換部１２４により行われる変換処理の詳細について説明する。図５（Ａ）は、三次元情報取得装置１１０により得られた距離Ｄｃａｍをｚ方向距離に変換する一つの例として、ピンホールモデルに変換された水平の焦点距離ｆｘに対して示した図である。同図は、ｘｚ平面を示す。図５（Ｂ）は、三次元情報取得装置１１０により得られた距離Ｄｃａｍをｚ方向距離に変換する一つの例として、ピンホールモデルに変換された垂直の焦点距離ｆｙに対して示した図である。同図はｙｚ平面を示す。
【0051】
ＴＯＦセンサ１１８は、ピクセル単位でスキャンを行う。ＴＯＦセンサ１１８は、水平方向に１ライン分のスキャンを行った後、垂直方向における次のラインを水平方向にスキャンするセンサである。すなわちＴＯＦセンサ１１８は、順次スキャンセンサである。図５を参照しながら、被写体５０が存在する点Ｐを、ＴＯＦセンサ１１８のピクセルＳにより捉えたときに、ピクセルＳから点Ｐまでのｚ方向距離を、ＴＯＦセンサ１１８の出力から演算して得る方法について説明する。なお、以下の説明において、ＴＯＦセンサ１１８のピクセルＳが位置する点をＳ点と呼ぶ。
【0052】
距離Ｄｃａｍをｚ方向距離に置き換える場合、ｚ方向の原点をピンホールモデルのレンズの中心位置（ｘ＝０、ｙ＝０、ｚ＝０）として、距離Ｄｃａｍを当該中心位置からのｘ、ｙ及びｚそれぞれの距離データとすると、Ｐ点のｘ座標は図５（Ａ）に示すＰｘの距離となり、Ｐ点のｙ座標は図５（Ｂ）に示すＰｙの距離となる。ＴＯＦセンサ１１８のピクセル配列が正方ピクセルの配列であるとし、ピクセル間のピッチがＳｐ［ｍｍ］、水平方向にＴＯＦセンサ１１８の水平中央からｓｈピクセル離れたＳ点の実距離をＳｘ［ｍｍ］とすると、Ｓｘは、次の（９）式により得ることができる。
【0053】
Ｓｘ＝Ｓｈ×Ｓｐ・・・（９）
【0054】
同様に、垂直方向にＴＯＦセンサ１１８の垂直中央からｓｖピクセル離れたＳ点の実距離をＳｙ［ｍｍ］とすると、Ｓｙは、次の（１０）式により得ることができる。
【0055】
Ｓｙ＝Ｓｖ×Ｓｐ・・・（１０）
【0056】
図５（Ａ）において、ＴＯＦセンサ１１８のＳピクセルを含むＳｄｘ、Ｓｘ、及びｆｘの辺から構成される三角形と、被写体観測点Ｐ点を含むＰｄｘ，Ｐｘ，及びＰｚの辺から構成される三角形とは相似の関係を有する。ＰｄｘとＰｚの間の角度をΘｘとすると、点群変換後の距離Ｐｘ及びＰｚは、次のように求められる。まず、点Ｐが図５（Ｂ）のようにレンズ光軸に対して垂直方向にΘｙ傾いた位置の被写体とした場合、測距された距離Ｄｃａｍを図５（Ａ）におけるｘｚ平面で表すと、距離Ｄｃａｍは距離ｄｘに変換される。また、ｄｘは、次の（１１）式により得ることができる。
【0057】
ｄｘ＝Ｄｃａｍ×ＣＯＳ（Θｙ）・・・（１１）
Θｙ＝ＡＴＡＮ（Ｓｙ／ｆｙ）
Θｙ＝ＡＴＡＮ（Ｓｙ／ｆｙ）
【0058】
ここで、以下の式に基づき、Ｐｚを求めることができる。
【0059】
Θｘ＝ＡＴＡＮ（Ｓｘ／ｆｘ）・・・（１２）
【0060】
Ｓｄｘ＝ｆｘ／ＣＯＳ（Θｘ)・・・（１３）
Ｐｄｘ＝ｄｘ－Ｓｄｘ・・・（１４）
Ｐｚ＝Ｐｄｘ×ＣＯＳ（Θｘ)・・・（１５）
Ｐｄｘ＝ｄｘ－Ｓｄｘ・・・（１４）
Ｐｚ＝Ｐｄｘ×ＣＯＳ（Θｘ)・・・（１５）
【0061】
なお、（１５）式に示したＰｚが、Ｄ－ｚ変換部１２４により計算されるｚに相当するものである。図２に戻り、Ｄ－ｚ変換部１２４は、計算により求めたｚを、ｚ値制限部１２５に出力する。
【0062】
ｚ値制限部１２５は、（１５）式により得られたｚの距離が、ｚＭＩＮからｚＭＡＸの範囲内かどうかを判断して、ＫＥＹ信号を出力する。ＫＥＹ信号とは、以下の（１６）式により求められるｚｋｅｙの値である。
【0063】
ｚ＞＝ｚＭＩＮかつｚ＜＝ｚＭＡＸであれば、ｚｋｅｙ＝１
ｚ＜ｚＭＩＮであればｚｋｅｙ＝０
ｚ＞ｚＭＡＸであればｚｋｅｙ＝２・・・（１６）
ｚ＜ｚＭＩＮであればｚｋｅｙ＝０
ｚ＞ｚＭＡＸであればｚｋｅｙ＝２・・・（１６）
【0064】
このＫＥＹ信号は、ピクセルごとに計算される。また、このＫＥＹ信号は、０から２を示す２ビットの信号であってもよい。また、Ｒｃａｍ、Ｇｃａｍ、Ｂｃａｍ及びＤｃａｍと、ピクセルとは、時間軸で同期されている。
【0065】
次に、範囲制限変換部１２６について説明をする。範囲制限変換部１２６は、三次元情報取得装置１１０から取得された三次元情報の深度の分解能を示す量子化ビット数を、ｚ方向深さ幅指定部１２１により指定された深さの幅に基づいて、低ビットに変換する。具体的には、範囲制限変換部１２６は、１６ビットの深度情報である距離データＤｃａｍ［１５：０］を、８ビットの深度情報に変換する。より詳細には、範囲制限変換部１２６は、三次元情報取得装置１１０により取得された１６ビットの深度情報のうち、ユーザにより設定された幅の部分を、８ビットの分解能に割り当てる。以下、１６ビットの距離データＤｃａｍ［１５：０］が、８ビットの分解能に割り当てられた距離データをＤ［７：０］と記載する。
【0066】
範囲制限変換部１２６は、具体的には、上述した（３）式により得られたＤｍｉｎ、及び（８）式により得られたＤｍａｘに基づき、ＴＯＦカメラ１１６により取得された１６ビットの距離データＤｃａｍ［１５：０］を８ビットの深度情報である距離データＤ［７：０］に変換する。なお、以下の説明において、範囲制限変換部１２６を単に変換部と記載する場合がある。以下、Ｄｍｉｎ及びＤｍａｘに基づき、Ｄｃａｍ［１５：０］からＤ［７：０］への変換について説明する。
【0067】
ここで、計算に用いる値を以下のように定義する。
【0068】
カメラ１６ＢＩＴ測距コード値：Ｄｃａｍ
カメラ測距ＢＩＴ数：ＣａｍＤ＿ＢＩＴ＝１６
カメラ取得最小距離［ｍ］：ＣａｍＤ＿Ｍｉｎ＝０．５
カメラ取得最大距離［ｍ］：ＣａｍＤ＿Ｍａｘ＝５
カメラＤＥＰＴＨ出力ＢＩＴ数：ＣａｍＤＯｕｔ＿ＢＩＴ＝８
ユーザ設定最小距離［ｍ］：Ｄｍｉｎ
ユーザ設定最大距離［ｍ］：Ｄｍａｘ
カメラ測距ＢＩＴ数：ＣａｍＤ＿ＢＩＴ＝１６
カメラ取得最小距離［ｍ］：ＣａｍＤ＿Ｍｉｎ＝０．５
カメラ取得最大距離［ｍ］：ＣａｍＤ＿Ｍａｘ＝５
カメラＤＥＰＴＨ出力ＢＩＴ数：ＣａｍＤＯｕｔ＿ＢＩＴ＝８
ユーザ設定最小距離［ｍ］：Ｄｍｉｎ
ユーザ設定最大距離［ｍ］：Ｄｍａｘ
【0069】
距離データＤｃａｍの１６ビットデータは、１ｃｏｄｅ値あたり０．１［ｍｍ］で設定されて出力されている場合の例を示す。カメラ取得最小値距離ＣａｍＤ＿Ｍｉｎ＝０．５［ｍ］とカメラ取得最大距離ＣａｍＤ＿Ｍａｘ＝５［ｍ］を、１６ビットの距離データＤｃａｍの取りうる範囲である０～（２＾ＣａｍＤ＿ＢＩＴ）―１の範囲に一度変換すると、１ビットあたりの距離ＣａｍＤ１ｂｉｔは、次の（１７）式により得ることができる。
【0070】
ＣａｍＤ１ｂｉｔ＝（ＣａｍＤ＿Ｍａｘ―ＣａｍＤ＿Ｍｉｎ）／（（２＾ＣａｍＤ＿ＢＩＴ）―１）・・・（１７）
【0071】
この場合の変換比Ｋは、次の（１８）式により表される。
Ｋ＝（（Ｄｍａｘ－ＣａｍＤ＿Ｍｉｎ）／ＣａｍＤ１Ｂｉｔ－（Ｄｍｉｎ－ＣａｍＤ＿Ｍｉｎ)／ＣａｍＤ１ｂｉｔ）／（２＾ＣａｍＤＯｕｔ＿ＢＩＴ－１）・・・（１８）
Ｋ＝（（Ｄｍａｘ－ＣａｍＤ＿Ｍｉｎ）／ＣａｍＤ１Ｂｉｔ－（Ｄｍｉｎ－ＣａｍＤ＿Ｍｉｎ)／ＣａｍＤ１ｂｉｔ）／（２＾ＣａｍＤＯｕｔ＿ＢＩＴ－１）・・・（１８）
【0072】
また、出力Ｄは、次の（１９）式により得ることができる。
【0073】
Ｄ＝ｒｏｕｎｄ（（（Ｄｃａｍ／１０＾４－ＣａｍＤ＿Ｍｉｎ）／ＣａｍＤ１Ｂｉｔ－（Ｄｍｉｎ－ＣａｍＤ＿Ｍｉｎ）／ＣａｍＤ１Ｂｉｔ）／Ｋ，０）
＝ｒｏｕｎｄ（（（Ｄｃａｍ／１０＾４－Ｄｍｉｎ）／ＣａｍＤ１Ｂｉｔ）／Ｋ，０）
ｒｏｕｎｄ（（（Ｄｃａｍ／１０＾４－Ｄｍｉｎ）／ＣａｍＤ１Ｂｉｔ）／Ｋ，０）＞＝２＾ＣａｍＤＯｕｔ＿ＢＩＴ－１なら
Ｄ＝２＾ＣａｍＤＯｕｔ＿ＢＩＴ－１
ｒｏｕｎｄ（（（Ｄｃａｍ／１０＾４－Ｄｍｉｎ）／ＣａｍＤ１Ｂｉｔ）／Ｋ，０）＜＝０なら
Ｄ＝０・・・（１９）
＝ｒｏｕｎｄ（（（Ｄｃａｍ／１０＾４－Ｄｍｉｎ）／ＣａｍＤ１Ｂｉｔ）／Ｋ，０）
ｒｏｕｎｄ（（（Ｄｃａｍ／１０＾４－Ｄｍｉｎ）／ＣａｍＤ１Ｂｉｔ）／Ｋ，０）＞＝２＾ＣａｍＤＯｕｔ＿ＢＩＴ－１なら
Ｄ＝２＾ＣａｍＤＯｕｔ＿ＢＩＴ－１
ｒｏｕｎｄ（（（Ｄｃａｍ／１０＾４－Ｄｍｉｎ）／ＣａｍＤ１Ｂｉｔ）／Ｋ，０）＜＝０なら
Ｄ＝０・・・（１９）
【0074】
範囲制限変換部１２６は、上述したような演算により、（１９）式を計算し、８ビットの距離データＤ［７：０］を得る。範囲制限変換部１２６により演算された８ビット信号は、０コード値がＤｍｉｎになり、２５５コード値がＤｍａｘになる。範囲制限変換部１２６は、フレームごとに、計算された距離データＤ［７：０］に対し、ＭＡＸ値ｚ－ｄ変換部１２２及びＭＩＮ値ｚ－ｄ変換部１２３により得られた（１２）式及び（１３）式で使用した焦点距離ｆｘ及びｆｙのデータと、（３）式により得られた距離データの制限値Ｄｍｉｎ、及び（８）式により得られた距離データの制限値Ｄｍａｘとを、距離データの存在しない部分（例えばＶブランキングの所定の場所）に追加し出力する。
【0075】
範囲外処理部１２７は、三次元情報取得装置１１０から取得した二次元画像の画素に対応する深度が、ｚ方向深さ幅指定部１２１により指定された深さの幅から外れていた場合に、当該画素の画素値を変更する。範囲外処理部１２７は、具体的には、ＲＧＢプロセス１１５から出力されたＲｃａｍ［７：０］、Ｇｃａｍ［７：０］、Ｂｃａｍ［７：０］をＲＧＢデータとして取得し、取得したＲＧＢデータの画素値の一部について処理を行う。範囲外処理部１２７は、ｚ値制限部１２５からｚｋｅｙ信号を取得し、取得したｚｋｅｙ信号が０又は２を示しているピクセル（すなわちユーザにより指定された距離の範囲外のピクセル）については、任意の色（例えば黒色）に変換する。また、ユーザにより指定された距離の範囲外のピクセルについては、任意のコード値に変換してもよい。なお、任意の色又は任意のコード値とは、予め任意に定められた所定の色又は所定のコード値であってもよい。範囲外処理部１２７は、範囲外のピクセルを黒色に変換する場合、Ｒ＝１６、Ｇ＝１６、Ｂ＝１６のように設定する。このようにして、三次元情報処理装置１２０は、三次元情報取得装置１１０により得られたデータを８ビットのデータに処理し、三次元情報表示装置３０に対して出力する。
【0076】
図６は、実施形態１に係る三次元情報表示装置の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報表示装置３０の機能構成の詳細について説明する。三次元情報表示装置３０は、前処理部３１０と、映像処理部３２０とを備える。三次元情報表示装置３０は、前処理部３１０を備えることにより、公知の三次元情報表示装置が備える機能部である映像処理部３２０を用いて、本実施形態に係る三次元情報の表示を行う。
【0077】
なお、図示する一例では、前処理部３１０と映像処理部３２０が三次元情報表示装置３０に備えられる構成について示しているが、前処理部３１０を異なる装置として構成してもよい。その場合、前処理部３１０は、所定の通信方法により映像処理部３２０と接続される。
【0078】
前処理部３１０は、点群変換部３１１と、ｚ軸オフセット部３１２とを備える。点群変換部３１１は、三次元情報取得システム１０から送信される８ビットの距離データであるＤ［７：０］を取得する。点群変換部３１１は、フレームごとに、所定の場所に挿入されている焦点距離ｆｘ及びｆｙと距離制限値Ｄｍａｘ及びＤｍｉｎとを抜き出し、ｆｘ、ｆｙ、Ｄｍａｘ、及びＤｍｉｎ値を得る。所定の場所とは、例えばＶブランキング（垂直ブランキング）であってもよい。ここでＤ信号は０がＤｍｉｎ、２５５がＤｍａｘである８ビットの信号であるので、点群変換部３１１は、Ｄ信号の単位をメートル値に変換する。メートル値に変換するための変換式は、例えば次の（２０）式のようなものとなる。なお、Ｄｏｆｆｓｅｔは、少数を扱う変数とする。
【0079】
Ｄｏｆｆｓｅｔ＝Ｄ×（Ｄｍａｘ－Ｄｍｉｎ）／（２＾ＣａｍＤＯｕｔ＿ＢＩＴ－１）＋Ｄｍｉｎ・・・（２０）
【0080】
【0081】
次に、点群変換部３１１は、（２０）式のＤｏｆｆｓｅｔに対して、ｘ、ｙ、ｚの点群データに変換する。点群変換部３１１による点群変換は、ＯＰＥＮＣＶのライブラリを活用してもよいし、次に示す式を用いて変換を行ってもよい。ｚデータは、上述した（９）式から（１５）式を用いて求められる。
【0082】
また、ｘデータは、次の（２１）式及び（２２）式を用いて求められる。
【0083】
Ｐｘ＝Ｐｄ×ＳＩＮ（Θｘ）・・・（２１）
ｘ＝Ｐｘ・・・（２２）
ｘ＝Ｐｘ・・・（２２）
【0084】
また、ｙデータは、図５（Ｂ）を参照して、次の（２３）式から（２７）式を用いて求められる。
【0085】
ｄｙ＝Ｄｃａｍ×ＣＯＳ（Θｘ）・・・（２３）
Ｓｄｙ＝ｆｙ／ＣＯＳ（Θｙ）・・・（２４）
Ｐｄｙ＝ｄｙ－Ｓｄｙ・・・（２５）
Ｐｙ＝Ｐｄｙ×ＳＩＮ（Θｙ)・・・（２６）
ｙ＝Ｐｙ・・・（２７）
Ｓｄｙ＝ｆｙ／ＣＯＳ（Θｙ）・・・（２４）
Ｐｄｙ＝ｄｙ－Ｓｄｙ・・・（２５）
Ｐｙ＝Ｐｄｙ×ＳＩＮ（Θｙ)・・・（２６）
ｙ＝Ｐｙ・・・（２７）
【0086】
点群変換部３１１は、上述の計算により算出したｘ、ｙ、ｚの点群データを、ｚ軸オフセット部３１２に出力する。ｚ軸オフセット部３１２は、点群変換部３１１からｘ、ｙ、ｚの点群データを取得し、ユーザにより設定されたディスプレイ飛び出し量ｚｏｆｆｓｅｔを、情報処理装置２０から取得する。また、ｚ軸オフセット部３１２は、後述する所定の方法により観測者距離Ｋｄを取得する。ｚ軸オフセット部３１２は、取得した情報に基づき、ｚ軸オフセットに関する演算を行う。
【0087】
図７は、実施形態１に係る視差計算について説明するための図である。次に、図７を参照しながら、ｚ軸オフセット部３１２により行われるｚ軸オフセットに関する演算について説明する。ここで、三次元情報表示装置３０において、ユーザにより設定可能なディスプレイ飛び出し量及び引っ込み量の最大値は、健康上の安全な視差角を考慮した上でディスプレイ仕様により決定される。以下の説明においては、ディスプレイ飛び出し量の最大値をＳｆ、ディスプレイ引っ込み量の最大値をＳｂと決める。また、ＳｂとＳｆとを足した値を、視差によるディスプレイの奥行感の最大距離範囲とする。ｘ、ｙ、ｚの点群データのうち、ｚＭＩＮ～ｚＭＡＸの空間を、三次元情報表示装置３０により表現可能な距離範囲Ｓに距離変換した点群に変換する。以下、その手順について説明する。
【0088】
まず、ｚ軸オフセット部３１２は、ｘ、ｙ、ｚの点群データのうち、ｚ方向に対してＤｍｉｎを引く。すなわち、次の（２８）式を得ることができる。
【0089】
Ｚｏｆｓｔ＝ｚ－Ｄｍｉｎ・・・（２８）
【0090】
ｚ軸方向の距離について、Ｄｍｉｎ、すなわちｚＭＩＮがｚ軸の原点となる。ここで、ｚＭＡＸとｚＭＩＮの差分をｚＷＩＤＴＨとする。すなわち、次の（２９）式を得ることができる。
【0091】
ｚＷＩＤＴＨ＝ｚＭＡＸ－ｚＭＩＮ・・・（２９）
【0092】
ｚＷＩＤＴＨとＳとの比をｘ、ｙ、Ｚｏｆｓｔに乗算し、三次元情報表示装置３０の表現距離に換算した点群を、ｘｄ、ｙｄ、及びｚｄとすると、次の（３０）式から（３２）式を得ることができる。
【0093】
ｘｄ＝ｘ×Ｓ／ｚＷＩＤＴＨ・・・（３０）
ｙｄ＝ｙ×Ｓ／ｚＷＩＤＨＴ・・・（３１）
ｚｄ＝Ｚｏｆｓｔ×Ｓ／ｚＷＩＤＨＴ・・・（３２）
ｙｄ＝ｙ×Ｓ／ｚＷＩＤＨＴ・・・（３１）
ｚｄ＝Ｚｏｆｓｔ×Ｓ／ｚＷＩＤＨＴ・・・（３２）
【0094】
次に、ｚ軸オフセット部３１２は、ｚｄに観測者距離Ｋｄを足す。観測者距離Ｋｄは、三次元情報表示装置３０が有するディスプレイの像面距離に応じて固定値で設定されてもよい。他の実施例としては、例えばディスプレイ面に取り付けられた第２のＴＯＦカメラを用いることにより、視聴者からディスプレイまでの距離ｋｄや、視聴者の存在する位置までの角度を得てもよい。なお、第２のＴＯＦカメラとは、アイトラッキング用カメラ又はステレオカメラであってもよい。ｚｄに観測者距離Ｋｄを足した距離をＺｄｏｆｓｔとすると、次の（３３）式を得ることができる。
【0095】
Ｚｄｏｆｓｔ＝ｚｄ＋ｋｄ・・・（３３）
【0096】
上述した演算により、三次元情報表示装置３０が３Ｄ表示し、ユーザが見る画面像の距離感覚に、図４に示したｚＭＩＮの被写体が映し出される。ここで、図３に示したユーザＭＥＮＵのディスプレイ飛び出し量ｚｏｆｆｓｅｔを、（２８）式で得られたＺｄｏｆｓｔから引き、（３４）式に示すｚｄｏｓｔを得る。
【0097】
ｚｄｏｓｔ＝Ｚｄｏｆｓｔ－ｚｏｆｆｓｅｔ・・・（３４）
【0098】
なお、ｚｏｆｆｓｅｔのデフォルト値は、０［ｍ］に設定されていてもよい。図７に示すように、ｚｏｆｆｓｅｔ＝０の時は、三次元情報表示装置３０が備えるディスプレイの画像面に、図４に示したｚＭＩＮの距離の映像が現れ、ユーザ側から奥にｚＭＡＸの距離の被写体まで引っ込んだ表示をするようになる。ｚｏｆｆｓｅｔ値は、図３に示したユーザＭＥＮＵで設定することができ、最大値は健康上の安全も考慮した最大値で決められる。ｚｏｆｆｓｅｔ値の最大値を距離Ｓｆとすると、図７においてｚｏｆｆｓｅｔ＝Ｓｆの時のように、最大飛び出し量Ｓｆの位置に、図４に示したｚＭＩＮの距離の映像が飛び出して見えるように設定することができる。
【0099】
ｚ軸オフセット部３１２は、上述した（２８）式から（３４）式に示した演算を行うものである。ｚ軸オフセット部３１２は、ディスプレイ表示用に距離変換された点群を、ｘｄｏｓｔ、ｙｄｏｓｔ、及びｚｄｏｓｔとして距離３Ｄ回転部３２２に出力する。
【0100】
次に、図６に戻り、映像処理部３２０が備える各機能部について説明する。映像処理部３２０は、ＲＧＢ３Ｄ回転部３２１と、距離３Ｄ回転部３２２と、透視投影リサイズ部３２３と、視差計算部３２４と、視差映像作成部３２５とを備える。
【0101】
距離３Ｄ回転部３２２は、ｚ軸オフセット部３１２からｘｄｏｓｔ、ｙｄｏｓｔ、及びｚｄｏｓｔとして、ディスプレイ表示用に距離変換された点群データを取得する。また、距離３Ｄ回転部３２２は、三次元情報表示装置３０のディスプレイ面に取り付けられた第２のＴＯＦカメラ（不図示）から、視聴者の見る角度Ｋｖｉｅｗを取得する。距離３Ｄ回転部３２２は、取得したＫｖｉｅｗに基づき、ｘｄｏｓｔ、ｙｄｏｓｔ、及びｚｄｏｓｔを回転させる。距離３Ｄ回転部３２２は、回転させた結果得られるｚ軸の値を、ｚｒｔとして透視投影リサイズ部３２３及び視差計算部３２４に出力する。
【0102】
ＲＧＢ３Ｄ回転部３２１は、距離３Ｄ回転部３２２と同期して、ＲＧＢ信号を回転させる。具体的には、ＲＧＢ３Ｄ回転部３２１は、三次元情報取得システム１０からＲ［７：０］、Ｇ［７：０］、及びＢ［７：０］を取得し、三次元情報表示装置３０のディスプレイ面に取り付けられた第２のＴＯＦカメラ（不図示）から、視聴者の見る角度Ｋｖｉｅｗを取得する。ＲＧＢ３Ｄ回転部３２１は、取得したＫｖｉｅｗに基づき、Ｒ［７：０］、Ｇ［７：０］、及びＢ［７：０］を回転させる。当該回転については公知技術を用いることができるため、詳細な説明については省略する。以下の説明においては、説明の簡略化のため、観測者距離Ｋｄで観測者の両目と像面が平行である場合（すなわち図７に示す場合）について、説明する。
【0103】
ここで、映像処理部３２０は、画像面に対して飛び出して見せるようにする、又は引っ込んで見せるようにするため、ＲＧＢ信号に対して、右目用と左目用に視差を与えて水平方向にずらした信号を作成する。左目用の信号を、Ｒ＿Ｌ、Ｇ＿Ｌ、及びＢ＿Ｌ信号と記載する。右目用の信号を、Ｒ＿Ｒ、Ｇ＿Ｒ、及びＢ＿Ｒ信号と記載する。図７には、右目と左目の間に仮想的なＲＧＢＤカメラの位置を示しているが、この仮想的なＲＧＢＤカメラの位置が、ｘｄｏｓｔ、ｙｄｏｓｔ、及びｚｄｏｓｔの点群に対するカメラの位置に相当する。映像処理部３２０は、当該カメラの位置から、右目用、左目用の視差のあるデータを作成する。
【0104】
図７に示すＡ点を、仮想的なＲＧＢＤカメラにより得られるＲＧＢの２次元データの位置であるとする。視差計算部３２４は、観測者距離Ｋｄを入力し、Ａ点のｚｄｏｓｔが観測者距離Ｋｄより小さいと飛び出し用の視差Ｘｆを計算し、Ａ点のｚｄｏｓｔが観測者距離Ｋｄより大きいと引っ込み用の視差Ｘｂを計算する。図７に示すＡ点は、ｚｄｏｓｔ＝Ｓｂとした場合の例である。図示する場合における視差Ｘｂは、観測者の眼間距離をＥｄとすると、次の（３５）式で示すことができる。
【0105】
Ｘｂ＝（Ｓｂ／（Ｋｄ＋Ｓｂ））×Ｅｄ・・・（３５）
【0106】
視差計算部３２４は、図７に示すＡ点のＲＧＢ映像を、左目用はＸｆ／２水平ｘ方向に左側にずらした位置に、右目用はＸｆ／２水平方向に右側にずらした位置に表示するような視差映像を作成する。
【0107】
図７に示したＢ点を、仮想的なＴＯＦカメラにより得られるＲＧＢの２次元データの位置であるとする。視差計算部３２４は、Ｂ点のｚｄｏｓｔが観測者距離Ｋｄより小さいと飛び出し用の視差Ｘｆを計算し、Ｂ点のｚｄｏｓｔが観測者距離Ｋｄより大きいと引っ込み用の視差Ｘｂを計算する。図７に示すＢ点は、ｚｄｏｓｔ＝Ｓｆとした場合の例である。図示する場合における視差Ｘｆは、次の式で示すことができる。
【0108】
Ｘｆ＝（Ｓｆ／（Ｋｄ－Ｓｆ））・Ｅｄ・・・（３６）
【0109】
視差計算部３２４は、図７に示すＢ点のＲＧＢ映像を、左目用はＸｆ／２水平ｘ方向に右側にずらした位置に、右目用はＸｆ／２水平方向に左側にずらした位置に表示するような視差映像を作成する。
【0110】
図７に示したＣは、ｚｄｏｓｔ＝Ｋｄの場合の例である。この場合は、左目用と右目用の視差はなく、左目用も右目用もＣ点と同じ位置に表示するようにする。
【0111】
裸眼ディスプレイの場合、左目用の映像は左目に、右目用の映像は右目に映るようスクリーンに工夫がされ、３Ｄ映像が表示される。ｘｆとｘｂとを一つにまとめてｘｓｕｂとすると、ｚｄｏｓｔがＫｄ以下の場合ｘｓｕｂ＝－Ｘｆとして、ｚｄｏｓｔがＫｄ以上の場合ｘｓｕｂ＝Ｘｂとして出力される。
【0112】
図８は、実施形態１に係る透視投影について説明するための図である。同図を参照しながら、透視投影リサイズ部３２３が行う透視投影リサイズ処理の一例について説明する。透視投影リサイズ部３２３は、ＲＧＢ３Ｄ回転部３２１により回転が行われた情報に加え、観測者距離Ｋｄ、対象ピクセルのｚ軸の距離値ｚｒｔ、視差ｘｓｕｂについての情報を取得する。透視投影リサイズ部３２３は、水平方向に対象ピクセルの水平方向の位置をｘ、拡大率の基準距離を画像面の観測者距離ｋｄとし、次のようにリサイズしたｘ’を求める。すなわち、透視投影リサイズ部３２３は、演算により次の（３７）式を得る。
【0113】
ｘ’＝ｘ×ｋｄ／ｚｒｔ・・・（３７）
【0114】
透視投影リサイズ部３２３は、垂直方向についても同様に、対象ピクセルの垂直方向の位置をｙ、拡大率の基準距離を画像面の観測者距離Ｋｄとし、次のようにリサイズしたｙ’を求める。すなわち、透視投影リサイズ部３２３は、演算により次の（３８）式を得る。
【0115】
ｙ’＝ｙ×ｋｄ／ｚｒｔ・・・（３８）
【0116】
透視投影リサイズ部３２３は、上述したリサイズ処理をＲＧＢ信号に対してそれぞれ行い、リサイズ後のＲｒｓｚ［７：０］、Ｇｒｓｚ［７：０］、及びＢｒｓｚ［７：０］と、これらに対応する視差ｘｓｕｂを併せて視差映像作成部３２５に出力する。
【0117】
視差映像作成部３２５は、ｘｓｕｂに基づき、Ｒｒｓｚ［７：０］、Ｇｒｓｚ［７：０］、及びＢｒｓｚ［７：０］に対して視差を作成する。視差映像作成部３２５は、Ｘｓｕｂがマイナスの場合は上記の視差Ｘｆで説明した手順で視差のある左目用、右目用の画像を作成する。視差映像作成部３２５は、Ｘｓｕｂがプラスの場合は上記の視差Ｘｂで説明した手順で視差のある左目用、右目用の画像をつくる。これらの表示方法としては、公知技術が用いられてもよい。
【0118】
［実施形態１のまとめ］
以上説明した実施形態によれば、三次元情報処理装置１２０は、二次元画像及び三次元情報を取得する三次元情報取得装置１１０から情報を取得し、取得した二次元画像の一部の画素値（具体的には、ユーザにより指定された深さの幅から外れた位置に物体が存在するピクセルの画素値）を変更した二次元画像を生成し、生成した情報を三次元情報表示装置３０に対して出力する。また、三次元情報処理装置１２０は、取得した三次元情報より量子化ビット数の小さい三次元情報を生成し（例えば１６ビットの情報について、ユーザにより指定された深さの幅を８ビットの分解能に割り当てることにより低ビットの深さ情報を生成し）、生成した情報を三次元情報表示装置３０に対して出力する。また、三次元情報処理装置１２０は、ｚ方向深さ幅指定部（深度指定部）１２１を備えることにより、三次元情報取得装置１１０が三次元情報として取得可能な深さのうち三次元情報表示装置３０に表示させる深さの幅を指定する。三次元情報取得装置１１０は、例えばユーザの指示に基づき、三次元情報表示装置３０に表示させる深さの幅を指定する。また、三次元情報処理装置１２０は、範囲外処理部１２７を備えることにより、三次元情報取得装置１１０から取得された三次元情報の深度を示す量子化ビット数を、ｚ方向深さ幅指定部１２１により指定された深さの幅に基づいて低ビットに変換する。範囲外処理部１２７は、より詳細には、ユーザが設定した幅に８ビットの分解能を割り当てる。また、三次元情報処理装置１２０は、範囲制限変換部１２６を備えることにより、三次元情報取得装置１１０から取得した二次元画像の画素に対応する深度が、ｚ方向深さ幅指定部１２１により指定された深さの幅から外れていた場合に、当該画素の画素値を変更する。三次元情報処理装置１２０は、これら機能部を備えることにより、ＲＧＢＤカメラで得られる広い範囲の距離データから、表示に必要な狭い距離範囲に指定して、データ量を抑えた情報を出力することができる。また、三次元情報処理装置１２０を用いることにより、距離範囲を指定することができるようになるため、より最適な三次元表示をすることができる。
以上説明した実施形態によれば、三次元情報処理装置１２０は、二次元画像及び三次元情報を取得する三次元情報取得装置１１０から情報を取得し、取得した二次元画像の一部の画素値（具体的には、ユーザにより指定された深さの幅から外れた位置に物体が存在するピクセルの画素値）を変更した二次元画像を生成し、生成した情報を三次元情報表示装置３０に対して出力する。また、三次元情報処理装置１２０は、取得した三次元情報より量子化ビット数の小さい三次元情報を生成し（例えば１６ビットの情報について、ユーザにより指定された深さの幅を８ビットの分解能に割り当てることにより低ビットの深さ情報を生成し）、生成した情報を三次元情報表示装置３０に対して出力する。また、三次元情報処理装置１２０は、ｚ方向深さ幅指定部（深度指定部）１２１を備えることにより、三次元情報取得装置１１０が三次元情報として取得可能な深さのうち三次元情報表示装置３０に表示させる深さの幅を指定する。三次元情報取得装置１１０は、例えばユーザの指示に基づき、三次元情報表示装置３０に表示させる深さの幅を指定する。また、三次元情報処理装置１２０は、範囲外処理部１２７を備えることにより、三次元情報取得装置１１０から取得された三次元情報の深度を示す量子化ビット数を、ｚ方向深さ幅指定部１２１により指定された深さの幅に基づいて低ビットに変換する。範囲外処理部１２７は、より詳細には、ユーザが設定した幅に８ビットの分解能を割り当てる。また、三次元情報処理装置１２０は、範囲制限変換部１２６を備えることにより、三次元情報取得装置１１０から取得した二次元画像の画素に対応する深度が、ｚ方向深さ幅指定部１２１により指定された深さの幅から外れていた場合に、当該画素の画素値を変更する。三次元情報処理装置１２０は、これら機能部を備えることにより、ＲＧＢＤカメラで得られる広い範囲の距離データから、表示に必要な狭い距離範囲に指定して、データ量を抑えた情報を出力することができる。また、三次元情報処理装置１２０を用いることにより、距離範囲を指定することができるようになるため、より最適な三次元表示をすることができる。
【0119】
また、近年は急速に裸眼表示ディスプレイの表示性能が向上したことにより、解像度の高いリアルな映像が再現できるようになってきている。これらのディスプレイの奥行の体感距離は、視差の影響で表現距離が限られているが、ＴＯＦカメラはより広い範囲で距離データを撮影することができる。本実施形態によれば、ユーザは距離方向の一部の範囲を選択したり、よりリアルな実物に近い距離感覚で実物の大きさを体感したりできるようになる。また、本実施形態によれば、ＴＯＦカメラとディスプレイとの間で行われる通信において、距離情報のデータ通信量（ビット数）を減らすことができる。
【0120】
また本実施形態においては、ｚＭＩＮ、ｚＭＡＸの表示する距離間隔と、三次元情報表示装置３０が３Ｄ表現できる距離Ｓとを同じになるようにユーザ設定最小距離、ユーザ設定最大距離を合わせ、カメラからｚＭＩＮまでの距離とディスプレイの観測者距離Ｋｄを同じになるようにカメラを設置することで、実際の被写体の奥行感がよりリアルに見えるような体験をすることができる。
【0121】
［実施形態２］
次に、図９及び図１０を参照しながら、実施形態２について説明する。実施形態１では、距離範囲を指定して、当該距離範囲外における画素を任意の色（例えば黒色）又は任意のコード値に固定する方法について説明した。実施形態２においては、当該距離範囲外における画素を、距離に応じて徐々にぼかす場合の一例について説明する。
次に、図９及び図１０を参照しながら、実施形態２について説明する。実施形態１では、距離範囲を指定して、当該距離範囲外における画素を任意の色（例えば黒色）又は任意のコード値に固定する方法について説明した。実施形態２においては、当該距離範囲外における画素を、距離に応じて徐々にぼかす場合の一例について説明する。
【0122】
図９は、実施形態２に係るぼかし設定画面の画面構成の一例を示す図である。同図を参照しながら、ぼかし設定画面である表示画面Ｄ２０の画面構成の一例について説明する。表示画面Ｄ２０は、例えば、三次元情報取得システム１０に接続された情報処理装置２０の操作画面の一部であってもよい。図示するように、表示画面Ｄ２０は、距離範囲外手前処理と、距離範囲外奥行処理とのそれぞれについて、“固定色”にするか、“ぼかし”にするかを設定可能なラジオボタンを画面構成として備える。距離範囲外手前処理とは、表示画面Ｄ１０を用いて設定された距離データ表示範囲外の手前側についての処理を、距離範囲外奥行処理とは、表示画面Ｄ１０を用いて設定された距離データ表示範囲外の奥側についての処理を決定するものである。“固定色”とは、当該範囲を黒等の固定色とすることを意味し、“ぼかし”とは、当該範囲をぼかす（徐々に色を薄くする）ことを意味する。“固定色”とするか“ぼかし”とするかは、択一的に選択される。ユーザにより“固定色”が選択された場合、指定された距離範囲外における画素値が固定色となるため、実施形態１と同様の結果となる。
【0123】
距離範囲外手前処理が、“固定色”又は“ぼかし”のいずれかに選択された結果は、Ｆｂｄｒｓｅｌとして三次元情報処理装置１２０に取得される。“固定色”が選択された場合はＦｂｄｒｓｅｌ＝０となり、“ぼかし”が選択された場合はＦｂｄｒｓｅｌ＝１となる。同様に、距離範囲外奥行処理が、“固定色”又は“ぼかし”のいずれかに選択された結果は、Ｂｂｄｒｓｅｌとして三次元情報処理装置１２０に取得される。“固定色”が選択された場合はＢｂｄｒｓｅｌ＝０となり、“ぼかし”が選択された場合はＢｂｄｒｓｅｌ＝１となる。
【0124】
また、表示画面Ｄ２０は、ぼかしボーダー幅を設定可能な入力ボックスを画面構成として備える。当該入力ボックスに入力された値は、Ｓｂｄｒとして三次元情報処理装置１２０に取得される。Ｓｂｄｒは（ｚＭＡＸ－ｚＭＩＮ）／２を上限として、入力値が制限されていてもよい。
【0125】
図１０は、実施形態２に係る範囲外処理部及びｚ値制限部の機能構成の一例を示す機能構成図である。同図を参照しながら、実施形態２に係る範囲外処理部１２７及びｚ値制限部１２５の機能構成の一例について説明する。図示する一例では、ＲＧＢの各色のうちＲについての処理について示している。Ｇ及びＢについては、Ｒと同様の構成を有するため説明を省略する。
【0126】
ｚ値制限部１２５は、ぼかし領域設定部１２５１を備える。ぼかし領域設定部１２５１は、処理対象ピクセルについてｚ方向の距離ｚと、表示範囲設定のｚＭＡＸ及びｚＭＩＮ値と、ぼかし範囲のＳｂｄｒとを取得する。ぼかし領域設定部１２５１は、取得した情報に基づき、次の（３９）式の演算を行う。
【0127】
ｚ＞ｚＭＡＸ＋４×Ｓｂｄｒ／４ならｓｏｆｔ＝５
ｚ＞ｚＭＡＸ＋３×Ｓｂｄｒ／４かつｚ≦ｚＭＡＸ＋４×Ｓｂｄｒ／４ならｓｏｆｔ＝４
ｚ＞ｚＭＡＸ＋２×Ｓｂｄｒ／４かつｚ≦ｚＭＡＸ＋３×Ｓｂｄｒ／４ならｓｏｆｔ＝３
ｚ＞ｚＭＡＸ＋１×Ｓｂｄｒ／４かつｚ≦ｚＭＡＸ＋２×Ｓｂｄｒ／４ならｓｏｆｔ＝２
ｚ＞ｚＭＡＸかつｚ≦ｚＭＡＸ＋１×Ｓｂｄｒ／４ならｓｏｆｔ＝１
ｚ＜ｚＭＩＮ―４×Ｓｂｄｒ／４ならｓｏｆｔ＝５
ｚ＜ｚＭＩＮ―３×Ｓｂｄｒ／４かつｚ≧ｚＭＩＮ―４×Ｓｂｄｒ／４ならｓｏｆｔ＝４
ｚ＜ｚＭＩＮ―２×Ｓｂｄｒ／４かつｚ≧ｚＭＩＮ―３×Ｓｂｄｒ／４ならｓｏｆｔ＝３
ｚ＜ｚＭＩＮ―１×Ｓｂｄｒ／４かつｚ≧ｚＭＩＮ―２×Ｓｂｄｒ／４ならｓｏｆｔ＝２
ｚ＜ｚＭＩＮ かつｚ≧ｚＭＩＮ―１×Ｓｂｄｒ／４ならｓｏｆｔ＝１
上記以外はｓｏｆｔ＝０・・・（３９）
ｚ＞ｚＭＡＸ＋３×Ｓｂｄｒ／４かつｚ≦ｚＭＡＸ＋４×Ｓｂｄｒ／４ならｓｏｆｔ＝４
ｚ＞ｚＭＡＸ＋２×Ｓｂｄｒ／４かつｚ≦ｚＭＡＸ＋３×Ｓｂｄｒ／４ならｓｏｆｔ＝３
ｚ＞ｚＭＡＸ＋１×Ｓｂｄｒ／４かつｚ≦ｚＭＡＸ＋２×Ｓｂｄｒ／４ならｓｏｆｔ＝２
ｚ＞ｚＭＡＸかつｚ≦ｚＭＡＸ＋１×Ｓｂｄｒ／４ならｓｏｆｔ＝１
ｚ＜ｚＭＩＮ―４×Ｓｂｄｒ／４ならｓｏｆｔ＝５
ｚ＜ｚＭＩＮ―３×Ｓｂｄｒ／４かつｚ≧ｚＭＩＮ―４×Ｓｂｄｒ／４ならｓｏｆｔ＝４
ｚ＜ｚＭＩＮ―２×Ｓｂｄｒ／４かつｚ≧ｚＭＩＮ―３×Ｓｂｄｒ／４ならｓｏｆｔ＝３
ｚ＜ｚＭＩＮ―１×Ｓｂｄｒ／４かつｚ≧ｚＭＩＮ―２×Ｓｂｄｒ／４ならｓｏｆｔ＝２
ｚ＜ｚＭＩＮ かつｚ≧ｚＭＩＮ―１×Ｓｂｄｒ／４ならｓｏｆｔ＝１
上記以外はｓｏｆｔ＝０・・・（３９）
【0128】
ぼかし領域設定部１２５１は、演算の結果得られたｓｏｆｔ信号を、範囲外処理部１２７に出力する。
【0129】
範囲外処理部１２７は、水平ローパスフィルタ部（ＨＬＰＦ）１２７１と、垂直ローパスフィルタ部（ＶＬＰＦ）１２７２と、手前境界スイッチ１２７３と、奥境界スイッチ１２７４とを備える。
【0130】
水平ローパスフィルタ部１２７１は、ＲＧＢカメラ１１２からＲｃａｍ［７：０］を取得する。水平ローパスフィルタ部１２７１は、３ＴＡＰのＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を５個備える。３ＴＡＰのＬＰＦは、１ピクセルの水平方向スキャン時間をＺ＾（―１）とすると、次の（４０）式により得ることができる。
【0131】
ＬＰＦ＝０．２５×Ｚ＾（―１）＋０．５×Ｚ＾０＋０．２５×Ｚ＾１・・・（４０）
【0132】
図示するように、水平ローパスフィルタ部１２７１に備えられる３ＴＡＰＬＰＦは、５個直列に接続される。それぞれの３ＴＡＰＬＰＦの出力は、各ＬＰＦの出力タイミングが同じ位相になるようにＤＬＹ１乃至ＤＬＹ４の遅延回路によりタイミング調整され、ＬＰＦ ＳＥＬに入力される。また、ｚ値制限部１２５と、水平ローパスフィルタ部１２７１との間には、遅延回路ＤＬＹが挿入される。当該遅延回路ＤＬＹは、ぼかし領域設定部１２５１から取得したｓｏｆｔ信号を、各ＬＰＦの遅延に合わせて同じ位相になるようにタイミング調整し、ｓｏｆｔｄｌｙ１としてＬＰＦ ＳＥＬに出力する。
【0133】
水平ローパスフィルタ部１２７１に備えられるＬＰＦ ＳＥＬは、遅延回路ＤＬＹからｓｏｆｔｄｌｙ１信号を取得する。ＬＰＦ ＳＥＬは、取得したｓｏｆｔｄｌｙ１信号が５であればＬＰＦ５を選択し、ｓｏｆｔｄｌｙ１信号が４であればＬＰＦ４を選択し、ｓｏｆｔｄｌｙ１信号が３であればＬＰＦ３を選択し、ｓｏｆｔｄｌｙ１信号が２であればＬＰＦ２を選択し、ｓｏｆｔｄｌｙ１信号が１又は０であればＬＰＦ１を選択し、垂直ローパスフィルタ部１２７２に映像信号を出力する。
【0134】
垂直ローパスフィルタ部１２７２は、水平ローパスフィルタ部１２７１から出力された映像信号を取得する。垂直ローパスフィルタ部１２７２は、３ＴＡＰのＬＰＦを５個備える。３ＴＡＰのＬＰＦは、１ラインの垂直方向スキャン時間をＺ＾（－１）とすると、次の（４１）式により得ることができる。
【0135】
ＬＰＦ＝０．２５×Ｚ＾（－１）＋０．５×Ｚ＾（０）＋０．２５×Ｚ＾（１）・・・（４１）
【0136】
図示するように、垂直ローパスフィルタ部１２７２に備えられる３ＴＡＰＬＰＦは、５個直列に接続される。それぞれの３ＴＡＰＬＰＦの出力は、各ＬＰＦの出力タイミングが同じ位相になるようにＤＬＹ１乃至ＤＬＹ４の遅延回路によりタイミング調整され、ＬＰＦ ＳＥＬに入力される。また、ｚ値制限部１２５と、垂直ローパスフィルタ部１２７２との間には、遅延回路ＤＬＹが挿入される。当該遅延回路ＤＬＹは、ぼかし領域設定部１２５１から取得したｓｏｆｔ信号を、各ＬＰＦの遅延に合わせて同じ位相になるようにタイミング調整し、ｓｏｆｔｄｌｙ２としてＬＰＦ ＳＥＬに出力する。
【0137】
垂直ローパスフィルタ部１２７２に備えられるＬＰＦ ＳＥＬは、遅延回路ＤＬＹからｓｏｆｔｄｌｙ２信号を取得する。ＬＰＦ ＳＥＬは、取得したｓｏｆｔｄｌｙ２信号が５であればＬＰＦ５を選択し、ｓｏｆｔｄｌｙ２信号が４であればＬＰＦ４を選択し、ｓｏｆｔｄｌｙ２信号が３であればＬＰＦ３を選択し、ｓｏｆｔｄｌｙ２信号が２であればＬＰＦ２を選択し、ｓｏｆｔｄｌｙ２信号が１又は０であればＬＰＦ１を選択し、手前境界スイッチ１２７３にＲＬＰＦ［７：０］を出力する。
【0138】
手前境界スイッチ１２７３は、ｚ値制限部１２５から出力されたｚｋｅｙ信号を、遅延回路ＤＬＹを介して取得する。当該遅延回路ＤＬＹは、垂直ローパスフィルタ部１２７２から出力されたＲＬＰＦ［７：０］とタイミングを合わせる。また、手前境界スイッチ１２７３は、図９を参照しながら説明したＦｂｄｒｓｅｌを取得する。また、手前境界スイッチ１２７３は、不図示の色設定部から、任意の色のＲ値を示すＲｓｅｔを取得する。当該色設定部は、ユーザからの操作に基づきＲ値を設定してもよいし、デフォルト値として所定の記憶部に記憶されている情報に基づきＲ値を設定してもよい。
【0139】
手前境界スイッチ１２７３は、Ｆｂｄｒｓｅｌ＝０かつｚｋｅｙ信号が０であれば、Ｒ値Ｒｓｅｔを出力する。
また、手前境界スイッチ１２７３は、Ｆｂｄｒｓｅｌ＝０かつｚｋｅｙ信号が１又は２であれば、ＲＬＰＦ信号に位相合わせされたＲｃａｍ信号を出力する。
また、手前境界スイッチ１２７３は、Ｆｂｄｒｓｅｌ＝１かつｚｋｅｙ信号が０であれば、ＲＬＰＦを出力する。
また、手前境界スイッチ１２７３は、Ｆｂｄｒｓｅｌ＝１かつｚｋｅｙ信号が１又は２であれば、ＲＬＰＦ信号と位相合わせされたＲｃａｍ信号を出力する。
手前境界スイッチ１２７３は、このように選択された信号をＲｂｄｒ［７：０］として出力する。
また、手前境界スイッチ１２７３は、Ｆｂｄｒｓｅｌ＝０かつｚｋｅｙ信号が１又は２であれば、ＲＬＰＦ信号に位相合わせされたＲｃａｍ信号を出力する。
また、手前境界スイッチ１２７３は、Ｆｂｄｒｓｅｌ＝１かつｚｋｅｙ信号が０であれば、ＲＬＰＦを出力する。
また、手前境界スイッチ１２７３は、Ｆｂｄｒｓｅｌ＝１かつｚｋｅｙ信号が１又は２であれば、ＲＬＰＦ信号と位相合わせされたＲｃａｍ信号を出力する。
手前境界スイッチ１２７３は、このように選択された信号をＲｂｄｒ［７：０］として出力する。
【0140】
奥境界スイッチ１２７４は、ｚ値制限部１２５から出力されたｚｋｅｙ信号を、遅延回路ＤＬＹを介して取得する。当該遅延回路ＤＬＹは、手前境界スイッチ１２７３から出力されたＲｂｄｒ［７：０］とタイミングを合わせる。また、奥境界スイッチ１２７４は、図９を参照しながら説明したＢｂｄｒｓｅｌを取得する。また、奥境界スイッチ１２７４は、不図示の色設定部から、任意の色のＲ値を示すＲｓｅｔを取得する。当該色設定部は、ユーザからの操作に基づきＲ値を設定してもよいし、デフォルト値として所定の記憶部に記憶されている情報に基づきＲ値を設定してもよい。
【0141】
奥境界スイッチ１２７４は、Ｂｂｄｒｓｅｌ＝０かつｚｋｅｙ信号が２であれば、Ｒ値Ｒｓｅｔを出力する。
また、奥境界スイッチ１２７４は、Ｂｂｄｒｓｅｌ＝０かつｚｋｅｙ信号が０又は１であれば、Ｒｂｄｒを出力する。
また、奥境界スイッチ１２７４は、Ｂｂｄｒｓｅｌ＝１かつｚｋｅｙ信号が２であれば、タイミングを合わせたＲＬＰＦを出力する。
また、奥境界スイッチ１２７４は、Ｂｂｄｒｓｅｌ＝１かつｚｋｅｙ信号が０又は１であれば、Ｒｂｄｒ信号を出力する。
奥境界スイッチ１２７４は、このように選択された信号をＲｏｕｔ［７：０］として出力する。
また、奥境界スイッチ１２７４は、Ｂｂｄｒｓｅｌ＝０かつｚｋｅｙ信号が０又は１であれば、Ｒｂｄｒを出力する。
また、奥境界スイッチ１２７４は、Ｂｂｄｒｓｅｌ＝１かつｚｋｅｙ信号が２であれば、タイミングを合わせたＲＬＰＦを出力する。
また、奥境界スイッチ１２７４は、Ｂｂｄｒｓｅｌ＝１かつｚｋｅｙ信号が０又は１であれば、Ｒｂｄｒ信号を出力する。
奥境界スイッチ１２７４は、このように選択された信号をＲｏｕｔ［７：０］として出力する。
【0142】
［実施形態２のまとめ］
以上説明した実施形態によれば、ｚ方向深さ幅指定部１２１は、最小値（図３に示すユーザ設定最小距離）及び最大値（図３に示すユーザ設定最大距離）により三次元情報表示装置３０に表示させる深さの幅を指定する。最小値とは、すなわち三次元情報表示装置３０に表示させる深さのうち手前側までの距離を示す値であり、最大値とは、三次元情報表示装置３０に表示させる深さのうち奥側までの距離を示す値である。また、範囲外処理部１２７は、二次元画像の画素値を、ｚ方向深さ幅指定部１２１により指定された最小値又は最大値と、当該画素に対応する深度とに応じた色に変換する。すなわち、本実施形態に係る三次元情報処理装置１２０によれば、ユーザにより設定された距離の範囲外であるＲＧＢ値を、距離に応じて徐々にぼかす。本実施形態によれば、ユーザにより設定された距離の範囲外であるＲＧＢ値を距離に応じて徐々にぼかすことにより、空間の連続性を保つことができ、より自然な三次元表示を行うことができる。
以上説明した実施形態によれば、ｚ方向深さ幅指定部１２１は、最小値（図３に示すユーザ設定最小距離）及び最大値（図３に示すユーザ設定最大距離）により三次元情報表示装置３０に表示させる深さの幅を指定する。最小値とは、すなわち三次元情報表示装置３０に表示させる深さのうち手前側までの距離を示す値であり、最大値とは、三次元情報表示装置３０に表示させる深さのうち奥側までの距離を示す値である。また、範囲外処理部１２７は、二次元画像の画素値を、ｚ方向深さ幅指定部１２１により指定された最小値又は最大値と、当該画素に対応する深度とに応じた色に変換する。すなわち、本実施形態に係る三次元情報処理装置１２０によれば、ユーザにより設定された距離の範囲外であるＲＧＢ値を、距離に応じて徐々にぼかす。本実施形態によれば、ユーザにより設定された距離の範囲外であるＲＧＢ値を距離に応じて徐々にぼかすことにより、空間の連続性を保つことができ、より自然な三次元表示を行うことができる。
【0143】
［実施形態３］
次に、図１１を参照しながら、実施形態３について説明する。実施形態３に係る三次元情報処理装置１２０は、一連の動画像データに含まれる複数の異なるフレーム画像についての二次元画像及び三次元情報についての処理を行うことを前提とする。実施形態３においては、ユーザにより異なる２つの距離範囲が指定される点において、上述した実施形態とは異なる。実施形態３に係る三次元情報表示システム１によれば、指定された２つの距離範囲のうち、第１の距離範囲から、第２の距離範囲の間を徐々に移行して表示させることにより、カメラを奥行方向に動かし、ズームイン又はズームアウトしているように見せることが可能となる。
次に、図１１を参照しながら、実施形態３について説明する。実施形態３に係る三次元情報処理装置１２０は、一連の動画像データに含まれる複数の異なるフレーム画像についての二次元画像及び三次元情報についての処理を行うことを前提とする。実施形態３においては、ユーザにより異なる２つの距離範囲が指定される点において、上述した実施形態とは異なる。実施形態３に係る三次元情報表示システム１によれば、指定された２つの距離範囲のうち、第１の距離範囲から、第２の距離範囲の間を徐々に移行して表示させることにより、カメラを奥行方向に動かし、ズームイン又はズームアウトしているように見せることが可能となる。
【0144】
図１１は、実施形態３に係る距離範囲取得画面の画面構成の一例を示す図である。同図を参照しながら、実施形態３に係る三次元情報処理装置１２０により表示される表示画面Ｄ３０の画面構成の一例について説明する。図示するように、表示画面Ｄ３０には、ＴＯＦカメラ測距範囲が示される。ＴＯＦカメラ測距範囲とは、三次元情報取得装置１１０により取得可能な距離情報のｚ方向の範囲である。図示する一例では、ＴＯＦカメラ測距範囲として、０．５～５［ｍ］が表示されている。ユーザは、距離データ表示範囲設定部において、ＴＯＦカメラ測距範囲の中で、三次元情報表示装置３０にどの範囲を表示させるかを設定する。本実施形態においては、異なる２つの距離範囲を設定する。
【0145】
距離データ表示範囲設定部は、異なる２つの距離範囲設定部を画面構成として有する。それぞれの距離範囲設定部は、ユーザ設定最小距離設定部と、ユーザ設定最大距離設定部と、ディスプレイ飛び出し量設定部とを備える。ユーザは、キーボード等の入力デバイスを操作することにより、ユーザ設定最小距離、ユーザ設定最大距離、及びディスプレイ飛び出し量を設定する。第１の距離範囲として、ユーザ設定最小距離１、ユーザ設定最大距離１、及びディスプレイ飛び出し量１が設定される。また、第２の距離範囲として、ユーザ設定最小距離２、ユーザ設定最大距離２、及びディスプレイ飛び出し量２が設定される。
【0146】
また、表示画面Ｄ３０は、移行時間設定部を画面構成として有する。ユーザは、キーボード等の入力デバイスを操作することにより、移行時間設定部に対し、第１の距離範囲から第２の距離範囲までの移行に要する時間［秒］を設定する。移行時間設定部に入力された時間が短いほど素早くズームイン又はズームアウトし、移行時間設定部に入力された時間が長いほどゆっくりズームイン又はズームアウトする。
【0147】
また、表示画面Ｄ３０は、移動開始ボタンを画面構成として有する。ユーザにより当該移動開始ボタンが操作されることをトリガとして、本実施形態に係る三次元情報表示システム１は、第１の距離範囲から、第２の距離範囲までの移行を開始する。
【0148】
本実施形態において、ｚ方向深さ幅指定部１２１は、三次元情報処理装置１２０により処理が行われる一連の動画像データのうち、第１のフレーム画像について適用される第１の深さの幅と、第２のフレーム画像について適用される第２の深さの幅とを指定する。具体的には、ｚ方向深さ幅指定部１２１は、表示画面Ｄ３０を用いて取得したユーザ設定最小距離１をｚＭＩＮ１、ユーザ設定最大距離１をｚＭＡＸ１として、第１の深さの幅を指定する。また、ｚ方向深さ幅指定部１２１は、表示画面Ｄ３０を用いて取得したユーザ設定最小距離２をｚＭＩＮ２、ユーザ設定最大距離２をｚＭＡＸ２として第２の深さの幅を指定する。
【0149】
また、ｚ方向深さ幅指定部１２１は、第１の深さの幅から第２の深さの幅までの移行スピードを指定する。具体的には、ｚ方向深さ幅指定部１２１は、表示画面Ｄ３０に含まれる移行時間設定部を用いて取得した移行時間を、ｍｏｖｅｔｉｍｅとして指定する。三次元情報取得装置１１０に備えられるＲＧＢカメラ１１２のフレームレートが例えば３０［ＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）］であれば、移動時間にかかる総フレーム数Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅは、ｍｏｖｅｔｉｍｅにフレームレートを乗じた値となる。すなわち、総フレーム数Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅは、次の（４１）式により求められる。
【0150】
Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ＝ｍｏｖｅｔｉｍｅ×３０・・・（４１）
【0151】
ユーザにより、表示画面Ｄ３０に含まれる移動開始ボタンが押されると、カウンタＦｃｏｕｎｔが加算される。Ｆｃｏｕｎｔとは、１フレームごと１加算されるカウンタである。ＦｃｏｕｎｔはＭｏｖｅ＿ａｌｌ＿ｆｒａｍｅを上限として加算される。ｚ方向深さ幅指定部１２１は、Ｆｃｏｕｎｔ値、ｚＭＩＮ１、及びｚＭＩＮ２を用いて、ｚＭＩＮを算出する。ｚＭＩＮ値の算出には、例えば次の（４２）式が用いられる。
【0152】
ｚＭＩＮ＝ｚＭＩＮ１×（Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ－Ｆｃｏｕｎｔ）／Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ＋ｚＭＩＮ２×Ｆｃｏｕｎｔ／Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ・・・（４２）
【0153】
ｚ方向深さ幅指定部１２１は、ｚＭＡＸ値についても同様に算出する。ｚＭＡＸ値の算出には、例えば次の（４３）式が用いられる。
【0154】
ｚＭＡＸ＝ｚＭＡＸ１×（Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ－Ｆｃｏｕｎｔ）／Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ＋ｚＭＡＸ２×Ｆｃｏｕｎｔ／Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ・・・（４３）
【0155】
このように、フレームに応じてｚＭＩＮ値、及びｚＭＡＸ値を変化させていくことにより、三次元情報表示システム１は、ｚ方向に動きの生じた３Ｄ映像を表示することができる。
【0156】
また、ｚＭＩＮ１＞ｚＭＩＮ２及びｚＭＡＸ１＞ｚＭＡＸ２とし、ｚＭＩＮ１－ｚＭＩＮ２とｚＭＡＸ１―ｚＭＡＸ２とを等しくするように設定すると、被写体は元の形を保ちながら徐々に視聴者に迫ってくるような３Ｄ映像を表示することができる。
【0157】
次に、ディスプレイ飛び出し量ｚｏｆｆｓｅｔの算出の一例について説明する。第１の距離範囲に対応するディスプレイ飛び出し量をｚｏｆｆｓｅｔ１とし、第２の距離範囲に対応するディスプレイ飛び出し量をｚｏｆｆｓｅｔ２とする。この場合、ディスプレイ飛び出し量ｚｏｆｆｓｅｔは、上述したＦｃｏｕｎｔと連動させ、ｚｏｆｆｓｅｔ１とｚｏｆｆｓｅｔ２とに基づき、次の（４４）式として得ることができる。
【0158】
ｚｏｆｆｓｅｔ＝ｚｏｆｆｓｅｔ１×（Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ－Ｆｃｏｕｎｔ）／Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ＋ｚｏｆｆｓｅｔ２×Ｆｃｏｕｎｔ／Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ・・・（４４）
【0159】
［実施形態３のまとめ］
以上説明した実施形態によれば、本実施形態に係る三次元情報処理装置１２０は、一連の動画像データに含まれる複数の異なるフレーム画像についての二次元画像及び三次元情報についての処理を行う。また、ｚ方向深さ幅指定部（深度指定部）１２１は、第１のフレーム画像について適用される第１の深さの幅と、第２のフレーム画像について適用される第２の深さの幅と、第１の深さの幅から第２の深さの幅までの移行スピードとを指定する。三次元情報処理装置１２０は、このような構成を採用することにより、距離設定範囲とズーム飛び出し位置をそれぞれ２種類設定し、設定した時間の間、徐々に変化するようにし、結果として動きのある３Ｄ映像を提供することができる。
以上説明した実施形態によれば、本実施形態に係る三次元情報処理装置１２０は、一連の動画像データに含まれる複数の異なるフレーム画像についての二次元画像及び三次元情報についての処理を行う。また、ｚ方向深さ幅指定部（深度指定部）１２１は、第１のフレーム画像について適用される第１の深さの幅と、第２のフレーム画像について適用される第２の深さの幅と、第１の深さの幅から第２の深さの幅までの移行スピードとを指定する。三次元情報処理装置１２０は、このような構成を採用することにより、距離設定範囲とズーム飛び出し位置をそれぞれ２種類設定し、設定した時間の間、徐々に変化するようにし、結果として動きのある３Ｄ映像を提供することができる。
【0160】
さらに本実施形態によれば、表示画面Ｄ３０を用いて異なる２つのディスプレイ飛び出し量を取得することができるため、ディスプレイ飛び出し量ｚｏｆｆｓｅｔを上述したｚＭＩＮ値及びｚＭＡＸ値に連動して動かすことにより、さらに動きのある３Ｄ映像を得ることができる。この場合、ディスプレイ飛び出し量ｚｏｆｆｓｅｔは、表示画面Ｄ３０を用いて取得された移行時間に応じて徐々に変化する。
【0161】
［実施形態４］
次に、図１２及び図１３を参照しながら、実施形態４について説明する。実施形態４においては、実施形態３と同様に一連の動画像データに含まれる複数の異なるフレーム画像についての二次元画像及び三次元情報についての処理を行うことを前提とする。また、実施形態４においては、三次元情報取得システム１０Ａがズーム機能を有していることを前提とする。更に実施形態４において、第１のフレームにおけるズーム倍率と、第２のフレームにおけるズーム倍率とは異なる。すなわち、本実施形態に係る三次元情報処理装置１２０Ａは、一連の動画像データに含まれる複数の異なるフレーム画像であって、ズーム倍率が互いに異なる二次元画像及び三次元情報についての処理を行う。以下、本実施形態に係る三次元情報表示システム１Ａが有するズーム機能は、画像処理により電子ズームとして行われてもよいし、ズームレンズを用いて行われてもよいものとする。実施形態４においては、実施形態３において説明した２つの距離範囲間の移行をさせつつ、ズーム機能を用いて被写体５０の見た目の大きさを保ったような映像を提供することを目的とする。このような描写のテクニックは、映画等で用いられており、めまいショット（ドリーショット）とも呼ばれているものである。
次に、図１２及び図１３を参照しながら、実施形態４について説明する。実施形態４においては、実施形態３と同様に一連の動画像データに含まれる複数の異なるフレーム画像についての二次元画像及び三次元情報についての処理を行うことを前提とする。また、実施形態４においては、三次元情報取得システム１０Ａがズーム機能を有していることを前提とする。更に実施形態４において、第１のフレームにおけるズーム倍率と、第２のフレームにおけるズーム倍率とは異なる。すなわち、本実施形態に係る三次元情報処理装置１２０Ａは、一連の動画像データに含まれる複数の異なるフレーム画像であって、ズーム倍率が互いに異なる二次元画像及び三次元情報についての処理を行う。以下、本実施形態に係る三次元情報表示システム１Ａが有するズーム機能は、画像処理により電子ズームとして行われてもよいし、ズームレンズを用いて行われてもよいものとする。実施形態４においては、実施形態３において説明した２つの距離範囲間の移行をさせつつ、ズーム機能を用いて被写体５０の見た目の大きさを保ったような映像を提供することを目的とする。このような描写のテクニックは、映画等で用いられており、めまいショット（ドリーショット）とも呼ばれているものである。
【0162】
図１２は、実施形態４に係る三次元情報取得装置及び三次元情報処理装置の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報処理装置１２０Ａの機能構成の詳細について説明する。三次元情報処理装置１２０Ａは、ｚ方向深さ幅指定部１２１に代えてｚ方向深さ幅指定部１２１Ａを備える点において三次元情報処理装置１２０とは異なる。また、三次元情報処理装置１２０Ａは、更に第１電子ズーム部１２９１と、第２電子ズーム部１２９２とを備える点において三次元情報処理装置１２０とは異なる。三次元情報処理装置１２０Ａの説明において、三次元情報処理装置１２０と同様の構成については同様の符号を付し、説明を省略する場合がある。
【0163】
第１電子ズーム部１２９１は、ＲＧＢカメラ１１２から出力されたＲｃａｍ［７：０］、Ｇｃａｍ［７：０］、及びＢｃａｍ［７：０］に対して電子ズームを行う。第２電子ズーム部１２９２は、ＴＯＦカメラ１１６から出力されたＤｃａｍ［１５：０］に対して電子ズームを行う。なお、電子ズーム処理に用いられるズーム画像処理手法は、公知の方法が用いられてもよい。また、第１電子ズーム部１２９１及び第２電子ズーム部１２９２が用いるズーム倍率は、ｚ方向深さ幅指定部１２１Ａにより情報処理装置２０から取得され、第１電子ズーム部１２９１及び第２電子ズーム部１２９２に提供されてもよい。
【0164】
図１３は、実施形態４に係る距離範囲取得画面の画面構成の一例を示す図である。同図を参照しながら、実施形態４に係る三次元情報処理装置１２０Ａにより表示される表示画面Ｄ４０の画面構成の一例について説明する。図示するように、表示画面Ｄ４０は、表示画面Ｄ３０に加えて、拡大率（拡大倍率）設定部を画面構成として有する。ユーザは、第１のフレーム画像に適用する拡大率１と、第２のフレーム画像に適用する拡大率２とをそれぞれ設定することができる。例えばｚＭＩＮ１＞ｚＭＩＮ２かつｚＭＡＸ１＞ｚＭＡＸ２とし、ｚＭＩＮ１－ｚＭＩＮ２とｚＭＡＸ１－ｚＭＡＸ２とを等しくするように設定すると、被写体５０は元の形を保ちながら徐々に視聴者に迫ってくるようになる。このときに拡大率２の値であるｚｏｏｍ２を１００％に設定し、拡大率１の値であるｚｏｏｍ１を（ｚＭＩＮ１／ｚＭＩＮ２）×１００％に設定する。
【0165】
図１２に戻り、ｚ方向深さ幅指定部１２１Ａは、取得したｚｏｏｍ１、ｚｏｏｍ２、及び（４３）式で用いたＦｃｏｕｎｔに基づき、ｚｏｏｍ１からｚｏｏｍ２に徐々に変化するようにする。具体的には、ｚ方向深さ幅指定部１２１Ａは、次の（４５）式を用いて求められるｚｏｏｍ信号を、第１電子ズーム部１２９１及び第２電子ズーム部１２９２に出力する。
【0166】
ｚｏｏｍ＝ｚｏｏｍ１×（Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ－Ｆｃｏｕｎｔ）／Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ＋ｚｏｏｍ２×Ｆｃｏｕｎｔ／Ｍｏｖｅ＿ａｌｌ＿ｆｒａｍｅ・・・（４５）
【0167】
第１電子ズーム部１２９１及び第２電子ズーム部１２９２は、ｚ方向深さ幅指定部１２１Ａからｚｏｏｍ信号を取得する。第１電子ズーム部１２９１は、取得したｚｏｏｍ信号に基づきＲｃａｍ［７：０］、Ｇｃａｍ［７：０］、及びＢｃａｍ［７：０］に対して電子ズームを行う。ｚｏｏｍ信号とは、ｚ方向深さ幅指定部１２１Ａにより指定された第１の深さの幅、第２の深さの幅、及び移行スピードに基づく信号である。すなわち、第１電子ズーム部１２９１は、ｚ方向深さ幅指定部１２１Ａにより指定された第１の深さの幅、第２の深さの幅、及び移行スピードに基づいて、二次元画像をズーム処理する。また、第１電子ズーム部１２９１は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行う。同様に、第２電子ズーム部１２９２は、取得したｚｏｏｍ信号に基づきＤｃａｍ［１５：０］に対して電子ズームを行う。すなわち、第２電子ズーム部１２９２は、ｚ方向深さ幅指定部１２１Ａにより指定された第１の深さの幅、第２の深さの幅、及び移行スピードに基づいて、三次元情報をズーム処理する。第２電子ズーム部１２９２は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行う。
【0168】
ｚ方向深さ幅指定部１２１Ａにより算出されたｚｏｏｍ信号は、同時にＭＡＸ値ｚ－ｄ変換部１２２及びＭＩＮ値ｚ－ｄ変換部１２３に出力される。ＭＡＸ値ｚ－ｄ変換部１２２及びＭＩＮ値ｚ－ｄ変換部１２３は、ＭＡＸ値ｚ－ｄ変換、ＭＩＮ値ｚ－ｄ変換に用いられる焦点距離ｆｘ及びｆｙを、以下の（４６）式及び（４７）を用いて得られた焦点距離ｆｘ’及びｆｙ’として、ＭＡＸ値ｚ－ｄ変換、ＭＩＮ値ｚ－ｄ変換を行う。
【0169】
ｆｘ’＝ｚｏｏｍ／１００×ｆｘ・・・（４６）
ｆｙ’＝ｚｏｏｍ／１００×ｆｙ・・・（４７）
ｆｙ’＝ｚｏｏｍ／１００×ｆｙ・・・（４７）
【0170】
ＭＡＸ値ｚ－ｄ変換部１２２及びＭＩＮ値ｚ－ｄ変換部１２３は、この新たに計算された焦点距離ｆｘ’及びｆｙ’を用いて、上述した（１）式～（８）式の焦点距離ｆｘ及びｆｙに入力し計算する。また焦点距離ｆｘ’及びｆｙ’は、焦点距離ｆｘ及びｆｙとしてＭＡＸ値ｚ－ｄ変換部１２２及びＭＩＮ値ｚ－ｄ変換部１２３からデータ追加部１２８に出力される。
【0171】
なお、上述した電子ズーム処理は、電子ズーム機能を持ったレンズを用いて行ってもよい。電子ズーム機能を持ったレンズを用いて電子ズーム処理を行う場合は、ズーム位置から焦点距離を把握し、焦点距離ｆｘ及びｆｙをズーム位置に合わせて設定することとしてもよい。
【0172】
また、表示画面Ｄ４０は、拡大率１及び拡大率２それぞれについてＡＵＴＯボタンを画面構成として有していてもよい。ＡＵＴＯボタンは、ユーザによりオン状態又はオフ状態のいずれかに操作される。ＡＵＴＯボタンが選択された場合（オン状態、又はＡＵＴＯモードの場合）、自動的に被写体５０の大きさを常に同じとなるようになる。本実施形態によれば、ＡＵＴＯボタンを備えることにより、ユーザは設定値を計算しなくてよく、利便性が向上する。拡大率１のＡＵＴＯボタンが選択されると、拡大率１であるｚｏｏｍ１は、次に示す（４８）式のような演算を行うことにより設定される。
【0173】
ｚＭＩＮ１＞ｚＭＩＮ２の場合
ｚｏｏｍ１＝ｚＭＩＮ１／ｚＭＩＮ２×１００％
それ以外
ｚｏｏｍ１＝１００％・・・（４８）
ｚｏｏｍ１＝ｚＭＩＮ１／ｚＭＩＮ２×１００％
それ以外
ｚｏｏｍ１＝１００％・・・（４８）
【0174】
また、拡大率２のＡＵＴＯボタンが選択されると、拡大率２であるｚｏｏｍ２は、次に示す（４９）式のような演算を行うことにより設定される。
【0175】
ｚＭＩＮ１＞ｚＭＩＮ２の場合
ｚｏｏｍ２＝１００％
それ以外
ｚｏｏｍ１＝ｚＭＩＮ１／ｚＭＩＮ２×１００％・・・（４９）
ｚｏｏｍ２＝１００％
それ以外
ｚｏｏｍ１＝ｚＭＩＮ１／ｚＭＩＮ２×１００％・・・（４９）
【0176】
このように、本実施形態によれば、ＡＵＴＯボタンを有することにより、ズーム倍率を自動設定とすることができる。ユーザは、ズーム倍率を自動設定とすることにより、簡単にめまいショット(ドリーショット)のような効果を、３Ｄ映像で得ることができる。結果として、ドリーを置くことができないような撮影現場であっても、本実施形態に係る機能を用いることにより、めまいショットに近い映像を撮影することが可能となる。
【0177】
［実施形態４のまとめ］
以上説明した実施形態によれば、三次元情報処理装置１２０Ａは、一連の動画像データに含まれる複数の異なるフレーム画像であって、ズーム倍率が互いに異なる二次元画像及び三次元情報についての処理を行う。三次元情報処理装置１２０Ａは、第１電子ズーム部１２９１を備えることにより、ｚ方向深さ幅指定部１２１Ａにより指定された第１の深さの幅、第２の深さの幅、及び移行スピードに基づいて、二次元画像をズーム処理する、また、三次元情報処理装置１２０Ａは、第２電子ズーム部１２９２を備えることにより、ｚ方向深さ幅指定部１２１Ａにより指定された第１の深さの幅、第２の深さの幅、及び移行スピードに基づいて、三次元情報をズーム処理する。第１電子ズーム部１２９１は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行い、第２電子ズーム部１２９２は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行う。本実施形態によれば、このような構成を採用することにより、距離範囲がｚ方向に移動した場合であっても、ズーム機能により３Ｄ映像の見た目は同じ大きさで見ることができる。すなわち、ユーザからすると、三次元情報表示装置３０の透視投影により背景が動いたように見える。したがって、本実施形態によれば、映画の撮影テクニックのひとつのめまいショット(ドリーショット)のような効果を３Ｄ映像により得ることができる。
以上説明した実施形態によれば、三次元情報処理装置１２０Ａは、一連の動画像データに含まれる複数の異なるフレーム画像であって、ズーム倍率が互いに異なる二次元画像及び三次元情報についての処理を行う。三次元情報処理装置１２０Ａは、第１電子ズーム部１２９１を備えることにより、ｚ方向深さ幅指定部１２１Ａにより指定された第１の深さの幅、第２の深さの幅、及び移行スピードに基づいて、二次元画像をズーム処理する、また、三次元情報処理装置１２０Ａは、第２電子ズーム部１２９２を備えることにより、ｚ方向深さ幅指定部１２１Ａにより指定された第１の深さの幅、第２の深さの幅、及び移行スピードに基づいて、三次元情報をズーム処理する。第１電子ズーム部１２９１は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行い、第２電子ズーム部１２９２は、二次元画像のズーム倍率に応じた焦点距離に基づいたズーム処理を行う。本実施形態によれば、このような構成を採用することにより、距離範囲がｚ方向に移動した場合であっても、ズーム機能により３Ｄ映像の見た目は同じ大きさで見ることができる。すなわち、ユーザからすると、三次元情報表示装置３０の透視投影により背景が動いたように見える。したがって、本実施形態によれば、映画の撮影テクニックのひとつのめまいショット(ドリーショット)のような効果を３Ｄ映像により得ることができる。
【0178】
また別の目的として、実物と同じ大きさを三次元情報表示装置３０により再現する場合、この上述したズーム機能で調整することにより、ディスプレイの大きさにあった表示の大きさに調整することも可能となる。この場合ＡＵＴＯをＯＦＦにし、ｚｏｏｍ１とｚｏｏｍ２とを同じ値になるように調整すればよい。
【0179】
［実施形態５］
次に、図１４から図１６を参照しながら、実施形態５について説明する。図１４は、実施形態５に係る三次元情報取得装置及び三次元情報処理装置の機能構成の一例を示す機能構成図である。同図を参照しながら、実施形態５に係る三次元情報表示システム１Ｂについて説明する。三次元情報表示システム１Ｂの説明において、三次元情報表示システム１又は三次元情報表示システム１Ａと同様の構成については、同様の符号を付すことにより説明を省略する場合がある。
次に、図１４から図１６を参照しながら、実施形態５について説明する。図１４は、実施形態５に係る三次元情報取得装置及び三次元情報処理装置の機能構成の一例を示す機能構成図である。同図を参照しながら、実施形態５に係る三次元情報表示システム１Ｂについて説明する。三次元情報表示システム１Ｂの説明において、三次元情報表示システム１又は三次元情報表示システム１Ａと同様の構成については、同様の符号を付すことにより説明を省略する場合がある。
【0180】
実施形態５に係る三次元情報表示システム１Ｂは、三次元情報取得装置１１０に代えて三次元情報取得装置１１０Ｂを備える点において、上述した実施形態とは異なる。三次元情報取得装置１１０Ｂは、ＲＧＢカメラ１１２及びＴＯＦカメラ１１６に代えて、ＲＧＢＤカメラ４００を備える。ＲＧＢＤカメラ４００は、ＲＧＢセンサとＴＯＦセンサとが１つのプリズム上に配置され、二次元画像と三次元情報（距離情報）とを取得可能な構成を有する。
【0181】
図１５は、実施形態５に係るＲＧＢＤカメラの断面の一例について説明するための模式図である。同図を参照しながら、ＲＧＢＤカメラ４００が有するＲＧＢセンサとＴＯＦセンサとの位置関係について説明する。ＲＧＢＤカメラ４００は、可視光反射ダイクロイック膜４１２と、イメージセンサ（ＲＧＢセンサ）４１３と、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ４１４とを更に備える。
【0182】
レーザーダイオードアレイＶＣＳＥＬ（照射部）１１１から照射され、被写体（又は対象物）Ｓに反射した光は、受光部４１０に入射する。受光部４１０には、プリズム（不図示）が備えられる。当該プリズムは、受光部４１０が備える光学系レンズとＴｏＦセンサとの間に備えられる。また、当該プリズムは、レーザーダイオードアレイＶＣＳＥＬ１１１により被写体５０に対して照射され反射した光が入射する。同図には、入射した光の光軸が、光軸ＯＡとして記載されている。受光部４１０に入射した光は、可視光反射ダイクロイック膜４１２に入射する。可視光反射ダイクロイック膜４１２より上流側には、不図示の光学系レンズ等が備えられていてもよい。
【0183】
可視光反射ダイクロイック膜４１２は、受光部４１０とＴｏＦセンサ４１４との間の光路上に設けられる。可視光反射ダイクロイック膜４１２は、入射する一部の光（具体的には近赤外光）を透過させ、その他の光（具体的には可視光）を反射する。可視光反射ダイクロイック膜４１２は、レーザーダイオードアレイＶＣＳＥＬ１１１により照射された光が被写体５０に反射した光の一部を透過させることにより、光をＴｏＦセンサ４１４に導く。可視光反射ダイクロイック膜４１２が透過させる光を赤外光ＩＬと記載する。また、可視光反射ダイクロイック膜４１２が反射する光を可視光ＶＬとして記載する。赤外光ＩＬ及び可視光ＶＬは、可視光反射ダイクロイック膜４１２より上流側において略同一の光軸を通る。略同一の範囲とは、例えば共通のレンズにより、光路が形成される範囲であってもよい。
【0184】
可視光反射ダイクロイック膜４１２により二つの光路に分光された光は、それぞれの光路に配置されたセンサにより受光される。具体的には、可視光反射ダイクロイック膜４１２を透過した赤外光ＩＬはＴｏＦセンサ４１４により受光される。また、可視光反射ダイクロイック膜４１２に反射した光はイメージセンサ４１３により受光される。
【0185】
図１６は、実施形態５に係る可視光反射ダイクロイック膜の反射分光特性の一例を示す図である。ここで、可視光反射ダイクロイック膜４１２の反射分光特性の一例について説明する。同図の横軸は、波長［ｎｍ（ナノメートル）］を示し、縦軸は当該波長に対応する反射率［％］を示す。図示するように、可視光反射ダイクロイック膜１７は、波長が約７００［ｎｍ］以下の場合、略１００［％］の反射率を有し、波長が約７００［ｎｍ］以上の場合、略０［％］の反射率を有する。すなわち可視光反射ダイクロイック膜１７に入射した光のうち波長が約７００［ｎｍ］以下の光（例えば可視光）は反射し、波長が約７００［ｎｍ］以上の光（例えば赤外光）は透過する。
【0186】
図１５に戻り、イメージセンサ４１３は、可視光反射ダイクロイック膜４１２により反射した可視光を受光する。イメージセンサ４１３は、二次元配列された複数の画素を備える。イメージセンサ４１３は、ベイヤー配列により配置されたＲＧＢ各色の画素を備えていてもよい。当該複数の画素は、それぞれ可視光ＶＬを受光し、可視光画像を生成するために必要な情報を取得する。
【0187】
ＴｏＦセンサ４１４は、レーザーダイオードアレイＶＣＳＥＬ１１１により照射され被写体５０に反射した光を、光学系レンズを介して受光する。ＴｏＦセンサ４１４は、二次元配列された複数の画素を備える。当該複数の画素は、それぞれ赤外光ＩＬを受光し、距離換算に必要な情報を取得する。
【0188】
［実施形態５のまとめ］
以上説明した実施形態によれば、三次元情報表示システム１Ｂは、三次元情報取得装置１１０Ｂと、三次元情報処理装置１２０又は三次元情報処理装置１２０Ａとを備える。三次元情報取得装置１１０Ｂは、ＲＧＢＤカメラ４００を備える。ＲＧＢＤカメラ４００は、ＴｏＦセンサ４１４を備えることにより、レーザーダイオードアレイＶＣＳＥＬ１１１により照射され被写体５０に反射した光を光学系レンズを介して受光し、可視光反射ダイクロイック膜４１２を備えることにより、プリズムに入射した光のうち可視光を反射し、イメージセンサ４１３を備えることにより、可視光反射ダイクロイック膜４１２により反射した可視光を受光する。本実施形態によれば、このような構成を採用することにより、イメージセンサ４１３により取得される二次元画像と、ＴｏＦセンサ４１４により取得される三次元情報（距離画像）との間に生じる像のずれを軽減することが可能となる。したがって、本実施形態によれば、三次元情報表示システム１Ｂは、より精度のよい三次元情報を表示することが可能となる。
以上説明した実施形態によれば、三次元情報表示システム１Ｂは、三次元情報取得装置１１０Ｂと、三次元情報処理装置１２０又は三次元情報処理装置１２０Ａとを備える。三次元情報取得装置１１０Ｂは、ＲＧＢＤカメラ４００を備える。ＲＧＢＤカメラ４００は、ＴｏＦセンサ４１４を備えることにより、レーザーダイオードアレイＶＣＳＥＬ１１１により照射され被写体５０に反射した光を光学系レンズを介して受光し、可視光反射ダイクロイック膜４１２を備えることにより、プリズムに入射した光のうち可視光を反射し、イメージセンサ４１３を備えることにより、可視光反射ダイクロイック膜４１２により反射した可視光を受光する。本実施形態によれば、このような構成を採用することにより、イメージセンサ４１３により取得される二次元画像と、ＴｏＦセンサ４１４により取得される三次元情報（距離画像）との間に生じる像のずれを軽減することが可能となる。したがって、本実施形態によれば、三次元情報表示システム１Ｂは、より精度のよい三次元情報を表示することが可能となる。
【0189】
［実施形態６］
次に、図１７を参照しながら、実施形態６について説明する。図１７は、実施形態６に係る三次元情報表示システムの機能構成の一例を示す機能構成図である。実施形態６は、所定の通信ネットワークＮＷを介して三次元情報取得システム１０Ｃと、情報処理装置２０Ｃ及び三次元情報表示装置３０Ｃとが接続される点において、上述した実施形態とは異なる。本実施形態においては、所定の通信ネットワークを介することにより、遠距離に存在する三次元情報取得システム１０Ｃを用いて取得された三次元情報を表示する。
次に、図１７を参照しながら、実施形態６について説明する。図１７は、実施形態６に係る三次元情報表示システムの機能構成の一例を示す機能構成図である。実施形態６は、所定の通信ネットワークＮＷを介して三次元情報取得システム１０Ｃと、情報処理装置２０Ｃ及び三次元情報表示装置３０Ｃとが接続される点において、上述した実施形態とは異なる。本実施形態においては、所定の通信ネットワークを介することにより、遠距離に存在する三次元情報取得システム１０Ｃを用いて取得された三次元情報を表示する。
【0190】
本実施形態に係る三次元情報表示システム１Ｃは、三次元情報取得システム１０に代えて三次元情報取得システム１０Ｃを、情報処理装置２０に代えて情報処理装置２０Ｃを、三次元情報表示装置３０に代えて三次元情報表示装置３０Ｃを備える。三次元情報表示システム１Ｃの説明において、三次元情報表示システム１、三次元情報表示システム１Ａ又は三次元情報表示システム１Ｂと同様の構成については、同様の符号を付し説明を省略する場合がある。
【0191】
図示する一例において、三次元情報表示システム１Ｃは、それぞれ１台ずつの三次元情報取得システム１０Ｃと、情報処理装置２０Ｃ及び三次元情報表示装置３０Ｃが含まれ、１対１の通信を行う。しかしながら本実施形態はこの一例に限定されず、三次元情報取得システム１０Ｃと、情報処理装置２０Ｃ及び三次元情報表示装置３０Ｃとは、１対Ｎ又はＮ対１で接続されていてもよい。
【0192】
三次元情報表示システム１Ｃは、更にＶＩＤＥＯ ＥＮＣ５１と、ＩＰＴＸパケッタイザ５２と、ＩＰＲＸデパケッタイザ５３と、ＶＩＤＥＯ ＤＥＣ５４とＩＰＴＸパケッタイザ５５と、ＩＰＲＸデパケッタイザ５６とを備える。
【0193】
ＶＩＤＥＯ ＥＮＣ５１は、三次元情報取得システム１０Ｃから出力された８ビットのＲＧＢデータ、及び８ビットのＤＥＰＴＨデータを取得する。ＶＩＤＥＯ ＥＮＣ５１は、取得したデータをエンコードする。ＶＩＤＥＯ ＥＮＣ５１は、例えばＨ．２６４やＨ．２６５、又はＴＩＣＯ圧縮等の動画圧縮規格（動画コーデック）を用いてもよい。この場合、ブランキング内で内挿した焦点距離や表示範囲等のデータは、ＡＵＸデータとして扱い、圧縮しないようにすることが好適である。
【0194】
ＩＰＴＸパケッタイザ５２は、ＶＩＤＥＯ ＥＮＣ５１から出力されたデータ（圧縮されたデータ）を取得する。ＩＰＴＸパケッタイザ５２は、取得したデータをパケット化し、所定の通信ネットワークＮＷに送信する。所定の通信ネットワークＮＷとは、回線を用いて構成される通信ネットワークである。所定の通信ネットワークＮＷの一例としては、インターネットを例示することができる。所定の通信ネットワークＮＷはオープンなネットワークであり、通信ネットワークＮＷに接続された装置同士は所定のプロトコルを用いて相互に通信することができる。通信ネットワークＮＷのインターネット層においては、インターネットプロトコル（ＩＰ）等を用いた通信が行われる。
【0195】
なお、図示する一例では、ＶＩＤＥＯ ＥＮＣ５１及びＩＰＴＸパケッタイザ５２を、三次元情報取得システム１０Ｃとは異なる構成として記載しているが、本実施形態はこの一例に限定されない。ＶＩＤＥＯ ＥＮＣ５１及びＩＰＴＸパケッタイザ５２は、例えば三次元情報取得システム１０Ｃに含まれていてもよい。
【0196】
ＩＰＲＸデパケッタイザ５３は、所定の通信ネットワークＮＷを介して、ＩＰＴＸパケッタイザ５２から情報を取得する。ＩＰＲＸデパケッタイザ５３は、取得した情報に基づき、ＲＧＢ及びＤＥＰＴＨの圧縮データ列に戻す処理を行う。
【0197】
ＶＩＤＥＯ ＤＥＣ５４は、ＩＰＲＸデパケッタイザ５３から圧縮データ列を取得し、取得した圧縮データ列のデコード処理を行う。ＶＩＤＥＯ ＤＥＣ５４によりデコード処理が行われた結果、８ビットのＲＧＢデータ、及び８ビットのＤＥＰＴＨデータを得ることができる。これら８ビットデータは、三次元情報表示装置３０Ｃに入力される。三次元情報表示装置３０Ｃは、ＶＩＤＥＯ ＤＥＣ５４から８ビットのＲＧＢデータ、及び８ビットのＤＥＰＴＨデータを取得し、更に情報処理装置２０Ｃから距離範囲設定についての情報を取得する。三次元情報表示装置３０Ｃは、取得した情報に基づき、三次元表示を行う。
【0198】
なお、図示する一例では、ＩＰＲＸデパケッタイザ５３及びＶＩＤＥＯ ＤＥＣ５４を、三次元情報表示装置３０Ｃとは異なる構成として記載しているが、本実施形態はこの一例に限定されない。ＩＰＲＸデパケッタイザ５３及びＶＩＤＥＯ ＤＥＣ５４は、例えば三次元情報表示装置３０Ｃに含まれていてもよい。また、ＩＰＲＸデパケッタイザ５３及びＶＩＤＥＯ ＤＥＣ５４は、例えば情報処理装置２０Ｃに含まれていてもよいし、三次元情報表示装置３０Ｃに含まれてもよい。
【0199】
ＩＰＴＸパケッタイザ５５は、情報処理装置２０Ｃから距離範囲設定情報を取得する。ＩＰＴＸパケッタイザ５５は、取得したデータをパケット化し、所定の通信ネットワークＮＷに送信する。
【0200】
ＩＰＲＸデパケッタイザ５６は、所定の通信ネットワークＮＷを介して、ＩＰＴＸパケッタイザ５５から情報を取得する。ＩＰＲＸデパケッタイザ５６は、取得した情報に基づき、距離範囲設定情報に戻す処理を行う。当該距離範囲設定情報は、三次元情報取得システム１０Ｃに出力される。三次元情報取得システム１０Ｃは、撮影により取得したＲＧＢＤ情報を、所定の通信ネットワークＮＷを介して情報処理装置２０Ｃから取得した距離範囲設定情報に基づき８ビットの情報に加工し、ＶＩＤＥＯ ＥＮＣ５１に出力する。
【0201】
なお、三次元情報表示システム１Ｃは、図示するようにリアルタイムで撮影された情報を表示してもよいが、本実施形態はこの一例に限定されない。三次元情報表示システム１Ｃは、例えば不図示の記憶部を備えることにより、三次元情報取得システム１０Ｃにより取得された情報が記憶部に記憶され、三次元情報表示装置３０Ｃからの要求に基づきオンデマンド配信されるような構成を採用してもよい。なお、上述した説明において、三次元情報取得システム１０Ｃは、量子化ビット数８ビットとして、８ビットのＲＧＢデータを用いる場合について記載しているが、本実施形態はこの一例に限定されず量子化ビット数を８ビット以外のビット数としてもよい。
【0202】
［実施形態６のまとめ］
以上説明した実施形態によれば、三次元情報表示システム１Ｃは、三次元情報取得システム１０Ｃ、情報処理装置２０Ｃ、及び三次元情報表示装置３０Ｃに加え、ＶＩＤＥＯ ＥＮＣ５１と、ＩＰＴＸパケッタイザ５２と、ＩＰＲＸデパケッタイザ５３と、ＶＩＤＥＯ ＤＥＣ５４とＩＰＴＸパケッタイザ５５と、ＩＰＲＸデパケッタイザ５６とを備える。三次元情報表示システム１Ｃは、これら構成要件を備えることにより、遠隔で三次元情報取得システム１０Ｃを操作することができ、表示距離範囲を指定して少ない距離データで伝送することができるようになる。
以上説明した実施形態によれば、三次元情報表示システム１Ｃは、三次元情報取得システム１０Ｃ、情報処理装置２０Ｃ、及び三次元情報表示装置３０Ｃに加え、ＶＩＤＥＯ ＥＮＣ５１と、ＩＰＴＸパケッタイザ５２と、ＩＰＲＸデパケッタイザ５３と、ＶＩＤＥＯ ＤＥＣ５４とＩＰＴＸパケッタイザ５５と、ＩＰＲＸデパケッタイザ５６とを備える。三次元情報表示システム１Ｃは、これら構成要件を備えることにより、遠隔で三次元情報取得システム１０Ｃを操作することができ、表示距離範囲を指定して少ない距離データで伝送することができるようになる。
【0203】
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。
【符号の説明】
【0204】
１…三次元情報表示システム、１０…三次元情報取得システム、２０…情報処理装置、３０…三次元情報表示装置、１１０…三次元情報取得装置、１２０…三次元情報処理装置、１１１…レーザーダイオードアレイＶＣＳＥＬ、１１２…ＲＧＢカメラ、１１３…レンズ、１１４…イメージセンサ、１１５…ＲＧＢプロセス、１１６…ＴＯＦカメラ、１１７…レンズ、１１８…ＴＯＦセンサ、１１９…ＴＯＦプロセス、１２１…ｚ方向深さ幅指定部、１２２…ＭＡＸ値ｚ－ｄ変換部、１２３…ＭＩＮ値ｚ－ｄ変換部、１２４…Ｄ－ｚ変換部、１２５…ｚ値制限部、１２６…範囲制限変換部、１２７…範囲外処理部、１２８…データ追加部、３１０…前処理部、３２０…映像処理部、３１１…点群変換部、３１２…ｚ軸オフセット部、３２１…ＲＧＢ３Ｄ回転部、３２２…距離３Ｄ回転部、３２３…透視投影リサイズ部、３２４…視差計算部、３２５…視差映像作成部、１２９１…第１電子ズーム部、１２９２…第２電子ズーム部、１２５１…ぼかし領域設定部、４００…ＲＧＢＤカメラ、４１０…受光部、４１２…可視光反射ダイクロイック膜、４１３…イメージセンサ、４１４…ＴｏＦセンサ、５１…ＶＩＤＥＯ ＥＮＣ、５２…ＩＰＴＸパケッタイザ、５３…ＩＰＲＸデパケッタイザ、５４…ＶＩＤＥＯ ＤＥＣ、５５…ＩＰＴＸパケッタイザ、５６…ＩＰＲＸデパケッタイザ、Ｓ…被写体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】