特開 2024-139164 情報処理システム、および、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139164

(43)【公開日】2024-10-09

(54)【発明の名称】情報処理システム、および、情報処理方法

(51)【国際特許分類】

   H04N 13/178 20180101AFI20241002BHJP

   H04N 1/64 20060101ALI20241002BHJP

   H04N 13/167 20180101ALI20241002BHJP

   H04N 13/194 20180101ALI20241002BHJP

   H04N 7/18 20060101ALI20241002BHJP

   H04N 21/234 20110101ALI20241002BHJP

   H04N 21/235 20110101ALI20241002BHJP

   H04N 13/344 20180101ALN20241002BHJP

【ＦＩ】

H04N13/178

H04N1/64

H04N13/167

H04N13/194

H04N7/18 A

H04N21/234

H04N21/235

H04N13/344

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023049982

(22)【出願日】2023-03-27

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度～令和５年度、国立研究開発法人情報通信研究機構、「革新的情報通信技術研究開発委託研究／人間拡張・空間創成型遠隔作業支援基盤の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】名塚 一郎

(72)【発明者】

【氏名】荻野 孝士

【テーマコード（参考）】

5C054

5C164

5C178

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054DA09

5C054EA01

5C054EA03

5C054EA05

5C054FB03

5C054FC14

5C054FC15

5C054FD02

5C164FA07

5C164MB13S

5C164MC06S

5C164SA25S

5C164SB01P

5C164SB06

5C164SB10S

5C178AC10

5C178DC43

5C178DC51

(57)【要約】

【課題】カラー情報および深度情報の伝送に際しての通信の負荷を軽減することができる情報処理システムおよび情報処理方法を提供する。
【解決手段】情報加工装置２０は、第１カラー情報Ｉｃ１を第１の圧縮方式で符号化することによって圧縮カラー情報Ｃｃを生成するカラー情報加工部２２と、第１深度情報Ｉｄ１を第２の圧縮方式で符号化することによって圧縮深度情報Ｃｄを生成する深度情報加工部２５とを備える。情報変換装置３０は、圧縮カラー情報Ｃｃを展開することによって第２カラー情報Ｉｃ２を生成するカラー情報変換部３２と、圧縮深度情報Ｃｄを展開することによって第２深度情報Ｉｄ２を生成する深度情報変換部３５と、第２カラー情報Ｉｃ２および第２深度情報Ｉｄ２を同期して出力する同期処理部３６とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象の撮影によって生成されたカラー情報および深度情報を取得する情報加工装置、および、前記情報加工装置からの情報をネットワークを通じて受信する情報変換装置を備える情報処理システムであって、
前記情報加工装置は、
前記カラー情報である第１カラー情報を第１の圧縮方式で符号化することによって圧縮カラー情報を生成するカラー情報加工部と、
前記深度情報である第１深度情報を前記第１の圧縮方式とは異なる第２の圧縮方式で符号化することによって圧縮深度情報を生成する深度情報加工部と、を備え、
前記情報変換装置は、
前記圧縮カラー情報を展開することによって第２カラー情報を生成するカラー情報変換部と、
前記圧縮深度情報を展開することによって第２深度情報を生成する深度情報変換部と、
前記第２カラー情報および前記第２深度情報を同期して出力する同期処理部と、を備える
情報処理システム。

【請求項2】

前記第１の圧縮方式による符号化は、不可逆圧縮であり、
前記第２の圧縮方式による符号化は、可逆圧縮である
請求項１に記載の情報処理システム。

【請求項3】

前記情報加工装置は、前記第１カラー情報および前記第１深度情報を取得したとき、これらの情報の各々にタイムスタンプを付与するタイムスタンプ付与部を備え、
前記タイムスタンプを示すタイムスタンプ情報は、前記第１カラー情報および前記第１深度情報の各々の圧縮後の情報と、当該圧縮後の情報の展開後の情報とのそれぞれに対応付けられ、
前記同期処理部は、同一の時点を示す前記タイムスタンプ情報に対応付けられた前記第２カラー情報および前記第２深度情報を同期して出力する
請求項１に記載の情報処理システム。

【請求項4】

前記情報加工装置は、前記圧縮カラー情報と前記圧縮深度情報とを互いに異なる通信プロトコルを利用して前記情報変換装置に向けて送信する
請求項１に記載の情報処理システム。

【請求項5】

前記圧縮深度情報の伝送には、前記圧縮カラー情報の伝送に用いられるプロトコルよりも信頼性の高い通信プロトコルが用いられる
請求項４に記載の情報処理システム。

【請求項6】

複数のコンピュータによって実行される情報処理方法であって、
対象の撮影によって生成されたカラー情報および深度情報を取得することと、
前記カラー情報である第１カラー情報を第１の圧縮方式で符号化することによって圧縮カラー情報を生成することと、
前記深度情報である第１深度情報を前記第１の圧縮方式とは異なる第２の圧縮方式で符号化することによって圧縮深度情報を生成することと、
前記圧縮カラー情報および前記圧縮深度情報を、ネットワークを通じて伝送することと、
前記圧縮カラー情報を展開することによって第２カラー情報を生成することと、
前記圧縮深度情報を展開することによって第２深度情報を生成することと、
前記第２カラー情報および前記第２深度情報を同期して出力することと、
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カラー情報と深度情報とを処理する情報処理システム、および、情報処理方法に関する。

【背景技術】

【0002】

近年、イメージセンサとともに深度センサを備えた撮影装置が開発されている。この撮影装置は、対象を撮影することにより、対象の色を示すカラー情報に加えて、対象までの距離を示す深度情報を取得する（例えば、特許文献１参照）。カラー情報と深度情報とを含む撮影データを再生することによって、対象の色および立体構造を再現した像の再生が可能である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１７－５３９１６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

対象の撮影場所とは離れた場所で撮影データが再生される場合等には、撮影データはネットワークを通じて伝送される。カラー情報と深度情報とを含むデータの容量は、カラー情報のみを含む従来の静止画や動画のデータと比べて大きいため、通信にかかる負荷が大きくなる。それゆえ、こうした通信の負荷を軽減可能な技術の開発が望まれている。

【課題を解決するための手段】

【0005】

上記課題を解決するための情報処理システムおよび情報処理方法の各態様を記載する。
［態様１］
対象の撮影によって生成されたカラー情報および深度情報を取得する情報加工装置、および、前記情報加工装置からの情報をネットワークを通じて受信する情報変換装置を備える情報処理システムであって、前記情報加工装置は前記カラー情報である第１カラー情報を第１の圧縮方式で符号化することによって圧縮カラー情報を生成するカラー情報加工部と、前記深度情報である第１深度情報を前記第１の圧縮方式とは異なる第２の圧縮方式で符号化することによって圧縮深度情報を生成する深度情報加工部と、を備え、前記情報変換装置は、前記圧縮カラー情報を展開することによって第２カラー情報を生成するカラー情報変換部と、前記圧縮深度情報を展開することによって第２深度情報を生成する深度情報変換部と、前記第２カラー情報および前記第２深度情報を同期して出力する同期処理部と、を備える情報処理システム。

【0006】

上記構成によれば、第１カラー情報と第１深度情報とにおける欠落や改変が許容できる程度に応じて、各情報の圧縮方式を選択することができる。したがって、情報加工装置から情報変換装置に伝送されるデータの容量の的確な削減と、再生される像の品質の低下の抑制とが可能である。

【0007】

［態様２］
前記第１の圧縮方式による符号化は、不可逆圧縮であり、前記第２の圧縮方式による符号化は、可逆圧縮である、［態様１］に記載の情報処理システム。

【0008】

上記構成によれば、情報の欠落や改変による利用者の違和感が小さいカラー情報については、不可逆圧縮が用いられることにより圧縮率が高められ、情報の欠落や改変による利用者の違和感が大きい深度情報については、可逆圧縮が用いられることにより再生される像での立体構造の再現の正確性が高められる。したがって、伝送されるデータの容量を削減しつつ、再生される像の品質の低下を的確に抑制することが可能である。

【0009】

［態様３］
前記情報加工装置は、前記第１カラー情報および前記第１深度情報を取得したとき、これらの情報の各々にタイムスタンプを付与するタイムスタンプ付与部を備え、前記タイムスタンプを示すタイムスタンプ情報は、前記第１カラー情報および前記第１深度情報の各々の圧縮後の情報と、当該圧縮後の情報の展開後の情報とのそれぞれに対応付けられ、前記同期処理部は、同一の時点を示す前記タイムスタンプ情報に対応付けられた前記第２カラー情報および前記第２深度情報を同期して出力する、［態様１］または［態様２］に記載の情報処理システム。

【0010】

上記構成によれば、タイムスタンプ情報に基づいて、同期されるカラー情報と深度情報とが特定される。したがって、圧縮および展開や伝送においてカラー情報と深度情報とが別々に処理されていても、カラー情報と深度情報との的確な同期が可能である。また、再生されるデータの処理順が、タイムスタンプ情報によって規定されることにより、撮影時の出力順に対応する正しい順序でデータが処理される。したがって、像の再生の流れについての正確性が高められる。

【0011】

［態様４］
前記情報加工装置は、前記圧縮カラー情報と前記圧縮深度情報とを互いに異なる通信プロトコルを利用して前記情報変換装置に向けて送信する、［態様１］～［態様３］のいずれか１つに記載の情報処理システム。

【0012】

上記構成によれば、カラー情報と深度情報とにおける必要な伝送の信頼性の程度に応じて、各情報の通信プロトコルを選択することができる。したがって、通信の負荷の的確な削減と、再生される像の品質の低下の抑制とが可能である。

【0013】

［態様５］
前記圧縮深度情報の伝送には、前記圧縮カラー情報の伝送に用いられるプロトコルよりも信頼性の高い通信プロトコルが用いられる、［態様４］に記載の情報処理システム。
上記構成によれば、カラー情報と深度情報とのうち、情報の欠落による利用者の違和感が大きい深度情報の方が、信頼性の高い通信プロトコルを利用して伝送される。これにより、再生される像での立体構造の再現の正確性が高められるため、再生される像の品質の低下を的確に抑制することが可能である。

【0014】

［態様６］
複数のコンピュータによって実行される情報処理方法であって、対象の撮影によって生成されたカラー情報および深度情報を取得することと、前記カラー情報である第１カラー情報を第１の圧縮方式で符号化することによって圧縮カラー情報を生成することと、前記深度情報である第１深度情報を前記第１の圧縮方式とは異なる第２の圧縮方式で符号化することによって圧縮深度情報を生成することと、前記圧縮カラー情報および前記圧縮深度情報を、ネットワークを通じて伝送することと、前記圧縮カラー情報を展開することによって第２カラー情報を生成することと、前記圧縮深度情報を展開することによって第２深度情報を生成することと、前記第２カラー情報および前記第２深度情報を同期して出力することと、を含む情報処理方法。

【0015】

上記構成によれば、第１カラー情報と第１深度情報とにおける欠落や改変が許容できる程度に応じて、各情報の圧縮方式を選択することができる。したがって、情報加工装置から情報変換装置に伝送されるデータの容量の的確な削減と、再生される像の品質の担保とが可能である。

【発明の効果】

【0016】

本発明によれば、カラー情報および深度情報の伝送に際しての通信の負荷を軽減することができる。

【図面の簡単な説明】

【0017】

【図1】一実施形態の情報処理システムの構成を示す図。

【図2】一実施形態の情報処理システムの機能的構成および処理の流れを示す図。

【発明を実施するための形態】

【0018】

図面を参照して、情報処理システムおよび情報処理方法の一実施形態を説明する。
［情報処理システムの全体構成］
図１を参照して、情報処理システムの全体構成を説明する。図１に示すように、情報処理システム１００は、撮影装置１０と、情報加工装置２０と、情報変換装置３０と、再生装置４０とを含む。

【0019】

撮影装置１０は、対象を撮影する。これにより、撮影装置１０は、対象の色を示すカラー情報と、基準位置から対象までの距離を示す深度情報とを生成する。カラー情報は、例えば、ＲＧＢカラーモデルを用いた加法混合により色を表す情報であり、三原色の各色を所定の階調数で示す情報を含む。深度情報は、言い換えれば、撮影範囲の奥行きの計測情報であり、基準位置は、例えば、撮影装置１０の位置である。

【0020】

撮影装置１０は、イメージセンサと深度センサとを備える。イメージセンサによる検出結果からカラー情報が生成され、深度センサによる検出結果から深度情報が生成される。イメージセンサは、公知の方式の撮像素子を用いていればよく、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサである。深度センサは、例えば、赤外光等の反射光の観測に要する時間に基づき距離を算出するＴｏＦセンサ、パターン状の照射光の歪みの検出に基づき形状や奥行きを求めるストラクチャードライト、視差を利用したステレオカメラ等、公知の方式を利用したセンサであればよい。

【0021】

撮影装置１０は、例えば、イメージセンサを有するカメラと、深度センサを有するカメラと、これらのカメラからの出力情報からカラー情報および深度情報を生成する処理ユニットとから構成される。処理ユニットは演算装置やメモリを含む。撮影装置１０は、複数の分離した機構から構成されていてもよいし、撮影装置１０を構成する機構のすべては一体に組み付けられていてもよい。

【0022】

撮影装置１０は、カラー情報および深度情報を含む撮影データを、情報加工装置２０に出力する。撮影装置１０と情報加工装置２０とは、有線または無線で接続されていてもよいし、撮影装置１０と情報加工装置２０とが一体の装置であってもよい。

【0023】

情報加工装置２０は、撮影データを加工することにより、伝送データを生成する。
情報加工装置２０は、パーソナルコンピュータ、タブレット端末、スマートフォン、サーバ装置等のコンピュータ装置である。情報加工装置２０は、ＣＰＵ、ＭＰＵ、ＧＰＵ等の演算装置である電子回路、ＲＯＭ、ＲＡＭ、レジスタードメモリ、アンバッファードメモリ等のメモリ、および、ＳＳＤ、ＨＤＤ等のストレージを備える。演算装置は、ストレージからオペレーティングシステムや各種プログラムをメモリにロードし、メモリから取り出した命令を実行する。情報加工装置２０は、ＡＳＩＣ、ＦＰＧＡ等の集積回路を備えてもよい。

【0024】

また、情報加工装置２０は、ネットワークを介して接続先の装置との間でデータを送受信する通信インターフェースを備えている。通信インターフェースは、ハードウェア、ソフトウェア、または、これらの組み合わせとして実装されている。

【0025】

情報加工装置２０が実行する各処理は、情報加工装置２０が備えるソフトウェアによって実行されてもよいし、情報加工装置２０が備える集積回路とソフトウェアとの組み合わせによって実現されてもよい。

【0026】

なお、情報加工装置２０が、上述した撮影装置１０の機能のうちの少なくとも一部を兼ね備えていてもよい。例えば、撮影装置１０からは、イメージセンサおよび深度センサの検出結果が情報加工装置２０に出力され、情報加工装置２０にてカラー情報および深度情報を含む撮影データが生成されてもよい。要は、情報加工装置２０が、対象の撮影に基づくカラー情報および深度情報を取得すればよい。

【0027】

情報加工装置２０と情報変換装置３０とは、インターネット等のネットワークを通じて、相互にデータの送信および受信が可能とされており、情報加工装置２０が生成した伝送データは、情報変換装置３０に送信される。情報加工装置２０と情報変換装置３０との間のデータの送受信は、必要に応じてゲートウェイサーバ等のサーバを介して行われる。

【0028】

情報変換装置３０は、伝送データを変換することにより、表示データを生成する。
情報変換装置３０は、パーソナルコンピュータ、タブレット端末、スマートフォン、サーバ装置等のコンピュータ装置である。情報変換装置３０は、ＣＰＵ、ＭＰＵ、ＧＰＵ等の演算装置である電子回路、ＲＯＭ、ＲＡＭ、レジスタードメモリ、アンバッファードメモリ等のメモリ、および、ＳＳＤ、ＨＤＤ等のストレージを備える。演算装置は、ストレージからオペレーティングシステムや各種プログラムをメモリにロードし、メモリから取り出した命令を実行する。情報変換装置３０は、ＡＳＩＣ、ＦＰＧＡ等の集積回路を備えてもよい。

【0029】

また、情報変換装置３０は、ネットワークを介して接続先の装置との間でデータを送受信する通信インターフェースを備えている。通信インターフェースは、ハードウェア、ソフトウェア、または、これらの組み合わせとして実装されている。

【0030】

情報変換装置３０が実行する各処理は、情報変換装置３０が備えるソフトウェアによって実行されてもよいし、情報変換装置３０が備える集積回路とソフトウェアとの組み合わせによって実現されてもよい。

【0031】

情報変換装置３０は、生成した表示データを、再生装置４０に出力する。情報変換装置３０と再生装置４０とは、有線または無線で接続されていてもよいし、情報変換装置３０と再生装置４０とが一体の装置であってもよい。

【0032】

再生装置４０は、表示データを再生することにより、色および立体構造を再現するように対象の像を表示する。再生装置４０は、例えば、液晶パネル等の表示パネルを備える表示装置、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）またはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）用のヘッドマウントディスプレイ、投影装置等である。
なお、情報変換装置３０が、再生装置４０の機能のうちの少なくとも一部を兼ね備えていてもよい。

【0033】

［情報処理システムの処理］
図２を参照して、情報加工装置２０および情報変換装置３０の機能的な構成を中心に、情報処理システム１００の処理について説明する。本実施形態の情報処理方法は、情報処理システム１００の各処理を含む。

【0034】

まず、情報加工装置２０の処理を説明する。情報加工装置２０は、情報加工装置２０が記憶している情報加工プログラムを実行することにより、タイムスタンプ付与部２１、カラー情報加工部２２、タイムスタンプ管理部２３、タイムスタンプ対応付け部２４、および、深度情報加工部２５として機能する。

【0035】

以下、情報加工装置２０の各部の機能および処理の流れを説明する。
撮影装置１０にて対象の撮影が行われると、撮影装置１０からの情報に基づき、情報加工装置２０は、撮影データを取得する。撮影データは、撮影装置１０におけるイメージセンサの検出結果から生成されたカラー情報である第１カラー情報Ｉｃ１と、撮影装置１０における深度センサの検出結果から生成された深度情報である第１深度情報Ｉｄ１とを含む。第１カラー情報Ｉｃ１と第１深度情報Ｉｄ１とは、同一のタイミング、または、同一のタイミングと見做せる程度の微小な差で取得された各センサの検出結果に基づく情報である。例えば、撮影データが含む第１カラー情報Ｉｃ１と第１深度情報Ｉｄ１との各々は、１フレームの画像またはその一部に対応するピクセルごとの情報から構成される。

【0036】

情報加工装置２０が撮影データを取得すると、タイムスタンプ付与部２１が、撮影データにタイムスタンプを付与する。当該タイムスタンプを示すタイムスタンプ情報Ｉｔは、例えば日時である特定の時点を示す情報である。これにより、撮影データが含む第１カラー情報Ｉｃ１と第１深度情報Ｉｄ１との各々に、同一の時点を示すタイムスタンプ情報Ｉｔが付与される。

【0037】

撮影装置１０にて対象の撮影が継続されている間、情報加工装置２０は、撮影データを撮影順に逐次取得し、撮影データごとにタイムスタンプ情報Ｉｔを付与する。これにより、情報加工装置２０による取得順に、時系列を構成するタイムスタンプ情報Ｉｔが撮影データに付与される。

【0038】

タイムスタンプ情報Ｉｔの付与後、第１カラー情報Ｉｃ１と第１深度情報Ｉｄ１とは分離して処理される。
カラー情報加工部２２は、第１カラー情報Ｉｃ１を符号化することにより圧縮する。この際、カラー情報加工部２２は、第１カラー情報Ｉｃ１を不可逆圧縮する。すなわち、圧縮符号化の過程もしくは前処理において、第１カラー情報Ｉｃ１の一部は欠落あるいは改変される。不可逆圧縮の方式としては、例えば、Ｈ．２６４等の公知の方式を利用できる。カラー情報加工部２２の処理により、第１カラー情報Ｉｃ１が不可逆圧縮された圧縮カラー情報Ｃｃが生成される。

【0039】

カラー情報加工部２２による第１カラー情報Ｉｃ１の圧縮処理の間、タイムスタンプ管理部２３は、処理中の第１カラー情報Ｉｃ１に付与されたタイムスタンプ情報Ｉｔを保持する。

【0040】

圧縮カラー情報Ｃｃが生成されると、タイムスタンプ対応付け部２４は、カラー情報加工部２２が生成した圧縮カラー情報Ｃｃと、タイムスタンプ管理部２３が保持していたタイムスタンプ情報Ｉｔとを対応付ける。これにより、圧縮カラー情報Ｃｃには、圧縮前の第１カラー情報Ｉｃ１に付与されていたタイムスタンプ情報Ｉｔが対応付けられる。

【0041】

一方、深度情報加工部２５は、タイムスタンプ情報Ｉｔが付与された第１深度情報Ｉｄ１を符号化することにより圧縮する。この際、深度情報加工部２５は、第１深度情報Ｉｄ１を可逆圧縮する。可逆圧縮の方式としては、例えば、Ｚｓｔａｎｄａｒｄ等の公知の方式を利用できる。深度情報加工部２５の処理により、第１深度情報Ｉｄ１およびタイムスタンプ情報Ｉｔが可逆圧縮された圧縮深度情報Ｃｄが生成される。

【0042】

以上の処理が完了すると、圧縮カラー情報Ｃｃおよびタイムスタンプ情報Ｉｔと、圧縮深度情報Ｃｄとが、情報加工装置２０から出力される。これらの情報が伝送データを構成する。情報加工装置２０は、逐次取得した撮影データを順に処理することにより、伝送データを順に出力する。

【0043】

圧縮カラー情報Ｃｃおよびタイムスタンプ情報Ｉｔと、圧縮深度情報Ｃｄとは、必要に応じて中継サーバ５０を経由して、情報変換装置３０に送られる。圧縮カラー情報Ｃｃおよびタイムスタンプ情報Ｉｔと、圧縮深度情報Ｃｄとは、パケット通信を利用して、別々に情報変換装置３０に送られる。圧縮カラー情報Ｃｃおよびタイムスタンプ情報Ｉｔの伝送と、圧縮深度情報Ｃｄの伝送とには、互いに異なる通信プロトコルが用いられることが好ましい。

【0044】

具体的には、圧縮カラー情報Ｃｃおよびタイムスタンプ情報Ｉｔの伝送には、再送制御等の省略により信頼性が低い一方で高速な伝送が可能な通信プロトコルが用いられ、圧縮深度情報Ｃｄの伝送には、再送制御等により信頼性の高い通信プロトコルが用いられる。不可逆圧縮されている圧縮カラー情報Ｃｃは、データの一部が欠落した場合でもその影響が圧縮深度情報Ｃｄと比較して小さいため、単純な通信プロトコルを用いることで伝送の処理に要する負荷の軽減が可能である。一方で、圧縮深度情報Ｃｄの伝送には、信頼性の高い通信プロトコルを用いることで、伝送過程でのデータの欠落が抑えられ、圧縮深度情報Ｃｄの確実な伝送が可能である。
なお、信頼性の高い通信プロトコルとは、送信対象のデータを、順番を維持して欠落や重複なく宛先に届ける確度の高いプロトコルである。

【0045】

続いて、情報変換装置３０の処理を説明する。情報変換装置３０は、情報変換装置３０が記憶している情報変換プログラムを実行することにより、タイムスタンプ分離部３１、カラー情報変換部３２、タイムスタンプ管理部３３、タイムスタンプ対応付け部３４、深度情報変換部３５、および、同期処理部３６として機能する。

【0046】

以下、情報変換装置３０の各部の機能および処理の流れを説明する。
圧縮カラー情報Ｃｃおよびタイムスタンプ情報Ｉｔを受信すると、タイムスタンプ分離部３１は、圧縮カラー情報Ｃｃと、圧縮カラー情報Ｃｃに対応付けられているタイムスタンプ情報Ｉｔとを分離する。

【0047】

カラー情報変換部３２は、分離された圧縮カラー情報Ｃｃを展開する。展開の処理には、情報加工装置２０にて第１カラー情報Ｉｃ１の圧縮に用いられたアルゴリズムに対応するアルゴリズムが用いられる。圧縮カラー情報Ｃｃの展開により、第２カラー情報Ｉｃ２が生成される。圧縮カラー情報Ｃｃは不可逆圧縮されていることから、第２カラー情報Ｉｃ２は、第１カラー情報Ｉｃ１と完全には一致しない。第２カラー情報Ｉｃ２は、第１カラー情報Ｉｃ１の一部が欠落あるいは改変された情報である。

【0048】

カラー情報変換部３２による圧縮カラー情報Ｃｃの展開処理の間、タイムスタンプ管理部３３は、圧縮カラー情報Ｃｃに対応付けられていたタイムスタンプ情報Ｉｔ、すなわち、タイムスタンプ分離部３１によって分離されたタイムスタンプ情報Ｉｔを保持する。

【0049】

第２カラー情報Ｉｃ２が生成されると、タイムスタンプ対応付け部３４は、カラー情報変換部３２が生成した第２カラー情報Ｉｃ２と、タイムスタンプ管理部３３が保持していたタイムスタンプ情報Ｉｔとを対応付ける。これにより、第２カラー情報Ｉｃ２には、圧縮カラー情報Ｃｃに対応付けられていたタイムスタンプ情報Ｉｔが対応付けられる。

【0050】

一方、圧縮深度情報Ｃｄを受信すると、深度情報変換部３５は、圧縮深度情報Ｃｄを展開する。展開の処理には、情報加工装置２０にて第１深度情報Ｉｄ１の圧縮に用いられたアルゴリズムに対応するアルゴリズムが用いられる。圧縮深度情報Ｃｄの展開により、第２深度情報Ｉｄ２およびタイムスタンプ情報Ｉｔが生成される。圧縮深度情報Ｃｄは可逆圧縮されていることから、圧縮深度情報Ｃｄの展開により、圧縮前のデータが完全に復元される。すなわち、第２深度情報Ｉｄ２は、第１深度情報Ｉｄ１と一致する情報であり、タイムスタンプ情報Ｉｔは、第１深度情報Ｉｄ１に付与されたタイムスタンプ情報Ｉｔと同一である。

【0051】

第２カラー情報Ｉｃ２と第２深度情報Ｉｄ２とが生成されると、同期処理部３６は、タイムスタンプ情報Ｉｔに基づき第２カラー情報Ｉｃ２と第２深度情報Ｉｄ２とを同期して出力する。詳細には、同期処理部３６は、同一の時点を示すタイムスタンプ情報Ｉｔが付されている第２カラー情報Ｉｃ２と第２深度情報Ｉｄ２とを互いに対応付け、これらの第２カラー情報Ｉｃ２および第２深度情報Ｉｄ２を表示データとして出力する。

【0052】

なお、同期処理部３６による同期とは、第２カラー情報Ｉｃ２と第２深度情報Ｉｄ２との出力のタイミングを揃えて、これらの情報をひとまとまりのデータとして出力することを意味する。

【0053】

これにより、同一の時点を示すタイムスタンプ情報Ｉｔが付与された第１カラー情報Ｉｃ１および第１深度情報Ｉｄ１の圧縮と展開を経て生成された第２カラー情報Ｉｃ２および第２深度情報Ｉｄ２が、表示データとして出力される。したがって、圧縮および展開や伝送においてカラー情報と深度情報とが別々に処理されていても、カラー情報と深度情報とが的確に同期される。

【0054】

表示データは、情報変換装置３０から再生装置４０に出力される。再生装置４０は、表示データに含まれる第２カラー情報Ｉｃ２および第２深度情報Ｉｄ２に基づいて、像を再生する。すなわち、例えば各情報を構成するピクセルの対応付け等を経て、第２カラー情報Ｉｃ２に従った色、および、第２深度情報Ｉｄ２に従った立体構造で、対象が表示される。

【0055】

情報変換装置３０が情報加工装置２０からの伝送データを順に処理することに基づき、タイムスタンプ情報Ｉｔの時系列に沿って、情報変換装置３０から再生装置４０に表示データが逐次出力される。その結果、同期されている第２カラー情報Ｉｃ２および第２深度情報Ｉｄ２の組が再生装置４０にて順に処理され、対象の像が連続的に再生される。

【0056】

このように、表示データの処理順が、タイムスタンプ情報Ｉｔによって規定されるため、各装置３０，４０におけるデータの処理や伝送の過程でデータの順序に入れ替わりが生じたとしても、撮影装置１０での出力順に対応する正しい順序で表示データが処理される。したがって、像の再生の流れについての正確性が高められる。

【0057】

第２カラー情報Ｉｃ２は、不可逆圧縮を経て第１カラー情報Ｉｃ１の一部が欠落あるいは改変された情報であることから、再生装置４０にて再現される像の色についての画質は、第１カラー情報Ｉｃ１を再生した場合と比較して低下する。しかしながら、画質の低下により解像度や色彩について鮮明さが低下していたとしても、像を見る利用者の対象の認識に与える影響は小さく、表示内容に対する利用者の違和感は小さく抑えられる。不可逆圧縮は、可逆圧縮と比べて圧縮率が大きいため、不可逆圧縮の利用により、伝送データの容量を好適に削減することができる。

【0058】

一方、第２深度情報Ｉｄ２が、仮に、第１深度情報Ｉｄ１の一部が欠落あるいは改変された情報であると、再生された対象の像において実際は膨らんでいる部分が平坦あるいは窪むように表示され得るが、こうした立体構造の違いは、表示内容に対する利用者の違和感を増大させやすい。したがって、第２深度情報Ｉｄ２については、可逆圧縮を利用して第１深度情報Ｉｄ１と一致した情報とすることで、再生される像の立体構造の正確性が担保され、利用者の違和感が抑えられる。

【0059】

以上のように、本実施形態では、欠落や改変の影響が小さいカラー情報については不可逆圧縮を利用し、欠落や改変の影響が大きい深度情報については可逆圧縮を利用することによって、利用者の違和感を抑えつつ、伝送データの容量を削減することができる。これにより、通信に要する負荷の軽減が可能であり、例えば、撮影装置１０による撮影と再生装置４０による再生とがリアルタイムで行われる場合にも、処理の遅延が抑えられて円滑な像の再生が可能である。

【0060】

伝送データの容量の削減のためには、第１深度情報Ｉｄ１は、撮影装置１０にて対応可能な最低の解像度が適用されていることが好ましい。第１深度情報Ｉｄ１と第１カラー情報Ｉｃ１との解像度は異なっていてもよい。

【0061】

さらに、情報変換装置３０は、圧縮深度情報Ｃｄを展開したデータを機械学習モデルに適用することにより、第２深度情報Ｉｄ２を生成してもよい。上記機械学習モデルは、間引かれている部分の深度を周囲の深度等から推測することにより深度情報の解像度を上げるように機械学習したモデルである。この場合、第２深度情報Ｉｄ２は、第１深度情報Ｉｄ１が補填された情報である。こうした処理は深度情報変換部３５の処理である。

【0062】

例えば、第１深度情報Ｉｄ１の解像度は、第１カラー情報Ｉｃ１の解像度よりも小さく、上記機械学習モデルによって第２深度情報Ｉｄ２の解像度が第２カラー情報Ｉｃ２の解像度に合わせられてもよい。
これにより、伝送データの容量を抑えつつ、再生される像の立体構造の精細さを高めることができる。

【0063】

本実施形態の情報処理システム１００は、例えば、遠隔でのコミュニケーションのためのシステム、工場や建設現場等における監視システム、スポーツ、楽器の演奏、舞踏、伝統芸能といった実技の遠隔での教習のためのシステム等に利用できる。情報処理システム１００によれば、再生される像において対象の立体構造が的確に再現されるため、像を見る利用者は、撮影装置１０が撮影した空間内の人物の動作や構造物の形状を的確に把握できる。したがって、立体的な情報も含めた遠隔での的確な情報伝達が可能である。

【0064】

以上説明したように、上記実施形態によれば、以下の効果が得られる。
（１）情報の欠落や改変による利用者の違和感が小さいカラー情報については、不可逆圧縮が用いられることにより圧縮率が高められ、情報の欠落や改変による利用者の違和感が大きい深度情報については、可逆圧縮が用いられることにより再生される像での立体構造の再現の正確性が高められる。したがって、伝送されるデータの容量を削減しつつ、再生される像の品質の低下を抑えることが可能である。これにより、カラー情報および深度情報の伝送に際しての通信の負荷の軽減が可能であるとともに、こうした負荷の軽減によって生じる利用者の違和感を抑えることができる。

【0065】

（２）タイムスタンプ情報Ｉｔに基づき同期されるカラー情報と深度情報とが特定される。したがって、圧縮および展開や伝送においてカラー情報と深度情報とが別々に処理されていても、カラー情報と深度情報との的確な同期が可能である。また、再生されるデータの処理順が、タイムスタンプ情報Ｉｔによって規定されることにより、撮影時の出力順に対応する正しい順序でデータが処理される。したがって、像の再生の流れについての正確性が高められる。

【0066】

（３）圧縮カラー情報Ｃｃと圧縮深度情報Ｃｄとが、互いに異なる通信プロトコルを利用して伝送される形態であれば、カラー情報と深度情報とにおける必要な伝送の信頼性の程度に応じて、各情報の通信プロトコルを選択することができる。したがって、通信の負荷の的確な削減と、再生される像の品質の低下の抑制が可能である。特に、情報の欠落による利用者の違和感が大きい深度情報の方が、カラー情報よりも信頼性の高い通信プロトコルを利用して伝送される形態であれば、再生される像での立体構造の再現の正確性が高められるため、再生される像の品質の低下を的確に抑制することが可能である。

【0067】

（４）第１深度情報Ｉｄ１の解像度が、第１カラー情報Ｉｃ１の解像度よりも小さく、深度情報を補填して解像度を上げる機械学習モデルによって、第２深度情報Ｉｄ２の解像度が第２カラー情報Ｉｃ２の解像度に合わせられる形態であれば、伝送データの容量を抑えつつ、再生される像の立体構造の精細さを高めることができる。

【0068】

［変形例］
上記実施形態は、以下のように変更して実施することが可能である。以下の各変形例は組み合わせて実施してもよい。

【0069】

・上記実施形態では、情報加工装置２０は、第１深度情報Ｉｄ１とともにタイムスタンプ情報Ｉｔを圧縮したが、第１深度情報Ｉｄ１のみが可逆圧縮されて圧縮深度情報Ｃｄが生成され、圧縮深度情報Ｃｄに、第１深度情報Ｉｄ１に付与されていたタイムスタンプ情報Ｉｔが対応付けられてもよい。この場合、情報変換装置３０では、圧縮深度情報Ｃｄとタイムスタンプ情報Ｉｔとの分離後に、圧縮深度情報Ｃｄが展開されて第２深度情報Ｉｄ２が生成され、第２深度情報Ｉｄ２にタイムスタンプ情報Ｉｔが対応付けられる。

【0070】

このように、圧縮深度情報Ｃｄにタイムスタンプ情報Ｉｔに含められること、あるいは、圧縮深度情報Ｃｄに別途タイムスタンプ情報Ｉｔが対応付けられることによって、圧縮後の深度情報とタイムスタンプ情報Ｉｔとが対応付けられ、これに基づき、第２深度情報Ｉｄ２とタイムスタンプ情報Ｉｔとが対応付けられる。

【0071】

ただし、深度情報加工部２５による圧縮処理は可逆圧縮であることから、第１深度情報Ｉｄ１とタイムスタンプ情報Ｉｔとをまとめて圧縮した場合でも、タイムスタンプ情報Ｉｔが損なわれることはない。それゆえ、第１深度情報Ｉｄ１とともにタイムスタンプ情報Ｉｔを圧縮する方が、処理が複雑になることを抑えることができる。

【0072】

・上記実施形態では、第１カラー情報Ｉｃ１を不可逆圧縮し、第１深度情報Ｉｄ１を可逆圧縮したが、第１カラー情報Ｉｃ１と第１深度情報Ｉｄ１との圧縮方式が異なっていれば、これらの情報の圧縮方式は上記実施形態とは異なっていてもよい。例えば、第１カラー情報Ｉｃ１と第１深度情報Ｉｄ１との圧縮方式は、いずれも不可逆圧縮であって、第１カラー情報Ｉｃ１の圧縮方式の圧縮率が、第１深度情報Ｉｄ１の圧縮方式の圧縮率よりも高くてもよい。圧縮率の高い不可逆圧縮は、情報の欠落や改変が大きいため、第１深度情報Ｉｄ１の圧縮率を小さくすることで、伝送データの容量を削減しつつ、再生される像における立体構造の再現の正確性を高めることができる。

【0073】

第１カラー情報Ｉｃ１と第１深度情報Ｉｄ１との圧縮方式を異ならせることで、各情報における欠落や改変が許容できる程度に応じて、第１カラー情報Ｉｃ１と第１深度情報Ｉｄ１との圧縮方式を選択することができるため、伝送データの容量の的確な削減と、再生される像の品質の低下の抑制とが可能である。

【0074】

・上記実施形態では、タイムスタンプ情報Ｉｔを利用して、同期する第２カラー情報Ｉｃ２および第２深度情報Ｉｄ２を特定したが、同期の方法はこれに限られない。タイムスタンプとは異なる識別情報が利用されてもよいし、第２カラー情報Ｉｃ２および第２深度情報Ｉｄ２の内容の解析に基づき同期される情報が特定されてもよい。

【0075】

・情報加工装置２０が情報変換装置３０の機能を兼ね備え、情報変換装置３０が情報加工装置２０の機能を兼ね備えてもよい。こうした構成によれば、情報加工装置２０と情報変換装置３０との間で、伝送データの送受信およびその加工や変換が双方向に可能である。これにより、情報処理システム１００を利用した双方向のコミュニケーションが可能である。

【0076】

・情報加工装置２０および情報変換装置３０の機能の各々は、複数の情報処理装置によって実現されてもよい。１つの情報処理装置は単体のコンピュータ装置である。すなわち、情報加工装置２０および情報変換装置３０は、１または複数の情報処理装置から構成されていればよい。

【0077】

［付記］
上記課題を解決するための手段には、上記実施形態から導き出される技術的思想として以下の付記が含まれる。

【0078】

（付記１）
対象の撮影によって生成されたカラー情報および深度情報を取得するとともに、生成した情報を情報変換装置に向けてネットワークを通じて送信する情報加工装置であって、
前記カラー情報を第１の圧縮方式で符号化することによって圧縮カラー情報を生成するカラー情報加工部と、
前記深度情報を前記第１の圧縮方式とは異なる第２の圧縮方式で符号化することによって圧縮深度情報を生成する深度情報加工部と、
を備える情報加工装置。

【0079】

（付記２）
１または複数のコンピュータに、
対象の撮影によって生成されたカラー情報および深度情報を取得することと、
前記カラー情報を第１の圧縮方式で符号化することによって圧縮カラー情報を生成することと、
前記深度情報を前記第１の圧縮方式とは異なる第２の圧縮方式で符号化することによって圧縮深度情報を生成することと、
前記圧縮カラー情報および前記圧縮深度情報の各々を、ネットワークを通じて送信することと、を実行させる
情報加工プログラム。

【0080】

（付記３）
情報加工装置からの情報をネットワークを通じて受信する情報変換装置であって、
前記情報加工装置からの情報には、対象の撮影によって生成された第１カラー情報が第１の圧縮方式で符号化された圧縮カラー情報、および、前記対象の撮影によって生成された第１深度情報が第２の圧縮方式で符号化された圧縮深度情報が含まれ、
前記圧縮カラー情報を展開することによって第２カラー情報を生成するカラー情報変換部と、
前記圧縮深度情報を展開することによって第２深度情報を生成する深度情報変換部と、
前記第２カラー情報および前記第２深度情報を同期して出力する同期処理部と、
を備える情報変換装置。

【0081】

（付記４）
１または複数のコンピュータに、
対象の撮影によって生成された第１カラー情報が第１の圧縮方式で符号化された圧縮カラー情報、および、前記対象の撮影によって生成された第１深度情報が第２の圧縮方式で符号化された圧縮深度情報を、ネットワークを通じて受信することと、
前記圧縮カラー情報を展開することによって第２カラー情報を生成することと、
前記圧縮深度情報を展開することによって第２深度情報を生成することと、
前記第２カラー情報および前記第２深度情報を同期して出力することと、を実行させる
情報変換プログラム。

【符号の説明】

【0082】

Ｉｃ１…第１カラー情報
Ｉｃ２…第２カラー情報
Ｉｄ１…第１深度情報
Ｉｄ２…第２深度情報
Ｉｔ…タイムスタンプ情報
Ｃｃ…圧縮カラー情報
Ｃｄ…圧縮深度情報
１０…撮影装置
２０…情報加工装置
３０…情報変換装置
４０…再生装置

【図1】

【図2】