知財求人 - 知財ポータルサイト「IP Force」
▶ 中部電力株式会社の特許一覧 ▶ 株式会社プロノハーツの特許一覧
特開2024-131599３次元画像表示システム、送信用端末、画像生成装置、受信用端末、および３次元画像データの生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024131599
(43)【公開日】2024-09-30
(54)【発明の名称】３次元画像表示システム、送信用端末、画像生成装置、受信用端末、および３次元画像データの生成方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20240920BHJP
G06T 17/20 20060101ALI20240920BHJP
【ＦＩ】
G06T19/00 A
G06T17/20
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023041966
(22)【出願日】2023-03-16
(71)【出願人】
【識別番号】000213297
【氏名又は名称】中部電力株式会社
(71)【出願人】
【識別番号】313001631
【氏名又は名称】株式会社プロノハーツ
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】岡本 雄司
(72)【発明者】
【氏名】山口 直記
(72)【発明者】
【氏名】宮坂 千穂
(72)【発明者】
【氏名】丸山 翼
【テーマコード（参考）】
5B050
5B080
【Ｆターム（参考）】
5B050BA04
5B050BA09
5B050CA05
5B050DA07
5B050EA07
5B050EA13
5B050EA19
5B050EA27
5B050EA28
5B050FA02
5B080AA18
5B080BA01
5B080CA05
5B080GA22
(57)【要約】
【課題】複数の３次元センサが出力する点群データを用いて３次元画像を表示できるようにした３次元画像表示システムを提供する。
【解決手段】ユーザ端末１０（１）のＰＵ１２（１）は、Ｎ個の３次元センサ２０のそれぞれが出力する点群データを、座標変換データ１４ｂ（１）を利用して、基準座標系のデータに変換する。そして、ＰＵ１２（１）は、基準座標系に変換されたＮ組のデータから、３次元画像データを生成する。ＰＵ１２（１）は、３次元画像データを、他の拠点に位置するユーザ端末１０（２）に送信する。
【選択図】図１
【解決手段】ユーザ端末１０（１）のＰＵ１２（１）は、Ｎ個の３次元センサ２０のそれぞれが出力する点群データを、座標変換データ１４ｂ（１）を利用して、基準座標系のデータに変換する。そして、ＰＵ１２（１）は、基準座標系に変換されたＮ組のデータから、３次元画像データを生成する。ＰＵ１２（１）は、３次元画像データを、他の拠点に位置するユーザ端末１０（２）に送信する。
【選択図】図１
【特許請求の範囲】
【請求項1】
実行装置と、記憶装置とを備え、
前記記憶装置には、座標変換データが記憶されており、
前記実行装置は、取得処理、座標変換処理、生成処理、および表示処理を実行するように構成され、
前記取得処理は、「Ｎ」個の３次元センサのそれぞれが出力する点群データを取得する処理であり、
前記「Ｎ」は、２以上であり、
前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、
前記点群データは、距離データおよび画素データを含み、
前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、
前記画素データは、前記物体の輝度情報を含んだデータであり、
前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、
前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理であり、
前記表示処理は、表示装置を操作することによって、前記３次元画像を示すデータを用いて前記３次元画像を表示する処理である３次元画像表示システム。
前記記憶装置には、座標変換データが記憶されており、
前記実行装置は、取得処理、座標変換処理、生成処理、および表示処理を実行するように構成され、
前記取得処理は、「Ｎ」個の３次元センサのそれぞれが出力する点群データを取得する処理であり、
前記「Ｎ」は、２以上であり、
前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、
前記点群データは、距離データおよび画素データを含み、
前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、
前記画素データは、前記物体の輝度情報を含んだデータであり、
前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、
前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理であり、
前記表示処理は、表示装置を操作することによって、前記３次元画像を示すデータを用いて前記３次元画像を表示する処理である３次元画像表示システム。
【請求項2】
前記生成処理は、抽出処理、および画像データ生成処理を含み、
前記抽出処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、前記整合がとられたデータのうちの所定領域内のデータのみを抽出する処理であり、
前記画像データ生成処理は、前記抽出処理によって抽出されたデータを用いて前記所定領域内における前記３次元画像を示すデータを生成する処理である請求項１記載の３次元画像表示システム。
前記抽出処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、前記整合がとられたデータのうちの所定領域内のデータのみを抽出する処理であり、
前記画像データ生成処理は、前記抽出処理によって抽出されたデータを用いて前記所定領域内における前記３次元画像を示すデータを生成する処理である請求項１記載の３次元画像表示システム。
【請求項3】
前記実行装置は、第１実行装置および第２実行装置を含み、
前記第１実行装置は、前記取得処理、前記座標変換処理、前記生成処理、および送信処理を実行するように構成され、
前記第２実行装置は、受信処理、および前記表示処理を実行するように構成され、
前記送信処理は、前記生成処理によって生成されたデータを送信する処理であり、
前記受信処理は、前記送信処理によって送信されたデータを受信する処理である請求項１記載の３次元画像表示システム。
前記第１実行装置は、前記取得処理、前記座標変換処理、前記生成処理、および送信処理を実行するように構成され、
前記第２実行装置は、受信処理、および前記表示処理を実行するように構成され、
前記送信処理は、前記生成処理によって生成されたデータを送信する処理であり、
前記受信処理は、前記送信処理によって送信されたデータを受信する処理である請求項１記載の３次元画像表示システム。
【請求項4】
実行装置は、第１実行装置、第２実行装置、および第３実行装置を含み、
前記第１実行装置は、前記取得処理、前記座標変換処理、および第１送信処理を実行するように構成され、
前記第２実行装置は、第２受信処理、および前記表示処理を実行するように構成され、
前記第３実行装置は、前記生成処理、第３受信処理および第３送信処理を実行するように構成され、
前記第１送信処理は、前記点群データおよび前記座標変換データを送信する処理であり、
前記第３受信処理は、前記点群データおよび前記座標変換データを受信する処理であり、
前記第３送信処理は、前記生成処理によって生成されたデータを送信する処理であり、
前記第２受信処理は、前記第３送信処理によって送信されたデータを受信する処理である請求項１記載の３次元画像表示システム。
前記第１実行装置は、前記取得処理、前記座標変換処理、および第１送信処理を実行するように構成され、
前記第２実行装置は、第２受信処理、および前記表示処理を実行するように構成され、
前記第３実行装置は、前記生成処理、第３受信処理および第３送信処理を実行するように構成され、
前記第１送信処理は、前記点群データおよび前記座標変換データを送信する処理であり、
前記第３受信処理は、前記点群データおよび前記座標変換データを受信する処理であり、
前記第３送信処理は、前記生成処理によって生成されたデータを送信する処理であり、
前記第２受信処理は、前記第３送信処理によって送信されたデータを受信する処理である請求項１記載の３次元画像表示システム。
【請求項5】
実行装置は、第１実行装置、および第２実行装置を含み、
前記第１実行装置は、前記取得処理、前記座標変換処理、および送信処理を実行するように構成され、
前記第２実行装置は、受信処理、前記生成処理および前記表示処理を実行するように構成され、
前記送信処理は、前記座標変換データおよび前記点群データを送信する処理であり、
前記受信処理は、前記座標変換データおよび前記点群データを受信する処理である請求項１記載の３次元画像表示システム。
前記第１実行装置は、前記取得処理、前記座標変換処理、および送信処理を実行するように構成され、
前記第２実行装置は、受信処理、前記生成処理および前記表示処理を実行するように構成され、
前記送信処理は、前記座標変換データおよび前記点群データを送信する処理であり、
前記受信処理は、前記座標変換データおよび前記点群データを受信する処理である請求項１記載の３次元画像表示システム。
【請求項6】
請求項３記載の３次元画像表示システムにおける前記第１実行装置を備えた送信用端末。
【請求項7】
請求項４記載の３次元画像表示システムにおける前記第３実行装置を備えた画像生成装置。
【請求項8】
請求項５記載の３次元画像表示システムにおける前記第２実行装置を備えた受信用端末。
【請求項9】
人状物体データ取得工程、座標変換データ生成工程、および実行工程を有し、
前記人状物体データ取得工程は、「Ｎ」個の３次元センサのそれぞれが人状物体を感知したときに出力する点群データを取得する工程であり、
前記人状物体は、人の形状を有した物体であり、
前記「Ｎ」は、２以上であり、
前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、
前記点群データは、距離データおよび画素データを含み、
前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、
前記画素データは、前記物体の輝度情報を含んだデータであり、
前記座標変換データ生成工程は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記人状物体の位置同士をあわせるための前記点群データの座標変換データを生成する工程であり、
前記実行工程は、実行装置が、取得処理、座標変換処理、および生成処理を実行する工程であり、
前記取得処理は、「Ｎ」個の３次元センサの出力する点群データを取得する処理であり、
前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、
前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理である３次元画像データの生成方法。
前記人状物体データ取得工程は、「Ｎ」個の３次元センサのそれぞれが人状物体を感知したときに出力する点群データを取得する工程であり、
前記人状物体は、人の形状を有した物体であり、
前記「Ｎ」は、２以上であり、
前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、
前記点群データは、距離データおよび画素データを含み、
前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、
前記画素データは、前記物体の輝度情報を含んだデータであり、
前記座標変換データ生成工程は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記人状物体の位置同士をあわせるための前記点群データの座標変換データを生成する工程であり、
前記実行工程は、実行装置が、取得処理、座標変換処理、および生成処理を実行する工程であり、
前記取得処理は、「Ｎ」個の３次元センサの出力する点群データを取得する処理であり、
前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、
前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理である３次元画像データの生成方法。
【請求項10】
前記座標変換データ生成工程は、ボディートラッキング処理、および位置合わせ処理を実行する工程を含み、
前記ボディートラッキング処理は、前記点群データが示す人状物体の複数箇所の位置を示すデータを生成する処理であり、
前記位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記複数箇所の位置同士をあわせるための前記点群データの座標変換データを生成する処理である請求項９記載の３次元画像データの生成方法。
前記ボディートラッキング処理は、前記点群データが示す人状物体の複数箇所の位置を示すデータを生成する処理であり、
前記位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記複数箇所の位置同士をあわせるための前記点群データの座標変換データを生成する処理である請求項９記載の３次元画像データの生成方法。
【請求項11】
前記位置合わせ処理は、第１位置合わせ処理と、第２位置合わせ処理と、を含み、
前記第１位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記複数箇所の位置同士の差を低減する処理であり、
前記第２位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データに前記第１位置合わせ処理が施されたデータに対して、ＩＣＰアルゴリズムを用いて位置合わせをする処理である請求項１０記載の３次元画像データの生成方法。
前記第１位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記複数箇所の位置同士の差を低減する処理であり、
前記第２位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データに前記第１位置合わせ処理が施されたデータに対して、ＩＣＰアルゴリズムを用いて位置合わせをする処理である請求項１０記載の３次元画像データの生成方法。
【請求項12】
マーカ位置取得工程、座標変換データ生成工程、および実行工程を有し、
前記マーカ位置取得工程は、「Ｎ」個の３次元センサのそれぞれが２個以上のマーカを感知したときに出力する点群データを取得する工程であり、
前記「Ｎ」は、２以上であり、
前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、
前記点群データは、距離データおよび画素データを含み、
前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、
前記画素データは、前記物体の輝度情報を含んだデータであり、
前記座標変換データ生成工程は、少なくとも「Ｎ－１」個の前記３次元センサが出力した前記点群データが示す前記マーカの位置を、基準座標上の所定の位置にあわせるための前記点群データの座標変換データを生成する工程であり、
前記実行工程は、実行装置が、取得処理、座標変換処理、および生成処理を実行する工程であり、
前記取得処理は、「Ｎ」個の３次元センサの出力する点群データを取得する処理であり、
前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、
前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理である３次元画像データの生成方法。
前記マーカ位置取得工程は、「Ｎ」個の３次元センサのそれぞれが２個以上のマーカを感知したときに出力する点群データを取得する工程であり、
前記「Ｎ」は、２以上であり、
前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、
前記点群データは、距離データおよび画素データを含み、
前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、
前記画素データは、前記物体の輝度情報を含んだデータであり、
前記座標変換データ生成工程は、少なくとも「Ｎ－１」個の前記３次元センサが出力した前記点群データが示す前記マーカの位置を、基準座標上の所定の位置にあわせるための前記点群データの座標変換データを生成する工程であり、
前記実行工程は、実行装置が、取得処理、座標変換処理、および生成処理を実行する工程であり、
前記取得処理は、「Ｎ」個の３次元センサの出力する点群データを取得する処理であり、
前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、
前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理である３次元画像データの生成方法。
【請求項13】
前記マーカ位置取得工程において前記点群データの取得対象となる前記マーカは、Ｌ字状に配置された３個のマーカであり、
前記マーカのそれぞれは、互いに異なる２次元の画像を含む請求項１２記載の３次元画像データの生成方法。
前記マーカのそれぞれは、互いに異なる２次元の画像を含む請求項１２記載の３次元画像データの生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元画像表示システム、送信用端末、画像生成装置、受信用端末、および３次元画像データの生成方法に関する。
【背景技術】
【0002】
たとえば下記特許文献１には、テレビ会議システムが記載されている。このシステムは、表示対象のデータを画像データおよび深度データとする。これにより、３次元的な画像を生成できる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１９－５３３３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、表示対象の正面のみならず、背面を含めるなど、より立体的な情報を得るには、画像データおよび深度データを生成するセンサを、互いに離間して複数配置することが望ましい。しかし、互いに離間して複数のセンサを配置する場合には、それら各センサの生成したデータ同士の整合性が崩れると、立体的な情報を高精度に生成できない。
【課題を解決するための手段】
【0005】
以下、上記課題を解決するための手段およびその作用効果について記載する。
１．実行装置と、記憶装置とを備え、前記記憶装置には、座標変換データが記憶されており、前記実行装置は、取得処理、座標変換処理、生成処理、および表示処理を実行するように構成され、前記取得処理は、「Ｎ」個の３次元センサのそれぞれが出力する点群データを取得する処理であり、前記「Ｎ」は、２以上であり、前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、前記点群データは、距離データおよび画素データを含み、前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、前記画素データは、前記物体の輝度情報を含んだデータであり、前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理であり、前記表示処理は、表示装置を操作することによって、前記３次元画像を示すデータを用いて前記３次元画像を表示する処理である３次元画像表示システムである。
１．実行装置と、記憶装置とを備え、前記記憶装置には、座標変換データが記憶されており、前記実行装置は、取得処理、座標変換処理、生成処理、および表示処理を実行するように構成され、前記取得処理は、「Ｎ」個の３次元センサのそれぞれが出力する点群データを取得する処理であり、前記「Ｎ」は、２以上であり、前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、前記点群データは、距離データおよび画素データを含み、前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、前記画素データは、前記物体の輝度情報を含んだデータであり、前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理であり、前記表示処理は、表示装置を操作することによって、前記３次元画像を示すデータを用いて前記３次元画像を表示する処理である３次元画像表示システムである。
【0006】
上記構成では、座標変換データを用いて、Ｎ個の３次元センサのそれぞれが出力する点群データ同士を整合させることができる。そのため、互いに整合されたＮ組の点群データを用いて３次元画像データを生成し表示できる。
【0007】
２．前記生成処理は、抽出処理、および画像データ生成処理を含み、前記抽出処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、前記整合がとられたデータのうちの所定領域内のデータのみを抽出する処理であり、前記画像データ生成処理は、前記抽出処理によって抽出されたデータを用いて前記所定領域内における前記３次元画像を示すデータを生成する処理である上記１記載の３次元画像表示システムである。
【0008】
上記構成では、所定領域内のデータから３次元画像データを生成することから、３次元画像データに背景画像が含まれることを抑制できる。
３．前記実行装置は、第１実行装置および第２実行装置を含み、前記第１実行装置は、前記取得処理、前記座標変換処理、前記生成処理、および送信処理を実行するように構成され、前記第２実行装置は、受信処理、および前記表示処理を実行するように構成され、前記送信処理は、前記生成処理によって生成されたデータを送信する処理であり、前記受信処理は、前記送信処理によって送信されたデータを受信する処理である上記１または２記載の３次元画像表示システムである。
３．前記実行装置は、第１実行装置および第２実行装置を含み、前記第１実行装置は、前記取得処理、前記座標変換処理、前記生成処理、および送信処理を実行するように構成され、前記第２実行装置は、受信処理、および前記表示処理を実行するように構成され、前記送信処理は、前記生成処理によって生成されたデータを送信する処理であり、前記受信処理は、前記送信処理によって送信されたデータを受信する処理である上記１または２記載の３次元画像表示システムである。
【0009】
上記構成では、３次元画像データを送信することにより、Ｎ個の点群データを全て送信する場合と比較して、送信データ量を軽減できる。
４．実行装置は、第１実行装置、第２実行装置、および第３実行装置を含み、前記第１実行装置は、前記取得処理、前記座標変換処理、および第１送信処理を実行するように構成され、前記第２実行装置は、第２受信処理、および前記表示処理を実行するように構成され、前記第３実行装置は、前記生成処理、第３受信処理および第３送信処理を実行するように構成され、前記第１送信処理は、前記点群データおよび前記座標変換データを送信する処理であり、前記第３受信処理は、前記点群データおよび前記座標変換データを受信する処理であり、前記第３送信処理は、前記生成処理によって生成されたデータを送信する処理であり、前記第２受信処理は、前記第３送信処理によって送信されたデータを受信する処理である上記１または２記載の３次元画像表示システムである。
４．実行装置は、第１実行装置、第２実行装置、および第３実行装置を含み、前記第１実行装置は、前記取得処理、前記座標変換処理、および第１送信処理を実行するように構成され、前記第２実行装置は、第２受信処理、および前記表示処理を実行するように構成され、前記第３実行装置は、前記生成処理、第３受信処理および第３送信処理を実行するように構成され、前記第１送信処理は、前記点群データおよび前記座標変換データを送信する処理であり、前記第３受信処理は、前記点群データおよび前記座標変換データを受信する処理であり、前記第３送信処理は、前記生成処理によって生成されたデータを送信する処理であり、前記第２受信処理は、前記第３送信処理によって送信されたデータを受信する処理である上記１または２記載の３次元画像表示システムである。
【0010】
上記構成では、第３実行装置が生成処理を実行する。そのため、送信側の第１実行装置が生成処理を実行する場合と比較して、第１実行装置の演算負荷を軽減できる。また、受信側の第２実行装置が生成処理を実行する場合と比較して、第２実行装置の演算負荷を軽減できる。
【0011】
５．実行装置は、第１実行装置、および第２実行装置を含み、前記第１実行装置は、前記取得処理、前記座標変換処理、および送信処理を実行するように構成され、前記第２実行装置は、受信処理、前記生成処理および前記表示処理を実行するように構成され、前記送信処理は、前記座標変換データおよび前記点群データを送信する処理であり、前記受信処理は、前記座標変換データおよび前記点群データを受信する処理である上記１または２記載の３次元画像表示システムである。
【0012】
６．上記３～５のいずれか１つに記載の３次元画像表示システムにおける前記第１実行装置を備えた送信用端末である。
７．上記４記載の３次元画像表示システムにおける前記第３実行装置を備えた画像生成装置である。
７．上記４記載の３次元画像表示システムにおける前記第３実行装置を備えた画像生成装置である。
【0013】
８．上記３～５のいずれか１つに記載の３次元画像表示システムにおける前記第２実行装置を備えた受信用端末である。
９．人状物体データ取得工程、座標変換データ生成工程、および実行工程を有し、前記人状物体データ取得工程は、「Ｎ」個の３次元センサのそれぞれが人状物体を感知したときに出力する点群データを取得する工程であり、前記人状物体は、人の形状を有した物体であり、前記「Ｎ」は、２以上であり、前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、前記点群データは、距離データおよび画素データを含み、前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、前記画素データは、前記物体の輝度情報を含んだデータであり、前記座標変換データ生成工程は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記人状物体の位置同士をあわせるための前記点群データの座標変換データを生成する工程であり、前記実行工程は、実行装置が、取得処理、座標変換処理、および生成処理を実行する工程であり、前記取得処理は、「Ｎ」個の３次元センサの出力する点群データを取得する処理であり、前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理である３次元画像データの生成方法である。
９．人状物体データ取得工程、座標変換データ生成工程、および実行工程を有し、前記人状物体データ取得工程は、「Ｎ」個の３次元センサのそれぞれが人状物体を感知したときに出力する点群データを取得する工程であり、前記人状物体は、人の形状を有した物体であり、前記「Ｎ」は、２以上であり、前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、前記点群データは、距離データおよび画素データを含み、前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、前記画素データは、前記物体の輝度情報を含んだデータであり、前記座標変換データ生成工程は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記人状物体の位置同士をあわせるための前記点群データの座標変換データを生成する工程であり、前記実行工程は、実行装置が、取得処理、座標変換処理、および生成処理を実行する工程であり、前記取得処理は、「Ｎ」個の３次元センサの出力する点群データを取得する処理であり、前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理である３次元画像データの生成方法である。
【0014】
上記方法では、Ｎ個の３次元センサのそれぞれが人状物体を感知したときに出力する点群データを用いて、Ｎ組の点群データのそれぞれを整合したデータとするための座標変換データを生成する。これにより、互いに整合したＮ組の点群データを用いて３次元画像データを生成できる。
【0015】
特に、上記方法では、Ｎ個の３次元センサのそれぞれが人を感知したときに出力する点群データを用いて、座標変換データを生成する。そのため、座標変換データの生成のための３次元センサの配置を、人の撮影にとって適切な配置とすることが容易となる。したがって、座標変換データの生成のための３次元センサの配置を、座標変換データの生成後に人を継続的に撮影する際に適切な配置とすることができる。
【0016】
１０．前記座標変換データ生成工程は、ボディートラッキング処理、および位置合わせ処理を実行する工程を含み、前記ボディートラッキング処理は、前記点群データが示す人状物体の複数箇所の位置を示すデータを生成する処理であり、前記位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記複数箇所の位置同士をあわせるための前記点群データの座標変換データを生成する処理である上記９記載の３次元画像データの生成方法である。
【0017】
上記方法では、ボディートラッキング処理によって生成された人状物体の複数箇所の位置を示すデータを用いることにより、位置合わせ処理を好適に行うことができる。
１１．前記位置合わせ処理は、第１位置合わせ処理と、第２位置合わせ処理と、を含み、前記第１位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記複数箇所の位置同士の差を低減する処理であり、前記第２位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データに前記第１位置合わせ処理が施されたデータに対して、ＩＣＰアルゴリズムを用いて位置合わせをする処理である上記１０記載の３次元画像データの生成方法である。
１１．前記位置合わせ処理は、第１位置合わせ処理と、第２位置合わせ処理と、を含み、前記第１位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データが示す前記複数箇所の位置同士の差を低減する処理であり、前記第２位置合わせ処理は、Ｎ個の前記３次元センサのそれぞれが出力した前記点群データに前記第１位置合わせ処理が施されたデータに対して、ＩＣＰアルゴリズムを用いて位置合わせをする処理である上記１０記載の３次元画像データの生成方法である。
【0018】
上記方法では、第１位置合わせ処理と、第２位置合わせ処理とを用いることにより、座標変換データを高精度に生成できる。
１２．マーカ位置取得工程、座標変換データ生成工程、および実行工程を有し、前記マーカ位置取得工程は、「Ｎ」個の３次元センサのそれぞれが２個以上のマーカを感知したときに出力する点群データを取得する工程であり、前記「Ｎ」は、２以上であり、前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、前記点群データは、距離データおよび画素データを含み、前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、前記画素データは、前記物体の輝度情報を含んだデータであり、前記座標変換データ生成工程は、少なくとも「Ｎ－１」個の前記３次元センサが出力した前記点群データが示す前記マーカの位置を、基準座標上の所定の位置にあわせるための前記点群データの座標変換データを生成する工程であり、前記実行工程は、実行装置が、取得処理、座標変換処理、および生成処理を実行する工程であり、前記取得処理は、「Ｎ」個の３次元センサの出力する点群データを取得する処理であり、前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理である３次元画像データの生成方法である。
１２．マーカ位置取得工程、座標変換データ生成工程、および実行工程を有し、前記マーカ位置取得工程は、「Ｎ」個の３次元センサのそれぞれが２個以上のマーカを感知したときに出力する点群データを取得する工程であり、前記「Ｎ」は、２以上であり、前記３次元センサは、電磁波の物体による反射波を感知することによって前記点群データを生成するセンサであり、前記点群データは、距離データおよび画素データを含み、前記距離データは、前記３次元センサおよび前記物体間の距離に関するデータであり、前記画素データは、前記物体の輝度情報を含んだデータであり、前記座標変換データ生成工程は、少なくとも「Ｎ－１」個の前記３次元センサが出力した前記点群データが示す前記マーカの位置を、基準座標上の所定の位置にあわせるための前記点群データの座標変換データを生成する工程であり、前記実行工程は、実行装置が、取得処理、座標変換処理、および生成処理を実行する工程であり、前記取得処理は、「Ｎ」個の３次元センサの出力する点群データを取得する処理であり、前記座標変換処理は、少なくとも「Ｎ－１」個の前記３次元センサの前記点群データを前記座標変換データを用いて座標変換することによって、前記「Ｎ」個の３次元センサの前記点群データの座標を整合させる処理であり、前記生成処理は、前記「Ｎ」個の３次元センサのそれぞれの前記点群データのうちの前記座標変換処理によって整合がとられたデータを入力として、３次元画像を示すデータを生成する処理である３次元画像データの生成方法である。
【0019】
上記方法では、Ｎ個の３次元センサのそれぞれがマーカを感知したときに出力する点群データを用いて、Ｎ組の点群データのそれぞれを基準座標系のデータとするための座標変換データを生成する。これにより、Ｎ個の３次元センサのそれぞれが出力する点群データ同士を整合させることができる。そのため、基準座標系におけるＮ組の点群データを用いて３次元画像データを生成できる。
【0020】
特に、上記方法では、Ｎ個の３次元センサのそれぞれが２個以上のマーカを感知したときに出力する点群データを用いて、座標変換データを生成する。そのため、１つのマーカを感知したときに出力する点群データを用いる場合と比較して、点群データに含まれる、マーカによって規定される位置および方向を高精度化することができる。したがって、座標変換データを高精度に生成できる。
【0021】
１３．前記マーカ位置取得工程において前記点群データの取得対象となる前記マーカは、Ｌ字状に配置された３個のマーカであり、前記マーカのそれぞれは、互いに異なる２次元の画像を含む上記１２記載の３次元画像データの生成方法である。
【0022】
上記方法では、３個のマーカがＬ字状に配置されて点群データが生成される。その場合、２個のマーカが並べられる２つの方向によって、直交する２つの座標軸を定義できる。また、２次元画像に直交する方向によってもう１つの座標軸を定義できる。
【図面の簡単な説明】
【0023】
【図1】第１の実施形態にかかる３次元画像表示システムを示すブロック図である。
【図2】同実施形態にかかる３次元センサを示す斜視図である。
【図3】同実施形態にかかる座標変換データの生成に関する工程を示す流れ図である。
【図4】同実施形態にかかるマーカの配置例を示す斜視図である。
【図5】同実施形態にかかるマーカが定義する座標軸を示す図である。
【図6】（ａ）および（ｂ）は、同実施形態にかかる３次元画像データの表示に関する処理の手順を示す流れ図である。
【図7】（ａ）および（ｂ）は、拠点間コミュニケーションのための前処理の手順を示す流れ図である。
【図8】（ａ）～（ｃ）は、同実施形態にかかる３次元画像データの表示に関する処理の手順を示す流れ図である。
【図9】（ａ）および（ｂ）は、拠点間コミュニケーションのための前処理の手順を示す流れ図である。
【図10】（ａ）および（ｂ）は、同実施形態にかかる３次元データ画像の表示に関する処理の手順を示す流れ図である。
【図11】同実施形態にかかる座標変換データの生成に関する工程を示す流れ図である。
【図12】同実施形態にかかるボディートラッキング処理を例示する図である。
【発明を実施するための形態】
【0024】
＜第１の実施形態＞
以下、第１の実施形態について図面を参照しつつ説明する。
「システム構成」
図１に、３次元画像表示システムの構成を示す。同システムは、互いに物理的に離れているために直接的なコミュニケーションが取れないユーザ同士のコミュニケーションを可能とするシステムである。図１には、互いに物理的に離れた拠点の数が２個である場合を例示する。
以下、第１の実施形態について図面を参照しつつ説明する。
「システム構成」
図１に、３次元画像表示システムの構成を示す。同システムは、互いに物理的に離れているために直接的なコミュニケーションが取れないユーザ同士のコミュニケーションを可能とするシステムである。図１には、互いに物理的に離れた拠点の数が２個である場合を例示する。
【0025】
図１では、２個の拠点のそれぞれに配置されている部材の符号の最後に、括弧が付与された数字を付与することによって識別している。すなわち、ユーザ端末１０（１），１０（２）は、各拠点に配置されている端末である。なお、以下では、２個の拠点のそれぞれに配置されている部材を総括する場合、括弧が付与された数字を削除する。すなわち、ユーザ端末１０は、ユーザ端末１０（１），１０（２）を総括した記載である。
【0026】
ユーザ端末１０は、ＰＵ１２、記憶装置１４、および通信機１６を備えている。ＰＵ１２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等のソフトウェア処理装置である。記憶装置１４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置１４には、画像処理プログラム１４ａ、および座標変換データ１４ｂが記憶されている。
【0027】
ユーザ端末１０は、３次元センサ２０の出力信号を取得する。
図２に、３次元センサ２０を示す。図２に示すように、３次元センサ２０は、深度センサ２０ａと、ＲＧＢカメラ２０ｂとを備えている。ＲＧＢカメラ２０ｂは、可視光を感知して、視野に含まれる所定の領域を複数に分割したそれぞれである画素領域に関する画像データを生成する。画像データは、レッド（Ｒ）、グリーン（Ｇ）、およびブルー（Ｂ）のそれぞれの輝度情報を含んだデータである。深度センサ２０ａは、近赤外線を外部に照射する装置と、照射した近赤外線の反射光を受光する装置とを備える。深度センサ２０ａは、反射光に基づき、近赤外線を反射した物体と深度センサ２０ａとの距離を計測する。距離の計測は、たとえばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式によって実現できる。もっとも、ＴＯＦ法式に限らず、たとえば、ＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式にて実現してもよい。深度センサ２０ａによる距離データは、上記ＲＧＢカメラ２０ｂが撮影する画素のそれぞれに対して生成される。これは、たとえば、近赤外線の照射方向を、上記複数の画素に対応した方向に順次走査しつつ近赤外線を照射することによって実現できる。
図２に、３次元センサ２０を示す。図２に示すように、３次元センサ２０は、深度センサ２０ａと、ＲＧＢカメラ２０ｂとを備えている。ＲＧＢカメラ２０ｂは、可視光を感知して、視野に含まれる所定の領域を複数に分割したそれぞれである画素領域に関する画像データを生成する。画像データは、レッド（Ｒ）、グリーン（Ｇ）、およびブルー（Ｂ）のそれぞれの輝度情報を含んだデータである。深度センサ２０ａは、近赤外線を外部に照射する装置と、照射した近赤外線の反射光を受光する装置とを備える。深度センサ２０ａは、反射光に基づき、近赤外線を反射した物体と深度センサ２０ａとの距離を計測する。距離の計測は、たとえばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式によって実現できる。もっとも、ＴＯＦ法式に限らず、たとえば、ＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式にて実現してもよい。深度センサ２０ａによる距離データは、上記ＲＧＢカメラ２０ｂが撮影する画素のそれぞれに対して生成される。これは、たとえば、近赤外線の照射方向を、上記複数の画素に対応した方向に順次走査しつつ近赤外線を照射することによって実現できる。
【0028】
以下では、深度センサ２０ａによって生成される距離に関するデータである距離データと、ＲＧＢカメラ２０ｂによって生成される画像データとを併せて、点群データとも称する。
【0029】
図１に戻り、ユーザ端末１０は、表示装置２２を操作することによって３次元の画像データを表示する処理を実行する。また、ユーザ端末１０は、ユーザインターフェース２４に対するユーザの入力操作に応じて、ユーザからの指示を受け付ける。
【0030】
通信機１６は、ネットワーク３０を介してサーバ４０との通信を可能とする。サーバ４０は、ＰＵ４２、記憶装置４４、および通信機４６を備えている。ＰＵ４２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等のソフトウェア処理装置である。記憶装置４４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。
【0031】
「前処理」
図１に示すように、各拠点のユーザ端末１０は、それぞれＮ個の３次元センサ２０を利用して、その拠点のユーザの３次元画像を生成する。ここで、「Ｎ≧２」である。次に、複数の３次元センサ２０のそれぞれのデータを整合させるための処理について説明する。
図１に示すように、各拠点のユーザ端末１０は、それぞれＮ個の３次元センサ２０を利用して、その拠点のユーザの３次元画像を生成する。ここで、「Ｎ≧２」である。次に、複数の３次元センサ２０のそれぞれのデータを整合させるための処理について説明する。
【0032】
図３に、複数の３次元センサ２０のそれぞれのデータを整合させるための処理の手順を示す。図３に示す処理は、各拠点のそれぞれで実行される。以下では、「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。なお、図３におけるＳ１０～Ｓ１４の処理は、人が行う処理である。また、Ｓ１６～Ｓ２０の処理は、ＰＵ１２が、画像処理プログラム１４ａを実行することによって実現される。
【0033】
【0034】
図４に示す台５０は、拠点間のコミュニケーションが行われる際にユーザが位置すると想定される場所に一時的に配置される。台５０には、３個のマーカ６０ａ，６０ｂ，６０ｃが配置されている。マーカ６０ａ，６０ｂ，６０ｃは、２次元コードが表示されたシート状の部材である。マーカ６０ａ，６０ｂ，６０ｃは、２次元コードが印刷された紙であってもよい。マーカ６０ａ，６０ｂ，６０ｃのそれぞれに含まれる２次元コードは、互いに異なるコードである。換言すれば、マーカ６０ａ，６０ｂ，６０ｃのそれぞれに含まれる２次元コードは、互いに識別可能である。
【0035】
マーカ６０ａ，６０ｂ，６０ｃは、Ｌ字状に配置されている。すなわち、マーカ６０ａおよびマーカ６０ｂは、並べて配置されている。また、マーカ６０ａおよびマーカ６０ｃは、並べて配置されている。さらに、マーカ６０ａ，６０ｂ，６０ｃは、マーカ６０ａおよびマーカ６０ｂが並べられた方向とマーカ６０ａおよびマーカ６０ｃが並べられた方向が互に直交するように配置されている。なお、マーカ６０ａおよびマーカ６０ｂが並べられた方向とは、たとえば、マーカ６０ａの中央とマーカ６０ｂの中央とを結ぶ線に平行な方向であってもよい。
【0036】
図４には、互いに対向するように配置された２個の３次元センサ２０を例示した。なお、上記「Ｎ」が４以上の場合、台５０を中心として９０°間隔で３次元センサ２０を配置してもよい。
【0037】
図３に戻り、３次元センサおよびマーカ６０ａ～６０ｃの設置が完了すると、人がユーザインターフェース２４を操作することによって、複数の３次元センサ２０のそれぞれによる点群データの生成を指示する（Ｓ１４）。
【0038】
これに対し、ＰＵ１２は、複数の３次元センサ２０のそれぞれの点群データを取得する（Ｓ１６）。すなわち、ＰＵ１２は、複数の３次元センサ２０のそれぞれを操作することによって、複数の３次元センサ２０のそれぞれによって点群データを生成する。そして、ＰＵ１２は、複数の３次元センサ２０のそれぞれによって生成された点群データを一時的に記憶装置１４に記憶する。
【0039】
詳しくは、複数の３次元センサ２０は、３個のマーカ６０ａ，６０ｂ，６０ｃを検出する。すなわち、複数の３次元センサ２０のそれぞれの深度センサ２０ａは、マーカ６０ａ，６０ｂ，６０ｃと深度センサ２０ａとの距離を示す距離データを生成する。また、複数の３次元センサ２０のそれぞれのＲＧＢカメラ２０ｂは、マーカ６０ａ，６０ｂ，６０ｃの画素データを生成する。なお、ＲＧＢカメラ２０ｂが生成する画素データには、台５０を示す画素データが含まれていてもよい。また、深度センサ２０ａが生成する距離データには、深度センサ２０ａと台５０との距離を示すデータが含まれていてもよい。
【0040】
次にＰＵ１２は、複数の３次元センサ２０のそれぞれによって生成された点群データ同士を整合させるための座標変換データを生成する（Ｓ１８）。
図５に示すように、マーカ６０ａ，６０ｂ，６０ｃによって、互いに直交する３つの軸６２ｘ，６２ｙ，６２ｚが定義できる。すなわち、マーカ６０ａおよびマーカ６０ｂが並べられる方向によって、軸６２ｘを定義できる。また、マーカ６０ａおよびマーカ６０ｃが並べられる方向によって、軸６２ｙを定義できる。また、マーカ６０ａ，６０ｂ，６０ｃが形成する面に直交する方向によって、軸６２ｚを定義できる。
図５に示すように、マーカ６０ａ，６０ｂ，６０ｃによって、互いに直交する３つの軸６２ｘ，６２ｙ，６２ｚが定義できる。すなわち、マーカ６０ａおよびマーカ６０ｂが並べられる方向によって、軸６２ｘを定義できる。また、マーカ６０ａおよびマーカ６０ｃが並べられる方向によって、軸６２ｙを定義できる。また、マーカ６０ａ，６０ｂ，６０ｃが形成する面に直交する方向によって、軸６２ｚを定義できる。
【0041】
ただし、複数の３次元センサ２０のそれぞれによって生成された点群データ同士は、互いに同一の座標系を採用したものとなっていない。すなわち、たとえば、図５における軸６２ｘ，６２ｙ，６２ｚの交点は、３次元センサ２０の１つによる画像データが示す画像における位置と、３次元センサ２０の別の１つによる画像データが示す画像における位置とが互いに異なる。さらに、それら画像データが示す画像における軸６２ｚ等の向きも互いに異なる。
【0042】
そこで、ＰＵ１２は、複数の３次元センサ２０のそれぞれによって生成された点群データを座標変換することによって、複数の点群データのそれぞれを基準座標系におけるデータに変換する。
【0043】
この変換は、６つのパラメータによって実現できる。すなわち、３方向の平行移動の量を定めるパラメータと、２つの３次元直交座標系の関係を定めるオイラー角とを求めることによって実現できる。具体的には、たとえば、複数の３次元センサ２０のそれぞれについて、ＰＵ１２は、点群データが示す軸６２ｘ，６２ｙ，６２ｚの交点を、基準座標の原点に平行移動する量を求めればよい。また、ＰＵ１２は、点群データが示す軸６２ｘ，６２ｙ，６２ｚのそれぞれを、基準座標系のＸ軸、Ｙ軸およびＺ軸のそれぞれに一致させるオイラー角を求めればよい。
【0044】
こうして求められた６個のパラメータが座標変換データである。
図３に戻り、ＰＵ１２は、図１に示した記憶装置１４に座標変換データ１４ｂを記憶させる（Ｓ２０）。すなわち、ＰＵ１２は、３次元センサ２０のそれぞれに関する座標変換データ１４ｂを記憶させる。したがって、Ｓ２０の処理は、Ｎ組の座標変換データ１４ｂを記憶する処理である。なお、ＰＵ１２は、Ｓ２０の処理を完了する場合、図３に示した一連の処理を一旦終了する。
図３に戻り、ＰＵ１２は、図１に示した記憶装置１４に座標変換データ１４ｂを記憶させる（Ｓ２０）。すなわち、ＰＵ１２は、３次元センサ２０のそれぞれに関する座標変換データ１４ｂを記憶させる。したがって、Ｓ２０の処理は、Ｎ組の座標変換データ１４ｂを記憶する処理である。なお、ＰＵ１２は、Ｓ２０の処理を完了する場合、図３に示した一連の処理を一旦終了する。
【0045】
「拠点間のコミュニケーション」
図６に、拠点間のコミュニケーションを可能とする処理の手順を示す。図６（ａ）に示す処理は、画像処理プログラム１４ａ（１）をＰＵ１２（１）がたとえば所定周期でくり返し実行することにより実現される。図６（ｂ）に示す処理は、画像処理プログラム１４ａ（２）をＰＵ１２（２）がたとえば所定周期でくり返し実行することにより実現される。なお、図６には、ユーザ端末１０（１）が、３次元の画像データをユーザ端末１０（２）に送信する処理を例示する。ただし、実際には、図６におけるユーザ端末１０（１）の処理と、ユーザ端末１０（２）の処理とを入れ替えた処理も存在する。換言すれば、ユーザ端末１０（２）が、３次元の画像データをユーザ端末１０（１）に送信する処理も実行される。
図６に、拠点間のコミュニケーションを可能とする処理の手順を示す。図６（ａ）に示す処理は、画像処理プログラム１４ａ（１）をＰＵ１２（１）がたとえば所定周期でくり返し実行することにより実現される。図６（ｂ）に示す処理は、画像処理プログラム１４ａ（２）をＰＵ１２（２）がたとえば所定周期でくり返し実行することにより実現される。なお、図６には、ユーザ端末１０（１）が、３次元の画像データをユーザ端末１０（２）に送信する処理を例示する。ただし、実際には、図６におけるユーザ端末１０（１）の処理と、ユーザ端末１０（２）の処理とを入れ替えた処理も存在する。換言すれば、ユーザ端末１０（２）が、３次元の画像データをユーザ端末１０（１）に送信する処理も実行される。
【0046】
図６に示す一連の処理において、ＰＵ１２（１）は、まず３次元センサ２０を識別する変数ｉに「１」を代入する（Ｓ３０）。変数ｉは、「１～Ｎ」の値を取り得る。次にＰＵ１２（１）は、変数ｉによって特定される３次元センサ２０が出力した点群データを取得する（Ｓ３２）。そしてＰＵ１２（１）は、取得した点群データを、記憶装置１４に記憶されているＮ組の座標変換データ１４ｂ（１）のうちの対応する座標変換データ１４ｂ（１）を利用して座標変換する（Ｓ３４）。ここで、対応する座標変換データ１４ｂ（１）とは、変数ｉによって特定される３次元センサ２０に関する座標変換データ１４ｂである。
【0047】
次にＰＵ１２（１）は、変数ｉが「Ｎ」であるか否かを判定する（Ｓ３６）。この処理は、Ｎ個の３次元センサ２０のそれぞれが出力した点群データを全て座標変換したか否かを判定する処理である。ＰＵ１２（１）は、変数ｉが未だ「Ｎ」に達していないと判定する場合（Ｓ３６：ＮＯ）、変数ｉを「１」だけ増加補正して（Ｓ３８）、Ｓ３２の処理に戻る。
【0048】
一方、ＰＵ１２（１）は、変数ｉが「Ｎ」であると判定する場合（Ｓ３６：ＹＥＳ）、点群データを合成する（Ｓ４０）。たとえば、人の正面および背面に３次元センサ２０が配置されている場合、人の正面の画像と人の背面の画像とを合成することによって、正面、および背面のそれぞれが表現された画像データを含んだ点群データを生成する。
【0049】
次にＰＵ１２（１）は、点群データのうちの所定領域内のデータを抽出する（Ｓ４２）。所定領域は、表示対象物が存在すると想定される領域である。ここで、表示対象物は、拠点間のコミュニケーションをとる人である。この処理は、点群データから、表示対象物から離れた背景部分を示すデータを除く処理である。ここでは、ＰＵ１２（１）は、点群データからテクスチャデータを貼り付けるメッシュを作成する際、頂点の位置座標によって、表示対象として抽出するか否かを判定する。具体的には、ＰＵ１２（１）は、複数の３次元センサ２０毎に、点群データが示す深度が所定範囲となるデータのみを抽出すればよい。また、ＰＵ１２（１）は、対象物の奥行方向に制限を設けることによって、点群データの一部を選択的に抽出する。
【0050】
また、ＰＵ１２（１）は、抽出された点群データを用いてメッシュを生成する（Ｓ４４）。ここで、ＰＵ１２（１）は、たとえば互いに距離が最も近い３点によって１つのメッシュを定義してもよい。次にＰＵ１２（１）は、メッシュにテクスチャデータを貼り付ける（Ｓ４６）。テクスチャデータは、たとえば、メッシュの頂点の画素に応じて、Ｒ，Ｇ，Ｂの各輝度が定まるデータであってもよい。
【0051】
次にＰＵ１２（１）は、通信機１６を操作することによって、ネットワーク３０を介してサーバ４０に画像データを送信する（Ｓ４８）。なお、ＰＵ１２（１）は、Ｓ４８の処理が完了する場合、図６（ａ）に示す一連の処理を一旦終了する。
【0052】
サーバ４０は、送信された画像データを受信すると、送信された画像データをユーザ端末１０（２）に送信する。
これに対しユーザ端末１０（２）のＰＵ１２（２）は、図６（ｂ）に示すように、画像データを受信する（Ｓ５０）。そして、ＰＵ１２（２）は、表示装置２２を操作することによって、受信した画像データが示す３次元画像を表示する（Ｓ５２）。なお、ＰＵ１０（２）は、Ｓ５２の処理を完了する場合、図６（ｂ）に示す一連の処理を一旦終了する。
これに対しユーザ端末１０（２）のＰＵ１２（２）は、図６（ｂ）に示すように、画像データを受信する（Ｓ５０）。そして、ＰＵ１２（２）は、表示装置２２を操作することによって、受信した画像データが示す３次元画像を表示する（Ｓ５２）。なお、ＰＵ１０（２）は、Ｓ５２の処理を完了する場合、図６（ｂ）に示す一連の処理を一旦終了する。
【0053】
図６の処理を所定周期で繰り返すことによって、ユーザ端末１０（１）からユーザ端末１０（２）に動画を示すデータが送信される。その際の通信負荷を軽減すべく、Ｓ４８の処理において送信される画像データには、所定の圧縮処理がなされてもよい。
【0054】
ここで、本実施形態の作用および効果について説明する。
ＰＵ１２は、３次元センサ２０によってマーカ６０ａ，６０ｂ，６０ｃを検出する。マーカ６０ａ，６０ｂ，６０ｃは、図５に示すように、互いに直交する３つの軸を明確に定義する。そのため、マーカ６０ａ，６０ｂ，６０ｃを検出したときの点群データは、互いに直交する３つの軸の情報を高精度に含んでいる。そのため、この点群データの情報に基づき、３次元センサ２０が出力する点群データを基準座標系のデータに変換する座標変換データ１４ｂを生成することによって、座標変換データ１４ｂを高精度なデータとすることができる。
ＰＵ１２は、３次元センサ２０によってマーカ６０ａ，６０ｂ，６０ｃを検出する。マーカ６０ａ，６０ｂ，６０ｃは、図５に示すように、互いに直交する３つの軸を明確に定義する。そのため、マーカ６０ａ，６０ｂ，６０ｃを検出したときの点群データは、互いに直交する３つの軸の情報を高精度に含んでいる。そのため、この点群データの情報に基づき、３次元センサ２０が出力する点群データを基準座標系のデータに変換する座標変換データ１４ｂを生成することによって、座標変換データ１４ｂを高精度なデータとすることができる。
【0055】
＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0056】
本実施形態では、複数の３次元センサ２０の出力する点群データから３次元画像を生成する処理をサーバ４０が実行する。
図７に、拠点間のコミュニケーションに先立って行われる処理を示す。詳しくは、図７（ａ）は、画像処理プログラム１４ａ（１）をＰＵ１２（１）がたとえば所定の条件が成立する場合に実行することにより実現される。また、図７（ｂ）は、記憶装置４４に記憶されたプログラムをＰＵ４２がたとえば所定の条件が成立する場合に実行することにより実現される。なお、図７には、ユーザ端末１０（１）とサーバ４０との間の処理を例示するが、ユーザ端末１０（２）等とサーバ４０との間の処理も同様である。
図７に、拠点間のコミュニケーションに先立って行われる処理を示す。詳しくは、図７（ａ）は、画像処理プログラム１４ａ（１）をＰＵ１２（１）がたとえば所定の条件が成立する場合に実行することにより実現される。また、図７（ｂ）は、記憶装置４４に記憶されたプログラムをＰＵ４２がたとえば所定の条件が成立する場合に実行することにより実現される。なお、図７には、ユーザ端末１０（１）とサーバ４０との間の処理を例示するが、ユーザ端末１０（２）等とサーバ４０との間の処理も同様である。
【0057】
図７（ａ）に示すように、ＰＵ１２（１）は、通信機１６を操作することによって、ネットワーク３０を介して座標変換データ１４ｂ（１）をサーバ４０に送信する（Ｓ６０）。なお、ＰＵ１２（１）は、Ｓ６０の処理を完了する場合、図７（ａ）に示す一連の処理を一旦終了する。
【0058】
これに対し、サーバ４０のＰＵ４２は、図７（ｂ）に示すように、座標変換データ１４ｂ（１）を受信する（Ｓ７０）。そしてＰＵ４２は、座標変換データ１４ｂ（１）を記憶装置４４に記憶する（Ｓ７２）。なお、ＰＵ４２は、Ｓ７２の処理を完了する場合、図７（ｂ）に示す一連の処理を一旦終了する。
【0059】
図８に、拠点間のコミュニケーションを可能とするための処理の手順を示す。図８（ａ）は、画像処理プログラム１４ａ（１）をユーザ端末１０（１）のＰＵ１２（１）がたとえば所定周期でくり返し実行することにより実現される。また、図８（ｂ）は、記憶装置４４に記憶されたプログラムをサーバ４０のＰＵ４２がたとえば所定周期でくり返し実行することにより実現される。また、図８（ｃ）は、画像処理プログラム１４ａ（２）をユーザ端末１０（２）のＰＵ１２（２）がたとえば所定周期でくり返し実行することにより実現される。なお、図８においては、ユーザ端末１０（１）から送信される点群データをユーザ端末１０（２）において再生する処理を例示している。しかし、拠点間のコミュニケーションが実行される場合、実際には、ユーザ端末１０（２）から送信される点群データをユーザ端末１０（１）において再生する処理も実行される。
【0060】
図８（ａ）に示す一連の処理において、ユーザ端末１０（１）のＰＵ１２（１）は、複数の３次元センサ２０が出力する点群データを取得する（Ｓ８０）。次にＰＵ１２（１）は、通信機１６（１）を操作することによって、点群データをサーバ４０に送信する（Ｓ８２）。なお、ＰＵ１２（１）は、Ｓ８２の処理を完了する場合、図８（ａ）に示す一連の処理を一旦終了する。
【0061】
これに対し、サーバ４０のＰＵ４２は、図８（ｂ）に示すように、点群データを受信する（Ｓ９０）。そして、ＰＵ４２は、図６（ａ）に示したＳ３０，Ｓ３４～Ｓ４８の処理を実行する。なお、Ｓ９０の処理によって受信された点群データは、Ｎ個の３次元センサ２０に対応してＮ組存在する。それらは、変数ｉによって識別できる。Ｓ３４の処理は、ＰＵ４２により、変数ｉによって特定された点群データについて座標変換データ１４ｂ（１）を用いて実行される。なお、ＰＵ４２は、Ｓ４８の処理を完了する場合、図８（ｂ）に示す処理を一旦終了する。
【0062】
一方、ユーザ端末１０（２）のＰＵ１２（２）は、図８（ｃ）に示すように、図６（ｂ）に示したＳ５０，Ｓ５２の処理を実行する。
図８の処理を所定周期で繰り返すことによって、ユーザ端末１０（１）からユーザ端末１０（２）に動画を表示するためのデータが送信される。その際の通信負荷を軽減すべく、Ｓ８２の処理において送信される点群データには、所定の圧縮処理がなされてもよい。またＳ４８の処理において送信される画像データには、所定の圧縮処理がなされてもよい。
図８の処理を所定周期で繰り返すことによって、ユーザ端末１０（１）からユーザ端末１０（２）に動画を表示するためのデータが送信される。その際の通信負荷を軽減すべく、Ｓ８２の処理において送信される点群データには、所定の圧縮処理がなされてもよい。またＳ４８の処理において送信される画像データには、所定の圧縮処理がなされてもよい。
【0063】
＜第３の実施形態＞
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0064】
本実施形態では、複数の３次元センサ２０の出力する点群データから３次元画像を生成する処理を点群データを受信したユーザ端末１０が実行する。
図９に、拠点間のコミュニケーションに先立って行われる処理を示す。詳しくは、図９（ａ）に示す処理は、画像処理プログラム１４ａ（１）をＰＵ１２（１）がたとえば所定の条件が成立する場合に実行することにより実現される。また、図９（ｂ）に示す処理は、画像処理プログラム１４ａ（２）をＰＵ１２（２）が所定の条件が成立する場合に実行することにより実現される。
図９に、拠点間のコミュニケーションに先立って行われる処理を示す。詳しくは、図９（ａ）に示す処理は、画像処理プログラム１４ａ（１）をＰＵ１２（１）がたとえば所定の条件が成立する場合に実行することにより実現される。また、図９（ｂ）に示す処理は、画像処理プログラム１４ａ（２）をＰＵ１２（２）が所定の条件が成立する場合に実行することにより実現される。
【0065】
図９（ａ）に示すように、ユーザ端末１０（１）のＰＵ１２（１）は、図７（ａ）に示したＳ６０の処理を実行する。これに対し、サーバ４０は、送信されたデータを受信すると、ユーザ端末１０（２）に送信する。ユーザ端末１０（２）のＰＵ１２（２）は、図９（ｂ）に示すように、図７（ｂ）に示したＳ７０，Ｓ７２の処理と同様のＳ１００，Ｓ１０２の処理を実行する。なお、図９には、座標変換データ１４ｂの送信元をユーザ端末１０（１）とする例を記載したが、座標変換データ１４ｂの送信元をユーザ端末１０（２）とする処理も実行される。ちなみに、Ｓ１０２の処理がなされると、記憶装置１４（２）には、座標変換データ１４ｂ（２）に加えて、座標変換データ１４ｂ（１）が記憶された状態となる。なお、ＰＵ１２（２）は、Ｓ６０の処理を実行した後、記憶装置１４（２）から座標変換データ１４ｂ（２）を消去してもよい。
【0066】
図１０に、拠点間のコミュニケーションを可能とするための処理の手順を示す。図１０（ａ）は、画像処理プログラム１４ａ（１）をＰＵ１２（１）がたとえば所定周期でくり返し実行することにより実現される。また、図１０（ｂ）は、画像処理プログラム１４ａ（２）をＰＵ１２（２）がたとえば所定周期でくり返し実行することにより実現される。
【0067】
図１０（ａ）に示すように、ユーザ端末１０（１）のＰＵ１２（１）は、図８（ａ）に示したＳ８０，Ｓ８２の処理を実行する。これに対し、サーバ４０は、送信されたデータを受信すると、ユーザ端末１０（２）に送信する。ユーザ端末１０（２）のＰＵ１２（２）は、図１０（ｂ）に示すように、図８（ｂ）に示したＳ９０，Ｓ３０，Ｓ３４～Ｓ４６の処理と、図６（ｂ）に示したＳ５２の処理とを実行する。
【0068】
図１０の処理を所定周期で繰り返すことによって、ユーザ端末１０（１）からユーザ端末１０（２）に動画を表示するためのデータが送信される。その際の通信負荷を軽減すべく、Ｓ８２の処理において送信される点群データには、所定の圧縮処理がなされてもよい。この圧縮処理は、ｔｅｍｐｏｒａｌ ＲＶＬ方式（Ａ Ｄｅｐｔｈ Ｓｔｒｅａｍ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｅｔｈｏｄ．（Ｈ．Ｊｕｎ ａｎｄ Ｊ．Ｂａｉｌｅｎｓｏｎ （２０２０）））による処理であってもよい。
【0069】
なお、図１０においては、ユーザ端末１０（１）から送信される点群データをユーザ端末１０（２）において再生する処理を例示した。しかし、拠点間のコミュニケーションにおいては、実際には、ユーザ端末１０（２）から送信される点群データをユーザ端末１０（１）において再生する処理も実行される。
【0070】
以上説明した本実施形態では、ユーザ端末１０（２）のＰＵ１２（２）が、Ｓ４０～Ｓ５２の処理を実行した。そのため、表示装置２２が、Ｓ４０～Ｓ４６の処理を実行する場合と比較して、表示装置２２の演算負荷を軽減できる。
【0071】
＜第４の実施形態＞
以下、第４の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第４の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0072】
上記第１の実施形態では、３個のマーカ６０ａ，６０ｂ，６０ｃを利用して、複数の３次元センサ２０のそれぞれによって生成された点群データ同士を整合させるための座標変換データを生成した。その場合、Ｎ個の３次元センサ２０の全てから３個のマーカ６０ａ，６０ｂ，６０ｃを撮影可能とすべく、図４に示したように、Ｎ個の３次元センサ２０を水平方向よりも下方に向けることとなった。そのため、Ｎ個の３次元センサ２０が、実際に人を撮影する際に、人の頭部まで含めた全領域を視野に含めることが難しくなる懸念がある。
【0073】
そこで、本実施形態では、３個のマーカ６０ａ，６０ｂ，６０ｃに代えて、人を用いて座標変換データを生成する。
図１１に、本実施形態にかかる複数の３次元センサ２０のそれぞれのデータを整合させるための処理の手順を示す。図１１に示す処理は、各拠点のそれぞれで実行される。なお、図１１におけるＳ１０，Ｓ１２ａ，Ｓ１４ａの処理は、人が行う処理である。また、Ｓ１６ａ，Ｓ１１０～Ｓ１１８，Ｓ１８ａ，Ｓ２０の処理は、ＰＵ１２が、画像処理プログラム１４ａを実行することによって実現される。なお、図１１に示す処理において、図３に示した処理に対応する処理については、便宜上、同一のステップ番号を付与している。
図１１に、本実施形態にかかる複数の３次元センサ２０のそれぞれのデータを整合させるための処理の手順を示す。図１１に示す処理は、各拠点のそれぞれで実行される。なお、図１１におけるＳ１０，Ｓ１２ａ，Ｓ１４ａの処理は、人が行う処理である。また、Ｓ１６ａ，Ｓ１１０～Ｓ１１８，Ｓ１８ａ，Ｓ２０の処理は、ＰＵ１２が、画像処理プログラム１４ａを実行することによって実現される。なお、図１１に示す処理において、図３に示した処理に対応する処理については、便宜上、同一のステップ番号を付与している。
【0074】
図１１に示す一連の処理においては、３次元センサ２０が設置される（Ｓ１０）とともに、座標変換データの生成処理のために撮影対象とする人が配置される（Ｓ１２ａ）。撮影対象とする人は、実際の撮影領域において、拠点間のコミュニケーションが実行されるときにユーザが実際に取り得る姿勢をとることが望ましい。特に、拠点間のコミュニケーションが実行されるときにユーザが実際に取り得る姿勢に立ち姿勢が含まれる場合、撮影対象とする人は、立ち姿勢をとることが望ましい。
【0075】
次に、人がユーザインターフェース２４を操作することによって、複数の３次元センサ２０のそれぞれによる点群データの生成を指示する（Ｓ１４ａ）。
これに対し、ＰＵ１２は、複数の３次元センサ２０のそれぞれによる人を示す点群データを取得する（Ｓ１６ａ）。すなわち、ＰＵ１２は、複数の３次元センサ２０のそれぞれを操作することによって、複数の３次元センサ２０のそれぞれによって点群データを生成する。そして、ＰＵ１２は、複数の３次元センサ２０のそれぞれによって生成された点群データを一時的に記憶装置１４に記憶する。
これに対し、ＰＵ１２は、複数の３次元センサ２０のそれぞれによる人を示す点群データを取得する（Ｓ１６ａ）。すなわち、ＰＵ１２は、複数の３次元センサ２０のそれぞれを操作することによって、複数の３次元センサ２０のそれぞれによって点群データを生成する。そして、ＰＵ１２は、複数の３次元センサ２０のそれぞれによって生成された点群データを一時的に記憶装置１４に記憶する。
【0076】
次にＰＵ１２は、記憶した点群データを用いてボディートラッキング処理を実行する（Ｓ１１０）。すなわち、ＰＵ１２は、撮影された人の関節を示す点とそれら点同士の接続とを示すデータを生成する。
【0077】
【0078】
図１１に戻り、ＰＵ１２は、複数の３次元センサ２０のそれぞれの点群データが示す中心点Ｐ１同士の差を低減するように、複数の３次元センサ２０のそれぞれによる点群データが示す画像を平行移動させる（Ｓ１１２）。この際、ＰＵ１２は、複数の３次元センサ２０のそれぞれについての平行移動量を記憶装置１４に記憶しておく。
【0079】
次に、ＰＵ１２は、複数の３次元センサ２０のそれぞれの点群データが示す中心点Ｐ１～Ｐ３に関する、中心点Ｐ１から中心点Ｐ２へと進むベクトルＶＲと、中心点Ｐ２から中心点Ｐ３へと進むベクトルＶＬとを算出する（Ｓ１１４）。そして、ＰＵ１２は、複数の３次元センサ２０のそれぞれの点群データが示すベクトルＶＲ，ＶＬの角度を近づけるための座標系の回転量を算出する（Ｓ１１６）。詳しくは、ＰＵ１２は、まず、複数の３次元センサ２０のそれぞれに応じたベクトルＶＲ同士の角度を近づけるための座標系の回転量を算出する。次に、ＰＵ１２は、複数の３次元センサ２０のそれぞれに応じたベクトルＶＬ同士の角度を近づけるための座標系の回転量を算出する。回転量は、３つのオイラー角によって表現される。ＰＵ１２は、複数の３次元センサ２０のそれぞれに関する、算出された正味の回転量を記憶装置１４に記憶する。
【0080】
次にＰＵ１２は、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）を利用して、人７０の正中線上の関節の位置合わせを行う（Ｓ１１８）。ＰＵ１２は、一例として、複数の３次元センサ２０のそれぞれの点群データが示す中心点Ｐ１および中心点Ｐ４同士を一致させるための平行移動量および回転量を算出する。ＰＵ１２は、複数の３次元センサ２０のそれぞれに関する、算出した平行移動量および回転量を記憶装置１４に記憶する。
【0081】
ＰＵ１２は、Ｓ１１２，Ｓ１１６，Ｓ１１８の処理によって記憶装置１４に記憶したデータを入力として、座標変換データ１４ｂを生成する（Ｓ１８ａ）。すなわち、ＰＵ１２は、Ｓ１１２の処理によって算出された平行移動量と、Ｓ１１８の処理によって算出された平行移動量との和を、座標変換データ１４ｂが示す平行移動量とする。また、ＰＵ１２は、Ｓ１１４の処理によって算出された回転量と、Ｓ１１８の処理によって算出された回転量との和を、座標変換データ１４ｂが示す回転量とする。なお、座標変換データ１４ｂが示す平行移動量および回転量は、実際には、さらに予め定められた基準座標系に変換する処理のための量を含んでもよい。すなわち、上記平行移動量と上記回転量とのそれぞれを、基準座標系に変換するための平行移動量および回転量にて補正した値を示すデータを、最終的な座標変換データ１４ｂとしてもよい。
【0082】
そして、ＰＵ１２は、座標変換データ１４ｂを記憶装置１４に記憶させる（Ｓ２０）。なお、ＰＵ１２は、Ｓ２０の処理を完了する場合、図１１に示した一連の処理を一旦終了する。
【0083】
このように、本実施形態では、人を用いて座標変換データ１４ｂを生成する。そのため、座標変換データ１４ｂの生成のために３次元センサ２０を下方に向ける必要が生じない。特に、座標変換データ１４ｂを生成するための撮影対象が人であることから、拠点間のコミュニケーションが実際になされるときに適切な方向に３次元センサ２０を向けることが容易となる。
【0084】
＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］実行装置は、ＰＵ１２（１），１２（２），４２に対応する。記憶装置は、記憶装置１４（１）に対応する。取得処理は、Ｓ３２，Ｓ８０の処理に対応する。座標変換処理は、Ｓ３４の処理に対応する。生成処理は、Ｓ４０～Ｓ４６の処理に対応する。表示処理は、Ｓ５２の処理に対応する。［２］抽出処理は、Ｓ４２の処理に対応する。画像データ生成処理は、Ｓ４４，Ｓ４６の処理に対応する。［３］第１実行装置は、ＰＵ１２（１）に対応する。第２実行装置は、ＰＵ１２（２）に対応する。送信処理は、図６（ａ）のＳ４８の処理に対応する。受信処理は、図６（ｂ）のＳ５０の処理に対応する。［４］第１実行装置は、ＰＵ１２（１）に対応する。第２実行装置は、ＰＵ１２（２）に対応する。第３実行装置は、ＰＵ４２に対応する。第１送信処理は、図７（ａ）のＳ６０の処理および図８（ａ）のＳ８２の処理に対応する。第３受信処理は、図７（ｂ）のＳ７０の処理および図８（ｂ）のＳ９０の処理に対応する。第３送信処理は、図８（ｂ）のＳ４８の処理に対応する。第２受信処理は、図８（ｃ）のＳ５０の処理に対応する。［５］送信処理は、図９（ａ）のＳ６０の処理および図１０（ａ）のＳ８２の処理に対応する。受信処理は、図９（ｂ）のＳ１００の処理および図１０（ｂ）のＳ９０の処理に対応する。［６］送信用端末は、図６～図１０に示す処理におけるユーザ端末１０（１）に対応する。［７］画像生成装置は、図７，８の処理を実行するサーバに対応する。［８］受信用端末は、図６～図１０に示す処理におけるユーザ端末１０（２）に対応する。［９］人状物体データ取得工程は、Ｓ１６ａの処理に対応する。座標変換データ生成工程は、Ｓ１１０～Ｓ１１８，Ｓ１８ａの処理に対応する。実行工程は、図６、図８、および図１０の処理に対応する。実行装置は、ＰＵ１２（１）、１２（２）、４２に対応する。取得処理は、Ｓ３２，Ｓ８０の処理に対応する。座標変換処理は、Ｓ３４の処理に対応する。生成処理は、Ｓ４０～Ｓ４６の処理に対応する。［１０］ボディートラッキング処理は、Ｓ１１０の処理に対応する。位置合わせ処理は、Ｓ１１２～Ｓ１１８の処理に対応する。［１１］第１位置合わせ処理は、Ｓ１１２～Ｓ１１６の処理に対応する。第２位置合わせ処理は、Ｓ１１８の処理に対応する。［１２］マーカ位置取得工程は、Ｓ１６の処理に対応する。座標変換データ生成工程は、Ｓ１８の処理に対応する。実行工程は、図６、図８、および図１０の処理に対応する。実行装置は、ＰＵ１２（１）、１２（２）、４２に対応する。取得処理は、Ｓ３２，Ｓ８０の処理に対応する。座標変換処理は、Ｓ３４の処理に対応する。生成処理は、Ｓ４０～Ｓ４６の処理に対応する。［１３］図３に対応する。
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］実行装置は、ＰＵ１２（１），１２（２），４２に対応する。記憶装置は、記憶装置１４（１）に対応する。取得処理は、Ｓ３２，Ｓ８０の処理に対応する。座標変換処理は、Ｓ３４の処理に対応する。生成処理は、Ｓ４０～Ｓ４６の処理に対応する。表示処理は、Ｓ５２の処理に対応する。［２］抽出処理は、Ｓ４２の処理に対応する。画像データ生成処理は、Ｓ４４，Ｓ４６の処理に対応する。［３］第１実行装置は、ＰＵ１２（１）に対応する。第２実行装置は、ＰＵ１２（２）に対応する。送信処理は、図６（ａ）のＳ４８の処理に対応する。受信処理は、図６（ｂ）のＳ５０の処理に対応する。［４］第１実行装置は、ＰＵ１２（１）に対応する。第２実行装置は、ＰＵ１２（２）に対応する。第３実行装置は、ＰＵ４２に対応する。第１送信処理は、図７（ａ）のＳ６０の処理および図８（ａ）のＳ８２の処理に対応する。第３受信処理は、図７（ｂ）のＳ７０の処理および図８（ｂ）のＳ９０の処理に対応する。第３送信処理は、図８（ｂ）のＳ４８の処理に対応する。第２受信処理は、図８（ｃ）のＳ５０の処理に対応する。［５］送信処理は、図９（ａ）のＳ６０の処理および図１０（ａ）のＳ８２の処理に対応する。受信処理は、図９（ｂ）のＳ１００の処理および図１０（ｂ）のＳ９０の処理に対応する。［６］送信用端末は、図６～図１０に示す処理におけるユーザ端末１０（１）に対応する。［７］画像生成装置は、図７，８の処理を実行するサーバに対応する。［８］受信用端末は、図６～図１０に示す処理におけるユーザ端末１０（２）に対応する。［９］人状物体データ取得工程は、Ｓ１６ａの処理に対応する。座標変換データ生成工程は、Ｓ１１０～Ｓ１１８，Ｓ１８ａの処理に対応する。実行工程は、図６、図８、および図１０の処理に対応する。実行装置は、ＰＵ１２（１）、１２（２）、４２に対応する。取得処理は、Ｓ３２，Ｓ８０の処理に対応する。座標変換処理は、Ｓ３４の処理に対応する。生成処理は、Ｓ４０～Ｓ４６の処理に対応する。［１０］ボディートラッキング処理は、Ｓ１１０の処理に対応する。位置合わせ処理は、Ｓ１１２～Ｓ１１８の処理に対応する。［１１］第１位置合わせ処理は、Ｓ１１２～Ｓ１１６の処理に対応する。第２位置合わせ処理は、Ｓ１１８の処理に対応する。［１２］マーカ位置取得工程は、Ｓ１６の処理に対応する。座標変換データ生成工程は、Ｓ１８の処理に対応する。実行工程は、図６、図８、および図１０の処理に対応する。実行装置は、ＰＵ１２（１）、１２（２）、４２に対応する。取得処理は、Ｓ３２，Ｓ８０の処理に対応する。座標変換処理は、Ｓ３４の処理に対応する。生成処理は、Ｓ４０～Ｓ４６の処理に対応する。［１３］図３に対応する。
【0085】
＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0086】
「マーカについて」
・マーカが、２次元コードが表示されたシート状の部材であることは必須ではない。たとえば、２次元コードが表示されるタブレット端末等であってもよい。
・マーカが、２次元コードが表示されたシート状の部材であることは必須ではない。たとえば、２次元コードが表示されるタブレット端末等であってもよい。
【0087】
・マーカに表示される２次元の画像としては、２次元コードに限らない。たとえば、異なるマーカごとに互いに異なる動物を示す画像であってもよい。
・マーカが平面画像を表示する部材であることは必須ではない。たとえば円錐状の部材であってもよい。その場合であっても、たとえば図３に例示した配置で３個のマーカを配置することにより、軸６２ｘ，６２ｙを定義できる。そして、軸６２ｘ，６２ｙに直交する方向として軸６２ｚを定義できる。
・マーカが平面画像を表示する部材であることは必須ではない。たとえば円錐状の部材であってもよい。その場合であっても、たとえば図３に例示した配置で３個のマーカを配置することにより、軸６２ｘ，６２ｙを定義できる。そして、軸６２ｘ，６２ｙに直交する方向として軸６２ｚを定義できる。
【0088】
「マーカ位置取得工程について」
・上記実施形態では、座標変換データを生成するために用いる点群データを生成するために、３個のマーカ６０ａ，６０ｂ，６０ｃを水平な台５０の上にＬ字状に配置したが、これに限らない。たとえば、３個のマーカ６０ａ，６０ｂ，６０ｃを直方体の隣接する３個の面に割り振って貼り付けてもよい。
・上記実施形態では、座標変換データを生成するために用いる点群データを生成するために、３個のマーカ６０ａ，６０ｂ，６０ｃを水平な台５０の上にＬ字状に配置したが、これに限らない。たとえば、３個のマーカ６０ａ，６０ｂ，６０ｃを直方体の隣接する３個の面に割り振って貼り付けてもよい。
【0089】
・上記実施形態では、座標変換データを生成するために用いる点群データを、３個のマーカ６０ａ，６０ｂ，６０ｃを示すデータとしたが、これに限らない。たとえば２個のマーカ６０ａ，６０ｂを示すデータとしてもよい。その場合であっても、たとえばマーカ６０ａ，６０ｂを水平な台５０のうえに直線状に配置する場合、それらを並べる方向によって、図５に示す軸６２ｘを定義できる。また、マーカ６０ａ，６０ｂが配置されている面において軸６２ｘに直交する方向によって、軸６２ｙを定義できる。そして、軸６２ｘ，６２ｚに直交する軸として、軸６２ｙを定義できる。
【0090】
「座標変換データ生成工程について」
・上記第１～第３の実施形態では、Ｎ個の３次元センサ２０のそれぞれの点群データを、基準座標系のデータに変換するためのＮ組の座標変換データ１４ｂを生成したが、これに限らない。たとえば、Ｎ個の３次元センサ２０のそれぞれの点群データを規定する座標系のうちの１つを基準座標系としてもよい。その場合、ＰＵ１２は、「Ｎ－１」個の３次元センサ２０のそれぞれの点群データを、基準座標系のデータに変換するための「Ｎ－１」組の座標変換データ１４ｂを生成すればよい。
・上記第１～第３の実施形態では、Ｎ個の３次元センサ２０のそれぞれの点群データを、基準座標系のデータに変換するためのＮ組の座標変換データ１４ｂを生成したが、これに限らない。たとえば、Ｎ個の３次元センサ２０のそれぞれの点群データを規定する座標系のうちの１つを基準座標系としてもよい。その場合、ＰＵ１２は、「Ｎ－１」個の３次元センサ２０のそれぞれの点群データを、基準座標系のデータに変換するための「Ｎ－１」組の座標変換データ１４ｂを生成すればよい。
【0091】
・上記第４の実施形態において、Ｎ個の３次元センサ２０のうちの所定の１つの３次元センサ２０の点群データによって基準座標系を定義してもよい。すなわち、たとえばＳ１１２の処理においては、ＰＵ１２は、所定の１つの３次元センサ２０の点群データが示す中心点Ｐ１に、残りの３次元センサ２０の点群データが示す中心点Ｐ１を近づける処理を実行してもよい。その場合、Ｓ１１２の処理は、残りの「Ｎ－１」個の３次元センサ２０の点群データに関する平行移動量を求める処理となる。そして、Ｓ１８ａは、残りの「Ｎ－１」個の３次元センサ２０の点群データに関する平行移動量と回転量とを定めたデータを生成する処理となる。
【0092】
「人状物体データ取得工程」
・Ｓ１６ａの処理では、実際の人の点群データを取得したが、人状物体データ取得工程が、実際の人の点群データを取得する工程であることは必須ではない。人状物体データ取得工程は、たとえば、マネキン人形の点群データを取得する工程であってもよい。
・Ｓ１６ａの処理では、実際の人の点群データを取得したが、人状物体データ取得工程が、実際の人の点群データを取得する工程であることは必須ではない。人状物体データ取得工程は、たとえば、マネキン人形の点群データを取得する工程であってもよい。
【0093】
「ボディートラッキング処理について」
・ボディートラッキング処理としては、図１２に例示した箇所を特定するデータを生成する処理に限らない。
・ボディートラッキング処理としては、図１２に例示した箇所を特定するデータを生成する処理に限らない。
【0094】
「第１位置合わせ処理について」
・平行移動量を求める処理としては、Ｓ１１２の処理に限らない。たとえば、Ｓ１１２の処理に代えて、中心点Ｐ２同士の差を軽減するための平行移動量を求める処理であってもよい。
・平行移動量を求める処理としては、Ｓ１１２の処理に限らない。たとえば、Ｓ１１２の処理に代えて、中心点Ｐ２同士の差を軽減するための平行移動量を求める処理であってもよい。
【0095】
・回転移動量を求める処理としては、Ｓ１１４，Ｓ１１６の処理に限らない。たとえば中心点Ｐ１から中心点Ｐ４に進むベクトルの方向同士の差を軽減するための回転量を求める処理であってもよい。
【0096】
「第２位置合わせ処理について」
・ＩＣＰのアルゴリズムによる位置合わせの対象となる点としては、中心点Ｐ１，Ｐ４に限らない。
・ＩＣＰのアルゴリズムによる位置合わせの対象となる点としては、中心点Ｐ１，Ｐ４に限らない。
【0097】
「座標変換処理について」
・上記実施形態では、Ｎ個の３次元センサ２０のそれぞれの点群データを、基準座標系のデータに変換したが、これに限らない。たとえば、「座標変換データ生成工程について」に記載したように、「Ｎ－１」組の座標変換データ１４ｂを生成する変更例の場合、「Ｎ－１」個の３次元センサ２０のそれぞれの点群データを、基準座標系のデータに変換すればよい。
・上記実施形態では、Ｎ個の３次元センサ２０のそれぞれの点群データを、基準座標系のデータに変換したが、これに限らない。たとえば、「座標変換データ生成工程について」に記載したように、「Ｎ－１」組の座標変換データ１４ｂを生成する変更例の場合、「Ｎ－１」個の３次元センサ２０のそれぞれの点群データを、基準座標系のデータに変換すればよい。
【0098】
「生成処理について」
・生成処理が、点群データに基づき作成したメッシュにテクスチャデータを貼り付ける処理を含むことは必須ではない。たとえば、点群データを稠密とすることにより、テクスチャデータを利用することなく、点群データ自体を表示対象としてもよい。
・生成処理が、点群データに基づき作成したメッシュにテクスチャデータを貼り付ける処理を含むことは必須ではない。たとえば、点群データを稠密とすることにより、テクスチャデータを利用することなく、点群データ自体を表示対象としてもよい。
【0099】
【0100】
「３次元センサについて」
・深度センサ２０ａが照射する電磁波が近赤外線であることは必須ではない。
・３次元センサが、深度センサ２０ａおよびＲＧＢカメラ２０ｂが一体的に形成されたセンサであることは必須ではない。たとえば、深度センサ２０ａおよびＲＧＢカメラ２０ｂが個別のセンサである場合、使用する際にそれらを近接して配置すればよい。ただし、その場合、ＲＧＢカメラ２０ｂの視野角と、深度センサ２０ａの照射角とを整合させる。
・深度センサ２０ａが照射する電磁波が近赤外線であることは必須ではない。
・３次元センサが、深度センサ２０ａおよびＲＧＢカメラ２０ｂが一体的に形成されたセンサであることは必須ではない。たとえば、深度センサ２０ａおよびＲＧＢカメラ２０ｂが個別のセンサである場合、使用する際にそれらを近接して配置すればよい。ただし、その場合、ＲＧＢカメラ２０ｂの視野角と、深度センサ２０ａの照射角とを整合させる。
【0101】
・３次元センサとしては、深度センサ２０ａと、ＲＧＢカメラ２０ｂとを備えるセンサに限らない。たとえば画像データを生成するセンサを、モノクロのカメラとしてもよい。またたとえば、ＲＧＢカメラ２０ｂと、ＲＧＢカメラ２０ｂの２次元画像から深度を推定する学習済みモデルとを搭載したセンサであってもよい。学習済みモデルによれば、深度画像データを生成できる。ここで、ＲＧＢカメラ２０ｂは、可視光領域の電磁波の物体による反射波を感知する装置である。
【0102】
・上記実施形態では、各拠点で、３次元センサの数を同一としたが、これに限らない。
「拠点の数について」
・上記実施形態では、拠点の数を２個としたが、これに限らない。たとえば、３個以上としてもよい。
「拠点の数について」
・上記実施形態では、拠点の数を２個としたが、これに限らない。たとえば、３個以上としてもよい。
【0103】
「実行装置について」
・実行装置としては、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
・実行装置としては、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
【0104】
「３次元画像生成システムについて」
・３次元画像生成システムが、ユーザ端末１０とサーバ４０とを備えることは必須ではない。たとえば、複数のユーザ端末１０のみによって３次元画像生成システムを構成してもよい。これは、たとえば図４，６および図９，１０の処理における、ユーザ端末１０間の通信にサーバ４０を介在させないことで実現できる。
・３次元画像生成システムが、ユーザ端末１０とサーバ４０とを備えることは必須ではない。たとえば、複数のユーザ端末１０のみによって３次元画像生成システムを構成してもよい。これは、たとえば図４，６および図９，１０の処理における、ユーザ端末１０間の通信にサーバ４０を介在させないことで実現できる。
【符号の説明】
【0105】
１０…ユーザ端末
２０…３次元センサ
２０ａ…深度センサ
２０ｂ…ＲＧＢカメラ
６０ａ，６０ｂ，６０ｃ…マーカ
６２ｘ，６２ｙ，６２ｚ…軸
２０…３次元センサ
２０ａ…深度センサ
２０ｂ…ＲＧＢカメラ
６０ａ，６０ｂ，６０ｃ…マーカ
６２ｘ，６２ｙ，６２ｚ…軸
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】