知財求人 - 知財ポータルサイト「IP Force」
▶ 中部電力株式会社の特許一覧 ▶ 株式会社プロノハーツの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061414
(43)【公開日】2024-05-07
(54)【発明の名称】画像制御システム、および画像制御装置
(51)【国際特許分類】
H04N 7/14 20060101AFI20240425BHJP
G06T 19/00 20110101ALI20240425BHJP
H04N 7/18 20060101ALI20240425BHJP
【ＦＩ】
H04N7/14 110
G06T19/00 A
H04N7/14
H04N7/18 U
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022169351
(22)【出願日】2022-10-21
(71)【出願人】
【識別番号】000213297
【氏名又は名称】中部電力株式会社
(71)【出願人】
【識別番号】313001631
【氏名又は名称】株式会社プロノハーツ
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】岡本 雄司
(72)【発明者】
【氏名】山口 直記
(72)【発明者】
【氏名】宮坂 千穂
(72)【発明者】
【氏名】丸山 翼
【テーマコード（参考）】
5B050
5C054
5C164
【Ｆターム（参考）】
5B050AA08
5B050BA09
5B050BA13
5B050CA08
5B050DA04
5B050EA15
5B050EA26
5B050FA02
5C054CA04
5C054CC02
5C054FD02
5C054FD03
5C054HA25
5C164FA09
5C164GA07
5C164PA31
5C164VA04P
5C164VA07P
5C164VA21P
(57)【要約】
【課題】互いに離間した現実空間内の３次元画像を融合させるに際して、それらを整合させることができるようにした画像制御システムを提供する。
【解決手段】ＰＵ１２（Ａ）は、３次元センサ２０（Ａ）の出力に基づく点群データを所定のオブジェクトに対する相対座標に変換するデータを生成して、画像制御装置１０（Ｂ）に送信する。拠点間の会議において、ＰＵ１２（Ａ）は、３次元センサ２０（Ａ）の出力に基づく点群データをリアルタイムで画像制御装置１０（Ｂ）に送信する。ＰＵ１２（Ｂ）は、上記相対座標に変換するデータを用いて、３次元センサ２０（Ｂ）の出力に基づく点群データに、画像制御装置１０（Ａ）から送信された点群データを合成する。ＰＵ１２（Ｂ）は、表示装置２２（Ｂ）を操作することによって、合成された点群データが示す画像を表示する。
【選択図】図１
【解決手段】ＰＵ１２（Ａ）は、３次元センサ２０（Ａ）の出力に基づく点群データを所定のオブジェクトに対する相対座標に変換するデータを生成して、画像制御装置１０（Ｂ）に送信する。拠点間の会議において、ＰＵ１２（Ａ）は、３次元センサ２０（Ａ）の出力に基づく点群データをリアルタイムで画像制御装置１０（Ｂ）に送信する。ＰＵ１２（Ｂ）は、上記相対座標に変換するデータを用いて、３次元センサ２０（Ｂ）の出力に基づく点群データに、画像制御装置１０（Ａ）から送信された点群データを合成する。ＰＵ１２（Ｂ）は、表示装置２２（Ｂ）を操作することによって、合成された点群データが示す画像を表示する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１取得処理、第２取得処理、および整合処理を実行するように構成され、
前記第１取得処理は、第１現実空間内の３次元画像を示す第１点群データを取得する処理であり、
前記第２取得処理は、第２現実空間内の３次元画像を示す第２点群データを取得する処理であり、
前記第１現実空間と前記第２現実空間とは、互いに異なる空間であり、
前記整合処理は、対応付けデータを用いて前記第１点群データが示す仮想空間を前記第２点群データが示す仮想空間に整合させる処理であり、
前記第１点群データが示す仮想空間は、前記第１点群データが示す３次元画像領域であり、
前記第２点群データが示す仮想空間は、前記第２点群データが示す３次元画像領域であり、
前記対応付けデータは、前記第１点群データが示す仮想空間と、前記第２点群データが示す仮想空間と、を対応付けるデータである画像制御システム。
前記第１取得処理は、第１現実空間内の３次元画像を示す第１点群データを取得する処理であり、
前記第２取得処理は、第２現実空間内の３次元画像を示す第２点群データを取得する処理であり、
前記第１現実空間と前記第２現実空間とは、互いに異なる空間であり、
前記整合処理は、対応付けデータを用いて前記第１点群データが示す仮想空間を前記第２点群データが示す仮想空間に整合させる処理であり、
前記第１点群データが示す仮想空間は、前記第１点群データが示す３次元画像領域であり、
前記第２点群データが示す仮想空間は、前記第２点群データが示す３次元画像領域であり、
前記対応付けデータは、前記第１点群データが示す仮想空間と、前記第２点群データが示す仮想空間と、を対応付けるデータである画像制御システム。
【請求項2】
前記対応付けデータは、第１座標規定データおよび第２座標規定データを含み、
前記第１座標規定データは、前記第１点群データが示す前記３次元画像における座標系を定義するデータであり、
前記第２座標規定データは、前記第２点群データが示す前記３次元画像における座標系を定義するデータである請求項１記載の画像制御システム。
前記第１座標規定データは、前記第１点群データが示す前記３次元画像における座標系を定義するデータであり、
前記第２座標規定データは、前記第２点群データが示す前記３次元画像における座標系を定義するデータである請求項１記載の画像制御システム。
【請求項3】
前記第１座標規定データは、前記第１点群データが示す仮想空間内の各位置の基準点に対する相対座標を定めるためのデータであり、
前記第２座標規定データは、前記第２点群データが示す仮想空間内の各位置の基準点に対する相対座標を定めるためのデータであり、
第１生成処理、および第２生成処理を実行するように構成され、
前記第１生成処理は、前記第１点群データを入力として、前記第１座標規定データを生成する処理であり、
前記第２生成処理は、前記第２点群データを入力として、前記第２座標規定データを生成する処理であり、
前記第１生成処理の入力となる前記第１点群データは、前記第１現実空間に所定のオブジェクトを含むようにして撮影された３次元画像を示し、
前記第２生成処理の入力となる前記第２点群データは、前記第２現実空間に所定のオブジェクトを含むようにして撮影された３次元画像を示し、
前記基準点は、前記３次元画像中の前記所定のオブジェクトの位置である請求項２記載の画像制御システム。
前記第２座標規定データは、前記第２点群データが示す仮想空間内の各位置の基準点に対する相対座標を定めるためのデータであり、
第１生成処理、および第２生成処理を実行するように構成され、
前記第１生成処理は、前記第１点群データを入力として、前記第１座標規定データを生成する処理であり、
前記第２生成処理は、前記第２点群データを入力として、前記第２座標規定データを生成する処理であり、
前記第１生成処理の入力となる前記第１点群データは、前記第１現実空間に所定のオブジェクトを含むようにして撮影された３次元画像を示し、
前記第２生成処理の入力となる前記第２点群データは、前記第２現実空間に所定のオブジェクトを含むようにして撮影された３次元画像を示し、
前記基準点は、前記３次元画像中の前記所定のオブジェクトの位置である請求項２記載の画像制御システム。
【請求項4】
前記整合処理は、第１整合処理、および第２整合処理を含み、
第１実行装置、および第２実行装置を備え、
前記第１実行装置は、前記第１取得処理、前記第１生成処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、
前記第２実行装置は、前記第２取得処理、前記第２生成処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、
前記第１送信処理は、前記第１点群データおよび前記第１座標規定データを送信する処理であり、
前記第１受信処理は、前記第２点群データおよび前記第２座標規定データを受信する処理であり、
前記第２送信処理は、前記第２点群データおよび前記第２座標規定データを送信する処理であり、
前記第２受信処理は、前記第１点群データおよび前記第１座標規定データを受信する処理であり、
前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第１受信処理によって受信した前記第２座標規定データを用いて、前記第１点群データが示す仮想空間に整合させる処理であり、
前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第２受信処理によって受信した前記第１座標規定データを用いて、前記第２点群データが示す仮想空間に整合させる処理である請求項３記載の画像制御システム。
第１実行装置、および第２実行装置を備え、
前記第１実行装置は、前記第１取得処理、前記第１生成処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、
前記第２実行装置は、前記第２取得処理、前記第２生成処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、
前記第１送信処理は、前記第１点群データおよび前記第１座標規定データを送信する処理であり、
前記第１受信処理は、前記第２点群データおよび前記第２座標規定データを受信する処理であり、
前記第２送信処理は、前記第２点群データおよび前記第２座標規定データを送信する処理であり、
前記第２受信処理は、前記第１点群データおよび前記第１座標規定データを受信する処理であり、
前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第１受信処理によって受信した前記第２座標規定データを用いて、前記第１点群データが示す仮想空間に整合させる処理であり、
前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第２受信処理によって受信した前記第１座標規定データを用いて、前記第２点群データが示す仮想空間に整合させる処理である請求項３記載の画像制御システム。
【請求項5】
前記整合処理は、第１整合処理、および第２整合処理を含み、
第１実行装置、および第２実行装置を備え、
前記第１実行装置は、前記第１取得処理、前記第２生成処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、
前記第２実行装置は、前記第２取得処理、前記第１生成処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、
前記第１送信処理は、前記第１点群データを送信する処理であり、
前記第１受信処理は、前記第２点群データを受信する処理であり、
前記第２送信処理は、前記第２点群データを送信する処理であり、
前記第２受信処理は、前記第１点群データを受信する処理であり、
前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第２生成処理によって生成された前記第２座標規定データを用いて前記第１点群データが示す仮想空間に整合させる処理であり、
前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第１生成処理によって生成された前記第１座標規定データを用いて前記第２点群データが示す仮想空間に整合させる処理である請求項３記載の画像制御システム。
第１実行装置、および第２実行装置を備え、
前記第１実行装置は、前記第１取得処理、前記第２生成処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、
前記第２実行装置は、前記第２取得処理、前記第１生成処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、
前記第１送信処理は、前記第１点群データを送信する処理であり、
前記第１受信処理は、前記第２点群データを受信する処理であり、
前記第２送信処理は、前記第２点群データを送信する処理であり、
前記第２受信処理は、前記第１点群データを受信する処理であり、
前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第２生成処理によって生成された前記第２座標規定データを用いて前記第１点群データが示す仮想空間に整合させる処理であり、
前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第１生成処理によって生成された前記第１座標規定データを用いて前記第２点群データが示す仮想空間に整合させる処理である請求項３記載の画像制御システム。
【請求項6】
前記整合処理は、第１整合処理、および第２整合処理を含み、
第１実行装置、および第２実行装置を備え、
前記第１実行装置は、前記第１取得処理、前記第１生成処理、第１座標変換処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、
前記第２実行装置は、前記第２取得処理、前記第２生成処理、第２座標変換処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、
前記第１座標変換処理は、前記第１点群データを前記第１座標規定データに応じて前記相対座標に変換する処理であり、
前記第１送信処理は、前記相対座標に変換された前記第１点群データを送信する処理であり、
前記第１受信処理は、前記第２送信処理によって送信された前記第２点群データを受信する処理であり、
前記第２座標変換処理は、前記第２点群データを前記第２座標規定データに応じて前記相対座標に変換する処理であり、
前記第２送信処理は、前記相対座標によって変換された前記第２点群データを送信する処理であり、
前記第２受信処理は、前記第１送信処理によって送信された前記第１点群データを受信する処理であり、
前記第１整合処理は、前記相対座標に変換された前記第２点群データが示す仮想空間を、前記相対座標に変換された前記第１点群データが示す仮想空間に整合させる処理であり、
前記第２整合処理は、前記相対座標に変換された前記第１点群データが示す仮想空間を、前記相対座標に変換された前記第２点群データが示す仮想空間に整合させる処理である請求項３記載の画像制御システム。
第１実行装置、および第２実行装置を備え、
前記第１実行装置は、前記第１取得処理、前記第１生成処理、第１座標変換処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、
前記第２実行装置は、前記第２取得処理、前記第２生成処理、第２座標変換処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、
前記第１座標変換処理は、前記第１点群データを前記第１座標規定データに応じて前記相対座標に変換する処理であり、
前記第１送信処理は、前記相対座標に変換された前記第１点群データを送信する処理であり、
前記第１受信処理は、前記第２送信処理によって送信された前記第２点群データを受信する処理であり、
前記第２座標変換処理は、前記第２点群データを前記第２座標規定データに応じて前記相対座標に変換する処理であり、
前記第２送信処理は、前記相対座標によって変換された前記第２点群データを送信する処理であり、
前記第２受信処理は、前記第１送信処理によって送信された前記第１点群データを受信する処理であり、
前記第１整合処理は、前記相対座標に変換された前記第２点群データが示す仮想空間を、前記相対座標に変換された前記第１点群データが示す仮想空間に整合させる処理であり、
前記第２整合処理は、前記相対座標に変換された前記第１点群データが示す仮想空間を、前記相対座標に変換された前記第２点群データが示す仮想空間に整合させる処理である請求項３記載の画像制御システム。
【請求項7】
前記第１点群データが示す仮想空間と前記第２点群データが示す仮想空間とが同一形状且つ同一寸法の領域であり、
前記対応付けデータは、前記第１点群データが示す仮想空間と、前記第２点群データが示す仮想空間とを一致させるためのデータである請求項１記載の画像制御システム。
前記対応付けデータは、前記第１点群データが示す仮想空間と、前記第２点群データが示す仮想空間とを一致させるためのデータである請求項１記載の画像制御システム。
【請求項8】
前記整合処理は、第１整合処理、および第２整合処理を含み、
第１実行装置、および第２実行装置を備え、
前記第１実行装置は、前記第１取得処理、前記第１整合処理、第１送信処理、第１受信処理、および第１表示処理を実行するように構成され、
前記第２実行装置は、前記第２取得処理、前記第２整合処理、第２送信処理、第２受信処理、および第２表示処理を実行するように構成され、
前記第１送信処理は、前記第１点群データを送信する処理であり、
前記第１受信処理は、前記第２点群データを受信する処理であり、
前記第２送信処理は、前記第２点群データを送信する処理であり、
前記第２受信処理は、前記第１点群データを受信する処理であり、
前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第１点群データが示す仮想空間に整合させる処理であり、
前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第２点群データが示す仮想空間に整合させる処理であり、
前記第１表示処理は、第１表示装置を操作することによって、前記第２点群データが示す画像であって前記第１点群データが示す仮想空間に整合された画像を前記第１現実空間に表示する処理を含み、
前記第２表示処理は、第２表示装置を操作することによって、前記第１点群データが示す画像であって前記第２点群データが示す仮想空間に整合された画像を前記第２現実空間に表示する処理を含む請求項１記載の画像制御システム。
第１実行装置、および第２実行装置を備え、
前記第１実行装置は、前記第１取得処理、前記第１整合処理、第１送信処理、第１受信処理、および第１表示処理を実行するように構成され、
前記第２実行装置は、前記第２取得処理、前記第２整合処理、第２送信処理、第２受信処理、および第２表示処理を実行するように構成され、
前記第１送信処理は、前記第１点群データを送信する処理であり、
前記第１受信処理は、前記第２点群データを受信する処理であり、
前記第２送信処理は、前記第２点群データを送信する処理であり、
前記第２受信処理は、前記第１点群データを受信する処理であり、
前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第１点群データが示す仮想空間に整合させる処理であり、
前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第２点群データが示す仮想空間に整合させる処理であり、
前記第１表示処理は、第１表示装置を操作することによって、前記第２点群データが示す画像であって前記第１点群データが示す仮想空間に整合された画像を前記第１現実空間に表示する処理を含み、
前記第２表示処理は、第２表示装置を操作することによって、前記第１点群データが示す画像であって前記第２点群データが示す仮想空間に整合された画像を前記第２現実空間に表示する処理を含む請求項１記載の画像制御システム。
【請求項9】
前記第１表示処理は、第１表示装置を操作することによって、前記第２点群データが示す画像であって前記第１点群データが示す仮想空間に整合された画像を前記第１現実空間に表示する際、前記第１点群データが示す画像の少なくとも一部を表示対象から削除する処理を含み、
前記第２表示処理は、第２表示装置を操作することによって、前記第１点群データが示す画像であって前記第２点群データが示す仮想空間に整合された画像を前記第２現実空間に表示する際、前記第２点群データが示す画像の少なくとも一部を表示対象から削除する処理を含む請求項８記載の画像制御システム。
前記第２表示処理は、第２表示装置を操作することによって、前記第１点群データが示す画像であって前記第２点群データが示す仮想空間に整合された画像を前記第２現実空間に表示する際、前記第２点群データが示す画像の少なくとも一部を表示対象から削除する処理を含む請求項８記載の画像制御システム。
【請求項10】
前記第１実行装置は、記憶処理を実行するように構成され、
前記記憶処理は、前記第１整合処理によって仮想空間同士が整合された前記第１点群データおよび前記第２点群データの合成データを記憶装置に記憶する処理であって且つ、該記憶装置に記憶された合成データには、前記第１表示処理によって表示対象から削除された画像に関するデータが含まれる請求項９記載の画像制御システム。
前記記憶処理は、前記第１整合処理によって仮想空間同士が整合された前記第１点群データおよび前記第２点群データの合成データを記憶装置に記憶する処理であって且つ、該記憶装置に記憶された合成データには、前記第１表示処理によって表示対象から削除された画像に関するデータが含まれる請求項９記載の画像制御システム。
【請求項11】
前記第１取得処理は、２次元画像データおよび深度画像データを入力として前記第１点群データを生成することによって前記第１点群データを取得する処理であって且つ、隣接画素抽出処理、ノイズ判定処理、除去処理、および点群データ変換処理を実行するように構成され、
前記隣接画素抽出処理は、前記２次元画像データにおける隣接する画素を抽出する処理であり、
前記ノイズ判定処理は、前記２次元画像データが示す画素のそれぞれについて、当該画素に隣接する画素であって前記深度画像データに基づく相対深度が閾値以下の画素の数が所定数以下の場合、当該画素を示すデータをノイズと判定する処理であり、
前記除去処理は、前記ノイズと判定されたデータを、前記第１点群データのうちの表示対象とするデータから除去する処理であり、
前記点群データ変換処理は、前記除去処理が施された前記２次元画像データおよび前記深度画像データを前記第１点群データに変換する処理である請求項１記載の画像制御システム。
前記隣接画素抽出処理は、前記２次元画像データにおける隣接する画素を抽出する処理であり、
前記ノイズ判定処理は、前記２次元画像データが示す画素のそれぞれについて、当該画素に隣接する画素であって前記深度画像データに基づく相対深度が閾値以下の画素の数が所定数以下の場合、当該画素を示すデータをノイズと判定する処理であり、
前記除去処理は、前記ノイズと判定されたデータを、前記第１点群データのうちの表示対象とするデータから除去する処理であり、
前記点群データ変換処理は、前記除去処理が施された前記２次元画像データおよび前記深度画像データを前記第１点群データに変換する処理である請求項１記載の画像制御システム。
【請求項12】
位置合わせ処理、および再生処理を実行するように構成され、
前記第１取得処理は、前記第１現実空間に所定のオブジェクトを配置した状態で前記第１現実空間内の画像をカメラによって撮影することによって前記第１点群データを取得する処理であり、
前記位置合わせ処理は、前記第１点群データが示す前記所定のオブジェクトと前記第１現実空間における前記所定のオブジェクトとの位置合わせを行う処理であり、
前記再生処理は、前記位置合わせ処理に従って、前記第１点群データが示す前記３次元画像を前記第１現実空間に表示する処理である請求項１記載の画像制御システム。
前記第１取得処理は、前記第１現実空間に所定のオブジェクトを配置した状態で前記第１現実空間内の画像をカメラによって撮影することによって前記第１点群データを取得する処理であり、
前記位置合わせ処理は、前記第１点群データが示す前記所定のオブジェクトと前記第１現実空間における前記所定のオブジェクトとの位置合わせを行う処理であり、
前記再生処理は、前記位置合わせ処理に従って、前記第１点群データが示す前記３次元画像を前記第１現実空間に表示する処理である請求項１記載の画像制御システム。
【請求項13】
請求項８記載の画像制御システムにおける前記第１実行装置を備える画像制御装置。
【請求項14】
点群データ生成処理、位置合わせ処理、および再生処理を実行するように構成され、
前記点群データ生成処理は、現実空間に所定のオブジェクトを配置した状態で前記現実空間内の画像をカメラによって撮影することによって点群データを生成する処理であり、
前記位置合わせ処理は、前記点群データが示す前記所定のオブジェクトと前記現実空間における前記所定のオブジェクトとの位置合わせを行う処理であり、
前記再生処理は、前記位置合わせ処理に従って、前記点群データが示す３次元画像を前記現実空間に表示する処理である画像制御装置。
前記点群データ生成処理は、現実空間に所定のオブジェクトを配置した状態で前記現実空間内の画像をカメラによって撮影することによって点群データを生成する処理であり、
前記位置合わせ処理は、前記点群データが示す前記所定のオブジェクトと前記現実空間における前記所定のオブジェクトとの位置合わせを行う処理であり、
前記再生処理は、前記位置合わせ処理に従って、前記点群データが示す３次元画像を前記現実空間に表示する処理である画像制御装置。
【請求項15】
前記点群データ生成処理は、２次元画像データと、深度画像データとを入力として前記点群データを生成する処理であって、且つ、隣接点抽出処理、ノイズ判定処理、および除去処理を含み、
前記隣接点抽出処理は、前記２次元画像データにおける隣接する画素を抽出する処理であり、
前記ノイズ判定処理は、前記２次元画像データが示す画素のそれぞれについて、当該画素に隣接する画素であって前記深度画像データに基づく相対深度が閾値以下の画素の数が所定数以下の場合、当該画素を示すデータをノイズと判定する処理であり、
前記除去処理は、前記ノイズと判定されたデータを、前記点群データのうちの表示対象とするデータから除去する処理である請求項１４記載の画像制御装置。
前記隣接点抽出処理は、前記２次元画像データにおける隣接する画素を抽出する処理であり、
前記ノイズ判定処理は、前記２次元画像データが示す画素のそれぞれについて、当該画素に隣接する画素であって前記深度画像データに基づく相対深度が閾値以下の画素の数が所定数以下の場合、当該画素を示すデータをノイズと判定する処理であり、
前記除去処理は、前記ノイズと判定されたデータを、前記点群データのうちの表示対象とするデータから除去する処理である請求項１４記載の画像制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像制御システム、および画像制御装置に関する。
【背景技術】
【0002】
たとえば下記特許文献１には、テレビ会議システムが記載されている。このシステムは、画像データおよび深度データを遠方の拠点に送信することによって、３次元の画像を遠方の拠点で表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１９－５３３３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、遠方の拠点の画像を表示しつつ、拠点間で会議を行う場合、表示される画像の向き等が重要となる。すなわち、たとえば、拠点間で表示する画像に整合性が欠けている場合、一方の拠点では、ユーザ同士が真正面に位置していても、他方の拠点では、表示されるユーザが側方を向いているといった事態が生じうる。
【課題を解決するための手段】
【0005】
以下、上記課題を解決するための手段およびその作用効果について記載する。
１．第１取得処理、第２取得処理、および整合処理を実行するように構成され、前記第１取得処理は、第１現実空間内の３次元画像を示す第１点群データを取得する処理であり、前記第２取得処理は、第２現実空間内の３次元画像を示す第２点群データを取得する処理であり、前記第１現実空間と前記第２現実空間とは、互いに異なる空間であり、前記整合処理は、対応付けデータを用いて前記第１点群データが示す仮想空間を前記第２点群データが示す仮想空間に整合させる処理であり、前記第１点群データが示す仮想空間は、前記第１点群データが示す３次元画像領域であり、前記第２点群データが示す仮想空間は、前記第２点群データが示す３次元画像領域であり、前記対応付けデータは、前記第１点群データが示す仮想空間と、前記第２点群データが示す仮想空間と、を対応付けるデータである画像制御システムである。
１．第１取得処理、第２取得処理、および整合処理を実行するように構成され、前記第１取得処理は、第１現実空間内の３次元画像を示す第１点群データを取得する処理であり、前記第２取得処理は、第２現実空間内の３次元画像を示す第２点群データを取得する処理であり、前記第１現実空間と前記第２現実空間とは、互いに異なる空間であり、前記整合処理は、対応付けデータを用いて前記第１点群データが示す仮想空間を前記第２点群データが示す仮想空間に整合させる処理であり、前記第１点群データが示す仮想空間は、前記第１点群データが示す３次元画像領域であり、前記第２点群データが示す仮想空間は、前記第２点群データが示す３次元画像領域であり、前記対応付けデータは、前記第１点群データが示す仮想空間と、前記第２点群データが示す仮想空間と、を対応付けるデータである画像制御システムである。
【0006】
上記構成では、対応付けデータを用いて第１点群データが示す仮想空間を第２点群データが示す仮想空間に整合させる。これにより、第２現実空間において、第１点群データが示す画像を適切に表示できる。
【0007】
２．前記対応付けデータは、第１座標規定データおよび第２座標規定データを含み、前記第１座標規定データは、前記第１点群データが示す前記３次元画像における座標系を定義するデータであり、前記第２座標規定データは、前記第２点群データが示す前記３次元画像における座標系を定義するデータである上記１記載の画像制御システムである。
【0008】
上記構成では、第１座標規定データによって、第１点群データが示す仮想空間における座標成分が規定される。また、上記構成では、第２座標規定データによって、第２点群データが示す仮想空間における座標成分が規定される。そしてそれら座標成分同士を整合させることにより、第１点群データが示す仮想空間と、第２点群データが示す仮想空間と、を整合させることができる。
【0009】
３．前記第１座標規定データは、前記第１点群データが示す仮想空間内の各位置の基準点に対する相対座標を定めるためのデータであり、前記第２座標規定データは、前記第２点群データが示す仮想空間内の各位置の基準点に対する相対座標を定めるためのデータであり、第１生成処理、および第２生成処理を実行するように構成され、前記第１生成処理は、前記第１点群データを入力として、前記第１座標規定データを生成する処理であり、前記第２生成処理は、前記第２点群データを入力として、前記第２座標規定データを生成する処理であり、前記第１生成処理の入力となる前記第１点群データは、前記第１現実空間に所定のオブジェクトを含むようにして撮影された３次元画像を示し、前記第２生成処理の入力となる前記第２点群データは、前記第２現実空間に所定のオブジェクトを含むようにして撮影された３次元画像を示し、前記基準点は、前記３次元画像中の前記所定のオブジェクトの位置である上記２記載の画像制御システムである。
【0010】
上記構成では、所定のオブジェクトを用いて基準点を定めることができる。そして、これにより、基準点に対する相対座標を定義できる。
４．前記整合処理は、第１整合処理、および第２整合処理を含み、第１実行装置、および第２実行装置を備え、前記第１実行装置は、前記第１取得処理、前記第１生成処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、前記第２実行装置は、前記第２取得処理、前記第２生成処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、前記第１送信処理は、前記第１点群データおよび前記第１座標規定データを送信する処理であり、前記第１受信処理は、前記第２点群データおよび前記第２座標規定データを受信する処理であり、前記第２送信処理は、前記第２点群データおよび前記第２座標規定データを送信する処理であり、前記第２受信処理は、前記第１点群データおよび前記第１座標規定データを受信する処理であり、前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第１受信処理によって受信した前記第２座標規定データを用いて、前記第１点群データが示す仮想空間に整合させる処理であり、前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第２受信処理によって受信した前記第１座標規定データを用いて、前記第２点群データが示す仮想空間に整合させる処理である上記３記載の画像制御システムである。
４．前記整合処理は、第１整合処理、および第２整合処理を含み、第１実行装置、および第２実行装置を備え、前記第１実行装置は、前記第１取得処理、前記第１生成処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、前記第２実行装置は、前記第２取得処理、前記第２生成処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、前記第１送信処理は、前記第１点群データおよび前記第１座標規定データを送信する処理であり、前記第１受信処理は、前記第２点群データおよび前記第２座標規定データを受信する処理であり、前記第２送信処理は、前記第２点群データおよび前記第２座標規定データを送信する処理であり、前記第２受信処理は、前記第１点群データおよび前記第１座標規定データを受信する処理であり、前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第１受信処理によって受信した前記第２座標規定データを用いて、前記第１点群データが示す仮想空間に整合させる処理であり、前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第２受信処理によって受信した前記第１座標規定データを用いて、前記第２点群データが示す仮想空間に整合させる処理である上記３記載の画像制御システムである。
【0011】
上記構成では、第１実行装置は、第２座標規定データを用いることによって、第２点群データが示す仮想空間内の各点について、基準点に対する相対座標を定めることができる。一方、第１点群データが示す仮想空間内にも基準点が存在する。したがって、第２点群データが示す仮想空間内の各点に関する相対座標に従って、第１点群データが示す仮想空間に第２点群データが示す仮想空間を整合させることができる。
【0012】
上記構成では、第２実行装置は、第１座標規定データを用いることによって、第１点群データが示す仮想空間内の各点について、基準点に対する相対座標を定めることができる。一方、第２点群データが示す仮想空間内にも基準点が存在する。したがって、第１点群データが示す仮想空間内の各点に関する相対座標に従って、第２点群データが示す仮想空間に第１点群データが示す仮想空間を整合させることができる。
【0013】
５．前記整合処理は、第１整合処理、および第２整合処理を含み、第１実行装置、および第２実行装置を備え、前記第１実行装置は、前記第１取得処理、前記第２生成処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、前記第２実行装置は、前記第２取得処理、前記第１生成処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、前記第１送信処理は、前記第１点群データを送信する処理であり、前記第１受信処理は、前記第２点群データを受信する処理であり、前記第２送信処理は、前記第２点群データを送信する処理であり、前記第２受信処理は、前記第１点群データを受信する処理であり、前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第２生成処理によって生成された前記第２座標規定データを用いて前記第１点群データが示す仮想空間に整合させる処理であり、前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第１生成処理によって生成された前記第１座標規定データを用いて前記第２点群データが示す仮想空間に整合させる処理である上記３記載の画像制御システムである。
【0014】
上記構成では、第１実行装置は、第２点群データを入力として、第２座標規定データを生成する。そして、第１実行装置は、第２座標規定データを用いることによって、第２点群データが示す仮想空間内の各点について、基準点に対する相対座標を定めることができる。第１点群データが示す仮想空間内にも基準点が存在する。したがって、第２点群データが示す仮想空間内の各点に関する相対座標に従って、第１点群データが示す仮想空間に第２点群データが示す仮想空間を整合させることができる。
【0015】
上記構成では、第２実行装置は、第１点群データを入力として、第１座標規定データを生成する。そして、第２実行装置は、第１座標規定データを用いることによって、第１点群データが示す仮想空間内の各点について、基準点に対する相対座標を定めることができる。一方、第２点群データが示す仮想空間内にも基準点が存在する。したがって、第１点群データが示す仮想空間内の各点に関する相対座標に従って、第２点群データが示す仮想空間に第１点群データが示す仮想空間を整合させることができる。
【0016】
６．前記整合処理は、第１整合処理、および第２整合処理を含み、第１実行装置、および第２実行装置を備え、前記第１実行装置は、前記第１取得処理、前記第１生成処理、第１座標変換処理、前記第１整合処理、第１送信処理、および第１受信処理を実行するように構成され、前記第２実行装置は、前記第２取得処理、前記第２生成処理、第２座標変換処理、前記第２整合処理、第２送信処理、および第２受信処理を実行するように構成され、前記第１座標変換処理は、前記第１点群データを前記第１座標規定データに応じて前記相対座標に変換する処理であり、前記第１送信処理は、前記相対座標に変換された前記第１点群データを送信する処理であり、前記第１受信処理は、前記第２送信処理によって送信された前記第２点群データを受信する処理であり、前記第２座標変換処理は、前記第２点群データを前記第２座標規定データに応じて前記相対座標に変換する処理であり、前記第２送信処理は、前記相対座標によって変換された前記第２点群データを送信する処理であり、前記第２受信処理は、前記第１送信処理によって送信された前記第１点群データを受信する処理であり、前記第１整合処理は、前記相対座標に変換された前記第２点群データが示す仮想空間を、前記相対座標に変換された前記第１点群データが示す仮想空間に整合させる処理であり、前記第２整合処理は、前記相対座標に変換された前記第１点群データが示す仮想空間を、前記相対座標に変換された前記第２点群データが示す仮想空間に整合させる処理である上記３記載の画像制御システムである。
【0017】
上記構成では、第１整合処理および第２整合処理において、相対座標に変換された第２点群データが示す仮想空間と、相対座標に変換された第１点群データが示す仮想空間とを入力とする。これにより、第１点群データが示す仮想空間と第２点群データが示す仮想空間とを整合させることができる。
【0018】
７．前記第１点群データが示す仮想空間と前記第２点群データが示す仮想空間とが同一形状且つ同一寸法の領域であり、
前記対応付けデータは、前記第１点群データが示す仮想空間と、前記第２点群データが示す仮想空間とを一致させるためのデータである上記１記載の画像制御システムである。
前記対応付けデータは、前記第１点群データが示す仮想空間と、前記第２点群データが示す仮想空間とを一致させるためのデータである上記１記載の画像制御システムである。
【0019】
上記構成では、第１点群データが示す仮想空間と第２点群データが示す仮想空間とを一致させることによって、それらを整合させることができる。
８．前記整合処理は、第１整合処理、および第２整合処理を含み、第１実行装置、および第２実行装置を備え、前記第１実行装置は、前記第１取得処理、前記第１整合処理、第１送信処理、第１受信処理、および第１表示処理を実行するように構成され、前記第２実行装置は、前記第２取得処理、前記第２整合処理、第２送信処理、第２受信処理、および第２表示処理を実行するように構成され、前記第１送信処理は、前記第１点群データを送信する処理であり、前記第１受信処理は、前記第２点群データを受信する処理であり、前記第２送信処理は、前記第２点群データを送信する処理であり、前記第２受信処理は、前記第１点群データを受信する処理であり、前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第１点群データが示す仮想空間に整合させる処理であり、前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第２点群データが示す仮想空間に整合させる処理であり、前記第１表示処理は、第１表示装置を操作することによって、前記第２点群データが示す画像であって前記第１点群データが示す仮想空間に整合された画像を前記第１現実空間に表示する処理を含み、前記第２表示処理は、第２表示装置を操作することによって、前記第１点群データが示す画像であって前記第２点群データが示す仮想空間に整合された画像を前記第２現実空間に表示する処理を含む上記１～７のいずれか１つに記載の画像制御システムである。
８．前記整合処理は、第１整合処理、および第２整合処理を含み、第１実行装置、および第２実行装置を備え、前記第１実行装置は、前記第１取得処理、前記第１整合処理、第１送信処理、第１受信処理、および第１表示処理を実行するように構成され、前記第２実行装置は、前記第２取得処理、前記第２整合処理、第２送信処理、第２受信処理、および第２表示処理を実行するように構成され、前記第１送信処理は、前記第１点群データを送信する処理であり、前記第１受信処理は、前記第２点群データを受信する処理であり、前記第２送信処理は、前記第２点群データを送信する処理であり、前記第２受信処理は、前記第１点群データを受信する処理であり、前記第１整合処理は、前記第１受信処理によって受信した前記第２点群データが示す仮想空間を、前記第１点群データが示す仮想空間に整合させる処理であり、前記第２整合処理は、前記第２受信処理によって受信した前記第１点群データが示す仮想空間を、前記第２点群データが示す仮想空間に整合させる処理であり、前記第１表示処理は、第１表示装置を操作することによって、前記第２点群データが示す画像であって前記第１点群データが示す仮想空間に整合された画像を前記第１現実空間に表示する処理を含み、前記第２表示処理は、第２表示装置を操作することによって、前記第１点群データが示す画像であって前記第２点群データが示す仮想空間に整合された画像を前記第２現実空間に表示する処理を含む上記１～７のいずれか１つに記載の画像制御システムである。
【0020】
上記構成では、第１現実空間に、第１整合処理の施された第２点群データが示す画像を表示することにより、第１現実空間に第２点群データが示す画像を適切に表示できる。また、第２現実空間に、第２整合処理の施された第２点群データが示す画像を表示することにより、第２現実空間に第１点群データが示す画像を適切に表示できる。
【0021】
なお、上記８が、上記４，５の構成を有する場合、第１整合処理は、第２座標規定データを用いた処理とすればよい。また、第２整合処理は、第１座標規定データを用いた処理とすればよい。また、上記８が、上記６の構成を有する場合、第１整合処理および第２整合処理において、相対座標に変換された第２点群データが示す仮想空間と、相対座標に変換された第１点群データが示す仮想空間とを入力とすればよい。
【0022】
９．前記第１表示処理は、第１表示装置を操作することによって、前記第２点群データが示す画像であって前記第１点群データが示す仮想空間に整合された画像を前記第１現実空間に表示する際、前記第１点群データが示す画像の少なくとも一部を表示対象から削除する処理を含み、前記第２表示処理は、第２表示装置を操作することによって、前記第１点群データが示す画像であって前記第２点群データが示す仮想空間に整合された画像を前記第２現実空間に表示する際、前記第２点群データが示す画像の少なくとも一部を表示対象から削除する処理を含む上記８記載の画像制御システムである。
【0023】
第１点群データが示す画像は、第１現実空間内の物体を示す。そのため、第１現実空間に第１点群データが示す画像を表示する場合、現実の物体とその現実の物体を示す画像とが重なる。そこで、上記構成では、第１点群データが示す画像の少なくとも一部を表示対象から削除する。これにより、現実の物体とその現実の物体を示す画像とが重なることを抑制できる。
【0024】
同様に、第２点群データが示す画像は、第２現実空間内の物体を示す。そのため、第２現実空間に第２点群データが示す画像を表示する場合、現実の物体とその現実の物体を示す画像とが重なる。そこで、上記構成では、第２点群データが示す画像の少なくとも一部を表示対象から削除する。これにより、現実の物体とその現実の物体を示す画像とが重なることを抑制できる。
【0025】
１０．前記第１実行装置は、記憶処理を実行するように構成され、前記記憶処理は、前記第１整合処理によって仮想空間同士が整合された前記第１点群データおよび前記第２点群データの合成データを記憶装置に記憶する処理であって且つ、該記憶装置に記憶された合成データには、前記第１表示処理によって表示対象から削除された画像に関するデータが含まれる上記９記載の画像制御システムである。
【0026】
上記構成では、第１表示処理によって表示対象から削除された画像に関するデータを含む点群データを記憶装置に記憶する。これにより、第１現実空間および第２現実空間を仮想的に融合した空間内の出来事を後になって再生することができる。
【0027】
１１．前記第１取得処理は、２次元画像データおよび深度画像データを入力として前記第１点群データを生成することによって前記第１点群データを取得する処理であって且つ、隣接画素抽出処理、ノイズ判定処理、除去処理、および点群データ変換処理を実行するように構成され、前記隣接画素抽出処理は、前記２次元画像データにおける隣接する画素を抽出する処理であり、前記ノイズ判定処理は、前記２次元画像データが示す画素のそれぞれについて、当該画素に隣接する画素であって前記深度画像データに基づく相対深度が閾値以下の画素の数が所定数以下の場合、当該画素を示すデータをノイズと判定する処理であり、前記除去処理は、前記ノイズと判定されたデータを、前記第１点群データのうちの表示対象とするデータから除去する処理であり、前記点群データ変換処理は、前記除去処理が施された前記２次元画像データおよび前記深度画像データを前記第１点群データに変換する処理である上記１～９のいずれか１つに記載の画像制御システムである。
【0028】
点群データにノイズが含まれる場合、そのノイズに関する点は、隣接する点から空間的に孤立した点となる傾向がある。ここで、点群データの各点について隣接する点との空間的な隔たりを演算する場合、演算負荷が大きくなる。そこで上記構成では、２次元画像データにおける隣接する画素同士の相対深度が大きい場合に、空間的に隔たっているとみなす。これにより、孤立している点を簡易に把握できる。
【0029】
１２．位置合わせ処理、および再生処理を実行するように構成され、前記第１取得処理は、前記第１現実空間に所定のオブジェクトを配置した状態で前記第１現実空間内の画像をカメラによって撮影することによって前記第１点群データを取得する処理であり、前記位置合わせ処理は、前記第１点群データが示す前記所定のオブジェクトと前記第１現実空間における前記所定のオブジェクトとの位置合わせを行う処理であり、前記再生処理は、前記位置合わせ処理に従って、前記第１点群データが示す前記３次元画像を前記第１現実空間に表示する処理である上記１記載の画像制御システムである。
【0030】
上記構成では、点群データが示す画像に含まれる所定のオブジェクトと、現実空間における所定のオブジェクトとの位置合わせを行う。そのため、第１現実空間内で撮影された点群データが示す画像を、再生処理によって、第１現実空間の適切な位置に再生できる。
【0031】
１３．上記４～９のいずれか１つに記載の画像制御システムにおける前記第１実行装置を備える画像制御装置である。
１４．点群データ生成処理、位置合わせ処理、および再生処理を実行するように構成され、前記点群データ生成処理は、現実空間に所定のオブジェクトを配置した状態で前記現実空間内の画像をカメラによって撮影することによって点群データを生成する処理であり、前記位置合わせ処理は、前記点群データが示す前記所定のオブジェクトと前記現実空間における前記所定のオブジェクトとの位置合わせを行う処理であり、前記再生処理は、前記位置合わせ処理に従って、前記点群データが示す３次元画像を前記現実空間に表示する処理である画像制御装置である。
１４．点群データ生成処理、位置合わせ処理、および再生処理を実行するように構成され、前記点群データ生成処理は、現実空間に所定のオブジェクトを配置した状態で前記現実空間内の画像をカメラによって撮影することによって点群データを生成する処理であり、前記位置合わせ処理は、前記点群データが示す前記所定のオブジェクトと前記現実空間における前記所定のオブジェクトとの位置合わせを行う処理であり、前記再生処理は、前記位置合わせ処理に従って、前記点群データが示す３次元画像を前記現実空間に表示する処理である画像制御装置である。
【0032】
上記構成では、点群データが示す画像に含まれる所定のオブジェクトと、現実空間における所定のオブジェクトとの位置合わせを行う。そのため、第１現実空間内で撮影された点群データが示す画像を、再生処理によって、第１現実空間の適切な位置に再生できる。
【0033】
１５．前記点群データ生成処理は、２次元画像データと、深度画像データとを入力として前記点群データを生成する処理であって、且つ、隣接点抽出処理、ノイズ判定処理、および除去処理を含み、前記隣接点抽出処理は、前記２次元画像データにおける隣接する画素を抽出する処理であり、前記ノイズ判定処理は、前記２次元画像データが示す画素のそれぞれについて、当該画素に隣接する画素であって前記深度画像データに基づく相対深度が閾値以下の画素の数が所定数以下の場合、当該画素を示すデータをノイズと判定する処理であり、前記除去処理は、前記ノイズと判定されたデータを、前記点群データのうちの表示対象とするデータから除去する処理である請求項１４記載の画像制御装置である。
【0034】
点群データにノイズが含まれる場合、そのノイズに関する点は、隣接する点から空間的に孤立した点となる傾向がある。ここで、点群データの各点について隣接する点との空間的な隔たりを演算する場合、演算負荷が大きくなる。そこで上記構成では、２次元画像データにおける隣接する画素同士の相対深度が大きい場合に、空間的に隔たっているとみなす。これにより、孤立している点を簡易に把握できる。
【図面の簡単な説明】
【0035】
【図1】第１の実施形態にかかる画像制御システムの構成を示す図である。
【図2】同実施形態にかかる３次元センサを示す斜視図である。
【図3】同実施形態にかかるマーカの配置例を示す斜視図である。
【図4】同実施形態にかかる画像制御システムが実行する処理の手順を示す流れ図である。
【図5】同実施形態にかかる画像制御システムが実行する処理の手順を示す流れ図である。
【図6】同実施形態にかかる画像制御システムが実行する処理の手順を示す流れ図である。
【図7】同実施形態の効果を示す図である。
【図8】（ａ）および（ｂ）は、同実施形態および比較例の効果を示す図である。
【図9】第２の実施形態にかかる画像制御システムが実行する処理の手順を示す流れ図である。
【図10】第３の実施形態にかかる画像制御システムが実行する処理の手順を示す流れ図である。
【図11】同実施形態にかかる画像制御システムが実行する処理の手順を示す流れ図である。
【図12】第４の実施形態にかかる仮想空間同士を整合させる処理を例示する図である。
【図13】第５の実施形態にかかる画像制御システムが実行する処理の手順を示す流れ図である。
【図14】上記実施形態の変更例にかかる仮想空間同士を整合させる処理を例示する図である。
【発明を実施するための形態】
【0036】
＜第１の実施形態＞
以下、第１の実施形態について図面を参照しつつ説明する。
「システム構成」
図１に、画像制御システムの構成を示す。同システムは、互いに物理的に離れているために直接的なコミュニケーションが取れないユーザ同士のコミュニケーションを可能とするシステムである。図１には、互いに物理的に離れた拠点の数が２個である場合を例示する。
以下、第１の実施形態について図面を参照しつつ説明する。
「システム構成」
図１に、画像制御システムの構成を示す。同システムは、互いに物理的に離れているために直接的なコミュニケーションが取れないユーザ同士のコミュニケーションを可能とするシステムである。図１には、互いに物理的に離れた拠点の数が２個である場合を例示する。
【0037】
図１では、２個の拠点のそれぞれに配置されている部材同士を、それらの符号の最後に括弧が付与されたアルファベットを記載することによって識別している。すなわち、画像制御装置１０（Ａ），１０（Ｂ）は、それぞれ、拠点Ａ、拠点Ｂに配置されている端末である。なお、以下では、２個の拠点のそれぞれに配置されている部材を総括する場合、括弧が付与された数字を削除する。すなわち、画像制御装置１０は、画像制御装置１０（Ａ），１０（Ｂ）を総括した記載である。
【0038】
画像制御装置１０は、ＰＵ１２、記憶装置１４、および通信機１６を備えている。ＰＵ１２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等のソフトウェア処理装置である。記憶装置１４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。画像制御装置１０は、３次元センサ２０の出力信号を取得する。
【0039】
図２に、３次元センサ２０を示す。図２に示すように、３次元センサ２０は、深度センサ２０ａと、ＲＧＢカメラ２０ｂとを備えている。ＲＧＢカメラ２０ｂは、可視光を感知して、視野に含まれる所定の領域を複数に分割したそれぞれである画素領域に関する２次元画像データを生成する。２次元画像データは、レッド（Ｒ）、グリーン（Ｇ）、およびブルー（Ｂ）のそれぞれの輝度情報を含んだデータである。深度センサ２０ａは、近赤外線を外部に照射する装置と、照射した近赤外線の反射光を受光する装置とを備える。深度センサ２０ａは、反射光に基づき、近赤外線を反射した物体と深度センサ２０ａとの距離を計測する。距離の計測は、たとえばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式によって実現できる。もっとも、ＴＯＦ法式に限らず、たとえば、ＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式にて実現してもよい。深度センサ２０ａによる距離データは、上記ＲＧＢカメラ２０ｂが撮影する画素のそれぞれに対して生成される。これは、たとえば、近赤外線の照射方向を、上記複数の画素に対応した方向に順次走査しつつ近赤外線を照射することによって実現できる。以下では、深度センサ２０ａによって生成される距離に関するデータを深度画像データとも称する。
【0040】
図１に戻り、画像制御装置１０は、表示装置２２を操作することによって３次元の画像データを表示する処理を実行する。
通信機１６は、ネットワーク３０を介して別の拠点の画像制御装置１０との通信を可能とする。
通信機１６は、ネットワーク３０を介して別の拠点の画像制御装置１０との通信を可能とする。
【0041】
「拠点間の空間の融合のためのデータ生成処理」
拠点Ａにおける３次元センサ２０（Ａ）によって撮影された３次元画像と、拠点Ｂにおける３次元センサ２０（Ｂ）によって撮影された３次元画像とを融合する際には、これらが整合することが望ましい。以下、整合させるための処理について説明する。なお、以下では、各拠点において、遠隔地とのコミュニケーションを図るユーザが存在する空間を現実空間と称する。また、各拠点において、現実空間のうちの３次元センサ２０によって撮影された空間を仮想空間と称する。
拠点Ａにおける３次元センサ２０（Ａ）によって撮影された３次元画像と、拠点Ｂにおける３次元センサ２０（Ｂ）によって撮影された３次元画像とを融合する際には、これらが整合することが望ましい。以下、整合させるための処理について説明する。なお、以下では、各拠点において、遠隔地とのコミュニケーションを図るユーザが存在する空間を現実空間と称する。また、各拠点において、現実空間のうちの３次元センサ２０によって撮影された空間を仮想空間と称する。
【0042】
図３に、拠点間で仮想空間同士を対応付けるためのデータ生成のための前処理を示す。
図３に示す台４０は、拠点Ａおよび拠点Ｂのそれぞれにおける現実空間に配置される。台４０には、マーカ５０が配置されている。マーカ５０は、２次元コードが表示されたシート状の部材である。マーカ５０は、２次元コードが印刷された紙であってもよい。マーカ５０に平行な平面において、ｘ軸およびｘ軸に直交するｙ軸が定義される。また、マーカ５０に垂直な方向にｚ軸が定義される。
図３に示す台４０は、拠点Ａおよび拠点Ｂのそれぞれにおける現実空間に配置される。台４０には、マーカ５０が配置されている。マーカ５０は、２次元コードが表示されたシート状の部材である。マーカ５０は、２次元コードが印刷された紙であってもよい。マーカ５０に平行な平面において、ｘ軸およびｘ軸に直交するｙ軸が定義される。また、マーカ５０に垂直な方向にｚ軸が定義される。
【0043】
図４に、拠点Ａの仮想空間と拠点Ｂの仮想空間とを融合するための前処理の手順を示す。図４に示す処理は、記憶装置１４に記憶されたプログラムをＰＵ１２がたとえば所定周期で繰り返し実行することによって実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を表現する。また、図４には、拠点Ｘにおける処理と拠点Ｙにおける処理とを記載している。ここで、（Ｘ，Ｙ）＝（Ａ，Ｂ），（Ｂ，Ａ）である。以下では、（Ｘ，Ｙ）＝（Ａ，Ｂ）の場合を例にとって図４に示す処理を説明する。
【0044】
【0045】
図５に示すように、ＰＵ１２（Ａ）は、まず、２次元画像データおよび深度画像データを取得する（Ｓ３０）。次にＰＵ１２（Ａ）は、２次元画像データの画素を１つ選択する（Ｓ３２）。次にＰＵ１２（Ａ）は、選択した画素に隣接する画素を全て抽出する（Ｓ３４）。次にＰＵ１２（Ａ）は、抽出した画素のそれぞれと上記選択された画素との深度画像データにおける相対深度Δｄを算出する（Ｓ３６）。相対深度Δｄは、抽出した画素のそれぞれについて深度画像データが示す深度と、上記選択された画素について深度画像データが示す深度との差の絶対値とすればよい。次にＰＵ３２は、抽出した隣接画素の中に、相対深度Δｄが閾値Δｔｈ以下となるものがないか否かを判定する（Ｓ３８）。この処理は、選択した画素がノイズであるか否かを判定する処理である。
【0046】
すなわち、ノイズの場合、隣接する画素との距離が遠くなって周囲の画素から孤立する傾向にある。Ｓ３８の処理は、選択した画素と距離が近い画素が存在するかを簡易的に判定する処理である。すなわち、２次元画像において隣接する画素同士の距離が近いことは、３次元空間における対応する２点が近いことの必要条件である。そして、隣接する画素において相対深度Δｄが小さいのであれば、それらの画素が実際の距離が近いとみなせる。
【0047】
ＰＵ１２（Ａ）は、相対深度Δｄが閾値Δｔｈ以下となるものがないと判定する場合（Ｓ３８：ＹＥＳ）、選択した画素をノイズであるとして表示対象から除去する（Ｓ４０）。
【0048】
ＰＵ１２（Ａ）は、Ｓ４０の処理を完了する場合と、Ｓ３８の処理において否定判定する場合と、には、Ｓ３２の処理によって、２次元画像の全ての画素を選択したか否かを判定する（Ｓ４２）。ＰＵ１２（Ａ）は、未だ選択していない画素があると判定する場合（Ｓ４２：ＮＯ）、Ｓ３２の処理に戻る。
【0049】
一方、ＰＵ１２（Ａ）は、２次元画像の全ての画素を選択したと判定する場合（Ｓ４２：ＹＥＳ）、Ｓ４０の処理が施された２次元画像データと深度画像データとを点群データに変換する（Ｓ４４）。すなわち、変換対象となるデータは、２次元画像データと深度画像データとから、Ｓ４０の処理によって除去された画素を示すデータおよび同画素に関する深度を示すデータが除かれたデータである。一方、点群データは、３次元画像を示すデータである。点群データは、たとえば、３次元座標のそれぞれについて、Ｒ，Ｇ，Ｂの輝度情報を有したデータであってよい。
【0050】
なお、ＰＵ１２（Ａ）は、Ｓ４４の処理を完了する場合、図４のＳ１０の処理を完了する。
図４に戻り、ＰＵ１２（Ａ）は、点群データに基づき、座標規定データを生成する（Ｓ１２）。座標規定データは、マーカ５０に対する相対座標を定義するデータである。すなわち、マーカ５０の中心を原点として、上述のｘ軸の座標成分、ｙ軸の座標成分、およびｚ軸の座標成分を定めるためのデータである。これは、たとえばＳ１０の処理によって生成された点群データを座標変換するためのデータであってもよい。この座標変換は、互いに直交する３つの方向に対する平行移動量と、３つのオイラー角とを定めるデータであってもよい。
図４に戻り、ＰＵ１２（Ａ）は、点群データに基づき、座標規定データを生成する（Ｓ１２）。座標規定データは、マーカ５０に対する相対座標を定義するデータである。すなわち、マーカ５０の中心を原点として、上述のｘ軸の座標成分、ｙ軸の座標成分、およびｚ軸の座標成分を定めるためのデータである。これは、たとえばＳ１０の処理によって生成された点群データを座標変換するためのデータであってもよい。この座標変換は、互いに直交する３つの方向に対する平行移動量と、３つのオイラー角とを定めるデータであってもよい。
【0051】
次にＰＵ１２（Ａ）は、通信機１６（Ａ）を操作することによって、座標規定データを拠点Ｂの画像制御装置１０（Ｂ）に送信する（Ｓ１４）。
なお、ＰＵ１２（Ａ）は、Ｓ１４の処理を完了する場合、図４に示す一連の処理を一旦終了する。
なお、ＰＵ１２（Ａ）は、Ｓ１４の処理を完了する場合、図４に示す一連の処理を一旦終了する。
【0052】
これに対し、拠点Ｂの画像制御装置１０（Ｂ）のＰＵ１２（Ｂ）は、座標規定データを受信する（Ｓ２０）。そして、ＰＵ１２（Ｂ）は、記憶装置１４（Ｂ）に、座標規定データを記憶する（Ｓ２２）。
【0053】
なお、ＰＵ１２（Ｂ）は、Ｓ２２の処理を完了する場合、図４に示す一連の処理を一旦終了する。
「拠点間コミュニケーション」
図６に、拠点Ａと拠点Ｂとでコミュニケーションを図る際に実際に実行される処理の手順を示す。図６に示す処理は、記憶装置１４に記憶されたプログラムをＰＵ１２がたとえば所定周期で繰り返し実行することによって実現される。なお、図６に示す処理は、拠点Ａにおいて実行される処理と拠点Ｂにおいて実行される処理とが同等となることから、対応する処理については同一のステップ番号を付与する。以下では、拠点Ｂにおける現実空間に３次元画像を表示する処理を例にとって説明する。
「拠点間コミュニケーション」
図６に、拠点Ａと拠点Ｂとでコミュニケーションを図る際に実際に実行される処理の手順を示す。図６に示す処理は、記憶装置１４に記憶されたプログラムをＰＵ１２がたとえば所定周期で繰り返し実行することによって実現される。なお、図６に示す処理は、拠点Ａにおいて実行される処理と拠点Ｂにおいて実行される処理とが同等となることから、対応する処理については同一のステップ番号を付与する。以下では、拠点Ｂにおける現実空間に３次元画像を表示する処理を例にとって説明する。
【0054】
図６に示す一連の処理において、拠点ＡのＰＵ１２（Ａ）は、まず、Ｓ１０の処理と同様の処理によって、拠点Ａの現実空間において３次元センサ２０が撮影した画像の点群データを生成する（Ｓ５０）。なお、実際には、ここで生成される点群データは、３次元センサ２０（Ａ）がとらえた物体の全ての画像を含むものとしなくてもよい。すなわち、たとえば、ユーザの画像に関するデータを抽出し、ユーザが位置する床面の画像等背景画像に関するデータを削除することが望ましい。次にＰＵ１２（Ａ）は、通信機１６（Ａ）を操作することによって、拠点Ｂの画像制御装置１０（Ｂ）に点群データを送信する（Ｓ５２）。
【0055】
これに対し、拠点ＢのＰＵ１２（Ｂ）は、点群データを受信する（Ｓ５４）。次にＰＵ１２（Ｂ）は、記憶装置１４（Ｂ）から、Ｓ２２の処理によって記憶した座標規定データを読み出す（Ｓ５６）。この座標規定データは、拠点Ａにおける現実空間の３次元画像を示す点群データを座標変換するためのデータである。ＰＵ１２（Ｂ）は、座標変換データを用いて点群データを座標変換する（Ｓ５８）。
【0056】
次にＰＵ１２（Ｂ）は、ＰＵ１２（Ｂ）がＳ５０の処理によって生成した拠点Ｂの画像を示す点群データに、Ｓ５８の処理によって座標変換された拠点Ａの画像を示す点群データを合成する（Ｓ６０）。Ｓ６０の処理において、ＰＵ１２（Ｂ）は、拠点Ｂの画像を示す点群データの基準点からの相対的な位置に応じて、拠点Ａの画像を示す点群データを合成する。
【0057】
次にＰＵ１２（Ｂ）は、記憶装置１４（Ｂ）に、Ｓ６０の処理によって合成された点群データを記憶する（Ｓ６２）。次に、ＰＵ１２（Ｂ）は、合成された点群データから、拠点Ｂの画像を示す点群データを削除する（Ｓ６４）。そして、ＰＵ１２（Ｂ）は、表示装置２２を操作することによって、拠点Ｂの現実空間に、３次元画像を表示する（Ｓ６６）。
【0058】
なお、Ｓ６６の処理は、以下の設定を前提としている。すなわち、表示装置２２（Ｂ）が拠点Ｂの現実空間の適切な位置に、拠点Ｂの現実空間に関する点群データが示す３次元画像を表示する設定がなされていることを前提としている。この設定は、たとえば３次元センサ２０（Ｂ）の出力に基づく点群データを用いて、同点群データを変換する座標変換を規定することによって実現してもよい。また、これに代えて、表示装置２２（Ｂ）がカメラを有する場合、表示装置２２（Ｂ）のカメラがとらえたマーカ５０の位置と、点群データが示すマーカ５０の位置とを合わせ込む処理を実行することによって実現してもよい。
【0059】
ちなみに、ＰＵ１２（Ｂ）は、Ｓ６６の処理を完了する場合、図６に示す一連の処理を一旦終了する。
「本実施形態の作用および効果」
図７に、拠点Ａの画像を拠点Ｂに表示する処理を例示する。拠点Ａの現実空間ＲＳ内の物体は、３次元センサ２０（Ａ）によって撮影される。図７には、３次元センサ２０（Ａ）が撮影した領域である仮想空間ＶＳを現実空間ＲＳ内に記載している。拠点Ａの現実空間ＲＳのうち仮想空間ＶＳに対応する領域には、物体７０が含まれる。ＰＵ１２（Ａ）は、仮想空間ＶＳの基準点６０に対する物体７０の相対座標を得るための座標規定データを生成して拠点Ｂに送信する。
「本実施形態の作用および効果」
図７に、拠点Ａの画像を拠点Ｂに表示する処理を例示する。拠点Ａの現実空間ＲＳ内の物体は、３次元センサ２０（Ａ）によって撮影される。図７には、３次元センサ２０（Ａ）が撮影した領域である仮想空間ＶＳを現実空間ＲＳ内に記載している。拠点Ａの現実空間ＲＳのうち仮想空間ＶＳに対応する領域には、物体７０が含まれる。ＰＵ１２（Ａ）は、仮想空間ＶＳの基準点６０に対する物体７０の相対座標を得るための座標規定データを生成して拠点Ｂに送信する。
【0060】
これにより、拠点ＢのＰＵ１２（Ｂ）は、拠点Ａの３次元センサ２０（Ａ）の出力に基づく点群データを、座標規定データに従って、拠点Ｂの点群データと合成する。すなわち、座標規定データによって、３次元センサ２０（Ａ）の出力に基づく点群データが示す画像の基準点に対する距離および方向が定まる。ＰＵ１２（Ｂ）は、この基準点を、３次元センサ２０（Ｂ）の出力に基づく点群データが示す画像の基準点に置き換える。すなわち、ＰＵ１２（Ｂ）は、拠点Ｂの基準点に対する、３次元センサ２０（Ａ）の出力に基づく点群データが示す画像の距離および方向が、上記座標規定データによって定まった距離および方向となるように、点群データ同士を合成する。そして、ＰＵ１２（Ｂ）は、合成した点群データから３次元センサ２０（Ｂ）の出力に基づく点群データを削除した後に、これを拠点Ｂの現実空間ＲＳに表示する。
【0061】
拠点Ｂの現実空間ＲＳには物体７２が存在する。物体７２は、３次元センサ２０（Ｂ）の出力に基づく点群データが示す画像に含まれるが、これは、表示装置２２（Ｂ）によっては表示されない。一方、拠点Ｂに実際には存在しない拠点Ａの物体７０は、拠点Ｂの現実空間ＲＳ内の仮想空間ＶＳ内に表示される。
【0062】
ここで、座標規定データは、基準点からの相対座標を規定する。そのため、上記点群データの合成処理によれば、拠点Ａの仮想空間と拠点Ｂの仮想空間とを整合させることができる。したがって、拠点Ａと拠点Ｂとで表示される画像を整合させることができる。
【0063】
【0064】
図８（ａ）に示すように、拠点Ａに位置するユーザ８０と拠点Ｂに位置するユーザ８２との位置関係は、拠点Ａでも拠点Ｂでも同じとなっている。すなわち、拠点Ａにおいては、ユーザ８０の正面に、ユーザ８２を示す３次元画像が表示されている。また、拠点Ｂにおいては、ユーザ８２の正面に、ユーザ８０を示す３次元画像が表示されている。
【0065】
これに対し、図８（ｂ）に、上記座標規定データを用いない場合を例示する。図８（ｂ）に示す例では、拠点Ａに位置するユーザ８０と拠点Ｂに位置するユーザ８２との位置関係が、拠点Ａと拠点Ｂとで異なる。そのため、たとえば、拠点Ａにおいて、拠点Ａのユーザ８０が拠点Ｂのユーザ８２を示す画像の真正面に位置したとしても、拠点Ｂにおいては、拠点Ａのユーザ８０を示す画像が拠点Ｂのユーザ８２の方を向いていない状況が生じうる。
【0066】
＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0067】
上記実施形態では、点群データが示す画像に対応する拠点において、座標規定データを生成した。これに対し、本実施形態では、点群データの送信先の拠点で座標規定データを生成する。
【0068】
図９に、本実施形態にかかる前処理の手順を示す。図９に示す処理は、記憶装置１４に記憶されたプログラムをＰＵ１２がたとえば所定周期で繰り返し実行することによって実現される。なお、図９には、拠点Ｘにおける処理と拠点Ｙにおける処理とを記載している。ここで、（Ｘ，Ｙ）＝（Ａ，Ｂ），（Ｂ，Ａ）である。以下では、（Ｘ，Ｙ）＝（Ａ，Ｂ）の場合を例にとって図９に示す処理を説明する。
【0069】
図９に示す一連の処理において、拠点ＡのＰＵ１２（Ａ）は、まず、図４のＳ１０の処理を実行する。次にＰＵ１２（Ａ）は、通信機１６（Ａ）を操作することによって、点群データを拠点Ｂの画像制御装置１０に送信する（Ｓ７０）。なお、ＰＵ１２（Ａ）は、Ｓ７０の処理を完了する場合、図９に示す一連の処理を一旦終了する。
【0070】
一方、拠点ＢのＰＵ１２（Ｂ）は、点群データを受信する（Ｓ８０）。次にＰＵ１２（Ｂ）は、受信した点群データを用いて、図４のＳ１２，Ｓ２２と同様の処理を実行する。すなわち、ＰＵ１２（Ｂ）は、座標変換データを生成した後（Ｓ１２）、座標規定データを記憶装置１４（Ｂ）に記憶する（Ｓ２２）。なお、ＰＵ１２（Ｂ）は、Ｓ２２の処理を完了する場合、図９に示す一連の処理を一旦終了する。
【0071】
＜第３の実施形態＞
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0072】
「前処理」
図１０に、本実施形態にかかる拠点間コミュニケーションのための前処理の手順を示す。図１０に示す処理は、記憶装置１４に記憶されたプログラムをＰＵ１２が実行することによって実現される。図１０に示す処理は、拠点Ａ，Ｂのそれぞれにおいて実行される処理であるが、以下では、拠点Ａにおいて実行される場合を例にとって図１０の処理を説明する。
図１０に、本実施形態にかかる拠点間コミュニケーションのための前処理の手順を示す。図１０に示す処理は、記憶装置１４に記憶されたプログラムをＰＵ１２が実行することによって実現される。図１０に示す処理は、拠点Ａ，Ｂのそれぞれにおいて実行される処理であるが、以下では、拠点Ａにおいて実行される場合を例にとって図１０の処理を説明する。
【0073】
【0074】
「拠点間コミュニケーション」
図１１に、本実施形態にかかる拠点Ａと拠点Ｂとでコミュニケーションを図る際に実際に実行される処理の手順を示す。図１１に示す処理は、記憶装置１４に記憶されたプログラムをＰＵ１２が、たとえば所定周期で繰り返し実行することによって実現される。なお、図１１に示す処理は、拠点Ａにおいて実行される処理と拠点Ｂにおいて実行される処理とが同等となることから、対応する処理については同一のステップ番号を付与する。なお、図１１において、図６に示した処理に対応する処理については、便宜上、同一のステップ番号を付与している。以下では、拠点Ｂにおける現実空間に３次元画像を表示する処理を例にとって説明する。
図１１に、本実施形態にかかる拠点Ａと拠点Ｂとでコミュニケーションを図る際に実際に実行される処理の手順を示す。図１１に示す処理は、記憶装置１４に記憶されたプログラムをＰＵ１２が、たとえば所定周期で繰り返し実行することによって実現される。なお、図１１に示す処理は、拠点Ａにおいて実行される処理と拠点Ｂにおいて実行される処理とが同等となることから、対応する処理については同一のステップ番号を付与する。なお、図１１において、図６に示した処理に対応する処理については、便宜上、同一のステップ番号を付与している。以下では、拠点Ｂにおける現実空間に３次元画像を表示する処理を例にとって説明する。
【0075】
図１１に示す一連の処理において、ＰＵ１２（Ａ）は、Ｓ５０の処理を実行した後、記憶装置１４（Ａ）から座標規定データを読み出す（Ｓ９０）。座標規定データは、図１０のＳ２２の処理によって記憶装置１４（Ａ）に記憶されたデータである。すなわち、３次元センサ２０（Ａ）の出力に応じた点群データを相対座標に変換するためのデータである。次にＰＵ１２（Ａ）は、点群データを、相対座標に変換する（Ｓ９２）。そして、ＰＵ１２は、通信機１６（Ａ）を操作することによって、変換した点群データを拠点Ｂに送信する（Ｓ５２）。
【0076】
一方、拠点ＢのＰＵ１２（Ｂ）は、変換された点群データを受信する（Ｓ５４）。次に、ＰＵ１２（Ｂ）は、３次元センサ２０（Ｂ）の出力に応じた点群データがＳ９２の処理によって相対座標に変換されたデータに、受信した点群データを合成する（Ｓ６０ａ）。そして、ＰＵ１２（Ｂ）は、合成した点群データを、拠点Ｂの現実空間ＲＳの座標系である絶対座標に変換する（Ｓ９４）。ここでは、図３に示したマーカ５０とは異なる部材を用いて、拠点Ｂの現実空間ＲＳに仮想空間ＶＳを融合することを想定している。
【0077】
次にＰＵ１２（Ｂ）は、Ｓ９４の処理を施した点群データを、記憶装置１４（Ｂ）に記憶する（Ｓ６２）。そして、ＰＵ１２（Ｂ）は、記憶した点群データを読み出して、３次元センサ２０（Ｂ）の出力に応じた点群データを削除する（Ｓ６４）。そして、ＰＵ１２（Ｂ）は、表示装置２２（Ｂ）を操作することによって、拠点Ｂの現実空間ＲＳ内に点群データが示す３次元画像を表示する（Ｓ６６）。
【0078】
なお、ＰＵ１２（Ｂ）は、Ｓ６６の処理を完了する場合、図１１に示した一連の処理を一旦終了する。
＜第４の実施形態＞
以下、第４の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
＜第４の実施形態＞
以下、第４の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0079】
上記実施形態では、基準点に対する相対座標を定義することによって、拠点間の位置合わせを行った。これに対し、本実施形態では、拠点Ａと拠点Ｂとで、仮想空間ＶＳの寸法を同一とすることによって、仮想空間ＶＳ同士を一致させることで位置合わせを行う。
【0080】
図１２に示すように、本実施形態では、点群データ同士を対応付けるためのデータを、仮想空間ＶＳの６個の角のうちの３つの点Ｐ１～Ｐ３を示すデータとする。図１２には、仮想空間ＶＳの底面の３つの角を点Ｐ１～Ｐ３としている。点Ｐ１～Ｐ３を示すデータには、仮想空間ＶＳの幅方向、奥行方向、上下方向の情報が含まれる。
【0081】
なお、本実施形態においては、基準点に対する相対座標を用いることなく、拠点Ａの仮想空間と拠点Ｂの仮想空間とを整合させることができる。すなわち、拠点Ａの仮想空間と拠点Ｂの仮想空間とを整合させるうえで、マーカ５０は不要である。
【0082】
＜第５の実施形態＞
以下、第５の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第５の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0083】
上記第１の実施形態では、図４の処理の完了後にマーカ５０を配置したままにするか否かについて特に触れなかった。実際、上記第１の実施形態では、マーカ５０を配置したままとするか否かは任意である。これに対し、本実施形態では、マーカ５０を常時配置することとする。そして、本実施形態では、過去の拠点間コミュニケーションの３次元画像を再生する。
【0084】
図１３に、上記再生に関する処理の手順を示す。図１３に示す一連の処理は、記憶装置１４に記憶されたプログラムをＰＵ１２が実行することによって実現される。
図１３に示す一連の処理において、ＰＵ１２は、まず、現実空間ＲＳ内の画像を撮影して点群データを生成する（Ｓ１００）。ＰＵ１２は、点群データが示すマーカ５０に従って、マーカ５０の中心に対する相対座標が規定されたデータを、現実空間ＲＳ上の座標に変換するための座標規定データを生成する（Ｓ１０２）。そして、ＰＵ１２は、Ｓ６２の処理によって記憶装置１４に記憶された点群データを読み出す（Ｓ１０４）。そして、ＰＵ１２は、読み出した点群データを、Ｓ１０２の処理によって生成された座標規定データを用いて座標変換する（Ｓ１０６）。そして、ＰＵ１２は、表示装置２２を操作することによって、現実空間ＲＳに、拠点間コミュニケーションに関する映像を再生する（Ｓ１０８）。
図１３に示す一連の処理において、ＰＵ１２は、まず、現実空間ＲＳ内の画像を撮影して点群データを生成する（Ｓ１００）。ＰＵ１２は、点群データが示すマーカ５０に従って、マーカ５０の中心に対する相対座標が規定されたデータを、現実空間ＲＳ上の座標に変換するための座標規定データを生成する（Ｓ１０２）。そして、ＰＵ１２は、Ｓ６２の処理によって記憶装置１４に記憶された点群データを読み出す（Ｓ１０４）。そして、ＰＵ１２は、読み出した点群データを、Ｓ１０２の処理によって生成された座標規定データを用いて座標変換する（Ｓ１０６）。そして、ＰＵ１２は、表示装置２２を操作することによって、現実空間ＲＳに、拠点間コミュニケーションに関する映像を再生する（Ｓ１０８）。
【0085】
ＰＵ１２は、再生を終了するか否かを判定する（Ｓ１１０）。ＰＵ１２は、たとえば記憶装置１４に記憶された点群データを全て再生し終わったときに再生を終了すると判定すればよい。またＰＵ１２は、ユーザから再生を終了する指示を受けた場合に、再生を終了すると判定すればよい。ＰＵ１２は、再生を終了しないと判定する場合（Ｓ１１０：ＮＯ）、Ｓ１０４の処理に戻る。一方、ＰＵ１２は、再生を終了すると判定する場合、図１３に示す一連の処理を一旦終了する。
【0086】
＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］第１取得処理、第２取得処理は、Ｓ５０の処理に対応する。整合処理は、図６のＳ５８，Ｓ６０の処理と、図１１のＳ９２，Ｓ６０ａの処理と、に対応する。対応付けデータは、座標規定データに対応する。［２］第１～第３、第５の実施形態に対応する。［３］第１生成処理が拠点Ｘで実行される場合、第１生成処理は、Ｓ１２の処理に対応する。第２生成処理が拠点Ｘで実行される場合、第２生成処理は、Ｓ１２の処理に対応する。所定のオブジェクトは、マーカ５０に対応する。［４］第１の実施形態に対応する。第１実行装置、および第２実行装置は、それぞれ、ＰＵ１２（Ａ）およびＰＵ１２（Ｂ）に対応する。第１送信処理、第２送信処理は、Ｓ５２の処理に対応する。第１受信処理、第２受信処理は、Ｓ５４の処理に対応する。第１整合処理、第２整合処理は、Ｓ５８，Ｓ６０の処理に対応する。［５］第２の実施形態に対応する。第１実行装置、および第２実行装置は、それぞれ、ＰＵ１２（Ａ）およびＰＵ１２（Ｂ）に対応する。第１送信処理、第２送信処理は、Ｓ５２の処理に対応する。第１受信処理、第２受信処理は、Ｓ５４の処理に対応する。第１整合処理、第２整合処理は、Ｓ５８，Ｓ６０の処理に対応する。［６］第３の実施形態に対応する。第１実行装置、および第２実行装置は、それぞれ、ＰＵ１２（Ａ）およびＰＵ１２（Ｂ）に対応する。第１送信処理、第２送信処理は、Ｓ５２の処理に対応する。第１受信処理、第２受信処理は、Ｓ５４の処理に対応する。第１整合処理、第２整合処理は、Ｓ９２，Ｓ６０ａの処理に対応する。［７］図１２に対応する。［８］第１実行装置、および第２実行装置は、それぞれ、ＰＵ１２（Ａ）およびＰＵ１２（Ｂ）に対応する。第１送信処理、第２送信処理は、Ｓ５２の処理に対応する。第１受信処理、第２受信処理は、Ｓ５４の処理に対応する。第１整合処理、第２整合処理は、図６のＳ５８，Ｓ６０の処理と、と、図１１のＳ９２，Ｓ６０ａの処理と、に対応する。［９］Ｓ６４の処理に対応する。［１０］記憶処理は、Ｓ６２の処理に対応する。［１１］隣接画素抽出処理は、Ｓ３４の処理に対応する。ノイズ判定処理は、Ｓ３８の処理に対応する。除去処理は、Ｓ４０の処理に対応する。点群データ変換処理は、Ｓ４４の処理に対応する。［１２］再生処理は、Ｓ１０８の処理に対応する。位置合わせ処理は、Ｓ１０６の処理に対応する。［１３］画像制御装置は、画像制御装置１０（Ａ）、画像制御装置１０（Ｂ）に対応する。［１４］点群データ生成処理は、Ｓ１００の処理に対応する。再生処理は、Ｓ１０８の処理に対応する。位置合わせ処理は、Ｓ１０６の処理に対応する。［１５］隣接画素抽出処理は、Ｓ３４の処理に対応する。ノイズ判定処理は、Ｓ３８の処理に対応する。除去処理は、Ｓ４０の処理に対応する。
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］第１取得処理、第２取得処理は、Ｓ５０の処理に対応する。整合処理は、図６のＳ５８，Ｓ６０の処理と、図１１のＳ９２，Ｓ６０ａの処理と、に対応する。対応付けデータは、座標規定データに対応する。［２］第１～第３、第５の実施形態に対応する。［３］第１生成処理が拠点Ｘで実行される場合、第１生成処理は、Ｓ１２の処理に対応する。第２生成処理が拠点Ｘで実行される場合、第２生成処理は、Ｓ１２の処理に対応する。所定のオブジェクトは、マーカ５０に対応する。［４］第１の実施形態に対応する。第１実行装置、および第２実行装置は、それぞれ、ＰＵ１２（Ａ）およびＰＵ１２（Ｂ）に対応する。第１送信処理、第２送信処理は、Ｓ５２の処理に対応する。第１受信処理、第２受信処理は、Ｓ５４の処理に対応する。第１整合処理、第２整合処理は、Ｓ５８，Ｓ６０の処理に対応する。［５］第２の実施形態に対応する。第１実行装置、および第２実行装置は、それぞれ、ＰＵ１２（Ａ）およびＰＵ１２（Ｂ）に対応する。第１送信処理、第２送信処理は、Ｓ５２の処理に対応する。第１受信処理、第２受信処理は、Ｓ５４の処理に対応する。第１整合処理、第２整合処理は、Ｓ５８，Ｓ６０の処理に対応する。［６］第３の実施形態に対応する。第１実行装置、および第２実行装置は、それぞれ、ＰＵ１２（Ａ）およびＰＵ１２（Ｂ）に対応する。第１送信処理、第２送信処理は、Ｓ５２の処理に対応する。第１受信処理、第２受信処理は、Ｓ５４の処理に対応する。第１整合処理、第２整合処理は、Ｓ９２，Ｓ６０ａの処理に対応する。［７］図１２に対応する。［８］第１実行装置、および第２実行装置は、それぞれ、ＰＵ１２（Ａ）およびＰＵ１２（Ｂ）に対応する。第１送信処理、第２送信処理は、Ｓ５２の処理に対応する。第１受信処理、第２受信処理は、Ｓ５４の処理に対応する。第１整合処理、第２整合処理は、図６のＳ５８，Ｓ６０の処理と、と、図１１のＳ９２，Ｓ６０ａの処理と、に対応する。［９］Ｓ６４の処理に対応する。［１０］記憶処理は、Ｓ６２の処理に対応する。［１１］隣接画素抽出処理は、Ｓ３４の処理に対応する。ノイズ判定処理は、Ｓ３８の処理に対応する。除去処理は、Ｓ４０の処理に対応する。点群データ変換処理は、Ｓ４４の処理に対応する。［１２］再生処理は、Ｓ１０８の処理に対応する。位置合わせ処理は、Ｓ１０６の処理に対応する。［１３］画像制御装置は、画像制御装置１０（Ａ）、画像制御装置１０（Ｂ）に対応する。［１４］点群データ生成処理は、Ｓ１００の処理に対応する。再生処理は、Ｓ１０８の処理に対応する。位置合わせ処理は、Ｓ１０６の処理に対応する。［１５］隣接画素抽出処理は、Ｓ３４の処理に対応する。ノイズ判定処理は、Ｓ３８の処理に対応する。除去処理は、Ｓ４０の処理に対応する。
【0087】
＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0088】
「第１座標規定データ、および第２座標規定データについて」
・第１座標規定データ、および第２座標規定データとしては、基準点に対する相対座標を定義するデータに限らない。たとえば、図１４に示すように、仮想空間上に定義された任意の座標系であってもよい。ただし、その場合、拠点Ａの仮想空間ＶＳにおける座標成分と拠点Ｂの仮想空間ＶＳにおける座標成分との所定割合が重複していることが望ましい。図１４には、拠点Ａの仮想空間ＶＳにおける座標成分が拠点Ｂの仮想空間ＶＳにおける座標成分を包含している例を示している。そのため、拠点Ｂの仮想空間ＶＳに位置する画像は、拠点Ａの仮想空間ＶＳに表示可能である。また、図１４にドットにて示すように、拠点Ａの仮想空間ＶＳにおける座標成分と拠点Ｂの仮想空間ＶＳにおける座標成分とが重複する領域が、拠点Ａの仮想空間ＶＳの大部分を占めている。そのため、拠点Ａの現実空間ＲＳのうちの仮想空間ＶＳが融合する部分に位置する物体の画像を、拠点Ｂの仮想空間ＶＳに十分表示可能である。そして、拠点Ａの仮想空間ＶＳと拠点Ｂの仮想空間ＶＳとに座標系を定めているために、図８に例示した問題などが生じる事態を避けることができる。
・第１座標規定データ、および第２座標規定データとしては、基準点に対する相対座標を定義するデータに限らない。たとえば、図１４に示すように、仮想空間上に定義された任意の座標系であってもよい。ただし、その場合、拠点Ａの仮想空間ＶＳにおける座標成分と拠点Ｂの仮想空間ＶＳにおける座標成分との所定割合が重複していることが望ましい。図１４には、拠点Ａの仮想空間ＶＳにおける座標成分が拠点Ｂの仮想空間ＶＳにおける座標成分を包含している例を示している。そのため、拠点Ｂの仮想空間ＶＳに位置する画像は、拠点Ａの仮想空間ＶＳに表示可能である。また、図１４にドットにて示すように、拠点Ａの仮想空間ＶＳにおける座標成分と拠点Ｂの仮想空間ＶＳにおける座標成分とが重複する領域が、拠点Ａの仮想空間ＶＳの大部分を占めている。そのため、拠点Ａの現実空間ＲＳのうちの仮想空間ＶＳが融合する部分に位置する物体の画像を、拠点Ｂの仮想空間ＶＳに十分表示可能である。そして、拠点Ａの仮想空間ＶＳと拠点Ｂの仮想空間ＶＳとに座標系を定めているために、図８に例示した問題などが生じる事態を避けることができる。
【0089】
ちなみに、上記実施形態のように相対座標を定める場合であっても、拠点Ａの仮想空間ＶＳにおける座標成分と拠点Ｂの仮想空間ＶＳにおける座標成分との所定割合が重複していることが望ましい。
【0090】
「整合処理について」
・整合処理が、点群データ同士の合成処理によって実現されることは必須ではない。たとえば、Ｓ６０の処理において、ＰＵ１２（Ｂ）は、拠点Ｂに対応する仮想空間であって点群データを一切含まない空間に、３次元センサ２０（Ａ）の出力に基づく点群データを埋め込んでもよい。
・整合処理が、点群データ同士の合成処理によって実現されることは必須ではない。たとえば、Ｓ６０の処理において、ＰＵ１２（Ｂ）は、拠点Ｂに対応する仮想空間であって点群データを一切含まない空間に、３次元センサ２０（Ａ）の出力に基づく点群データを埋め込んでもよい。
【0091】
「再生処理について」
・再生処理としては、拠点間コミュニケーションを映した画像を再生する処理に限らない。たとえば、１つの作業現場で作業をするところを撮影しておくことによって、その作業工程を第３者が学ぶために再生する処理であってもよい。その場合であっても、所定のオブジェクトを基準点とすることによって、作業現場のどこで作業員が作業をしたかを正確に再生することができる。
・再生処理としては、拠点間コミュニケーションを映した画像を再生する処理に限らない。たとえば、１つの作業現場で作業をするところを撮影しておくことによって、その作業工程を第３者が学ぶために再生する処理であってもよい。その場合であっても、所定のオブジェクトを基準点とすることによって、作業現場のどこで作業員が作業をしたかを正確に再生することができる。
【0092】
なお、Ｓ１０２の処理後には、マーカ５０等の所定のオブジェクトを除いてもよい。
「再生処理のための座標規定データの生成処理について」
・位置決めのために現実空間の画像を新たに撮影する代わりに、再生対象となる画像中の所定のオブジェクトと現実空間内の現実の所定のオブジェクトとを用いて座標規定データを生成してもよい。
「再生処理のための座標規定データの生成処理について」
・位置決めのために現実空間の画像を新たに撮影する代わりに、再生対象となる画像中の所定のオブジェクトと現実空間内の現実の所定のオブジェクトとを用いて座標規定データを生成してもよい。
【0093】
・上記実施形態では、３次元センサ２０を用いて位置決めのための点群データを生成したが、これに限らない。たとえば表示装置２２が備えるカメラを用いて、所定のオブジェクトを基準点とした再生を実行させてもよい。なお、その場合、再生処理の間、表示装置２２が備えるカメラがとらえた所定のオブジェクトを基準点として、３次元画像の表示位置を逐次フィードバック制御してもよい。
【0094】
「所定のオブジェクトについて」
・基準点を定める所定のオブジェクトがマーカ５０であることは必須ではない。たとえば、椅子、掛け時計、ペットボトル、車等であってもよい。また現実空間を区画する壁に設けられたコンセントの差込み口等であってもよい。
・基準点を定める所定のオブジェクトがマーカ５０であることは必須ではない。たとえば、椅子、掛け時計、ペットボトル、車等であってもよい。また現実空間を区画する壁に設けられたコンセントの差込み口等であってもよい。
【0095】
なお、所定のオブジェクトを常時配置しておく場合には、現実空間ＲＳに固定されている物体を所定のオブジェクトとすることが望ましい。すなわち、たとえば掛け時計、壁に設けられたコンセントの差込口等とすることが望ましい。
【0096】
「ノイズ除去処理について」
・図５には、相対深度Δｄが閾値Δｔｈ以下となる隣接画像が１つもない場合に、ノイズと判定したが、これに限らない。たとえば、相対深度Δｄが閾値Δｔｈ以下となる隣接画像が２つ以上ない場合に、ノイズと判定してもよい。もっとも、ノイズと判定するための所定数は、０または１に限らない。
・図５には、相対深度Δｄが閾値Δｔｈ以下となる隣接画像が１つもない場合に、ノイズと判定したが、これに限らない。たとえば、相対深度Δｄが閾値Δｔｈ以下となる隣接画像が２つ以上ない場合に、ノイズと判定してもよい。もっとも、ノイズと判定するための所定数は、０または１に限らない。
【0097】
・ノイズを除去する処理としては、上記実施形態およびその変更例に例示した処理に限らない。たとえば、点群データを直接用いて、３次元空間におけるあらゆる２点間の距離を算出することによってノイズを判定する処理を含んでもよい。もっとも、ノイズを除去する処理を実行すること自体必須ではない。
【0098】
「点群データを生成するためのカメラについて」
・深度センサ２０ａが照射する電磁波が近赤外線であることは必須ではない。
・３次元センサが、深度センサ２０ａおよびＲＧＢカメラ２０ｂが一体的に形成されたセンサであることは必須ではない。たとえば、深度センサ２０ａおよびＲＧＢカメラ２０ｂが個別のセンサである場合、使用する際にそれらを近接して配置すればよい。ただし、その場合、ＲＧＢカメラ２０ｂの視野角と、深度センサ２０ａの照射角とを整合させる。
・深度センサ２０ａが照射する電磁波が近赤外線であることは必須ではない。
・３次元センサが、深度センサ２０ａおよびＲＧＢカメラ２０ｂが一体的に形成されたセンサであることは必須ではない。たとえば、深度センサ２０ａおよびＲＧＢカメラ２０ｂが個別のセンサである場合、使用する際にそれらを近接して配置すればよい。ただし、その場合、ＲＧＢカメラ２０ｂの視野角と、深度センサ２０ａの照射角とを整合させる。
【0099】
・３次元センサとしては、深度センサ２０ａと、ＲＧＢカメラ２０ｂとを備えるセンサに限らない。たとえば画像データを生成するセンサを、モノクロのカメラとしてもよい。
・点群データを生成するためのカメラとしては、３次元センサ２０に限らない。たとえば、ＲＧＢカメラ２０ｂのみであってもよい。その場合、ＲＧＢカメラ２０ｂの２次元画像から機械学習によって深度を推定すればよい。これによって、深度画像データを生成できる。
・点群データを生成するためのカメラとしては、３次元センサ２０に限らない。たとえば、ＲＧＢカメラ２０ｂのみであってもよい。その場合、ＲＧＢカメラ２０ｂの２次元画像から機械学習によって深度を推定すればよい。これによって、深度画像データを生成できる。
【0100】
「拠点の数について」
・上記実施形態では、拠点の数を２個としたが、これに限らない。たとえば、３個以上としてもよい。
・上記実施形態では、拠点の数を２個としたが、これに限らない。たとえば、３個以上としてもよい。
【0101】
「実行装置について」
・実行装置としては、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置を備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、各処理をプログラムに従って実行する処理装置や、専用のハードウェア回路は複数であってもよい。
・実行装置としては、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置を備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、各処理をプログラムに従って実行する処理装置や、専用のハードウェア回路は複数であってもよい。
【符号の説明】
【0102】
１０…画像制御装置
１４…記憶装置
１６…通信機
２０…３次元センサ
２０ａ…深度センサ
２０ｂ…ＲＧＢカメラ
３０…ネットワーク
４０…台
５０…マーカ
６０…基準点
７０，７２…物体
８０，８２…ユーザ
１４…記憶装置
１６…通信機
２０…３次元センサ
２０ａ…深度センサ
２０ｂ…ＲＧＢカメラ
３０…ネットワーク
４０…台
５０…マーカ
６０…基準点
７０，７２…物体
８０，８２…ユーザ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】