特開 2024-122115 接触判定装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024122115

(43)【公開日】2024-09-09

(54)【発明の名称】接触判定装置およびプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240902BHJP

   G06T 19/00 20110101ALI20240902BHJP

   H04N 7/15 20060101ALI20240902BHJP

【ＦＩ】

G06T7/70 A

G06T19/00 600

H04N7/15 170

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023029476

(22)【出願日】2023-02-28

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】荒瀬 貴之

(72)【発明者】

【氏名】佐藤 博幸

(72)【発明者】

【氏名】山本 睦

【テーマコード（参考）】

5B050

5C164

5L096

【Ｆターム（参考）】

5B050AA08

5B050AA09

5B050BA06

5B050BA09

5B050BA12

5B050CA01

5B050CA07

5B050DA04

5B050EA07

5B050EA10

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5C164FA09

5C164VA02P

5C164VA04S

5C164VA36P

5L096AA09

5L096BA08

5L096DA01

5L096DA02

5L096FA66

5L096FA67

5L096FA69

5L096GA08

5L096MA05

(57)【要約】

【課題】第１の被写体が第２の被写体に仮想的に接触したことを判定する時間を低減する接触判定装置およびプログラムを提供する。
【解決手段】接触判定装置３００は、第１の拠点に設置された第１のカメラにより第１の被写体が撮影された第１の深度画像に基づいて、第１の被写体の所定部分の深度を取得する第１取得部３１０と、第１の拠点と異なる第２の拠点に設置された第２のカメラにより第２の被写体が撮影された第２の深度画像に基づいて、第１の被写体の所定部分が、第２の被写体に仮想的に接触したかを判定する判定部３３０とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

第１の拠点に設置された第１のカメラにより第１の被写体が撮影された第１の深度画像に基づいて、前記第１の被写体の所定部分の深度を取得する第１の取得部と、
前記第１の被写体の所定部分の深度、および前記第１の拠点と異なる第２の拠点に設置された第２のカメラにより第２の被写体が撮影された第２の深度画像に基づいて、前記第１の被写体の前記所定部分が、前記第２の被写体に仮想的に接触したかを判定する判定部と
を備える接触判定装置。

【請求項2】

前記第２の深度画像に基づいて、前記第１の深度画像に対応する第１のＲＧＢ画像に前記第２の被写体の前記所定部分に関連する関連画像を重畳させる、または前記第１の深度画像に基づいて、前記第２の深度画像に対応する第２のＲＧＢ画像に前記第１の被写体の前記所定部分に関連する関連画像を重畳させる生成部
をさらに備える請求項１に記載の接触判定装置。

【請求項3】

前記第１のカメラは、前記第１の深度画像を撮像する第１のＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ、および前記第１のＲＧＢ画像を撮像する第１のＲＧＢセンサを含み、
前記第１のＴｏＦセンサは前記第１のＲＧＢセンサと同光軸であり、
前記第２のカメラは、前記第２の深度画像を撮像する第２のＴｏＦセンサ、および前記第２のＲＧＢ画像を撮像する第２のＲＧＢセンサを含み、
前記第２のＴｏＦセンサは前記第２のＲＧＢセンサと同光軸である
請求項２に記載の接触判定装置。

【請求項4】

前記第１の被写体が前記所定部分を前記第１のカメラに近づけたときの前記第１の被写体の前記所定部分の深度と、前記第２の被写体が前記所定部分を前記第２のカメラに近づけたときの前記第２の被写体の前記所定部分の深度とに基づいて、前記第１の被写体および前記第２の被写体の各々の仮想的な位置のキャリブレーションを行う
請求項１または２に記載の接触判定装置。

【請求項5】

コンピュータに、
第１の拠点に設置された第１のカメラにより第１の被写体が撮影された第１の深度画像に基づいて、前記第１の被写体の所定部分の深度を取得する処理と、
前記第１の拠点と異なる第２の拠点に設置された第２のカメラにより第２の被写体が撮影された第２の深度画像に基づいて、前記第１の被写体の前記所定部分が、前記第２の被写体に仮想的に接触したかを判定する処理と
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、接触判定装置およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、第１のユーザが存在する第１の実空間のセンシング結果と、第２のユーザが存在する第２の実空間のセンシング結果とに基づいて、第１のユーザと第２のユーザのコミュニケーションのための仮想の共有空間を生成することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／０９２３８４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

仮想の共有空間を生成する際、第１のユーザを表すオブジェクトを生成し、第２のユーザを表すオブジェクトを生成し、オブジェクト同士が重なっているかを判定することで、第１のユーザと第２のユーザが接触したかを判定することができる。しかしながら、膨大な計算が必要となるため、リアルタイムに接触判定を行うことが難しいという問題がある。

【0005】

本発明は、このような問題を解決するためになされたものであり、第１の被写体が第２の被写体に仮想的に接触したことを判定する時間を低減する接触判定装置およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、
第１の拠点に設置された第１のカメラにより第１の被写体が撮影された第１の深度画像に基づいて、前記第１の被写体の所定部分の深度を取得する第１の取得部と、
前記第１の拠点と異なる第２の拠点に設置された第２のカメラにより第２の被写体が撮影された第２の深度画像に基づいて、前記第１の被写体の前記所定部分が、前記第２の被写体に仮想的に接触したかを判定する判定部と
を備える接触判定装置を提供する。

【0007】

本発明は、
コンピュータに、
第１の拠点に設置された第１のカメラにより第１の被写体が撮影された第１の深度画像に基づいて、前記第１の被写体の所定部分の深度を取得する処理と、
前記第１の拠点と異なる第２の拠点に設置された第２のカメラにより第２の被写体が撮影された第２の深度画像に基づいて、前記第１の被写体の前記所定部分が、前記第２の被写体に仮想的に接触したかを判定する処理と
を実行させるプログラムを提供する。

【発明の効果】

【0008】

本発明によれば、第１の被写体が第２の被写体に仮想的に接触したことを判定する時間を低減する接触判定装置およびプログラムを提供できる。

【図面の簡単な説明】

【0009】

【図1】実施形態１にかかる接触判定システムの構成を説明する図である。

【図2】実施形態１にかかるカメラの構成を説明する図である。

【図3】実施形態１にかかる接触判定装置の構成を説明する図である。

【図4】実施形態１にかかる接触判定装置が生成するＡＲ画像を説明する図である。

【図5】第１の被写体および第２の被写体の仮想的な立ち位置を説明する図である。

【図6】第１の被写体および第２の被写体の仮想的な立ち位置を説明する図である。

【図7】ヘッドマウントディスプレイの虚像スクリーン位置を説明する図である。

【図8】ヘッドマウントディスプレイの虚像スクリーン位置を説明する図である。

【発明を実施するための形態】

【0010】

（実施形態１）
図１は、実施形態１にかかる接触判定システム１の構成を説明する図である。接触判定システム１は、カメラ１００Ａ、カメラ１００Ｂ、表示装置２００Ａ、表示装置２００Ｂ、接触判定装置３００Ａ、接触判定装置３００Ｂ、およびネットワーク回線Ｎを備えている。接触判定装置３００Ａおよび３００Ｂは、ネットワーク回線Ｎを介して互いに通信可能に接続されている。ネットワーク回線Ｎは、有線であっても無線であってもよい。

【0011】

拠点Ａに被写体ＳＡが存在し、拠点Ｂに被写体ＳＢが存在する。被写体ＳＡおよび被写体ＳＢを互いに区別しない場合、被写体ＳＡおよびＳＢは単に被写体Ｓと言われる。被写体Ｓは、人間であってもよく、動物であってもよい。被写体Ｓは、体（例：腹）の表面に電流（例：低周波パルス電流）を供給する電子機器（不図示）を身に着けていてもよい。

【0012】

接触判定システム１は、具体的には、被写体ＳＡの所定部分（例：手）が被写体ＳＢに仮想的に接触したかを判定する機能と、被写体ＳＢの所定部分（例：手）が被写体ＳＡに仮想的に接触したかを判定する機能とを備える。例えば、人間である被写体ＳＡおよびＳＢがリモートでボクシングを行う場合、拳状に握られた手が所定部分になる。所定部分は、体の手以外の部分（例：脚）であってもよい。また、所定部分は、体の部分には限定されず、手に持たれた所定の物体であってもよい。例えば、被写体ＳＡおよびＳＢがリモートでフェンシングを行う場合、被写体Ｓが手に持つ剣が、所定部分になる。以下では、被写体ＳＡおよびＳＢがリモートでボクシングを行う場合が主に説明される。

【0013】

カメラ１００Ａおよびカメラ１００Ｂは同様の構成を備える。カメラ１００Ａおよびカメラ１００Ｂを互いに区別しない場合、カメラ１００Ａおよびカメラ１００Ｂは単にカメラ１００と言われる。

【0014】

カメラ１００は、深度画像を撮像するＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサと、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）センサとを備えている。ＴｏＦセンサが受光する光およびＲＧＢセンサが受光する光は、同光軸でカメラ１００に入射する。以降の説明では、このような構成についてＴｏＦセンサはＲＧＢセンサと同光軸であると表記する。

【0015】

図２は、カメラ１００の構成の一例を説明する図である。被写体Ｓが、環境光２１に照明されている。カメラ１００は、レーザ光源１１０、レンズ１２０、可視光反射ダイクロイック膜１３０、ＴｏＦセンサ１４０、測距プロセス１５０、ＲＧＢセンサ１６０、およびＲＧＢプロセス１７０を備えている。可視光反射ダイクロイック膜１３０は、２つのプリズムを貼り合わせることで構成されている。また、レンズ１２０は可視光と赤外光の両方に適したレンズであってもよい。

【0016】

まず、深度画像（深度データ）を撮像する動作について説明する。ＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ ＬＡＳＥＲ）等のレーザ光源１１０で発生したパルス状の赤外光が、被写体Ｓに照射される。被写体Ｓで反射した赤外光は、右向き矢印で示されるように、カメラ１００に戻る。赤外光はレンズ１２０によって集光され、可視光反射ダイクロイック膜１３０を透過し、ＴｏＦセンサ１４０に入射する。ＴｏＦセンサ１４０は、例えば、赤外光を撮像可能なＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。測距プロセス１５０が、ＴｏＦセンサ１４０からのデータを処理し、距離データ、つまり深度データを出力する。被写体Ｓに赤外光を照射してからＴｏＦセンサ１４０に受光されるまでの時間を計測することで、深度が測定される。ＴｏＦセンサ１４０が測距プロセス１５０を内包し、ＴｏＦセンサ１４０が深度画像を出力するようにしてもよい。

【0017】

次に、ＲＧＢ画像を撮像する動作について説明する。環境光２１に照明された被写体Ｓからの可視光は、レンズ１２０によって集光され、可視光反射ダイクロイック膜１３０で反射され、ＣＭＯＳイメージセンサ等のＲＧＢセンサ１６０に入射する。ＲＧＢプロセス１７０は、ＲＧＢセンサ１６０からのデータを処理し、ＲＧＢデータを出力する。ＲＧＢセンサ１６０の画素とＴｏＦセンサ１４０の画素とが対応していてもよい。

【0018】

ＲＧＢデータは、２次元平面上の座標ごとのＲＧＢ値を表す。同様に、深度データも座標ごとの深度を表す。ＴｏＦセンサ１４０とＲＧＢセンサ１６０とは、同一の垂直同期信号で同期される。これにより、ＲＧＢ映像に同期して、被写体Ｓの各部分の深度が把握される。ＴｏＦセンサ１４０がＲＧＢセンサ１６０と同光軸であるため、ＲＧＢデータと深度データの座標位置が合っており、後述する接触判定が容易に行われる。カメラ１００は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）／ＰＴＰ（Ｐｕｌｓｅ Ｐｅｒ Ｓｅｃｏｎｄ）等によりクロックレベルで他のカメラ１００と同期している。

【0019】

図１を参照し、カメラ１００Ａは、拠点Ａに設置されている。カメラ１００ＡのＴｏＦセンサは、被写体ＳＡの深度画像を撮像する。カメラ１００ＡのＲＧＢセンサは、被写体ＳＡのＲＧＢ画像を撮像する。深度画像とＲＧＢ画像は対応している。深度画像およびＲＧＢ画像は、所謂ＲＧＢＤ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ，Ｄｅｐｔｈ）データとして保存されてもよい。カメラ１００Ａは接触判定装置３００Ａに接続されている。カメラ１００Ａは、深度画像およびＲＧＢ画像を接触判定装置３００Ａに出力する。

【0020】

カメラ１００Ｂは、拠点Ｂに設置されている。カメラ１００ＢのＴｏＦセンサは、被写体ＳＢの深度画像を撮像する。カメラ１００ＢのＲＧＢセンサは、被写体ＳＢのＲＧＢ画像を撮像する。カメラ１００Ｂは接触判定装置３００Ｂに接続されている。カメラ１００Ｂは、深度画像およびＲＧＢ画像を接触判定装置３００Ｂに出力する。

【0021】

表示装置２００Ａは、拠点Ａに設置されたディスプレイやモニタ等である。ディスプレイは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。表示装置２００Ａは、接触判定装置３００Ａに接続されている。表示装置２００Ｂは、接触判定装置３００Ｂに接続されている。表示装置２００Ａおよび２００Ｂを互いに区別しない場合、表示装置２００Ａおよび２００Ｂは単に表示装置２００と言われる。表示装置２００は、ヘッドマウントディスプレイであってもよい。表示装置２００がヘッドマウントディスプレイである例については後述する。

【0022】

接触判定装置３００Ａは、カメラ１００Ａから、カメラ１００Ａにより撮影された深度画像およびＲＧＢ画像を取得する。接触判定装置３００Ａは、カメラ１００Ａから取得した深度画像およびＲＧＢ画像を接触判定装置３００Ｂに送信する。また、接触判定装置３００Ａは、カメラ１００Ｂにより撮影された深度画像およびＲＧＢ画像を接触判定装置３００Ｂから受信する。

【0023】

接触判定装置３００Ｂは、カメラ１００Ｂから、深度画像およびＲＧＢ画像を取得する。接触判定装置３００Ｂは、カメラ１００Ｂから取得した深度画像およびＲＧＢ画像を接触判定装置３００Ａに送信する。また、接触判定装置３００Ｂは、カメラ１００Ａにより撮影された深度画像およびＲＧＢ画像を接触判定装置３００Ａから受信する。

【0024】

接触判定装置３００Ａは、例えば、被写体ＳＢの拳が被写体ＳＡに仮想的に接触したかを判定し、接触判定装置３００Ｂは、被写体ＳＡの拳が被写体ＳＢに仮想的に接触したかを判定する。また、接触判定装置３００Ａは被写体ＳＡの拳が被写体ＳＢに仮想的に接触したかを判定し、接触判定装置３００Ｂは被写体ＳＢの拳が被写体ＳＡに仮想的に接触したかを判定してもよい。接触判定装置３００は、被写体ＳＡおよびＳＢのうち所定の被写体Ｓ（第１の被写体Ｓと言われる）の拳が、第１の被写体Ｓとは異なる被写体Ｓ（第２の被写体Ｓと言われる）に仮想的に接触したかを判定する。第１の被写体Ｓを撮影するカメラ１００は、第１のカメラ１００と言われる。第２の被写体Ｓを撮影するカメラ１００は、第２のカメラ１００と言われる。以降の説明では、第１の被写体Ｓの拳が第２の被写体Ｓに仮想的に接触したことを、単に第１の被写体Ｓの拳が第２の被写体Ｓに接触したと表記することがある。

【0025】

接触判定装置３００Ａは、被写体ＳＢが撮影されたＲＧＢ画像に、被写体ＳＡの拳に関連する関連画像（例：ボクシンググローブの画像）を重畳させたＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成する。接触判定装置３００Ａは、ＡＲ画像を表示装置２００Ａに出力する。接触判定装置３００Ｂは、被写体ＳＡが撮影されたＲＧＢ画像に関連画像を重畳させたＡＲ画像を生成し、表示装置２００Ｂに出力する。なお、表示装置２００がヘッドマウントディスプレイである場合、各被写体Ｓの実際の拳が表示されるため、ＡＲ画像を生成する必要はない。

【0026】

接触判定装置３００Ａは、接触判定の結果に応じて、所定部分が接触したことを表す画像（例：衝撃を表す画像）をＲＧＢ画像にさらに重畳させる。また、接触判定装置３００Ａは、被写体ＳＡが身につけた電子機器に制御信号を送信し、被写体ＳＡの体に電流を供給してもよい。同様に、接触判定装置３００Ｂは、接触判定の結果に応じて、ＲＧＢ画像に画像を重畳させたり、被写体ＳＢの体に電流を供給したりする。

【0027】

このように、接触判定装置３００Ａおよび３００Ｂは同様の機能を備える。接触判定装置３００Ａおよび３００Ｂを互いに区別しない場合、接触判定装置３００Ａおよび３００Ｂは、単に接触判定装置３００と言われる。

【0028】

図３を参照し、接触判定装置３００の構成について詳細に説明する。接触判定装置３００は、第１取得部３１０、第２取得部３２０、判定部３３０、生成部３４０、報知部３５０、および送信部３６０を備えている。

【0029】

接触判定装置３００は、接触判定装置３００が設置された拠点にいる被写体Ｓが拳を当てられたことを判定してもよい。また、接触判定装置３００は、接触判定装置３００が設置された拠点にいる被写体Ｓの拳が当たったことを判定してもよい。以下では、被写体Ｓが拳を当てられたことを判定する例が、主に説明される。

【0030】

なお、接触判定装置３００は、第１のカメラ１００または第２のカメラ１００と接続するためのカメラインタフェース（不図示）を備える。接触判定装置３００は、例えば、第２のカメラ１００に接続される。また、接触判定装置３００は、ネットワーク回線Ｎとの通信インタフェース（不図示）を備える。

【0031】

第１取得部３１０は、第１のカメラ１００により第１の被写体Ｓが撮影された第１の深度画像と第１のＲＧＢ画像を取得する。第１のＲＧＢ画像は、第１の深度画像に対応するＲＧＢ画像である。そして、第１取得部３１０は、第１の深度画像に基づいて、第１の被写体Ｓの拳の深度を取得する。深度は、第１の深度画像上の座標と対応づけられていてもよい。第１取得部３１０は、第１の深度画像に基づいて、第１の被写体Ｓの拳以外の部分（例：頭、胸、腹）の深度をさらに取得してもよい。第１取得部３１０は、第１の被写体Ｓの両方の拳の深度を取得してよい。

【0032】

第１取得部３１０は、通信インタフェースを介して第１の深度画像等を取得してもよく、カメラインタフェースを介して第１の深度画像等を取得してもよい。接触判定装置３００が設置された拠点にいる被写体Ｓが拳を当てられたことを判定する場合、第１取得部３１０は、通信インタフェースを介して第１の深度画像等を取得する。第１の被写体Ｓの拳等の深度は、他の接触判定装置３００やサーバ（不図示）によって算出されてもよい。第１取得部３１０が算出結果を取得する場合、第１取得部３１０は、第１の深度画像を取得しなくてもよい。

【0033】

第１取得部３１０は、例えば、第１のＲＧＢ画像から拳に対応する画像領域を検出する。例えば、第１の被写体Ｓが所定の色のグローブを身に着けている場合、第１のＲＧＢ画像から所定の色の領域を検出する。そして、第１取得部３１０は、検出された画像領域に対応する画像領域を第１の深度画像から抽出し、抽出された画像領域から深度を算出してもよい。なお、第１取得部３１０は、第１の深度画像から直接拳の領域を検出してもよい。

【0034】

第２取得部３２０は、第２のカメラ１００により第２の被写体Ｓが撮影された第２の深度画像および第２のＲＧＢ画像を取得する。第２のＲＧＢ画像は、第２の深度画像に対応するＲＧＢ画像である。そして、第２取得部３２０は、第２の深度画像に基づいて、第２の被写体Ｓの各部分の深度を取得する。第２取得部は、拳の深度と拳以外の部分（例：頭、胸、腹）の深度を取得してもよい。拳の深度は、例えば、ＡＲ画像を生成するために用いられる。拳以外の部分（例：腹）の深度は、例えば、判定部３３０による接触判定に用いられる。

【0035】

第２取得部３２０も、第１取得部３１０と同様に、カメラインタフェースを介して第２の深度画像等を取得してもよく、通信インタフェースを介して第２の深度画像等を取得してもよい。例えば、接触判定装置３００が設置された拠点にいる被写体Ｓが拳を当てられたことを判定する場合、第２取得部３２０は、カメラインタフェースを介して第２の深度画像等を取得する。

【0036】

判定部３３０は、第１の被写体Ｓの拳の深度および第２の深度画像に基づいて、第１の被写体Ｓの拳が第２の被写体Ｓに仮想的に接触したかを判定する。判定部３３０は、第２の被写体Ｓの拳以外の部分（例：腹）の深度に基づき、第１の被写体Ｓの拳が前記部分（例：腹）に接触したかを判定してもよい。なお、判定部３３０は、第２の被写体Ｓの深度データ全体に基づいて、第１の被写体Ｓの拳が第２の被写体Ｓの体のどこかに接触したかを判定してもよい。この場合、第２取得部３２０は、第２の被写体Ｓの各部分の深度を算出する必要はない。

【0037】

判定部３３０は、例えば、第１のカメラ１００から見た第１の被写体Ｓの拳の深度を、第２のカメラ１００から見た仮想的な深度に変換する。例えば、第１のカメラ１００から見た拳の深度を所定長から減算することにより、拳の仮想的な深度が算出されてもよい。なお、深度の変換は、後述する立ち位置に基づいて行われてもよい。そして、判定部３３０は、第２のカメラ１００から見て、第１の被写体Ｓの拳が第２の被写体Ｓの体に接触しているかを判定してもよい。例えば、変換後の拳の深度が、第２の被写体の拳以外の部分（例：頭、腹、足等）の深度に一致した場合、第１の被写体Ｓの拳が第２の被写体Ｓに接触したと判定される（肯定的な判定結果）。なお、第２のカメラ１００から見た第２の被写体Ｓの深度データが、第１のカメラ１００から見た深度データに変換されてもよい。

【0038】

生成部３４０は、第２の被写体Ｓの拳の深度に基づいて、第１のＲＧＢ画像に、第２の被写体Ｓの拳に関連する関連画像（例：ボクシンググローブの画像）を重畳させたＡＲ画像を生成する。そして、生成部３４０は、接触判定装置３００に接続された表示装置２００にＡＲ画像を出力する。ただし、第２の被写体Ｓが、接触判定装置３００が設置された拠点にいるものとする。第１の被写体Ｓが、接触判定装置３００が設置された拠点にいる場合、生成部３４０は、第１の被写体Ｓの拳の深度に基づいてＡＲ画像を生成する。生成部３４０は、判定部３３０の判定結果が肯定的である場合、拳が接触したことを表す画像（例：衝撃を表す画像）を、第１のＲＧＢ画像等にさらに重畳させてもよい。

【0039】

図４は、ＡＲ画像の一例を説明する図である。第１の被写体Ｓが撮影された第１のＲＧＢ画像２２に、ボクシンググローブを表す関連画像２３が表示されている。これにより、第２の被写体Ｓは、対戦相手との位置関係を正確に把握できる。第２の被写体Ｓと第２のカメラ１００との距離が変化しない場合、第２の被写体Ｓの拳の深度が小さいほど、第２の被写体Ｓから第２の被写体Ｓの拳が離れることになるので、関連画像２３を小さく表示させてもよい。

【0040】

図３を参照し、報知部３５０は、判定部３３０の判定結果が肯定的である場合、第２の被写体Ｓが身に着けた電子機器に電流の供給を行わせる。これにより、第２の被写体Ｓに接触判定の結果を報知することができる。なお、電子機器が振動したり音を出力したりすることで、第２の被写体Ｓに判定結果が報知されてもよい。報知部３５０は、第１の被写体Ｓに報知を行ってもよい。

【0041】

送信部３６０は、カメラインタフェースを介して取得した深度画像およびＲＧＢ画像を他の接触判定装置３００に送信する。送信されたＲＧＢ画像は、他の接触判定装置３００に接続された表示装置２００に表示される。送信部３６０は、深度画像の代わりに、第２の被写体Ｓや第１の被写体Ｓの各部分の深度を送信してもよい。

【0042】

送信部３６０は、ＪＰＥＧ―ＸＳのように画像をｌｉｎｅ単位で圧縮するコーデックを使用し、カメラインタフェースを介して取得したＲＧＢ画像を圧縮する。これにより、送信部３６０は、低遅延で画像を伝送できる。送信部３６０は、他の圧縮アルゴリズムを用いてＲＧＢ画像を圧縮してもよい。

【0043】

第１取得部３１０、第２取得部３２０、判定部３３０、生成部３４０、報知部３５０、および送信部３６０の機能は、図示しないプログラムを図示しないＲＡＭ等のメモリに読み込ませ、図示しないプロセッサが実行することにより実現されてもよい。また、各機能は、専用のハードウェアによって実現されてもよい。

【0044】

図１を参照し、被写体ＳＡおよびＳＢの各部分の深度の算出は、接触判定装置３００Ａおよび３００Ｂのどちらで実行されてもよく、また、両方で実行されてもよい。被写体ＳＡの拳が被写体ＳＢに仮想的に接触したかを判定することは、接触判定装置３００Ａおよび３００Ｂのどちらで実行されてもよい。また、各部分の深度の算出、接触判定、およびＡＲ画像の生成の一部または全部が、カメラ１００や図示しないサーバで実行されてもよい。例えば、ネットワークＮに接続されたサーバが、接触判定装置３００の機能を備えていてもよい。この場合、接触判定装置３００が各拠点に設置されている必要はない。図１および図２を参照し、上記のサーバの機能構成の一例について説明する。サーバは、カメラ１００Ａにより撮影された深度画像およびＲＧＢ画像を、ネットワークＮを介して取得する機能と、カメラ１００Ｂにより撮影された深度画像およびＲＧＢ画像を、ネットワークＮを介して取得する機能と備える。そして、サーバの第１取得部３１０は、カメラ１００Ａにより撮影された深度画像に基づいて被写体ＳＡの拳の深度を取得する。同様に、サーバの第１取得部３１０は、カメラ１００Ｂにより撮影された深度画像に基づいて被写体ＳＢの拳の深度を取得する。そして、サーバの判定部３３０は、被写体ＳＡの拳の深度、およびカメラ１００Ｂにより撮影された深度画像に基づいて、被写体ＳＡの拳が被写体ＳＢに仮想的に接触したかを判定し、判定結果を拠点Ｂに送信する。同様に、サーバの判定部３３０は、被写体ＳＢの拳の深度、およびカメラ１００Ａにより撮影された深度画像に基づいて、被写体ＳＢの拳が被写体ＳＡに仮想的に接触したかを判定し、判定結果を拠点Ａに送信する。
また、サーバの生成部３４０は、カメラ１００Ｂにより撮影された深度画像に基づいて、カメラ１００Ａにより撮影されたＲＧＢ画像に被写体ＳＢの拳の関連画像を重畳させたＡＲ画像を生成し、拠点Ｂに送信する。同様に、サーバの生成部３４０は、被写体ＳＡが撮影された深度画像に基づいて、被写体ＳＢが撮影されたＲＧＢ画像に被写体ＳＡの拳の関連画像を重畳させたＡＲ画像を生成し、拠点Ａに送信する。

【0045】

ところで、接触判定システム１では、被写体ＳＡと被写体ＳＢの間の仮想的な距離が適切に設定される必要がある。このことは、上述した深度の変換に関連する。一例として、被写体ＳＡの基準位置（基準位置Ａと言われる）と被写体ＳＢの基準位置（基準位置Ｂと言われる）とを予め定めておき、被写体ＳＡが基準位置Ａに立ち、かつ、被写体ＳＢが基準位置Ｂに立った後、接触判定を開始することが考えられる。被写体ＳＡが基準位置Ａに立っているとき、被写体ＳＡは、カメラ１００Ｂから見た所定位置に立っていると仮定される。被写体ＳＢが基準位置Ｂに立っているとき、被写体ＳＢは、カメラ１００Ａから見た所定位置に立っていると仮定される。

【0046】

図５は、被写体ＳＡおよびＳＢの仮想的な立ち位置を説明する図である。左側の図には、カメラ１００Ａと、被写体ＳＡと、仮想的な被写体ＳＢとが含まれている。仮想的な被写体ＳＢは点線で示されている。右側の図には、カメラ１００Ｂと、被写体ＳＢと、仮想的な被写体ＳＡとが含まれている。仮想的な被写体ＳＡは点線で示されている。左側の図を参照すると、被写体ＳＡは、カメラ１００Ａから所定距離ｄ１だけ離れた基準位置（基準位置Ａ）に立っている。右側の図を参照すると、カメラ１００Ｂから見た仮想的な被写体Ａの深度は、所定値Ｄｔ１である。被写体ＳＢについても同様である。

【0047】

符号ｄ２は被写体ＳＡの拳の深度を表しており、符号ｄ３は被写体ＳＢの拳の深度を表している。被写体ＳＡの拳の深度および被写体ＳＢの拳の深度は可変である。表示装置２００Ａに表示される関連画像（例：ボクシンググローブの画像）の位置や大きさは、被写体ＳＡの実際の立ち位置と基準位置Ａの差分と、被写体ＳＡの拳の移動距離に基づいて定められてもよい。被写体ＳＡの立ち位置は、被写体ＳＡの足の位置であってもよく、腹の位置であってもよく、頭の位置であってもよい。この場合、被写体ＳＢの拳の深度ｄ３が、被写体ＳＡの仮想的な立ち位置に一致したとき、被写体ＳＢの拳が被写体ＳＡに接触したと判定される。

【0048】

他の例では、接触判定を行う前に、仮想的な立ち位置を決定するためのキャリブレーションが行われる。ボクシングの試合開始時に対戦者同士で拳を突き合わせるように、被写体ＳＡが拳をカメラ１００Ａの方に付き出し、被写体ＳＢが拳をカメラ１００Ｂの方に付き出す。つまり、被写体ＳＡがカメラ１００Ａに拳を近づけ、被写体ＳＢがカメラ１００Ｂに拳を近づける。そして、第１の被写体Ｓの拳の深度および第２の被写体Ｓの拳の深度に基づいて、被写体ＳＡおよびＳＢの仮想的な位置のキャリブレーションが行われる。具体的には、被写体ＳＡの拳の位置と被写体ＳＢの拳の位置とが合うように、被写体ＳＡの仮想的な立ち位置や被写体ＳＢの仮想的な立ち位置が定められる。

【0049】

図６は、キャリブレーションの方法を説明する図である。左側の図を参照すると、符号ｄ１は、被写体ＳＡによって突き出された拳の深度を表している。符号ｄ２は、被写体ＳＡの立ち位置を表している。したがって、被写体ＳＡの立ち位置から被写体ＳＡの拳までの距離は、ｄ２－ｄ１である。右側の図を参照すると、符号ｄ３は、被写体ＳＢによって突き出された拳の深度を表している。符号ｄ４は、被写体ＳＢの立ち位置を表している。したがって、被写体ＳＢの立ち位置から被写体ＳＢの拳までの距離は、ｄ４－ｄ３である。

【0050】

右側の図を参照し、被写体ＳＡの仮想的な立ち位置の基準となる深度をＤｔ２とする。被写体ＳＡの実際の立ち位置から拳までの距離はｄ２－ｄ１であるため、Ｄｔ２＝ｄ３－（ｄ２－ｄ１）が成立する。同様に、被写体ＳＢの仮想的な立ち位置の基準となる深度をＤｔ１とすると、Ｄｔ１＝ｄ１－（ｄ４－ｄ３）が成立する。Ｄｔ１およびＤｔ２を定めた後は、基準位置ＡおよびＢを予め決定した場合と同様に、立ち位置の変化量や拳を動かした量に基づいてＡＲ画像を表示させてもよい。

【0051】

次に、表示装置２００がヘッドマウントディスプレイである場合について説明する。図７および図８は、ヘッドマウントディスプレイの虚像スクリーン位置を設定する方法を説明する図である。図７は、カメラ１００Ａの位置を基準に被写体ＳＡを表す点群データを生成し、カメラ１００Ｂの位置を基準に被写体ＳＢを表す点群データを生成した状態を示す。カメラ１００Ａおよび１００Ｂの撮影方向をｚ方向とし、撮影方向に平行な平面をｘｙ平面としている。カメラ１００Ａによる深度画像の中心部における被写体ＳＡの深度をｄ１とし、カメラ１００Ｂによる深度画像の中心部における被写体ＳＢの深度をｄ２とする。

【0052】

図８を参照すると、被写体ＳＡが装着したヘッドマウントディスプレイの虚像スクリーン位置（虚像面基準Ａと言われる）と、被写体ＳＢが装着したヘッドマウントディスプレイの虚像スクリーン位置（虚像面基準Ｂと言われる）とが示されている。虚像面基準Ａには点線で示された被写体ＳＢが存在し、虚像面基準Ｂには点線で示された被写体ＳＡが存在する。被写体ＳＡから虚像面基準Ａまでの距離は、被写体ＳＢから虚像面基準Ｂまでの距離に等しい。被写体ＳＡが装着したヘッドマウントディスプレイの虚像スクリーン位置のデフォルト値ｄ＿ｈｍｄ１が、被写体ＳＢが装着したヘッドマウントディスプレイの虚像スクリーン位置のデフォルト値ｄ＿ｈｍｄ２より小さい場合、大きい方のデフォルト値ｄ＿ｈｍｄ２が、虚像面基準ＡおよびＢに設定される。または、お互いのプレーヤーの条件をそろえるためお互いのヘッドマウントディスプレイの虚像面基準のデフォルト値ｄ＿ｈｍｄ１とデフォルト値ｄ＿ｈｍｄ２の平均値を求め、平均値を虚像面基準ＡおよびＢに設定してもよい。虚像面基準ＡおよびＢが定まった後、ヘッドマウントディスプレイを使わない場合と同様に接触判定が行われる。ヘッドマウントディスプレイの場合、相手が目の前にいるように表示されるため、ＡＲ画像を表示する必要はない。つまり、接触判定装置３００は、生成部３４０を備えていなくてもよい。なお、ヘッドマウントディスプレイを用いる場合も、各被写体Ｓが腕を突き出すことによるキャリブレーションが行われ、これにより映像視差の調整が行われてもよい。

【0053】

実施形態１にかかる接触判定装置は、第１の被写体Ｓの所定部分の深度と、第２の被写体Ｓの深度画像とに基づいて接触判定を行うことで、接触判定に必要な時間を低減できる。接触判定装置はリアルタイムに接触判定を行うことができため、被写体ＳＡおよびＳＢは実際のボクシングに近い体験をすることができる。実施形態１では、モーションキャプチャのように専用装置を装着する必要はない。

【0054】

被写体ＳＡと被写体ＳＢは、ボクシング以外の任意の格闘技（例：フェンシング）を行ってよい。さらに、被写体ＳＡまたはＳＢは動物であってもよい。例えば、人間である被写体Ｓが、動物である被写体Ｓに仮想的に触ったことが判定され、接触判定装置がコミュニケーション用途に応用されてもよい。

【0055】

上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【符号の説明】

【0056】

１ 接触判定システム
１００、１００Ａ、１００Ｂ カメラ
１１０ レーザ光源
１２０ レンズ
１３０ 可視光反射ダイクロイック膜
１４０ ＴｏＦセンサ
１５０ 測距プロセス
１６０ ＲＧＢセンサ
１７０ ＲＧＢプロセス
２００、２００Ａ、２００Ｂ 表示装置
３００、３００Ａ、３００Ｂ 接触判定装置
３１０ 第１取得部
３２０ 第２取得部
３３０ 判定部
３４０ 生成部
３５０ 報知部
３６０ 送信部
２１ 環境光
２２ 第１のＲＧＢ画像
２３ 関連画像
Ｎ ネットワーク回線
Ｓ、ＳＡ、ＳＢ 被写体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】