特許 7704135 端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-30

(45)【発行日】2025-07-08

(54)【発明の名称】端末装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250701BHJP

   G06T 7/60 20170101ALI20250701BHJP

【ＦＩ】

G06T7/00 C

G06T7/60 180B

【請求項の数】 1

(21)【出願番号】P 2022212649

(22)【出願日】2022-12-28

(65)【公開番号】P2024095381

(43)【公開日】2024-07-10

【審査請求日】2024-03-12

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【識別番号】100203264

【弁理士】

【氏名又は名称】塩川 未久

(72)【発明者】

【氏名】ペラエズ ホルヘ

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２００５－３２７１２５（ＪＰ，Ａ）

【文献】特開２０２２－１５９４１７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０３８３５９４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

通信部及び制御部を備える端末装置であって、
前記制御部は、
他の端末装置から第１デプスマップを前記通信部によって受信し、前記第１デプスマップは、複数の第１画素を含み、前記第１画素は、３次元空間上の被写体までの距離に応じた画素値を有し、前記被写体は、前記他の端末装置のユーザであり、
前記端末装置のユーザの視線に基づいて所定の直線を設定し、
前記所定の直線に基づいて第２デプスマップを生成し、前記第２デプスマップは、複数の第２画素を含み、前記第２画素は、前記３次元空間において設定される所定の直線までの距離に応じた画素値を有し、
同じ座標の前記第１画素の画素値と前記第２画素の画素値との差分が閾値以内である場合、前記座標を前記被写体と前記所定の直線との衝突点として検出する、端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、端末装置に関する。

【背景技術】

【0002】

従来、３次元仮想空間上の２つの物体が衝突するか否かを判定する衝突判定（Collision Detection）が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－３２８４４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の衝突判定は、２つの物体のうちの一方の物体のポリゴンモデルと他方の物体から延ばした直線との交点すなわち衝突点を検出することにより行われる。他方の物体は、例えば、壁又は他の物体のポリゴンモデル等である。ポリゴンモデルを構成する多角形の面の数は、膨大である。そのため、従来の衝突判定では、計算コストが高くなるという問題があった。

【0005】

かかる点に鑑みてなされた本開示の目的は、衝突判定において計算コストを削減することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る端末装置は、制御部を備える。第１デプスマップは、複数の第１画素を含む。前記第１画素は、３次元空間上の被写体までの距離に応じた画素値を有する。第２デプスマップは、複数の第２画素を含む。前記第２画素は、前記３次元空間において設定される所定の直線までの距離に応じた画素値を有する。前記制御部は、同じ座標の前記第１画素の画素値と前記第２画素の画素値との差分が閾値以内である場合、前記座標を前記被写体と前記所定の直線との衝突点として検出する。

【発明の効果】

【0007】

本開示の一実施形態によれば、衝突判定において計算コストを削減することができる。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施形態に係るシステムの概略構成を示すブロック図である。

【図2】図１に示す端末装置の動作例を示すフローチャートである。

【図3】第１デプスマップ及び第２デプスマップを説明するための図である。

【発明を実施するための形態】

【0009】

以下、本開示に係る実施形態について、図面を参照して説明する。

【0010】

図１に示すようなシステム１は、仮想空間を利用して仮想イベントを提供する。システム１は、端末装置１０Ａと、端末装置１０Ｂとを含む。端末装置１０Ａと、端末装置１０Ｂとは、ネットワーク２を介して通信可能である。ネットワーク２は、移動体通信網及びインターネット等を含む任意のネットワークであってよい。以下、端末装置１０Ａ，１０Ｂを特に区別しない場合、これらは、単に「端末装置１０」とも記載される。

【0011】

端末装置１０Ａは、ユーザ３Ａによって使用される。ユーザ３Ａは、端末装置１０Ａを用いて仮想イベントに参加者として参加する。端末装置１０Ｂは、ユーザ３Ｂによって使用される。ユーザ３Ｂは、端末装置１０Ｂを用いて仮想イベントに参加者として参加する。端末装置１０は、例えば、デスクトップＰＣ（Personal Computer）、タブレットＰＣ、ノートＰＣ又はスマートフォン等の端末装置である。

【0012】

端末装置１０は、通信部１１と、入力部１２と、出力部１３と、カメラ１４と、測距センサ１５と、記憶部１６と、制御部１７とを備える。

【0013】

通信部１１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、例えば、有線ＬＡＮ若しくは無線ＬＡＮ等の規格に対応した通信モジュールであるか、又は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）若しくは５Ｇ（5th Generation）等の移動体通信規格に対応した通信モジュールである。

【0014】

入力部１２は、ユーザからの入力を受け付け可能である。入力部１２は、ユーザからの入力を受け付け可能な少なくとも１つの入力用インタフェースを含んで構成される。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン又はマイク等である。

【0015】

出力部１３は、データを出力可能である。出力部１３は、データを出力可能な少なくとも１つの出力用インタフェースを含んで構成される。出力用インタフェースは、例えば、ディスプレイ又はスピーカ等である。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイ等である。

【0016】

カメラ１４は、被写体を撮像して撮像画像を生成可能である。カメラ１４は、例えば、可視光カメラである。カメラ１４は、例えば１５～３０［ｆｐｓ］のフレームレートで被写体を連続的に撮像する。カメラ１４は、出力部１３のディスプレイに対向するユーザを被写体として撮像可能な位置に配置される。

【0017】

測距センサ１５は、被写体までの距離を測定可能である。測距センサ１５は、被写体としてのユーザまでの距離を測定可能な位置に配置される。例えば、測距センサ１５は、出力部１３のディスプレイの枠に配置される。測距センサ１５は、デプスマップを生成する。デプスマップは、複数の画素を含む。デプスマップの各画素は、測距センサ１５からユーザまでの距離に応じた画素値を有する。測距センサ１５は、例えば、ＴｏＦ（Time Of Flight）カメラ、ＬｉＤＡＲ（Light Detection And Ranging）又はステレオカメラを含んで構成される。測距センサは、「デプスカメラ」とも称される。

【0018】

記憶部１６は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。記憶部１６は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部１６には、端末装置１０の動作に用いられるデータと、端末装置１０の動作によって得られたデータとが記憶される。端末装置１０Ａの記憶部１６には、端末装置１０Ｂの測距センサ１５の後述のカメラパラメータが記憶される。

【0019】

制御部１７は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。制御部１７は、端末装置１０Ａの各部を制御しながら、端末装置１０Ａの動作に関わる処理を実行する。

【0020】

図２は、図１に示す端末装置１０Ａの動作例を示すフローチャートである。仮想イベントが開始すると、制御部１７は、ステップＳ１の処理を開始する。

【0021】

ステップＳ１の処理において、制御部１７は、ネットワーク２を介して端末装置１０Ｂから、ユーザ３Ｂの撮像画像及び第１デプスマップ２０のデータを受信する。制御部１７は、ユーザ３Ｂの撮像画像及び第１デプスマップ２０のデータを受信することにより取得する。ユーザ３Ｂの撮像画像は、端末装置１０Ｂのカメラ１４によって生成されたものである。第１デプスマップ２０は、端末装置１０Ｂの測距センサ１５によって生成されたものである。第１デプスマップ２０は、複数の第１画素を含む。第１画素は、３次元空間上の所定点から被写体までの距離に応じた画素値を有する。本実施形態では、３次元空間上は、ユーザ３Ｂがいる空間である。本実施形態では、所定点は、端末装置１０Ｂの測距センサ１５の位置である。つまり、本実施形態では、第１画素は、所定点としての端末装置１０Ｂの測距センサ１５から被写体としてのユーザ３Ｂまでの距離に応じた画素値を有する。図３には、第１デプスマップ２０を示す。図３では、画素値の違いを網掛けで示す。

【0022】

ステップＳ２の処理において、制御部１７は、３次元空間において図３に示すような所定の直線２１を設定する。本実施形態では、上述したように、３次元空間は、ユーザ３Ｂがいる空間である。制御部１７は、ユーザ３Ａの視線に基づいて所定の直線２１を設定してよい。制御部１７は、端末装置１０Ａのカメラ１４が生成した撮像画像を解析することにより、ユーザ３Ａの視線を検出してよい。制御部１７は、ステップＳ１からステップＳ７の処理を繰り返し実行する場合、後述のステップＳ７の処理で出力部１３のディスプレイに表示される２次元モデルに対するユーザ３Ａの視線を検出してよい。この場合、制御部１７は、ユーザ３Ｂがいる３次元空間におけるユーザ３Ａの視線を特定し、特定したユーザ３Ａの視線を所定の直線２１に設定してよい。このような構成により、後述のステップＳ７の処理において出力部１３のディスプレイに表示されたユーザ３Ｂの２次元モデルのうち、ユーザ３Ａが見ている部分を後述のステップＳ５の処理において衝突点として検出することができる。

【0023】

ステップＳ３の処理において、制御部１７は、３次元空間において設定した所定の直線２１に基づいて図３に示すような第２デプスマップ２２を生成する。第２デプスマップ２２は、複数の第２画素を含む。第２画素は、３次元空間上の所定点から所定の直線２１までの距離に応じた画素値を有する。本実施形態では、上述したように、３次元空間は、ユーザ３Ｂがいる空間である。所定点は、端末装置１０Ｂの測距センサ１５の位置である。つまり、第２画像は、所定点としての端末装置１０Ｂの測距センサ１５から所定の直線２１までの距離に応じた画素値を有する。制御部１７は、記憶部１６から端末装置１０Ｂの測距センサ１５のカメラデータを取得し、端末装置１０Ｂの測距センサ１５のカメラパラメータに基づいて、第２デプスマップ２２を生成してよい。端末装置１０Ｂの測距センサ１５のカメラパラメータは、端末装置１０Ｂの測距センサ１５の内部パラメータ及び外部パラメータの少なくとも何れかを含んでよい。図３では、画素値の違いを網掛けで示す。ここで、第１デプスマップ２０と第２デプスマップ２２とでは、同じ座標系が用いられる。また、第１デプスマップ２０と第２デプスマップ２２とが同じ３次元空間に対応することにより、第１デプスマップ２０と第２デプスマップ２２とにおいて、同じ座標は、３次元空間の同じ位置に対応する。

【0024】

ステップＳ４の処理において、制御部１７は、同じ座標の第１画素の画素値と第２画素の画素値とを比較する。制御部１７は、同じ座標の第１画素の画素値と第２画素の画素値との差分が閾値以内であるか否かを判定する。閾値は、同じ物体についての３次元空間上の所定点からの距離に応じた画素値のバラツキに基づいて設定されてよい。つまり、第１画素の画素値と第２画素の画素値との差分が閾値以内である場合、第１画素に対応する物体の３次元空間上の所定点からの距離と、第２画素に対応する物体の３次元空間上の所定点からの距離とは、同じ距離とみなされてよい。

【0025】

制御部１７は、同じ座標の第１画素の画素値と第２画像の画素値との差分が閾値を超えると判定した場合（ステップＳ４：ＮＯ）、座標をシフトさせてステップＳ４の処理を再度実行する。再度実行するステップＳ４の処理において、制御部１７は、シフト後の座標について、同じ座標の第１画素の画素値と第２画像の画素値との差分が閾値以内であるか否かを判定する。ステップＳ４の処理を繰り返す場合、制御部１７は、第１デプスマップ２０及び第２デプスマップ２２の全ての座標について、同じ座標の第１画素の画素値と第２画像の画素値との差分が閾値以内であると判定しない場合、ステップＳ６の処理に進んでもよい。

【0026】

制御部１７は、同じ座標の第１画素の画素値と第２画像の画素値との差分が閾値以内であると判定した場合（ステップＳ４：ＹＥＳ）、その座標を被写体と所定の直線２１との衝突点として検出する（ステップＳ５）。例えば、図３には、説明の便宜上、第１デプスマップ２０と第２デプスマップとを重ねたデプスマップ２３を示す。座標２４の第１画素の画素値と第２画素の画素値とは、閾値以内である。制御部１７は、座標２４を、被写体としてのユーザ３Ｂと所定の直線２１との衝突点として検出する。

【0027】

ステップＳ６の処理において、制御部１７は、ユーザ３Ｂの３次元モデルを生成する。一例として、制御部１７は、第１デプスマップ２０を用いてポリゴンモデルを生成する。さらに、制御部１７は、ユーザ３Ｂの撮像画像のデータを用いたテクスチャマッピングをポリゴンモデルに施すことにより、ユーザ３Ｂの３次元モデルを生成する。

【0028】

ステップＳ７の処理において、制御部１７は、ステップＳ６の処理で生成した３次元モデルを２次元化することにより、２次元モデルを生成する。制御部１７は、生成した２次元モデルを出力部１３のディスプレイに表示させる。制御部１７は、出力部１３に表示させる２次元モデルにおいて、ステップＳ５の処理で検出した衝突点に対応する部分以外の部分の解像度を設定値よりも下げてもよい。このような構成により、ステップＳ５の処理において出力部１３のディスプレイに表示されたユーザ３Ｂの２次元モデルのうち、ユーザ３Ａが見ている部分を衝突点として検出した場合、ユーザが見ている部分以外の部分の解像度を下げることができる。制御部１７は、出力部１３に表示させる２次元モデルにおいて、ステップＳ５の処理で検出した衝突点に対応する部分の解像度を設定値よりも上げてもよい。このような構成により、ステップＳ５の処理において出力部１３のディスプレイに表示されたユーザ３Ｂの２次元モデルのうち、ユーザ３Ａが見ている部分を衝突点として検出した場合、ユーザが見ている部分の解像度を上げることができる。設定値は、デフォルト値であってよい。

【0029】

制御部１７は、ステップＳ７の処理後、ステップＳ１の処理に戻る。制御部１７は、仮想イベントが終了するまで、ステップＳ１からステップＳ７までの処理を繰り返し実行してよい。

【0030】

このように本実施形態に係る端末装置１０Ａでは、制御部１７は、同じ座標の第１デプスマップ２０の第１画素の画素値と第２デプスマップ２２の第２画素の画素値との差分が閾値以内である場合、その座標を被写体と所定の直線２１との衝突点として検出する。このようにポリゴンモデルを生成する前の第１デプスマップ２０を利用して衝突点を検出することにより、ポリゴンモデルを構成する多角形の面と直線との交点を検出する場合よりも、計算コストを削減することができる。

【0031】

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0032】

１：システム、２：ネットワーク、３Ａ，３Ｂ：ユーザ、１０Ａ，１０Ｂ：端末装置、１１：通信部、１２：入力部、１３：出力部、１４：カメラ、１５：測距センサ、１６：記憶部、１７：制御部、２０：第１デプスマップ、２１：所定の直線、２２：第２デプスマップ、２３：デプスマップ、２４：座標

【図1】

【図2】

【図3】