特許 7718448 端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-28

(45)【発行日】2025-08-05

(54)【発明の名称】端末装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250729BHJP

   H04L 67/131 20220101ALI20250729BHJP

   G06F 3/04883 20220101ALI20250729BHJP

【ＦＩ】

G06T19/00 600

H04L67/131

G06F3/04883

【請求項の数】 4

(21)【出願番号】P 2023076254

(22)【出願日】2023-05-02

(65)【公開番号】P2024160837

(43)【公開日】2024-11-15

【審査請求日】2024-10-24

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100187078

【弁理士】

【氏名又は名称】甲原 秀俊

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(72)【発明者】

【氏名】加来 航

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１５－０９７０７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｌ ６７／１３１

Ｇ０６Ｆ ３／０４８８３

(57)【特許請求の範囲】

【請求項1】

通信部と、前記通信部により通信を行う制御部と、を有する端末装置であって、
基準方向を向いて描画するユーザの画像と当該ユーザによる描画像の入力を受け付ける入力部と、画像を表示する出力部と、を更に有し、
前記制御部は、前記ユーザの画像から前記基準方向を導出し、他の端末装置から受ける、他のユーザを表示し当該他のユーザによる他の描画像を表示するための情報に基づいて、前記出力部に、前記ユーザと当該ユーザの後方に配置される前記他のユーザが共に前記基準方向を向いた合成画像を表示させ、前記描画像付近に当該描画像のサイズに対応するサイズで前記他の描画像をそれぞれの前記基準方向が一致するように表示させる、
端末装置。

【請求項2】

請求項１において、
前記ユーザの画像及び前記他のユーザの画像のいずれか又は両方は３Ｄモデルである、
端末装置。

【請求項3】

請求項１において、
前記出力部は、前記合成画像を前記ユーザの前記基準方向の側で当該ユーザに向けて表示するように配置されるディスプレイを有する、
端末装置。

【請求項4】

請求項１において、
前記出力部は、前記描画像付近に前記他の描画像を投影するプロジェクタを有する、
端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、端末装置に関する。

【背景技術】

【0002】

複数地点のユーザ同士がコンピュータによりネットワークを介して画像、音声を送受し合って通話を行う技術が知られている。特許文献１には、指示者側システムと被指示者側システムとが通信し、被指示者が、投影された指示者画像と出力された音とから被指示者の指示を受けて作業を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許４３２３４４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ネットワーク上の通話のリアリティとユーザ体験を更に向上させる余地がある。

【0005】

本開示は、通話のリアリティとユーザ体験の向上に資する端末装置等を提供する。

【課題を解決するための手段】

【0006】

本開示における端末装置は、通信部と、前記通信部により通信を行う制御部と、を有する端末装置であって、基準方向を向いて描画するユーザの画像と当該ユーザによる描画像の入力を受け付ける入力部と、画像を表示する出力部と、を更に有し、前記制御部は、他の端末装置から受ける、他のユーザを表示し当該他のユーザによる他の描画像を表示するための情報に基づいて、前記出力部に、前記ユーザと前記他のユーザが共に前記基準方向を向いた合成画像を表示させ、前記描画像付近に前記他の描画像をそれぞれの前記基準方向が一致するように表示させる。

【発明の効果】

【0007】

本開示における端末装置等によれば、通話のリアリティとユーザ体験を向上させることが可能となる。

【図面の簡単な説明】

【0008】

【図1】通話システムの構成例を示す図である。

【図2】端末装置１２の使用態様例を示す図である。

【図3A】端末装置の動作例を示すフローチャート図である。

【図3B】端末装置の動作例を示すフローチャート図である。

【発明を実施するための形態】

【0009】

以下、実施の形態について説明する。

【0010】

［通話システムの構成例］
図１は、一実施形態における通話システムの構成例を示す図である。通話システム１は、ネットワーク１１を介して互いに情報通信可能に接続される、サーバ装置１０と複数の端末装置１２を有する。通話システム１は、複数のユーザにそれぞれ使用される端末装置１２間の画像の送受を含む通話を支援するシステムである。

【0011】

サーバ装置１０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置１０は、情報通信可能に接続されて連携動作する二以上のサーバコンピュータにより構成されてもよい。サーバ装置１０は、通話に必要な画像、音声情報等の送受及び情報処理を実行するための構成として、通信部１０１、記憶部１０２、及び制御部１０３を有する。各部の詳細は後述する。

【0012】

ネットワーク１１は、例えばインターネットであるが、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。

【0013】

端末装置１２は、通信機能と情報処理機能とを備えた装置であって、通話を行う各ユーザにより使用される。端末装置１２は、例えば、スマートフォン、タブレット端末といった情報処理端末、又はパーソナルコンピュータ等の情報処理装置を含んで構成されうる。以下では、互いに通信する端末装置１２を区別する場合には、端末装置１２－１、１２－２という。

【0014】

端末装置１２－１は、通信部１２１と、通信部１２１により通信を行う制御部１２３と、を有し、基準方向を向いて描画するユーザの画像とそのユーザによる描画像の入力を受け付ける入力部１２５と、画像を表示する出力部１２６と、を更に有する。制御部１２３は、他の端末装置１２－２から受ける、他のユーザを表示し他のユーザによる他の描画像を表示するための情報に基づいて、出力部１２６に、ユーザと他のユーザが共に基準方向を向いた合成画像を表示させ、描画像付近に他の描画像をそれぞれの基準方向が一致するように表示させる。

【0015】

図２は、上述のように動作する端末装置１２－１、１２－２の使用態様の具体例を示す。ここでは、ユーザ２０－１、２０－２がそれぞれ端末装置１２－１、１２－２を用いて、描画をする自らの画像と描画した描画像、及び音声を送受し合って通話を行う態様が示される。描画像は、文字、記号、絵画等である。

【0016】

ユーザ２０－１は、描画領域２５に対し、基準方向２８を向いて描画像２６を描画する。描画領域２５は、例えば、半紙、画用紙等である。基準方向２８は、ユーザ２０－１前方若しくの手前側から奥への方向である。ユーザ２０－１と描画像２６は、カメラ２２により撮像される。カメラ２２は、端末装置１２－１の入力部１２５に含まれる。カメラ２２は、ユーザ２０－１と描画像２６とを撮像可能な任意の位置に設けられる。あるいは、描画領域２５が入力部１２５に含まれるタッチパネルで構成され、描画像２６がタッチパネルにより入力部１２５に受け付けられてもよい。また、ユーザ２０－１が発話する音声も、入力部１２５に含まれるマイクロフォンにより収音される。ユーザ２０－１と描画像２６の撮像画像及び音声の情報は、ネットワーク１１、サーバ装置１０を介して端末装置１２－２へ送られる。端末装置１２－２では、同様にしてユーザ２０－２と描画像が撮像され、撮像画像と音声の情報が端末装置１２－１へ送られる。

【0017】

端末装置１２－１では、ディスプレイ２３が合成画像２４を表示する。ディスプレイ２３は、出力部１２６に含まれる。合成画像２４は、ユーザ２０－１とユーザ２０－２とが共に基準方向２８を向いた画像を含む。合成画像２４におけるユーザ２０－１とユーザ２０－２の画像は、２Ｄモデルであってもよいし、３Ｄモデルであってもよい。ユーザ２０－１とユーザ２０－２の画像が３Ｄモデルで構成される場合、ディスプレイは３Ｄモデルを立体的に表現可能なライトフィールドディスプレイであってもよい。ディスプレイ２３は、基準方向２８側に配置されることで、ユーザ２０－１は、基準方向を向いて描画を行いながら合成画像２４を見ることができる。また、ユーザ２０－２による描画像２７は、描画領域２５にプロジェクタ２１により投影される。プロジェクタ２１は出力部１２６に含まれる。また、出力部１２６に含まれるスピーカにより、ユーザ２０－２の音声が出力される。端末装置１２－２でも同様にして、ユーザ２０－２に対し合成画像、描画像２６が表示され、ユーザ２０－１の音声が出力される。

【0018】

ユーザ２０－１は、合成画像２４を見ることで、あたかも自分の前面に設置された鏡を介して自分の傍らのユーザ２０－２と通話をするような体験を得る。また、ユーザ２０－１は、自らの描画像２６の付近に表示されるユーザ２０－２の描画像２７を見ることができる。また、ユーザ２０－２も、同様の経験を得る。例えば、ユーザ２０－１が書道、絵画等の学習者であり、ユーザ２０－２が指導者である場合、学習者は自らの手元で指導者の手本を見ながら描画を行い、その描画を指導者により添削してもらうことが可能となる。その際、学習者はあたかも指導者が傍らに存在するかのような体験を得ることができる。よって、通話のリアリティとユーザ体験を向上させることが可能となる。

【0019】

［サーバ装置１０の構成例］
サーバ装置１０は、通信部１０１、記憶部１０２、及び制御部１０３を有する。これらの構成は、サーバ装置１０が二以上のサーバコンピュータで構成される場合には、二以上のコンピュータに適宜に配置される。

【0020】

通信部１０１は、一以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェースである。通信部１０１は、サーバ装置１０の動作に用いられる情報を受信し、またサーバ装置１０の動作によって得られる情報を送信する。サーバ装置１０は、通信部１０１によりネットワーク１１に接続され、ネットワーク１１経由で端末装置１２と情報通信を行う。

【0021】

記憶部１０２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ（Static RAM）又はＤＲＡＭ（Dynamic RAM）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）である。記憶部１０２は、サーバ装置１０の動作に用いられる情報と、サーバ装置１０の動作によって得られた情報とを格納する。

【0022】

制御部１０３は、一以上のプロセッサ、一以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などの汎用プロセッサ、又は特定の処理に特化したＧＰＵ（Graphics Processing Unit）等の専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１０３は、サーバ装置１０の各部を制御しながら、サーバ装置１０の動作に係る情報処理を実行する。

【0023】

サーバ装置１０の機能は、制御プログラムを、制御部１０３に含まれるプロセッサが実行することにより実現される。制御プログラムは、コンピュータをサーバ装置１０として機能させるためのプログラムである。また、サーバ装置１０の一部又は全ての機能が、制御部１０３に含まれる専用回路により実現されてもよい。また、制御プログラムは、サーバ装置１０に読取り可能な非一過性の記録・記憶媒体に格納され、サーバ装置１０が媒体から読み取ってもよい。

【0024】

［端末装置１２の構成例］
端末装置１２は、通信部１２１、記憶部１２２、制御部１２３、入力部１２５及び出力部１２６を有する。

【0025】

通信部１２１は、有線又は無線ＬＡＮ規格に対応する通信モジュール、ＬＴＥ、４Ｇ、５Ｇ等の移動体通信規格に対応するモジュール等を有する。端末装置１２は、通信部１２１により、近傍のルータ装置又は移動体通信の基地局を介してネットワーク１１に接続され、ネットワーク１１経由でサーバ装置１０等と情報通信を行う。

【0026】

記憶部１２２は一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部１２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１２２は、制御部１２３の動作に用いられる情報と、制御部１２３の動作によって得られた情報とを格納する。

【0027】

制御部１２３は、例えば、ＣＰＵ、ＭＰＵ（Micro Processing Unit）等の一以上の汎用プロセッサ、又は特定の処理に特化したＧＰＵ等の一以上の専用プロセッサを有する。あるいは、制御部１２３は、一以上の、ＦＰＧＡ、ＡＳＩＣ等の専用回路を有してもよい。制御部１２３は、制御・処理プログラムに従って動作したり、あるいは、回路として実装された動作手順に従って動作したりすることで、端末装置１２の動作を統括的に制御する。そして、制御部１２３は、通信部１２１を介してサーバ装置１０等と各種情報を送受し、本実施形態にかかる動作を実行する。

【0028】

入力部１２５は、一以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、音声入力を受け付けるマイクロフォン、及び撮像画像を取り込むカメラを含む。カメラは、可視光による被写体の撮像画像を撮像するカメラである。カメラは、例えば毎秒１５～３０フレームで被写体を撮像して連続した撮像画像からなる動画像を生成する。また、カメラは、被写体までの距離を測定して距離画像を取得する測距センサを含んでもよい。測距センサは、ＴｏＦ（Time Of Flight）カメラ、ＬｉＤＡＲ（Light Detection And Ranging）、ステレオカメラを含み、距離情報を含んだ被写体の距離画像を生成する。入力部１２５は、入力され又は取得する情報、画像等を制御部１２３に送る。

【0029】

出力部１２６は、一以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ、プロジェクタ、及びスピーカを含む。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。ディスプレイは、３Ｄモデルを表現可能なライトフィールドディスプレイを含んでもよい。出力部１２６は、本実施形態の「表示部」としての機能を有する。出力部１２６は、制御部１２３の動作によって得られる情報を出力する。

【0030】

制御部１２３の機能は、制御部１２３に含まれるプロセッサが制御プログラムを実行することにより実現される。制御プログラムは、プロセッサを制御部１２３として機能させるためのプログラムである。また、制御部１２３の一部又は全ての機能が、制御部１２３に含まれる専用回路により実現されてもよい。また、制御プログラムは、端末装置１２に読取り可能な非一過性の記録・記憶媒体に格納され、端末装置１２が媒体から読み取ってもよい。

【0031】

［端末装置１２の動作例］
図３Ａ、３Ｂは、端末装置１２の動作手順例を示すフローチャート図である。

【0032】

図３Ａは、各端末装置１２において、その端末装置１２を用いるユーザの描画像等を送出するときの制御部１２３の動作手順に関する。

【0033】

ステップＳ３０１において、制御部１２３は、ユーザの撮像画像、描画像及び音声情報を取得する。制御部１２３は、入力部１２５のカメラに、任意に設定されるフレームレートでのユーザと描画像を撮像させて、撮像画像を取得する。あるいは、制御部１２３は、入力部１２５のタッチパネルから描画像を取得してもよい。さらに、制御部１２３は、入力部１２５のマイクロフォンにユーザの音声を集音させることで音声情報を取得する。

【0034】

ステップＳ３０２において、制御部１２３は、基準方向、描画領域のサイズ情報を導出する。制御部１２３は、任意の画像処理により、撮像画像におけるユーザの画像と作業領域の画像を認識する。制御部１２３は、ユーザに対する作業領域の位置を用いて基準方向を導出する。作業領域の位置は、例えば、撮像画像内での矩形の頂点の座標情報として検出される。また、制御部１２３は、任意のアルゴリズムにより、作業領域のサイズを導出する。作業領域のサイズは、例えば、矩形状の作業領域の辺の長さにより特定される。例えば、制御部１２３は、距離画像を用いてカメラから作業領域までの距離を導出し、その距離を基準として作業領域の辺の長さを導出する。あるいは、作業領域を構成するタッチパネルの辺の長さの情報が記憶部１２２に予め格納されており、その情報を制御部１２３が記憶部１２２からから読み出してもよい。描画像には、基準方向を示す情報が付加される。基準方向の情報は、例えば、空間座標におけるベクトルの情報である。

【0035】

ステップＳ３０３において、制御部１２３は、ユーザの画像、描画像、サイズ情報及び音声情報を符号化し、符号化情報を生成する。制御部１２３は、符号化に際して、撮像画像等に対して任意の加工処理（例えば解像度変更及びトリミング等）を行ってもよい。

【0036】

ステップＳ３０４において、制御部１２３は、通信部１２１により符号化情報をパケット化し、他の端末装置１２に向けてサーバ装置１０へ送出する。

【0037】

制御部１２３は、撮像・集音を中断又は通話を終了するためのユーザの操作に対応する情報を取得すると（Ｓ３０５のＹｅｓ）、図３Ａの処理手順を終了し、中断又は終了のための操作に対応する情報を取得しない間は（Ｓ３０５のＮｏ）ステップＳ３０１～Ｓ３０４を実行して、ユーザ及び描画像を表示するための情報と音声を出力するための情報とを他の端末装置１２に向けて送出する。

【0038】

図３Ｂは、各端末装置１２において、他の端末装置１２から送られる描画像等を表示するときの制御部１２３の動作手順に関する。制御部１２３は、他の端末装置１２が図３Ａの手順を実行することで送出するパケットを、サーバ装置１０を介して受けると、図３Ｂの手順を実行する。

【0039】

ステップＳ３１１において、制御部１２３は、他の端末装置１２から受けたパケットに含まれる符号化情報を復号して他のユーザの画像、描画像、サイズ情報及び音声情報を取得する。

【0040】

ステップＳ３１２において、制御部１２３は、合成画像と表示用の描画像とを生成する。制御部１２３は、ユーザと他のユーザが共に基準方向を向いた合成画像を任意の画像処理方法により生成する。

【0041】

制御部１２３は、例えば、ユーザの斜め後方に他のユーザを配置し、ユーザと他のユーザとが、ユーザの前方若しくの手前側から奥への方向を向くようにユーザの画像と他のユーザの画像とを合成する。制御部１２３は、ユーザ及び他のユーザの画像を３Ｄモデルとして生成してもよい。例えば、制御部１１３は、ユーザ及び他のユーザの距離画像を用いてポリゴンモデルを生成し、それぞれの撮像画像を用いたテクスチャマッピングをポリゴンモデルに施すことにより３Ｄモデルを生成することが可能である。

【0042】

また、制御部１２３は、例えば、ユーザの描画像に対応したサイズで共通の基準方向を向いた、他のユーザによる描画像を表示するための表示用の描画像を、サイズ情報を用いて生成する。例えば、制御部１２３は、他のユーザが描画する描画領域のサイズに基づいて、他のユーザが描画した描画像のサイズを導出する。描画像のサイズは、描画領域において描画像が占める矩形領域の辺の大きさにより確定される。制御部１２３は、描画像が表示されたときに導出したサイズとなり、表示されたときに描画像の基準方向がユーザにとっての基準方向に一致するような表示用の描画像を、予め判明しているプロジェクタ又はディスプレイの特性を加味した任意のアルゴリズムにより生成する。

【0043】

ステップＳ３１３において、制御部１２３は、出力部１２６により合成画像及び表示用描画像を表示するとともに音声を出力する。例えば、制御部１２３は、合成画像をディスプレイに表示させるとともに、表示用の描画像をプロジェクタに投影させる。あるいは、制御部１２３は、表示用の描画像をタッチパネルのディスプレイに表示させる。それとともに制御部１２３は、他のユーザの音声をスピーカに出力させる。

【0044】

上記のような手順により各端末装置１２が動作することで、各ユーザは、あたかも自分の前面に設置された鏡を介して自分の傍らの他のユーザと通話をするような体験を得る。また、各ユーザは、自らの描画像の付近に表示される他のユーザによる描画像を見ることができる。その際、自らの描画像のサイズに対応したサイズで共通の基準方向に沿って他のユーザの描画像が表示されるので、他のユーザの描画像を参照する際の利便性が向上する。よって、通話のリアリティとユーザ体験を向上させることが可能となる。

【0045】

図３Ａ、３Ｂにおける手順の一部をサーバ装置１０にて実行する場合も、本実施形態に含まれる。例えば、他の端末装置１２から送られる描画像についての描画領域のサイズの導出、基準方向の確定、合成画像の生成等の処理がサーバ装置１０において実行されてもよい。

【0046】

上述の実施形態において、端末装置１２の制御部１２３の動作を規定する処理・制御プログラムは、サーバ装置１０または他のサーバ装置の記憶部に格納されていてネットワーク１１経由で各端末装置１２にダウンロードされてもよいし、各端末装置１２に読取り可能な記録・記憶媒体に格納され、各端末装置１２が媒体から読み取ってもよい。

【0047】

上述において、実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0048】

１ 通話システム
１０ サーバ装置
１１ ネットワーク
１２ 端末装置
２０－１、２０－２ ユーザ
２１プロジェクタ
２２ カメラ
２４ 合成画像
２５ 描画領域
２６、２７ 描画像
２８ 基準方向
１０１、１１１ 通信部
１０２、１１２ 記憶部
１０３、１１３ 制御部
１１５ 入力部
１１６ 出力部

【図1】

【図2】

【図3A】

【図3B】