特開 2024-174711 端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174711

(43)【公開日】2024-12-17

(54)【発明の名称】端末装置

(51)【国際特許分類】

   G06F 3/04883 20220101AFI20241210BHJP

   G06F 3/04845 20220101ALI20241210BHJP

   H04N 7/15 20060101ALI20241210BHJP

【ＦＩ】

G06F3/04883

G06F3/04845

H04N7/15 150

H04N7/15

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023092691

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(72)【発明者】

【氏名】加来 航

(72)【発明者】

【氏名】城所 優樹

(72)【発明者】

【氏名】片岡 敬弘

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164FA10

5C164PA33

5C164UB82S

5C164UB88S

5C164VA07P

5C164VA24P

5E555AA10

5E555AA21

5E555BA13

5E555BB13

5E555BD01

5E555BD05

5E555CA12

5E555CB11

5E555DC09

5E555FA00

(57)【要約】      （修正有）

【課題】環境の相違を調整してユーザ利便性に資する端末装置を提供する。
【解決手段】ネットワークを介して互いに情報通信可能に接続される一以上のサーバ装置と、複数の端末装置と、を有する通信システムにおいて、端末装置は、通信部と、前記通信部により通信を行う制御部とを有する。制御部は、他の端末装置を用いる他のユーザにより第１の描画領域に描画される第１の画像をユーザに向けて表示するための情報を当該他の端末装置から受け、表示された前記第１の画像に重畳する第２の描画領域に前記ユーザにより描画される第２の画像を前記第１の描画領域に重畳して表示するため情報を前記他の端末装置へ送る。
【選択図】図３

【特許請求の範囲】

【請求項1】

通信部と、
前記通信部により通信を行う制御部とを有する端末装置において、
前記制御部は、他の端末装置を用いる他のユーザにより第１の描画領域に描画される第１の画像をユーザに向けて表示するための情報を当該他の端末装置から受け、表示された前記第１の画像に重畳する第２の描画領域に前記ユーザにより描画される第２の画像を前記第１の描画領域に重畳して表示するため情報を前記他の端末装置へ送る、
端末装置。

【請求項2】

請求項１において、
前記第１の画像は拡大されて前記第２の描画領域に重畳して表示され、前記第２の画像は縮小されて前記第１の描画領域に重畳して表示される、
端末装置。

【請求項3】

請求項１において、
前記第１の画像は縮小されて前記第２の描画領域に重畳して表示され、前記第２の画像は拡大されて前記第１の描画領域に重畳して表示される、
端末装置。

【請求項4】

請求項１において、
前記制御部は、前記第１の画像の表示と非表示とを切り替え可能である、
端末装置。

【請求項5】

請求項４において、
前記制御部は、さらに他の端末装置から当該さらに他の端末装置を用いるさらに他のユーザにより第３の描画領域に描画される第３の画像を前記ユーザに向けて表示するための情報を受け、前記記第１の画像を非表示のときに表示された前記第３の画像に重畳する第４の描画領域に前記ユーザにより描画される第４の画像を前記第３の描画領域に重畳して表示するため情報を前記さらに他の端末装置へ送る、
端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、端末装置に関する。

【背景技術】

【0002】

ネットワークを介して複数地点のコンピュータが通信を行い、各コンピュータのユーザ同士が音声通話をしたり、タッチパネルに描画する画像等の情報を互いにやり取りしたりする技術が、知られている。特許文献１には、画像の入出力に関する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－１０９４０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

各コンピュータの画像等の入力又は出力環境が異なることで画像の入出力力に支障をきたすと、ユーザにとって不便である。

【0005】

上記に鑑み、以下では、環境の相違を調整してユーザ利便性に資することが可能な端末装置等が開示される。

【課題を解決するための手段】

【0006】

本開示における端末装置は、通信部と、前記通信部により通信を行う制御部とを有する端末装置であって、前記制御部は、他の端末装置を用いる他のユーザにより第１の描画領域に描画される第１の画像をユーザに向けて表示するための情報を当該他の端末装置から受け、表示された前記第１の画像に重畳する第２の描画領域に前記ユーザにより描画される第２の画像を前記第１の描画領域に重畳して表示するため情報を前記他の端末装置へ送る。

【発明の効果】

【0007】

本開示における端末装置等によれば、端末装置間の環境の相違を調整してユーザ利便性に資することが可能となる。

【図面の簡単な説明】

【0008】

【図1】通信システムの構成例を示す図である。

【図2】端末装置の使用態様を説明するための図である。

【図3】端末装置の動作例を示すフローチャート図である。

【図4】表示用画像と送信用画像における表示倍率変更について説明する図である。

【発明を実施するための形態】

【0009】

以下、実施の形態について説明する。

【0010】

まず、図１、図２を用いて、本実施形態における端末装置を含むシステムの構成と、端末装置の使用態様について説明する。

【0011】

図１は、本実施形態における通信システムの構成例を示す図である。通信システム１は、ネットワーク１１を介して互いに情報通信可能に接続される、一以上のサーバ装置１０と複数の端末装置１２を有する。通信システム１は、複数のユーザがそれぞれ端末装置１２を用いて互いに通話したり画像を授受したりすることを可能にするためのシステムである。

【0012】

サーバ装置１０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置１０は、情報通信可能に接続されて連携動作する二以上のサーバコンピュータにより構成されてもよい。サーバ装置１０は、通話及び画像の中継処理を実行する。サーバ装置１０は、通信部１０１、記憶部１０２、及び制御部１０３を有する。これらの構成は、サーバ装置１０が二以上のサーバコンピュータで構成される場合には、二以上のコンピュータに適宜に配置される。

【0013】

端末装置１２は、通信機能と、音声及び画像の入出力機能とを備えた情報処理装置であって、各ユーザにより使用される。端末装置１２は、例えば、スマートフォン、タブレット端末といった情報処理端末、パーソナルコンピュータ等の情報処理装置等である。端末装置１２は、通信部１２１、記憶部１２２、制御部１２３、入力部１２５、出力部１２６を有する。

【0014】

ネットワーク１１は、例えばインターネットであるが、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。

【0015】

図２には、端末装置１２の使用態様が示される。図２では、ユーザ２０が他のユーザ２０（それぞれを区別する場合には、ユーザ２０ａ、２０ｂという）とそれぞれ端末装置１２（ユーザ２０ａ、２０ｂに対応付けて区別する場合には、それぞれ端末装置１２ａ、１２ｂという）を用いて描画領域２１（ユーザ２０ａ、２０ｂに対応付けて区別する場合には、それぞれ描画領域２１ａ、２１ｂという）に描画した描画像２２（ユーザ２０ａ、２０ｂに対応付けて区別する場合には、それぞれ画像２２ａ、２２ｂという）の授受を行う態様が模式的に示される。ここで、描画領域２１は、ユーザ２０が描画を行うための任意のサイズの領域であって、紙面、タッチパネル等を含む。また、描画される画像（以下、描画像という）２２は、筆記具、スタイラスペン、指先等により描かれる任意の文字、記号、絵画等である。さらに、描画像２２は、入力部１２５に含まれるカメラにより撮像されたり、入力部１２５に含まれるタッチパネルにより取得されたりすることで、端末装置１２に取得される。そして、相手方の描画像２２は、出力部１２６に含まれタッチパネルと重畳して設けられるディスプレイにより、又は出力部１２６に含まれるプロジェクタの投影により、描画領域２１に重畳して表示される。

【0016】

本実施形態の端末装置１２ａは、他の端末装置１２ｂを用いる他のユーザ２０ｂにより描画領域２１ｂに描画される描画像２２ｂをユーザ２０ａに向けて表示するための情報を端末装置１２ｂから受け、表示された描画像２２ｂに重畳する描画領域２１ａにユーザ２０ａにより描画される描画像２２ａを描画領域２１ｂに重畳して表示するため情報を他の端末装置１２ｂへ送る。このようにして、端末装置１２のユーザ２０同士が、相手方の描画像２２を描画領域２１で見ながら追加的な描画像２２をやり取りすることが可能となる。その際、後述するように、相手方の描画像２２が描画領域２１において適宜拡縮して表示される。よって、端末装置１２それぞれの画像の入出力環境の相違を調整してユーザ２０の利便性に資することが可能となる。

【0017】

次いで、サーバ装置１０の構成について詳述する。

【0018】

通信部１０１は、一以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェースである。通信部１０１は、サーバ装置１０の動作に用いられる情報を受信し、またサーバ装置１０の動作によって得られる情報を送信する。サーバ装置１０は、通信部１０１によりネットワーク１１に接続され、ネットワーク１１経由で端末装置１２と情報通信を行う。

【0019】

記憶部１０２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ（Static RAM）又はＤＲＡＭ（Dynamic RAM）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）である。記憶部１０２は、サーバ装置１０の動作に用いられる情報と、サーバ装置１０の動作によって得られた情報とを格納する。

【0020】

制御部１０３は、一以上のプロセッサ、一以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などの汎用プロセッサ、又は特定の処理に特化したＧＰＵ（Graphics Processing Unit）等の専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１０３は、サーバ装置１０の各部を制御しながら、サーバ装置１０の動作に係る情報処理を実行する。

【0021】

サーバ装置１０の機能は、制御プログラムを、制御部１０３に含まれるプロセッサが実行することにより実現される。制御プログラムは、コンピュータをサーバ装置１０として機能させるためのプログラムである。また、サーバ装置１０の一部又は全ての機能が、制御部１０３に含まれる専用回路により実現されてもよい。また、制御プログラムは、サーバ装置１０に読取り可能な非一過性の記録・記憶媒体に格納され、サーバ装置１０が媒体から読み取ってもよい。

【0022】

次いで、端末装置１２の構成について詳述する。

【0023】

通信部１２１は、有線又は無線ＬＡＮ規格に対応する通信モジュール、ＬＴＥ、４Ｇ、５Ｇ等の移動体通信規格に対応するモジュール等を有する。端末装置１２は、通信部１２１により、近傍のルータ装置又は移動体通信の基地局を介してネットワーク１１に接続され、ネットワーク１１経由でサーバ装置１０等と情報通信を行う。

【0024】

記憶部１２２は一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部１２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１２２は、制御部１２３の動作に用いられる情報と、制御部１２３の動作によって得られた情報とを格納する。

【0025】

制御部１２３は、例えば、ＣＰＵ、ＭＰＵ（Micro Processing Unit）等の一以上の汎用プロセッサ、又は特定の処理に特化したＧＰＵ等の一以上の専用プロセッサを有する。あるいは、制御部１２３は、一以上の、ＦＰＧＡ、ＡＳＩＣ等の専用回路を有してもよい。制御部１２３は、制御・処理プログラムに従って動作したり、あるいは、回路として実装された動作手順に従って動作したりすることで、端末装置１２の動作を統括的に制御する。そして、制御部１２３は、通信部１２１を介してサーバ装置１０等と各種情報を送受し、本実施形態にかかる動作を実行する。

【0026】

入力部１２５は、一以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、及びディスプレイと一体的に設けられたタッチパネルを含む。また、入力用インタフェースは、撮像画像を取り込む一以上のカメラを含む。カメラは端末装置１２と別体として構成され、直接的又はネットワーク１１を介して端末装置１２と通信可能に構成されてもよい。カメラは、ユーザ２０が手元で描画する際に、描画領域２１を撮像可能な位置及び角度に設置される。また、カメラは、描画するユーザ２０の例えば顔を含む範囲を撮像可能に設けられてもよい。さらに、入力用インタフェースは、音声入力を受け付けるマイクロフォンを含んでもよい。入力部１２５は、制御部１２３の動作に用いられる情報を入力する操作を受け付けたり、撮像、集音等を行ったりして、入力される情報、撮像画像、音声等の情報を制御部１２３に送る。

【0027】

出力部１２６は、一以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ、プロジェクタ及びスピーカを含む。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。ディスプレイは、タッチパネルとして、入力部１２５の入力インタフェースと一体的に構成されてもよい。プロジェクタは、端末装置１２と直接的に通信可能に構成されてもよいし、ネットワーク１１を介して通信可能に構成されてもよい。出力部１２６は、制御部１２３の動作によって得られる情報を出力する。

【0028】

制御部１２３の機能は、制御部１２３に含まれるプロセッサが制御プログラムを実行することにより実現される。制御プログラムは、プロセッサを制御部１２３として機能させるためのプログラムである。また、制御部１２３の一部又は全ての機能が、制御部１２３に含まれる専用回路により実現されてもよい。また、制御プログラムは、端末装置１２に読取り可能な非一過性の記録・記憶媒体に格納され、端末装置１２が媒体から読み取ってもよい。

【0029】

本実施形態において、制御部１２３は、入力部１２５により、ユーザ２０の顔を含む範囲と描画領域２１とを撮像しながらユーザ２０の発話音声を集音するとともに描画像２２を受け付ける。また、制御部１２３は、出力用の画像とユーザの音声を再生するための音声情報とを符号化して符号化情報を生成する。出力用の画像は任意の、例えばいわゆる４Ｋ（３８４０×２１６０）以上の画素数を有する。制御部１２３は、符号化に際して、出力用画像に対して任意の加工処理（例えば解像度変更及びトリミング等）を行ってもよい。制御部１２３は、符号化情報を通信部１２１によりサーバ装置１０を介して他の端末装置１２へ送る。

【0030】

また、制御部１２３は、他の端末装置１２からサーバ装置１０を介して送られる符号化情報を、通信部１２１により受ける。制御部１２３は、符号化情報を復号すると、復号された情報を用いて、出力部１２６のディスプレイ又はプロジェクにより出力用画像を出力したり、スピーカにより音声を出力したりする。相手方の描画像２２を表示するためのディスプレイ又はプロジェクタは、任意の、例えばいわゆる４Ｋ以上の出力解像度を有する。相手方ユーザ２０の画像は、２Ｄで表現されていてもよいし、３Ｄモデルにより表現されていてもよい。相手方ユーザ２０の３Ｄモデルを表示するディスプレイは、例えば、３Ｄ画像を視認可能にするライトフィールドディスプレイ等であってもよい。

【0031】

図３は、端末装置１２の動作手順を説明するフローチャート図である。ここでは、端末装置１２ａが端末装置１２ｂと情報を授受するときの端末装置１２ａの動作を例とする。図３の手順は、例えば、任意に設定される数ミリ秒～数十ミリ秒周期で、端末装置１２ａの制御部１２３により実行される。

【0032】

ステップＳ３００において、制御部１２３は、ユーザ２０ａの顔を含む範囲の撮像、撮像又はタッチ入力による描画像２２ａの取得、及び発話音声の集音を行う。制御部１２３は、入力部１２５からユーザ２０ａの撮像画像、描画像２２ａ、及び音声情報を取得する。

【0033】

ステップＳ３０２において、制御部１２３は、端末装置１２ｂから、ユーザ２０ｂの撮像画像、描画像２２ｂ、及び音声情報を受け取る。端末装置１２ａは、例えば図４の例４０１に示すように、描画領域２１ｂに描画された描画像２２ｂを含む撮像画像４０を、端末装置１２ｂから受け取る。

【0034】

ステップＳ３０４において、制御部１２３は、表示用画像を生成する。表示用画像は、描画領域２１ａに重畳して表示される画像であって、描画像２２ｂを含む。例えば図４の例４０２に示すように、描画領域２１ａに重畳して表示するための表示用画像４１が生成される。表示用画像４１は、描画像２２ｂを含む。

【0035】

ステップＳ３０６において、制御部１２３は、送信用画像を生成する。送信用画像は、描画領域２１ｂに重畳して表示される画像であって、描画領域２１ａに描画がなされた場合には、描画像２２ａを含む。

【0036】

ステップＳ３０８において、制御部１２３は、表示用画像の表示倍率が変更されたか否かを判断する。表示倍率は、ユーザ２０ａにより端末装置１２ａの入力部１２５に対し行われる、タッチパネルに対するタップ、スワイプ等、ポインティングデバイス又はキーによる倍率指定等によって変更される。かかる操作を受けて表示倍率が変更されている場合（Ｙｅｓ）、制御部１２３は、ステップＳ３１０、Ｓ３１２に進む。一方、表示倍率が変更されていない場合（Ｎｏ）、制御部１２３は、ステップＳ３１０、Ｓ３１２を省略してステップＳ３１４に進む。

【0037】

ステップＳ３１０において、制御部１２３は、表示用画像の表示倍率を調整する。制御部１２３は、変更後の表示倍率に応じて表示用画像の表示倍率を調整する。表示倍率が１倍からｍ倍（ｍは１以外の正の実数）に変更されている場合、制御部１２３は、表示用画像のうち、端末装置１２ｂから送られた描画像２２ｂの少なくとも一部を含む範囲をｍ倍して表示用画像を調整する。例えば図４の例４０３に示すように、描画領域２１ａに重畳して表示するための表示用画像４１が調整され、描画像２２ｂが拡大される。

【0038】

ステップＳ３１２において、制御部１２３は、送信用画像の表示倍率を調整する。制御部１２３は、変更されたｍ倍の表示倍率に応じ、端末装置１２ａにおいてユーザ２０ａが描画した描画像２２ａを（１／ｍ）倍して送信用画像の表示倍率を調整する。例えば図４の例４０４に、描画領域２１ａにおいて、拡大された描画像２２ｂに対し描画された描画像２２ａが示される。この場合、描画像２２ｂが拡大されているので、例４０５に示すように、送信用画像４２が調整されて描画像２２ａが縮小される。なお、送信用画像４２は、ステップＳ３０６において生成され、ステップＳ３１２において調整される。

【0039】

ステップＳ３１４において、制御部１２３は、表示用画像の表示と、音声の出力を行う。表示用画像の表示は、ユーザ２０ｂの撮像画像の表示と、描画像２２ｂの描画領域２１ａへの表示とを含む。例えば、図４の例４０３で示した表示用画像４１が表示される。

【0040】

ステップＳ３１６において、制御部１２３は、送信用画像及び音声情報を送出する。制御部１２３は、送信用画像及び音声情報を符号化し、符号化情報を端末装置１２ｂへ向けて送出する。

【0041】

図３の手順は、端末装置１２ｂにおいても同様に実行される。端末装置１２ｂにおいてステップＳ３１４を実行することで、図４の例４０６に示されるような、表示画像４３が描画領域２１ｂに重畳して表示される。ここにおいて、当初描画された描画像２２ｂに対し端末装置１２ａにて追加された描画像２２ａが、表示用画像４１に含まれる。

【0042】

このように、端末装置１２ａ、１２ｂは、それぞれ図３の手順を実行することで、描画像２２の授受と、通話とを行う。よって、端末装置１２のユーザ２０同士が、相手方の描画像２２を描画領域２１で見ながら追加的な描画像２２を授受することが可能となる。その際、相手方の描画像２２が適宜拡縮して表示されるので、相手方の描画像２２の視認性が向上するとともに、追加的な描画が容易になる。よって、端末装置１２それぞれの画像の入出力環境の相違を調整してユーザ２０の利便性に資することが可能となる。

【0043】

実施例において、端末装置１２は、表示する相手方の描画像２２、又は追加的に描画する描画像２２を記憶部１２２に格納しておき、ユーザ２０の操作に応答して随時表示することが可能に構成される。また、端末装置１２ａが、端末装置１２ｂとともに、更に他のユーザ２０ｃが用いる端末装置１２ｃと通信する場合に、端末装置１２ａにおいて、ユーザ２０ａの操作に応答して表示する画像を、描画像２２ｂと描画像２２ｃとで随時切り替えることが可能に構成されてもよい。更に、端末装置１２ａが、描画像２２ｂと描画像２２ｃそれぞれの表示時間をユーザ２０ａの操作に応答して設定可能であってもよい。

【0044】

上述において、実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0045】

１ 通信システム
１０ サーバ装置
１１ ネットワーク
１２ 端末装置
２０ ユーザ
２１ 描画領域
２２ 描画像
１０１、１２１ 通信部
１０２、１２２ 記憶部
１０３、１２３ 制御部
１０５ 入力部
１０６ 出力部

【図1】

【図2】

【図3】

【図4】