特開 2023-150902 分身による活動を可能とするシステムにおける映像揺れ補正の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023150902

(43)【公開日】2023-10-16

(54)【発明の名称】分身による活動を可能とするシステムにおける映像揺れ補正の制御方法

(51)【国際特許分類】

   H04N 21/234 20110101AFI20231005BHJP

   H04N 7/18 20060101ALI20231005BHJP

   H04N 23/68 20230101ALI20231005BHJP

【ＦＩ】

H04N21/234

H04N7/18 U

H04N5/232 480

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022060248

(22)【出願日】2022-03-31

(71)【出願人】

【識別番号】519283325

【氏名又は名称】株式会社ｔｏｒａｒｕ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】西口 潤

【テーマコード（参考）】

5C054

5C122

5C164

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA07

5C054EJ00

5C054FA04

5C122EA41

5C122EA47

5C122FH00

5C122GA24

5C122GC52

5C122HA71

5C164FA07

5C164SA25S

5C164SB01P

(57)【要約】

【課題】現地からストリーミング配信されてくる映像を現地以外にいる本人が見る場合に、映像揺れが低減された映像を本人が確実に見られるようにする。
【解決手段】本人Ｘの身代わりとして現地Ｓにいる分身Ｙが携帯する端末装置１２は、端末装置１２のカメラにより生成した映像を表す映像データを、本人Ｘが使用する端末装置１１に対しストリーミング配信する。端末装置１１は、端末装置１２からストリーミング配信されてくる映像データが表す映像に含まれる映像揺れを低減するための処理である映像揺れ補正処理をその映像に対し施し、映像揺れ補正処理を施した映像を端末装置１１のディスプレイに表示する。映像揺れ補正処理が端末装置１１において行われるため、端末装置１２からストリーミング配信される映像データが表す映像に映像揺れが含まれているか否かにかかわらず、本人Ｘは映像揺れの低減された映像を見ることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

本人が使用する第１の端末装置と、前記本人の身代わりとして現地にいる人又は装置である分身が使用する第２の端末装置とを備えるシステムが、
前記第２の端末装置によって、前記分身が携帯するカメラにより生成された映像を表す映像データを、通信ネットワークを介して前記第１の端末装置にストリーミング配信するステップと、
前記第１の端末装置により、前記第１の端末装置から前記通信ネットワークを介してストリーミング配信されてくる映像データに対し、当該映像データが表す映像に含まれる映像揺れを低減するデータ処理である映像揺れ補正処理を施し、映像揺れ補正処理を施した後の映像データが表す映像をディスプレイに表示させるステップと
を備える方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は端末装置を用いたコミュニケーションを支援する技術に関する。

【背景技術】

【0002】

どこかの場所（以下、「現地」という）に行かなければならないときに、自分（以下、「本人」という）の身代わりとなって現地に行ってくれる人又はロボット等の装置（以下、「分身」という）がいれば助かる場合がある。

【0003】

上記のニーズを満たすための技術を開示した特許文献として、例えば特許文献１がある。特許文献１には、現地にいる分身が使用する端末装置から、現地以外の場所にいる本人が使用する端末装置に対し、インターネット等のネットワークを介して、映像をストリーミング配信することで、本人が現地にいるかのような体験をすることを可能とする仕組みが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６４４２８８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載のような仕組みを用いて、本人が現地にいるかのような体験をする場合、分身が移動中に配信される映像がカメラの揺れに伴い揺れて、その映像を見る本人が映像に写っている物体を容易に把握できなかったり、映像酔いを発症したりする場合がある。

【0006】

上記の問題を低減する技術として、「手振れ補正」等の名称で呼ばれる映像揺れ補正の技術がある。なお、現在普及している映像揺れ補正の方式には、大きく、物理的に光軸を調整する光学式と、受光素子から受け取った画像データに補正を施す電子式がある。

【0007】

分身が使用する端末装置が映像揺れ補正の機能を備えていない場合や、備えていてもその機能によって十分に映像揺れが低減できない場合がある。また、分身が使用する端末装置が映像揺れ補正の機能を備えているにもかかわらず、分身がその機能を使用することを忘れたり、映像揺れ補正の機能を用いるための設定を誤ったりして、映像揺れが低減できない場合がある。

【0008】

上記の事情に鑑み、本発明は、現地からストリーミング配信されてくる映像を現地以外にいる本人が見る場合に、映像揺れが低減された映像を本人が確実に見られるようにする手段を提供する。

【課題を解決するための手段】

【0009】

本発明は、本人が使用する第１の端末装置と、前記本人の身代わりとして現地にいる人又は装置である分身が使用する第２の端末装置とを備えるシステムが、前記第２の端末装置によって、前記分身が携帯するカメラにより生成された映像を表す映像データを、通信ネットワークを介して前記第１の端末装置にストリーミング配信するステップと、前記第１の端末装置により、前記第１の端末装置から前記通信ネットワークを介してストリーミング配信されてくる映像データに対し、当該映像データが表す映像に含まれる映像揺れを低減するデータ処理である映像揺れ補正処理を施し、映像揺れ補正処理を施した後の映像データが表す映像をディスプレイに表示させるステップとを備える方法を提供する。

【発明の効果】

【0010】

本発明によれば、現地からストリーミング配信されてくる映像に映像揺れが含まれていても、本人が使用する端末装置において映像揺れ補正が行われるため、本人は確実に映像揺れが低減された映像を見ることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態に係るシステムの構成を示した図。

【図2】本発明の一変形例に係るシステムの構成を示した図。

【図3】本発明の一変形例に係るシステムの構成を示した図。

【図4】本発明の一変形例に係るシステムの構成を示した図。

【発明を実施するための形態】

【0012】

［１．第１実施形態］
以下に、本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係るシステム１の構成を示した図である。システム１は、本人Ｘが使用する端末装置１１と、本人Ｘの身代わりとして現地Ｓにいる分身Ｙが使用する端末装置１２を備える。なお、分身Ｙは人であってもよいし、ロボット等の装置であってもよい。端末装置１１と端末装置１２は通信ネットワーク９を介して互いにデータ通信を行う。

【0013】

端末装置１１と端末装置１２は、通信機能を備えたデータ処理装置であり、例えば、コンピュータである。端末装置１１として用いられるコンピュータのタイプは、デスクトップ型ＰＣ（Personal Computer）、ノートブック型（又はラップトップ型）ＰＣ、タブレット型ＰＣ（移動体通信網を介して電話番号を用いた通話を行う機能を備えるスマートフォンを含む）等のいずれのタイプであってもよい。端末装置１１は本人Ｘにより携帯可能であってもよいし、携帯できなくてもよい。

【0014】

端末装置１２として用いられるコンピュータのタイプは、ノートブック型（又はラップトップ型）ＰＣ、タブレット型ＰＣ（移動体通信網を介して電話番号を用いた通話を行う機能を備えるスマートフォンを含む）等のいずれのタイプであってもよい。端末装置１２は分身Ｙにより携帯可能である必要がある。従って、端末装置１２はバッテリーを内蔵し、そのバッテリーから供給される電力により動作する。

【0015】

端末装置１１には、例えば以下の装置が接続されている。
ディスプレイ
本人Ｘの操作を受け付ける操作装置（キーボード、マウス、タッチパネル等）
スピーカ
マイク

【0016】

なお、端末装置１１に接続される装置の各々は、端末装置１１の外部装置として端末装置１１に接続されていてもよいし、端末装置１１の筐体内に配置（内蔵）されていてもよい。以下、端末装置１１に接続される装置（例えば、ディスプレイ）を、端末装置１１の装置（例えば、端末装置１１のディスプレイ）のように記載する。

【0017】

端末装置１２には、例えば以下の装置が接続されている。
ディスプレイ
分身Ｙの操作を受け付ける操作装置（キーボード、マウス、タッチパネル等）
スピーカ
マイク
カメラ

【0018】

なお、端末装置１２に接続される装置の各々は、端末装置１２の外部装置として端末装置１２に接続されていてもよいし、端末装置１２の筐体内に配置（内蔵）されていてもよい。以下、端末装置１２に接続される装置（例えば、ディスプレイ）を、端末装置１２の装置（例えば、端末装置１２のディスプレイ）のように記載する。

【0019】

分身Ｙは、例えば現地Ｓにおいて端末装置１２のカメラを稼働させながら移動する。その間、端末装置１２は、カメラが生成する映像を表す映像データを端末装置１１に対しストリーミング配信する。

【0020】

端末装置１１は、端末装置１２からストリーミング配信されてくる映像データに対し映像揺れ補正処理を施す。ここで、映像揺れ補正処理は、既知の電子式の映像揺れ補正処理（手振れ補正処理とも呼ばれる）である。具体的には、電子式の映像揺れ補正処理とは、映像データが表す映像を構成する時系列順に並んだ静止画の各々がディスプレイの画面に表示される際の当該画面内における位置を、それらの静止画に写っている物体の位置の変化における高周波数成分がカットされるように、移動する処理である。

【0021】

端末装置１１は、映像揺れ補正処理を施した映像データを端末装置１１のディスプレイに出力し、当該映像データが表す映像をディスプレイに表示させる。

【0022】

その結果、本人Ｘは、映像揺れの低減された映像を見ることができる。

【0023】

システム１においては、映像揺れ補正処理が端末装置１１において行われる。従って、端末装置１２において映像揺れ補正処理が行われるか否かにかかわらず、本人Ｘは映像揺れが低減された映像を確実に見ることができる。

【0024】

ところで、映像揺れ補正処理は電力を要する。従って、端末装置１２において映像揺れ補正処理を行うと、端末装置１２のバッテリー消費がそれだけ速くなる。システム１においては、端末装置１２は必ずしも映像揺れ補正処理を行わなくてよい。従って、システム１においては、端末装置１２が映像揺れ補正機能を備えている場合、その映像揺れ補正機能を使用しないことで、端末装置１２のバッテリー消費を遅らせることができる。

【0025】

また、映像揺れ補正処理はデータ処理を行うプロセッサの処理負荷を増大させる。従って、端末装置１２において映像揺れ補正処理を行うと、端末装置１２のプロセッサの処理負荷がそれだけ重くなる。既述のように、システム１においては、端末装置１２は必ずしも映像揺れ補正処理を行わなくてよい。従って、システム１においては、端末装置１２が映像揺れ補正機能を備えている場合、その映像揺れ補正機能を使用しないことで、端末装置１２のプロセッサの処理負荷を軽減できる。

【0026】

また、端末装置１２よりも端末装置１１のプロセッサの処理能力の方が高い場合がある。その場合、端末装置１１において映像揺れ補正処理が行われるシステム１によれば、端末装置１２において映像揺れ補正処理が行われる通常のシステムによる場合と比較し、本人Ｘに対し映像が表示されるタイミングが早くなり、リアルタイム性が高まる。

【0027】

なお、端末装置１１が行う映像揺れ補正処理は、端末装置１１のプロセッサのみで行われてもよいし、端末装置１１のプロセッサと、端末装置１１の外部装置として端末装置１１に接続されたＧＰＵ（Graphic Processing Unit）との連係により行われてもよい。

【0028】

［２．第２実施形態］
以下に、本発明の第２実施形態を説明する。第２実施形態に係るシステムの構成は、図１に示した第１実施形態に係るシステム１と同様である。以下に、第２実施形態が第１実施形態と異なる点を説明し、共通する点については説明を省略する。

【0029】

第２実施形態に係るシステム１（以下、単に「システム１」という）において、端末装置１２は映像揺れ補正機能を備えている。端末装置１２が備える映像揺れ補正機能は、光学式及び電子式のいずれであってもよい。

【0030】

そして、端末装置１２は、端末装置１１から送信されてくる指示に従い、映像揺れ補正処理に関する制御を行う。映像揺れ補正処理に関する制御には、例えば、映像揺れ補正処理の開始又は終了、映像揺れ補正処理に関する設定の変更（例えば、補正の強度の変更）等が含まれる。

【0031】

端末装置１２は、映像揺れ補正処理のステイタス、すなわち、映像揺れ補正処理が実行中であるか否か、映像揺れ補正処理が実行中であればその強度がどの程度であるか、等を示すステイタスデータを継続的に端末装置１１に送信する。端末装置１１は、端末装置１２から送信されてくるステイタスデータが示すステイタスを、端末装置１１のディスプレイに表示する。

【0032】

本人Ｘは、例えば、端末装置１１のディスプレイに表示される映像を見ながら、映像揺れを低減したい、と感じると、端末装置１１のディスプレイに表示されている端末装置１２の映像揺れ補正処理のステイタスを確認する。そして、端末装置１２において映像揺れ補正処理が実行されていなければ、端末装置１１の操作装置に対し操作を行い、映像揺れ補正処理の開始を指示する。また、端末装置１２において映像揺れ補正処理が実行されていれば、端末装置１１の操作装置に対し操作を行い、映像揺れ補正処理の強度の増加を指示する。

【0033】

この操作に応じて、端末装置１１は端末装置１２に対し映像揺れ補正処理の開始又は強度の増加を指示する制御データを送信する。端末装置１２は、端末装置１１から送信されてくる制御データを受信すると、その制御データに従い、映像揺れ補正処理を開始又は既に開始されている映像揺れ補正処理の強度の増加を行う。

【0034】

その後、例えば、分身Ｙが移動を終えて、端末装置１２を机の上等に置くと、端末装置１１のディスプレイに表示される映像には映像揺れがなくなる。その場合、本人Ｘは端末装置１１の操作装置に対し操作を行い、映像揺れ補正処理の終了を指示する。この操作に応じて、端末装置１１は端末装置１２に対し映像揺れ補正処理の終了を指示する制御データを送信する。端末装置１２は、端末装置１１から送信されてくる制御データを受信すると、その制御データに従い、映像揺れ補正処理を終了する。

【0035】

第２実施形態に係るシステム１によれば、端末装置１２のカメラにより生成される映像を見る本人Ｘが直接、端末装置１２において行われる映像揺れ補正処理の開始及び終了や、映像揺れ補正処理の設定の変更等の制御を指示することができる。従って、例えば、本人Ｘが分身Ｙにそれらの制御のための操作を依頼する場合と比較し、本人Ｘ及び分身Ｙの双方にとって手間が省け、また、本人Ｘの判断が速やかに映像に反映されるため、望ましい。

【0036】

なお、上記の説明においては、本人Ｘが行う指示は操作装置に対する操作により行われるものとしたが、本人Ｘが行う指示は操作装置に対する操作によるものに限られない。例えば、本人Ｘが発声により指示を行ってもよい。この場合、端末装置１１のマイクが本人Ｘの発声した音声を拾音し、端末装置１１がその音声を認識し、認識した本人Ｘの指示に従う制御を示す制御データを端末装置１２に送信する。

【0037】

また、上記の説明においては、端末装置１２における映像揺れ補正処理に関するステイタスは、端末装置１１のディスプレイに表示されるものとしたが、本人Ｘに対するステイタスの通知の方法は表示に限られない。例えば、ステイタスデータが示すステイタスを通知する音声を端末装置１１が合成し、その発音を端末装置１１のスピーカが発音することにより、本人Ｘに対するステイタスの通知が行われてもよい。

【0038】

［２－１．第２実施形態の変形例］
以下に第２実施形態に係るシステム１の変形例を示す。

【0039】

上述した第２実施形態においては、端末装置１２における映像揺れ補正処理に関するステイタスが端末装置１１から本人Ｘに通知される。本人Ｘに通知されるステイタスは、映像揺れ補正処理に関するステイタスに限られない。例えば、端末装置１２における以下のいずれかに関するステイタスを示すステイタスデータが端末装置１２から端末装置１１に送信され、そのステイタスデータが示すステイタスが端末装置１１から本人Ｘに通知されてもよい。

【0040】

端末装置１２のバッテリーに関するステイタス（バッテリー残量等）
端末装置１２のプロセッサに関するステイタス（動作クロック数等）
端末装置１２のカメラに関するステイタス（画素数、露出等）
端末装置１２のマイクに関するステイタス（ON/OFF、感度、指向性等）
端末装置１２のディスプレイに関するステイタス（ON/OFF、明るさ等）
端末装置１２のスピーカに関するステイタス（ON/OFF、音量等）
端末装置１２で実行されているプログラムに関するステイタス（実行中のプログラム名、それらのプログラムが使用中の端末装置１２のリソース量等）
端末装置１２の通信装置に関するステイタス（WiFi（登録商標）、Bluetooth（登録商標）、NFC（Near Field Communication）等の通信規格に従った通信ユニットの動作のON/OFF等）

【0041】

また、上記のステイタスに加え、端末装置１２の属性が端末装置１１から本人Ｘに通知されてもよい。端末装置１２の属性には、例えば、端末装置１２の機種名、ディスプレイのサイズ、バッテリー容量等が含まれる。

【0042】

この変形例によれば、本人Ｘは、例えば端末装置１２のバッテリーを無駄に消費している処理等を容易に知ることができる。また、本人Ｘは、例えば端末装置１２の機種名を見て、端末装置１２のバッテリー消費特性等を知り、端末装置１２の不測なバッテリー切れが生じないように事前に分身Ｙに予備バッテリーの準備等を指示することができる。

【0043】

また、上述した第２実施形態においては、本人Ｘが端末装置１１に対し行う指示に従い、端末装置１２において、映像揺れ補正処理に関する制御が行われる。本人Ｘの操作に従い端末装置１２において制御が行われる対象は、映像揺れ補正処理に限られない。例えば、本人Ｘの端末装置１１に対する指示に従い、以下のいずれかに関する制御を指示する制御データが端末装置１１から端末装置１２に送信され、その制御データに従う制御が端末装置１２において行われてもよい。

【0044】

端末装置１２のプロセッサに関する制御（動作クロック数の変更等）
端末装置１２のカメラに関する制御（画素数の変更、露出の変更等）
端末装置１２のマイクに関する制御（ON/OFFの切り替え、感度の変更、指向性の変更等）
端末装置１２のディスプレイに関する制御（ON/OFFの切り替え、明るさの変更等）
端末装置１２のスピーカに関する制御（ON/OFFの切り替え、音量の変更等）
端末装置１２で実行されているプログラムに関する制御（実行中のプログラムの終了、未実行のプログラムの起動等）
端末装置１２の通信装置に関する制御（WiFi（登録商標）、Bluetooth（登録商標）、NFC（Near Field Communication）等の通信規格に従った通信ユニットの動作のON/OFFの切り替え等）

【0045】

この変形例によれば、本人Ｘは容易に、例えば端末装置１２のバッテリーを無駄に消費している処理を終了したり、端末装置１２のバッテリーの消費量を低減するように端末装置１２における設定を変更したりできる。

【0046】

［３．第３実施形態］
以下に、本発明の第３実施形態を説明する。第３実施形態に係るシステムの構成は、図１に示した第１実施形態に係るシステム１と同様である。以下に、第３実施形態が第１実施形態と異なる点を説明し、共通する点については説明を省略する。

【0047】

第３実施形態に係るシステム１（以下、単に「システム１」という）は、分身Ｙが本人Ｘの依頼に従って行う活動（以下、「タスク」という）の予定情報に基づいて、タスクの実行中に端末装置１２において映像揺れ補正処理が行われる時間を推定し、推定した時間に基づき、タスクの完了まで端末装置１２のバッテリー残量が十分であるか、また、タスクの完了までに端末装置１２のバッテリー残量が不足する場合、どれだけの容量の補助バッテリーを分身Ｙが準備しておく必要があるか、を特定し、特定したそれらの情報を分身Ｙに通知する。

【0048】

なお、上記の処理の一部又は全てが、端末装置１１で行われてもよいし、端末装置１２で行われてもよい。

【0049】

タスクの予定情報とは、例えば、以下のような情報である。
（サブタスク１）１３：００～１３：３０ 場所Ｐ１から場所Ｐ２へ電車で移動（要配信）
（サブタスク２）１３：３０～１５：００ 場所Ｐ２において徒歩で移動しながら調査（要配信）
（サブタスク３）１５：００～１５：１５ 場所Ｐ２から場所Ｐ３へタクシーで移動（配信不要）
（サブタスク４）１５：１５～１６：００ 場所Ｐ３において固定場所にてインタビュー（要配信）

【0050】

上記のように、予定情報には、タスクを構成する１以上の要素であるサブタスクの各々に関する、推定される所要時間、移動の有無、移動がある場合にはその移動手段、配信の要否を示す情報が含まれる。

【0051】

例えば、上記の予定情報に基づく場合、システム１（端末装置１１又は端末装置１２）は、サブタスク１に関し、映像揺れ補正処理（補正強度：弱）が３０分必要であり、サブタスク２に関し、映像揺れ補正処理（補正強度：強）が１時間３０分必要であり、サブタスク３及びサブタスク４に関しては映像揺れ補正処理が不要である、と推定する。

【0052】

また、システム１は、予定情報に基づき、タスクの実行における端末装置１２のカメラの稼働時間を推定する。この場合、カメラの稼働時間は２時間４５分と推定される。

【0053】

システム１は、タスクの開始時点における端末装置１２のバッテリー残量（満充電であれば、バッテリー容量）と、上記のように推定した映像揺れ補正処理の実行時間（上記の例では、補正強度：弱が３０分、補正強度：強が１時間３０分）、カメラの稼働時間（上記の例では、２時間４５分）、及び、予定情報が示すタスク全体の所要時間（上記の例では３時間）に基づき、タスクの完了までに端末装置１２のバッテリー残量が不足しないかを判定する。

【0054】

システム１は、この判定を、例えば、タスク開始時点におけるバッテリー残量、映像揺れ補正処理の実行時間、カメラの稼働時間、及び、タスク全体の所要時間（上記の例では３時間）を変数として含む所定の算出式に従い、タスク完了時点における端末装置１２のバッテリー残量の推定値を算出し、その推定値を所定の閾値を比較することにより行う。

【0055】

これに代えて、システム１が、人工知能を用いて、この判定を行ってもよい。例えば、機械学習モデルを用いる場合、端末装置１２を用いて分身Ｙが過去に行ったタスク（本人Ｘから依頼されたタスク、又は、本人Ｘ以外の本人から依頼されたタスク）において得られた以下の変数群を教師データとして用いて構築された機械学習モデルが用いられる。

【0056】

説明変数：タスク開始時点におけるバッテリー残量、映像揺れ補正処理の実行時間、カメラの稼働時間、タスク全体の所要時間
目的変数：タスク終了時点におけるバッテリー残量

【0057】

システム１は、将来に実行されるタスクに関し、タスクの開始時点における端末装置１２のバッテリー残量、予定情報に基づき推定した映像揺れ補正処理の実行時間、カメラの稼働時間、タスク全体の所要時間を機械学習モデルに入力し、機械学習モデルから出力されるタスク完了時点におけるバッテリー残量の推定値が所定の閾値以上であれば、タスクの完了まで端末装置１２のバッテリー残量が不足することはない、と判定する。一方、機械学習モデルから出力されるタスク完了時点におけるバッテリー残量の推定値が所定の閾値未満であれば、システム１は、タスクの完了までに端末装置１２のバッテリー残量が不足する、と判定する。

【0058】

システム１は、上記のように判定した、タスクの完了までにバッテリー残量が不足するか否かに関する情報を、例えば、端末装置１２により分身Ｙに通知する。分身Ｙは、端末装置１２から、バッテリー残量が不足する、という通知を受けた場合、端末装置１２のバッテリーに対し現地Ｓにおいて充電を行うための補助バッテリーを準備し、タスクの実行時にその補助バッテリーを持参する。

【0059】

第３実施形態に係るシステム１によれば、分身Ｙは、タスクを完了するために、端末装置１２のバッテリー残量が十分であるかを、事前に容易に知ることができる。その結果、分身Ｙは、タスクの実行時に補助バッテリーを持参すべきか否かを判断できる。

【0060】

なお、システム１が、タスクの完了までに端末装置１２のバッテリー残量が不足する、と判定した場合、現地Ｓに分身Ｙが持参すべき補助バッテリーの容量を推定し、推定した補助バッテリーの容量を、端末装置１２により分身Ｙに通知してもよい。

【0061】

例えば、上記の機械学習モデルの目的変数を、バッテリー残量に代えて、電力消費量とする。そして、システム１は、機械学習モデルが出力する、タスクの完了までに端末装置１２が必要とする電力消費量の推定値から、タスク開始時点における端末装置１２のバッテリー残量を減算した値（または、それに所定量を加算した値）を、分身Ｙが現地Ｓに持参すべき補助バッテリーが満たすべき最低限のバッテリー残量として推定する。端末装置１２は、そのように推定された補助バッテリーのバッテリー残量を分身Ｙに通知する。

【0062】

この場合、分身Ｙは、現地Ｓに持参すべき補助バッテリーの残量を容易に知ることができる。

【0063】

［３－１．第３実施形態の変形例］
以下に第３実施形態に係るシステム１の変形例を示す。

【0064】

上述した第３実施形態において、タスクの完了までに端末装置１２のバッテリー残量が不足するか否かの判定に用いられる情報は、タスク開始時点における端末装置１２のバッテリー残量、映像揺れ補正処理の実行時間、カメラの稼働時間、及び、タスク全体の所要時間であるものとしたが、それらの情報に加えて、もしくは代えて、これら以外の情報が、タスクの完了までに端末装置１２のバッテリー残量が不足するか否かの判定に用いられてもよい。タスクの完了までに端末装置１２のバッテリー残量が不足するか否かの判定に用いられる情報には、例えば、マイクの稼働時間、スピーカの稼働時間が含まれる。

【0065】

また、タスクの実行中に、例えば十分に短い時間間隔で、タスクの完了時まで端末装置１２のバッテリー残量が不足するか否かの判定と、その結果の分身Ｙに対する通知が繰り返し行われてもよい。その場合、システム１は、その判定を行う時点における端末装置１２のバッテリー残量を用いて、判定を行う。また、システム１が、タスクの実行中における過去の端末装置１２のバッテリー残量の経時変化に基づき、将来のバッテリー残量の経時変化を予測し、その予測に基づいて、タスクの完了時点までにバッテリー残量が不足するか否かを判定してもよい。

【0066】

また、バッテリー残量が不足するか否かの判定の結果が、分身Ｙに加えて、もしくは代えて、端末装置１１により本人Ｘに対し通知されてもよい。この場合、端末装置１２のバッテリー残量がタスクの完了時点までもたない、と予測される場合、タスクがバッテリー残量不足のために途中で遂行できなくならないように、本人Ｘが何らかの対策をとることができる。

【0067】

［４．第４実施形態］
以下に、本発明の第４実施形態を説明する。第４実施形態に係るシステムの構成は、図１に示した第１実施形態に係るシステム１と同様である。以下に、第４実施形態が第１実施形態と異なる点を説明し、共通する点については説明を省略する。

【0068】

第４実施形態に係るシステム１（以下、単に「システム１」という）は、端末装置１２において行われる映像揺れ補正処理の制御を、自動的に、すなわち、本人Ｘ又は分身Ｙの操作を要さずに行う。

【0069】

システム１においては、例えば、第３実施形態において用いられる、タスクの予定情報が用いられる。既述のように、タスクの予定情報は、例えば以下のような情報である。
（サブタスク１）１３：００～１３：３０ 場所Ｐ１から場所Ｐ２へ電車で移動（要配信）
（サブタスク２）１３：３０～１５：００ 場所Ｐ２において徒歩で移動しながら調査（要配信）
（サブタスク３）１５：００～１５：１５ 場所Ｐ２から場所Ｐ３へタクシーで移動（配信不要）
（サブタスク４）１５：１５～１６：００ 場所Ｐ３において固定場所にてインタビュー（要配信）

【0070】

端末装置１２は、予定情報に従い、映像揺れ補正処理の開始、終了、又は、補正の強度の調整を行う。例えば、端末装置１２は、上記の予定情報に従う場合、タスクの実行日の１３：００になると、補正強度が弱の映像揺れ補正処理を開始し、その後、１３：３０になると、実行中の映像揺れ補正処理の補正強度を強に変更し、その後、１５：００になると、映像揺れ補正処理を終了する。

【0071】

第４実施形態に係るシステム１によれば、分身Ｙは、端末装置１２に対し、映像揺れ補正処理の開始、終了、補正強度の変更等の操作を行う必要がない。

【0072】

なお、上記の説明においては、映像揺れ補正処理に関する制御は、タスクの予定情報に従い端末装置１２により行われるものとしたが、第２実施形態における場合のように、端末装置１１がタスクの予定情報に従い、然るべきタイミングで映像揺れ補正処理に関する制御を指示する制御データを生成し、端末装置１２に送信してもよい。この場合、端末装置１２は、端末装置１１から送信されてくる制御データに従い、映像揺れ補正処理の開始、終了、補正強度の調整等を行う。

【0073】

［４－１．第４実施形態の変形例］
以下に第４実施形態に係るシステム１の変形例を示す。

【0074】

上述した第４実施形態において、映像揺れ補正処理に関する制御は自動的に、すなわち、本人Ｘ又は分身Ｙの操作を要さずに行われる。これに代えて、映像揺れ補正処理に関する制御が半自動的に、すなわち、本人Ｘ又は分身Ｙによる簡易な操作に応じて行われてもよい。

【0075】

タスクは必ずしも予定情報が示す予定どおりに進行するとは限らない。従って、この変形例においては、端末装置１２は、予定情報が示す制御が行われるべきタイミング（又は、そのタイミングより所定時間長だけ前のタイミング）になると、ディスプレイに制御の実行を分身Ｙが指示するためのボタンを表示する。例えば、端末装置１２は、サブタスク２の開始予定時刻である１３：３０の５分前になると、実行中の映像揺れ補正処理の補正強度を弱から強へと変更するための仮想的な操作ボタン（「強」ボタン）をディスプレイに表示する。そして、分身Ｙは、実際にサブタスク２を開始するタイミングで、表示されている「強」ボタンに対する操作を行うことで、映像揺れ補正処理の補正強度を適切に調整できる。

【0076】

また、上述した第４実施形態において、映像揺れ補正処理に関する制御は、タスクの予定情報が示すタイミングの到来をトリガとして、自動的又は半自動的に行われる。これに加えて、もしくは代えて、他の種類のイベントの発生をトリガとして、映像揺れ補正処理に関する制御が自動的又は半自動的に行われてもよい。

【0077】

例えば、端末装置１２のカメラの周囲の明るさが不十分であれば、電子式の映像揺れ補正処理によって映像揺れを除去することは難しい。従って、端末装置１２が周囲の明るさを測定する照度センサを備える場合、照度センサが測定する周囲の明るさが所定の閾値を超えたタイミングで端末装置１２が映像揺れ補正処理を自動的に開始し、照度センサが測定する周囲の明るさが所定の閾値を下回ったタイミングで端末装置１２が映像揺れ補正処理を自動的に終了してもよい。

【0078】

また、端末装置１２のカメラが揺れていなければ、映像揺れ補正処理は不要である。従って、端末装置１２が自装置（又はカメラ）の揺れを検知するモーションセンサを備える場合、モーションセンサが自装置の揺れを検知したタイミングで端末装置１２が映像揺れ補正処理を自動的に開始し、モーションセンサが自装置の揺れを検知しない期間が所定の時間長に達したタイミングで端末装置１２が映像揺れ補正処理を自動的に終了してもよい。

【0079】

また、上述した第４実施形態において、自動的（又は半自動的）に制御される対象は、映像揺れ補正処理であるものとしたが、映像揺れ補正処理以外が自動的（又は半自動的）に制御されてもよい。

【0080】

例えば、図２に示すように、分身Ｙが現地Ｓにいる人物Ｚに対し端末装置１２のディスプレイを見せ、本人Ｘと人物Ｚとの間で、端末装置１１と端末装置１２を介したコミュニケーションが行われる場合がある。そして、現地Ｓには、分身Ｙ及び人物Ｚの他に、通行人等の本人Ｘとは無関係な人がおり、それらの人が会話を行っている場合がある。そのような場合、人物Ｚが話している間は端末装置１２のマイクが動作状態かつ感度が高い状態となり、人物Ｚが話していない間は端末装置１２のマイクが動作停止又は感度が低い状態となると、端末装置１１のスピーカから無関係な人の音声が大きな音量で発音されることがなく、本人Ｘにとって望ましい。

【0081】

そこで、端末装置１２が、カメラが生成する映像に写る人物Ｚの口元の動き（マスク越しでもよい）に基づき、人物Ｚが発声中であるか否かを判定し、人物Ｚが発声中であると判定している期間においては、端末装置１２のマイクの感度を自動的に高くし、人物Ｚが発声中でないと判定している期間においては、端末装置１２のマイクの感度を自動的に低くする。

【0082】

なお、端末装置１２は、マイクの感度を増減する代わりに、マイクをＯＮ／ＯＦＦしてもよい。

【0083】

また、端末装置１２が、カメラが生成する映像に基づき、その映像に写る人物Ｚの端末装置１２からの音に耳をすませる動作を検知し、その検知をトリガに、端末装置１２のスピーカの音量を自動的に上げてもよい。なお、端末装置１２からの音に耳をすませる動作には、例えば、端末装置１２のスピーカに耳を近付ける動作や、耳の後ろに手を当てる動作が含まれる。

【0084】

なお、端末装置１２が発音する音の音量が異なる複数のスピーカを備える場合、端末装置１２は、映像に写る人物Ｚの端末装置１２からの音に耳をすませる動作を検知すると、発音するスピーカを、音量が小さいスピーカから音量が大きいスピーカへと切り替えてもよい。

【0085】

また、端末装置１２が、カメラが生成する映像に写る人物Ｚの表情や仕草からその時点の人物Ｚの感情を推定し、推定した感情、又はその感情に応じたメッセージを端末装置１１に送信してもよい。この場合のメッセージとは、例えば「相手の方が少し不機嫌なようです」といったメッセージである。端末装置１１は、端末装置１２から送信されてくる人物Ｚの感情、又はその感情に応じたメッセージをディスプレイに表示する。または、端末装置１１は、端末装置１２から送信されてくる人物Ｚの感情、又はその感情に応じたメッセージを表す音声を合成し、その音声をスピーカから発音する。従って、本人Ｘは、人物Ｚの感情に容易に気付くことができる。

【0086】

また、端末装置１２が、カメラが生成する映像に加えて、もしくは代えて、マイクが拾音する人物Ｚの音声に基づき、その時点の人物Ｚの感情を推定し、推定した感情、又はその感情に応じたメッセージを端末装置１１に送信してもよい。

【0087】

また、端末装置１２が、カメラが生成する映像又はマイクが拾音する音に基づき、現地Ｓの状況を推定し、推定した状況、又はその状況に応じたメッセージを端末装置１１に送信してもよい。この場合のメッセージとは、例えば「周囲がとても静かです」といったメッセージである。この場合、本人Ｘは現地Ｓの状況を容易に知ることができる。

【0088】

また、端末装置１２が、マイクが拾音する音に基づき、マイクの感度の増減、又は、マイクのＯＮ／ＯＦＦを行ってもよい。

【0089】

例えば、端末装置１２は、本人Ｘが所定時間以上、継続して発話していて、その間、人物Ｚの発話がなければ、人物Ｚに対し本人Ｘが一方的に話している、と判断し、端末装置１２のマイクの感度を低く維持する。また、端末装置１２は、本人Ｘが、例えば「お薦めの商品は何ですか？」といった質問を行ったと判定すると、次に人物Ｚが発話することを予測して、端末装置１２のマイクの感度を上げる。なお、端末装置１２が、本人Ｘの発声した言葉が質問であるか否かを判定する方法としては、本人Ｘの発話の内容を音声認識し、その内容が質問であるか否かを判定する方法、本人Ｘの発話のイントネーションが質問文のイントネーション（例えば、語尾が上がるイントネーション）であるか否かを判定する方法、等のいずれが採用されてもよい。

【0090】

また、システム１（端末装置１１又は端末装置１２）が、本人Ｘの発話内容を認識し、認識した発話内容が人物Ｚに対する質問であると判定した場合、その質問に応じた回答入力フォームを端末装置１２のディスプレイに表示させてもよい。例えば、本人Ｘが人物Ｚに対し、「この商品の値段はいくらですか？」といった質問を行った場合、端末装置１２のディスプレイには、例えば「この商品の値段はいくらですか？」という質問文と、「 円」といった値段を入力するテキストボックスと、人物Ｚによる数字の入力を受け付ける仮想的なテンキーとを含む回答入力フォームが表示される。人物Ｚは、この回答入力フォームに対し回答を入力することで、本人Ｘに対し容易に回答を行うことができる。

【0091】

同様に、人物Ｚが本人Ｘに対し質問を行う場合に、その質問に応じた回答入力フォームが端末装置１１のディスプレイに表示されるようにしてもよい。

【0092】

また、本人Ｘと人物Ｚで使用する言語が異なる場合、回答入力フォームに用いられる言葉は回答する側のユーザが使用する言語に翻訳されたものであることが望ましい。そして、質問する側のユーザに対し通知される回答の内容は、質問する側のユーザが使用する言語に翻訳されたものであることが望ましい。この場合、本人Ｘと人物Ｚの使用する言語が異なっても、スムーズな質問と回答が行われる。

【0093】

なお、回答入力フォームに含まれる回答を受け付けるオブジェクトのタイプはテキストボックスに限られない。例えば、複数の選択肢の中から１又は２以上の選択を促すメニューリスト等が回答入力フォームに含まれてもよい。

【0094】

また、本人Ｘが人物Ｚの氏名等の特定の言葉を発声した場合に、システム１（端末装置１１又は端末装置１２）がそれを検知し、端末装置１２のマイクをＯＮにしたり、既にＯＮになっているマイクの感度を上げたりしてもよい。その際、マイクのＯＮ又は感度の増加と同時に、もしくは所定時間の経過後に、ＯＦＦになっていた端末装置１２のカメラを端末装置１２がＯＮにしてもよい。

【0095】

なお、端末装置１２がマイク、カメラ等の装置に対し上記のような制御を行う前に、ディスプレイに、例えば「カメラをＯＮにします。よろしいですか？ Ｙｅｓ／Ｎｏ」といった確認メッセージを表示し、その確認メッセージに対する了解を示す操作（例えば、「Ｙｅｓ」ボタンに対するタッチ操作）が人物Ｚにより行われた場合に限り、端末装置１２がその制御を実行するようにしてもよい。

【0096】

上記のように、システム１を用いたコミュニケーションにおいて、ユーザは、発話内に注意を促したい相手の名前等の識別名を入れることにより、その識別名で識別される参加者の端末装置に、発話内容に応じた動作を行わせることができる。

【0097】

例えば、図３に示すように、現地Ｓに人物Ｚに加え、さらに人物Ｖがおり、人物Ｖが端末装置１３を用いて本人Ｘと人物Ｚのコミュニケーションに加わっているような場合、本人Ｘは、例えば「Ｚさん、あなたの故郷はどこですか？」と発話することで、端末装置１２のディスプレイに故郷名の入力を促す回答入力フォームを表示させ、例えば「Ｖさん、あなたの家族は何人ですか＿」と発話することで、端末装置１３のディスプレイに家族人数の入力を促す回答入力フォームを表示させることができる。

【0098】

また、端末装置１２が、例えば分身Ｙによる所定の操作に応じて、話者を登録するための動作モードである登録モードで動作し、登録モードで動作中に端末装置１２のマイクが拾音した音声に基づき、システム１（端末装置１１又は端末装置１２）がコミュニケーションに対する参加者を識別可能としてもよい。

【0099】

図４に示すように、現地Ｓに分身Ｙ、人物Ｚ、人物Ｖ、人物Ｗがおり、本人Ｘが人物Ｚ及び人物Ｖとの間でコミュニケーションを行うものとする。なお、人物Ｗは本人Ｘ等とは無関係な通行人である。また、人物Ｚと人物Ｖは、端末装置１２を介して本人Ｘとコミュニケーションをするものとする。

【0100】

この場合、登録モードで動作している端末装置１２のマイクに対し、人物Ｚと人物Ｖが、例えばその順番で、簡単な自己紹介を行う。なお、自己紹介に代えて、人物Ｚと人物Ｖが、定型文の読み上げを行ってもよい。その場合、定型文は、発話者の音声の特徴を把握しやすいように、様々な種類の発音が含まれる文であることが望ましい。システム１は、登録モード中に端末装置１２のマイクが収音した音声から特徴を抽出し、抽出した特徴を記憶する。その後、分身Ｙは端末装置１２を操作して、端末装置１２の動作モードを通常モードに切り替える。

【0101】

その後、端末装置１２は、端末装置１２のマイクが収音する音に人物Ｚ又は人物Ｖの音声が含まれる期間中はマイク感度を上げ、それ以外の期間中（例えば、人物Ｗの音声が含まれるが、人物Ｚ又は人物Ｖの音声は含まれない期間中）はマイク感度を下げる。これにより、現地Ｓが他の通行人等により騒がしくても、本人Ｘは現地Ｓにいるコミュニケーションの相手との会話に集中できる。

【0102】

［５．発明のカテゴリ］
本発明は、上述した実施形態においてシステム１により例示されるシステム、端末装置１１又は端末装置１２により例示される端末装置、システム１により実行される方法、端末装置１１又は端末装置１２を構成するコンピュータに対し、端末装置１１又は端末装置１２が行うデータ処理を実行させるためのプログラム、当該プログラムを記録した記録媒体、又は、当該プログラムを持続的に記憶したデータ処理装置を提供する。

【符号の説明】

【0103】

１…システム、９…通信ネットワーク、１１…端末装置、１２…端末装置、１３…端末装置。

【図1】

【図2】

【図3】

【図4】