特開 2025-2555 制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025002555

(43)【公開日】2025-01-09

(54)【発明の名称】制御方法

(51)【国際特許分類】

   G06T 5/50 20060101AFI20241226BHJP

   H04N 23/60 20230101ALI20241226BHJP

   G10G 1/02 20060101ALI20241226BHJP

   G10H 1/00 20060101ALI20241226BHJP

   G09B 15/00 20060101ALI20241226BHJP

【ＦＩ】

G06T5/50

H04N23/60 300

H04N23/60 500

G10G1/02

G10H1/00 Z

G09B15/00 Z

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023102806

(22)【出願日】2023-06-22

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【識別番号】100220674

【弁理士】

【氏名又は名称】小山 祐

(72)【発明者】

【氏名】仲 恵輔

(72)【発明者】

【氏名】諏訪 允俊

【テーマコード（参考）】

5B057

5C122

5D182

5D478

【Ｆターム（参考）】

5B057AA20

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CE09

5B057DA07

5B057DA16

5B057DB02

5B057DB09

5B057DC30

5C122FA18

5C122FH18

5C122GC53

5C122HA85

5C122HB01

5D182AA01

5D478FF22

(57)【要約】      （修正有）

【課題】遠隔地にいる相手方と作業を共有する際の相手方とユーザ自身との一体感を増大させる制御方法を提供する。
【解決手段】撮像部と投影部とを有する端末装置が実行する制御方法であって、撮像部により作業領域におけるユーザの手作業を撮像して得られる、当該作業領域の第１の位置におけるユーザの手の画像を含む第１の画像と、他のユーザによる他の作業領域における手作業を当該他のユーザが使用する他の端末装置により撮像して得られる、当該他の領域における第１の位置とは異なる第２の位置に当該他のユーザの手の画像を含む第２の画像とに基づいて、ユーザの手の画像と、当該ユーザの手の画像以外の領域であって他のユーザの手の画像とを所定の輝度とした合成画像を、投影部によって、作業領域上に投影させることを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像部と投影部とを有する端末装置が実行する制御方法であって、
前記撮像部により作業領域におけるユーザの手作業を撮像して得られる、当該作業領域の第１の位置における前記ユーザの手の画像を含む第１の画像と、他のユーザによる他の作業領域における手作業を当該他のユーザが使用する他の端末装置により撮像して得られる、当該他の領域における前記第１の位置とは異なる第２の位置に当該他のユーザの手の画像を含む第２の画像とに基づいて、前記ユーザの手の画像と、当該ユーザの手の画像以外の領域であって前記他のユーザの手の画像とを所定の輝度とした合成画像を、前記投影部に、前記作業領域上に投影させることを含む、
制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御方法に関する。

【背景技術】

【0002】

遠隔によるピアノの演奏教習において、ユーザに鍵盤操作を指導するために、ユーザの相手方である講師の演奏の様子を表す画像をユーザ自身の使用する楽器に投影する技術が知られている。例えば、特許文献１には、小型鍵盤で生成された鍵盤操作情報を画像情報に変換し、画像情報に基づいて画像をピアノの鍵盤に投影するピアノ教習補助装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１４００５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

離れたところにいる相手方の演奏の様子を再現する端末装置において、ユーザ自身の演奏との一体感を増大させる技術には改善の余地があった。

【0005】

かかる事情に鑑みてなされた本開示の目的は、遠隔地にいる相手方と作業を共有する際の相手方とユーザ自身との一体感を増大させる技術を改善することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る制御方法は、撮像部と投影部とを有する端末装置が実行する制御方法であって、前記撮像部により作業領域におけるユーザの手作業を撮像して得られる、当該作業領域の第１の位置における前記ユーザの手の画像を含む第１の画像と、他のユーザによる他の作業領域における手作業を当該他のユーザが使用する他の端末装置により撮像して得られる、当該他の領域における前記第１の位置とは異なる第２の位置に当該他のユーザの手の画像を含む第２の画像とに基づいて、前記ユーザの手の画像と、当該ユーザの手の画像以外の領域であって前記他のユーザの手の画像とを所定の輝度とした合成画像を、前記投影部に、前記作業領域上に投影させることを含む。

【発明の効果】

【0007】

本開示の一実施形態によれば、遠隔地にいる相手方と作業を共有する際の相手方とユーザ自身との一体感を増大させる技術を改善することが可能となる。

【図面の簡単な説明】

【0008】

【図1】遠隔作業連携補助システムの概略構成を示す図である。

【図2】端末装置の動作を示すフローチャートである。

【図3】合成画像の生成を説明するための図である。

【図4】合成画像の生成を説明するための図である。

【発明を実施するための形態】

【0009】

図１を参照して本実施形態に係る遠隔作業連携補助システム１の概要について説明する。遠隔作業連携補助システム１は、ネットワーク２０を介して互いに通信可能に接続される、少なくとも一対の端末装置１０（以下、それぞれの動作に言及するときは端末装置１０Ａ、１０Ｂという）を有する。

【0010】

ネットワーク２０は、インターネット、少なくとも１つのＷＡＮ(Wide Area Network)、少なくとも１つのＭＡＮ(Metropolitan Area Network)、又はこれらの組み合わせを含む。ネットワーク２０は、少なくとも１つの無線ネットワーク、少なくとも１つの光ネットワーク、又はこれらの組み合わせを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線ＬＡＮ(Local Area Network)、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。

【0011】

端末装置１０Ａと端末装置１０Ｂとはそれぞれ、制御部１１と撮像部１４と投影部１５とを有する。制御部１１は、撮像部１４により作業領域におけるユーザの手作業を撮像して得られる、当該作業領域の第１の位置におけるユーザの手の画像を含む第１の画像と、他のユーザによる他の作業領域における手作業を当該他のユーザが使用する他の端末装置１０Ｂにより撮像して得られる、当該他の領域における第１の位置とは異なる第２の位置に当該他のユーザの手の画像を含む第２の画像とに基づいて、ユーザの手の画像と、当該ユーザの手の画像以外の領域であって他のユーザの手の画像とを所定の輝度とした合成画像を、投影部１５に、作業領域上に投影させる。ユーザと相手方との手作業はそれぞれ、楽器Ｐ１と楽器Ｐ２との演奏を含む。手作業はパーソナルコンピュータのキーボード、作業台、机等の上での作業であってもよい。

【0012】

本実施形態において、端末装置１０と楽器とは別個に設けられるが、一体的に設けられてもよい。楽器Ｐ１と楽器Ｐ２とはそれぞれ、ユーザ及び相手方が手で操作する。作業領域は操作の対象となる任意の寸法の領域である。本実施形態に係る楽器はピアノ、オルガン等の鍵盤楽器であり、操作部は鍵盤である。楽器は、バイオリン、ギター、琴等の弦楽器、ドラム等の打楽器等であってもよい。弦楽器の場合、操作部は指板、弦等を含み、打楽器の場合、操作部は打面等を含む。第１の位置及び第２の位置とは具体的には、共有すると決めた作業領域全体の中での相対的な楽器上の位置である。

【0013】

端末装置１０Ａは、端末装置１０Ｂから第２の画像を受信して取得する。端末装置１０Ａは、第１の画像と第２の画像とに基づいて合成画像を生成し、ユーザが弾いている楽器上に投影する。相手方の端末装置１０Ｂにおいても同様に投影が行われる。合成画像では、ユーザの手の画像と、それ以外の領域であって相手方の手の画像以外の領域とがマスキングされるような輝度に設定される。かかる輝度は、例えば、０であるが、投影された画像の色が視認できない程度に低い任意の輝度であってもよい。画像中のこの輝度の領域は、画像が投影された場合に例えば黒色に相当する。輝度は理想的には０であるが、投影された場合に黒色が反映される色に相当する色であれば０に近い数値でもよい。

【0014】

端末装置１０Ａにおいて、合成画像のマスキングされた領域は楽器に投影されてもユーザに視認されず、該領域より高い輝度である相手方の手の領域のみが、映像として視認される。ユーザの手が置かれた第１の位置と、相手方の手が置かれた第２の位置とが重なる領域については合成画像でマスキングされて楽器上に投影される。これにより、端末装置１０Ａで撮像された、ユーザの手の領域の一部の上に相手方の手の映像が映りこんだ状態、すなわちユーザの手の一部の輝度が明るい状態の画像が相手方の端末装置１０Ｂに送信されてしまう事態を避けることができる。よって端末装置１０Ｂの投影部１５によって該画像がそのまま相手方の楽器上に投影されたときに、ユーザの手を示す領域が明るくなりすぎた、いわゆる白飛びが発生してしまうことを防ぐことが可能となる。よって、遠隔地にいる相手方と作業を共有する際の相手方とユーザ自身との一体感を増大させる技術を改善することが可能となる。

【0015】

次に、端末装置１０の構成について詳細に説明する。図１に示すように、端末装置１０は、制御部１１と、記憶部１２と、通信部１３と、撮像部１４と、投影部１５とを備える。

【0016】

制御部１１には、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせが含まれる。プロセッサはＣＰＵ(Central Processing Unit)若しくはＧＰＵ(Graphics Processing Unit)等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は例えば、ＦＰＧＡ(Field-Programmable Gate Array)又はＡＳＩＣ(Application Specific Integrated Circuit)である。制御部１１は端末装置１０の各部を制御しながら、端末装置１０の動作に関わる処理を実行する。

【0017】

記憶部１２には、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうち少なくとも２種類の組み合わせが含まれる。半導体メモリは例えばＲＡＭ(Random Access Memory)又はＲＯＭ(Read Only Memory)である。ＲＡＭは例えばＳＲＡＭ(Static Random Access Memory)又はＤＲＡＭ(Dynamic Random Access Memory)である。の略語である。ＲＯＭは例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)である。記憶部１２は例えば主記憶装置、補助記憶装置又はキャッシュメモリとして機能する。記憶部１２には端末装置１０の動作に用いられる任意の情報、制御・処理プログラム等と、端末装置１０の動作によって得られた情報とが記憶される。

【0018】

通信部１３には、少なくとも１つの通信用インタフェースが含まれる。通信用インタフェースは、例えば、ＬＴＥ(Long Term Evolution)、４Ｇ(4th Generation)規格、若しくは５Ｇ(5th Generation)規格等の移動通信規格に対応したインタフェース、Bluetooth（登録商標）等の近距離無線通信に対応したインタフェース、又はＬＡＮインタフェースである。通信部１３は、端末装置１０の動作に用いられる情報を受信し、また端末装置１０の動作によって得られる情報を送信する。

【0019】

撮像部１４は、楽器を撮像可能な１つ以上のカメラを含む。撮像部１４は、レンズおよび撮像素子を含んでよい。撮像素子は、例えば、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、ＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）等である。撮像部１４は所定のフレームレートで被写体を撮像し、生成した画像データを制御部１１に送る。撮像部１４は、楽器の鍵盤の面に対し垂直方向に所定距離離れた位置に配置されてよい。本実施形態において、撮像部１４は楽器の鉛直方向上方に配置される。

【0020】

投影部１５は、楽器の鍵盤上に画像を投影可能な１つ以上の投影レンズを含む。投影部１５は、光学素子及び光源を含んでよい。光学素子は例えばＤＭＤ（Digital Mirror Device）等である。投影部１５は、楽器の鍵盤に対し垂直方向に所定距離離れた位置に配置されてよい。本実施形態において、投影部１５は楽器の鉛直方向上方に配置される。

【0021】

端末装置１０はさらに、撮像部１４が撮影する被写体までの距離及び被写体の水平方向の位置を測定可能な、１つ以上の測距センサを含んでもよい。測距センサは撮像部１４が備える構成であってもよい。測距センサは例えばＬｉＤＡＲ（Light Detection and Ranging）等である。測距センサが測定した値を示す情報は撮像部１４によって生成された画像に含まれてよい。測距センサにより、制御部１１が画像中のユーザの手を示す領域をより精度よく検出することが可能となる。

【0022】

端末装置１０の機能は、本実施形態に係るプログラムを制御部１１に相当するプロセッサで実行することにより実現される。プログラムはコンピュータを端末装置１０として機能させるためのプログラムである。

【0023】

プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＤＶＤ(Digital Versatile Disc)又はＣＤ－ＲＯＭ(Compact Disc Read Only Memory)などの可搬型媒体を販売、譲渡、又は貸与することによって行う。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

【0024】

コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ(Application Service Provider)型のサービスによって処理を実行してもよい。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

【0025】

図２は、本実施形態に係る端末装置１０Ａの動作手順例を示すフローチャート図である。図２の手順は端末装置１０の制御部１１が実行する処理に係る手順である。

【0026】

ステップＳ１において、制御部１１は撮像部１４を制御して、楽器Ｐ１上を撮影させる。撮像部１４は所定のフレームレートで撮影し、逐次生成した画像を制御部１１に送る。

【0027】

図３には第１の画像Ａが示される。第１の画像Ａは、楽器Ｐ１のユーザの作業領域としての鍵盤上の第１の位置におけるユーザの手を示す画像Ｈ１を含む。制御部１１はまた、第１の画像Ａを相手方の端末装置１０に送信する。

【0028】

ステップＳ２において、制御部１１は、相手方の端末装置１０Ｂから、端末装置１０Ｂにより、相手方が使用する楽器Ｐ２上を撮像した画像を受信し、第２の画像として取得する。

【0029】

図３には第２の画像Ｂが示される。第２の画像Ｂは、楽器Ｐ２の第２の位置における相手方の手の画像Ｈ２を含む。

【0030】

制御部１１は、ステップＳ１とステップＳ２との処理を同時並行して行ってよい。

【0031】

ステップＳ３において、制御部１１は、ステップＳ１で取得した第１の画像において、ユーザの手の画像Ｈ１を所定の輝度に設定する。所定の輝度とは、画像の各ピクセルの輝度が所定値未満であることであってもいいし、各ピクセルの輝度の平均値が所定値未満であることであってもよい。所定値は予め設定されて記憶部１２に格納されていてよい。本例において、所定の輝度とは第１の画像の画像Ｈ１の各ピクセルの輝度が０であることをいう。本例では制御部１１は、該画像Ｈ１以外を画像が生成されない領域（以下、透明領域という）として加工する。

【0032】

ユーザの手の画像Ｈ１の検出には任意の手法が採用されてよい。例えば端末装置１０が測距センサを備える場合、制御部１１は、該測距センサが測定した距離を示す情報に基づいてユーザの手の画像Ｈ１を検出しもてよい。制御部１１は、撮像部１４が取得した画像からユーザの手の画像Ｈ１を検出することができる。この場合には、例えば骨格推定技術を用いて手の画像Ｈ１を検出する。

【0033】

図３には、第１の画像Ａを制御部１１が加工した第１の画像Ｃが示される。加工された第１の画像Ｃにおいて、ユーザの手の画像Ｈ１は輝度が０であり、その他の領域は画像が生成されていない。

【0034】

ステップＳ４において、制御部１１は、ステップＳ２で取得した第２の画像において、相手方の手の画像Ｈ２及び画像Ｈ２以外の範囲をそれぞれ所定の輝度に設定して加工する。本例において、相手方の手の画像Ｈ２の輝度は画像Ｈ２以外の範囲の輝度よりも高い値である。本例では相手方の手の画像Ｈ２以外の範囲の輝度は、輝度が０である。相手方の手の画像Ｈ２及び相手方の手の画像Ｈ２以外の範囲のそれぞれ輝度の値は予め設定されて記憶部１２に格納されていてよい。

【0035】

図４に、第２の画像Ｂを制御部１１が加工した第２の画像Ｄが示される。加工された第２の画像Ｄにおいて、相手方の手の画像Ｈ２以外の範囲は輝度が０である。

【0036】

ステップＳ５において、制御部１１は、加工した第１の画像と第２の画像とを重ね合わせて合成画像を生成する。図４には、加工された第１の画像Ｃと第２の画像Ｄとを合成した合成画像Ｅが示される。合成画像Ｅにおいては、ユーザの手の第１の位置と、相手方の手の第２の位置とが重なった領域は、ユーザの手の画像Ｈ１により輝度が０である。合成画像Ｅは、加工された第２の画像Ｄの上に加工された第１の画像Ｃを重ねることで生成される。

【0037】

合成画像の生成の手法はこれに限られず、例えばステップＳ３で、制御部１１は、ユーザの手の画像Ｈ１をクロップ処理して所定の値未満の輝度に設定し、加工した第２の画像Ｄに重ねることで合成画像を生成してもよい。

【0038】

ステップＳ６において、制御部１１は、投影部１５に、ステップＳ５で生成した合成画像を楽器上に投影させる。その後、制御部１１の動作はステップＳ１に戻る。図４には、合成画像Ｅがユーザの楽器Ｐ１上に投影されている状況Ｆが示される。状況Ｆにおいて、斜線は実体としてのユーザの手を示す。ユーザの肉眼から見て、合成画像Ｅ中の黒塗りで示す、輝度が低い領域は、楽器上又はユーザの手の上に投影されても映像が映りこまずに、相手方の手の画像Ｈ２のみがユーザの楽器Ｐ１上の作業領域で見える。

【0039】

ステップＳ７において、制御部１１は、ユーザが手作業を終了したかどうかを判断する。本例では制御部１１は、楽器の演奏を終了したかどうかを判断する。楽器の演奏を終了したと判断した場合、端末装置１０の動作は終了する。終了していないと判断した場合、端末装置１０の動作はステップＳ１に戻る。

【0040】

作業を終了したかどうかの判断には任意の手法が採用されてよい。制御部１１は例えば、任意の画像解析技術を用いて、第１画像からユーザの手が検出されないことを判断した場合に、処理を終了してよい。

【0041】

以下の実施形態に関し更に以下の付記を開示する。

【0042】

（付記１）
制御部と撮像部と投影部とを有する端末装置であって、
前記制御部は、前記撮像部により作業領域におけるユーザの手作業を撮像して得られる、当該作業領域の第１の位置における前記ユーザの手の画像を含む第１の画像と、他のユーザによる他の作業領域における手作業を当該他のユーザが使用する他の端末装置により撮像して得られる、当該他の領域における前記第１の位置とは異なる第２の位置に当該他のユーザの手の画像を含む第２の画像とに基づいて、前記ユーザの手の画像と、当該ユーザの手の画像以外の領域であって前記他のユーザの手の画像とを所定の輝度とした合成画像を、前記投影部に、前記作業領域上に投影させる、
端末装置。

【0043】

上述において、実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0044】

制御部１１は、ユーザの手が置かれた第１の位置と、相手方の手が置かれた第２の位置とが重なる領域について、例えばそれぞれの画像のオプティカルフローにより動的予測を行って重なるかどうかについて判定してもよい。このように事前に判定をすることで、ユーザが不快感なく合成画像を視認することができる。また、制御部１１の処理負荷も減らすことができる。

【符号の説明】

【0045】

１ 遠隔作業連携補助システム
１０ 端末装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 撮像部
１５ 投影部
２０ ネットワーク

【図1】

【図2】

【図3】

【図4】