ホーム > 特許ランキング > ＭＹＺＥＰＰＩ ＬＴＤ．
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-24
(54)【発明の名称】遠隔会議装置
(51)【国際特許分類】
H04N 7/15 20060101AFI20220316BHJP
G06T 7/70 20170101ALI20220316BHJP
G06T 7/20 20170101ALI20220316BHJP
G06T 7/00 20170101ALI20220316BHJP
【ＦＩ】
H04N7/15
G06T7/70 Z
G06T7/20 300B
G06T7/20 300Z
G06T7/00 350B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021543536
(86)(22)【出願日】2020-02-03
(85)【翻訳文提出日】2021-08-26
(86)【国際出願番号】 IL2020050126
(87)【国際公開番号】W WO2020161701
(87)【国際公開日】2020-08-13
(31)【優先権主張番号】62/803,508
(32)【優先日】2019-02-10
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】521330415
【氏名又は名称】マイゼッピ リミテッド．
【氏名又は名称原語表記】ＭＹＺＥＰＰＩ ＬＴＤ．
【住所又は居所原語表記】５１ Ｈａａｌｉｙａ Ｓｔｒｅｅｔ ２２３８７１６ Ｎａｈａｒｉｙｙａ Ｉｓｒａｅｌ
(74)【代理人】
【識別番号】100120662
【弁理士】
【氏名又は名称】川上 桂子
(74)【代理人】
【識別番号】100216770
【弁理士】
【氏名又は名称】三品 明生
(74)【代理人】
【識別番号】100217364
【弁理士】
【氏名又は名称】田端 豊
(72)【発明者】
【氏名】ラビー、 エイタン
【テーマコード（参考）】
5C164
5L096
【Ｆターム（参考）】
5C164FA10
5C164UB81S
5C164VA03P
5C164VA06P
5C164VA07S
5L096AA06
5L096CA04
5L096DA02
5L096FA67
5L096FA69
5L096HA05
5L096JA22
5L096KA04
(57)【要約】
遠隔会議装置であって、推進システム、投影ユニット、遠隔会議装置を取り囲んでいる環境のマッピングを可能にする情報を取得することが可能な少なくとも１つのセンサー、ならびに、少なくとも１つのセンサーから情報を取得し、その取得した情報を使用して、遠隔会議装置を取り囲んでいる環境をマッピングし、遠隔会議装置の少なくとも１人のユーザーのその遠隔会議装置に関する位置および向きを追跡して、その少なくとも１人のユーザーに関して遠隔会議装置の表面の所与の部分の所望の位置および向きを決定し、推進システムを作動させて遠隔会議装置を決定された所望の位置および向きに飛行させ、遠隔装置によって捕捉された画像のストリームを受信し、受信した画像のストリームを表面の所与の部分上に投影するように投影ユニットに指示するように構成された、処理ユニットを含む。
【選択図】図４
【選択図】図４
【特許請求の範囲】
【請求項1】
遠隔会議装置であって、表面を有する前記遠隔会議装置を飛行させるための推進システムであって、前記遠隔会議装置を適所でホバリングさせ、その位置を変えることが可能な推進システムと、
投影ユニットであって、前記投影ユニットに関して固定位置を有する前記表面の少なくとも所与の部分上に画像を投影することが可能な投影ユニットと、
前記遠隔会議装置を取り囲んでいる環境のマッピングを可能にする情報を取得することが可能な少なくとも１つのセンサーと、
処理ユニットであって、
前記少なくとも１つのセンサーから情報を取得することと、
前記取得した情報を使用して、前記遠隔会議装置を取り囲んでいる前記環境をマッピングすることであって、前記環境は前記遠隔会議装置の少なくとも１人のユーザーを含むことと、
前記マッピングされた環境内で、前記遠隔会議装置の少なくとも１人のユーザーの、前記遠隔会議装置に関する位置および向きを追跡することと、
前記少なくとも１人のユーザーの前記追跡された位置と向きおよび１つ以上のセッション関連パラメータに少なくとも基づき、前記少なくとも１人のユーザーに関して前記表面の前記所与の部分の所望の位置および向きを決定することと、
前記推進システムを作動させて、前記表面の前記所与の部分が前記決定された所望の位置および向きに位置付けられていない状態に際して、前記遠隔会議装置を前記決定された所望の位置および向きに飛行させることと、
遠隔装置によって捕捉された画像のストリームを受信することと、
前記受信した画像のストリームを前記表面の前記所与の部分上に投影するように前記投影ユニットに指示することと
を行うように構成された、処理ユニットと
を備える、遠隔会議装置。
【請求項2】
前記セッション関連パラメータは、画像の前記ストリームがそれを通して受信されるネットワーク接続の測定された信号強度または信号品質を含む、請求項１に記載の遠隔会議装置。
【請求項3】
前記処理ユニットは、前記ユーザーによって視聴される前記画像の視聴質を推定するようにさらに構成され、かつ前記セッション関連パラメータは前記推定された視聴質を含む、請求項１に記載の遠隔会議装置。
【請求項4】
少なくとも１つのスピーカーをさらに備え、前記処理ユニットは、前記遠隔装置によって捕捉された音声のストリームを受信することと、
前記音声を前記少なくとも１つのスピーカーを介して前記少なくとも１人のユーザーに出力することと、
前記ユーザーによって受信された前記音声の音質を推定することと
を行うようにさらに構成され、かつ
前記セッション関連パラメータは前記推定された音質を含む、
請求項１に記載の遠隔会議装置。
【請求項5】
少なくとも１つのマイクロホンをさらに備え、かつ前記処理ユニットは、前記マイクロホンを使用して音声を取得することと、前記取得した音声を分析することにより周囲騒音レベルを判断することとを行うようにさらに構成され、前記セッション関連パラメータは前記判断された周囲騒音レベルを含む、請求項１に記載の遠隔会議装置。
【請求項6】
前記処理ユニットは、（ａ）光の量および（ｂ）光の方向の少なくとも１つを、前記遠隔会議装置を取り囲んでいる前記環境内のそれぞれ複数の位置において判断するようにさらに構成され、前記セッション関連パラメータは前記判断された光の量または光の方向を含む、請求項１に記載の遠隔会議装置。
【請求項7】
前記遠隔会議装置の空気浮力を引き起こすためのバルーンに取付け可能な機械的連結装置をさらに備え、前記表面は前記バルーンの表面である、請求項１に記載の遠隔会議装置。
【請求項8】
前記推進システムは空気ジェットを含む、請求項７に記載の遠隔会議装置。
【請求項9】
前記ホバリングは前記バルーンによって引き起こされた空気浮力によって得られる、請求項７に記載の遠隔会議装置。
【請求項10】
前記所望の位置および向きは、前記表面の前記所与の部分と前記少なくとも１人のユーザーとの間で遮られない視線が維持されるように決定される、請求項１に記載の遠隔会議装置。
【請求項11】
前記前センサーは少なくとも１つのカメラである、請求項１に記載の遠隔会議装置。
【請求項12】
前記処理ユニットは、前記マッピングされた環境を利用し、かつ使用シナリオ分類器を使用して、前記遠隔会議装置の使用シナリオを分類するようにさらに構成され、前記所望の位置および向きは前記使用シナリオを使用して決定される、請求項１に記載の遠隔会議装置。
【請求項13】
前記使用シナリオ分類器は、前記マッピングされた環境を、複数の事前に分類された使用シナリオの所与の使用シナリオに分類するように構成され、前記事前に分類された使用シナリオの各事前に分類された使用シナリオは、もし前記遠隔会議装置が物理的に存在するユーザーであったなら、前記物理的に存在するユーザーのそれぞれ別個の挙動をシミュレートする、請求項１２に記載の遠隔会議装置。
【請求項14】
前記分類器は、前記ユーザーによって実行された活動、前記ユーザーの顔の表情、前記ユーザーの音声量、前記ユーザーの声の表情、前記ユーザーの体動速度における変化、前記ユーザーの体位における変化、または前記ユーザーの身体挙動における変化、の１つ以上に基づいて前記分類を実行する、請求項１３に記載の遠隔会議装置。
【請求項15】
前記使用シナリオ分類器は、機械学習分類器である、請求項１２に記載の遠隔会議装置。
【請求項16】
遠隔会議装置を操作するための方法であって、表面を有する前記遠隔会議装置を飛行させるための推進システムであって、前記遠隔会議装置を適所でホバリングさせ、その位置を変えることが可能な推進システムと、
投影ユニットであって、前記投影ユニットに関して固定位置を有する前記表面の少なくとも所与の部分上に画像を投影することが可能な投影ユニットと、
前記遠隔会議装置を取り囲んでいる環境のマッピングを可能にする情報を取得することが可能な少なくとも１つのセンサーと、
処理ユニットであって、
前記遠隔会議装置の少なくとも１つのセンサーから情報を取得することであって、前記センサーは前記遠隔会議装置を取り囲んでいる環境のマッピングを可能にする情報を取得することが可能であることと、
前記取得した情報を使用して、前記遠隔会議装置を取り囲んでいる前記環境をマッピングすることであって、前記環境は前記遠隔会議装置の少なくとも１人のユーザーを含むことと、
前記マッピングされた環境内で、前記遠隔会議装置の少なくとも１人のユーザーの、前記遠隔会議装置に関する位置および向きを追跡することと、
前記少なくとも１人のユーザーの前記追跡された位置と向きおよび１つ以上のセッション関連パラメータに少なくとも基づき、前記少なくとも１人のユーザーに関して前記遠隔会議装置の表面の前記所与の部分の所望の位置および向きを決定することと、
前記遠隔会議装置の推進システムを作動させて、前記表面の前記所与の部分が前記決定された所望の位置および向きに位置付けられていない状態に際して、前記遠隔会議装置を前記決定された所望の位置および向きに飛行させることであって、前記推進システムは前記遠隔会議装置を適所でホバリングさせ、その位置を変えることが可能であることと、
遠隔装置によって捕捉された画像のストリームを受信することと、
投影ユニットに関して固定位置を有する前記表面の少なくとも所与の部分上に画像を投影することが可能な、前記投影ユニットに、前記受信した画像のストリームを前記表面の前記所与の部分上に投影するように指示することと
を行うように構成された、処理ユニットと
を含む、方法。
【請求項17】
前記セッション関連パラメータは、画像の前記ストリームがそれを通して受信されるネットワーク接続の測定された信号強度または信号品質を含む、請求項１６に記載の方法。
【請求項18】
前記ユーザーによって視聴される前記画像の視聴質を推定することをさらに含み、前記セッション関連パラメータは前記推定された視聴質を含む、請求項１６に記載の方法。
【請求項19】
前記遠隔装置によって捕捉された音声のストリームを受信することと、前記音声を前記遠隔会議装置の少なくとも１つのスピーカーを介して前記少なくとも１人のユーザーに出力することと、
前記ユーザーによって受信された前記音声の音質を推定することと
をさらに含み、
前記セッション関連パラメータは前記推定された音質を含む、
請求項１６に記載の方法。
【請求項20】
前記遠隔会議装置のマイクロホンを使用して音声を取得することと、前記取得した音声を分析することにより周囲騒音レベルを判断することとをさらに含み、前記セッション関連パラメータは前記判断された周囲騒音レベルを含む、請求項１６に記載の方法。
【請求項21】
（ａ）光の量および（ｂ）光の方向の少なくとも１つを、前記遠隔会議装置を取り囲んでいる前記環境内のそれぞれ複数の位置において判断することをさらに含み、前記セッション関連パラメータは前記判断された光の量または光の方向を含む、請求項１６に記載の方法。
【請求項22】
前記遠隔会議装置は、前記遠隔会議装置の空気浮力を引き起こすためのバルーンにそれを取り付けることが可能な機械的連結装置をさらに含み、前記表面は前記バルーンの表面である、請求項１６に記載の方法。
【請求項23】
前記推進システムは空気ジェットを含む、請求項２２に記載の方法。
【請求項24】
前記ホバリングは前記バルーンによって引き起こされた空気浮力によって得られる、請求項２２に記載の方法。
【請求項25】
前記所望の位置および向きは、前記表面の前記所与の部分と前記少なくとも１人のユーザーとの間で遮られない視線が維持されるように決定される、請求項１６に記載の方法。
【請求項26】
前記前センサーは少なくとも１つのカメラである、請求項１６に記載の方法。
【請求項27】
前記マッピングされた環境を利用し、かつ使用シナリオ分類器を使用して、前記遠隔会議装置の使用シナリオを分類することをさらに含み、前記所望の位置および向きは前記使用シナリオを使用して決定される、請求項１６に記載の方法。
【請求項28】
前記使用シナリオ分類器は、前記マッピングされた環境を、複数の事前に分類された使用シナリオの所与の使用シナリオに分類するように構成され、前記事前に分類された使用シナリオの各事前に分類された使用シナリオは、もし前記遠隔会議装置が物理的に存在するユーザーであったなら、前記物理的に存在するユーザーのそれぞれ別個の挙動をシミュレートする、請求項２７に記載の方法。
【請求項29】
前記分類器は、前記ユーザーによって実行された活動、前記ユーザーの顔の表情、前記ユーザーの音声量、前記ユーザーの声の表情、前記ユーザーの体動速度における変化、前記ユーザーの体位における変化、または前記ユーザーの身体挙動における変化、の１つ以上に基づいて前記分類を実行する、請求項２８に記載の方法。
【請求項30】
前記使用シナリオ分類器は、機械学習分類器である、請求項２７に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の主題の例示的な実施形態は、ビデオ通話装置に関し、より詳細には、飛行ビデオ通話装置に関する。
【背景技術】
【0002】
２人以上の人が面と向かって会話をしている場合、彼らは他の人々の位置および向きに応じて特定の位置および向きに自然に移動する。彼らはまた、他の人々の挙動に従い、および様々な環境要因に従っても動く。例えば、２人は、会話のために互いの間に１～２メートルの特定の心地良い距離を選択して、相互に直接対面するであろう。第３の人が会話に加わる場合、彼らは相互の間の直線距離を追加の半メートルだけ増やして、円を作るように自分の向きを変えるであろう。背景雑音がある場合、彼らは相互の間の距離を減らして、音声量を上げるであろう。１人が強い照明で目が見えないような場合、他の人々は自分の位置を変えて光源ベクトルから離れるであろう。１人が座ると、残りの人も自然に座ろうとするであろう。テーブルの上に大きな花瓶がある場合、人々は、相互に間に遮られない視線がもたらされるように座席を選択するであろう。２人が会話をしていて、その間、１人が皿を洗っている場合、第２の人に対する自然な位置は、１メートル半離れた、調理台の横であろう。
【0003】
現在のビデオ通話装置は単に、かかる要因を考慮に入れることができず、それは、ビデオ通話中にユーザーに対してビデオ通話装置の動的位置が不十分な結果となり、そのためユーザーに異なる窮屈な位置および挙動をとることを強いる。
【0004】
それ故、２人以上の人々が、通話中の他の人々の相対位置、人々の挙動および環境要因に従って、人の挙動を模倣することが可能であるような遠隔ビデオ通話を行うことを可能にするために新しい方法およびシステムに対する当技術分野における必要性がある。
【0005】
本開示の主題に対する背景として関連があると考えられる参照文献が以下にリストされる。本明細書における参照文献の承認は、これらは本開示の主題の特許性に何らかの点で関連することを意味すると推測されるべきではない。
【0006】
飛行ディスプレイ装置。２０１８年２月１３日に公開された、米国特許第９，８９１，８８５号（Ｂｅｏｍｓｈｉｋ）はディスプレイ装置を開示し、ディスプレイ装置は、ディスプレイユニット、そのディスプレイユニットに接続された少なくとも１つの飛行体、ディスプレイ装置の現在の位置に関する情報を取得する位置情報受信ユニット、ユーザーの情報を取得するセンサーユニット、ディスプレイ装置の飛行を自動的に制御する飛行制御ユニット、ディスプレイ装置の姿勢情報を取得する姿勢情報取得ユニット、ディスプレイ装置のそれぞれの構成要素の動作全体を制御する主制御ユニット、ディスプレイ装置またはディスプレイユニットの角度を変える姿勢補正ユニット、振動システム、音声認識ユニット、通信モジュール、入力情報を通信モジュールに送信する入力部材、電源ユニット、障害物検知ユニット、少なくとも１つの飛行体とディスプレイユニットを連結する関節マニピュレータ、およびディスプレイユニットとディスプレイ装置を接続するコネクタを含む。
【0007】
バルーンおよびバルーン制御方法。２０１１年１２月１日に公開された、米国特許第２０１１０２９２３４８号（Ｈｉｒｏａｋｉ）は、エンベロープおよび画像を投影する投影ユニットを含むバルーンを開示し、それは、エンベロープ上の投影ユニットによって投影された画像を表示する第１の表示モードと、エンベロープを通して外部オブジェクト上の投影ユニットによって投影された画像を表示する第２の表示モードとの間で表示モードを切り替える。
【0008】
高耐久性無人飛翔体。２０１８年２月２８日に公開された、ＷＩＰＯ特許第２０１８１２２８３０号（Ｊａｙａｎｔ）は、ＵＡＶおよびドローンの全体効率および／もしくは飛行時間は、空気より軽いガスを含んでいる要素を追加することにより、ならびに／またはモーターの任意の組合せに供給される電力の低下および／もしくは除去によって全体の電力消費を低下させることにより、向上できることを開示する。一態様では、飛行船ドローンの構成は、空気より軽いガスで充填された、少なくとも１つの空洞／チャンバ／容器を含む。３Ｄチャンバは、掃引されたか、または押し出された閉じた２Ｄ形状から作られて、ドローンから取外し可能であり、透明か、または色がカモフラージュされている。飛行体の制御および高度を維持するために、揚力面を組み込むことができる。かかる揚力面は、飛行安定性を維持するための能動および／または受動制御面を含み得る。追加として、空洞、裂溝（ｆｉｓｓｕｒｅ）、開口部および弁が飛行体の表面に追加されて、他の効率利点を得る。
【0009】
視覚投影を伝達するための移動（ａｍｂｕｌａｔｏｒｙ）システム。米国特許第２０１５００９２０２０号（Ｖａｕｇｈｎ）、２０１５年４月２日は、視覚投影を伝達するための移動システムを開示する。移動伝達のための装置の一実施形態は：適所でホバリングして、ユーザーに従うことを含み、装置が飛行するのを可能にする推進システム、装置のユーザーまたは装置のユーザー近くの場面の画像を記録するためのステレオカメラ、ステレオカメラによって生成されたビデオデータを、遠隔ユーザーとの通信のためのネットワークを経由して、第２の装置に送信するための送信機、遠隔ユーザーからネットワークを経由してビデオデータを受信するための受信機、および受信したビデオを含む画像をユーザーに対して投影するためのビデオ投影機構を含む。
【0010】
ビデオ会議においてネットワークカメラを動的に選択するためのシステムおよび方法。米国特許第２０１６０２２７１６８号（Ｖｅｎｄｒｏｗ）、２０１６年８月４日は、リアルタイムカメラフィードをビデオ会議に供給するための１つ以上のネットワークカメラを動的に選択するために提供されたシステムおよび方法を開示する。本システムおよび方法は、会議参加者の領域と関連付けられた１つ以上のネットワークカメラを識別することを含み得る。サーバーは、識別されたカメラからのリアルタイムカメラフィードを分析して、その参加者のビューを有するビデオフィードを選択し得る。サーバーは選択されたフィードを、会議ブリッジを経由して、ビデオ会議に提供し、その参加者のより良いビューを有する別のカメラフィードのために、その参加者の領域と関連付けられたカメラのカメラフィードの監視を継続し得る。ネットワークカメラは、その参加者と関連付けられていないが、ビデオ会議での使用のために自分のカメラをサーバーに登録している、個人によって所有されて操作される固定およびモバイルカメラを含み得る。
【0011】
情報処理装置、情報処理方法、および端末装置。米国特許第２０１８０１３１９０１号（Ｔｏｂｉｔａ）、２０１８年５月１０日は、情報処理装置を開示し、それは、実空間を捕捉するカメラ、遠隔ユーザーによって使用される端末装置と通信する通信ユニット、その情報処理装置自体が、実空間を捕捉する複数の装置の中から遠隔ユーザーによって選択される場合にカメラによって捕捉された第１のビデオを通信ユニットから端末装置にストリーミングするストリーミング制御ユニット、および第１のビデオが端末装置にストリーミングされている間に遠隔ユーザーのユーザー画像を表示するディスプレイを含む。
【0012】
協力（ｃｏｌｌａｂｏｒａｔｉｏｎ）のための無人飛翔体。米国特許第２０１７００２９０９８号（Ｃｌａｒｋ）、２０１７年２月２日は、モバイルテレプレゼンスシステムを開示し、それは、フレーム、そのフレームに動作可能に連結されて、指定された空間を通ってフレームを進める推進システム、フレームに可動に連結された画面、およびフレームに連結された画像出力装置を含み得る。フレームは、フレームの縦軸を画定する中心体、中心体の第１の端部における第１のアーム、および、中心体の第１の端部の反対側の、中心体の第２の端部における第２のアームを含み得る。推進システムは、外部コマンドに応答してフレームを推進する、第１および第２のアームの反対端部におけるローターを含み得る。画像出力装置は外部コマンドに応答して、画像を画面に投影し得る。
【0013】
テレプレゼンス。ＷＩＰＯ特許第２０１８１３６０７２号（Ｂｏｒｔｏｌｉｎｉ）、２０１８年７月２６日は、モバイル位置装置、およびモバイル位置装置に対する配向に基づき、第１のユーザーを表す画像を第２のユーザーの周囲環境内で視覚化するためのヘッドマウントディスプレイ組立体を含むテレプレゼンスシステムを含むいくつかの例を開示する。ヘッドマウントディスプレイ組立体は、無線通信システムを経由してビデオ会議装置と通信する。
【0014】
従って、当技術分野において、遠隔ユーザーがローカル環境内に存在し、彼の存在は、面と向かっての会話において受け入れられている文化挙動を忠実に守っているという感覚をローカルユーザーに対して作り出す目的で、ローカルユーザーの位置、向き、挙動および環境要因に従って、とりわけ、その位置および向きを自律的に更新することが可能であるような新規のビデオ通話装置に対するニーズがある。
【発明の概要】
【発明が解決しようとする課題】
【0015】
今まで使用された一般的なビデオ通話システムでは、カメラおよび画面は、固定であって、ラップトップなどの異なる計算システムに接続されているか、または通話中に手で保持する必要があるモバイルスマートフォンの一部であるか、のいずれかである。いくつかのより先進的な事例では、画面およびカメラは、１人のユーザーに従おうと試みるか、または遠隔ユーザーからの制御要求を受け入れる、地上移動ロボットの上部に設置される。これらのソリューションは、遠隔ユーザーが、もし面と向かって会話しているのであれば取り得るのと同じ自然な位置および姿勢にその画面を動的に移動させるのを可能にして、遠隔ユーザーの実際のサイズを表示するには、画面サイズが十分に大きくないので、２人以上の人々の間での面と向かっての会話の実際の経験を真に再現することはできない。
【0016】
相対位置を評価して更新するために、本システムは、人間が会話中に評価し、それら識別に従って動作する、技術的および挙動的態様の両方を評価できることが必要であろう。
【課題を解決するための手段】
【0017】
遠隔会議装置およびビデオ通話飛行ユニット（Ｖｉｄｅｏ Ｃａｌｌ Ａｅｒｉａｌ Ｕｎｉｔ）３００という用語は本明細書では区別しないで使用され、投影ユニットおよびプロジェクタ／ディスプレイ７１０という用語は本明細書では区別しないで使用され、センサーおよびカメラ７００という用語は本明細書では区別しないで使用され、機械学習分類器１２５０および使用シナリオ分類器という用語は本明細書では区別しないで使用されることに留意すべきである。
【0018】
本開示によれば、例えば、任意選択で浮力を提供するガスが充填されたバルーンが、任意選択で、例えば、必要なハードウェアおよびシステムを提供するエレクトロニクスベルトと一緒に組み合わされたシステムが提供され得、そこではバルーンは必要に応じて新しいものと容易に交換され得る。
【0019】
本開示によれば、ビデオ通話用のエンドポイントを、市販されている追加の類似のエンドポイントまたは他のタイプのエンドポイントと共に提供するための、コンピュータ、ネットワーク、カメラ、マイクロホン、スピーカー、および投影ディスプレイが提供され得る。
【0020】
本開示によれば、コンピュータシステムがそのデータリポジトリを分析、比較および更新し、それに応じてその位置および向きを更新するために推進システムに命令を提供するのに必須の入力を提供するために、環境、照明状態をマッピングし、障害物を検出して、ユーザーの身体的および挙動パラメータを追跡するために使用され得る情報を取得するためのセンサーが提供され得る。
【0021】
本開示によれば、システム位置に対する更新が必要であるか、またはスピーカー音量の変更が必要であるかどうかを識別するために、ダイレクト音声コマンドを検出し、ユーザーの会話言葉（ｃｏｎｖｅｒｓａｔｉｏｎ ｗｏｒｄ）を検出して、コンピュータシステムがそのデータリポジトリを分析、比較および更新するための、音声センサーが提供され得る。
【0022】
本開示によれば、様々な入力コマンドに従ってユニットがその飛行位置を維持および更新するのを可能にする、制御システム、加速器センサーおよび位置決めセンサーならびに、充電式電池を備えた、空気推進エンジンのセットが提供され得る。
【0023】
本開示によれば、ガス充填バルーンを使用する場合、飛行ユニットが自律的に戻るためのドッキングステーションが提供され得、ドッキングステーションはバルーンと接続して必要に応じてバルーンをガスで補充する。
【0024】
本開示によれば、飛行ユニットが自律的に戻るためのドッキングステーションが提供され得、ドッキングステーションはベルトと接続して必要に応じてベルトの電池を充電する。
【0025】
本開示における技術によれば、ユーザーは、本明細書でさらに詳述されるように、人々が会話中に自分の仲間および環境条件に対して相対的に自身を位置付ける本能的挙動に関して、ユーザーの自然な環境において実際の面と向かっての会話に非常に近い方法でビデオ通話を経験することが可能であり得る。本開示は、ローカルユーザーとの関連でその位置決めに関して人間の挙動を模倣する能力をディスプレイに提供する。
【0026】
本開示の主題の一態様によれば、遠隔会議装置が提供され、本遠隔会議装置は、表面を有する遠隔会議装置を飛行させるための推進システムであって、遠隔会議装置を適所でホバリングさせ、その位置を変えることが可能な推進システム、投影ユニットに関して固定位置を有する表面の少なくとも所与の部分上に画像を投影することが可能な投影ユニット、遠隔会議装置を取り囲んでいる環境のマッピングを可能にする情報を取得することが可能な少なくとも１つのセンサー、ならびに、少なくとも１つのセンサーから情報を取得し、その取得した情報を使用して、遠隔会議装置を取り囲んでいる環境をマッピングし、その環境は遠隔会議装置の少なくとも１人のユーザーを含み、マッピングされた環境内で、遠隔会議装置の少なくとも１人のユーザーの遠隔会議装置に関する位置および向きを追跡して、その少なくとも１人のユーザーの追跡された位置と向きおよび１つ以上のセッション関連パラメータに少なくとも基づき、少なくとも１人のユーザーに関して表面の所与の部分の所望の位置および向きを決定し、推進システムを作動させて、表面の所与の部分が決定された所望の位置および向きに位置付けられていない状態に際して、遠隔会議装置を決定された所望の位置および向きに飛行させて、遠隔装置によって捕捉された画像のストリームを受信し、受信した画像のストリームを表面の所与の部分上に投影するように投影ユニットに指示するように構成された、処理ユニットを含む。
【0027】
いくつかの事例では、セッション関連パラメータは、画像のストリームがそれを通して受信されるネットワーク接続の測定された信号強度または信号品質を含む。
【0028】
いくつかの事例では、処理ユニットは、ユーザーによって視聴される画像の視聴質を推定するようにさらに構成され、セッション関連パラメータは推定された視聴質を含む。
【0029】
いくつかの事例では、遠隔会議装置は少なくとも１つのスピーカーをさらに含み、処理ユニットは、遠隔装置によって捕捉された音声のストリームを受信し、その音声を少なくとも１つのスピーカーを介して少なくとも１人のユーザーに出力し、ユーザーによって受信された音声の音質を推定するようにさらに構成され、セッション関連パラメータは推定された音質を含む。
【0030】
いくつかの事例では、遠隔会議装置は、少なくとも１つのマイクロホンをさらに含み、処理ユニットは、マイクロホンを使用して音声を取得し、取得した音声を分析することにより周囲騒音レベルを判断するようにさらに構成され、セッション関連パラメータは判断された周囲騒音レベルを含む。
【0031】
いくつかの事例では、処理ユニットは、（ａ）光の量および（ｂ）光の方向の少なくとも１つを、遠隔会議装置を取り囲んでいる環境内のそれぞれ複数の位置において判断するようにさらに構成され、セッション関連パラメータは判断された光の量または光の方向を含む。
【0032】
いくつかの事例では、遠隔会議装置は、遠隔会議装置の空気浮力を引き起こすためのバルーンに取付け可能な機械的連結装置をさらに含み、表面はバルーンの表面である。
【0033】
いくつかの事例では、推進システムは空気ジェットを含む。
【0034】
いくつかの事例では、ホバリングはバルーンによって引き起こされた空気浮力によって得られる。
【0035】
いくつかの事例では、所望の位置および向きは、表面の所与の部分と少なくとも１人のユーザーとの間で遮られない視線が維持されるように、決定される。
【0036】
いくつかの事例では、センサーは少なくとも１つのカメラである。
【0037】
いくつかの事例では、処理ユニットは、マッピングされた環境を利用し使用シナリオ分類器を使用して、遠隔会議装置の使用シナリオを分類するようにさらに構成され、所望の位置および向きは使用シナリオを使用して決定される。
【0038】
いくつかの事例では、使用シナリオ分類器は、マッピングされた環境を、複数の事前に分類された使用シナリオの所与の使用シナリオに分類するように構成され、事前に分類された使用シナリオの各事前に分類された使用シナリオは、もし遠隔会議装置が物理的に存在するユーザーであったなら、その物理的に存在するユーザーのそれぞれ別個の挙動をシミュレートする。
【0039】
いくつかの事例では、分類器は、ユーザーによって実行された活動、ユーザーの顔の表情、ユーザーの音声量、ユーザーの声の表情、ユーザーの体動速度における変化、ユーザーの体位における変化、またはユーザーの身体挙動における変化、の１つ以上に基づいて分類を実行する。
【0040】
いくつかの事例では、使用シナリオ分類器は、機械学習分類器である。
【0041】
本開示の主題の別の態様によれば、遠隔会議装置を操作するための方法が提供され、本方法は、表面を有する遠隔会議装置を飛行させるための推進システムであって、遠隔会議装置を適所でホバリングさせ、その位置を変えることが可能な推進システム、投影ユニットに関して固定位置を有する表面の少なくとも所与の部分上に画像を投影することが可能な投影ユニット、遠隔会議装置を取り囲んでいる環境のマッピングを可能にする情報を取得することが可能な少なくとも１つのセンサー、ならびに、遠隔会議装置の少なくとも１つのセンサーから情報を取得し、センサーは遠隔会議装置を取り囲んでいる環境のマッピングを可能にする情報を取得することが可能であり、その取得した情報を使用して、遠隔会議装置を取り囲んでいる環境をマッピングし、その環境は遠隔会議装置の少なくとも１人のユーザーを含み、マッピングされた環境内で、遠隔会議装置の少なくとも１人のユーザーのその遠隔会議装置に関する位置および向きを追跡して、その少なくとも１人のユーザーの追跡された位置と向きおよび１つ以上のセッション関連パラメータに少なくとも基づき、少なくとも１人のユーザーに関して遠隔会議装置の表面の所与の部分の所望の位置および向きを決定し、遠隔会議装置の推進システムを作動させて、表面の所与の部分が決定された所望の位置および向きに位置付けられていない状態に際して、遠隔会議装置を決定された所望の位置および向きに飛ばし、推進システムは遠隔会議装置を適所でホバリングさせ、その位置を変えることが可能であり、遠隔装置によって捕捉された画像のストリームを受信し、投影ユニットに関して固定位置を有する表面の少なくとも所与の部分上に画像を投影することが可能な、投影ユニットに、受信した画像のストリームを表面の所与の部分上に投影するように指示するように構成された、処理ユニットを含む。
【0042】
いくつかの事例では、セッション関連パラメータは、画像のストリームがそれを通して受信されるネットワーク接続の測定された信号強度または信号品質を含む。
【0043】
いくつかの事例では、本方法は、ユーザーによって視聴される画像の視聴質を推定することをさらに含み、セッション関連パラメータは推定された視聴質を含む。
【0044】
いくつかの事例では、本方法は、遠隔装置によって捕捉された音声のストリームを受信すること、その音声を遠隔会議装置の少なくとも１つのスピーカーを介して少なくとも１人のユーザーに出力すること、ユーザーによって受信された音声の音質を推定することをさらに含み、セッション関連パラメータは推定された音質を含む。
【0045】
いくつかの事例では、本方法は、遠隔会議装置のマイクロホンを使用して音声を取得すること、および取得した音声を分析することにより周囲騒音レベルを判断することをさらに含み、セッション関連パラメータは判断された周囲騒音レベルを含む。
【0046】
いくつかの事例では、本方法は、（ａ）光の量および（ｂ）光の方向の少なくとも１つを、遠隔会議装置を取り囲んでいる環境内のそれぞれ複数の位置において、判断することをさらに含み、セッション関連パラメータは判断された光の量または光の方向を含む。
【0047】
いくつかの事例では、遠隔会議装置は、遠隔会議装置の空気浮力を引き起こすためのバルーンにそれを取り付けることが可能な機械的連結装置をさらに含み、表面はバルーンの表面である。
【0048】
いくつかの事例では、推進システムは空気ジェットを含む。
【0049】
いくつかの事例では、ホバリングはバルーンによって引き起こされた空気浮力によって得られる。
【0050】
いくつかの事例では、所望の位置および向きは、表面の所与の部分と少なくとも１人のユーザーとの間で遮られない視線が維持されるように、決定される。
【0051】
いくつかの事例では、センサーは少なくとも１つのカメラである。
【0052】
いくつかの事例では、本方法は、マッピングされた環境を利用し使用シナリオ分類器を使用して、遠隔会議装置の使用シナリオを分類することをさらに含み、所望の位置および向きは使用シナリオを使用して決定される。
【0053】
いくつかの事例では、使用シナリオ分類器は、マッピングされた環境を、複数の事前に分類された使用シナリオの所与の使用シナリオに分類するように構成され、事前に分類された使用シナリオの各事前に分類された使用シナリオは、もし遠隔会議装置が物理的に存在するユーザーであったなら、その物理的に存在するユーザーのそれぞれ別個の挙動をシミュレートする。
【0054】
いくつかの事例では、分類器は、ユーザーによって実行された活動、ユーザーの顔の表情、ユーザーの音声量、ユーザーの声の表情、ユーザーの体動速度における変化、ユーザーの体位における変化、またはユーザーの身体挙動における変化、の１つ以上に基づいて分類を実行する。
【0055】
いくつかの事例では、使用シナリオ分類器は、機械学習分類器である。
【図面の簡単な説明】
【0056】
【図1】バルーンおよびその構成要素に接続可能なベルトを示す説明図である。
【図2】バルーンおよびその構成要素を示す説明図である。
【図3】バルーンをベルトに接続し／バルーンをベルトから取り外すための接続機構を示す説明図である。
【図4】２人の子供の間の位置を要求する提示されたシナリオに従い、システムによって選択された例示的な位置を示す説明図である。
【図5】２人の子供に向いている一側面上の位置を必要とする提示されたシナリオに従い、システムによって選択された例示的な位置を示す説明図である。
【図6】提案されたソリューションに必要なシステムモジュールの一例を示すブロック図である。
【図7】本システムにおけるビデオ通話機能に必要なモジュールの一例を示すブロック図である。
【図8】本システムにおける自律移動機能に必要なモジュールの一例を示すブロック図である。
【図9】本システムにおける浮力機能に必要なモジュールの一例を示すブロック図である。
【図10】本システムにおける身体的および挙動的ユーザー追跡機能に必要なモジュールの一例を示すブロック図である。
【図11】本システムにおけるドッキングステーション機能に必要なモジュールの一例を示すブロック図である。
【図12】様々な監視入力に従って位置および向きを維持および更新するためのシステムプロセスの一例を示す流れ図である。
【図13】１つのエンドポイントからのビデオ通話のためのシステムプロセスの一例を示す流れ図である。
【発明を実施するための形態】
【0057】
以下の詳細な説明では、本開示の主題の完全な理解を提供するために多数の特定の詳細が記載される。しかし、本開示の主題は、これら特定の詳細なしで実施され得ることが当業者によって理解されるであろう。他の事例では、周知の方法、手順、および構成要素は、本開示の主題を曖昧にしないために詳細には説明されていない。
【0058】
図面および記載される説明では、同一の参照番号は、異なる実施形態または構成に共通の構成要素を示す。
【0059】
特に断らない限り、以下の説明から明らかなように、本明細書を通して、「取得する」、「マッピングする」、「追跡する」、「決定する」、「作動させる」、「受信する」、「指示する」、「推定する」、「出力する」、「獲得する」、「分析する」、「分類する」または同様のものなどの用語を利用した説明は、データを操作し、かつ／もしくはデータを他のデータに変換するコンピュータの動作および／またはプロセスを含み、前記データは、例えば、電子量などの物理量として表され、かつ／もしくは前記データは物理的実体として表されることが理解されよう。「コンピュータ」、「プロセッサ」、および「コントローラ」という用語は、データ処理機能を備えた任意の種類の電子装置を含めると広く解釈されるべきであり、非限定的例として、パーソナルデスクトップ／ラップトップコンピュータ、サーバー、コンピューティングシステム、通信装置、スマートフォン、タブレットコンピュータ、スマートテレビ、プロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など）、様々なタスクの実行を共有する複数の物理マシンのグループ、単一の物理マシン上に共在する（ｃｏ－ｒｅｓｉｄｉｎｇ）仮想サーバー、任意の他の電子コンピューティング装置、および／またはそれらの任意の組合せを含む。
【0060】
本明細書の教示に従った操作は、所望の目的のために特別に構築されたコンピュータによって、または持続性コンピュータ可読記憶媒体内に格納されたコンピュータプログラムにより所望の目的のために特別に構成された汎用コンピュータによって、実行され得る。「持続性」という用語は本明細書では、一時的な、伝搬信号を除外するが、そうでなければ用途に適した任意の揮発性または不揮発性コンピュータメモリ技術を含むために使用される。
【0061】
本明細書では、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」、「～など」、「例えば（ｆｏｒ ｉｎｓｔａｎｃｅ）」という語句およびそれらの異表記は、本開示の主題の限定されない実施形態を記述する。本明細書での「一事例」、「いくつかの事例」、「他の事例」またはそれらの異表記への言及は、実施形態（複数可）に関連して説明される特定の特徴、構造または特性が本開示の主題の少なくとも１つの実施形態に含まれることを意味する。従って、「一事例」、「いくつかの事例」、「他の事例」またはそれらの異表記の出現は、必ずしも同一の実施形態（複数可）を参照しない。
【0062】
特に断らない限り、明確にするために、別々の実施形態の文脈で説明される、本開示の主題のある特徴は、単一の実施形態内で組み合わせても提供され得ることが理解されよう。逆に、明確にするために、単一の実施形態の文脈で説明される、本開示の主題の様々な特徴は、別々に、または任意の適切な部分的組合せでも提供され得る。
【0063】
本開示の主題の実施形態では、図１２～図１３に示されるものよりも少ない、多い、および／または異なるステージが実行され得る。本開示の主題の実施形態では、図１２～図１３に示される１つ以上のステージは、異なる順序で実行され得、かつ／またはステージの１つ以上のグループが同時に実行され得る。図１～図１１は、本開示の主題の一実施形態に従ったシステムアーキテクチャの概略図である。図１～図１１の各モジュールは、本明細書で定義されて説明されるような機能を実行するソフトウェア、ハードウェアおよび／またはファームウェアの任意の組合せで構成できる。図１～図１１のモジュールは、１つの位置に集中されるか、または２つ以上の位置に分散され得る。本開示の主題の他の実施形態では、本システムは、図１～図１１に示されるものよりも少ない、多い、および／または異なるモジュールを含み得る。
【0064】
本明細書における方法に対する任意の言及は、変更すべきところは変更して、その方法を実行可能なシステムに適用されるべきであり、変更すべきところは変更して、一旦、コンピュータによって実行されると、その方法の実行となる命令を格納する持続性コンピュータ可読媒体に適用されるべきである。
【0065】
本明細書におけるシステムに対する任意の言及は、変更すべきところは変更して、そのシステムによって実行され得る方法に適用されるべきであり、変更すべきところは変更して、そのシステムによって実行され得る命令を格納する持続性コンピュータ可読媒体に適用されるべきである。
【0066】
本明細書における持続性コンピュータ可読媒体に対する任意の言及は、変更すべきところは変更して、その持続性コンピュータ可読媒体内に格納された命令を実行可能なシステムに適用されるべきであり、変更すべきところは変更して、その持続性コンピュータ可読媒体内に格納された命令を読み取るコンピュータによって実行され得る方法に適用されるべきである。
【0067】
これを念頭に置き、図１に注目すると、ベルトおよびその構成要素の例を示す説明図が示されている。ベルト１００は５０グラムよりも軽い可能性があり、任意選択で、任意選択の浮力バルーンに取り付けられるシステムの必要な構成要素を保持する物理的容器として使用され得る。いくつかの事例では、構成要素は、特にベルト以外の他の位置内または位置上、例えば限定されず、バルーン自体上、バルーン内、ドッキングステーション上、室内の壁上、他の電子装置の部分として、装着可能な布上、仮想および／または拡張現実メガネとしてなど、に取り付けられ得る。ベルト１００は、ナビゲーション、ビデオ通話、障害物検出、環境マッピングならびにユーザーの身体的および挙動追跡を容易にするために１つ以上のカメラ１１０を含み得る。ベルト１００は、ビデオ通話のために使用され、任意選択でユーザーに対する音声を生成する、１つ以上のスピーカー１２０も含み得る。ベルト１００は、ビデオ通話のため、および周囲音レベルを測定するために使用されるマイクロホン１３０も含み得る。ベルト１００は、任意選択で、空気を特定の方向および速度で推進させてシステムのホバリングおよび移動能力を制御する、空気ジェットまたは他の推進機構１４０も含み得る。ベルト１００は、任意選択で、ビデオ通話のためにディスプレイを投影するために使用されるプロジェクタ１５０も含み得る。表示方法に対する追加の例は任意選択で、バルーン上もしくはバルーン内に設置されたプロジェクタ、システム全体の外部に設置されたプロジェクタ、バルーンの境界／表面上に設置されたディスプレイまたはその他、であり得る。ベルト１００は、任意選択でベルト上の全ての装置およびモジュールに電力を供給する充電式電池１６０も含み得る。ベルト１００は、コンピュータ処理のために必要な電子機器、コントローラおよび無線ネットワークを任意選択で保持する計算およびネットワークモジュール１７０も含み得る。本明細書で示されるように、いくつかの事例では、カメラ１１０、スピーカー１２０、マイクロホン１３０、プロジェクタ１５０ならびにベルト１００および／または他の構成要素を操作するために使用される任意の処理資源は、ベルト１００の外部にでき、ベルト１００はそれらと有線／無線接続を経由して通信できることに留意されたい。処理資源（本明細書では処理ユニット（複数可）とも呼ばれる）は任意選択で分散できることにさらに留意されたい。
【0068】
図２は、浮力バルーン２００およびその構成要素の一例を示す説明図である。バルーン２００は、エネルギーをホバリングで浪費しないようにシステム全体の浮き上がりを提供するために、例えば、ヘリウムなどの、空気よりも軽いガスを保持し得る。バルーン２００は、外部プロジェクタ１５０の真正面に少なくとも一部透明な表面を含み得、そのため投影は任意選択でバルーン２００の一面を通り抜けて、任意選択で一部透明な反対面２２０上に出現して、バルーン２００のその外面２２０上の画像をユーザーが外側から見るのを可能にする。バルーン２００は、任意選択で、例えば、ヘリウムなどの、空気よりも軽いガスが注入できる、ガス補充コネクタ２３０も含み得る。補充コネクタ２３０は、外部ガス源に直接連結し得るか、またはベルト１００上の追加のアダプタを通してその外部ガス源に連結され得る。
【0069】
図３は、ベルト１００とバルーン２００を、接着剤、ねじ、ボルトまたは他の機構などの任意の追加の接続要素を必要とすることなく、機械的に取り付けるための方法の一例を示す説明図である。バルーン２００は、ヒップ形状３２０を有し得、例えば、そこにベルト１００が収まり、そのためベルト１００を適所に留めるための力を必要としないであろう。ベルト１００をバルーン２００と一緒に機械的に取り付けると、本開示の主題の実施形態の一例であるビデオ通話飛行ユニット３００が作られ得る。
【0070】
図２＆３は、バルーン２００およびベルト１００に言及するが、本開示の主題は、変更すべきところは変更して、他の飛行／浮力装置（例えば、ドローン）にも適用可能であることに留意されたい。
【0071】
図４は、座っておもちゃで遊びながら互いに向き合っている第１の子供４１０および第２の子供４２０が存在している任意選択の場面に従った、ビデオ通話飛行ユニット３００（バルーン２００およびベルト１００、または任意の他の飛行／浮力装置であり得る）の所望の位置および向きに対する一例の説明図である。ビデオ通話飛行ユニット３００に対する所望の位置は、この例では、あたかも親が２人の子供と輪になって座っていて、２人の子供の両方に向いているかのようである。
【0072】
図５は、図４と同じ位置にいる第１の子供４１０および、向きを変えて第１の子供４１０と同じ方向を向いている第２の子供４２０が存在している場面に従った、ビデオ通話飛行ユニット３００の好適な位置および向きに対する別の例の説明図である。
【0073】
その例示的な場面では、ビデオ通話飛行ユニット３００の所望の位置および向きは、２人の子供と向き合う、飛行ユニット３００の右への移動を必要とする。ビデオ通話飛行ユニット３００の位置における所望の変更は、本明細書で、とりわけ図１２を参照して、さらに詳述されるように判断できる。
【0074】
この例示的なシナリオでは、第２の子供４２０の位置における変化は、カメラ７００によって捕捉され得、カメラ７００は取得した情報をユーザーの位置および向きの追跡１２４１に渡し得、それは第２の子供４２０の位置における変化を検出し得、第１の子供４１０が以前と同じ位置および向きを維持していることも検出し得る。カメラ７００は、取得した情報をユーザーの挙動の追跡モジュール１２４２にも渡し得、それは第２の子供４２０の顔および／もしくは身体表情または他の挙動指標における変化を検出し得る。検出された変化は機械学習分類器１２５０に渡され得、それは、任意選択で、ビデオ通話飛行ユニット３００がその位置および向きを変更する必要性を決定するために、新しい場面を記録された場面の履歴と比較し得る。決定された場合、機械学習分類器１２５０は、新しい位置の実行１２４０を開始し得る、新しい位置の計算１２３０を開始し得る、位置更新事象１２２０を初期化し得、新しい位置の実行１２４０は、推進＆浮力コマンド１２００にコマンドのセットを送信して、ビデオ通話飛行ユニット３００をその新しい所望の位置に物理的に移動させ得る。
【0075】
図６は、提案されたソリューションに必要な装置モジュールの一例を示すブロック図である。ビデオ通話飛行ユニット３００は、バルーン２００およびベルト１００から成り得る。バルーンおよびベルト１００は、図６にリストされる装置モジュールから成り得る。装置モジュールは、物理的に配置されてビデオ通話飛行ユニット３００に接続され得るか、または異なる物理的位置上に配置されて有線もしくは無線ネットワークによって接続され得る。
【0076】
ビデオ通話システム６００は、２人以上のユーザーの間でビデオ通話を行うために必要なソフトウェアおよびハードウェアを含み得るか、またはそうでなければ、機能性の一部をそれに提供できる他の装置に有線もしくは無線で接続され得る。追加のエンドポイントは、追加の類似のエンドポイント、またはプライベートコンピュータ、携帯電話、タブレットおよび他の例などの、様々な既存のエンドポイントであり得る。推進および位置決めシステム６１０は、好ましい位置および向きでホバリングするため、ならびに／または他のシステムの入力に従ってその位置および向きを変更するために必要なソフトウェアおよびハードウェアモジュールを含み得る。バルーン１００およびベルト２００から成るビデオ通話飛行ユニット３００を使用する場合、ビデオ通話システム６００は、ヘリウムなどの、空気より軽いガスを維持して、ビデオ通話飛行ユニット３００の重量平衡を保ち、ホバリングで浪費されるエネルギー消費を減らす責任を負い得る浮力システム６２０を含み得る。環境および挙動システム６５０は、任意選択で、より自然な感覚のビデオ通話に対して求められるビデオ通話飛行ユニット３００の追加の移動ならびに位置および向きの変更を決定するために、自律移動の目的で環境を検知してマッピングし、同様に、ユーザー移動およびユーザー挙動を検知して追跡する責任を負い得る。
【0077】
ドッキングシステム６４０は、ビデオ通話飛行ユニット３００が作動していない場合にそれを保持して、システムの資源を補充する、例えば、電池を充電し、浮力ガスを補充する、責任を負い得る。
【0078】
サポートシステム６３０は、追加の計算、メモリ記憶および他の資源が必要とされるが、重量制限などの、様々な理由のためにビデオ通話飛行ユニット３００に直接追加できない場合に、必要とされ得る追加のネットワークおよび計算モジュールを提供し得る。サポートシステム６３０は、例えば、ドッキングシステム６４０上または計算クラウド内に配置され得る。
【0079】
図７は、本システムにおけるビデオ通話機能に必要であり得るモジュールの一例を示すブロック図である。１つのエンドポイントの１人以上のユーザーのビデオを取得するために１つ以上のカメラ７００が必要とされ得る。ビデオは、通信バス７７０を経由して無線ネットワーク７６０にストリーミングされ得、ビデオストリームは無線ネットワーク７６０を通って別のエンドポイントにストリーミングされ得る。プロジェクタ／ディスプレイ７１０は、他のエンドポイントから受信したビデオストリームを、それらが無線ネットワーク７６０から受信され得るときに、表示するために使用され得る。マイクロホン７２０は、１人以上のユーザーからの音声音を受信し、任意選択で、ビデオストリームと同様の方法でそれらをストリーミングするために使用され得る。スピーカー７３０は、音声が、任意選択で、他のエンドポイントから無線ネットワーク７６０を通してストリーミングされたときに、その音声をローカルユーザーに伝達するために使用され得る。電池７４０は、電力を全ての構成要素およびモジュールに、任意選択で、ローカルシステム内の通信および電力バス７７０を通して供給し得る。ビデオ通話制御モジュール７５０は、ハードウェアおよびソフトウェアから成り得、例えば、ビデオ通話の調整、エンドポイントと接点の管理、エンドポイントの接続性、可用性の確認、およびビデオ通話ハードウェア構成要素の制御の責任を負い得る。無線ネットワーク７６０は、必要なネットワークサービスがそれを通して提供され得るローカルモデムまたはルーターにシステムを接続する責任を負い得る。無線ネットワーク７６０は、様々なＲＦまたは光媒体（ｌｉｇｈｔｉｎｇ ｍｅｄｉｕｍ）、例えば限定されず、Ｂｌｕｅｔｏｏｔｈ、ＷＩＦＩ、Ｐ２Ｐレーザー、セルラーデータネットワーク、を通して動作できる
【0080】
図８は、本システムにおける自律移動機能に必要であり得るモジュールの一例を示すブロック図である。カメラ７００は、ビデオ通話のために使用される同じカメラ７００、または任意選択で、追加の専用カメラであり得る。カメラ７００は、情報を取得し、任意選択で、画像認識アルゴリズムが、ビデオ通話飛行ユニット３００が移動しているかどうかを、それを通して識別できる位置制御モジュールに画像をアップロードするため、および任意選択で、コマンドを推進システム８５０に送信することにより、位置を補正するために必要な応答を引き出すために、使用され得る。センサー７１０は、例えば：ＬＩＤＡＲ、超音波センサーおよび／もしくはＲａｄａｒセンサー、または移動および／もしくは環境の監視を可能にする任意の他の装置であり得る。カメラ７２０と一緒に、センサー７１０は、壁、家具、ランプおよび他の潜在的な障害物を含む環境を記録し得る。マッピングは、以前にマッピングされた環境と比較されて、データリポジトリ８３０にアップロードされ得る。推進システム８５０は、例えば、空気ジェット、プロペラまたは空気圧縮機であるが、それらに限定されない、様々なソリューションに基づき得る。加速度計８６０も、ビデオ通話飛行ユニット３００の移動を監視するため、および任意選択で、それらの測定を追加の補正のために位置制御モジュール８１０に送信するために、使用され得る。ユーザー追跡モジュール８００は、カメラ７００から画像を受信し、任意選択で、追跡されるユーザーを識別し、任意選択で、環境および挙動システム６５０から追加の入力を受信して、任意選択で、所望の位置更新を位置制御モジュール８１０に送信し得る。慣性航行システム８２０は、ビデオ通話飛行ユニット３００の現在の位置および向きに対する基準点を提供するために使用され得、そのパラメータを位置および制御モジュール８１０に送信し得る。
【0081】
図９は、バルーン２００およびベルト１００を使用する場合、本システムにおける浮力機能に必要なモジュールの一例を示すブロック図である。浮力アクチュエータ９００は、バルーン２００とベルト１００との間の力を測定し得る。測定された力における変化は、ガス制御モジュール９４０に送信され得、それによりガス制御モジュール９４０は、任意選択で、浮力平衡に達するまでガス量またはガス濃度を変更することができる。量コントローラ９１０は、任意選択で、バルーン２００の表面積を変更することにより、ガス量の物理的増加または減少を可能にし得る。ガス分析器９２０は、浮力ガスの濃度を測定し得、必要な変更をガス制御モジュール９４０に送信し、それにより、ガス制御モジュール９４０は、任意選択で、例えば、ドッキングシステム６４０上の外部供給源からより高い濃度ガスの補充を要求し得る。圧力アクチュエータ９３０は、バルーン２００内部のガスの圧力レベルを測定し得、ガス制御モジュール９４０に圧力レベルを送信し、それにより、ガス制御モジュール９４０は、圧力レベルを、任意選択で、ガスを追加するか、または除去することによって、変更するかどうかを決定し得る。
【0082】
図１０は、本システムにおける環境および挙動機能６５０に必要なモジュールの一例を示すブロック図である。カメラ７００、プロジェクタ／ディスプレイ７１０、マイクロホン７２０、スピーカー７３０および他の潜在的センサーを含むが、それらに限定されない、任意選択の入力および出力装置は、他の図で提案された追加の目的のために使用され得、かつまたは、図１０で提案された機能の目的のために別個で専用であり得る。環境および挙動システム６５０は、追跡、検出、分析および、図８の位置制御モジュール８１０などの、他のサブシステムへのコマンド送信に対して責任を負い得る。任意選択で、ビデオ通話飛行ユニット３００の位置を更新するために評価され得るセッション関連パラメータに対する例は、照明評価モジュール１０００を含み得、照明評価モジュール１０００で、例えば、本システムは光量が低い潜在的な位置を検出し、プロジェクタ／ディスプレイ７１０の輝度を低下させて電池残量を節約できるようにするために、ビデオ通話飛行ユニット３００をその位置に移動させ得る。照明評価モジュール１０００に対する別の例は、強力な光源が、ローカルユーザーに対してビデオ通話飛行ユニット３００と同じ視線にあることを検出し、任意選択で、ビデオ通話飛行ユニット３００を、窓から入ってくる太陽光などの特定の方向からの強力な光のベクトルとは異なるベクトルに移動させるためであり得る。ネットワーク評価モジュール１０１０は、例えば、無線ネットワークの信号強度を監視して、ネットワーク接続強度が、ビデオ通話ストリーミングに影響を及ぼすほど弱い領域を検出するか、または他の態様において、ネットワーク評価モジュール１０１０は、任意選択で、ネットワーク強度が以前にもっと強いと測定された保存された位置への、位置変更を要求するコマンドを送信し得る。音声評価モジュール１０２０は、例えば、ローカルユーザーに隣接した背景周囲騒音レベルを取得および監視して、任意選択で、ローカルユーザーに近いビデオ通話飛行ユニット３００を移動させるためにコマンドを送信し得、それによりそのユーザーがビデオ通話飛行ユニットのスピーカー７３０をより良好に聞き、ローカルユーザーの音声を、マイクロホン７２０を通してより良好に受信することが可能になるようにし得る。別の例は、任意選択で、そのマイクロホン７２０およびスピーカー７３０を特定のローカルユーザーの方にフォーカスするか、またはマイクロホン７２０を、動作中のエアコンなどの、強い音源から引き離すために、音声評価モジュール１０２０がビデオ通話飛行ユニット３００にその向きを変えるように指示するためであり得る。品質評価モジュール１０２１は、例えば、ビデオ通話の画像および音声品質を監視し、それに応じて位置変更要求を送信し得る。例えば、ローカルユーザーの画像品質が、例えば、カメラ７００からの距離もしくは光量または他の理由の結果として低い場合、ビデオ通話飛行ユニット３００は、画像品質を改善するためにローカルユーザーにもっと接近するか、またはローカルユーザーに対するその相対位置を変更する必要があり得る。追加の例として、ローカルユーザーによって受信された推定された音声品質が容認可能な閾値を下回っている場合、ビデオ通話飛行ユニット３００は、その位置および向きを変更してスピーカーの方向を改善し、ローカルユーザーにもっと近接し、かつ／または任意選択で、音声音レベルを上げ得る。顔面／身体評価モジュール１０３０は、任意選択で、ビデオ通話飛行ユニット３００の位置および向きの変更の必要性を示し得る表情を検出するために、例えば、ローカルまたは遠隔ユーザーの顔の表情を監視し得る。例えば、ユーザーが、プロジェクタ／ディスプレイ７１０上に何があるかを見ようと努力して目を細めている場合、顔面／身体評価モジュール１０３０は、ビデオ通話飛行ユニット３００に対してそのユーザーにもっと近づく要求を送信し得るか、または遠隔ユーザーが目を細めている場合には、ローカルのビデオ通話飛行ユニット３００に対して、任意選択で、ローカルユーザーのサイズを大きくするために、ローカルユーザーにもっと近づくように要求し得る。追加の例では、ビデオ通話飛行ユニット３００からの音声を聞こうとしている時に自分の頭の向きをわずかに変えているユーザーは、手を上げて自分の耳のそばに当てている可能性があり、顔面／身体評価モジュール１０３０は、その表情をより良く聞こうとする試みと識別し得、ビデオ通話飛行ユニット３００の位置を変更するか、またはスピーカー音量を上げるコマンドを送信し得る。追加の例は、顔および手のジェスチャから、ビデオ通話飛行ユニット３００がユーザーに近接して位置付けられ得るかを識別することであり得る。自然な会話では、人々は略半メートルの最小限のプライベートスペースに慣れている可能性があるが、その距離は人によって、文化によって、および、部屋の大きさ、室内で利用可能なオープンスペース、背景雑音、障害物などであるが、それらに限定されない、他の環境要因に従って、異なり得る。顔面／身体評価モジュール１０３０は、ローカルユーザーの頭が後ろに傾いている、手を組んでいる、または不快感の他の顔のジェスチャの場合、ローカルユーザーは心地良くないことを検出し得る。ビデオ通話飛行ユニット３００の位置および向きにおける変更を必要とし得るこれらおよび他の任意選択のシナリオの検出は、任意選択で、テキスト評価モジュール１０４０を通してユーザーが言った言葉の分析結果でもあり得る。例えば、ユーザーが繰り返して「何」と尋ねている場合、テキスト評価モジュール１０４０はその入力を、ビデオ通話飛行ユニット３００に対する、もっと近づき、かつ／またはその音量を上げるための要求として翻訳し得る。テキスト評価モジュール１０４０は、例えば、「もっと近づいて」、「後ろに下がって」、「通話終了」、「向きを変えて」、「ジョンを見つけて」などと解釈される動作を要求している異なるユーザーからの直接の言葉による指示も検出し得る。相対性評価モジュール１０５０は、例えば、会話内に２人以上のローカルユーザーがいることを検出して、実在の人が選ぶような位置と向きを模倣するために、ビデオ通話飛行ユニット３００に新しい位置と向きに移動するように要求し得る。図４から図５への動きの変化は、かかる位置および向きに対する多くの例の１つであり得る。環境評価モジュール１０６０は、例えば、部屋のレイアウト、壁、床、天井、ドア、階段、窓、家具、照明および任意選択で、ビデオ通話飛行ユニット３００の移動、潜在的な移動、位置、向きまたは任意の他の要因に影響を及ぼし得る任意の他の物体の位置を検出し得る。環境評価モジュール１０６０は、所望の位置および向きが、カメラがローカルユーザーを明瞭に捕捉するため、ならびにローカルユーザーがビデオ通話飛行ユニット３００上のディスプレイ表面全体をはっきりと見るために、遮られない視線を維持していることも検証し得る。図１０中の異なるモジュールからの異なる要求は、位置制御モジュール８１０に送信され得、位置制御モジュール８１０は、任意選択で、様々な入力を、ビデオ通話飛行ユニット３００の位置および向きの変更に関する最終決定に統合するために、他のモジュールに対する追加の入力を追加し得る。図１０中の異なるモジュールは、任意選択で、例えば、検出、分析、計算または任意の他のタイプの必要な分析を行うために、特定のアルゴリズムまたは機械学習ベースのアルゴリズムを使用し得る。データリポジトリ８３０は、異なるモジュール、モジュールのアルゴリズム、機械学習アルゴリズムまたは本システムの任意の他の任意選択の構成要素に対して必要な様々な参照データを格納、編集と更新および取得するために使用され得る。
【0083】
図１１は、本システムにおけるドッキングシステム機能に必要なモジュールの一例を示すブロック図である。ビーコンモジュール１１００は、例えば、任意選択で、ビデオ通話飛行ユニット３００が位置決めしてドッキングシステム６４０に戻るのを支援するために、ビデオ通話飛行ユニット３００上のセンサーの１つによって検出されるＲＦ信号を送信し得る。ガス補充コネクタ１１１０は、例えば、バルーン補充コネクタ２３０を通してバルーン２００に接続し、任意選択でガス補充制御モジュール１１４０によって指示される通りに、任意選択で、バルーン２００を浮力ガスで補充し得る。充電コネクタ１１２０は、例えば、電池１６０に接続して、任意選択で充電制御モジュール１１５０によって指示される通りに、任意選択で、電池を充電し得る。電力アダプタ１１３０は、例えば、外部の壁コンセントに接続して、任意選択で、電力をドッキングシステムおよびそのモジュールに供給し得る。二次計算モジュール１１６０は、例えば、追加の計算能力が必要な事例において、ビデオ通話飛行ユニット３００上の計算モジュール１７０を任意選択でサポート、または置換するために追加の計算、記憶、メモリおよび他の構成要素を含み得る。クラウド計算モジュール１１７０は、任意選択で既存のクラウド計算システムを利用するように二次計算モジュール１１６０を拡張して、追加の計算、記憶、メモリおよび他の構成要素がビデオ通話飛行ユニット３００上の計算モジュール１７０を任意選択でサポートし得る。無線＆物理ネットワーク１１８０は、例えば、ビデオ通話飛行ユニット３００がドッキングシステムに物理的に接続されていない場合、任意選択で無線ネットワーク７６０に接続することにより、ビデオ通話飛行ユニット３００へのネットワーク接続を提供し得る。無線および物理ネットワーク１１８０は、例えば、クラウドサービス、他のビデオ通話エンドポイントへの接続、第３者ソフトウェアへの接続などであるが、それらに限定されない、様々な機能性のために、任意選択で物理ケーブルを通して、または任意選択で追加の無線コネクタを通して、ローカルモデムもしくはルーターまたは遠隔セルラーデータネットワークにも接続し得る。無線＆物理ネットワーク１１８０は、ドッキングシステム６４０に対するローカルネットワークアダプタとして、またはビデオ通話飛行ユニット３００に対するネットワークブリッジとして、またはその両方として、機能し得る。二次データリポジトリ１１９０は、追加の資源が必要な場合に備えてビデオ通話飛行ユニット３００上のデータリポジトリ８３０に対する拡張として機能し得るか、または任意選択でそれを置換して、ビデオ通話飛行ユニット３００がそれを搭載しないようにできる。
【0084】
図１２は、様々な監視入力に従い、かつ様々な保存および学習されたシナリオに従って、ホバリング、位置および向きの維持および更新のためのシステムプロセスの一例を示す流れ図である。処理ユニット１２７０は、リポジトリのアクセス１２６０を通してリポジトリ８３０とやり取りし、推進および浮力コマンド１２００を通して制御コマンドを送信している間に必要な様々な処理操作を行い得る。詳細な流れの例は、ビデオ通話飛行ユニット３００の所望の位置および向きが達成されている場合に生じる。ホバリング位置および向き１２１０は、例えば、任意選択で、突風が本システムを押した場合に、同じ位置を継続して維持するために、推進システム８５０にコマンドを送信し得る。追跡装置および監視装置例１２４１、１２４２、１２４３、１２４５は、様々なセンサーを使用して現在のセッション関連パラメータ、および任意選択でそのパラメータにおける変化を取得して、そのパラメータを、所望の位置更新事象１２２０を開始するかどうかを決定し得る機械学習分類器１２５０に送信し得る。
【0085】
ユーザーの位置および向きの追跡１２４１は、１つまたは複数のユーザーの位置、向きおよび動きを、ビデオ通話飛行ユニット３００に関して、相互もしくは任意の他の参照点／物体に関して、例えば限定されず、ユーザーは室内のどこに位置しているか、ユーザーは座っているか、もしくは立っているか、ユーザーはどの方向を向いているか、ユーザーある方向に歩いているか、ローカルユーザーは別のローカルユーザーとも話しているかなど、を追跡し得る。ユーザーの位置および向きの追跡１２４１は、ユーザー追跡モジュール８００および／または相対性評価モジュール１０５０を使用し得る。
【0086】
ユーザーの挙動の追跡１２４２は、１人または複数のユーザーの顔および身体のジェスチャ、例えば限定されず、目を細める、顔を横に向ける、立っている間に腕を組む、微笑む、眉をひそめる、ひるむ、首を横に振るなど、を追跡し得る。ユーザーの挙動の追跡１２４２は、顔面／身体評価モジュール１０３０を使用し得る。
【0087】
音声コマンドの監視１２４３は、音声入力を監視し、１人以上のユーザーによる言葉を識別して、任意選択で、音声を分析可能なテキストに変換し：もっと近づいて、後ろに下がって、通話終了、おばあちゃんに電話して、音量を上げて、電話に出て、聞こえます、何という発言の繰返しなどであるが、それらに限定されない、潜在的な言葉による指示を識別し得る。音声コマンドの監視１２４３は、テキスト評価モジュール１０４０を使用し得る。
【0088】
音声コマンドの監視１２４３は、ユーザーの声の表情も監視し得、機械学習プロセス１２５０に、声の表情のタイプが、ビデオ通話飛行ユニット３００の所望の位置および向きにおける変化に対する指標であり得るかどうかを分類するように要求し得る。例えば、ユーザーが立腹している可能性があると識別すると、そのため、そのユーザーに対する距離を増やす。
【0089】
環境の監視およびマッピング１２４４は、ユーザーまたは複数のユーザーが存在し得る場所の周辺領域を監視し得、本システム内の既にマッピングされた領域からの変化または違いをチェックし得る。例えば、椅子が移動されている、ドアが閉まっている、新しいタンスが導入されている、新しい部屋で初めて、窓が開いている、などであるが、それらに限定されない。環境の監視およびマッピング１２４４は、環境評価モジュール１０６０、照明評価モジュール１０００、ネットワーク評価モジュール１０１０、音声評価モジュール１０２０および／または品質評価モジュール１０２１を使用し得る。機械学習プロセス１２５０は、機械学習または他のアルゴリズムサービスも追跡装置および監視装置例１２４１、１２４２、１２４３、１２４４、１２４５に提供して、各分類フォーカスにおける変化を識別するのを支援し得る。アルゴリズムに対する方法例は、異なるセンサーから作成された３Ｄマップを構築および保持し、現在のマップを既存の３Ｄマップと比較して、潜在的な変化を識別することであろう。各監視装置は、３Ｄマップの特定の態様にフォーカスし得る。現在のマップがどの格納されたマップと最も類似しているかを比較し、従って、新しいシナリオを定義するために、潜在的な変化も、データリポジトリ８３０内に分類されて格納された様々な３Ｄマップと比較され得る。機械学習プロセス１２５０は、３Ｄマップの集合を完全なシナリオ、例えば、２人が互いの前のテーブルの周りに座って話をしている、または２人の子供が互いの前におもちゃを置いて床に座って遊んでいる、または１人が話をしながら皿を洗っている、などに処理し得る。これらの事前に分類された場面の各々に対して、機械学習プロセス１２５０は、ビデオ通話飛行ユニット３００に対する所望の位置および向きを有し得る。
【0090】
機械学習分類器１２５０は、任意選択で、さらに分類された情報を収集するため、またはリポジトリ１２６０を更新するために、リポジトリ１２６０にアクセスし得る。リポジトリ１２６０の更新は、新しいシナリオの識別または既存のシナリオに対する変化の識別または他の理由の結果として生じ得る。一旦、機械学習分類器１２５０が新しい所望の位置および向きが要求されることを識別すると、それは位置更新事象を開始し得、本システムは、任意選択で、追跡装置、監視装置およびリポジトリのアクセス１２６０からの様々な入力に従い、かつ、任意選択で、機械学習分類器１２５０プロセスを使用して、新しい位置の計算１２３０を行い得る。計算結果は次いで、新しい位置の実行１２４０に渡され得、新しい位置の実行１２４０は、要求された新しい位置、向きおよび経路を、推進システム８５０に対する任意選択のコマンドに翻訳し、それに応じて推進システム８５０がそれらを実行し得る。
【0091】
遠隔コマンドの監視１２４５は、ビデオ通話中であり得るか、またはビデオ通話に対してサポートおよびサービスを提供している可能性がある、遠隔ユーザーもしくは複数のユーザーによって送信された様々なコマンドを監視し得る。これらのコマンドは、例えば限定されず、遠隔音声コマンド、遠隔モバイルアプリケーション、遠隔デスクトップアプリケーション、人工知能コマンド他、から到着し得る。遠隔コマンドの監視１２４５は、様々な外部コマンドを受信するために無線ネットワーク７６０を使用し得る。
【0092】
ビデオ通話飛行ユニット３００を新しい所望の位置および向きに導き得る遠隔コマンドは、リポジトリのアクセス１２６０を通してデータリポジトリ８３０に分類および保存される新しいシナリオを更新および作成するためにも使用され得る。
【0093】
図１３は、１つのエンドポイントからのビデオ通話のためのシステムプロセスの一例を示す流れ図である。ローカルユーザーは、ビデオの表示１３４０を通して遠隔ユーザーのプロジェクタ／ディスプレイ７１０上のビデオを視聴し得る。そのローカルユーザーは、スピーカー７３０で生成された音声の出力１３３０を通して遠隔ユーザーからの音声も聞き得る。
【0094】
これらの出力例は、マイクロホン７２０を使用する音声の受信１３００およびビデオの受信１３１０を通して収集されて、カメラ７００を通して記録され得、それらは次いで無線または有線ネットワークを経由してストリーミング１３２０され得る。本システムは、双方向に動作して、世界中の様々な位置を含む、遠距離にわたるローカルおよび遠隔の、２人のユーザー間での面と向かったビデオ通話を可能にし得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】