特許 7472483 超広角３６０度カメラの注視及び気付きを行なうシステム、方法、装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】超広角３６０度カメラの注視及び気付きを行なうシステム、方法、装置、及びプログラム

(51)【国際特許分類】

   H04N 23/40 20230101AFI20240416BHJP

   H04N 5/222 20060101ALI20240416BHJP

   H04N 7/15 20060101ALI20240416BHJP

   H04N 23/66 20230101ALI20240416BHJP

   H04N 23/698 20230101ALI20240416BHJP

【ＦＩ】

H04N23/40 100

H04N5/222 100

H04N7/15

H04N23/66

H04N23/698

【請求項の数】 18

(21)【出願番号】P 2019224510

(22)【出願日】2019-12-12

(65)【公開番号】P2020102845

(43)【公開日】2020-07-02

【審査請求日】2022-11-22

(31)【優先権主張番号】16/230,669

(32)【優先日】2018-12-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】シャンマ デービッド アイマン

(72)【発明者】

【氏名】ローラン ドゥヌ

(72)【発明者】

【氏名】チアヒヤデ ユリアス

(72)【発明者】

【氏名】アンソニー ダニガン

(72)【発明者】

【氏名】ジョン ジェイ．ドゥハーティ

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１９－１１０５３５（ＪＰ，Ａ）

【文献】米国特許第１０００９５６８（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／４０

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ７／１５

Ｈ０４Ｎ ２３／６６

Ｈ０４Ｎ ２３／６９８

(57)【特許請求の範囲】

【請求項1】

１つ以上のローカルユーザを含むボリュームを撮像して複数のリモートユーザのための出力を生成するように構成される３６０度カメラと、
前記リモートユーザのビューイング方向又は数を表わす、前記１つ以上のローカルユーザのためのビジュアル出力を、前記リモートユーザの関心領域のマッピングに基づいて生成するように構成され、前記リモートユーザの指標を与え、前記３６０度カメラに含まれる照明デバイスと、を備え、
前記照明デバイスは、前記３６０度カメラが設けられた部屋における前記リモートユーザの関心領域のマッピングに基づいて制御され、
前記リモートユーザの前記関心領域のマッピングは、前記複数のリモートユーザの各リモートユーザのために、前記照明デバイスにマッピングされるヨー値、ピッチ値、及び視野値を含む、
装置。

【請求項2】

１つ以上のローカルユーザを含むボリュームを撮像して複数のリモートユーザのための出力を生成するように構成さる３６０度カメラと、
前記リモートユーザのビューイング方向又は数を表わす、前記１つ以上のローカルユーザのためのビジュアル出力を、前記リモートユーザの関心領域のマッピングに基づいて生成するように構成され、前記リモートユーザの指標を与え、前記３６０度カメラに含まれる照明デバイスと、を備え、
前記照明デバイスは、前記３６０度カメラが設けられた部屋における前記リモートユーザの関心領域のマッピングに基づいて制御され、
前記照明デバイスは積層型ビジュアルインジケータライトを含み、
前記積層型ビジュアルインジケータライトは、前記３６０度カメラを受け入れるように構成されるクラウンに埋め込まれる、
装置。

【請求項3】

前記リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む請求項１に記載の装置。

【請求項4】

前記照明デバイスは積層型ビジュアルインジケータライトを含む請求項１に記載の装置。

【請求項5】

前記積層型ビジュアルインジケータライトは、前記３６０度カメラを受け入れるように構成されるクラウンに埋め込まれる請求項４に記載の装置。

【請求項6】

１つ以上のローカルユーザを含むボリュームを撮像して複数のリモートユーザのための出力を生成するように構成される３６０度カメラと、
前記リモートユーザのビューイング方向又は数を表わす、前記１つ以上のローカルユーザのためのビジュアル出力を、前記リモートユーザの関心領域のマッピングに基づいて生成するように構成され、前記リモートユーザの指標を与え、前記３６０度カメラに含まれる照明デバイスと、を備え、
前記照明デバイスは、前記３６０度カメラが設けられた部屋における前記リモートユーザの関心領域のマッピングに基づいて制御され、
前記ビジュアル出力は、前記リモートユーザの前記ビューイング方向又は前記数、若しくは前記１つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する前記複数のリモートユーザのうち１つ以上のリモートユーザの前記ビューイング方向又は前記数を表わす、前記照明デバイスのサイズ、色、及び光強度のうち少なくとも１つを含む、
装置。

【請求項7】

１つ以上のローカルユーザを含むボリュームを撮像して複数のリモートユーザのための出力を生成するように構成される３６０度カメラと、
前記リモートユーザのビューイング方向又は数を表わす、前記１つ以上のローカルユーザのためのビジュアル出力を、前記リモートユーザの関心領域のマッピングに基づいて生成するように構成され、前記リモートユーザの指標を与え、前記３６０度カメラに含まれる照明デバイスと、を備え、
前記照明デバイスは、前記３６０度カメラが設けられた部屋における前記リモートユーザの関心領域のマッピングに基づいて制御され、
前記リモートユーザのモーションは、前記モーションに対応する、前記３６０度カメラの周りの前記照明デバイスのモーション及び輝度により表わされる、
装置。

【請求項8】

前記リモートユーザの前記モーションは、パン、チルト、及びズームのうち１つ以上を含む請求項７に記載の装置。

【請求項9】

方法であって、
入力を３６０度カメラから受信し、前記入力がローカル環境の前記３６０度カメラを介して受信される情報に関連付けられることと、
複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザが前記３６０度カメラとのインタラクションを、デバイスを介して行なうことと、
前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
前記決定した関心領域情報を前記３６０度カメラに含まれ、前記リモートユーザの指標を与える特定の照明構成の特定のライト構造にマッピングすることと、
コマンドを生成して前記コマンドを前記照明構成に供給することと、
前記３６０度カメラの位置に居る、又は前記３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記コマンドに基づいて、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力を生成することと、を含み、
前記リモートユーザの前記関心領域情報の前記マッピングは、複数のリモートユーザの各リモートユーザのために前記ライト構造にマッピングされるヨー値、ピッチ値、及び視野値を含む、
方法。

【請求項10】

前記リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む請求項９に記載の方法。

【請求項11】

方法であって、
入力を３６０度カメラから受信し、前記入力がローカル環境の前記３６０度カメラを介して受信される情報に関連付けられることと、
複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザが前記３６０度カメラとのインタラクションを、デバイスを介して行なうことと、
前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
前記決定した関心領域情報を前記３６０度カメラに含まれ、前記リモートユーザの指標を与える特定の照明構成の特定のライト構造にマッピングすることと、
コマンドを生成して前記コマンドを前記照明構成に供給することと、
前記３６０度カメラの位置に居る、又は前記３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記コマンドに基づいて、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力を生成することと、を含み、
前記照明構成は積層型ビジュアルインジケータライトを含み、前記積層型ビジュアルインジケータライトは、前記３６０度カメラを受け入れるように構成されるクラウン内に埋め込まれる方法。

【請求項12】

方法であって、
入力を３６０度カメラから受信し、前記入力がローカル環境の前記３６０度カメラを介して受信される情報に関連付けられることと、
複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザが前記３６０度カメラとのインタラクションを、デバイスを介して行なうことと、
前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
前記決定した関心領域情報を前記３６０度カメラに含まれ、前記リモートユーザの指標を与える特定の照明構成の特定のライト構造にマッピングすることと、
コマンドを生成して前記コマンドを前記照明構成に供給することと、
前記３６０度カメラの位置に居る、又は前記３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記コマンドに基づいて、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力を生成することと、を含み、
前記ライト出力は、前記リモートユーザのビューイング方向又は数、若しくは１つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する前記複数のリモートユーザのうち１つ以上のリモートユーザの前記ビューイング方向又は前記数を表わす、前記照明構成のサイズ、色、及び光強度のうち少なくとも１つを含む方法。

【請求項13】

方法であって、
入力を３６０度カメラから受信し、前記入力がローカル環境の前記３６０度カメラを介して受信される情報に関連付けられることと、
複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザが前記３６０度カメラとのインタラクションを、デバイスを介して行なうことと、
前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
前記決定した関心領域情報を前記３６０度カメラに含まれ、前記リモートユーザの指標を与える特定の照明構成の特定のライト構造にマッピングすることと、
コマンドを生成して前記コマンドを前記照明構成に供給することと、
前記３６０度カメラの位置に居る、又は前記３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記コマンドに基づいて、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力を生成することと、を含み、
前記リモートユーザのモーションは、前記モーションに対応する、前記３６０度カメラの周りの前記照明構成のモーション及び輝度により表わされ、前記リモートユーザの前記モーションは、パン、チルト、及びズームのうち１つ以上を含む方法。

【請求項14】

プロセッサに、
複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザがローカル環境に関連する情報を供給する３６０度カメラとのインタラクションを、デバイスを介して行なうことと、
前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
前記決定した関心領域情報を前記３６０度カメラに含まれ、前記リモートユーザの指標を与える特定の照明構成の特定のライト構造にマッピングすることと、
前記３６０度カメラの位置に居る、又は前記３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力のコマンドを生成することと、
を実行させ、
前記リモートユーザの前記関心領域情報の前記マッピングは、前記照明構成にマッピングされるヨー値、ピッチ値、及び視野値を、前記複数のリモートユーザの各リモートユーザのために、含む、
プログラム。

【請求項15】

前記リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む請求項１４に記載のプログラム。

【請求項16】

プロセッサに、
複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザがローカル環境に関連する情報を供給する３６０度カメラとのインタラクションを、デバイスを介して行なうことと、
前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
前記決定した関心領域情報を前記３６０度カメラに含まれ、前記リモートユーザの指標を与える特定の照明構成の特定のライト構造にマッピングすることと、
前記３６０度カメラの位置に居る、又は前記３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力のコマンドを生成することと、
を実行させ、
前記照明構成は積層型ビジュアルインジケータライトを含み、前記積層型ビジュアルインジケータライトは、前記３６０度カメラを受け入れるように構成されるクラウン内に埋め込まれるプログラム。

【請求項17】

プロセッサに、
複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザがローカル環境に関連する情報を供給する３６０度カメラとのインタラクションを、デバイスを介して行なうことと、
前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
前記決定した関心領域情報を前記３６０度カメラに含まれ、前記リモートユーザの指標を与える特定の照明構成の特定のライト構造にマッピングすることと、
前記３６０度カメラの位置に居る、又は前記３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力のコマンドを生成することと、
を実行させ、
前記ライト出力は、前記リモートユーザのビューイング方向又は数、若しくは１つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する前記複数のリモートユーザのうち１つ以上のリモートユーザの前記ビューイング方向又は前記数を表わす、前記照明構成のサイズ、色、及び光強度のうち少なくとも１つを含むプログラム。

【請求項18】

プロセッサに、
複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザがローカル環境に関連する情報を供給する３６０度カメラとのインタラクションを、デバイスを介して行なうことと、
前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
前記決定した関心領域情報を前記３６０度カメラに含まれ、前記リモートユーザの指標を与える特定の照明構成の特定のライト構造にマッピングすることと、
前記３６０度カメラの位置に居る、又は前記３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力のコマンドを生成することと、
を実行させ、
前記リモートユーザのモーションは、前記モーションに対応する、前記３６０度カメラの周りの前記照明構成のモーション及び輝度により表わされ、前記リモートユーザの前記モーションは、パン、チルト、及びズームのうち１つ以上を含むプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

例示的な実施形態の態様は、超広角３６０度カメラの注視及び気付きを行なう方法、システム、インターフェースに関するものであり、特に注視及び気付きを超軽量３６０度カメラに、光源の使用により付与する装置、方法、及びプログラムに関するものである。

【背景技術】

【0002】

従来技術では、カメラは部屋で使用することができる。より具体的には、カメラ（例えば、ビデオカメラ）を部屋に設けて、セキュリティ、監視、遠く離れた場所を跨るインタラクティブ（双方向性）通信などのような１つ以上の機能を行なうことができる。会議室、オフィスルーム、自宅、又は他の会場スペースのような部屋の全体を撮像するために使用することができる従来技術による３６０°カメラが存在する。従来技術による「パンチルトズーム」カメラとは異なり、従来技術による３６０°カメラは、操作対象のサーボ又は関連モータのような機械的移動構造を必要とせず、いかなる場所にも簡単に配置して可視性を全方向に常時実現することができる。

【0003】

従来技術による接続機能に従って、従来技術による３６０°カメラは、同じ部屋に居ないユーザの間の遠隔会議機構、又は家屋内のような特定の環境における自動ビジュアルアシスタンス機構を提供することができる。

【0004】

しかしながら、従来技術による３６０°カメラは、様々な問題及び不具合を有している。例えば、これに限定されないが、関連する３６０°カメラは、部屋に居るユーザを遠く離れた場所で観察する遠く離れた場所に居るリモートビューア又はＡＩエージェントに関して部屋の完全な注視／気付きを行なうが、部屋のその場に居るローカルユーザは、ユーザ自身で、遠く離れた場所に居てビュー（観察）しているビューアの方向及び数に気付かない。

【先行技術文献】

【非特許文献】

【0005】

【文献】ＳＨＡＭＭＡ，Ｄ．Ａ．，ｅｔ ａｌ．．Ｉｎｔｅｒａｃｔｉｎｇ ｗｉｔｈ Ｓｍａｒｔ Ｃｏｎｓｕｍｅｒ Ｃａｍｅｒａｓ：Ｅｘｐｌｏｒｉｎｇ Ｇｅｓｔｕｒｅ，Ｖｏｉｃｅ，ａｎｄ Ａｌ Ｃｏｎｔｒｏｌ ｏｆ ＶｉｄｅｏＳｔｒｅａｍｉｎｇ， ＦＸＰＡＬ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，ＦＸＰＡＬ－ＴＲ－１８－００１，Ａｐｒｉｌ １， ２０１８，１３ ｐｇｓ．

【文献】ＣＵＴＬＥＲ，Ｒ．，ｅｔ ａｌ．．Ｄｉｓｔｒｉｂｕｔｅｄ Ｍｅｅｔｉｎｇｓ：Ａ Ｍｅｅｔｉｎｇ Ｃａｐｔｕｒｅ ａｎｄ Ｂｒｏａｄｃａｓｔｉｎｇ Ｓｙｓｔｅｍ，Ｍｕｌｔｉｍｅｄｉａ’０２，Ｄｅｃｅｍｂｅｒ１－６，２００２，Ｊｕａｎ－ｌｅｓ－Ｐｉｎｓ，Ｆｒａｎｃｅ，ｐｐ．５０３－５１２．

【文献】Ａｍａｚｏｎ．ｃｏｍ，Ａｍａｚｏｎ Ｃｉｏｕｄ Ｃａｍ Ｓｅｃｕｒｉｔｙ Ｃａｍｅｒａ，９ ｐｇｓ，［ｏｎｌｉｎｅｌＵＲＬ：ｈｔｔｐｓ：／／ｖｗｗ．ａｍａｚｏｎ．ｃｏｍ／ｌｎｔｒｏｄｕｃｉｎｇ－Ａｍａｚｏｎ－Ｃｌｏｕｄ－Ｃａｍ／ｄｐ／ＢＯＩ Ｃ４ＵＹ０ＪＫ

【文献】Ｌｉｇｈｔｈｏｕｓｅ Ａｌ，Ｉｎｃ．，Ａｌ，２０１８，３ｐｇｓ，［ｏｎｌｉｎｅ］ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｌｉｇｈｔ．ｈｏｕｓｅ／

【文献】Ｊｉｂｏ．ｃｏｍ，Ｍｅｅｔ Ｊｉｂｏ，２０１８，１１ ｐｇｓ．［ｏｎｌｉｎｅ］ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｊｉｂｏ．ｃｏｍ／

【文献】ＣＨＡＭＢＥＬ，Ｔ．，ｅｔ ａｌ．．Ｔｏｗａｒｄｓ Ｉｍｍｅｒｓｉｖｅ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｄｅｏ Ｔｈｒｏｕｇｈ ３６０ Ｈｙｐｅｒｖｉｄｅｏ，ＡＣＥ’２Ｏ１１，Ｌｉｂｏｎ，Ｐｏｒｔｕｇａｌ，２ｐｇｓ．

【文献】ＭＯＫ，Ｔ．，ｅｔ ａｌ．．Ｃｒｉｔｉｑｕｉｎｇ Ｐｈｙｓｉｃａｌ Ｐｒｏｔｏｔｙｐｅｓ ｆｏｒ ａ Ｒｅｍｏｔｅ Ａｕｄｉｅｎｃｅ，ＤＩＳ ２０１７，Ｊｕｎｅ １０－１４，２０１７，Ｅｄｉｎｂｕｒｇｈ，ＵＫ，１３

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術による例では、１つ以上のリモートピア（ｒｅｍｏｔｅ ｐｅｅｒ）は、遠く離れた場所で３６０度カメラを介して、部屋に居る１つ以上のローカルユーザをビューすることができる。しかしながら、１人以上のローカルユーザは、３６０度カメラを見ることにより、リモートピア群のいずれのリモートピアがこれらの特定のユーザをビューしているかどうかを認識する機構、又はリモートピアが３６０度カメラで焦点を合わせる、いずれの概略方向、角度、視野なども認識する機構を全く持たない。

【0007】

さらに、ＡＩエージェント又は他のビジュアルアシスタンスのような自動撮影ツールは、部屋に居る１つ以上のユーザを３６０度カメラでビューすることができる。しかしながら、１つ以上のユーザは、これらのユーザがビューしているかどうかを、及びどのくらい多くの自動撮影ツールが、これらのユーザを観察しているかを判断する機構を全く持たない。この従来技術の問題は、従来技術による３６０度カメラが、ローカルユーザがリモートビューアの方向、アイデンティティ、又は数を判断するビジュアルインジケータを全く含まないという事実に起因している。

【0008】

したがって、従来技術では、３６０度カメラを有する部屋に居るユーザに許可して、リモートビューア又はビューア群に関する情報を、連携を殆ど妨げることなく確認させることができることにより、３６０度カメラを有する部屋のユーザがプライバシーを、連携を妨げることなく維持することができるシステム及び方法を提供するという満たされない要求がある。
本開示の技術は、３６０度カメラを有する部屋の感知されるユーザがプライバシーを維持することができる装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

例示的な実施形態の態様によれば、装置は、１つ以上のローカルユーザを含むボリューム（空間）を撮像してリモートユーザのための出力を生成するように構成される３６０度カメラと、リモートユーザのビューイング方向又は数を表わす、１つ以上のローカルユーザのためのビジュアル出力を、リモートビューアの関心領域のマッピングに基づいて生成するように構成される照明デバイスと、を含み、照明デバイスは、３６０度カメラに関連付けられる。

【0010】

別の態様によれば、リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む。

【0011】

更に別の態様によれば、リモートビューアの関心領域のマッピングは、リモートユーザ群の各リモートユーザのために、照明デバイスにマッピングされるヨー値、ピッチ値、及び視野値を含む。

【0012】

更に別の態様によれば、照明デバイスは積層型ビジュアルインジケータライトを含む。さらには、積層型ビジュアルインジケータライトは、３６０度カメラを受け入れるように構成されるクラウンに埋め込まれる。

【0013】

別の態様によれば、ビジュアル出力は、リモートユーザのビューイング方向又は数、若しくは１つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期するリモートユーザ群のうち１つ以上のリモートユーザのビューイング方向又は数を表わす、照明デバイスのサイズ、色、及び光強度のうち少なくとも１つを含む。

【0014】

更に別の態様によれば、リモートユーザのモーションは、モーションに対応する、３６０度カメラの周りの照明デバイスのモーション及び輝度により表わされる。また、リモートユーザのモーションは、パン、チルト、及びズームのうち１つ以上を含む。

【0015】

方法は、入力を３６０度カメラから受信し、入力がローカル環境の３６０度カメラを介して受信される情報に関連付けられることと、複数のリモートユーザの各リモートユーザのためのストリームを生成して、各リモートユーザが３６０度カメラとのインタラクションを、デバイスを介して行なうことと、リモートユーザ群の各リモートユーザのためのリモートユーザのデバイスからのストリーム及び情報に基づいて、関心領域情報を決定することと、決定した関心領域情報を３６０度カメラに関連する特定の照明構成の特定のライト構造にマッピングすることと、コマンドを生成してコマンドを照明に供給することと、コマンドに基づいて、リモートユーザに関連する関心領域情報を表わすライト出力を生成して、３６０度カメラの位置に居る、又は３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるようにすることと、を含む。
別の態様によれば、リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む。
別の態様によれば、リモートユーザの関心領域情報のマッピングは、複数のリモートユーザの各リモートユーザのためにライト構造にマッピングされるヨー値、ピッチ値、及び視野値を含む。
別の態様によれば、照明構成は積層型ビジュアルインジケータライトを含み、積層型ビジュアルインジケータライトは、３６０度カメラを受け入れるように構成されるクラウン内に埋め込まれる。
別の態様によれば、ライト出力は、リモートユーザのビューイング方向又は数、若しくは１つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する複数のリモートユーザのうち１つ以上のリモートユーザのビューイング方向又は数を表わす、照明構成のサイズ、色、及び光強度のうち少なくとも１つを含む。
別の態様によれば、リモートユーザのモーションは、モーションに対応する、３６０度カメラの周りの照明構成のモーション及び輝度により表わされ、リモートユーザのモーションは、パン、チルト、及びズームのうち１つ以上を含む。

【0016】

プログラムは、プロセッサに、複数のリモートユーザの各リモートユーザのために生成されるストリームを生成して、各リモートユーザがローカル環境に関連する情報を供給する３６０度カメラとのインタラクションを、デバイスを介して行なうことと、複数のリモートユーザの各リモートユーザのためのリモートユーザのデバイスからのストリーム及び情報に基づいて、関心領域情報を決定することと、決定した関心領域情報を３６０度カメラに関連する特定の照明構成の特定のライト構造にマッピングすることと、リモートユーザに関連する関心領域情報を表わすライト出力のコマンドを生成して、３６０度カメラの位置に居る、又は３６０度カメラの近くに居るローカルユーザがライト出力をビューすることができるようにすることと、を実行させる。
別の態様によれば、リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む。
別の態様によれば、リモートユーザの関心領域情報のマッピングは、照明構成にマッピングされるヨー値、ピッチ値、及び視野値を、複数のリモートユーザの各リモートユーザのために、含む。
別の態様によれば、照明構成は積層型ビジュアルインジケータライトを含み、積層型ビジュアルインジケータライトは、３６０度カメラを受け入れるように構成されるクラウン内に埋め込まれる。
別の態様によれば、ライト出力は、リモートユーザのビューイング方向又は数、若しくは１つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する複数のリモートユーザのうち１つ以上のリモートユーザのビューイング方向又は数を表わす、照明構成のサイズ、色、及び光強度のうち少なくとも１つを含む。
別の態様によれば、リモートユーザのモーションは、モーションに対応する、３６０度カメラの周りの照明構成のモーション及び輝度により表わされ、リモートユーザのモーションは、パン、チルト、及びズームのうち１つ以上を含む。

【図面の簡単な説明】

【0017】

【図1(a)】図１（ａ）は例示的な実施形態による３６０度カメラの例を示している。

【図1(b)】図１（ｂ）は例示的な実施形態による３６０度カメラの例を示している。

【図1(c)】図１（ｃ）は例示的な実施形態による３６０度カメラの例を示している。

【0018】

【図2】図２は例示的な実施形態による３６０度カメラの周りの照明への関心領域のマッピングを表わすフローチャートを示している。

【0019】

【図3】図３は例示的な実施形態による３６０度カメラ上の関心領域のモデル化を示している。

【0020】

【図4】図４は例示的な実施形態による３６０度カメラ上の照明に関連する機構を示している。

【0021】

【図5】図５は例示的な実施形態による方法を示している。

【0022】

【図6】図６は幾つかの例示的な実施形態において使用されるために適する例示的なコンピュータデバイスを含む例示的なコンピューティング環境を示している。

【0023】

【図7】図７は幾つかの例示的な実施形態に適する例示的な環境を示している。

【発明を実施するための形態】

【0024】

以下の詳細な説明は、本出願の図及び例示的な実施形態の更なる詳細を提供する。これらの図の間の冗長な要素の参照番号及び説明は、明瞭性を期して省略されている。説明全体を通じて使用される用語は、例として提供されており、限定を意図したものではない。 例えば、これに限定されないが、本明細書において使用される「３６０ ｃａｍｅｒａ（３６０度カメラ）」という用語は、３６０°カメラ又は超広角カメラのようなカメラを指すことができ、このカメラは、機械的モータ又は他の移動構造を全く必要とせず、部屋内に配置して、多くの方向の挙動を検出することができる。

【0025】

例えば、これに限定されないが、例示的な実施形態は、球体全体の視野を備えるカメラ、又は水平面内の３６０度の視野を撮影する機能を備えるカメラを含むことができる。さらに、「３６０ ｃａｍｅｒａ（３６０度カメラ）」という用語は、これに限定されないが、例えばフィルムまたはセンサの短辺よりも短い焦点距離を持つレンズを有する超広角カメラを含むことができる。しかしながら、「３６０ ｃａｍｅｒａ（３６０度カメラ）」は、パン／チルト／ズームカメラ（ｐａｎ／ｔｉｌｔ／ｚｏｏｍ ｃａｍｅｒａｓ）を含まない。

【0026】

例示的な本実施形態では、カメラは、ビューイングデバイスを有する複数のリモートユーザの動画、静止画像、又は動画及び静止画像の両方を撮影することができ、ビューイングデバイスによりリモートユーザは、リモートユーザの関心領域を３６０度カメラ内に収まるように調整することができる。ビューイングデバイスは、関心領域に関連するパラメータ情報をプロセッサに供給し、このプロセッサが、マッピングをパラメータ情報と３６０度カメラに関連する照明方式との間で行なう。マッピングに基づいて、照明方式を制御してローカルユーザに、３６０度カメラの部屋での挙動の邪魔になることなく、リモートユーザの関心領域に関連する指標を与える。

【0027】

例示的な実施形態の態様は、３６０度カメラの使用に関するものである。上に説明したように、３６０度カメラは、これらには限定されないが、テレビ会議、セキュリティ、監視、支援、又は当業者に理解される他のシナリオを含む様々なシナリオで使用することができる。これらのシナリオ及び他のシナリオでは、３６０度カメラが、部屋の容積全体のビューを提供することができ、パン、ズーム、又はチルトする必要があるカメラに通常関連する機械的モータに起因する移動又は追加雑音を生成しないので、３６０度カメラを使用することができる。３６０度カメラは、例えばミーティングルームの天井に配置することができ、３６０度カメラのビデオフィードをリモート参加者に供給することができる。

【0028】

リモート参加者は、別のユーザとすることができる、又は例えば、ミーティングに関する、又は自宅、工場、又は他の会場のような場所に居るユーザが行なう挙動を検出することのような他の挙動に関する３６０度カメラの出力を感知、受信、及び格納することができる自動システムとすることができる。３６０度カメラは、より小さなミーティングスペースに取り入れることもでき、任意であるが、３６０度カメラは、部屋のミーティングテーブルに配置されるように移動可能であることにより、リモート参加者をミーティングに含めてもよい。

【0029】

上に説明したように、従来技術による３６０度カメラは、プライバシーの問題及び／又は気付きの問題を、３６０度カメラにより感知されているユーザに生じさせる可能性があるが、その理由は、これらのユーザが、３６０度カメラに関するリモートユーザ焦点（リモートユーザのアイデンティティがずっと低い）を判断することができないからであり、３６０度カメラが、入力を部屋のあらゆる場所から常時受信することができ、入力をリモートユーザが所定の方向から受信している当該方向の指標を与えることがないからである。これに関連して、３６０度カメラに関連する注視及び気付きの欠如は、３６０度カメラのその場に居る参加者が、リモートユーザが何処を見ているのかを判断することができないので、連携に悪影響を及ぼす可能性がある。

【0030】

例示的な実施形態の態様は、少なくとも前述の従来技術の問題に関するものである。より具体的には、例示的な実施形態は、ビジュアルインジケータを３６０度カメラの近くに設けて、又は３６０度カメラの上に設けて、３６０度カメラのローカルユーザに、リモートユーザが入力を感知している、または見ている方向の注視及び気付きの指標を与えるだけでなく、遠く離れた場所からローカルユーザを３６０度カメラで観察しているリモートユーザの数の指標を与えることができる。

【0031】

すなわち、例示的な実施形態によれば、３６０度カメラは、リモートユーザの指標を与える１つ以上の照明光源を含むことができ、リモートユーザは、リモートビューイングデバイス又は自動システムを使用する実際の人物である。さらに、リモートユーザ群の各リモートユーザに対して、ビューポートを提供して、ユーザの実際のヨー値、ピッチ値、及び視野値を、３６０度カメラに関連するハードウェアで利用可能な光源にマッピングすることができるようにする。

【0032】

光源は、例えばこれに限定されないが、基部の内部に任意に設けられるＬＥＤリングを含む１つ以上のビジュアルインジケータライトからなる積層型ビジュアルインジケータライトとすることができ、これらのインジケータライトを設けて、ユーザのビジュアルに訴える出力を、３６０度カメラの邪魔にならないように生成することができる。さらに、光源の色及び光強度を使用して、リモートユーザの数及びタイプを示すことができる。

【0033】

さらに、リモートエージェントのパン／チルト／ズームのようなモーションは、３６０度カメラに関連するライトのモーション及び輝度により表わして、パン操作、チルト操作、又はズーム操作のような対応する作用を示すことができる。また、ビジュアルインジケータ及び／又は音声インジケータを３６０度カメラのローカルユーザに供給して特定の人に指示を出して、例えば特定のビューポートに参加させる、ビューポートから退出させる、ビューポートに向かって発話させる、ビューポートに同期させることができる。

【0034】

図１（ａ）は、例示的な実施形態による３６０度カメラを示している。例えば、これに限定されないが、この例示的な実施形態１００は、３６０度カメラを取り付ける（例えば、ボルト締めする、又は固着させる）ことができる取り付け先のクラウン（ｃｒｏｗｎ（王冠（３６０度カメラが取り付けられる被取付部））；例えば、基部を含む）の様子を示している。より具体的には、３６０度カメラには、発光ダイオード（ＬＥＤ）のようなビジュアルインジケータ（視覚可能な表示部）の１つ以上のリングを設けることができる。１０１では、ビジュアルインジケータの２つのリング、具体的には、上側部分１０５と下側部分１０９とが設けられ、上側部分に３６０度カメラを取り付けることができる。

【0035】

さらに、ビジュアルインジケータライト（視覚可能な表示部の点灯部）の下側部分１０９は、色で発光し、この場合は青色で発光する。１０３では、ビジュアルインジケータライトの上側部分１０７の外側が別の色で発光し、この場合は緑色で発光する。さらに、下側部分１１１は、上側部分１０９と同時に発光を無くしても無くさなくてもよく、この場合は緑色であるが、任意に別の色でもよい。ビジュアルインジケータライトの様々なビジュアル属性を使用して、可視光出力を見分けることができることに留意されたい。

【0036】

例えば、これに限定されないが、ビジュアルインジケータのうち点灯する部分の幅又は厚さは、リモートユーザのタイプ、リモートビューイングの持続時間、リモートユーザと部屋に居るユーザとの関係、人間又は自動機械のようなリモートユーザのタイプ、又は所定の方向を見ているリモートユーザの数を示すことができる。

【0037】

可視光出力の他の属性は、前述の属性と置き換えて使用するか、又は前述の属性と組み合わせて使用することができ、これらには限定されないが、ビジュアルインジケータライト（例えば、これに限定されないが、ＬＥＤリング）の輝度、パルス持続時間、又は他の属性を含む。したがって、３６０度カメラを備える部屋に居るユーザは、リモートユーザの数を判断することができるだけでなく、これらのリモートユーザが３６０度カメラを含む部屋の何処を見ているかを判断することができる。

【0038】

図１（ｂ）は、例示的な実施形態に関連する例示的なクラウンのモデルを示している。例えば、１２１に示すように、クラウン１２３は、クラウン内に配置されるビジュアルインジケータライトの可視出力を送信するように構成される帯状体１２５、１２９を含む。中間層１２７は、上側ビジュアルインジケータライト（上側ＬＥＤリングのような）と下側ビジュアルインジケータライト（下側ＬＥＤリングのような）との間の分離部として設けられる。さらに、基部１３１がクラウン１２３の端部に設けられる。したがって、３６０度カメラが天井、テーブル、又は他の場所に配置されるかどうかに応じて、３６０度カメラは、基部１３１に配置するか、又は帯状体１２５の端部に配置することができる。

【0039】

図１（ｃ）は、ライトを備える集積３６０度カメラに関連する例示的な実施形態を示している。 例えば、１４１では、集積３６０度カメラ１４５、ユーザインターフェース１４７、状態インジケータ１４９、及び１５１に２列に並んだＬＥＤライトを含むハウジング１４３が提供される。ＬＥＤライトの数、並びに列の数、及びＬＥＤライトの色は、当業者が理解しているように、本開示の技術の範囲内で変更することができる。この例示的な実施形態は、より小さな部屋のような場所に使用することができる、又はテーブル天板の上で使用することができる、よりコンパクトな構造を提供することができる。

【0040】

３６０度カメラをテーブル天板の上で使用することを含む例示的な実施形態によれば、上に説明され、図面に示されるように、カメラは、例示的なクラウンに取り付けることができる。さらに、例示的なクラウンのビジュアルインジケータライトの各集合体をプログラムで点灯させて、リモートユーザが焦点を探している方向に関連する指標を与えることができる。例えば、これに限定されないが、下部ビジュアルインジケータライトは、３６０度カメラに対して瓶詰めの前面側のオブジェクトが現在の焦点であることを示すことができる。これとは異なり、上側リングは、ユーザの顔又は部屋のホワイトボードのような反対方向のオブジェクトが現在の焦点であることを示すことができる。

【0041】

ボードミーティングルームなどのような、より大きな現場を含む別の例示的な実施形態によれば、クラウンは天井に取り付けることができ、３６０度カメラは、クラウンの下方に取り付けて、下方向を向くようにすることができる。テーブル天板の例示的な実施形態に関連して上に説明したように、ＬＥＤ距離測定を同様に用いて、リモートユーザのビューイング方向、及び３６０度カメラの焦点にあるオブジェクトの相対位置を示すことができる。

【0042】

本明細書において説明される例示的な実施形態は、３６０度カメラに関連するローカルユーザに、１つ以上のリモートユーザの例えば１つ以上の光源によるビジュアル指標、並びに１つ以上のリモートユーザの焦点方向を与える。ビジュアル指標は、３６０度カメラレンズに干渉するほど高い光強度を持たないＬＥＤのような１つ以上のライトにより実現することができる。上の例示的な実施形態によれば、ＬＥＤは、基台と表記することもできるクラウンに閉じ込められて照明を管理又は制限することができ、光出力の所望のビジュアル外観をローカルユーザに提供することができる。その結果、ローカルユーザ及びリモートユーザは、ローカルユーザがリモートビューアの方向及び数に関連するプライバシー保護照明機能を持つことを可能にしながら、ローカルユーザ及びリモートユーザの連携を継続することができる。

【0043】

前述の光源は、例示的な実施形態に関連して説明されているが、本発明のコンセプトは例示的な実施形態に限定されない。例えば、これに限定されないが、他のプログラム可能な光源をＬＥＤの替わりに使用することができる。別の例示的な実施形態によれば、半非球面ライトのような配列ライトは、フレキシブルＬＣＤディスプレイを基台の周りに巻き付けることができる、又は完全なフラットＬＣＤディスプレイを使用することができる場合に設けることができる。したがって、例示的な本実施形態は、関心領域の精度、ビジュアルインジケータに関連する電力要件、及び製造、据え付け、保守などの複雑さを制御するように設計することができる。

【0044】

例えば、しかし限定するわけではないが、ビジュアルインジケータは、出力スクリーン（例えば、光を１つの領域から生成して外部から投影するプロジェクタ、例えば底部から、プロジェクタの外部から見える半透明の錐体に至る光を生成するプロジェクタ）を含むことができるが、これに限定されない。あるいは、ＬＣＤスクリーンを実装するようにしてもよい（例えば、３６０度カメラの上方の天井に取り付けられる円形ＬＣＤは、例示的な実施形態によるライトを同様に示している）。その結果、各ユーザは、アクティブなビューポートをビューすることができる。

【0045】

前述の例示的なビューは、ユーザ全体をズームする場合に、又はユーザに集光領域でズームインすることができる場合に、全３６０度として表示することができる。ユーザ全体をズームアウトする例示的な実施形態では、リングは明るい円として現われる。ユーザに、例えば左から右に４５度から１５度になるようにビューポートでズームする場合、リングの円弧を出力ディスプレイに表示することができる。しかしながら、例示的な実施形態はこれに限定されず、他の実施形態を、マッピング（例えば、１：１）、可視領域の調整（例えば、当該領域を部屋に居る人に対して目に見えるように表示するために）などに応じて、例示的な実施形態の替わりに用いることができる。

【0046】

例示的な実施形態では、光源をプログラムで制御する必要がある。例示的な本実施形態では、３６０度カメラに関連する部屋のローカル領域内の関心領域をマッピングすることができる。このマッピングに基づいて、３６０度カメラの周りのライトを点灯させることができる。例えば、これに限定されないが、３６０度カメラが天井に取り付けられる場合、リモート参加者に３Ｄビューアのようなビューアを提供して、これらのビューアで３６０度カメラが位置する部屋をスキャンするときに、関心領域を焦点位置に移動させることができる。例えば、リモートユーザは部屋のプロジェクタ、質問を尋ねている参加者、マーカーボード、又は他のビジュアル焦点に焦点を合わせ、ビューアの関心領域をそれに応じて、自動的に、又はリモートユーザにより移動させることができる。

【0047】

例示的な実施形態によれば、光源をモデル化して照明方式を実現することができる。１つの例示的な実施形態では、光源は、センサディスプレイとしてモデル化され、ピッチ、ヨー、及び視野（ＦｏＶ）の角度値、並びにボリュームのような様々な関連属性を有する。

【0048】

図２に示すように、複数のリモートビューアは、ミーティングルームの３６０度カメラから供給されるライトカメラストリームをビューすることができる。例示的な実施形態では、リモート参加者のうちの２つのリモート参加者が、３６０度カメラを含む部屋の投影対象ディスプレイのような、ほぼ同じ方向をビューすることができ、多分に、スライドショーなどを表示することができる。３６０度カメラの出力を遠く離れた場所でビューしている別の参加者は、質問を尋ねている、又は情報をこれらの別の参加者の場所に供給している参加者に任意に関連付けられる部屋の後ろ、ユーザ群のうち１つのユーザ、又は部屋の別の部分のような、別の方向に焦点を合わせることができる。当該参加者は当該人物に焦点を合わせる。

【0049】

前述の例では、３６０度カメラの同じ方向に焦点を合わせる２つの参加者は、同様のヨー値と、若干下方に焦点を合わせた小ピッチと、を有することになる。これとは異なり、他の参加者は、当該参加者が当該部屋の単一のユーザ又は人物に焦点を合わせているので、高いピッチ値と、狭視野と、を有することになる。

【0050】

各リモートユーザ群の各リモートユーザの関心領域のヨー及びピッチの入力を使用して、システムは、プログラム制御を光源に対して行なって、これらの値に関連するビジュアル出力を生成する。非限定的な例示的な実施形態によれば、２つのビジュアルインジケータライト（例えば、ＬＥＤリング）が互いの上に積み重ねられ、前述の例により、上側リングが２を下方に示すようになって、投影対象ディスプレイを見ているそれぞれ最初の２つの参加者の位置を表わすようになり、下側リングを使用して、質問を尋ねている参加者の位置に居る３番目のリモートユーザが見ている方向を消去する。中間のピッチ値の場合、上側リング及び下側リングの両方を点灯させてピッチ値の平均を与えることができる。

【0051】

前述の例示的な実施形態は、２つの空間配列ビジュアルインジケータライト（例えば、２つのＬＥＤリング）に関するものであるが、本発明のコンセプトは、空間配列ビジュアルインジケータライトに限定されない。半球形の食事用フレキシブルカラーディスプレイのような他の技術を用いて、ピッチ値及びヨー値の更に高精度の、又は更に正確なビジュアル指標を与えることができる。

【0052】

したがって、人物又は自動ツールを含むことができるリモートユーザが、当該リモートユーザのビューポートを移動させて、３６０度カメラが配置されている部屋の別の領域に焦点を合わせると、リモートユーザによるこのような移動に関連するパンパラメータ、チルトパラメータ、及びズームパラメータを使用して、対応するライト、及び照明の光強度出力を変更することができる。例えば、これに限定されないが、リモートユーザが、これらのリモートユーザのビューポートを、プロジェクタスクリーンを見ている方向から、部屋の後ろの参加者を見ている方向に向かって３６０度カメラに基づいて移動させると、３６０度カメラに関連する対応する光がクラウンデバイスの周りに移動して光の輝度が変化し、リモートユーザはズームアウトする。

【0053】

積層型ビジュアルインジケータライトは、３６０度カメラの部屋に居るローカル参加者に、どれほど多くのリモートユーザが３６０度カメラにアクセスしているのかについての印象を与えるために十分なヨー（例えば、カメラの周りの３６０°の角度）を前もって取り込むことができる。ビューポートは広いビュー領域を提供することができるが、状況に応じて、ビューポートの正確な焦点又は中心に合わせた焦点を実現できない可能性があることに留意されたい。

【0054】

図２は、例示的な実施形態に関連する例示的なフローチャート２００を示している。２０１では、３６０度カメラは入力を受信する。２０３では、３６０度カメラの当該入力が、１つ以上のリモートユーザＳ１、Ｓ２・・・Ｓｎにストリーミング配信される。ストリーム群の各ストリームは、関心領域にリモートユーザ群の各リモートユーザ又はリモート参加者群の各リモート参加者により関連付けられる。例えば、ビューポートは、リモートユーザ群の各リモートユーザに提供することができる。

【0055】

所定のユーザの特定の関心領域に基づいて、ピッチ、ヨー、及び視野のようなパラメータの指標値が生成されるだけでなく、ボリュームが生成される。上に説明したように、これらの値は、関心領域に関連するピッチ、ヨー、及び視野をライト出力にマッピングするマッピング関数に２０７において出力される。

【0056】

したがって、２０９では、信号が、クラウンの照明にシステムにより供給されると、ライトリングが、２０７で生成されたマッピングに従って点灯し、マッピングは、２０５でリモート参加者の関心領域に基づいて受信されるパラメータに基づいており、これらのパラメータが今度は、２０１の３６０度カメラから２０３で受信されるそれぞれのストリームに基づいている。

【0057】

図３は、例示的な実施形態によるマッピングに基づく例示的な出力を示している。３００では、３６０度カメラ３０３、並びに１つ以上のライトリングを含むクラウン３０５を含む装置３０１が提供される。

【0058】

前述の例では、２つのリモートビューアが３６０度カメラに対して真っ直ぐ前方を見ており、これらのリモートビューアは、互いに同じ方向に作業している。これとは異なり、３番目の参加者は、最初の２つのリモートユーザとは異なる方向の下方を見ている。上に説明したマッピングに基づいて、クラウン３０５の上側領域にあるビジュアル出力が３０９で供給される。このビジュアル出力は、第１の色、この場合はオレンジであるこのビジュアル出力は、３０７で供給されるビジュアル出力の２倍の長さであるが、その理由は、３０７の方向に見ている１つのリモートユーザと比較して、３０９の方向に見ている２つのリモートビューアがいるからである。

【0059】

さらに、３０７でのビジュアル出力と比較して、３０９でのビジュアル出力は、クラウン上でより高くなっているが、その理由は、リモートビューアが、人物が人物の机に座っているように、部屋のより低い位置に焦点を合わせる３番目のユーザとは異なり、プロジェクションスクリーンのような、部屋のより高い上方の位置に焦点を合わせるからである。さらに、プロジェクタスクリーンの視野は、人物の机に座っている人物の狭い視野よりも広いので、３０９と比較してより少ない数のライトが３０７で、リモートユーザ群の各リモートユーザの視野に基づいて、上に説明した通りに取得される（例えば、リモートユーザのビューポートにより）情報に基づいて点灯する。

【0060】

別の例示的な実施形態によれば、ミーティングを３６０度カメラでビューしているリモートユーザは多数である可能性がある。このような状況では、実際に多数のビューアが、上に説明した態様で遠く離れた場所で所定の方向に作業していたことを正確に表わすことは比較的困難となる可能性がある。別のアプローチとして、ライトパワー（例えば、光強度又は輝度）を使用して、ユーザの数の指標値を与えることができる。例えば、これに限定されないが、同様のヨー角及びピッチ角を有するリモートユーザがより多くいる場合、より明るい色がビジュアルインジケータライトにより放出される可能性がある。さらに、１つ以上のリモートユーザが３６０度カメラとの接続を行なう、又は接続を解除することにより、ユーザがミーティングに参加している、又はミーティングから離れていることを示す状況の場合、特殊な照明効果が実現される可能性がある。

【0061】

さらに、別の例示的な実施形態によれば、ローカル参加者群のうち１つ以上のローカル参加者は、特定のリモートユーザの状態又はアイデンティティに気付きたいと考える場合がある。１つの例によれば、会社の最高経営責任者（ＣＥＯ）は、ミーティングに加わるリモートユーザである可能性があるのみならず、１つ以上の他のリモートユーザである可能性もある。この環境では、３６０度カメラを備える部屋のローカル参加者は、ＣＥＯの遠く離れた場所での挙動に関連付けられる光源に気付きたいと考える可能性がある。

【0062】

前述の状況に対応するために、双方向オーディオを設けて、ＣＥＯが接続時に、又は他の種類の機会に自己紹介することができるようにする。さらに、予約アクション効果を用いて、ローカル参加者が、特定のライトがＣＥＯにリモートユーザとして関連付けられていることを認識することができるようにする。例えば、これに限定されないが、特定のユーザは、色をユーザのユーザ識別又は認証のいずれかに基づいて予約している可能性がある。

【0063】

別の例示的な実施形態によれば、リモートユーザを特定のビューポートに集中させることができる。この例示的な実施形態によれば、ローカルプレゼンター又はリモートプレゼンターは、全てのリモートユーザに、リモートユーザのリモートビューの焦点を特定の関心領域にのみ合わせるように要求することができる。例えば、ローカルプレゼンターは、全てのリモート参加者に対して、リモート参加者の関心領域、及びスライドを提示するように強制したいと考える可能性がある。このように、ローカルプレゼンターは、リモートビューアをプロジェクタに関連するビューポートに集中させることができる。この集中機能が実行されると、３６０度カメラに関連するライトは、ライトの全てを移動させて４．２プロジェクタを揃えて、ローカル参加者が、リモートユーザ群の全てが現在、当該方向に集中していることに気付くことができるようにするアニメーションのような可視化情報を出力することができる

【0064】

上述のように、リモートユーザは、ホームオートメーションエージェント用の自動監視システムのようなエージェントとすることができる。これらのエージェントは、３６０度カメラに関連するライトにより、例えば特定の色を使用してビジュアル表示されて、エージェントを、人物に関連する他のリモートユーザから区別することもできる。これらのエージェント、特に人工知能を使用するエージェントの場合、「３Ｄ ｍｉｃ（３Ｄマイク）」とも表記されるマルチダイレクトマイクロホンアレイを使用して、誰かが、３６０度カメラに関連する部屋のその場で現在発話している場所を判断することができる。したがって、３６０度カメラのライトを消灯して、ＡＩベースエージェントが３６０度カメラを介して遠く離れた場所で感知していて、ローカルユーザがエージェントの焦点に気付くようになることを示すことができる。

【0065】

照明、マッピング、ユーザ設定などの制御のような前述の例示的な実施形態の管理及び制御は、これらには限定されないが、ウェブユーザ体験、モバイルオンラインアプリケーション、テキストベース通信サービスチャネル、並びに音声コマンドを含む１つ以上のアプローチにより制御することができる。システムは対話型とすることができる（例えば、ボット及び／又は音声起動システム）。

【0066】

３６０度カメラ及び関連する光源は、特殊な消灯信号又は点灯信号を供給するのみならず、オーディオ効果を実現することができる。例えば、これに限定されないが、ウェブサイトを用いて、コマンドに関連する色を制御することができる。同様に、ライト装置により出力される光の他の態様を制御することができる。

【0067】

前述の例の１つの実施形態によれば、基台は、図４の４００で示されるようなＬＥＤ帯４０１を使用して形成されており、これらのＬＥＤ帯４０１は、互いの上に積み重ねられ、３Ｄ印刷の半透明基台の内部に閉じ込められる。次に、３６０度カメラを当該構造の上部に取り付けた。基台内に閉じ込められたＬＥＤは、３６０度カメラの性能に悪影響を与えなかったので、連携イベントは中断することなく継続することができた。この装置は、ミーティングルーム内に配備され、３６０度ビデオビューアをリモートユーザに供給して、ヨー値、ピッチ値、及び視野値がリモートユーザから受信されるようにした。ＬＥＤリングが制御され、サーバに接続された。

【0068】

図５は、例示的な実施形態のプログラムによる例示的なプロセス５００を示している。ステップ５０１では、入力（コンテンツ）を３６０度カメラから受信する。例えば、この入力は、ローカル環境の３６０度カメラを介して全ての方向に常時受信される情報に関連付けることができる。

【0069】

ステップ５０３では、ストリームを各リモートユーザに対応して生成する。上に説明したようにリモートユーザは、これらに限定されないが、人物に関連するリモートユーザ、及びエージェントを含むことができる。リモートユーザ群の各リモートユーザは、３６０度カメラとのインタラクションをビューポートのようなデバイスを介して行なうことができる。

【0070】

ステップ５０５では、ストリーム及びリモートユーザのデバイスからの情報に基づいて、関心領域情報及びボリューム情報を決定する。例えば、ピッチ、ヨー、及び視野を決定することができる。さらに、リモートユーザが人物又はエージェントであるかどうか、及びリモートユーザが人物であるかどうか、リモートユーザが特定の認証情報又は肩書（例えば、ＣＥＯ）のような他のアイデンティティ指標を有する人物であるかどうかのようなリモートユーザに関連する情報は、ステップ５０５で生成又は決定することもできる。

【0071】

ステップ５０７では、ステップ５０５で取得された、又は決定された情報を取り出し、当該情報を３６０度カメラに関連する特定の照明構成の特定のライト構造にマッピングするマッピング関数を実行する。異なる３６０度カメラは、異なる照明構成及び機能を有することができ、異なるマッピングを入手して、システムを多数の３６０度カメラ配列で使用することができる。

【0072】

ステップ５０７で実行されるマッピングに基づいて、ステップ５０９では、コマンドを生成して照明に供給することができる。コマンドに基づいて、リモートユーザに関連する関心領域情報を表わすライト出力を生成して、３６０度カメラを備える部屋のローカルユーザが、上に説明したように、リモートビューアの数、リモートビューア群の各リモートビューアのビューイング方向などのような、リモートユーザの挙動に気付くようにする。

【0073】

図６は、幾つかの例示的な実施形態において使用されるために適する例示的なコンピュータデバイス６０５を備える例示的なコンピューティング環境６００を示している。コンピューティング環境６００内のコンピューティングデバイス６０５は、１つ以上の処理ユニット、コア、又はプロセッサ６１０、メモリ６１５（例えば、ＲＡＭ、ＲＯＭ、及び／又は同様のメモリ）、内部ストレージ６２０（例えば、磁気ストレージ、光ストレージ、固体ストレージ、及び／又は有機ストレージ）、及び／又はＩ／Ｏインターフェース６２５を含むことができ、これらのいずれもが、情報を通信する通信機構又はバス６３０で結合され得る、又はコンピューティングデバイス６０５に埋め込まれ得る。

【0074】

コンピューティングデバイス６０５は、入力／インターフェース６３５及び出力デバイス／インターフェース６４０に通信可能に結合され得る。入力／インターフェース６３５及び出力デバイス／インターフェース６４０の一方又は両方は、有線又は無線インターフェースとすることができ、脱着可能とすることができる。入力／インターフェース６３５は、入力を供給するために使用することができる任意のデバイス、コンポーネント、センサ、又はインターフェースを、実体又は仮想であるかどうかに関係なく含むことができる（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソルコントロール、マイクロホン、カメラ、点字 、モーションセンサ、光学式リーダ、及び／又は同様のデバイス）。

【0075】

出力デバイス／インターフェース６４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含むことができる。幾つかの例示的な実装形態では、入力／インターフェース６３５（例えば、ユーザインターフェース）及び出力デバイス／インターフェース６４０は、コンピューティングデバイス６０５に埋め込まれ得るか、又は物理的に結合され得る。他の例示的な実施形態では、他のコンピューティングデバイスは、コンピューティングデバイス６０５の入力／インターフェース６３５及び出力デバイス／インターフェース６４０として機能することができるか、又は入力／インターフェース６３５及び出力デバイス／インターフェース６４０の機能を提供することができる。これらの要素は、これに限定されないが、ユーザがＡＲ環境とのインタラクションを行なえるような公知のＡＲハードウェア入力を含むことができる。

【0076】

コンピューティングデバイス６０５の例は、これらには限定されないが、高度モバイルデバイス（例えば、スマートフォン、車両及び他の機械内のデバイス、人間及び動物により運ばれるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピューター、ポータブルテレビ、ラジオなど）、及び可動性を目的に設計されていないデバイス（例えば、デスクトップコンピュータ、サーバデバイス、その他のコンピュータ、情報キオスク、１つ以上のプロセッサが埋め込まれた、及び／又は結合されたテレビ、ラジオなど）を含むことができる。

【0077】

コンピューティングデバイス６０５は、外部ストレージ６４５及びネットワーク６５０に通信可能に結合されて（例えば、Ｉ／Ｏインターフェース６２５を介して）、任意の数のネットワーク接続コンポーネント、デバイス、及び同じ、又は異なる構成の１つ以上のコンピューティングデバイスを含むシステムと通信することができる。コンピューティングデバイス６０５又は任意の接続先コンピューティングデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、特殊用途マシン、又は別のラベルのサービスを供給するものとして機能することができる、又はサーバ、クライアント、シンサーバ、汎用マシン、特殊用途マシン、又は別のラベルと表記することができる。

【0078】

Ｉ／Ｏインターフェース６２５は、これに限定されないが、任意の通信プロトコル又は規格、若しくはＩ／Ｏプロトコル又は規格（例えば、イーサネット（登録商標）、８０２．１１ｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラーネットワークプロトコルなど）を使用して情報を、コンピューティング環境６００内の少なくとも接続先コンポーネント、デバイス、及びネットワークの全てに送信する、及び／又は全てから受信する有線及び／又は無線インターフェースを含むことができる。ネットワーク６５０は、任意のネットワーク、又はネットワーク群の組み合わせとすることができる（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、携帯電話ネットワーク、衛星ネットワークなど）。

【0079】

コンピューティングデバイス６０５は、一時的な媒体及び非一時的な媒体を含むコンピュータ可用媒体又はコンピュータ可読媒体を使用することができる、及び／又はコンピュータ可用媒体又はコンピュータ可読媒体を使用して通信することができる。一時的な媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的な媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体ストレージ）、及び他の不揮発性ストレージ又はメモリを含む。

【0080】

コンピューティングデバイス６０５を使用して、技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を幾つかの例示的なコンピューティング環境で実行することができる。コンピュータ実行可能命令は、一時的な媒体から取り出すことができ、非一時的な媒体に格納して非一時的な媒体から取り出すことができる。実行可能命令は、任意のプログラミング言語、スクリプト言語、及びマシン言語（Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）、及び他の言語）のうち１つ以上の言語で作成することができる。

【0081】

プロセッサ（群）６１０は、任意のオペレーティングシステム（ＯＳ）（図示せず）の下でネイティブ環境又は仮想環境で実行することができる。論理ユニット６５５、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット６６０、入力ユニット６６５、出力ユニット６７０、ＲＯＩ決定部６７５、ＲＯＩ対ライトマッピング部６８０、３６０度カメラ／ストリーミング部６８５、及び異なるユニットが互いに、ＯＳ、及び他のアプリケーション（図示せず）と通信するユニット間通信機構６９５を含む１つ以上のアプリケーションを展開することができる。

【0082】

例えば、ＲＯＩ決定部６７５、ＲＯＩ対ライトマッピング部６８０、及び３６０度カメラ／ストリーミング部６８５は、図２及び図５に示す１つ以上のプロセスを、図１（ａ）～図１（ｃ）、図３及び図４に示す構造に対して実行することができる。説明したユニット及び要素は、設計、機能、構成、又は実施形態を変えることができ、提供される説明に限定されない。

【0083】

幾つかの例示的な実施形態では、情報又は実行命令がＡＰＩユニット６６０により受信されると、情報又は実行命令を１つ以上の他のユニット（例えば、論理ユニット６５５、入力ユニット６６５、ＲＯＩ決定部６７５、ＲＯＩ対ライトマッピング部６８０、及び３６０度カメラ／ストリーミング部６８５）に伝達することができる。例えば、上に説明したように、ＲＯＩ決定部６７５は入力を、３６０度カメラから受信されるストリームから特定することができ、関心領域だけでなくピッチ、ヨー、及び視野情報を決定することができる。ＲＯＩ対ライトマッピング部６８０は、照合をＲＯＩ情報と３６０度カメラに関連する照明システムとの間で行なってコマンド信号を供給して、ライトがＲＯＩ情報に基づいて点灯するようにすることができる。また、３６０度カメラ／ストリーミング部６８５は、ストリームをリモートユーザに供給することができる。

【0084】

場合によっては、上に説明した幾つかの例示的な実施形態では、論理ユニット６５５は、ユニット群の間の情報フローを制御し、ＡＰＩユニット６６０、入力ユニット６６５、ＲＯＩ決定部６７５、ＲＯＩ対ライトマッピング部６８０、及び３６０度カメラ／ストリーミング部６８５により供給されるサービスを指示するように構成することができる。例えば、１つ以上のプロセス又は実施形態のフローは、論理ユニット６５５単独で、又はＡＰＩユニット６６０と連動して制御することができる。

【0085】

図７は、幾つかの例示的な実施形態に適する例示的な環境を示している。環境７００は、デバイス７０５～７４５を含み、各デバイスは、少なくとも１つの他のデバイスに、例えばネットワーク７６０を介して（例えば、有線及び／又は無線接続により）通信可能に接続される。幾つかのデバイスは、１つ以上のストレージデバイス７３０及び７４５に通信可能に接続することができる。

【0086】

１つ以上のデバイス７０５～７４５の例は、それぞれ図６に説明されるコンピューティングデバイス６０５とすることができる。デバイス７０５～７４５は、これらには限定されないが、上記に説明したモニタ及び関連するウェブカメラを有するコンピュータ７０５（例えば、ラップトップコンピューティングデバイス）、モバイルデバイス７１０（例えば、スマートフォン又はタブレット）、テレビ７１５、車両７２０に関連するデバイス、サーバコンピュータ７２５、コンピューティングデバイス７３５～７４０、ストレージデバイス７３０及び７４５を含むことができる。

【0087】

デバイスは、これに限定されないが、ユーザがＡＲ環境、ＶＲ環境、複合現実環境、又は他の環境でインタラクションを行なうことを可能にするこの技術分野で周知のＡＲ周辺機器に通信可能に接続することができる。さらに、デバイスは、当業者が理解しているように、メディアオブジェクトキャプチャハードウェア（ｍｅｄｉａ ｏｂｊｅｃｔ ｃａｐｔｕｒｅ ｈａｒｄｗａｒｅ）を含むことができる。

【0088】

幾つかの実施形態では、デバイス７０５～７２０は、企業のユーザに関連するユーザデバイスであると考えることができる。デバイス７２５～７４５は、サービスプロバイダに関連するデバイス（例えば、外部ホストにより使用されて上に説明した様々な図面に関するサービスを供給する、及び／又はウェブページ、テキスト、テキスト部分、画像、画像部分、音声、音声セグメント、動画、動画セグメント、及び／又はこれらの要素に関する情報のようなデータを格納する）とすることができる。

【0089】

前述の例示的な実施形態は、従来技術よりも優れた様々な恩恵及び利点をもたらすことができる。例えば、これに限定されないが、従来技術による３６０度カメラは、機能的ライトを提供することができるが、従来技術によるアプローチは、ローカルユーザに、ローカルユーザが人物であるか、又はエージェントであるかどうかに関係なく、リモートユーザの方向又は数のいずれの指標値も供給することがない。したがって、例示的な本実施形態は、ユーザに、リモートユーザの方向、数、又はアイデンティティのこのようなビジュアル指標を与える。さらに、ビジュアル指標は、ＬＥＤレインの代わりに、アイコンなどとすることができることに留意されたい。

【0090】

同様に、ローカルミーティングの参加者には、強化されたプライバシー保護の機会を与えることができるだけでなく、ローカル参加者とリモート参加者との間の注視及び気付きを与えて、改善された連携を実現することができる。例えば、プライバシーは、システムが人工のリモートユーザと人間のリモートユーザとを、例えばフラグ又は他の手段により見分けるので、強化される可能性がある。

【0091】

別の例示的な実施形態によれば、デスクトップバージョンを提供して、彼又は彼女のデスクトップに居るユーザが３６０度カメラを用いて、上記の方法で別のユーザ、又は複数の他のユーザと通信することができるようにする。

【0092】

更に別の例示的な実施形態によれば、前述の機能は、拡張現実システムであるとされてきた仮想現実に取り込まれてもよい。例えば、３６０度カメラをビューするためにリモートユーザにより使用されるデバイスは、ＶＲ／ＡＲビューアとすることができ、リモートユーザは、部屋の天井にあるような３６０度カメラのロケーションの視点から、ミーティングに居るような体験をすることができる。また、前述のシステムは、ＶＲ、ＡＲビューアの状況、又は他の状況にあるかどうかに関係なく、生のストリーミング双方向通信に使用することができることに留意されたい。

【0093】

幾つかの例示的な実施形態を示して説明してきたが、これらの例示的な実施形態は、本明細書において説明される主題を、この分野に精通している人々に伝えるために提供される。本明細書において説明される主題は、様々な形態で、説明される例示的な実施形態に限定されることなく実現することができることを理解されたい。本明細書において説明される主題は、具体的に定義又は記載されているこれらの事項を用いることなく実施することができる、又は記載されていない他の要素又は異なる要素、若しくは事項と一緒に実施することができる。この分野に精通する当業者であれば、変更をこれらの例示的な実施形態において、添付の特許請求の範囲及び特許請求の範囲の均等物で定義される本明細書において説明される主題から逸脱することなく行なうことができることを理解できるであろう。

【図1(a)】

【図1(b)】

【図1(c)】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】