特許 7555414 ターゲット環境内のビデオデータを表示するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-12

(45)【発行日】2024-09-24

(54)【発明の名称】ターゲット環境内のビデオデータを表示するためのシステムおよび方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240913BHJP

   G06T 7/215 20170101ALI20240913BHJP

   H04N 7/18 20060101ALI20240913BHJP

   G09G 5/00 20060101ALI20240913BHJP

【ＦＩ】

H04N23/60 500

G06T7/215

H04N7/18 U

G09G5/00 510B

G09G5/00 550H

G09G5/00 550C

【請求項の数】 19

(21)【出願番号】P 2022537577

(86)(22)【出願日】2020-10-27

(65)【公表番号】

(43)【公表日】2023-02-20

(86)【国際出願番号】 IB2020060059

(87)【国際公開番号】W WO2021123945

(87)【国際公開日】2021-06-24

【審査請求日】2022-06-17

(31)【優先権主張番号】16/722,073

(32)【優先日】2019-12-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518072210

【氏名又は名称】エバーシーン リミテッド

【氏名又は名称原語表記】Ｅｖｅｒｓｅｅｎ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】４ｔｈ Ｆｌｏｏｒ， Ｔｈｅ Ａｔｒｉｕｍ， Ｂｌａｃｋｐｏｏｌ Ｒｅｔａｉｌ Ｐａｒｋ， Ｂｌａｃｋｐｏｏｌ， Ｃｏｒｋ， Ｉｒｅｌａｎｄ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ジョー アレン

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１７－１６３４３１（ＪＰ，Ａ）

【文献】国際公開第２０１６／１０３５６０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００９／０１１５９１５（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１６３９２８（ＷＯ，Ａ１）

【文献】特開２００９－００８９６６（ＪＰ，Ａ）

【文献】特表２０１９－５１０３１２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０４５３７６１６（ＣＮ，Ａ）

【文献】国際公開第２０１９／０６４６０８（ＷＯ，Ａ１）

【文献】特開２０１７－０９０９０１（ＪＰ，Ａ）

【文献】特開２０１４－０６３０１５（ＪＰ，Ａ）

【文献】特開２００３－０６６５３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／２１５

Ｈ０４Ｎ ７／１８

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

ターゲット環境内の１つまたは複数のエンティティの位置およびアクティビティに基づいて、表示面上に情報を表示するためのシステムであって、前記システムは、
前記ターゲット環境の円形画像フレームを生成するために、前記ターゲット環境に関する画像およびビデオデータをフィッシュアイビューを使ってキャプチャするように構成された画像キャプチャデバイスと、
前記画像キャプチャデバイスと通信する処理ユニットであって、前記処理ユニットは、
前記画像キャプチャデバイスにより、前記ターゲット環境の前記フィッシュアイビューを表す円形画像フレームを受信すること、
前記円形画像フレームから、前記ターゲット環境の平滑化された構成を有する画像フレームを生成すること、および
前記画像フレームの前記平滑化された構成上にグリッドビュー画像を生成することを行うように構成され、前記生成されたグリッドビュー画像は、前記平滑化された構成を有する前記画像フレーム上の前記ターゲット環境のライブグリッド参照を含み、前記ライブグリッド参照は、前記ターゲット環境内の前記1つまたは複数のエンティティの位置およびアクティビティに関する情報を決定するために前記処理ユニットによって使用される、処理ユニットと、
前記処理ユニットおよび前記画像キャプチャデバイスと通信するビデオ出力ユニットと
を備え、前記処理ユニットは、前記ビデオ出力ユニットを３６０°回転させて、
前記ビデオ出力ユニットが、前記ライブグリッド参照から決定された前記情報に基づいて、出力を前記表示面に表示し、
前記画像キャプチャデバイスが、前記表示面上に表示される前記情報をキャプチャしてフィードバックデータを生成し、前記フィードバックデータを前記処理ユニットへ提供し、前記フィードバックデータに基づいて、前記ビデオ出力ユニットによって前記表示面に表示される前記情報の焦点、方向、およびコンテンツをリアルタイムで制御することを可能にする
ように構成する、システム。

【請求項2】

前記ターゲット環境のオーディオデータを記録し、前記記録されたオーディオデータを前記処理ユニットへ送信するように構成されたオーディオ記録デバイスをさらに備え、前記オーディオ記録デバイスは、前記情報のオーディオデータをフィードバックデータとして記録し、前記処理ユニットが、前記オーディオ記録デバイスの前記フィードバックデータに基づいて、前記ビデオ出力ユニットによって前記表示面に表示される前記情報の焦点、方向、およびコンテンツをリアルタイムで制御することを可能にするために、前記フィードバックデータを前記処理ユニットに提供するように構成される請求項１に記載のシステム。

【請求項3】

前記処理ユニットは、前記ターゲット環境内の１つまたは複数の予め定義されたロケーションへ視覚情報を案内するように構成される人工知能（ＡＩ）プラットフォームを含む請求項１に記載のシステム。

【請求項4】

前記処理ユニットは、ビデオ／画像データを処理するためのグラフィック処理ユニット（ＧＰＵ）を含む請求項１に記載のシステム。

【請求項5】

前記情報は、警報、通知、宣伝、命令、および訓練ビデオのうちの少なくとも１つを含む、予め定義されたビデオおよびオーディオデータを含む請求項１に記載のシステム。

【請求項6】

前記ビデオ出力ユニットは、プロジェクターを含み、前記表示面は、投影画像を表示するための白色の投影画面、灰色の投影画面、および白色の壁のうちの少なくとも１つを含む請求項１に記載のシステム。

【請求項7】

前記処理ユニットは、前記グリッドビュー画像に基づいて、前記情報を生成し、表示するように構成される請求項１に記載のシステム。

【請求項8】

前記ターゲット環境内の１つまたは複数の変化としてイベントを検出するように構成されたセンサユニットをさらに備え、前記センサユニットは、レーダ、Ｘ線デバイス、および自然災害の発生を検出するセンサのうちの少なくとも１つを含む請求項１に記載のシステム。

【請求項9】

ターゲット環境内の１つまたは複数のエンティティの位置およびアクティビティに基づいて、表示面上に情報を表示するための方法であって、前記方法は、
前記ターゲット環境の円形画像フレームを生成するために、画像キャプチャデバイスのフィッシュアイビューを使用して前記ターゲット環境から画像およびビデオデータをキャプチャすることと、
処理ユニットを使用して、前記円形画像フレームから前記ターゲット環境の平滑化された構成を有する画像フレームを生成することと、
前記処理ユニットによって、前記画像フレームの前記平滑化された構成上のグリッドビュー画像を生成することであって、前記生成されたグリッドビュー画像は、前記平滑化された構成を有する前記画像フレーム上の前記ターゲット環境のライブグリッド参照を含むことと、
前記処理ユニットにより、前記ライブグリッド参照を使用して、前記ターゲット環境内の前記1つまたは複数のエンティティの前記位置および前記アクティビティに関する情報を決定することと、
前記処理ユニットにより、ビデオ出力ユニットを３６０°回転することと、
前記表示面上の前記ライブグリッド参照から決定された前記情報に基づく出力を、前記処理ユニットによって生成し、および前記ビデオ出力ユニットによって前記表示面に表示することと、
フィードバックデータを生成する画像キャプチャデバイスを使って前記表示面上に表示される前記情報をキャプチャすること、および、
前記フィードバックデータを前記処理ユニットに提供して、前記処理ユニットが、前記フィードバックデータに基づいて、前記ビデオ出力ユニットによって前記表示面に表示される前記情報の焦点、方向、およびコンテンツをリアルタイムで制御できるようにすることと
を含む方法。

【請求項10】

前記ターゲット環境のオーディオデータを記録し、前記記録されたオーディオデータをオーディオ記録デバイスを使って送信することと、
前記情報のオーディオデータをフィードバックデータとして記録し、前記オーディオ記録デバイスのフィードバッデータに基づいて、前記ビデオ出力ユニットによって前記表示面に表示される前記情報の焦点、方向およびコンテンツを前記処理ユニットがリアルタイムで制御することを可能にするために、前記オーディオ記録デバイスによって前記フィードバックデータを前記処理ユニットに提供することと
をさらに含む請求項９に記載の方法。

【請求項11】

ＡＩプラットフォームを使用して、前記ターゲット環境内の１つまたは複数の予め定義されたロケーションへ視覚情報を案内することをさらに含む請求項９に記載の方法。

【請求項12】

グラフィック処理ユニット（ＧＰＵ）を使用して、ビデオ／画像データを処理することをさらに含む請求項９に記載の方法。

【請求項13】

前記情報は、警報、通知、宣伝、命令、および訓練ビデオのうちの少なくとも１つを含む、予め定義されたビデオおよびオーディオデータを含む請求項９に記載の方法。

【請求項14】

前記ビデオ出力ユニットは、プロジェクターを含み、前記表示面は、投影画像を表示するための白色の投影画面、灰色の投影画面、および白色の壁のうちの少なくとも１つを含む請求項９に記載の方法。

【請求項15】

前記処理ユニットによって前記情報を生成し、前記グリッドビュー画像に基づいて、前記ビデオ出力ユニットによって前記表示面上に表示することをさらに含む請求項９に記載の方法。

【請求項16】

レーダ、Ｘ線デバイス、および自然災害の発生を検出するセンサから成る群から選択されるセンサを使用して、前記ターゲット環境内の１つまたは複数の変化としてイベントを検出することをさらに含む請求項９に記載の方法。

【請求項17】

前記ビデオ出力ユニットは、
光源と、
レンズと、
水平方向および垂直方向に移動されて、前記表示面の１つまたは複数の位置上に予め定義された画像を投影するように構成された電動ミラーであって、前記電動ミラーの移動は、前記処理ユニットによって動作させられる１つまたは複数の電気的に制御されるレバーによって制御される、電動ミラーと、
前記光源からの光を、前記電動ミラーの方へ案内するように構成された電動焦点システムと
を含む請求項１に記載のシステム。

【請求項18】

前記ビデオ出力ユニットは、
光源と、
レンズと、
水平方向および垂直方向に移動されて、前記表示面の１つまたは複数の位置上に予め定義された画像を投影するように構成された電動ミラーであって、前記電動ミラーの移動は、１つまたは複数の電気的に制御されるレバーによって制御される、電動ミラーと、
前記光源からの光を、前記電動ミラーの方へ案内するように構成された電動焦点システムと
を含む請求項９に記載の方法。

【請求項19】

ターゲット環境内の１つまたは複数のエンティティの位置及びアクティビティに基づいて、表示面上に情報を表示するためのコンピュータプログラムであって、前記コンピュータプログラムは、命令のセットを備え、前記命令のセットは、プロセッサによって実行された場合、前記プロセッサに、
前記ターゲット環境の円形画像フレームを生成するために、フィッシュアイビューを使用して前記ターゲット環境に関連する画像およびビデオデータをキャプチャすること；
画像キャプチャデバイスにより、前記ターゲット環境の前記フィッシュアイビューを表す前記円形画像フレームを受信することと、
前記円形画像フレームから、前記ターゲット環境の平滑化された構成を有する画像フレームを生成することと、
前記画像フレームの前記平滑化された構成上にグリッドビュー画像を生成することであって、前記生成されたグリッドビュー画像は、前記平滑化された構成を有する前記画像フレーム上のターゲット環境のライブグリッド参照を含み、前記ライブグリッド参照は、前記ターゲット環境内の前記1つまたは複数のエンティティの位置およびアクティビティに関する前記情報を決定するために前記プロセッサによって使用されることと、
前記ライブグリッド参照から決定された前記情報に基づく出力を前記表示面に表示することと、
前記表示面上に表示される前記情報をキャプチャしてフィードバックデータを生成し、前記フィードバックデータに基づいて、前表示面上に表示される前記情報の焦点、方向、およびコンテンツをリアルタイムで制御することと
を行わせる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、ターゲット環境内のビデオデータを表示するためのシステムおよび方法に関し、より詳細には、リアルタイムのインタラクティブな視覚的プロンプトおよびオーディオプロンプトを使用して、閉ループ人工知能（ＡＩ）ドリブンプロセスに基づいて、ビデオデータを表示することに関する。

【背景技術】

【0002】

企業は、典型的には、公共の場所、例えば、ショッピングセンター、電車の駅／バス停等において表示画面上で宣伝することによって、新しく売り出される製品を宣伝することに多額の金銭を費やす。企業の利益および投資収益率を最大化するために、企業は、最大数の顧客が新製品を購入することを望む。しかしながら、宣伝用に使用される既存の表示画面は、予めプログラムされたデータしか表示しない。特に、既存の表示画面は、ターゲットとされている顧客に基づいて宣伝を表示しない。

【0003】

さらに、セルフチェックアウト（ＳＣＯ：Ｓｅｌｆ Ｃｈｅｃｋ－Ｏｕｔ）店舗において、レジ係は、顧客に対する請求を取り扱うために請求カウンタに物理的に存在しない。これは盗難率の増加をもたらした。したがって、ＳＣＯ店舗においては、システムが、盗難の観察に基づいてオーディオ／ビデオ警報を提供する必要がある。同様に、顧客がＳＣＯシステムを適切に使用することができない場合、顧客が対応および支援を必要としている可能性があることをシステムが店舗の管理者に知らせる必要がある。

【0004】

さらに、自然災害（例えば、地震、火災、津波等）の場合には、公共の場所にいる人々に災害について知らせ、より安全な場所への案内を人々に提供するために、警報が必要となり得る。緊急事態、例えば、陸軍／海軍基地に対する攻撃または公共の場所におけるテロリスト攻撃などにおいて、現行の安全手順は、攻撃者の位置を特定すること、またはさもなければ当局者が攻撃者を捕らえるのに役立つビデオ／オーディオ命令を提供することを支援しない。

【0005】

さらに、学生を指導／訓練するための現行のシステムは、学生の環境を観察し、それに応じて指導／訓練を適合させるものではない。例えば、現行の訓練システムは、医学生または獣医学生を訓練するための予め確立された手順を実行し、これらの学生の環境を考慮に入れない。

【0006】

したがって、上記に鑑みて、１人または複数のターゲットユーザの環境を考慮に入れ、それに応じて、自動化されたオーディオ／ビデオ出力を提供するシステムに対する必要性が存在する。

【発明の概要】

【0007】

本開示の一態様において、ターゲット環境内の１つまたは複数のアクティビティに基づいて、表示面上に出力情報を自動的に表示するためのシステムが提供される。本システムは、１つまたは複数のアクティビティを認識するために、ターゲット環境の画像およびビデオデータをリアルタイムでキャプチャするように構成された画像キャプチャデバイスを含む。本システムは、画像およびビデオデータを処理して、出力情報を表示するためのロケーションを決定し、出力情報のコンテンツを決定するように構成された処理ユニットを含み得る。本システムは、表示面上に出力情報を表示するように構成されたビデオ出力ユニットであって、ビデオ出力ユニットは、３６０°回転するように構成され、ビデオ出力ユニットの回転角度は、処理ユニットによって制御される、ビデオ出力ユニットをさらに含み得る。画像キャプチャデバイスは、表示面上に表示される出力情報をリアルタイムでキャプチャし、フィードバックデータを処理ユニットにリアルタイムで提供して、処理ユニットが、焦点、方向、およびビデオ出力ユニット上に表示される出力情報を制御することを可能にするようにさらに構成される。

【0008】

本開示の別の態様において、ターゲット環境内の１つまたは複数のアクティビティに基づいて、表示面上に出力情報を自動的に表示するための方法が提供される。本方法は、１つまたは複数のアクティビティを認識するために、ターゲット環境の画像およびビデオデータをリアルタイムでキャプチャすることを含む。本方法は、画像およびビデオデータを処理して、出力情報を表示するためのロケーションを決定し、出力情報のコンテンツを決定することをさらに含み得る。本方法は、ビデオ出力ユニットによって、表示面上に出力情報を表示することであって、ビデオ出力ユニットは、３６０°回転するように構成される、ことをさらに含み得る。本方法は、キャプチャされた画像およびビデオデータに基づいて、ビデオ出力ユニットの回転角度を制御することをさらに含み得る。本方法は、表示面上に表示される出力情報をリアルタイムでキャプチャすることと、フィードバックデータを生成して、焦点、方向、およびビデオ出力ユニット上に表示される出力情報を制御することとをさらに含み得る。

【0009】

本開示のまた別の態様において、ターゲット環境内の１つまたは複数のアクティビティに基づいて、表示面上に出力情報を自動的に表示するためのコンピュータプログラム可能な製品が提供される。コンピュータプログラム可能な製品は、命令のセットを備え、命令のセットは、プロセッサによって実行された場合、プロセッサに、１つまたは複数のアクティビティを認識するために、ターゲット環境の画像およびビデオデータをリアルタイムでキャプチャすることと、画像およびビデオデータを処理して、出力情報を表示するためのロケーションを決定し、出力情報のコンテンツを決定することと、処理されたデータに基づいて、出力情報を生成することと、ビデオ出力ユニットによって、表示面上に出力情報を表示することとを行わせる。ビデオ出力ユニットは、３６０°回転するように構成され、ビデオ出力ユニットの回転角度は、キャプチャされた画像およびビデオデータに基づいて制御される。さらに、表示面上にリアルタイムで表示される出力情報がキャプチャされ、フィードバックデータが生成されて、焦点、方向、およびビデオ出力ユニット上に表示される出力情報が制御される。

【0010】

本開示の様々な実施形態は、人間の挙動をキャプチャし、人間とインタラクションおよび通信して、観察されているプロセスおよび環境にとって適当な手法で人間に指示または通知するシステムを提供する。本システムは、視覚センサ入力、オーディオセンサ入力および他のセンサ入力を取り込み、視覚的出力およびオーディオ出力を作成して、バックグラウンドで動作するソフトウェアインテリジェンスによって管理される閉ループインタラクションを形成することができる。本システムは、標準および規定されたプロセスに対する最適な性能の自動保証を可能にする、インテリジェントなインストラクター／コーチ／管理者としてさらに動作し得る。本システムは、入力用のカメラと、出力部用であり、ＡＩソフトウェアによって制御されるプロジェクターとを使用して、ユーザとの双方向通信を有する機会を作成する。

【0011】

本システムは、ユーザが指導され、または訓練される必要があるシナリオにおいて有用である。カメラは、環境的なプロセスを観察し、プロジェクターを使用して、ユーザに所望の結果に応じて動作し、訓練の記録を残すように案内し得る。別の例は、医学生または獣医学生が特定の手順を実行するように訓練することであろう。閉ループフィードバックは、ＡＩソフトウェアがリアルタイム制御され、プロセスおよびアクティビティが発生した際に、それらを変更または修正することができることを保証する。最適なプロセスまたは挙動の結果を指導し、制御し、およびまたは確実にするために、リアルタイムのインタラクティブな視覚的プロンプト／ナッジ（ｎｕｄｇｅｓ）およびオーディオプロンプト／ナッジを使用する閉ループＡＩドリブンプロセス制御。

【0012】

本開示の特徴は、添付の特許請求の範囲によって定義されるような本開示の範囲から逸脱することなく、様々な組合せにおいて組み合わされることを許容することが認識されるであろう。

【図面の簡単な説明】

【0013】

上記の概要、および例示的な実施形態の以下の詳細な説明は、添付の図面と共に読まれる場合に、より良く理解される。本開示を例示する目的のために、本開示の例示的な構造が、図面に示される。しかしながら、本開示は、本明細書において開示される特定の方法および手段に限定されない。さらに、当業者は、図面が縮尺通りではないことを理解するであろう。可能な限り、同様の要素は、同一の番号によって示されている。

【0014】

【図1】本開示の一実施形態による、ターゲット環境内のアクティビティに基づいて、ビデオデータを表示するための例示的なシステムの図である。

【図2】本開示の一実施形態による、画像キャプチャデバイスによってキャプチャされた画像フレームを処理するための例示的な動作の図である。

【図3A】本開示の一実施形態による、処理ユニットによって生成される予め定義された画像／ビデオデータを表示面上に投影するための例示的なビデオの出力ユニットの図である。

【図3B】本開示の一実施形態による、ミラー平面内の垂直軸および水平軸を中心に電動ミラーを回転させるための例示的な機構の図である。

【図3C】本開示の一実施形態による、２つの電気的に制御されるレバーを含む例示的なモータを例示する図である。

【図4】ターゲット環境内の１つまたは複数のアクティビティに基づいて、表示面上にビデオデータを自動的に表示するための方法を例示する例示的なフローチャートである。

【0015】

添付の図面において、下線が引かれた数字は、下線が引かれた数字が配置されるアイテム、または下線が引かれた数字が隣接するアイテムを表すために採用される。下線が引かれていない数字は、下線が引かれていない数字をアイテムに結びつける線によって識別されるアイテムに関連する。数字に下線が引かれておらず、関連付けられた矢印を伴う場合、その下線が引かれていない数字は、矢印が指す一般的なアイテムを識別するために使用される。

【発明を実施するための形態】

【0016】

以下の詳細な説明は、本開示の実施形態およびそれらが実装され得る手法を例示する。本開示を実施する最良の形態が開示されているが、当業者は、本開示を実施または実践するための他の実施形態も可能であることを認識するであろう。

【0017】

図１は、本開示の一実施形態による、ターゲット環境１０１内のアクティビティに基づいて、ビデオデータを表示するための例示的なシステム１００の図である。本開示の一実施形態において、ターゲット環境１０１は、セルフチェックアウト店舗（ＳＣＯ）に関係し得、図示されていないが、エンティティ、例えば、製品、コンベヤ、産業用ロボットなどと、アクティビティ、例えば、オペレータが、現場に入り、または現場を出ること、アイテムを選び、投下し、移動させ、重み付けし、またはスキャンすること、タッチスクリーンディスプレイを操作すること、およびキャッシュ、モバイル電子商取引またはクレジットカードを通じて支払うことなどを含み得る。しかしながら、ターゲット環境１０１が一般工業地域、軍事／海軍基地、訓練ホール、セキュリティ検査エリア、ショッピングセンター、およびレストランに関係してもよいことは、当業者には明らかであろう。上記に特定されたターゲット環境１０１に加えて、システム１００は、リテールオートメーション、顧客アップセリング、従業員指導、従業員訓練、ロジスティクスオートメーション（品物の輸入／輸出）、ＥＧ外科訓練などの医学的指示、視覚的なキューを用いた外科専門家訓練、火災、地震、および銃撃の場合における緊急命令において有用となり得る。

【0018】

システム１００は、通信ネットワークを通じて互いに通信可能に結合された、処理ユニット１０２、画像キャプチャデバイス１０４、オーディオ記録デバイス１０６、センサユニット１０８、およびビデオ出力ユニット１１０を含む。通信ネットワークは、本開示の範囲を限定することなく、任意の適切な有線ネットワーク、無線ネットワーク、これらの組合せまたは任意の他の従来のネットワークとしてもよい。いくつかの例は、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ接続、インターネット接続、二地点間接続、または他のネットワーク接続およびこれらの組合せを含んでもよい。一例において、ネットワークは、モバイル通信ネットワーク、例えば、２Ｇ、３Ｇ、４Ｇ、または５Ｇのモバイル通信ネットワークを含んでもよい。通信ネットワークは、１つまたは複数の他のネットワークに結合され、それによって、より多数のデバイス間の結合を提供し得る。そのようなことは、例えば、ネットワークがインターネットを通じて共に結合される場合にあり得る。

【0019】

画像キャプチャデバイス１０４は、画像フレーム内の人間、動物、およびモノなどの様々なエンティティのアクションを認識するために、ターゲット環境１０１の１つまたは複数の画像およびビデオをリアルタイムでキャプチャし、キャプチャされたデータを処理ユニット１０２へ送信するように構成される。画像キャプチャデバイス１０４の例は、３６０°カメラ、閉回路テレビジョン（ＣＣＴＶ：Ｃｌｏｓｅｄ－Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）カメラ、高解像度（ＨＤ）カメラ、非ＨＤカメラ、携帯型カメラ、交通カメラ、警察車両カメラ、および無人航空機（ＵＡＶ：ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ）上のカメラを含むが、これらに限定されない。

【0020】

オーディオ記録デバイス１０６は、ターゲット環境１０１からのオーディオデータを記録し、記録されたオーディオデータを処理ユニット１０２へ送信するように構成される。オーディオ記録デバイス１０６の例は、ダイナミックマイクロフォン、コンデンサーマイクロフォン、圧電マイクロフォンまたはリボンマイクロフォンを含むが、これらに限定されない。

【0021】

センサユニット１０８は、ターゲット環境１０１内のイベントまたは変化を検出し、検出された情報を処理ユニット１０２へ送信するように構成される。本開示の１つの実施形態において、ターゲット環境１０１は、陸軍基地／海軍基地であり、センサユニット１０８は、基地に対する攻撃を検出するために基地に設置された１つまたは複数のレーダを含み得る。別の実施形態において、ターゲット環境１０１は、１つまたは複数の住宅／商業ビルであり、センサユニット１０８は、ビルにおける、またはビルの近くの自然災害の発生を検出し、検出された情報を処理ユニット１０２へ送信するためにビルに設置されたセンサを含んでもよい。また別の実施形態において、ターゲット環境１０１は、空港、ショッピング（もしくは他の）モール、または他の同様のロケーションのセキュリティチェックポイントエリアであり、センサユニット１０８は、その箇所における人々の手荷物、バッグ、衣類または他の態様における疑わしいアイテムの存在を検出し、検出された情報を処理ユニット１０２へ送信するために設置されるＸ線デバイスを含んでもよい。

【0022】

処理ユニット１０２は、画像キャプチャデバイス１０４、オーディオ記録デバイス１０６、センサユニット１０８、およびビデオ出力ユニット１１０の動作を制御する中央制御ユニットである。処理ユニット１０２は、画像キャプチャデバイス１０４、オーディオ記録デバイス１０６、およびセンサユニット１０８から受け取られる入力データを処理し、処理されたデータに基づいて出力情報を生成し、ビデオ出力ユニット１１０を通じて表示面１１２上に出力情報を表示するように構成される。本開示の一実施形態において、出力情報は、ターゲット環境１０１についての警報、通知、宣伝、命令、および訓練ビデオを含むが、これらに限定されない、予め定義されたビデオ出力およびオーディオ出力を含み得る。本開示の一実施形態において、ビデオ出力ユニット１１０は、プロジェクターを含んでもよく、表示面１１２は、プロジェクターからの投影画像を表示するための白色の投影画面、灰色の投影画面、または白色の壁を含み得る。本開示の一実施形態において、処理ユニット１０２は、ビデオ出力ユニット１１０の焦点および方向を制御し、ビデオ出力ユニット１１０によって表示されるコンテンツも制御するように構成される。本開示の別の実施形態において、ビデオ出力ユニット１１０は、非投影ディスプレイ、例えば、発光ダイオード（ＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、および有機発光ダイオード（ＯＬＥＤ）などを含んでも良い。

【0023】

本開示の一実施形態において、画像キャプチャデバイス１０４は、表示面１１２に表示される画像／ビデオデータをキャプチャし、オーディオ記録デバイス１０６は、表示面１１２上に再生されているオーディオデータを記録する。処理ユニット１０２は、フィードバックデータを使用して、表示面１１２上に表示される出力情報の品質を改善して、ユーザフィードバックを強化する。

【0024】

本開示の一実施形態において、処理ユニット１０２は、ターゲット環境１０１内の正確なロケーションへ視覚情報を案内するための能力を有する人工知能（ＡＩ）プラットフォームを含む。処理ユニット１０２は、ローカルコンピューティングデバイスにおいて、またはリモート処理サーバにおいて局所的に実装され得る。本開示の文脈において、処理ユニット１０２は、ＡＩベースのプロセッサ、ビデオ／画像データを処理するためのグラフィック処理ユニット（ＧＰＵ）、１つまたは複数の命令を記憶するためのメモリを含み得る。本開示の全体にわたって、「ＡＩベースのプロセッサ」という用語は、対応するメモリ内に記憶された命令に応答し、命令を処理するように動作可能な計算要素に関連する。任意選択で、ＡＩベースのプロセッサは、マイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ）マイクロプロセッサ、縮小命令セット（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ）マイクロプロセッサ、超長命令語（ＶＬＩＭ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）マイクロプロセッサ、または任意の他のタイプの処理回路を含むが、これらに限定されない。処理ユニット１０２は、対応するＡＩソフトウェアによって作成される動的な出力を用いてプログラムおよび拡張される、予め定義された出力の初期セットを含み得る。

【0025】

図２は、本開示の一実施形態による、（図１に示されるような）画像キャプチャデバイス１０４によってキャプチャされた画像フレーム２０２を処理するための例示的な動作の図である。画像フレーム２０２は、画像キャプチャデバイス１０４の３６０°レンズによってキャプチャされた、円形の形状である。（図１に示されるような）処理ユニット１０２は、画像フレーム２０２を受け取り、画像フレーム２０２の平滑化された表現を作成して、平滑化された画像２０４を生成する。本開示の一実施形態において、（図１に示されるような）処理ユニット１０２は、平滑化された画像２０４を作成する間にフィッシュアイ歪みを補償し、平滑化された画像２０４のグリッドビュー画像２０６を生成する。

【0026】

グリッドビュー画像２０６は、（図１に示されるような）ターゲット環境１０１のライブグリッド参照を含む。１つの実装において、グリッド特性（すなわち、行の数字および列の数字）は、ユーザによって設定可能である。別の実装において、グリッド特性は、動的に可変である。この場合において、グリッド特性は、画像キャプチャデバイス１０４の視界において検出された動きを分析し、シーン内の各個別の要素の位置がグリッド参照を使用して区別され得ることを確実にする処理ユニット１０２によって決定される。次いで、グリッド参照は、ターゲット環境１０１内で発生しているアクティビティと、そのアクティビティのロケーションとについて、処理ユニット１０２に通知するために使用される。

【0027】

一例において、ターゲット環境１０１がショッピングセンターである場合、画像２０４は、人々で通常混雑しているロケーションを示してもよい。処理ユニット１０２は、この情報を使用して、対応するロケーションにおいて予め定義されたビデオ宣伝を表示して、最大数の人々の注意を宣伝に向け得る。別の例において、ターゲット環境１０１が、空港、ショッピング（もしくは他の）モール、または別の同様のロケーションのセキュリティ検査エリアである場合、画像２０４は、１つまたは複数の禁止されている疑いのある品物またはアイテムの存在を明らかにするＸ線画像に関係し得る。処理ユニット１０２は、この情報を使用して、関連するセキュリティ管理者に対してオーディオ／ビデオ警報を生成し得る。ビデオ／画像データの表示面上への投影は、図３Ａを参照して詳細に解説されている。

【0028】

図３Ａは、本開示の一実施形態による、（処理ユニット１０２と同様の）処理ユニット３０１によって生成された予め定義された画像／ビデオデータを（表示面１１２と同様の）表示面３１０上に投影するための（ビデオ出力ユニット１１０と同様の）例示的なビデオ出力ユニット３００の図である。

【0029】

ビデオ出力ユニット３００は、光源３０２、レンズ３０４、電動焦点システム３０６、および電動ミラー３０８を含む。光源３０２の例は、レーザ、ランプまたはＬＥＤ（発光ダイオード）を含み得るが、これらに限定されない。レンズ３０４は、光学およびデジタルズームならびに合焦能力を有するレンズを含み得る。電動焦点システム３０６は、レンズ３０４によって反射される、光源３０２からの光を、電動ミラー３０８の方へ案内するように構成される。電動ミラー３０８は、垂直軸および水平軸の各々において移動されて、予め定義された画像／ビデオを異なる傾き／位置で表示面３１０上に投影するように構成される。本開示の一実施形態において、電動ミラー３０８は、予め定義された画像／ビデオを最大で９０°回転させて、予め定義された画像を表示面３１０上の予め定義されたロケーションにおいて表示するように構成される。電動ミラー３０８を回転させるための機構は、図３Ｂを参照して詳細に解説される。

【0030】

図３Ｂは、ミラー平面内の垂直軸および水平軸を中心に電動ミラー３０８を回転させるための機構３１２を例示する。機構３１２は、シーリングに固定され、電動ミラー３０８に結合されたモータ３１４と、モーションロッド３１７が水平姿勢にとどまることを確実にする物理的フック３１５とを含む。電動ミラー３０８は、シーリングに対して固定して取り付けられている。したがって、電動ミラー３０８に対する法線軸は固定されており、それによって、深さ軸に沿ったその動きを制限する。

【0031】

図３Ｃは、モータ３１４が、水平方向および垂直方向における電動ミラー３０８の回転を制御するように適合された、２つの電気的に制御されるレバー３１６ａおよび３１６ｂを含み得ることを例示する。

【0032】

図３Ｂを再び参照すると、モータ３１４は、（処理ユニット１０２と同様の）処理ユニット３０１によってリアルタイムで制御され、その結果、アクティビティが、対応するセンサユニットによって処理ユニット３１８へ中継される場合、処理ユニット３０１は、関連するビデオ／画像出力を生成し、モータ３１４を制御して、ビデオ／画像出力を表示面３１０上の正確なロケーションへ案内する。本開示の文脈において、電動ミラー３０８は、処理ユニット３１８によって指示されるように３６０°回転するように構成される。

【0033】

図１を再び参照すると、画像キャプチャデバイス１０４は、出力面１１２上に表示されるビデオ／画像データをキャプチャし、ビデオ／画像データをフィードバックデータとして処理ユニット１０２へ提供するように構成される。例えば、投影が十分に鮮明でない場合、処理ユニット１０２は、ビデオ出力ユニット１１０の合焦レンズを調整して、出力画像／ビデオデータの品質を改善し得る。

【0034】

本開示の一実施形態において、過去の経験およびソフトウェア学習に基づいて、処理ユニット１０２は、望ましくないアクティビティを未然に防ぎ、防止するために、そのような望ましくないアクティビティが起きそうな場合を予測するように構成される。また、処理ユニット１０２は、「もしも（Ｗｈａｔ Ｉｆ）」のシナリオ分析において使用されるべきリスクプロフィールを構築し得る。例えば、処理ユニット１０２は、あるプロセスが正確に追跡されていないことを検出し、このことをユーザに対して強調し得る。ただし、処理ユニット１０２は、このシナリオを、潜在的なネガティブなリスクと潜在的なポジティブなリスクとの両方として同時に見ることがある。処理ユニット１０２は、両方のシナリオの予想される結果を予測し得、それが、プロセスの逸脱から予期しない利益が生じることが分かる場合、それは、プロセスを自動的に変化させて、変化を改善されたプロセスに組み込むことができる。これは、システム全体にわたって変化を強制する前に結果を観察するために、スタンドアロンのステーション上で行われることが可能である。処理ユニット１０２は、何らかの予期せぬ理由で元の状態に戻る必要がある場合、過去のプロセスを記憶し得る。

【0035】

図４は、本開示による、ターゲット環境内の１つまたは複数のアクティビティに基づいて、表示面上にビデオデータを自動的に表示するための方法４００を例示する例示的なフローチャートである。本方法は、論理的なフロー図におけるステップの集合として描かれており、論理的なフロー図は、ハードウェア、ソフトウェア、またはこれらの組合せにおいて実装され得るステップのシーケンスを表す。

【0036】

ステップ４０２において、ターゲット環境内で発生する１つまたは複数のアクティビティの認識を可能にするために、ターゲット環境の画像およびビデオデータがリアルタイムでキャプチャされる。画像およびビデオデータは、３６０°カメラ、閉回路テレビジョン（ＣＣＴＶ）カメラ、高解像度（ＨＤ）カメラ、非ＨＤカメラ、携帯型カメラ、交通カメラ、警察車両カメラ、および無人航空機（ＵＡＶ）に搭載されたカメラのうちの少なくとも１つを使用してキャプチャされ得る。

【0037】

ステップ４０４において、画像およびビデオデータが処理され、処理されたデータに基づいて、出力情報が生成される。本開示の一実施形態によれば、ビデオ／画像データは、グラフィック処理ユニット（ＧＰＵ）を使用して処理される。本開示の一実施形態において、出力情報は、警報、通知、宣伝、命令、および訓練ビデオのうちの少なくとも１つを含む、予め定義されたビデオおよびオーディオデータを含む。さらに、本開示の一実施形態によれば、出力情報は、グリッドビュー画像に基づいて生成される。グリッドビュー画像は、円形の入力画像フレームを受け取り、円形の入力画像フレームの平滑化された表現を作成して、平滑化された表現のグリッドビュー画像を生成することによって生成される。さらに、グリッドビュー画像は、円形の入力画像フレーム内の１つまたは複数のエンティティの位置に関する情報を提供する。

【0038】

ステップ４０６において、ビデオ出力ユニットによって、出力情報が表示面上に表示される。本開示の一実施形態において、ビデオ出力ユニットは、３６０°回転するように構成される。本開示の一実施形態において、ビデオ出力ユニットは、プロジェクターを含み、表示面は、投影画像を表示するための白色の投影画面、灰色の投影画面、および白色の壁のうちの少なくとも１つを含む。

【0039】

ステップ４０８において、ビデオ出力ユニットの回転角度が、キャプチャされた画像およびビデオデータに基づいて制御される。本開示の一実施形態において、ビデオ出力ユニットは、光源、レンズ、電動ミラーおよび電動焦点システムを含む。電動ミラーは、水平方向および垂直方向に移動されて、表示面の１つまたは複数の位置上に予め定義された画像を投影するように構成されており、電動ミラーの移動は、回転角度に基づいて、１つまたは複数の電気的に制御されるレバーによって制御される。さらに、電動焦点システムは、レンズによって反射された光源からの光を、電動ミラーの方へ案内するように構成される。

【0040】

ステップ４１０において、キャプチャされた出力情報は、表示面上にリアルタイムで表示され、フィードバックデータが生成されて、ビデオ出力ユニットの焦点および方向が制御され、ビデオ出力ユニット上に表示される出力情報がさらに制御される。一例において、投影が十分に鮮明でない場合、ビデオ出力ユニットの合焦レンズが調整されて、表示される出力情報の品質が改善される。これは、投影画像とカメラ入力との間にフィードバックループを有することによって達成される。ＡＩソフトウェアは、焦点外画像を検出し、訂正信号をレンズへ送って、画像品質を改善し得る。これは、表示面が移動したり、または形状を変化させたりする可能性があるので、進行中のループである。

【0041】

上記において説明された本開示の実施形態に対する変形例は、添付の特許請求の範囲によって定義されるような本開示の範囲から逸脱することなく、可能である。説明し、特許請求するために使用されている「含む」、「備える」、「組み込む」、「から成る」、「有する」、「である」などの表現は、本開示が非排他的な手法で解釈されるように、すなわち、明示的に説明されていないアイテム、構成要素または要素も存在することを許容することを意図されている。単数形への言及は、複数形に関連するようにも解釈されるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】