特開 2020-42759 拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-42759(P2020-42759A)

(43)【公開日】2020年3月19日

(54)【発明の名称】拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20200225BHJP

   G06F 3/01 20060101ALI20200225BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/01 510

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

【全頁数】18

(21)【出願番号】特願2019-40829(P2019-40829)

(22)【出願日】2019年3月6日

(31)【優先権主張番号】201821033541

(32)【優先日】2018年9月6日

(33)【優先権主張国】IN

(71)【出願人】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】スリニディ ヘクデ

(72)【発明者】

【氏名】ラムヤ ヘッバラグッペ

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA08

5B050BA06

5B050BA11

5B050EA13

5B050EA20

5B050FA02

5E555AA26

5E555BA01

5E555BA61

5E555BB01

5E555BC04

5E555BE17

5E555DA01

5E555DB41

5E555DB57

5E555DC23

5E555DD07

5E555EA11

5E555FA00

(57)【要約】

【課題】本開示の実施形態は、シーンのより良好な解釈を助けるラベルを最適に配置することによって、対象物／対象シーンの遮蔽の制限を克服するための拡張現実（ＡＲ）アプリケーションのためのコンテキスト情報を最適に配置するためのシステムおよび方法を提供する。
【解決手段】入力ビデオの各フレームについて計算された顕著性マップを、ラベルの初期オーバーレイ位置に基づく各フレームの現在位置と以前の全体位置との間のユークリッド距離と組み合わせて、ビデオ内のラベル配置の更新されたオーバーレイ位置を計算することによって達成される。オーバーレイの配置は、対象物の周りの視覚的顕著性を最小限に抑え、時間ジッタを最小にする目的関数として定式化され、リアルタイムＡＲアプリケーションにおけるコヒーレンスを促進する。
【選択図】図２

【特許請求の範囲】

【請求項1】

プロセッサ実施方法であって、
（ｉ）複数のフレームと前記複数のフレーム内の対象物とを含む入力ビデオ、および（ｉｉ）前記入力ビデオの中央フレーム上の配置について初期オーバーレイ位置が予め計算されているラベルをリアルタイムで受信すること（２０２）と、
複数の顕著性マップを取得するために、前記複数のフレームの各々について顕著性マップをリアルタイムで計算すること（２０４）と、
複数のユークリッド距離を取得するために、前記複数のフレームの各々について、前記ラベルの前記初期オーバーレイ位置に基づいて現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離をリアルタイムで計算すること（２０６）と、
前記複数の顕著性マップおよび前記複数のユークリッド距離に基づいて、前記入力ビデオ内に配置するための前記ラベルの更新されたオーバーレイ位置をリアルタイムで算出すること（２０８）と、
を含む、プロセッサ実施方法。

【請求項2】

前記ラベルの前記更新されたオーバーレイ位置は、前記複数の顕著性マップと前記複数のユークリッド距離とを組み合わせることによって計算される、請求項１に記載のプロセッサ実施方法。

【請求項3】

前記複数のフレームの各々の前記ユークリッド距離は、前記入力ビデオ内に配置される前記ラベルの位置における時間ジッタをリアルタイムで制御するために計算される、請求項１に記載のプロセッサ実施方法。

【請求項4】

前記対象物の観察が遮られるのを最小限に抑えるために、前記ラベルを前記初期オーバーレイ位置から前記更新されたオーバーレイ位置にシフトすること（２１０）をさらに含む、請求項１に記載のプロセッサ実施方法。

【請求項5】

前記現在のオーバーレイ位置と前記以前のオーバーレイ位置との間の、所定の閾値範囲内にあるユークリッド距離に対応する複数のピクセルが、前記初期オーバーレイ位置から前記更新されたオーバーレイ位置へラベルをシフトするために選択される、請求項１に記載のプロセッサ実施方法。

【請求項6】

命令を記憶するメモリ（１０２）と、
１つまたは複数の通信インターフェース（１０６）と、
前記１つまたは複数の通信インターフェース（１０６）を介して前記メモリ（１０２）に結合されている１つまたは複数のハードウェアプロセッサ（１０４）と
を備えたシステム（１００）であって、
前記１つまたは複数のハードウェアプロセッサ（１０４）は、前記命令によって、
（ｉ）複数のフレームと前記複数のフレーム内の対象物とを含む入力ビデオ、および（ｉｉ）前記入力ビデオの中央フレーム上の配置について初期オーバーレイ位置が予め計算されているラベルをリアルタイムで受信することと、
複数の顕著性マップを取得するために、前記複数のフレームの各々について顕著性マップをリアルタイムで計算することと、
複数のユークリッド距離を取得するために、前記複数のフレームの各々について、前記ラベルの前記初期オーバーレイ位置に基づいて現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離をリアルタイムで計算することと、
前記複数の顕著性マップおよび前記複数のユークリッド距離に基づいて、前記入力ビデオ内に配置するための前記ラベルの更新されたオーバーレイ位置をリアルタイムで算出することと、
を行うように構成されている、システム（１００）。

【請求項7】

前記ラベルの前記更新されたオーバーレイ位置は、前記複数の顕著性マップと前記複数のユークリッド距離とを組み合わせることによって計算される、請求項６に記載のシステム。

【請求項8】

前記複数のフレームの各々の前記ユークリッド距離は、前記入力ビデオ内に配置される前記ラベルの位置における時間ジッタをリアルタイムで制御するために計算される、請求項６に記載のシステム。

【請求項9】

前記１つまたは複数のハードウェアプロセッサは、前記対象物の観察が遮られるのを最小限に抑えるために、前記ラベルを前記初期オーバーレイ位置から前記更新されたオーバーレイ位置にシフトするようにさらに構成されている、請求項６に記載のシステム。

【請求項10】

前記現在のオーバーレイ位置と前記以前のオーバーレイ位置との間の、所定の閾値範囲内にあるユークリッド距離に対応する複数のピクセルが、前記初期オーバーレイ位置から前記更新されたオーバーレイ位置へラベルをシフトするために選択される、請求項６に記載のシステム。

【請求項11】

１つまたは複数のハードウェアプロセッサによって実行されると、
（ｉ）複数のフレームと前記複数のフレーム内の対象物とを含む入力ビデオ、および（ｉｉ）前記入力ビデオの中央フレーム上の配置について初期オーバーレイ位置が予め計算されているラベルをリアルタイムで受信することと、
複数の顕著性マップを取得するために、前記複数のフレームの各々について顕著性マップをリアルタイムで計算することと、
複数のユークリッド距離を取得するために、前記複数のフレームの各々について、前記ラベルの前記初期オーバーレイ位置に基づいて現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離をリアルタイムで計算することと、
前記複数の顕著性マップおよび前記複数のユークリッド距離に基づいて、前記入力ビデオ内に配置するための前記ラベルの更新されたオーバーレイ位置をリアルタイムで算出することと、
をもたらす１つまたは複数の命令を含む、１つまたは複数の非一時的機械可読情報記憶媒体。

【請求項12】

前記ラベルの前記更新されたオーバーレイ位置は、前記複数の顕著性マップと前記複数のユークリッド距離とを組み合わせることによって計算される、請求項１１に記載の１つまたは複数の非一時的機械可読情報記憶媒体。

【請求項13】

前記複数のフレームの各々の前記ユークリッド距離は、前記入力ビデオ内に配置される前記ラベルの位置における時間ジッタをリアルタイムで制御するために計算される、請求項１１に記載の１つまたは複数の非一時的機械可読情報記憶媒体。

【請求項14】

前記命令は、前記１つまたは複数のハードウェアプロセッサによって実行されると、前記対象物の観察が遮られるのを最小限に抑えるために、前記ラベルを前記初期オーバーレイ位置から前記更新されたオーバーレイ位置にシフトすることをさらにもたらす、請求項１１に記載の１つまたは複数の非一時的機械可読情報記憶媒体。

【請求項15】

前記現在のオーバーレイ位置と前記以前のオーバーレイ位置との間の、所定の閾値範囲内にあるユークリッド距離に対応する複数のピクセルが、前記初期オーバーレイ位置から前記更新されたオーバーレイ位置へラベルをシフトするために選択される、請求項１１に記載の１つまたは複数の非一時的機械可読情報記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１８年９月６日にインドにおいて出願された「拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置」と題するインド特許出願第２０１８２１０３３５４１号の完全明細書に対する優先権を主張する。

【0002】

本開示は、概してビデオ分析に関し、より詳細には、拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置のためのシステムおよび方法に関する。

【背景技術】

【0003】

仮想現実（ＶＲ）による拡張現実（ＡＲ）は、パーソナルコンピュータ（ＰＣ）、インターネット、およびモバイルに続く技術の第４の波と考えられる。ＡＲでは、より良好な状況認識を可能にし、人間の認知および知覚を増強させるために仮想情報を重ね合わせることによって現実世界のシーンを拡張する。このコンテキスト情報は、テキスト、３Ｄ物体、ＧＰＳ座標、および音声の形態を取るが、これらに限定されない。そのようなコンテキスト情報の配置は、人工知能における主要な問題であるシーン理解にとって重要な貢献である。ラベルの空間的配置は、ラベルが（ｉ）対象の物体／シーンを遮らず、（ｉｉ）シーンのより良好な解釈のために最適に配置されるという制約のために困難な課題である。テキストラベルを最適に位置決めするための高度な現行水準の技法は、画像上でのみ機能し、デバイス（例えば、スマートフォン、タブレットなどのようなモバイル通信デバイス）上でのリアルタイム実施にとっては非効率的であることが多い。

【発明の概要】

【0004】

本開示の実施形態は、従来のシステムにおいて本発明者らによって認識された１つまたは複数の上述の技術的問題に対する解決策として技術的改善を提示する。例えば、一態様では、拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置のためのプロセッサ実施方法が提供される。この方法は、（ｉ）複数のフレームと複数のフレーム内の対象物とを含む入力ビデオ、および（ｉｉ）入力ビデオの中央フレーム上の配置について初期オーバーレイ位置が予め計算されているラベルをリアルタイムで受信することと、複数の顕著性マップを取得するために、複数のフレームの各々について顕著性マップをリアルタイムで計算することと、複数のユークリッド距離を取得するために、複数のフレームの各々について、ラベルの初期オーバーレイ位置に基づいて現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離をリアルタイムで計算することと、複数の顕著性マップおよび複数のユークリッド距離に基づいて、入力ビデオ内に配置するためのラベルの更新されたオーバーレイ位置をリアルタイムで算出することとを含む。

【0005】

一実施形態では、ラベルの更新されたオーバーレイ位置は、複数の顕著性マップと複数のユークリッド距離とを組み合わせることによって計算することができる。

【0006】

一実施形態では、複数のフレームの各々のユークリッド距離は、入力ビデオ内に配置されるラベルの位置における時間ジッタをリアルタイムで制御するために計算される。一実施形態では、方法は、対象物の観察が遮られるのを最小限に抑えるために、ラベルを初期オーバーレイ位置から更新されたオーバーレイ位置にシフトすることをさらに含むことができる。

【0007】

一実施形態では、所定の閾値範囲内にある、現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離に対応する複数のピクセルが、ラベルを初期オーバーレイ位置から更新されたオーバーレイ位置にシフトするために選択される。

【0008】

例えば、一態様では、拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置のためのシステムが提供される。システムは、命令を記憶するメモリと、１つまたは複数の通信インターフェースと、１つまたは複数の通信インターフェースを介してメモリに結合されている１つまたは複数のハードウェアプロセッサとを備え、１つまたは複数のハードウェアプロセッサは、命令によって、（ｉ）複数のフレームと複数のフレーム内の対象物とを含む入力ビデオ、および（ｉｉ）入力ビデオの中央フレーム上の配置について初期オーバーレイ位置が予め計算されているラベルをリアルタイムで受信することと、複数の顕著性マップを取得するために、複数のフレームの各々について顕著性マップをリアルタイムで計算することと、複数のユークリッド距離を取得するために、複数のフレームの各々について、ラベルの初期オーバーレイ位置に基づいて現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離をリアルタイムで計算することと、複数の顕著性マップおよび複数のユークリッド距離に基づいて、入力ビデオ内に配置するためのラベルの更新されたオーバーレイ位置をリアルタイムで算出することとを行うように構成される。

【0009】

一実施形態では、ラベルの更新されたオーバーレイ位置は、複数の顕著性マップと複数のユークリッド距離とを組み合わせることによって計算される。一実施形態では、複数のフレームの各々のユークリッド距離は、入力ビデオ内に配置されるラベルの位置における時間ジッタをリアルタイムで制御するために計算される。

【0010】

一実施形態では、１つまたは複数のハードウェアプロセッサは、対象物の観察が遮られるのを最小限に抑えるために、ラベルを初期オーバーレイ位置から更新されたオーバーレイ位置にシフトするようにさらに構成される。一実施形態では、所定の閾値範囲内にある、現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離に対応する複数のピクセルが、ラベルを初期オーバーレイ位置から更新されたオーバーレイ位置にシフトするために選択される。

【0011】

さらに別の態様では、１つまたは複数のハードウェアプロセッサによって実行されると、拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置のための方法をもたらす１つまたは複数の命令を含む１つまたは複数の非一時的機械可読情報記憶媒体が提供される。命令は、（ｉ）複数のフレームと複数のフレーム内の対象物とを含む入力ビデオ、および（ｉｉ）入力ビデオの中央フレーム上の配置について初期オーバーレイ位置が予め計算されているラベルをリアルタイムで受信することと、複数の顕著性マップを取得するために、複数のフレームの各々について顕著性マップをリアルタイムで計算することと、複数のユークリッド距離を取得するために、複数のフレームの各々について、ラベルの初期オーバーレイ位置に基づいて現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離をリアルタイムで計算することと、複数の顕著性マップおよび複数のユークリッド距離に基づいて、入力ビデオ内に配置するためのラベルの更新されたオーバーレイ位置をリアルタイムで算出することとをもたらす。

【0012】

一実施形態では、ラベルの更新されたオーバーレイ位置は、複数の顕著性マップと複数のユークリッド距離とを組み合わせることによって計算することができる。

【0013】

一実施形態では、複数のフレームの各々のユークリッド距離は、入力ビデオ内に配置されるラベルの位置における時間ジッタをリアルタイムで制御するために計算される。一実施形態では、命令は、１つまたは複数のハードウェアプロセッサによって実行されると、対象物の観察が遮られるのを最小限に抑えるために、ラベルを初期オーバーレイ位置から更新されたオーバーレイ位置にシフトすることをさらにもたらす。

【0014】

一実施形態では、所定の閾値範囲内にある、現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離に対応する複数のピクセルが、ラベルを初期オーバーレイ位置から更新されたオーバーレイ位置にシフトするために選択される。

【0015】

前述の一般的な説明および以下の詳細な説明は両方とも例示的かつ説明的なものにすぎず、特許請求されるような本発明を限定するものではないことを理解されたい。

【0016】

本開示に組み込まれてその一部を構成する添付の図面は、例示的な実施形態を例示し、本明細書と共に、開示される原理を説明するのに役立つ。

【図面の簡単な説明】

【0017】

【図1】本開示の一実施形態による、拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置のためのシステムの例示的なブロック図である。

【図2】本開示の一実施形態による、図１のシステムを使用した拡張現実（ＡＲ）アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置のための方法の例示的な流れ図である。

【図3】本開示の一実施形態による、顕著性マップおよびユークリッド距離を計算することによる入力ビデオにおけるリアルタイムオーバーレイ配置のためのブロック図である。

【図4】本開示の一実施形態による、等高線プロットとしてのλおよびΣの変化による平均ラベル遮蔽対顕著性（ＬＯＳ）スコアの変動を示すグラフ図である。

【発明を実施するための形態】

【0018】

例示的な実施形態が、添付の図面を参照して説明される。図において、参照符号の左端の数字（複数可）は、その参照符号が最初に現れる図を識別する。都合のよい場合にはいつでも、同じまたは同様の部分を指すために図面全体を通して同じ参照符号を使用する。本明細書では開示される原理の例および特徴が説明されているが、開示される実施形態の精神および範囲から逸脱することなく修正、適合、および他の実施態様が可能である。以下の詳細な説明は例示としてのみ考慮されるべきであり、その真の範囲および精神は添付の特許請求の範囲によって示されることが意図される。

【0019】

上述のように、仮想現実（ＶＲ）による拡張現実（ＡＲ）は、ＰＣ、インターネット、およびモバイルに続く技術の第４の波と考えられる。現実世界のシーンに仮想情報を重ねることは、より良好な状況認識を可能にし、人間の認知および知覚を増強させるために非常に重要であると考えられる。そのようなコンテキスト情報の配置は、人工知能における主要な問題であるシーン理解にとって重要な貢献である。

【0020】

テキストラベルの最適配置に関連する用途のいくつかは、以下の通りである。（ｉ）屋内／屋外シーンおよびビデオにおける広告の最適配置が、見る者の視覚的注意を引くための極めて重要な広告戦略である。（ｉｉ）近傍の記念物および建造物の名称を識別するラベルが、旅行者のより良好な状況認識に役立つ。（ｉｉｉ）様々な従来のアプリケーションが、そのカメラを使用することによって様々なオペレーティングシステム（例えば、アンドロイド（登録商標）デバイス）上でリアルタイム翻訳を可能にする。携帯電話上のＡＲアプリケーションは、より高速で、正確に、効率的にかつ低い認知負荷でタスクを実行するのを助けることに留意されたい。最適なオーバーレイ配置が有用であり得る別の例は、兵士が頭部装着型デバイス（ＨＭＤ）を使用する状況である。ＨＭＤに表示される戦場マップ内の隊員のＧＰＳ座標のオーバーレイは、重要なときにシーンの現実の視野を遮るべきではない。さらに、ビデオ内の字幕の最適な配置は、視点が逸れるのを回避するのに役立つ。スマートラベル配置は、コミックスタイルのオーバーレイ配置を使用することによってビデオを面白くするのに役立つ。

【0021】

オーバーレイが対象の物体／シーンを遮らないような方法でコンテキスト情報がオーバーレイされ、それによってより適切な解釈を補助するように配置されるとき、これらの２Ｄテキストラベルの配置は困難である。配置がリアルタイムで機能する必要があるときにＡＲアプリケーションのラベル配置が単純ではないことを発見した研究はほとんどない。静止画像上にラベルを配置するという単純なタスクの場合、可能なラベル位置の数はラベル付けされるべき項目の数と共に指数関数的に増加する。その他の課題は、ＡＲアプリケーションのラベル配置に関する認知上および知覚上の問題の理解不足を含む。

【0022】

上記すべてを述べたが、対象の物体／シーンの周りのオーバーレイ配置は、物体検出およびセグメンテーションと比較して、視覚映像界隈においてほとんど注目を集めていない。最近、テキストラベルをリアルタイムでオーバーレイするＡＲアプリケーションの需要が高まるにつれて、ラベル配置が大きな注目を集めています。ラベルをレンダリングするための幾何学ベースのレイアウトおよび画像ベースのレイアウト、審美的な規則、ならびに適応的オーバーレイに基づく最適なテキストラベルの配置についての関連研究が為されている。

【0023】

幾何学ベースのレイアウト手法では、点特徴ラベル配置がＮＰ困難問題であることが実証されており、焼きなまし法および勾配降下法が解決策として提案されている。画像の美観ベースの（または画像ベースのレイアウト）手法は、ユーザの満足度の強い決定要因としてコンピュータインターフェースの視覚的美観を考慮するために開発された。それらは、空間レイアウト規則、対称性、要素間のバランス、ならびに、色彩設計、およびフォトブック生成の使用事例との調和など、一般的な設計原則を利用する。しかしながら、前述の手法は画像に作用し、リアルタイムカメラストリーム（またはリアルタイムビデオストリーム）には適していない。

【0024】

他のいくつかの研究は、顕著性マップとエッジマップとの組み合わせを使用する、ビデオストリーム上のラベルの配置のためのＡＲブラウザに対する画像駆動型ビュー管理に焦点を当てている。そのような研究において、モバイルデバイス上のビデオストリームにこの手法を適用するときに大きな制限に直面することがあり、そのいくつかとして、第１に、そのような技法は、カメラのわずかな動きがあるときに大きく適用されることが観察されている。大規模な動きの場合、それらの技法はラベルに静的なレイアウトを使用する。ＡＲベースのアプリケーションについて、この方法は明らかに不可能である。第２に、視覚的顕著性アルゴリズムを実行することは、計算費用がかかる行列操作を含む。この問題は、計算リソースおよびメモリが限られているモバイル機器において特に顕著になる。さらに、上記のようなこれらの研究および他の従来知られているテキストオーバーレイの手法は計算量が多く、大部分はデスクトップコンピュータ上の画像に作用し、リアルタイム性能を欠き、さらにビデオのオーバーレイには適していない。さらに、遮蔽、照明に乏しいシナリオ、ライブ視野内のシーン変化により、オーバーレイには独自の課題がある。

【0025】

本開示の実施形態は、ＡＲアプリケーションのためのコンテキストラベルの戦略的配置のためのシステムおよび方法を提供する。本開示のシステムおよび方法は、スマートフォンおよびタブレットなどのローエンドのアンドロイドデバイスにおいてさえもリアルタイムで機能するラベル配置技術を提供する。本開示では、ラベル配置は、画像顕著性および時間ジッタによってパラメータ化された目的関数として定式化される。本開示は、オーバーレイ配置の有効性を測定するために、顕著性に対するラベル遮蔽対顕著性（ＬＯＳ）スコアの計算を実施する。

【0026】

ここで、図を通して一貫して同様の参照符号は対応する特徴を示している図面、より詳細には図１〜４を参照すると、好ましい実施形態が示されており、これらの実施形態は以下の例示的なシステムおよび／または方法の文脈において説明される。

【0027】

図１は、本開示の一実施形態による、拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置のためのシステム１００の例示的なブロック図を示す。システム１００は、「オーバーレイ配置システム」とも呼ばれ、以後互換的に使用される。一実施形態では、システム１００は、１つまたは複数のプロセッサ１０４、通信インターフェースデバイス（複数可）または入出力（Ｉ／Ｏ）インターフェース（複数可）１０６、および１つまたは複数のプロセッサ１０４に動作可能に結合された１つまたは複数のデータ記憶デバイスまたはメモリ１０２を含む。１つまたは複数のプロセッサ１０４は、１つまたは複数のソフトウェア処理モジュールおよび／またはハードウェアプロセッサとすることができる。一実施形態では、ハードウェアプロセッサは、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、状態機械、論理回路、および／または動作命令に基づいて信号を操作する任意のデバイスとして実装することができる。他の機能の中でも、プロセッサ（複数可）は、メモリに記憶されているコンピュータ可読命令を取り出して実行するように構成されている。一実施形態では、デバイス１００は、ラップトップコンピュータ、ノートブック、ハンドヘルドデバイス、ワークステーション、メインフレームコンピュータ、サーバ、ネットワーククラウドなどのような様々なコンピューティングシステムにおいて実装することができる。

【0028】

Ｉ／Ｏインターフェースデバイス（複数可）１０６は、例えばウェブインターフェース、グラフィカルユーザインターフェースなどの様々なソフトウェアおよびハードウェアインターフェースを含むことができ、例えば、ＬＡＮ、ケーブルなどの有線ネットワーク、ＷＬＡＮ、セルラ、衛星などの無線ネットワークを含む、多種多様なネットワークＮ／Ｗおよびプロトコルタイプ内の複数の通信を容易にすることができる。一実施形態では、Ｉ／Ｏインターフェースデバイス（複数可）は、いくつかのデバイスを互いにまたは別のサーバに接続するための１つまたは複数のポートを含むことができる。

【0029】

メモリ１０２は、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）およびダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの揮発性メモリ、ならびに／または、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含む、当技術分野で知られている任意のコンピュータ可読媒体を含むことができる。一実施形態では、データベース１０８をメモリ１０２に記憶することができ、データベース１０８は、限定ではないが、情報入力ビデオ、フレーム、対象物、ラベル、ラベルの初期オーバーレイ位置、ラベル幅および高さ、顕著性マップ出力、ユークリッド距離出力（複数可）、ビデオにおける配置のための更新されたオーバーレイ位置を含むことができる。より具体的には、ピクセル情報、各フレームの現在および以前のオーバーレイ位置、時間ジッタ、所定の閾値範囲などを含む、入力ビデオに関する情報を含む。一実施形態では、メモリ１０２は、１つまたは複数のハードウェアプロセッサ１０４によって実行されるときに本明細書に記載されている方法論を実行するための１つまたは複数の技法（複数可）（例えば、顕著性マップ計算技法（複数可）、ユークリッド距離計算技法（複数可））を記憶することができる。メモリ１０２は、本開示のシステムおよび方法によって実行される各ステップの入力（複数可）／出力（複数可）に関する情報をさらに含むことができる。

【0030】

図２は、図１を参照して、本開示の一実施形態による、図１のシステム１００を使用した拡張現実（ＡＲ）アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置のための方法の例示的な流れ図を示す。一実施形態では、システム（複数可）１００は、１つまたは複数のハードウェアプロセッサ１０４に動作可能に結合されており、１つまたは複数のプロセッサ１０４によって方法のステップを実行するための命令を記憶するように構成されている１つまたは複数のデータ記憶デバイスまたはメモリ１０２を備える。ここで、本開示の方法のステップを、図１に示されるようなシステム１００の構成要素、および図２に示されるような流れ図を参照して説明する。入力ビデオをリアルタイム（ｒｅａｌ ｔｉｍｅ）（「リアルタイム（ｒｅａｌ−ｔｉｍｅ）」とも呼ばれ、以後互換的に使用されることがある）で受信する前に、システム１００および関連する方法は、ユーザ（複数可）によって指定されるいくつかのパラメータ、すなわちｋ、λ、Σ、Ｏ_ｈ、およびＯ_ｗを入力として受け取る。式中、
１）ｋは、処理をスキップするフレームの数である。本開示の技法／方法は、ｋフレームごとに実行される。ｋ＝１の場合、本開示の方法はすべてのフレームにおいて実行される。同様に、ｋ＝２の場合、本方法は１つおきのフレームにおいて実行される。
２）λは後続のオーバーレイの時間的コヒーレンスを制御する。λの値が小さいことは、オーバーレイがそれほど顕著でない領域に配置される可能性が高いが、それはまた多くのジッタの影響を受けることになることを意味する。λの値が高くなると、ジッタは低減するが、オーバーレイの動きも制限される。
３）Σは、探索空間サンプリングパラメータである。これは、２次元画像空間内のピクセルを均一にサンプリングする。例えば、ｕ_ｗおよびｕ_ｈがそれぞれフレームの幅および高さであると考える。これらは、本発明のコンテキストでは探索空間の寸法である。このとき、ｕ_ｈ／Σおよびｕ_ｗ／Σ個のピクセルが、それぞれの画像寸法においてスキップされる。
４）Ｏ_ｈ、Ｏ_ｗは、それぞれオーバーレイ高さおよびオーバーレイ幅である。

【0031】

本開示の技法または方法が、最良のオーバーレイ位置を計算するためにすべてのピクセル値を探索することは実行可能でない場合がある。顕著性マップは離散値を有し、そのため、確率的勾配降下法などの最適化技法を使用することは不可能であり得る。すべてのピクセルを通じた線形探索は法外に費用がかかる。本開示では、均一サンプリング手法がとられる。本開示の方法およびシステム１００によって計算されるいくつかの他の中間変数は以下の通りである。
ａ）Ｘ_Ｐ；Ｙ_Ｐは、前回の反復におけるオーバーレイの最適位置である。これはフレームの中央に初期化される。
ｂ）Ｘ；Ｙは、現在の反復において計算されるオーバーレイの最適位置である。
ｃ）ＳＭは、従来の計算技法（複数可）（例えば、Ａｃｈａｎｔａ他としても参照されるＲａｄｈａｋｒｉｓｈｎａ Ａｃｈａｎｔａ、Ｓｈｅｉｌａ Ｈｅｍａｍｉ、Ｆｒａｎｃｉｓｃｏ Ｅｓｔｒａｄａ、およびＳａｂｉｎｅ Ｓｕｓｓｔｒｕｎｋ「Ｆｒｅｑｕｅｎｃｙ−ｔｕｎｅｄ ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｄｅｔｅｃｔｉｏｎ」（Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ，２００９．ｃｖｐｒ ２００９．ｉｅｅｅ ｃｏｎｆｅｒｅｎｃｅ ｏｎ．ＩＥＥＥ，２００９，ｐｐ．１５９７−１６０４）、または、従来の視覚的顕著性技法を参照されたい。これらは本明細書では互換的に使用され得る）を用いて計算される顕著性マップである。
ｄ）Ｐは、探索空間からサンプリングされるピクセルの集合である。
ｅ）Ｆ_ｗ，Ｆ_ｈは、それぞれビデオフレームの幅および高さである。

【0032】

上記の説明は、図２に記載された以下のステップによってより良好に理解される。本開示の一実施形態では、ステップ２０２において、１つまたは複数のハードウェアプロセッサ１０４は、（ｉ）複数のフレームと複数のフレーム内の対象物とを含む入力ビデオ、および（ｉｉ）入力ビデオの中央フレーム上に配置するための初期オーバーレイ位置が事前計算されているラベルをリアルタイムで受信する。一実施形態では、ラベルはラベル高さおよびラベル幅を含む。本開示の一実施形態では、入力ビデオが図３に示されている。初期オーバーレイ位置を有するラベル（例えば、ラベルは、入力ビデオの中央フレーム上にあるかまたはそこに配置されることになる）も入力として受信される（図２および図３には示されていない）。入力ビデオおよびラベルを受信すると、ステップ２０４において、１つまたは複数のハードウェアプロセッサは、複数の顕著性マップを取得するために、複数のフレームの各々について顕著性マップをリアルタイムで計算する。例示的な顕著性マップを図３に示す。本開示では、システム１００が、入力ビデオ内に存在する各フレームについて顕著性マップを計算する。言い換えれば、入力ビデオの対応する各フレームに対して１つの顕著性マップが存在することになる。そのため、顕著性マップの計算は、複数の顕著性マップを得るために、入力ビデオの最後のフレームまで反復して実行される。

【0033】

ステップ２０６において、１つまたは複数のハードウェアプロセッサ１０４は、複数のユークリッド距離を得るために、ラベルの初期オーバーレイ位置に基づいて現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離をリアルタイムで計算する。ユークリッド距離の計算は、複数のユークリッド距離を得るために、入力ビデオの最後のフレームまで反復して実行される。言い換えれば、ユークリッド距離は、複数のフレームの各々について計算される。言い換えれば、顕著性マップの計算の場合のように、入力ビデオの対応する各フレームに対して１つのユークリッド距離が存在することになる。例示的なユークリッド距離計算を図３に示す。本開示では、ユークリッド距離は、入力ビデオ内に配置されることになるラベルの位置における時間ジッタを制御するために各フレームについて計算される。時間ジッタの制御は、入力ビデオがリアルタイムで受信され処理されるときにリアルタイムで行われる。

【0034】

複数の顕著性マップおよび複数のユークリッド距離が計算されると、ステップ２０８において、１つまたは複数のハードウェアプロセッサ１０４は、複数の顕著性マップおよび複数のユークリッド距離に基づいて入力ビデオ内に配置するためのラベルの更新されたオーバーレイ位置をリアルタイムで算出する。言い換えれば、ラベルの更新されたオーバーレイ位置は、図３に示すように、複数の顕著性マップと複数のユークリッド距離とを組み合わせることによって計算される。ステップ２０４および２０６は連続して実行されるが、（ｉ）複数のフレームの各々について顕著性マップを計算するステップと、（ｉｉ）複数のフレームの各々について現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離を計算するステップとは、同時に実行することができる。これにより、より短い時間での計算をさらに確実にすることができ、その結果、リソースの利用がより良好または最適になり得る。さらに、更新されたオーバーレイ位置が計算されると、システム１００（または１つもしくは複数のハードウェアプロセッサ１０４）は、ステップ２１０において、対象物の観察が遮られるのを最小限に抑える（または低減する）ために、ラベルを初期オーバーレイ位置から更新されたオーバーレイ位置にシフトする。代替的に、この観察は、ラベルが初期オーバーレイ位置から更新されたオーバーレイ位置にシフトしたときに観察に遮蔽がないことも保証する。本開示では、現在のオーバーレイ位置と以前のオーバーレイ位置との間の、所定の閾値範囲内にあるユークリッド距離に対応する複数のピクセルが、初期オーバーレイ位置から更新されたオーバーレイ位置へラベルをシフトするために選択される。言い換えれば、現在のオーバーレイ位置と以前のオーバーレイ位置との間のユークリッド距離が所定の閾値範囲（「所定の閾値」とも呼ばれ、以下で互換的に使用され得る）内にある１つまたは複数のピクセルが、ラベルを、その初期オーバーレイ位置からシステム１００によってリアルタイムで計算される更新されたオーバーレイ位置までシフトするために選択される。更新されたオーバーレイ位置は、ラベル高さおよびラベル幅を有するラベルに関する情報を含む（例えば、この場合、幅および高さは、初期オーバーレイ位置に関連する初期幅および高さと同じであり得るか、または複数のピクセルの選択に応じて変化し得る）。例示的な重ね合わせフレームを図３に示す。より具体的には、図３は、図１〜図２を参照して、本開示の一実施形態による、顕著性マップおよびユークリッド距離を計算することによる入力ビデオにおけるリアルタイムオーバーレイ配置のためのブロック図を示す。

【0035】

一言で言えば、ステップ２０２から２０８までは、よりよく理解するために以下のように説明される。

【0036】

本開示の方法は、例えば、ｋフレームごとに実行される。所与のフレームについて、擬似コード（例えば、ＳａｌｉｅｎｃｙＭａｐＣｏｍｐｕｔａｔｉｏｎ（顕著性マップ計算））を使用する視覚的顕著性マップ（顕著性マップとも呼ばれ、以後互換的に使用されることがある）が計算される。次に、システム１００は、探索空間内に提供されたピクセル値（例えば、Σ探索空間サンプリングパラメータを参照）を通じて反復し、サイズＯ_ｈ、Ｏ_ｗの仮想ボックス内でマップによって与えられた顕著性値を合計する。本開示では、最も低い合計を有するピクセル値が、最も低い顕著性を示唆する理想的な候補として選択される。以前の位置と現在の位置との間の、λ（所定の閾値範囲または所定の閾値として参照される）によってスケーリングされたユークリッド距離ｄが可能な限り小さい場合、オーバーレイはシフトされる。低い顕著性と時間ジッタの両方によって課される制約を組み合わせるために、本開示は以下のように最適化問題を定式化する。

【数1】

【0037】

以下は、本開示の技法／方法の例示的な擬似コードである。
１．（Ｘ_Ｐ；Ｙ_Ｐ）＝（フレーム幅／２，フレーム高さ／２）
２．ｋフレームごとに
３．ＳＭ＝顕著性マップ計算（フレーム）
４．ｆｏｒ（ｘ，ｙ）∈Ｐ
５． Ｌ＝｛（ａ，ｂ）｜ｘ≦ａ≦ｘ＋Ｏ_ｗ，ｙ≦ｂ≦ｙ＋Ｏ_ｈ｝
６． ｓ_ｘ，ｙ＝Σ_{（ａ，ｂ）∈Ｌ}ＳＭ（ａ，ｂ）
７． ｄ_ｘ，ｙ＝λ×距離（（Ｘ，Ｙ），（Ｘ_Ｐ，Ｙ_Ｐ））
８．ｓ_ｍｉｎ＝ｍｉｎ（ｓ_ｘ，ｙ＋ｄ_ｘ，ｙ）
９．（Ｘ，Ｙ）：＝ａｒｇ＿ｍｉｎ（ｓ_ｘ，ｙ）
１０．（Ｘ_Ｐ，Ｙ_Ｐ）：＝（Ｘ，Ｙ）／／遷移全体に線形補間を使用する

【0038】

上記の擬似コードにおいて、行（またはコマンドもしくはプログラムコード）「ＳＭ＝顕著性マップ計算（フレーム）」を実行するためには、従来の顕著性マップ計算の技法を参照することができる（例えば、Ｒａｄｈａｋｒｉｓｈｎａ Ａｃｈａｎｔａ，Ｓｈｅｉｌａ Ｈｅｍａｍｉ，Ｆｒａｎｃｉｓｃｏ Ｅｓｔｒａｄａ，およびＳａｂｉｎｅ Ｓｕｓｓｔｒｕｎｋ「Ｆｒｅｑｕｅｎｃｙ−ｔｕｎｅｄ ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｄｅｔｅｃｔｉｏｎ」（Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ，２００９．ｃｖｐｒ ２００９．ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ．ＩＥＥＥ，２００９，ｐｐ．１５９７−１６０４．’−ａｌｓｏ ｒｅｆｅｒｒｅｄ ａｓ Ａｃｈａｎｔａ ｅｔ ａｌ．ｗｈｉｃｈ ｃａｎ ｂｅ ｆｏｕｎｄ ａｔ−ｈｔｔｐｓ：／／ｉｎｆｏｓｃｉｅｎｃｅ．ｅｐｆｌ．ｃｈ／ｒｅｃｏｒｄ／１３５２１７／ｆｉｌｅｓ／１７０８．ｐｄｆ）を参照されたい）。より具体的には、一実施形態では、顕著性マップ計算のよりよい理解のために、式（１）、（２）、（３）および（４）を含むＡｃｈａｎｔａ他の上記参考文献のセクション３．２を参照することができる。

【0039】

実験および結果
実験には、タブレットを通じた３Ｄプリンタによる検査中の対象物を観察するために被験者（例えば、方法／擬似コードを試験するために、２５〜３４歳の年齢層の２５人の研究者、１０人の女性および１５人の男性）が関与した。主観的および客観的な一連の測定基準を取得して、（ａ）ユーザ体験、および（ｂ）オーバーレイの配置を評価した。すべての実験で、寸法５０×５０のラベルを使用した。これはユーザのニーズに従ってカスタマイズすることができる。実験は、Ｎｅｘｕｓ（登録商標）６アンドロイドフォンおよびＮｅｘｕｓ（登録商標）９タブレット上で行った。ユーザには、以下のパラメータを１〜５の尺度でレーティングすることを課した。その後、平均意見スコアを得た。使用された測定基準は、（ｉ）オーバーレイの位置、（ｉｉ）オーバーレイ内の低ジッタ、（ｉｉｉ）オーバーレイボックスおよびテキストの色、ならびに（ｉｖ）オーバーレイ応答性である。

【0040】

本開示は、本開示の方法を評価するために、ＤＩＥＭデータセットを使用した（例えば、Ｐａｒａｇ Ｋ Ｍｉｔａｌ， Ｔｉｍ Ｊ Ｓｍｉｔｈ， Ｒｏｂｉｎ Ｌ Ｈｉｌｌ，およびＪｏｈｎ Ｍ Ｈｅｎｄｅｒｓｏｎ「Ｃｌｕｓｔｅｒｉｎｇ ｏｆ ｇａｚｅ ｄｕｒｉｎｇ ｄｙｎａｍｉｃ ｓｃｅｎｅ ｖｉｅｗｉｎｇ ｉｓ ｐｒｅｄｉｃｔｅｄ ｂｙ ｍｏｔｉｏｎ」（Ｃｏｇｎｉｔｉｖｅ Ｃｏｍｐｕｔａｔｉｏｎ，ｖｏｌ．３，ｎｏ．１，ｐｐ．５−２４，２０１１．）−ｈｔｔｐ：／／ｐｋｍｉｔａｌ．ｃｏｍ／ｈｏｍｅ／ｗｐ−ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０１０／０３／Ｍｉｔａｌ＿Ｃｌｕｓｔｅｒｉｎｇ＿ｏｆ＿Ｇａｚｅ＿Ｄｕｒｉｎｇ＿Ｄｙｎａｍｉｃ＿Ｓｃｅｎｅ＿Ｖｉｅｗｉｎｇ＿ｉｓ＿Ｐｒｅｄｉｃｔｅｄ．ｐｄｆを参照されたい）。本開示による実験を行うために、解像度１２８０×７２０のビデオがデータセットから取られた。このデータセットは、種々のジャンルの広告、予告編、およびテレビシリーズの様々なビデオで構成されていた。また、眼球運動を用いて、このデータセットは詳細な眼球固定顕著性注釈を提供した。

【0041】

実験中、パラメータλおよびΣの値が、ＤＩＥＭデータセット上で、グリッド検索（当技術分野で公知）から経験的に見出され、ビデオ全体にわたるオーバーレイの平均ラベル遮蔽対顕著性（ＬＯＳ）スコア（下記に定義し、論じる）に対するその効果が比較された。図４は、図１〜図３を参照して、本開示の一実施形態による、等高線プロットとしてのλおよびΣの変化による平均ラベル遮蔽対顕著性（ＬＯＳ）スコアの変動を示すグラフ図を示す。より具体的には、図４は、λおよびΣに関する平均ＬＯＳスコアの等高線プロットを示す。実験の間、ＬＯＳスコアはλとは無関係であり、Σとλとの最適な組み合わせは（５、０．０２１）であり、Σが小さいことが好ましいことが観察された（４０２によって示される、図４の等高線の間にある逆Ｙのような記号を有する線表現を参照）。

【0042】

結果
主観的測定基準
下記の例示的な表（表１）は、主観的測定基準スコアを示す。

【表1】

【0043】

上記の表１から、オーバーレイの位置は、オーバーレイがシーン内の顕著な領域を覆うのを防ぐために極めて重要である４．５と非常に高くレーティングされたことが、本開示によって推測される。およそ２０フレーム毎秒（ｆｐｓ）で実行される本開示の方法の上記擬似コードのリアルタイム実施は、場合によって４．７のオーバーレイ応答性の高いスコアをもたらした。単純な色彩設計−黒いフォントの白いボックスおよびその逆が選ばれ、ボックスの色は透明度がα＝０．５に設定されていた。オーバーレイボックスの色は、下記の例示的な方程式（または式）２によって与えられるピクセル強度（輝度チャネルＹ）に適用される単純な適応閾値に依存した。

【数2】

【0044】

データ駆動閾値Ｔｈｒｅｓｈは、所与のシーンの最大輝度値と最小輝度値との間の差の平均である。この値がＴｈｒｅｓｈ以上の場合、オーバーレイボックスは黒色の背景を使用し、逆も同様である（テキストラベルがどのようにオーバーレイされるかの設定全体が記されていますが、これは実験を通して実証されたことに留意されたい）。実験中に検討中のサンプルオーバーレイは、シーン全体に関するコンテキスト情報のみを示した。デモンストレーションから、オーバーレイはリアルタイムで機能し、同時にジッタが少ないことも分かった。

【0045】

客観的測定基準
本開示の方法／擬似コードによって実行されたオーバーレイ配置の有効性が比較された。この比較のための評価基準は、ビデオの顕著性グラウンドトゥルースを有するラベルによって遮蔽される平均ＬＯＳスコアに基づいていた。スコアが小さいほど、遮蔽の少ない効果的なオーバーレイ配置を示す。ラベル遮蔽対顕著性（ＬＯＳ）スコアＳは、以下の式として定義され、表される。

【数3】

式中、Ｌは、オーバーレイによって遮蔽されているピクセル（ｘ，ｙ）のセットであり、Ｇは、グラウンドトゥルース顕著性マップである。本開示の方法に関する上記の擬似コードは、０．０４２の平均ＬＯＳスコアを有し、オーバーレイ位置を計算するのに０．０２１秒の時間がかかることが分かった。

【0046】

本開示の実施形態は、ＡＲアプリケーションのためのビデオにおけるリアルタイムオーバーレイ（コンテキスト情報）配置のためのシステムおよび方法を提供する。上記の実験および結果に基づいて、本開示は、シーンのより良好な解釈を助けるラベルを最適に配置することによって、対象物／対象シーンとの遮蔽の制限を克服することが観察される。オーバーレイの配置は、（ｉ）対象物の周りの視覚的顕著性、および（ｉｉ）時間ジッタを最小にする目的関数として定式化され、リアルタイムＡＲアプリケーション（特に（ローエンドまたはハイエンド）スマートフォン、タブレット（複数可）、ＡＲベースのブラウザなどで実行される）におけるコヒーレンスを促進する。ＡＲアプリケーションの例は、ナビゲーションマップ、ゲームアプリケーションにおいて視覚化することができるような仮想環境体験などを含むことができるが、これらに限定されない。ＡＲベースのアプリケーションの他の例は、博物館探査作業、産業検査および修理作業、広告およびメディア、ならびに観光産業におけるライブ状況認識を含むが、これらに限定されない。

【0047】

本明細書は、当業者が実施形態を作成および使用することを可能にするために本明細書中の主題を説明する。主題の実施形態の範囲は特許請求の範囲によって定義され、当業者に想起される他の修正を含み得る。そのような他の変更は、それらが請求項の文言と異ならない類似の要素を有する場合、またはそれらが請求項の文言とのわずかな相違を有する同等の要素を含む場合、請求項の範囲内にあることが意図される。

【0048】

保護の範囲は、そのようなプログラム、および、加えて、メッセージをその中に有するコンピュータ可読手段に拡張されることを理解されたい。そのようなコンピュータ可読記憶手段は、プログラムがサーバまたはモバイルデバイスまたは任意の適切なプログラム可能デバイス上で実行されるときに、本方法の１つまたは複数のステップを実施するためのプログラムコード手段を含む。ハードウェアデバイスは、例えば、サーバもしくはパーソナルコンピュータなどのような任意の種類のコンピュータなど、またはそれらの任意の組み合わせを含む、プログラム可能な任意の種類のデバイスとすることができる。デバイスはまた、例えば、例として特定アプリケーション向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなハードウェア手段、または、例えば、ＡＳＩＣおよびＦＰＧＡなどのハードウェア手段とソフトウェア手段との組み合わせ、または、少なくとも１つのマイクロプロセッサおよびソフトウェアモジュールが中に配置されている少なくとも１つのメモリであってもよい。したがって、手段はハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書に記載の方法実施形態は、ハードウェアおよびソフトウェアにおいて実施することができる。デバイスはソフトウェア手段も含み得る。代替的に、実施形態は、例えば、複数のＣＰＵを使用して、異なるハードウェアデバイス上で実施されてもよい。

【0049】

本明細書の実施形態は、ハードウェア要素およびソフトウェア要素を含むことができる。ソフトウェアで実施される実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されない。本明細書で説明されている様々なモジュールによって実行される機能は、他のモジュールまたは他のモジュールの組み合わせにおいて実施されてもよい。本明細書の目的のために、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを含む、記憶する、通信する、伝播する、または移送することができる任意の装置とすることができる。

【0050】

例示されているステップは示された例示的な実施形態を説明するために記載されており、進行中の技術開発は特定の機能が実行される方法を変えることが予期されるはずである。これらの例は例示の目的で本明細書に提示されており、限定ではない。さらに、機能的構成ブロックの境界は、説明の便宜上、本明細書において任意に定義されている。特定の機能およびそれらの関係が適切に実行される限り、代替の境界を定義することができる。代替形態（本明細書に記載されたものの等価物、拡張形態、変形形態、逸脱形態などを含む）が、当業者には本明細書に含まれる教示に基づいて明らかになるであろう。そのような代替形態は、開示される実施形態の範囲および精神の範囲内に入る。また、「備える」、「有する」、「含有する」、および「含む」という単語、および他の同様の形態は、意味において同等であり、これらの単語のうちのいずれか１つに続く１つまたは複数の項目が、そのような１つまたは複数の項目の網羅的なリストであるようには意図されておらず、または、リストされた１つまたは複数の項目のみに限定されるようにも意図されていないという意味において、制限がないように意図されている。本明細書および添付の特許請求の範囲において使用されるとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかにそうでないことを指示しない限り、複数の参照を含むことにも留意されたい。

【0051】

さらに、本開示と一致する実施形態を実施する際に、１つまたは複数のコンピュータ可読記憶媒体を利用することができる。コンピュータ可読記憶媒体は、プロセッサによって読み取り可能な情報またはデータが記憶され得る任意の種類の物理メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書で説明される実施形態と一致するステップまたは段階をプロセッサ（複数可）に実行させるための命令を含む、１つまたは複数のプロセッサによる実行のための命令を記憶することができる。「コンピュータ可読媒体」という用語は、有形の項目を含み、搬送波および過渡信号、すなわち非一時的なものを除外すると理解されるべきである。例としては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、および他の任意の既知の物理的記憶媒体が挙げられる。

【0052】

本開示および例は例示としてのみ考慮されることを意図しており、開示される実施形態の真の範囲および精神は特許請求の範囲によって示される。

【符号の説明】

【0053】

１００ システム、デバイス
１０２ メモリ
１０４ ハードウェアプロセッサ
１０６ 入出力（Ｉ／Ｏ）インターフェース
１０８ データベース

【図1】

【図2】

【図3】

【図4】

【外国語明細書】

2020042759000001.pdf