ホーム > 特許ランキング > Ｒｅｖｉｅｖｅ Ｏｙ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022158906
(43)【公開日】2022-10-17
(54)【発明の名称】拡張現実映像中の関心点を拡張する方法及びシステム
(51)【国際特許分類】
G06T 3/00 20060101AFI20221006BHJP
G06T 7/00 20170101ALI20221006BHJP
G06T 7/11 20170101ALI20221006BHJP
【ＦＩ】
G06T3/00 770
G06T7/00 660A
G06T7/11
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022006805
(22)【出願日】2022-01-20
(31)【優先権主張番号】17/218,673
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521318413
【氏名又は名称】リヴィーヴ オーユー
【氏名又は名称原語表記】Ｒｅｖｉｅｖｅ Ｏｙ
【住所又は居所原語表記】Ｋｏｙｄｅｎｐｕｎｏｊａｎｋａｔｕ ２ Ａ， ００１８０ Ｈｅｌｓｉｎｋｉ， Ｆｉｎｌａｎｄ
(74)【代理人】
【識別番号】100127188
【弁理士】
【氏名又は名称】川守田 光紀
(72)【発明者】
【氏名】クロヴェシ ヤッケ
(72)【発明者】
【氏名】ハムネン ヨーナス
(72)【発明者】
【氏名】シーヴィネン サムリ
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057CA12
5B057CB12
5B057CC03
5B057CD20
5B057DA16
5L096DA01
5L096EA26
5L096FA06
5L096FA09
5L096FA62
5L096FA72
5L096HA05
(57)【要約】 （修正有）
【課題】拡張現実（ＡＲ）映像中の関心点を拡張する方法及びシステムを提供する。
【解決手段】方法は、第１のパイプラインによって、関心点を含む追跡されているオブジェクトを描いているＡＲ映像の第１のフレームを抽出することと、第１のフレーム内にオブジェクトの境界を形成する特徴点のセットを配置することと、決定された特徴点のセットと共にフレームを第２のパイプラインに送信することと、第２のパイプラインによって、特徴点のセットの座標系を決定することと、特徴点の第１の位置パラメータを計算することと、特徴点から第１の基準点及び第２の基準点を選択することと、関心点の第１の位置パラメータを第２のパイプラインから第１のパイプラインに送信することと、第１のパイプラインにおいて、第２のパイプラインから受信した第１の位置パラメータでＡＲ映像を拡張することと、を含む。
【選択図】図４
【解決手段】方法は、第１のパイプラインによって、関心点を含む追跡されているオブジェクトを描いているＡＲ映像の第１のフレームを抽出することと、第１のフレーム内にオブジェクトの境界を形成する特徴点のセットを配置することと、決定された特徴点のセットと共にフレームを第２のパイプラインに送信することと、第２のパイプラインによって、特徴点のセットの座標系を決定することと、特徴点の第１の位置パラメータを計算することと、特徴点から第１の基準点及び第２の基準点を選択することと、関心点の第１の位置パラメータを第２のパイプラインから第１のパイプラインに送信することと、第１のパイプラインにおいて、第２のパイプラインから受信した第１の位置パラメータでＡＲ映像を拡張することと、を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
拡張現実映像中の関心点（２０２）を拡張する方法であって、
・ 第１のパイプラインによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレーム（３００）を抽出することであって、前記ＡＲ映像は、前記関心点（２０２）を含む追跡されているオブジェクト（２００）を描いている、抽出することと、
・ 前記第１のパイプラインによって、抽出された前記第１のフレーム（３００）内に前記オブジェクトの境界（２０６）を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレーム（３００）を第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記特徴点のセットの座標系（２１０）を決定することと、
・ 前記第２のパイプラインによって、決定された前記座標系（２１０）に基づいて、前記特徴点（２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ、２０４Ｅ、２０４Ｆ）の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインによって、前記特徴点から第１の基準点（２１４）及び第２の基準点（２１６）を選択することであって、前記関心点（２０２）の第１の位置パラメータは、前記第１の基準点（２１４）及び前記第２の基準点（２１６）の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点（２０２）の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を含む方法。
・ 第１のパイプラインによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレーム（３００）を抽出することであって、前記ＡＲ映像は、前記関心点（２０２）を含む追跡されているオブジェクト（２００）を描いている、抽出することと、
・ 前記第１のパイプラインによって、抽出された前記第１のフレーム（３００）内に前記オブジェクトの境界（２０６）を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレーム（３００）を第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記特徴点のセットの座標系（２１０）を決定することと、
・ 前記第２のパイプラインによって、決定された前記座標系（２１０）に基づいて、前記特徴点（２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ、２０４Ｅ、２０４Ｆ）の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインによって、前記特徴点から第１の基準点（２１４）及び第２の基準点（２１６）を選択することであって、前記関心点（２０２）の第１の位置パラメータは、前記第１の基準点（２１４）及び前記第２の基準点（２１６）の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点（２０２）の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を含む方法。
【請求項2】
・ 前記第１のパイプラインにおいて、前記ＡＲ映像の第２のフレーム（３００）を抽出することと、
・ 第１のパイプラインによって、抽出された前記第２のフレーム（３００）において、前記オブジェクトの第２の境界（２０６）を形成する第２の特徴点のセットを決定することと、
・ 決定された前記第２の特徴点のセットと共に抽出された前記第２のフレーム（３００）を前記第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記第２のフレーム（３００）内に前記関心点（２０２）を配置することと、
・ 前記第２のパイプラインによって、前記第２のフレーム（３００）内の配置された前記関心点（２０２）の第２の位置パラメータを再計算することと、
・ 前記関心点（２０２）の前記第２の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第２の位置パラメータで前記ＡＲ映像を拡張することと、
を更に含む、請求項１に記載の方法。
・ 第１のパイプラインによって、抽出された前記第２のフレーム（３００）において、前記オブジェクトの第２の境界（２０６）を形成する第２の特徴点のセットを決定することと、
・ 決定された前記第２の特徴点のセットと共に抽出された前記第２のフレーム（３００）を前記第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記第２のフレーム（３００）内に前記関心点（２０２）を配置することと、
・ 前記第２のパイプラインによって、前記第２のフレーム（３００）内の配置された前記関心点（２０２）の第２の位置パラメータを再計算することと、
・ 前記関心点（２０２）の前記第２の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第２の位置パラメータで前記ＡＲ映像を拡張することと、
を更に含む、請求項１に記載の方法。
【請求項3】
前記座標系（２１０）を決定することは、
・ 前記境界（２０６）の中心点を決定することと、
・ 決定された前記境界（２０６）の前記中心点に基づいてＸ軸方向を定めることと、
・ 複数のスケールパラメータを決定することと、
によって行われる、請求項１又は２に記載の方法。
・ 前記境界（２０６）の中心点を決定することと、
・ 決定された前記境界（２０６）の前記中心点に基づいてＸ軸方向を定めることと、
・ 複数のスケールパラメータを決定することと、
によって行われる、請求項１又は２に記載の方法。
【請求項4】
前記関心点（２０２）の前記第１及び前記第２の位置パラメータを計算することは、
・ Ｘ軸上の前記第１の基準点（２１４）の位置及び前記第２の基準点（２１６）の位置を決定することと、
・ 前記関心点（２０２）と対応する特徴点の間のずれ（２０８、３０６）を計算することと、
・ 前記Ｘ軸上の前記第１の基準点（２１４）と第２の基準点（２１６）との間の距離の割合を計算することと、
を含む、請求項１から３のいずれかに記載の方法。
・ Ｘ軸上の前記第１の基準点（２１４）の位置及び前記第２の基準点（２１６）の位置を決定することと、
・ 前記関心点（２０２）と対応する特徴点の間のずれ（２０８、３０６）を計算することと、
・ 前記Ｘ軸上の前記第１の基準点（２１４）と第２の基準点（２１６）との間の距離の割合を計算することと、
を含む、請求項１から３のいずれかに記載の方法。
【請求項5】
決定されたフレーム（３００）ごとに、決定された時間間隔ごとに、及び／又は追跡されている前記オブジェクト（２００）の位置、場所、又は角度が変更された場合に、各フレーム（３００）の前記位置パラメータを再計算することを更に含む、請求項１から４のいずれかに記載の方法。
【請求項6】
・ 前記関心点（２０２）が以前に位置していた状態に戻ったことを検出することと、
・ 前記関心点（２０２）の以前に再計算された位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することにより、以前に再計算された前記位置パラメータを再利用することと、
を更に含む、請求項５に記載の方法。
・ 前記関心点（２０２）の以前に再計算された位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することにより、以前に再計算された前記位置パラメータを再利用することと、
を更に含む、請求項５に記載の方法。
【請求項7】
拡張現実（Augmented-Reality：ＡＲ）映像中の関心点（２０２）を拡張するシステム（１００）であって、前記システム（１００）は、少なくとも１つのプロセッサ（１０２）を備え、前記少なくとも１つのプロセッサ（１０２）は、
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレーム（３００）を抽出することであって、前記ＡＲ映像は、前記関心点（２０２）を含む追跡されているオブジェクト（２００）を描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム（３００）内に前記オブジェクトの境界（２０６）を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレーム（３００）を第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系（２１０）を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系（２１０）に基づいて、前記特徴点（２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ、２０４Ｅ、２０４Ｆ）の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点（２１４）及び第２の基準点（２１６）を選択することであって、前記関心点（２０２）の第１の位置パラメータは、前記第１の基準点（２１４）及び前記第２の基準点（２１６）の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点（２０２）の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように構成される、システム。
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレーム（３００）を抽出することであって、前記ＡＲ映像は、前記関心点（２０２）を含む追跡されているオブジェクト（２００）を描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム（３００）内に前記オブジェクトの境界（２０６）を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレーム（３００）を第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系（２１０）を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系（２１０）に基づいて、前記特徴点（２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ、２０４Ｅ、２０４Ｆ）の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点（２１４）及び第２の基準点（２１６）を選択することであって、前記関心点（２０２）の第１の位置パラメータは、前記第１の基準点（２１４）及び前記第２の基準点（２１６）の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点（２０２）の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように構成される、システム。
【請求項8】
前記少なくとも１つのプロセッサ（１０２）は、
・ 前記第１のパイプラインにおいて、前記ＡＲ映像の第２のフレーム（３００）を抽出することと、
・ 第１のパイプラインを使用することによって、抽出された前記第２のフレーム（３００）において、前記オブジェクトの第２の境界（２０６）を形成する第２の特徴点のセットを決定することと、
・ 決定された前記第２の特徴点のセットと共に抽出された前記第２のフレーム（３００）を前記第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記第２のフレーム（３００）内に前記関心点（２０２）を配置することと、
・ 前記第２のパイプラインを使用することによって、前記第２のフレーム（３００）内の配置された前記関心点（２０２）の第２の位置パラメータを再計算することと、
・ 前記関心点（２０２）の前記第２の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第２の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように更に構成される、請求項７に記載のシステム。
・ 前記第１のパイプラインにおいて、前記ＡＲ映像の第２のフレーム（３００）を抽出することと、
・ 第１のパイプラインを使用することによって、抽出された前記第２のフレーム（３００）において、前記オブジェクトの第２の境界（２０６）を形成する第２の特徴点のセットを決定することと、
・ 決定された前記第２の特徴点のセットと共に抽出された前記第２のフレーム（３００）を前記第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記第２のフレーム（３００）内に前記関心点（２０２）を配置することと、
・ 前記第２のパイプラインを使用することによって、前記第２のフレーム（３００）内の配置された前記関心点（２０２）の第２の位置パラメータを再計算することと、
・ 前記関心点（２０２）の前記第２の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第２の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように更に構成される、請求項７に記載のシステム。
【請求項9】
前記座標系（２１０）を決定するために、前記少なくとも１つのプロセッサ（１０２）は、
・ 前記境界（２０６）の中心点を決定することと、
・ 決定された前記境界（２０６）の前記中心点に基づいてＸ軸方向を定めることと、
・ 複数のスケールパラメータを決定することと、
を実行するように構成される、請求項７又は８に記載のシステム。
・ 前記境界（２０６）の中心点を決定することと、
・ 決定された前記境界（２０６）の前記中心点に基づいてＸ軸方向を定めることと、
・ 複数のスケールパラメータを決定することと、
を実行するように構成される、請求項７又は８に記載のシステム。
【請求項10】
前記関心点の前記第１及び前記第２の位置パラメータを計算するために、前記少なくとも１つのプロセッサ（１０２）は、
・ Ｘ軸上の前記第１の基準点（２１４）の位置及び前記第２の基準点（２１６）の位置を決定することと、
・ 前記関心点（２０２）と対応する特徴点の間のずれ（２０８、３０６）を計算することと、
・ 前記Ｘ軸上の前記第１の基準点（２１４）と第２の基準点（２１６）との間の距離の割合を計算することと、
を実行するように構成される、請求項８又は９に記載のシステム。
・ Ｘ軸上の前記第１の基準点（２１４）の位置及び前記第２の基準点（２１６）の位置を決定することと、
・ 前記関心点（２０２）と対応する特徴点の間のずれ（２０８、３０６）を計算することと、
・ 前記Ｘ軸上の前記第１の基準点（２１４）と第２の基準点（２１６）との間の距離の割合を計算することと、
を実行するように構成される、請求項８又は９に記載のシステム。
【請求項11】
前記少なくとも１つのプロセッサ（１０２）は、決定されたフレーム（３００）ごとに、決定された時間間隔ごとに、及び／又は追跡されている前記オブジェクト（２００）の位置、場所、又は角度が変更された場合に、各フレーム（３００）の前記位置パラメータを再計算することを実行するように更に構成される、請求項７から１０のいずれかに記載のシステム。
【請求項12】
前記少なくとも１つのプロセッサ（１０２）は、
・ 前記関心点（２０２）が以前に位置していた状態に戻ったことを検出することと、
・ 前記関心点（２０２）の以前に再計算された位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することにより、以前に再計算された前記位置パラメータを再利用することと、
を実行するように更に構成される、請求項１１に記載のシステム。
・ 前記関心点（２０２）が以前に位置していた状態に戻ったことを検出することと、
・ 前記関心点（２０２）の以前に再計算された位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することにより、以前に再計算された前記位置パラメータを再利用することと、
を実行するように更に構成される、請求項１１に記載のシステム。
【請求項13】
拡張現実（Augmented-Reality：ＡＲ）映像中の関心点（２０２）を拡張するコンピュータプログラム製品であって、前記コンピュータプログラム製品がプロセッサ（１０２）を備えるシステム（１００）によって実行されると、前記システム（１００）に、
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレーム（３００）を抽出することであって、前記ＡＲ映像は、前記関心点（２０２）を含む追跡されているオブジェクト（２００）を描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム（３００）内に前記オブジェクトの境界（２０６）を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレーム（３００）を第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系（２１０）を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系（２１０）に基づいて、前記特徴点（２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ、２０４Ｅ、２０４Ｆ）の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点（２１４）及び第２の基準点（２１６）を選択することであって、前記関心点（２０２）の第１の位置パラメータは、前記第１の基準点（２１４）及び前記第２の基準点（２１６）の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点（２０２）の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように構成される、システム。
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレーム（３００）を抽出することであって、前記ＡＲ映像は、前記関心点（２０２）を含む追跡されているオブジェクト（２００）を描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム（３００）内に前記オブジェクトの境界（２０６）を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレーム（３００）を第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系（２１０）を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系（２１０）に基づいて、前記特徴点（２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ、２０４Ｅ、２０４Ｆ）の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点（２１４）及び第２の基準点（２１６）を選択することであって、前記関心点（２０２）の第１の位置パラメータは、前記第１の基準点（２１４）及び前記第２の基準点（２１６）の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点（２０２）の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点（２０２）の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように構成される、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、拡張現実映像中の関心点を拡張する方法に関する。また、本開示は、拡張現実映像中の関心点を拡張するシステムに関するものである。更に、本開示は、拡張現実映像中の関心点を拡張するコンピュータプログラム製品に関する。
【背景】
【0002】
過去１０年間、技術的進歩の積み重ねと映像処理技術の発展により、映像オブジェクトの追跡は人気を博してきた。映像オブジェクトの追跡は、例えば、セキュリティ、監視、エクステンデッドリアリティ技術、医用画像、デジタルヘルス及び美容など、多くの分野で応用されている。特に、デジタルヘルス及び美容分野での映像オブジェクト追跡の技術開発は、ブランド、小売店、ｅコマース、デジタルサービスプロバイダーなどの発展を促している。例えば、このような開発により、美容、健康、及び健康維持に関連する製品の個人向けデジタルエンゲージメントを扱う上で、より良いユーザー体験を提供することができる。
【0003】
しかし、既存の映像オブジェクト追跡技術には、いくつかの制限がある。例えば、既存の技術では、映像中のオブジェクトを追跡するために限られた追跡可能な点のセットを採用しているため、映像中のオブジェクトを追跡する正確さや品質が最小限に抑えられている。例えば、映像中の顔の特徴（目、唇、眉など）を追跡する場合、従来は６８個の追跡可能な点のセットを使用して、人間の顔の特徴を追跡する。特に、片方の目を追跡するためには、例えば、６個の追跡可能な点のセットといった限られた数の追跡可能な点が使用される。限られた数の追跡可能な点を使用することにより、顔の特徴の輪郭や境界（又はこの輪郭や境界を定める関心点）を正確に追跡することができなくなる。これでは、個人向けデジタルエンゲージメントを扱う上で、必要なユーザー体験を提供することができない。より良いユーザー体験を実現するための一つの手法として、追跡可能な点の数を増やすことが挙げられる。しかし、追跡可能な点の数を増やしただけでは、相当な計算処理資源と時間を要してしまう。
【0004】
そのため、以上の説明を鑑み、既存の映像オブジェクト追跡技術に関する上述の欠点を克服する必要がある。
【摘要】
【0005】
本開示は、拡張現実映像中の関心点を拡張する方法を提供しようとするものである。また、本開示は、拡張現実映像中の関心点を拡張するシステムを提供しようとするものである。更に、本開示は、拡張現実映像中の関心点を拡張するコンピュータプログラム製品を提供しようとするものである。本開示の目的は、従来技術で発生した問題を少なくとも部分的に克服するソリューションを提供することである。
【0006】
一態様において、本開示の一実施形態は、拡張現実（Augmented-Reality：ＡＲ）映像中の関心点を拡張する方法を提供する。前記方法は、
・ 第１のパイプラインによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を含む。
・ 第１のパイプラインによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を含む。
【0007】
別の態様において、本開示の一実施形態は、拡張現実（Augmented-Reality：ＡＲ）映像中の関心点を拡張するシステムを提供する。前記システムは、少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように構成される。
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように構成される。
【0008】
更に別の態様において、本開示の一実施形態は、拡張現実（Augmented-Reality：ＡＲ）映像中の関心点を拡張するコンピュータプログラム製品であって、前記コンピュータプログラム製品がプロセッサを備えるシステムによって実行されると、前記システムに、
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を行わせる命令を含む。
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を行わせる命令を含む。
【0009】
本開示の実施形態は、従来技術における上述の問題を実質的に解消し、又は少なくとも部分的に解決し、最小限の計算資源と時間で、追跡可能な点を使用して関心点（オブジェクトの輪郭又は境界を正確に定める）を追跡又は識別することを可能にする。
【0010】
本開示の追加の態様、利点、特徴、及び目的は、添付の請求項と併せて解釈される図面及び例示的な実施形態の詳細説明から明らかになるであろう。
【0011】
本開示の特徴は、添付の特許請求の範囲で定義された本開示の範囲から逸脱することなく、様々な組合せで組み合わせることが可能であることが理解されよう。
【図面の簡単な説明】
【0012】
上記の摘要及び以下の例示的な実施形態の詳細説明は、添付の図面と併せて読むことにより、よりよく理解できる。本開示を説明する目的で、本開示の例示的な構造が図面に示されている。しかし、本開示は、本明細書に開示された特定の方法及び装置に限定されるものではない。更に、当業者であれば、図面が縮尺どおりでないことを理解するであろう。可能な限り、同じ要素は同じ番号で示している。
【0013】
以下の図を参照して、本開示の実施形態を例示のみを目的として説明する。
【図1】本開示の一実施形態に基づく、拡張現実（ＡＲ）映像中の関心点を拡張するシステムのアーキテクチャを示すブロック図である。
【図2A】本開示の一実施形態に係る、ＡＲ映像に描写された例示的なオブジェクトを示す図である。
【図2B】本開示の一実施形態に係る例示的な座標系を示す図である。
【図2C】本開示の一実施形態に係る、拡張された関心点の位置パラメータの例示的な計算を示す図である。
【図3】本開示の一実施形態に係る、拡張された関心点を描写するＡＲ映像の例示的なフレームを示す図である。
【図4】本開示の一実施形態に係る、ＡＲ映像中の関心点を拡張する方法のステップを示す図である。
【実施形態の詳細説明】
【0014】
以下の詳細説明では、本開示の実施形態及びそれらを実施可能な方法を示している。本開示を実施するためのいくつかの態様を開示してきたが、当業者であれば、本開示を実施又は実行するための他の実施形態も可能であることを認識するであろう。
【0015】
一態様において、本開示の一実施形態は、拡張現実（Augmented-Reality：ＡＲ）映像中の関心点を拡張する方法を提供する。前記方法は、
・ 第１のパイプラインによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を含む。
・ 第１のパイプラインによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を含む。
【0016】
別の態様において、本開示の一実施形態は、拡張現実（Augmented-Reality：ＡＲ）映像中の関心点を拡張するシステムを提供する。前記システムは、少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように構成される。
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように構成される。
【0017】
更に別の態様において、本開示の一実施形態は、拡張現実（Augmented-Reality：ＡＲ）映像中の関心点を拡張するコンピュータプログラム製品であって、前記コンピュータプログラム製品がプロセッサを備えるシステムによって実行されると、前記システムに、
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を行わせる命令を含む。
・ 第１のパイプラインを実行することによって、前記第１のパイプラインで実行されている前記ＡＲ映像の第１のフレームを抽出することであって、前記ＡＲ映像は、前記関心点を含む追跡されているオブジェクトを描いている、抽出することと、
・ 前記第１のパイプラインを実行することによって、抽出された前記第１のフレーム内に前記オブジェクトの境界を形成する特徴点のセットを配置することと、
・ 決定された前記特徴点のセットと共に抽出された前記フレームを第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点のセットの座標系を決定することと、
・ 前記第２のパイプラインを実行することによって、決定された前記座標系に基づいて、前記特徴点の第１の位置パラメータを計算することと、
・ 前記第２のパイプラインを実行することによって、前記特徴点から第１の基準点及び第２の基準点を選択することであって、前記関心点の第１の位置パラメータは、前記第１の基準点及び前記第２の基準点の第１の位置パラメータによって定義される、選択することと、
・ 前記関心点の前記第１の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第１の位置パラメータで前記ＡＲ映像を拡張することと、
を行わせる命令を含む。
【0018】
本開示は、ＡＲ映像中の関心点を拡張する前述の方法、前述のシステム、及び前述のコンピュータプログラム製品を提供する。本開示の実施形態は、ＡＲ映像中のオブジェクトを追跡するために、限られた特徴点（即ち、追跡可能な点）のセットに加えて、ＡＲ映像中の追跡可能な点として関心点の拡張（即ち、追加）を可能にする。これにより、限られた特徴点のセットのみを利用して追跡を行う場合と比較して、かなりの正確さと高品質でＡＲ映像中のオブジェクトを追跡することが容易になる。更に、本開示の実施形態では、最小限の計算資源でＡＲ映像中の関心点をリアルタイムに拡張することができるため、費用対効果が高く、信頼性が高く、使いやすい。
【0019】
実施形態によっては、少なくとも１つのプロセッサは、単一のプロセッサとして実装され、この単一のプロセッサが第１のパイプラインと第２のパイプラインを実行する。あるいは、実施形態によっては、少なくとも１つのプロセッサは、少なくとも１つの第１のプロセッサと少なくとも１つの第２のプロセッサとして実装され、少なくとも１つの第１のプロセッサが第１のパイプラインを実行し、少なくとも１つの第２のプロセッサが第２のパイプラインを実行する。実施形態によっては、少なくとも１つの第１のプロセッサと少なくとも１つの第２のプロセッサは、同じデバイス内に配置される。このデバイスの例としては、コンピュータ、スマートフォン、ラップトップ、タブレットなどが挙げられるが、これらに限定されない。一例として、少なくとも１つの第１のプロセッサと少なくとも１つの第２のプロセッサは、スマートフォン内に配置される。あるいは、実施形態によっては、少なくとも１つの第１のプロセッサは第１のデバイス内に配置され、少なくとも１つの第２のプロセッサは第２のデバイス内に配置される。一例として、少なくとも１つの第１のプロセッサはスマートフォン内に配置され、少なくとも１つの第２のプロセッサはコンピュータ内に配置される。実施形態によっては、少なくとも１つのプロセッサは、少なくとも１つのサーバとして実装される。実施形態によっては、この点において、少なくとも１つのサーバは、少なくとも１つの第１のサーバ及び少なくとも１つの第２のサーバとして実装され、少なくとも１つの第１のサーバが第１のパイプラインを実行し、少なくとも１つの第２のサーバが第２のパイプラインを実行する。
【0020】
実施形態によっては、少なくとも１つのプロセッサは、映像源からＡＲ映像を受信するように構成されている。実施形態によっては、ＡＲ映像は複数のフレーム（即ち、画像フレーム）から構成されている。「映像源」という用語は、ＡＲ映像を少なくとも１つのプロセッサに提供するように構成された機器を指す。実施形態によっては、この点において、映像源は、無線及び／又は有線で、少なくとも１つのプロセッサと通信可能に接続される。いくつかの実装では、システムは、映像源を更に備える。
【0021】
本開示では、「パイプライン」という用語は、所与のフレームを処理するために、少なくとも１つのプロセッサによって実行される画像処理パイプラインを意味する。実施形態によっては、所与のパイプラインは、所与のフレームを処理するために、少なくとも１つの画像処理アルゴリズムを使用する。実施形態によっては、この点において、第１のパイプラインは、フレーム抽出アルゴリズムを使用して、ＡＲ映像の複数のフレームの中から所与のフレームを抽出する。所与のフレームは、複数のフレームのシーケンスから最適化された方法で抽出され得ることが理解されよう。いくつかの実装では、所与の瞬間に、所与のフレームが、複数のフレームのシーケンスから任意の方法で抽出され得る。他の実装では、所与の瞬間に、所与のフレームは、複数のフレームのシーケンスから逐次的に抽出され得る。一例として、ＡＲ映像中のオブジェクトの位置が急速に変化する場合、所定のフレームを１秒ごとに抽出してもよい。
【0022】
本開示全体を通して、「オブジェクト」という用語は、ＡＲ映像の所与のフレームに描かれた（即ち、表現された）任意の特徴を意味する。オブジェクトは、そのオブジェクトの外周にある複数の点を結ぶことで得られる境界と関連付けられていることが理解されよう。オブジェクトの例としては、顔の特徴（目、鼻、唇など）、体の一部（手足、胴体など）、車両、テーブル、おもちゃ、ドアなどが挙げられるが、これらに限定されない。実施形態によっては、所与のフレームは、オブジェクトの全体又は一部を含む。特に、追跡のためには、オブジェクトは少なくとも２つのフレームで表現されている必要がある。
【0023】
例えば、ＡＲ映像のフレーム内で追跡されているオブジェクトを描くには、複数の関心点を含み得る。追跡されているオブジェクト（例えば目）の補正された境界を定める複数の拡張された関心点は、そのオブジェクトの上側の境界（例えば上側のアイライン）と下側の境界（例えば下側のアイライン）の位置に対応して拡張される。特徴点は、複数の関心点を拡張する際に利用される。複数の関心点に対する特徴点に基づく基準線からの逸脱として、ずれを推定することができる。
【0024】
関心点は、ＡＲ映像中で拡張される追跡可能な点であると理解されてもよいことが自明であろう。言い換えれば、関心点とは、オブジェクトの輪郭や境界を定める望ましい点である。例えば、関心点は、実際の目の端、唇の角、ドアハンドルの角などであってもよい。このような拡張により、ＡＲ映像に描かれているオブジェクトを追跡するのに十分に精度が高く正確な追跡可能な点が追加される。これにより、既存の技術では限られた数の追跡可能な点を使ってオブジェクトを追跡するしかなかったが、正確さを向上させてオブジェクトを追跡することが容易になる。例えば、ＡＲ映像中の顔の特徴（目、唇、眉など）を追跡する際には、人間の顔の６８個の点の典型的なセットが利用される。
【0025】
本開示全体を通して、「特徴点」という用語は、オブジェクトに関連付けられた即座に追跡可能な点を意味する。実施形態によっては、特徴点は、所与の抽出されたフレーム内のオブジェクトの輪郭を定める縁部、角部、塊、突起のうち、少なくとも１つに位置している。実施形態によっては、第１のパイプラインは、少なくとも１つの画像処理アルゴリズムを使用して、所与のフレーム内のオブジェクトを検出する。このような画像処理アルゴリズムの例としては、オブジェクト検出アルゴリズム、オブジェクト認識アルゴリズムなどが挙げられるが、これらに限定されない。実施形態によっては、所与のフレームでオブジェクトが検出されると、第１のパイプラインは、少なくとも１つの画像処理アルゴリズムを使用して、そのオブジェクトの境界を形成する特徴点の位置を特定（即ち、識別、決定、又は生成）する。このような画像処理アルゴリズムの例としては、角部検出アルゴリズム、縁部検出アルゴリズム、特徴点検出アルゴリズム、ランドマーク検出アルゴリズムなどが挙げられるが、これらに限定されない。画像処理のアルゴリズムは、当技術ではよく知られている。第１の例では、抽出された第１のフレームに位置する、目の境界を形成する６つの特徴点Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６のセットがあってもよい。特徴点Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６のセットは、目の６点セグメンテーションを行うことで配置され得る。
【0026】
少なくとも１つのプロセッサは、第１のパイプラインを実行して、オブジェクトの境界を形成する特徴点のセットを所定の抽出されたフレーム内に配置するために、最小限の計算資源をリアルタイムで利用することが理解されよう。所与の抽出されたフレームの更なる処理は、時間的なレイテンシーを回避する必要な計算資源を有する第２のパイプラインを実行することで行われる。実施形態によっては、第２のパイプラインは、所与の抽出されたフレームを処理するために、バックエンドの静的フレーム解析を実装する。最小限の実装では、１つのフレーム（例えば１つ目のフレーム）のみが第２のパイプラインを使用して更に処理される。オブジェクトの境界を形成する特徴点の位置を決定するために、少なくとも１つのプロセッサは、第２のパイプラインを実行して、座標系を決定するように構成されていることが理解されよう。
【0027】
実施形態によっては、座標系を決定するステップは、境界の中心点を決定することと、決定された境界の中心点に基づいてＸ軸方向を定めることと、複数のスケールパラメータを決定することとによって実行される。座標系の決定は、少なくとも１つのプロセッサによって行われる。座標系を決定するには、少なくとも１つのプロセッサは、境界の中心点を決定し、決定された境界の中心点に基づいてＸ軸方向を定め、複数のスケールパラメータを決定するように構成される。
【0028】
座標系は、原点と２つの軸を含む２次元座標系である。実施形態によっては、境界の中心点は座標系の原点に対応する。実施形態によっては、この点に関して、Ｘ軸方向は、座標系の原点に基づいて定められる。更に、実施形態によっては、座標系はＹ軸を含む。Ｙ軸はＸ軸と直交している（即ち９０度に交わる）。一例として、中心点から左に向かうＸ軸方向が負のＸ軸に相当し、中心点から右に向かうＸ軸方向が正のＸ軸に相当してもよい。また、中心点から上に向かうＹ軸方向が正のＹ軸に相当し、中心点から下に向かうＹ軸方向が負のＹ軸に相当してもよい。特徴点の位置を容易に決定できるように、座標系には適切なスケールパラメータが使用されていることが理解されよう。実施形態によっては、これらのスケールパラメータは、オブジェクトに関連付けられた少なくとも１つの幾何学的パラメータ（長さ、幅、高さなど）に基づいて決定される。スケールパラメータは、特定の測定単位（センチメートル、インチなど）で定義される。座標系は、決定された特徴点のセットに基づいて固定されていることが理解されよう。第１の例を引き続き参照すると、Ｘ軸とＹ軸、及びスケールパラメータは、目の境界の中心点に基づいて決定される。
【0029】
座標系は、特徴点間の何らかの静的な特性に基づいて固定することができる。例えば、Ｘ軸方向やスケールパラメータの決定には、追跡されているオブジェクトの関心点を含む特徴点を使用することができる。Ｘ軸方向とスケールパラメータは、座標系を定める尺度である。Ｘ軸方向は、例えば、追跡されているオブジェクトに平行な方向とすることができる。
【0030】
この実施形態では、追跡されているオブジェクトの特徴点（例えば、目、ドア、又は特徴点から得られる境界を有するその他任意のオブジェクト）が、このオブジェクトの境界を形成する。目を例に挙げると、目の端点がＡＲ映像のフレーム内の関心点になり得る。目の関心点と拡張された関心点の間にはずれがある。境界の中心点は座標系の原点に相当し、Ｙ軸はＸ軸と直交している。この座標系に基づいて、特徴点の位置パラメータ（即ち（ｘ，ｙ）座標）が計算される。拡張された関心点の位置パラメータは、第２のパイプラインによって、第１の基準点ＲＰ１及び第２の基準点ＲＰ２の位置、ずれ（即ち、このずれに対応するベクトル
）、及び第１の基準点ＲＰ１と第２の基準点ＲＰ２の間の距離の割合（即ち、補間係数ｐ／ｎ）の関数として計算される。
【0031】
本実施形態では、第１の基準点ＲＰ１と第２の基準点ＲＰ２を結ぶ直線上にある座標（ｘ，ｙ）を有する点を使用して、以下の式により拡張関心点の座標を計算する。
x = RP1x + ux*(p/n)
y = RP1y + uy*(p/n)
ここで、ＲＰ１ｘ及びＲＰ１ｙは、第１の基準点ＲＰ１の座標を表し、ｕｘ及びｕｙは、第１の基準点ＲＰ１及び第２の基準点ＲＰ２のｘ座標及びｙ座標の差をそれぞれ表している。
x = RP1x + ux*(p/n)
y = RP1y + uy*(p/n)
ここで、ＲＰ１ｘ及びＲＰ１ｙは、第１の基準点ＲＰ１の座標を表し、ｕｘ及びｕｙは、第１の基準点ＲＰ１及び第２の基準点ＲＰ２のｘ座標及びｙ座標の差をそれぞれ表している。
【0032】
実施形態によっては、所与の特徴点の所与の位置パラメータは、Ｘ軸とＹ軸に沿った（ｘ，ｙ）位置座標で表される。このような位置座標（即ち、点データ）は、所与のフレーム（所与の瞬間）における、（オブジェクトに関連付けられた）所与の特徴点の位置を示す。第１の例を引き続き参照すると、特徴点Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、及びＡ６は、六角形の境界を形成する第１の位置パラメータ（２，１）、（３，１）、（４，０）、（３，－１）、（２，－１）、及び（１，０）をそれぞれ有してもよい。
【0033】
実施形態によっては、第１の基準点と第２の基準点は、特徴点の静的特性（ロバスト性など）に基づいて選択される。つまり、第１及び第２の基準点は、特徴点の中から、平行移動、反転、ぼかし、回転、拡大縮小、切り取りなどの幾何学的異常を回避したり、排除したりして選択する必要がある。これにより、所与のフレーム内の関心点の第１の位置パラメータをかなり正確に定めることができる。第１の例を引き続き参照すると、特徴点Ａ３及びＡ６をそれぞれ第１の基準点及び第２の基準点として選択することにより、ロバストとなり得る。しかし、特徴点Ａ１及びＡ６は目を開けること及び／又は閉じることによるため、特徴点Ａ１及びＡ６をそれぞれ第１の基準点及び第２の基準点として選択することは、ロバスト性に欠ける可能性がある。
【0034】
実施形態によっては、所与のフレームに対して、少なくとも１つのプロセッサは、第２のパイプラインを実行して、関心点の所与の位置パラメータを決定するように構成される。所与の位置パラメータは、複数のパラメータの値を含み、前記複数のパラメータは、第１及び第２の基準点の所与の位置パラメータと、関心点と第１及び第２の基準点を結ぶ線上にある点との間のずれと、補間係数とを含む。所与の位置パラメータにより、関心点（即ち、拡張点、予備の点、追加の点）をＡＲ映像の後続フレームで追跡することが可能になるように、この関心点を第１及び第２の基準点に接続することが容易になることが理解されよう。更に、所与の位置パラメータは、拡大縮小や回転によっても不変である。言い換えれば、所与のフレームでは、フレームの回転や拡大縮小が変化しても、関心点の位置パラメータは同じである。このような場合、異なるフレーム間の回転及び／又は拡大縮小の変化に関わらず、同じ位置パラメータを有する異なるフレームにおいて関心点が正確に位置することが理解されよう。実施形態によっては、拡大縮小はピクセル単位で指定できる。一例として、所与のフレームは１００×１００ピクセルであり、ある瞬間に水平方向に対して０度の角度であってもよい。このフレームは、２６×２６ピクセルであり、別の瞬間には水平方向に対して１０度の角度であってもよい。
【0035】
実施形態によっては、本方法は、
・ 前記第１のパイプラインにおいて、前記ＡＲ映像の第２のフレームを抽出することと、
・ 前記第１のパイプラインによって、抽出された前記第２のフレームにおいて、前記オブジェクトの第２の境界を形成する第２の特徴点のセットを決定することと、
・ 決定された前記第２の特徴点のセットと共に抽出された前記第２のフレームを前記第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記第２のフレーム内に前記関心点を配置することと、
・ 前記第２のパイプラインによって、前記第２のフレーム内の配置された前記関心点の第２の位置パラメータを再計算することと、
・ 前記関心点の前記第２の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第２の位置パラメータで前記ＡＲ映像を拡張することと、
を更に含む。
・ 前記第１のパイプラインにおいて、前記ＡＲ映像の第２のフレームを抽出することと、
・ 前記第１のパイプラインによって、抽出された前記第２のフレームにおいて、前記オブジェクトの第２の境界を形成する第２の特徴点のセットを決定することと、
・ 決定された前記第２の特徴点のセットと共に抽出された前記第２のフレームを前記第２のパイプラインに送信することと、
・ 前記第２のパイプラインによって、前記第２のフレーム内に前記関心点を配置することと、
・ 前記第２のパイプラインによって、前記第２のフレーム内の配置された前記関心点の第２の位置パラメータを再計算することと、
・ 前記関心点の前記第２の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第２の位置パラメータで前記ＡＲ映像を拡張することと、
を更に含む。
【0036】
実施形態によっては、関心点の第１及び第２の位置パラメータを計算するステップは、Ｘ軸上の第１の基準点の位置及び第２の基準点の位置を決定することと、関心点と対応する特徴点との間のずれを計算することと、Ｘ軸上の第１の基準点と第２の基準点との間の距離の割合を計算することとを含む。この実施形態では、関心点の第１及び第２の位置パラメータを計算する際に、少なくとも１つのプロセッサは、Ｘ軸上の第１の基準点の位置及び第２の基準点の位置を決定し、関心点と対応する特徴点との間のずれを計算し、Ｘ軸上の第１の基準点と第２の基準点との間の距離の割合を計算するように構成される。
【0037】
第１の基準点の位置と第２の基準点の位置は、上述したように、第１の基準点と第２の基準点の座標であることが理解されよう。「ずれ」という用語は、関心点とそれに対応する特徴点との間の位置的な逸脱を意味する。（第１のパイプラインで配置された）特徴点に対応する実際の点を表す関心点は、第２のパイプラインによって推定される。このずれは、実際の点を表す関心点と、第１のパイプラインによって配置された対応する特徴点との差を示している。実施形態によっては、ずれはＸ軸及び／又はＹ軸に沿って計算される。実施形態によっては、ずれは固定値を有する。あるいは、任意に、ずれは動的な値を有する。実施形態によっては、関心点の所与の位置パラメータは、第２のパイプラインによって、第１及び第２の基準点の位置、関心点と対応する特徴点との間のずれ、及び第１及び第２の基準点間の距離の割合の関数として計算される。第１及び第２の基準点間の距離の割合は、補間係数であると理解されてもよいことが自明であろう。実施形態によっては、少なくとも１つの数学的手法を使用して、関心点の所与の位置パラメータが計算される。第１の例を引き続き参照すると、第１の基準点Ａ３及び第２の基準点Ａ６の位置はＸ軸上で決定されてもよく、実際の目の端を表す関心点Ａと対応する特徴点Ａ６との間にはずれがあってもよい。このずれは、目の幅の１／７に相当する固定値を有してもよい。
【0038】
特に、関心点の所与の位置パラメータは、逆方向のローカリゼーションを行うために、第２のパイプラインから第１のパイプラインに送信されることである。この逆方向のローカリゼーションは、第１のパイプラインによって行われ、最小限の計算資源で後続のフレームにおける関心点の位置を再構築する。（第１及び第２の基準点の位置を使用して計算された）関心点の位置パラメータは、第２のパイプラインから第１のパイプラインに送信される際に、拡大縮小及び／又は回転によって不変であることが理解されよう。配置された関心点の所与の位置パラメータは、その関心点が第１のパイプラインによって追跡可能になるように、ＡＲ映像に追加される（即ち、拡張される）。Ｘ軸上の第１の基準点と第２の基準点の位置を更新しながら、関心点を追跡することができることは理解できるだろう。この更新時に、第１の基準点と第２の基準点の位置が（例えば、各フレームで）変化すると、関心点の所与の位置パラメータが第１のパイプラインによって再計算される。
【0039】
関心点の第２の位置パラメータを計算するステップでは、Ｘ軸上の第１の基準点の位置及び第２の基準点の位置を決定することと、関心点と対応する特徴点との間のずれを計算することと、Ｘ軸上の第１の基準点と第２の基準点との間の距離の割合を計算することとを含む。
【0040】
実施形態によっては、第２のフレームにおいて配置された関心点の第２の位置パラメータを再計算する前に、座標系に基づいて、第２の特徴点の第２の位置パラメータが計算され、第２の特徴点から第１の基準点及び第２の基準点が選択され、関心点の第２の位置パラメータは、第１及び第２の基準点の第１の位置パラメータによって定義される。特に、第２フレームの第２特徴点のセットは、第１のフレームの第１特徴点のセットと異なる位置パラメータを有する。実施形態によっては、この点において、第２の特徴点のセットから第１の基準点及び第２の基準点（以前に選択された第１の基準点や以前に選択された第２の基準点とは異なる）を選択する際には、関心点の位置パラメータが第２のパイプラインによって再計算される。このような場合、第１のパイプラインは、ある時点で新しい第１の基準点と新しい第２の基準点の位置が第２のパイプラインによって決定されるまで、以前に選択された第１の基準点と以前に選択された第２の基準点を利用し続ける。新たな第１の基準点と新たな第２基準点の位置が決定されると、第２フレームにおける関心点の第２位置パラメータが計算される。
【0041】
実施形態によっては、本方法は、決定されたフレームごとに、決定された時間間隔ごとに、及び／又は追跡されているオブジェクトの位置、場所、又は角度が変更された場合に、各フレームの位置パラメータを再計算することを更に含む。少なくとも１つのプロセッサは、決定されたフレームごとに、決定された時間間隔ごとに、及び／又は追跡されているオブジェクトの位置、場所、又は角度が変更された場合に、各フレームの位置パラメータを再計算するように更に構成されている。特徴点の位置パラメータは、オブジェクトの位置、場所、又は角度が所定のフレーム内で変化した場合に変化し得ることが理解されよう。これは、オブジェクトの位置、場所、又は角度が変化すると、所与のフレーム内で位置座標が変化する可能性があるためである。また、特徴点の位置パラメータは、特徴点のインデックスであると理解されてもよいことが自明であろう。
【0042】
実施形態によっては、本方法は、関心点が以前に位置していた状態に戻ったことを検出することと、関心点の以前に再計算された位置パラメータを第２のパイプラインから第１のパイプラインに送信することにより、以前に再計算された位置パラメータを再利用することとを更に含む。少なくとも１つのプロセッサは、関心点が以前に位置していた状態に戻ったことを検出し、関心点の以前に再計算された位置パラメータを第２のパイプラインから第１のパイプラインに送信することにより、以前に再計算された位置パラメータを再利用するように更に構成される。
【0043】
実施形態によっては、少なくとも１つのプロセッサは、少なくとも２つのフレームにおける関心点の位置パラメータが同じである場合に、関心点が以前に位置していた状態に戻ったことを検出するように構成されている。一例では、第１のフレームの関心点の位置パラメータと、第２フレームの関心点の対応する位置パラメータが同じである場合、関心点が同じであるか、関心点が以前に位置していた状態に戻ったことが検出される。以前に再計算された位置パラメータを再利用するには、最小限の計算資源及び／又は計算時間しか要さず、したがって、少なくとも１つのプロセッサにかかる計算負担を軽減するのに有益であることが理解されよう。
【0044】
実施形態によっては、本方法は、特徴点のセットと関心点を使用してオブジェクトの形状を決定することを更に含み、オブジェクトの形状は、補間技術及び／又は外挿技術を使用して決定される。オブジェクトの形状は、補間技術（静的補間、線形補間、円弧補間など）及び／又は外挿技術を使用して得られた複数の点の軌跡の形状に基づいて決定されることが理解されよう。補間技術と外挿技術は、当業界では公知である。
【0045】
実施形態によっては、本方法は、ＡＲ映像の複数のフレームに少なくとも１つの仮想オブジェクトを重ね合わせる際に、少なくとも１つの関心点を利用することを更に含む。更に、実施形態によっては、本方法は、ＡＲ映像の複数のフレームに少なくとも１つの仮想オブジェクトを重ね合わせる際に、１つ以上の特徴点を利用することを更に含む。少なくとも１つの仮想オブジェクトを、（現実世界のオブジェクトである）追跡されているオブジェクトの映像の複数のフレームに重ね合わせることで、ＡＲアプリケーションが提供されることが理解されよう。任意に、この点において、少なくとも１つのプロセッサは、複数のＡＲフレームを生成するために、ＡＲ映像の複数のフレームに少なくとも１つの仮想オブジェクトをデジタルに重ね合わせるように構成される。「仮想オブジェクト」という用語は、コンピュータで生成されたオブジェクトを意味する。少なくとも１つの仮想オブジェクトの例としては、仮想健康及び美容ツール（仮想アイシャドウ、仮想アイライン、仮想リップスティック、仮想ファンデーション、仮想チークなど）、仮想ナビゲーションツール（仮想マップ、仮想方向標識など）、仮想ガジェット（仮想電卓、仮想コンピュータなど）、仮想メッセージ（仮想インスタントメッセージ、仮想チャット会話、仮想ＴｏＤｏノートなど）、仮想エンティティ（仮想人物、仮想動物、仮想ゴーストなど）、仮想エンターテイメントメディア（仮想絵画、仮想映像、仮想インタラクティブ広告など）、仮想情報（仮想ニュース記述、仮想告知、仮想データなど）が挙げられるが、これらに限定されない。
【0046】
本開示全体を通して、「コンピュータプログラム製品」という用語は、非一時的機械可読データ記憶媒体に記録されているプログラム命令を含むソフトウェア製品を指し、このソフトウェア製品は、ＡＲ映像中の関心点を拡張するための方法の前述のステップを実施するために、コンピューティングハードウェア上で実行可能である。非一時的機械可読データ記憶媒体は、これに記憶されたプログラム命令が、ＡＲ映像中の関心点を拡張するための一連のステップを引き起こすように、機械（コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイスなど）に特定の方法で機能するよう指示することができる。非一時的機械可読データ記憶媒体の例としては、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックＲＡＭ（ＳＲＡＭ）、ポータブルコンパクトディスクＲＯＭ（ＣＤ ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、メモリースティック、フロッピーディスク、パンチカードや溝の中の盛り上がった構造物などの機械的に符号化され、命令が記録されたデバイス、又はそれらの任意の適切な組合せが挙げられるが、これらに限定されない。本開示全体を通して、「プロセッサ」という用語は、コンピュータプログラム製品のプログラム命令を処理するための、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せを意味している。
【0047】
また、本開示は、上述のようなシステムに関するものである。前述の第１の態様に関して開示された様々な実施形態及び変形は、このシステムにも準用される。
【0048】
実施形態によっては、少なくとも１つのプロセッサは、
・ 前記第１のパイプラインにおいて、前記ＡＲ映像の第２のフレームを抽出することと、
・ 前記第１のパイプラインを使用することによって、抽出された前記第２のフレームにおいて、前記オブジェクトの第２の境界を形成する第２の特徴点のセットを決定することと、
・ 決定された前記第２の特徴点のセットと共に抽出された前記第２のフレームを前記第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記第２のフレーム内に前記関心点を配置することと、
・ 前記第２のパイプラインを使用することによって、前記第２のフレーム内の配置された前記関心点の第２の位置パラメータを再計算することと、
・ 前記関心点の前記第２の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第２の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように更に構成される。
・ 前記第１のパイプラインにおいて、前記ＡＲ映像の第２のフレームを抽出することと、
・ 前記第１のパイプラインを使用することによって、抽出された前記第２のフレームにおいて、前記オブジェクトの第２の境界を形成する第２の特徴点のセットを決定することと、
・ 決定された前記第２の特徴点のセットと共に抽出された前記第２のフレームを前記第２のパイプラインに送信することと、
・ 前記第２のパイプラインを実行することによって、前記第２のフレーム内に前記関心点を配置することと、
・ 前記第２のパイプラインを使用することによって、前記第２のフレーム内の配置された前記関心点の第２の位置パラメータを再計算することと、
・ 前記関心点の前記第２の位置パラメータを前記第２のパイプラインから前記第１のパイプラインに送信することと、
・ 前記第１のパイプラインにおいて、前記第２のパイプラインから受信した配置された前記関心点の前記第２の位置パラメータで前記ＡＲ映像を拡張することと、
を実行するように更に構成される。
【図面の詳細説明】
【0049】
図１を参照すると、本開示の一実施形態に係る、拡張現実（ＡＲ）映像中の関心点を拡張するシステム１００のアーキテクチャのブロック図が示されている。システム１００は、プロセッサ１０２と映像源１０４とを備える。プロセッサ１０２は、映像源１０４から受信したＡＲ映像中の関心点を拡張する第１のパイプライン及び第２のパイプラインを実行するように構成されていることが理解されよう。
【0050】
図２Ａ、図２Ｂ、及び図２Ｃを参照すると、本開示の一実施形態に係る、ＡＲ映像に描かれた追跡されている例示的なオブジェクト２００、例示的な座標系２１０、及び拡張された関心点の位置パラメータの例示的な計算がそれぞれ示されている。
【0051】
図２Ａでは、追跡されているオブジェクト２００は、ＡＲ映像は、フレーム内の関心点２０２としての目の端点と、追跡されているオブジェクト２００の境界２０６（破線で示す）を形成する６つの特徴点２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ、２０４Ｅ、２０４Ｆのセットを含むＡＲ映像のフレーム内で追跡されている片方の目として示されている。また、目の関心点２０２と特徴点２０４Ｆとの間のずれ２０８も示されている。
【0052】
図２Ｂにおいて、座標系２１０は、原点、Ｘ軸、Ｙ軸を含む。ここでは、境界線２０６の中心点が原点に相当する。図示のように、Ｙ軸はＸ軸と直交している。特徴点２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ、２０４Ｅ、２０４Ｆ（図２Ａに示す）の位置パラメータ（即ち、（ｘ，ｙ）座標）は、座標系２１０に基づいて計算される。
【0053】
図２Ｃにおいて、拡張された関心点２１２の位置パラメータは、第２のパイプラインによって、第１の基準点ＲＰ１ ２１４（図２Ａの特徴点２０４Ｆに対応する）及び第２の基準点ＲＰ２ ２１６（図２Ａの特徴点２０４Ｃに対応する）の位置、ずれ（図２Ａのずれ２０８に対応するベクトル
として描かれる）、及び第１の基準点ＲＰ１ ２１４と第２の基準点ＲＰ２ ２１６との間の距離の割合（即ち、補間係数ｐ／ｎ）の関数として計算される。図示のように、拡張された関心点２１２の座標は、第１の基準点ＲＰ１ ２１４と第２の基準点ＲＰ２ ２１６とを結ぶ線上にある座標（ｘ，ｙ）を有する点を使用して、以下の式によって計算される。
x = RP1x + ux*(p/n)
y = RP1y + uy*(p/n)
ここで、ＲＰ１ｘ及びＲＰ１ｙは、第１の基準点ＲＰ１ ２１４の座標を表し、ｕｘ及びｕｙは、第１の基準点ＲＰ１ ２１４と第２の基準点ＲＰ２ ２１６とのそれぞれｘ、ｙ座標の差である。
x = RP1x + ux*(p/n)
y = RP1y + uy*(p/n)
ここで、ＲＰ１ｘ及びＲＰ１ｙは、第１の基準点ＲＰ１ ２１４の座標を表し、ｕｘ及びｕｙは、第１の基準点ＲＰ１ ２１４と第２の基準点ＲＰ２ ２１６とのそれぞれｘ、ｙ座標の差である。
【0054】
図３を参照すると、本開示の一実施形態に係る、拡張された関心点を描いたＡＲ映像の例示的なフレーム３００が示されている。図示のように、フレーム３００には、複数の関心点３０４が示された、目３０２を含む追跡されているオブジェクトが描かれている。複数の関心点３０４（目３０２の補正された境界を定める）は、目３０２の上側アイラインと下側アイラインの位置に対応して拡張される。また、複数の関心点３０４を拡張する際に使用される６つの特徴点（六角形に配置された６つの円形のドットとして示す）も示されている。ずれ３０６（実線で示す）は、複数の関心点に対する６つの特徴点に基づく基準線（破線で示す）からの逸脱として推定されることが示されている。
【0055】
図４を参照すると、本開示の一実施形態に係る、ＡＲ映像中の関心点を拡張する方法のステップが示されている。ステップ４０２では、第１のパイプラインで実行されているＡＲ映像の第１のフレームが第１のパイプラインによって抽出され、このＡＲ映像は、関心点を含む追跡されているオブジェクトを描いている。ステップ４０４では、第１のパイプラインによって、抽出された第１のフレーム内にオブジェクトの境界を形成する特徴点のセットが配置される。ステップ４０６では、決定された特徴点のセットと共に抽出されたフレームが第２のパイプラインに送信される。ステップ４０８では、第２のパイプラインによって、特徴点のセットの座標系が決定される。ステップ４１０では、第２のパイプラインによって、決定された座標系に基づいて、特徴点の第１の位置パラメータが計算される。ステップ４１２では、第２のパイプラインによって、特徴点から第１の基準点及び第２の基準点が選択され、関心点の第１の位置パラメータは、第１及び第２の基準点の第１の位置パラメータによって定義される。ステップ４１４では、関心点の第１の位置パラメータを第２のパイプラインから第１のパイプラインに送信する。ステップ４１６では、第１のパイプラインにおいて、第２のパイプラインから受信した配置された関心点の第１の位置パラメータでＡＲ映像が拡張される。
【0056】
ステップ４０２、４０４、４０６、４０８、４１０、４１２、４１４、４１６は例示に過ぎず、本明細書の特許請求の範囲から逸脱することなく、１つ又は複数のステップを追加したり、１つ又は複数のステップを削除したり、１つ又は複数のステップを異なる順序で提供したりする他の代替案を提供することも可能である。
【0057】
前述の本開示の実施形態に対する変更は、添付の請求項によって定義される本開示の範囲から逸脱することなく可能である。本開示を説明及び特許請求するために使用される「備える」、「含む」、「内蔵する」、「有する」、「である」などの表現は、非制限的に解釈されることを意図しており、即ち、明示的に説明されていない項目、構成要素、又は要素も存在することを許容している。単数形への言及は、その複数形にも関すると解釈される。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【外国語明細書】