特許 7449400 空間位置決め方法、関連装置およびナビゲーションスティック

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-05

(45)【発行日】2024-03-13

(54)【発明の名称】空間位置決め方法、関連装置およびナビゲーションスティック

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20240306BHJP

   G06T 7/70 20170101ALI20240306BHJP

   G06T 7/33 20170101ALI20240306BHJP

   A61B 34/20 20160101ALI20240306BHJP

【ＦＩ】

G06F3/0346 422

G06T7/70 A

G06T7/33

A61B34/20

【請求項の数】 17

(21)【出願番号】P 2022550861

(86)(22)【出願日】2021-06-08

(65)【公表番号】

(43)【公表日】2023-04-21

(86)【国際出願番号】 CN2021098817

(87)【国際公開番号】W WO2022017022

(87)【国際公開日】2022-01-27

【審査請求日】2022-09-09

(31)【優先権主張番号】202010707497.6

(32)【優先日】2020-07-21

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リウ，イシュン

(72)【発明者】

【氏名】チィン，チェンチェン

(72)【発明者】

【氏名】ヤオ，ジャンホア

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】中国特許出願公開第１０１８６２２２０（ＣＮ，Ａ）

【文献】特開２００１－２９３００７（ＪＰ，Ａ）

【文献】特開２００１－２０４７３９（ＪＰ，Ａ）

【文献】特開２０１４－１７０３７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０３２５１３５（ＵＳ，Ａ１）

【文献】米国特許第０５６１７８５７（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／３３

Ａ６１Ｂ ３４／２０

(57)【特許請求の範囲】

【請求項1】

端末が実行する空間位置決め方法であって、
カメラによってターゲットシーンを撮影して得られた画像を取得するステップであって、前記画像内には、前記ターゲットシーン内に位置するナビゲーションスティックが含まれ、前記ナビゲーションスティックの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある、ステップと、
前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系における、前記画像に含まれるマーキングポイントの３次元位置座標を決定するステップであって、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すステップと、
前記画像に対応する画像座標系における前記マーキングポイントの２次元位置座標と、前記ナビゲーションスティックに対応する３次元座標系における前記マーキングポイントの３次元位置座標とに基づいて、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報を決定するステップと、
前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系と、前記カメラに対応する３次元座標系との間の空間変換関係を決定するステップと、
前記ナビゲーションスティックに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を決定し、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報とするステップと、
を含み、
前記方法は、さらに、
前記画像に含まれるマーキングポイントの中心を識別するステップと、
前記マーキングポイントの中心を通るターゲット直線を検出するステップであって、前記ターゲット直線が通る前記マーキングポイントの中心の数が条件を満たすステップと、
前記ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得するステップであって、前記ターゲット直線に対応するマーキングポイント列とは、前記ターゲット直線が通るマーキングポイントによって構成される１列のマーキングポイントを指すステップと、
前記マーキングポイント分布形態に基づいて、前記ターゲット直線に対応するマーキングポイント列のマーキングポイント情報を決定するステップであって、前記マーキングポイント情報には、前記マーキングポイントアレイにおける、前記ターゲット直線に対応するマーキングポイント列の位置と、前記マーキングポイントアレイにおける、前記ターゲット直線が通るマーキングポイントの位置とが含まれるステップと、を含むことを特徴とする方法。

【請求項2】

前記ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得する前記ステップは、
前記ターゲット直線に対応するマーキングポイント列における第１マーキングポイントを決定するステップであって、前記第１マーキングポイントとは、前記ターゲット直線に対応するマーキングポイント列における、前記画像において最高または最低位置に位置するマーキングポイントを指すステップと、
残りのマーキングポイントと前記第１マーキングポイントとの間の第１距離を取得するステップであって、前記残りのマーキングポイントとは、前記ターゲット直線に対応するマーキングポイント列における、前記第１マーキングポイント以外の他のマーキングポイントを指し、第１間隔とは、前記残りのマーキングポイントと前記第１マーキングポイントとの前記画像座標系での距離を指すステップと、
前記ターゲット直線に対応するマーキングポイント列における、隣接するマーキングポイントの間の第２距離を取得するステップであって、第２間隔とは、前記隣接するマーキングポイントの前記画像座標系での距離を指すステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記画像に対応する画像座標系における前記マーキングポイントの２次元位置座標と、前記ナビゲーションスティックに対応する３次元座標系における前記マーキングポイントの３次元位置座標とに基づいて、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報を決定する前記ステップは、
前記画像に対応する画像座標系における前記マーキングポイントの２次元位置座標と、前記ナビゲーションスティックに対応する３次元座標系における前記マーキングポイントの３次元位置座標とに基づいて、前記カメラに対して姿勢推定処理を行うことで、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報を決定するステップ、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項4】

前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系と、前記カメラに対応する３次元座標系との間の空間変換関係を決定する前記ステップは、
前記カメラに対応する３次元座標系における前記カメラの位置情報を取得するステップと、
前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報と、前記カメラに対応する３次元座標系における前記カメラの位置情報とに基づいて、前記ナビゲーションスティックに対応する３次元座標系と、前記カメラに対応する３次元座標系との間の変換行列を得るステップと、を含み、
ここで、前記空間変換関係には、前記変換行列が含まれる、
ことを特徴とする請求項１に記載の方法。

【請求項5】

第１画像および第２画像は、前記カメラが異なる時点で前記ターゲットシーンを撮影して得られた画像であり、前記方法は、さらに、
前記第１画像における前記ナビゲーションスティックの検出対象位置の空間位置情報と、前記第２画像における前記ナビゲーションスティックの検出対象位置の空間位置情報とに基づいて、前記ナビゲーションスティックの移動距離を決定するステップ、を含む、
ことを特徴とする請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記画像は、少なくとも２つの画像フレームを含み、前記方法は、さらに、
前記画像フレームにおける前記ナビゲーションスティックの検出対象位置の空間位置情報に基づいて、隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線を決定するステップと、
前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線に基づいて、前記少なくとも２つの画像フレームにおいて前記ナビゲーションスティックの検出対象位置によって形成された軌跡を得るステップと、をさらに含む、
ことを特徴とする請求項１～４のいずれか１項に記載の方法。

【請求項7】

前記方法は、さらに、
前記画像フレームにおける前記ナビゲーションスティックの検出対象位置の空間位置情報に基づいて、前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線の長さを決定するステップと、
前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線の長さに基づいて、前記少なくとも２つの画像フレームにおいて前記ナビゲーションスティックの検出対象位置によって形成された軌跡の長さを得るステップと、を含む、
ことを特徴とする請求項６に記載の方法。

【請求項8】

前記カメラは、単眼カメラである、
ことを特徴とする請求項１～４のいずれか１項に記載の方法。

【請求項9】

空間位置決め装置であって、
カメラによってターゲットシーンを撮影して得られた画像を取得する画像取得モジュールであって、前記画像内には、前記ターゲットシーン内に位置するナビゲーションスティックが含まれ、前記ナビゲーションスティックの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある画像取得モジュールと、
前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系における、前記画像に含まれるマーキングポイントの３次元位置座標を決定するマーキング決定モジュールであって、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すマーキング決定モジュールと、
前記画像に対応する画像座標系における前記マーキングポイントの２次元位置座標と、前記ナビゲーションスティックに対応する３次元座標系における前記マーキングポイントの３次元位置座標とに基づいて、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報を決定するカメラ位置決めモジュールと、
前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系と、前記カメラに対応する３次元座標系との間の空間変換関係を決定する空間変換モジュールと、
前記ナビゲーションスティックに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を決定し、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報とする固定点位置決めモジュールと、
を含み、
前記マーキング決定モジュールは、
前記画像に含まれるマーキングポイントの中心を識別するために使用されるマーキング中心識別ユニットと、
前記マーキングポイントの中心を通るターゲット直線を検出するために使用されるターゲット直線検出ユニットであって、前記ターゲット直線が通る前記マーキングポイントの中心の数が条件を満たす、ターゲット直線検出ユニットと、
前記ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得するために使用されるマーキング分布取得ユニットであって、前記ターゲット直線に対応するマーキングポイント列とは、前記ターゲット直線が通るマーキングポイントによって構成される１列のマーキングポイントを指す、マーキング分布取得ユニットと、
前記マーキングポイント分布形態に基づいて、前記ターゲット直線に対応するマーキングポイント列のマーキングポイント情報を決定するために使用されるマーキング情報決定ユニットであって、前記マーキングポイント情報には、前記マーキングポイントアレイにおける、前記ターゲット直線に対応するマーキングポイント列の位置と、前記マーキングポイントアレイにおける、前記ターゲット直線が通るマーキングポイントの位置とが含まれるマーキング情報決定ユニットと、を含むことを特徴とする装置。

【請求項10】

コンピュータデバイスであって、
前記コンピュータデバイスは、プロセッサとメモリを含み、前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセットまたは命令セットは、前記プロセッサによってロードされて実行されることで、請求項１～８のいずれか１項に記載の空間位置決め方法を実現する、
ことを特徴とするコンピュータデバイス。

【請求項11】

コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体には、少なくとも１つの命令、少なくとも１つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセットまたは命令セットは、プロセッサによってロードされて実行されることで、請求項１～８のいずれか１項に記載の空間位置決め方法を実現する、
ことを特徴とする記憶媒体。

【請求項12】

命令を含むコンピュータプログラムであって、
前記コンピュータプログラムがコンピュータ上で実行されるとき、請求項１～８のいずれか１項に記載の空間位置決め方法を前記コンピュータに実行させる、
ことを特徴とするコンピュータプログラム。

【請求項13】

空間位置決め用のナビゲーションスティックであって、前記ナビゲーションスティックは、スティック本体と、プローブヘッドと、ハウジングとを含み、
前記プローブヘッドは、前記スティック本体の一端に接続され、空間位置決めの検出対象位置として、請求項１～８のいずれか１項に記載の空間位置決め方法によって、空間中の任意の１つの点の空間位置情報を決定するものである、
ことを特徴とするナビゲーションスティック。

【請求項14】

前記スティック本体の内部には、収納キャビティがあり、前記収納キャビティには、前記ナビゲーションスティックを駆動するための回路コンポーネントが配置されており、
前記ハウジングは、前記スティック本体の外側に套設され、前記ハウジングの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある、
ことを特徴とする請求項１３に記載のナビゲーションスティック。

【請求項15】

前記マーキングポイントアレイには、前記スティック本体の軸方向に分布されているｎ個のマーキングポイント列が含まれ、前記ｎは、１よりも大きい整数であり、
前記ｎ個のマーキングポイント列には、同じ数量のマーキングポイントが含まれ、かつ、任意の２つのマーキングポイント列におけるマーキングポイントの分布も異なる、
ことを特徴とする請求項１３に記載のナビゲーションスティック。

【請求項16】

前記マーキングポイント列には、マーキングポイント位置と空席位置とが含まれ、前記マーキングポイント位置には、前記マーキングポイントがあり、前記空席位置には、前記マーキングポイントがなく、
任意の２つのマーキングポイント列における前記マーキングポイント位置および前記空席位置の分布も異なる、
ことを特徴とする請求項１５に記載のナビゲーションスティック。

【請求項17】

前記ハウジングと前記スティック本体の間は、取り外し可能に接続される、
請求項１３～１６のいずれか１項に記載のナビゲーションスティック。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本願は、２０２０年０７月２１日に中国特許局へ出願された、出願番号が２０２０１０７０７４９７．６であり、発明の名称名称が「空間位置決め方法、装置、デバイス、記憶媒体およびナビゲーションスティック」である中国特許出願の優先権を主張しており、そのすべての内容が、参照により本願に組み込まれる。

【0002】

［技術分野］
本願は、人工知能の技術分野に関し、特に、空間位置決めに関する。

【背景技術】

【0003】

手術ナビゲーションシステムは、患者の術前や術中の画像データと、手術ベッド上の患者の解剖構造とを正確に対応させ、手術ナビゲーションシステムにおいて、ターゲット位置に対して空間位置決めを行う必要があり、それにより、外科手術をより迅速、より正確、かつより安全にするものである。

【0004】

従来の空間位置決め方法は、ホスト、トラッカーおよび追跡ツールに頼る必要がある。ここで、トラッカーは、ホストに接続され、トラッカーには、赤外線発光装置および３Ｄカメラが含まれる。赤外線発光装置は、赤外線を発射して、追跡ツールに固定されている反射球によって反射させた後、３Ｄカメラにおいてイメージングさせ、その後、追跡ツール上の反射球の位置を参照とすることにより、追跡ツール上の針先に対して位置特定を行う。ここで、追跡ツールは、臨床的には、ナビゲーションスティックとも呼ばれ、トラッカーの追跡範囲内でトラッカーに向かって移動する必要があり、それにより、空間位置決めを完成させる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

これに鑑みて、本願の実施例は、空間位置決め方法、関連装置およびナビゲーションスティックを提供し、空間位置決めの範囲を拡大させ、ナビゲーションスティックの移動の柔軟性を向上させ、空間位置決めのコストを低減させることができる。

【課題を解決するための手段】

【0006】

上記の目的を達成するために、本願の実施例は、下記の技術的解決案を提供し、即ち、
一態様において、本願の実施例は、空間位置決め方法を提供し、当該方法は、
カメラによってターゲットシーンを撮影して得られた画像を取得するステップであって、前記画像内には、前記ターゲットシーン内に位置するナビゲーションスティックが含まれ、前記ナビゲーションスティックの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある、ステップと、
前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系における、前記画像に含まれるマーキングポイントの３次元位置座標を決定するステップであって、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すステップと、
前記画像に対応する画像座標系における前記マーキングポイントの２次元位置座標と、前記ナビゲーションスティックに対応する３次元座標系における前記マーキングポイントの３次元位置座標とに基づいて、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報を決定するステップと、
前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系と、前記カメラに対応する３次元座標系との間の空間変換関係を決定するステップと、
前記ナビゲーションスティックに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を決定し、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報とするステップと、を含む。

【0007】

一方、本出願の実施形態は、空間位置決め装置を提供し、当該装置は、
カメラによってターゲットシーンを撮影して得られた画像を取得する画像取得モジュールであって、前記画像内には、前記ターゲットシーン内に位置するナビゲーションスティックが含まれ、前記ナビゲーションスティックの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある画像取得モジュールと、
前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系における、前記画像に含まれるマーキングポイントの３次元位置座標を決定するマーキング決定モジュールであって、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すマーキング決定モジュールと、
前記画像に対応する画像座標系における前記マーキングポイントの２次元位置座標と、前記ナビゲーションスティックに対応する３次元座標系における前記マーキングポイントの３次元位置座標とに基づいて、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報を決定するカメラ位置決めモジュールと、
前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系と、前記カメラに対応する３次元座標系との間の空間変換関係を決定する空間変換モジュールと、
前記ナビゲーションスティックに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を決定し、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報とする固定点位置決めモジュールと、を含む。

【0008】

また、本出願の実施形態は、コンピュータデバイスを提供し、当該コンピュータデバイスは、プロセッサとメモリを含み、前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセットまたは命令セットは、前記プロセッサによってロードされて実行されることで、上記の空間位置決め方法を実現する。

【0009】

また、本出願の実施形態は、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体には、少なくとも１つの命令、少なくとも１つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセットまたは命令セットは、プロセッサによってロードされて実行されることで、上記の空間位置決め方法を実現する。

【0010】

また、本出願の実施形態は、命令を含むコンピュータプログラムを提供し、前記コンピュータプログラムがコンピュータ上で実行されるとき、上記の空間位置決め方法を前記コンピュータに実行させる。

【0011】

また、本出願の実施形態は、空間位置決め用のナビゲーションスティックを提供し、前記ナビゲーションスティックは、スティック本体と、プローブヘッドと、ハウジングとを含み、
前記プローブヘッドは、前記スティック本体の一端に接続され、空間位置決めの検出対象位置として、上記の空間位置決め方法によって、空間中の任意の１つの点の空間位置情報を決定するものである。

【0012】

以上のように、本願の実施例によって提供される技術的解決手段は、カメラの撮影範囲を空間位置決め範囲とし、ナビゲーションスティックと端末とによって構成される空間位置決めシステムのみを採用して、カメラが任意の角度で撮影した画像におけるマーキングポイントのマーキングポイント分布形態のマーキングポイント情報を抽出することができ、マーキングポイント情報によって、ナビゲーションスティックに対応する３次元座標系における、この画像に含まれるマーキングポイントの３次元位置座標を決定し、この画像に対応する画像座標系における、マーキングポイントの２次元位置座標と、上記の決定された３次元位置座標とを基として、カメラの位置姿勢を推定し、ナビゲーションスティックに対応する３次元座標系と、画像に対応する画像座標系との間の空間変換関係を得て、上記の空間変換関係に従って、ナビゲーションスティックが所在する検出対象位置に対して空間位置決めを行い、カメラに対応する３次元座標系における検出対象位置の３次元位置座標を得る。これによって、ナビゲーションスティックに対応する３次元座標系と、カメラに対応する３次元座標系との間の空間変換関係を決定することにより、カメラもナビゲーションスティックは、いずれも、任意に移動することができ、これによって、ナビゲーションスティックの移動の柔軟性を向上させ、空間位置決め範囲が拡大され、空間位置決めの柔軟性を向上させ、空間位置決めのコストが低減される。

【図面の簡単な説明】

【0013】

本願の実施例または既存技術における技術的解決案をより明確に説明するために、以下、実施例または既存技術の説明において必要とされる図面を簡単に説明し、明らかに、以下の説明における図面は、本願の実施例にすぎず、当業者にとって、創造的な努力なしに、これらの図面から他の図面を得ることもできる。

【図1】本願の一実施例によって提供される空間位置決めシステムの模式図である。

【図2】空間位置決めのためのユーザインターフェースの模式図を例示的に示す図である。

【図3】空間距離測定のためのユーザインターフェースの模式図を例示的に示す図である。

【図4】空間輪郭線描画のためのユーザインターフェースの模式図を例示的に示す図である。

【図5】本願の一実施例によって提供される空間位置決めのためのナビゲーションスティックの模式図である。

【図6】マーキングポイントアレイにおけるマーキングポイントの分布形態を示す模式図である。

【図7】本願の一実施例によって提供される空間位置決め方法のフローチャートである。

【図8】カメライメージングモデルの模式図を例示的に示す図である。

【図9】本願の他の実施例によって提供される空間位置決め方法のフローチャートである。

【図10】本願の一実施例によって提供される空間位置決め装置のブロック図である。

【図11】本願の他の実施例によって提供される空間位置決め装置のブロック図である。

【図12】本願の一実施例によって提供されるコンピュータデバイスの構造のブロック図である。

【発明を実施するための形態】

【0014】

以下では、本願の実施例における図面を参照しながら、本願の実施例における技術的解決案を明確かつ完全に説明し、明らかに、記載された実施例は、全ての実施例ではなく、本願の一部の実施例にすぎない。本願における実施例に基づいて、当業者が創造的な労力をしない前提で取得される他のすべての実施例は、本願の保護の範囲に属するべきである。

【0015】

人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、デジタルコンピュータまたはデジタルコンピュータによって制御されるマシンを使用して、人間の知能をシミュレート、伸長および拡張し、環境を感知し、知識を獲得して、知識を利用することで最適な結果を得るために使用される理論、方法、技術およびオペレーティングシステムである。言い換えれば、人工知能は、コンピュータ科学の総合的な技術であり、知能の本質を理解することを企んで、人間の知能と似ている方式で応答することができる新しい知能マシンを作り出す。人工知能とは、様々な知能マシンの設計原理および実現方法を研究して、マシンに感知、推理および意思決定の機能を持たせることである。

【0016】

人工知能技術は、総合的な学科であり、幅広い分野に関与しており、ハードウェアレベルの技術もあるし、ソフトウェアレベルの技術もある。人工知能の基礎技術には、一般的に、センサ、専用の人工知能チップ、クラウドコンピューティング、分散型ストレージ、ビッグデータ処理技術、オペレーティング／インタラクションシステム、機電一体化などの技術が含まれている。人工知能ソフトウェア技術には、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術、および機械学習／深層学習などのいくつかの方向性が含まれている。

【0017】

コンピュータビジョン（ＣＶ：Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）技術は、どのようにマシンに「観察させる」か、を研究する科学であり、さらに言えば、人間の目の代わりに、カメラとコンピュータを使用して、ターゲットに対して識別したり、追跡したり、測定したりするマシンビジョン技術を指し、さらに、グラフィック処理を行うことにより、人間の目が観察するのにより適することができる画像、または機械に伝送して検出され得る画像としてコンピュータに処理させる。科学の一つ学部門として、コンピュータビジョンは、関連する理論および技術を研究して、画像または多次元データから情報を取得することができる人工知能システムを構築することを試みる。コンピュータビジョン技術には、一般的に、画像処理、画像識別、画像分割、画像意味理解、画像検索、ＯＣＲ、ビデオ処理、ビデオ意味理解、ビデオコンテンツ／行為識別、三次元オブジェクト再構築、３Ｄ技術、仮想現実、強化現実、同期位置決め、地図構築などの技術が含まれており、さらに、よく見受けられる顔識別、指紋識別などの生体特徴識別技術が含まれている。

【0018】

本願の実施例によって提供される解決案は、人工知能技術のコンピュータ視覚技術に関し、本願の目的、技術的解決案および利点をより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳細に説明する。

【0019】

図１を参照すると、この図は、本願の一実施例によって提供される空間位置決めシステムの模式図を示す。当該空間位置決めシステムは、端末１０と、ナビゲーションスティック２０とを含み得る。

【0020】

端末１０は、例えば携帯電話、タブレット、ゲームホスト、ウェアラブルデバイス、パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの電子デバイスであり得る。オプションとして、端末１０は、例えばＡｎｄｒｏｉｄ（アンドロイド（登録商標））システムに基づく、タブレットなどのようなリムーバブル端末デバイスであり、従来の空間位置決めシステムに必要なＰＣやトラッカーの代わりに、上記のリムーバブル端末デバイスを使用することができ、これにより、空間位置決めシステム内のデバイスの数が低減される。オプションとして、上記のリムーバブル端末デバイスとナビゲーションスティック２０との間には物理的接続がなくなることにより、従来のＰＣとトラッカーとの間の有線接続が代替され、例えば、図１に示すように、リムーバブル端末デバイスとナビゲーションスティック２０は、無線ネットワークまたはモノインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）３０を介して接続され、しかも、上記のリムーバブル端末デバイスは、トラッカーを必要とせずに、ナビゲーションスティックに対して空間位置決めを行うことができる。

【0021】

オプションとして、端末１０には、アプリケーションプログラムのクライアントがインストールされている。本願の実施例では、上記のアプリケーションプログラムは、ユーザがターゲットシーンにおいてナビゲーションスティックの検出対象位置（例えば、針先位置）に対して空間位置決めを行うように、ターゲットシーンを撮影して得られた画像を表示することができる任意のアプリケーションプログラムであり得る。典型的には、当該アプリケーションプログラムは、神経外科手術ナビゲーションアプリケーションプログラムである。上記の神経外科手術ナビゲーションアプリケーションプログラムは、端末１０にインストールされており、神経外科手術ナビゲーション機能を完成するために、ナビゲーションスティックも配置される必要があり、上記のナビゲーションスティックは、神経外科手術シーンにおいて空間位置決めを行うために使用される手術器具である。勿論、神経外科手術ナビゲーションアプリケーションプログラムに加えて、他のタイプのアプリケーションプログラムは、ユーザにターゲットシーンを表示して、空間位置決めの機能を完成することもでき、例えば、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）類アプリケーションプログラム、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）類アプリケーションプログラム、３次元地図プログラム、軍事シミュレーションプログラム、グラフィック描画類プログラム、モデル描画類アプリケーションプログラムなどであってもよいし、本願の実施例では、これについて限定しない。

【0022】

また、異なるアプリケーションプログラムによって、そのプログラムによって提供されるターゲットシーンも異なり、また、対応する機能も異なり、これらは、いずれも、実際のニーズに応じて予め設定され得ており、本願の実施例では、これについて限定しない。

【0023】

上記のナビゲーションスティック２０は、空間位置決めのために使用される手術器具である。オプションとして、ナビゲーションスティックの外面には、ナビゲーションスティックに対して位置特定を行うために使用されるマーキングポイントアレイを有する。上記のマーキングポイントアレイは、マーキングポイントが、一定の特徴に従って分布して形成されたアレイであり、それに対応するマーキングポイントの分布形態は、上記の端末１０におけるカメラによって撮影された画像内に表示され得ており、また、端末１０によって認識され得て、マーキングポイントアレイにおけるマーキングポイントの分布形態によって、上記のナビゲーションスティック２０の空間位置情報が取得され得る。

【0024】

いくつかの実施例では、上記の神経外科手術ナビゲーションアプリケーションプログラムには、空間位置決め機能、空間距離測定機能および空間輪郭線描画機能という３つの機能が含まれている。

【0025】

一例では、図２を参照すると、この図は、空間位置決めのためのユーザインターフェースの模式図を示す。ユーザインターフェース２０には、ターゲットシーン２１、オプションボタン２２、開始ボタン２３および機能切り替えボタン２４が含まれている。ここで、ターゲットシーン２１には、ナビゲーションスティック２５が含まれており、ナビゲーションスティック２５の外面には、マーキングポイント２６が分布され、マーキングポイントの中心には、検出マーク２７が表示されている。ナビゲーションスティックのスティック先２８は、空間位置決め場合の検出対象位置であり、ナビゲーションスティックのスティック先２８が所在する位置の隣に、ナビゲーションスティックのスティック先２８の座標情報２９が表示されている。上記の機能ボタン２４は、上記の空間位置決め機能、空間距離測定機能および空間輪郭線描画機能を切り替えるために使用されるものである。オプションとして、切り替えボタン２４がクリックされるたびに、上記の神経外科手術ナビゲーションアプリケーションプログラムは、機能を切り替える。例えば、機能切り替えボタン２４が初回にクリックされると、対応する機能は、空間位置決め機能になり、機能切り替えボタン２４が再度クリックされると、対応する機能は、空間距離測定機能になり、機能切り替えボタン２４がさらにクリックされると、機能は空間輪郭線描画機能になり、これによって類推すればよい。

【0026】

一例では、図３を参照すると、この図は、空間距離測定のためのユーザインターフェースの模式図を示す。ここで、ユーザインターフェース２０には、ナビゲーションスティックのスティック先２８が２つの位置の間を接続するための接続線３１と、接続線３１に対応する移動距離情報３２とが表示されている。

【0027】

一例では、図４を参照すると、この図は、空間輪郭線描画のためのユーザインターフェースの模式図を示す。ここで、ユーザインターフェース２０には、ナビゲーションスティックのスティック先２８によって形成された軌跡４１が表示されている。オプションとして、ユーザインターフェース２０には、軌跡４１の長さ情報４２が表示されている。

【0028】

図２～図４では、ナビゲーションスティックの代わりにマーカーペン、ナビゲーションスティックのスティック先位置の代わりにマーカーペンのペン先位置を使用して模式的に説明し、本願では、ナビゲーションスティックの具体的な形状や様式については限定しない。

【0029】

例示的な実施例では、図２に示すナビゲーションスティック２５と、図１に示す端末１０とは、神経外科手術ナビゲーションシステムを構成することができる。オプションとして、上記の機能切り替えボタン２４は、ナビゲーションスティック２５に設けられる。オプションとして、端末１０とナビゲーションスティック２５との間は、近距離無線通信を介して接続されて、相互に通信可能になる。例えば、ユーザが上記の機能切り替えボタン２４を押す場合、ナビゲーションスティック２５は、端末１０へ機能切り替え信号を送信し、端末１０は、上記の機能切り替え信号に応答して、切り替えられた機能に対応するプログラムを実行することにより、ユーザによって選択された機能を実行する。ナビゲーションスティック２５に設けられた機能切り替えボタン２４を操作することで、上記の３つの機能を切り替えることにより、上記の手術ナビゲーションシステムの使いやすさをさらに向上させる。本願の実施例では、上記の端末１０とナビゲーションスティック２５との間に使用されるモノインターネット接続技術について限定しない。

【0030】

図５を参照すると、この図は、本願の実施例によって提供される空間位置決めのためのナビゲーションスティックの模式図を示す。該ナビゲーションスティック５０は、スティック本体５１と、プローブヘッド５２と、ハウジング（図示せず）とを含む。

【0031】

プローブヘッド５２は、スティック本体５１の一端に接続される。オプションとして、プローブヘッド５２は、針状プローブヘッドであり、プローブヘッドの針先位置を、空間位置決めの検出対象位置として使用し、空間内の任意の１つの点に対して位置決めが実行され、これにより、空間位置決めの正確性を向上させる。オプションとして、プローブヘッド５２の材質は、金属材質またはセラミック材質である。オプションとして、スティック本体５１は、円柱体または角柱体である。スティック本体５１は、円柱体である場合、その外面は、マーキングポイントの分布をより容易にし、マーキングポイントを任意の角度で表示効果を良好にさせ、これにより、マーキングポイントの識別可能性および識別正確性を向上させる。

【0032】

スティック本体５１の内部には、収納キャビティ（図示せず）があり、収納キャビティには、ナビゲーションスティック５０を駆動するための回路コンポーネント（図示せず）が配置されている。オプションとして、スティック本体５１の内部は、中空構造であり、収納キャビティを有し、上記の収納キャビティは、円柱状の中空空間であり、電源および上記の回路コンポーネントを収納することができる。オプションとして、上記の回路ンポーネントは、回路基板を含む。オプションとして、上記の回路基板は、印刷回路基板（ＰＣＢ：Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ）またはフレキシブル回路基板（ＦＰＣ：Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）である。オプションとして、上記の回路コンポーネントには、回路素子または半導体素子、例えば処理チップ、ＲＦアンテナ、抵抗、コンデンサなどの素子が含まれる。

【0033】

ハウジングは、スティック本体５１の外側に套設され、ハウジングの外面には、ナビゲーションスティック５０に対して位置決めを行うために使用されるマーキングポイントアレイ５４がある。オプションとして、上記のハウジングの形状は、上記のスティック本体５１によって決定され、例えば、上記のスティック本体５１が円柱状である場合、上記のハウジングは、円柱状のハウジングであり、上記のマーキングポイントアレイ５４を分布させ、およびスティック本体５１を保護するためのものである。

【0034】

オプションとして、ハウジングとスティック本体５１の間は、取り外し可能に接続される。オプションとして、条件が許容される場合には、ハウジングが別の手術器具の外側に套設され得て、この場合、新しいナビゲーションスティックが形成され得て、これにより、空間位置決めシステムにおけるデバイスの数が効果的に減少され、これによって、本願の実施例によって提供される空間位置決め方法の応用シーンをより豊富にするとともに、製造材料の消費を低減させ、環境保護効果を有する。

【0035】

オプションとして、マーキングポイントアレイ５４には、スティック本体５１の軸方向に分布されているｎ個のマーキングポイント列が含まれ、ｎは、１よりも大きい整数である。上記のスティック本体５１の軸方向とは、スティック本体の中心軸５５と平行な方向を指す。オプションとして、マーキングポイントアレイ５４におけるマーキングポイント列の数ｎは、上記のスティック本体５１が所在する円柱の半径によって決定され、上記のナビゲーションスティック５０を任意の角度で観察する際に少なくとも２列のマーキングポイント列が視認可能であることを保証するために使用される。オプションとして、上記のナビゲーションスティック５０を任意の角度で観察する際に３列のマーキングポイント列が視認可能になり、そのうち、１列のマーキングポイント列は、予備のマーキングポイント列である。

【0036】

オプションとして、任意の２つのマーキングポイント列におけるマーキングポイント５３の分布も異なり、マーキングポイント５３のマーキングポイント分布形態により、マーキングポイントアレイ５４における、マーキングポイント５３が所在するマーキングポイント列の位置を判定することができる。

【0037】

オプションとして、各マーキングポイント列５４には、同じ数量のマーキングポイント５３が含まれ、かつ、任意の２つのマーキングポイント列５４におけるマーキングポイント５３の分布も異なる。オプションとして、上記のマーキングポイント５３は、アクティブマーキングポイントまたはパッシブマーキングポイントである。上記のアクティブマーキングポイントとは、表示機能の実現に電源が必要とされるマーキングポイントを指す。上記のパッシブマーキングポイントは、電源によるエネルギー供給を必要とせずに、マーキングポイントのパターンやマーキングポイントの使用材料によりマーキング機能を実現する。オプションとして、異なるナビゲーションスティック５０におけるマーキングポイント列５４のマーキングポイント５３の数は異なり、マーキングポイント列のマーキングポイントの数によって、画像における異なるナビゲーションスティック５０が区別され得る。マーキングポイント列には、マーキングポイント位置と空席位置が含まれ、マーキングポイント位置には、マーキングポイント５３があり、空席位置には、マーキングポイント５３がない。任意の２つのマーキングポイント列５４におけるマーキングポイント位置および空席位置の分布も異なる。

【0038】

例示的な実施例では、図６に示すように、それは、マーキングポイントアレイにおけるマーキングポイント分布形態の模式図を示す。ここで、マーキングポイントアレイ６０は、６列のマーキングポイント列６１を含み、各マーキングポイント列６１には、９個の位置６２がある。各マーキングポイント列の９個の位置のうち、８個のマーキングポイント位置には、マーキングポイント６３が分布されており、１個は、空席位置６４であり、空席位置６４には、マーキングポイント６３が分布していない。マーキングポイント列６１における上記の空席位置６４の並べ替え位置は、マーキングポイントアレイ６０におけるマーキングポイント列６１の位置を決定することができ、図６では、１列目のマーキングポイント列の空席位置６４は、２番目の位置であり、２列目のマーキングポイント列の空席位置６４は、３番目の位置であり、これによって類推すればよい。空席位置６４の並べ替え位置が既知であれば、上記の関係に基づいて、マーキングポイントアレイ６０における、当該空席位置６４が所在するマーキングポイント列６１の位置を決定することができる。

【0039】

オプションとして、上記のナビゲーションスティック５０のスティック本体５１には、ユーザ操作用のボタン（図示せず）が設けられている。オプションとして、上記のボタンは、機能切り替えボタンであり、上記の機能切り替えボタンは、上記のスティック本体５１の他端に設けられており、これにより、空間位置決めシステムの使いやすさを向上させる。

【0040】

図７を参照すると、この図は、本願の一実施例によって提供される空間位置決め方法のフローチャートを示す。該方法は、コンピュータデバイスに適用され得て、各ステップの実行主体は、図１に示す空間位置決めシステムの端末１０であってもよい。該方法は、以下のステップ（７０１～７０５）を含み得る。

【0041】

ステップ７０１で、カメラによってターゲットシーンを撮影して得られた画像を取得する。

【0042】

カメラは、光学イメージングの原理を利用して映像を形成し、写真フィルムで映像を記録するデバイスであり、撮影のために使用される光学器具である。現代社会の生活では、例えば医療イメージングデバイスや天文観測デバイスなどのような、映像を記録することができるデバイスは多くあり、それらは、いずれも、カメラの特徴を有する。カメラの光学イメージングシステムは、幾何光学原理に従って設計され、レンズを通じて、背景／物の映像を光線の直線伝播、屈折または反射によって像平面に正確にフォーカスさせる。オプションとして、上記のカメラは、端末に取り付けられてもよい。オプションとして、上記のカメラは、単眼カメラである。本願では、カメラのタイプおよびカメラが取り付けられたコンピュータデバイスのタイプについて限定しない。

【0043】

ターゲットシーンとは、特定の空間に表示されるシーンを指す。オプションとして、ターゲットシーンは、神経外科手術における実際の物理環境の空間シーンである。

【0044】

上記の画像は、ターゲットシーンに対する客観的な反映であり、ターゲットシーンにおける物体に関する情報を含み、本実施によって提供される空間位置決め方法の情報ソースである。オプションとして、画像内には、ターゲットシーン内に位置するナビゲーションスティックが含まれており、上記のナビゲーションスティックは、空間位置決めのための手術器具である。オプションとして、ナビゲーションスティックの外面には、ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイが設けられている。上記のマーキングポイントアレイは、マーキングポイントが特定の特徴に従って分布し形成されたアレイであり、それに対応するマーキングポイントの分布形態は、上記の画像内に表示され、コンピュータデバイスによって認識され得て、上記のナビゲーションスティックの位置情報は、マーキングポイントアレイにおけるマーキングポイントの分布形態によって取得され得る。

【0045】

カメラは、カメラモデルに従ってターゲットシーンを撮影して画像を得る。上記のカメラモデルは、カメラが、ターゲットシーンが所在する３次元立体空間を撮影することにより、ターゲットシーンが所在する３次元立体空間を２次元平面画像に投影し、３次元立体空間と２次元平面画像との間のマッピング関係を確立する、ということを指す。

【0046】

オプションとして、３次元立体空間に対応する座標系は、世界（ワールド）座標系、ローカル座標系、およびカメラ座標系を含む。上記の世界座標系は、空間位置決めシステムの絶対座標系であり、ユーザ座標系が確立される前に画像内の全ての点の座標が、いずれも、この座標系の原点によってそれぞれの位置を決定し得られたものであり、上記のローカル座標系とは、物体の中心を座標原点とし、物体の回転や平行移動などの操作が、いずれも、ローカル座標系に準じて行われるものである、ということを指し、この場合、物体モデルが回転や平行移動などの操作を行う際に、ローカル座標系も、対応する回転や平行移動などの操作を実行する。オプションとして、上記のローカル座標系は、上記のナビゲーションスティックにおける特定の点を座標原点として確立された３次元デカルト座標系である。上記のカメラ座標系は、カメラのフォーカス中心を原点とし、カメラの光軸をＺ軸として確立された３次元直交座標系である。

【0047】

オプションとして、上記の２次元平面画像に対応する座標系は、画像座標系およびイメージング平面座標系を含む。上記の画像座標系とは、画像の左上隅を原点として確立された、画素を単位とする直交座標系ｕ－ｖを指す。画素の横座標ｕおよび縦座標ｖは、それぞれ、画像配列における当該画素が所在する列番号および行番号である。画像座標系では、数字画像における画素が位置する列番号と行番号のみが表示され、画像におけるこの画素の物理的位置が物理単位で表示されておらず、そのため、物理単位（例えばｃｍ）で表示されるイメージング平面座標系ｘ－ｙを再確立する必要がある。ここで、（ｘ，ｙ）は、物理単位で計測されたイメージング平面座標系の座標を表す。イメージング平面座標系では、原点は、カメラ光軸とイメージング平面との交点において定義され、画像の主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）と呼ばれ、この点は、一般的には、画像の中心に位置する。

【0048】

オプションとして、カメラ座標系の原点は、カメラの光心であり、イメージング平面座標系におけるｘ軸およびｙ軸は、カメラ座標系におけるＸ軸およびＹ軸と平行であり、ｚ軸は、カメラの光軸であり、グラフィック平面と垂直である。カメラの光軸とイメージング平面との交点は、画像座標系の原点であり、画像座標系は、２次元直交座標系である。

【0049】

図８を参照すると、この図は、カメライメージングモデルの模式図を示す。ナビゲーションスティックは、カメラの光軸中心点Ｏ１を通じてイメージング平面に投射され、ナビゲーションスティックに対応するローカル座標系、イメージング平面に対応する画像座標系およびカメラに対応するカメラ座標系を含むカメラモデル（ピンホールモデルとも呼ばれる）が確立される。上記のローカル座標系の座標原点Ｏ２は、ナビゲーションスティックにおける、１列目のマーキングポイント列における１番目のマーキングポイントの、円柱の軸心上での投影点であり、上記のカメラ座標系の座標原点は、Ｏ点であり、上記の画像座標系の座標原点は、カメラの光軸中心点Ｏ１であり、ＯからＯ１への距離は、焦点距離ｆである。ナビゲーションスティックに対応するローカル座標系における、ナビゲーションスティックにおけるマーキングポイントＭの座標が（Ｘｗ，Ｙｗ，Ｚｗ）として示され、カメラに対応するカメラ座標系における座標が（Ｘｃ，Ｙｃ，Ｚｃ）として示され、イメージング平面に対応する画像座標系における座標が（ｘ，ｙ）として示される。

【0050】

ステップ７０２、画像におけるマーキングポイント情報に基づいて、ナビゲーションスティックに対応する３次元座標系における、画像に含まれるマーキングポイントの３次元位置座標を決定する。

【0051】

マーキングポイント情報は、マーキングポイントの位置情報を含む。オプションとして、マーキングポイント情報は、マーキングポイントの形状情報をさらに含み、上記のマーキングポイントの形状情報とは、マーキングポイントパターンの形状情報を指す。オプションとして、マーキングポイントのパターンには、円形、四角形、扇形などの１つまたは複数の形状の組み合わせパターンが含まれる。上記のマーキングポイントの位置情報とは、画像におけるマーキングポイントの位置およびマーキングポイントアレイにおけるマーキングポイントの位置を指す。オプションとして、マーキングポイント情報は、画像に含まれるマーキングポイントの、マーキングポイントアレイにおける位置を示すために使用され、ナビゲーションスティックに対応する３次元座標系における、画像に含まれるマーキングポイントの３次元位置座標は、画像におけるマーキングポイント情報に基づいて決定され得る。

【0052】

ステップ７０３、画像に対応する画像座標系におけるマーキングポイントの２次元位置座標と、ナビゲーションスティックに対応する３次元座標系におけるマーキングポイントの３次元位置座標とに基づいて、ナビゲーションスティックに対応する３次元座標系におけるカメラの位置情報を決定する。

【0053】

オプションとして、画像に対応する画像座標系は、上記の２次元平面画像に対応する座標系に含まれる画像座標系またはイメージング平面座標系である。オプションとして、ナビゲーションスティックに対応する３次元座標系は、ナビゲーションスティックにおけるある点を座標原点として確立されたローカル座標系であり、ここで、マーキングポイントアレイにおける各マーキングポイント列の１番目のマーキングポイントの中心により囲まれた円の円心を座標原点として選出し、座標原点を、ナビゲーションスティックの軸心上に位置させる。

【0054】

オプションとして、画像に対応する画像座標系におけるマーキングポイントの２次元位置座標、およびナビゲーションスティックに対応する３次元座標系におけるマーキングポイントの３次元位置座標は、マーキングポイントの位置情報である。ここで、画像に対応する画像座標系におけるマーキングポイントの２次元位置座標は、画像におけるマーキングポイントの位置情報であり、ナビゲーションスティックに対応する３次元座標系におけるマーキングポイントの３次元位置座標は、マーキングポイントアレイにおけるマーキングポイントの位置情報である。

【0055】

オプションとして、ナビゲーションスティックに対応する３次元座標系におけるカメラの位置情報には、上記のローカル座標系におけるカメラの座標が含まれる。

【0056】

ステップ７０４、ナビゲーションスティックに対応する３次元座標系におけるカメラの位置情報に基づいて、ナビゲーションスティックに対応する３次元座標系と、カメラに対応する３次元座標系との間の空間変換関係を決定する。

【0057】

上記の空間変換関係とは、２つの座標系間の１対１で対応する関係を指す。オプションとして、ナビゲーションスティックに対応する３次元座標系とカメラに対応する３次元座標系との間の空間変換関係は、上記のローカル座標系と上記のカメラ座標系の間の１対１で対応する関係である。

【0058】

上記の空間変換関係は、座標変換の根拠であり、座標変換は、空間エンティティに対する位置記述であり、１つの座標システムから別の座標システムに変換するプロセスである。例えば、１つの座標系における１つの点の（１組）座標は、空間変換関係に従って、新しい座標系の（別の組）座標に変換される。ここで、新しい座標系は、元の原座標系と同じタイプの座標系であってもよく、例えば、元の座標軸の平行移動や回転などによって新しい座標系が得られて、また、異なるタイプの座標系であってもよいし、例えば、直交座標系から極座標系などに変わる。

【0059】

ステップ７０５で、ナビゲーションスティックに対応する３次元座標系におけるナビゲーションスティックの検出対象位置の３次元位置座標と、空間変換関係とに基づいて、カメラに対応する３次元座標系におけるナビゲーションスティックの検出対象位置の３次元位置座標を決定し、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を、ナビゲーションスティックの検出対象位置の空間位置情報とする。

【0060】

ナビゲーションスティックの検出対象位置とは、ナビゲーションスティックに位置し、空間内のある点が所在する位置を表すために使用される検出点を指す。オプションとして、ナビゲーションスティックの検出対象位置は、ナビゲーションスティックの針先やスティック先である。

【0061】

オプションとして、ナビゲーションスティックに対応する３次元座標系におけるナビゲーションスティックの検出対象位置の３次元位置座標は、上記のローカル座標系におけるナビゲーションスティックの針先の座標である。

【0062】

上記の空間変換関係に従って、ナビゲーションスティックに対応する３次元座標系におけるナビゲーションスティックの検出対象位置の３次元位置座標に対して座標変換処理を行い、カメラに対応する３次元座標系におけるナビゲーションスティックの検出対象位置の３次元位置座標を得る。

【0063】

オプションとして、カメラに対応する３次元座標系におけるナビゲーションスティックの検出対象位置の３次元位置座標は、上記のカメラ座標系におけるナビゲーションスティックの針先の座標である。

【0064】

以上のように、本願の実施例によって提供される技術的解決手段は、カメラの撮影範囲を空間位置決め範囲とし、ナビゲーションスティックと端末とによって構成される空間位置決めシステムのみを採用して、カメラが任意の角度で撮影した画像におけるマーキングポイントのマーキングポイント分布形態のマーキングポイント情報を抽出することができ、マーキングポイント情報によって、ナビゲーションスティックに対応する３次元座標系における、この画像に含まれるマーキングポイントの３次元位置座標を決定し、この画像に対応する画像座標系における、マーキングポイントの２次元位置座標と、上記の決定された３次元位置座標とを基として、カメラの位置姿勢を推定し、ナビゲーションスティックに対応する３次元座標系と、画像に対応する画像座標系との間の空間変換関係を得て、上記の空間変換関係に従って、ナビゲーションスティックが所在する検出対象位置に対して空間位置決めを行い、カメラに対応する３次元座標系における検出対象位置の３次元位置座標を得る。これによって、ナビゲーションスティックに対応する３次元座標系と、カメラに対応する３次元座標系との間の空間変換関係を決定することにより、カメラもナビゲーションスティックは、いずれも、任意に移動することができ、これによって、ナビゲーションスティックの移動の柔軟性を向上させ、空間位置決め範囲が拡大され、空間位置決めの柔軟性を向上させ、空間位置決めのコストが低減される。

【0065】

図９を参照すると、この図は、本願の別の実施例によって提供される空間位置決め方法のフローチャートを示す。該方法は、図１に示すアプリケーションプログラムの実行環境に適用され得る。該方法は、以下のステップ（９０１～９１０）を含み得る。

【0066】

ステップ９０１で、カメラによってターゲットシーンを撮影して得られた画像を取得する。

【0067】

ステップ９０２で、画像に含まれるマーキングポイントの中心を識別する。

【0068】

画像に対して画像前処理を行う。オプションとして、画像前処理は、階調処理、二値化処理、フィルタリング処理およびノイズ除去処理を含む。

【0069】

形状情報を利用して、例えば真円度（ｃｉｒｃｕｌａｒｉｔｙ）、凸性（ｃｏｎｖｅｘｉｔｙ）、面積（ａｒｅａ）、形状やサイズ、慣性比などの情報を利用して、ターゲットシーンにおける非マーキングポイントおよび投影方向からずれたマーキングポイントを除去する。ここで、ターゲットシーンにおける非マーキングポイントは、形状やサイズ、真円度、凸性によって除去され得て、例えば、正六角形の真円度は、正方形よりも高くて、円の真円度は、正六角形よりも高く、投影方向からずれたマーキングポイントは、形状の慣性比によって除去され得る。形状の延伸長さは、上記の慣性比によって計測され得て、例えば、円の場合、この値は１であり、楕円の場合、この値は０～１の間であり、ラインの場合、この値は０である。

【0070】

オプションとして、画像に含まれるマーキングポイントの中心は、Ｂｌｏｂ解析によって識別される。上記のＢｌｏｂ解析の目的は、画像内のマーキングポイントに対して検出および解析を行うことで、例えばマーキングポイント位置、形状、方向およびマーキングポイント間のトポロジー関係（即ち、包含関係）などの情報を得る、ということである。マーキングポイントは、これらの情報に基づいて認識され得る。

【0071】

Ｂｌｏｂ解析には、主に、以下の画像処理技術が含まれている。
１、画像分割：Ｂｌｏｂ解析は、実質的には、閉じた形状に対する特徴解析である。Ｂｌｏｂ解析の前に、画像は、ターゲットとバックグラウンドに分割される。画像分割は、画像処理技術の重要な１種であり、Ｂｌｏｂ解析では、分割技術として、直接入力、固定ハード閾値、相対ハード閾値、動的ハード閾値、固定ソフト閾値、相対ソフト閾値、画素マッピング、閾値画像を提供する予定である。このうち、固定ソフト閾値および相対ソフト閾値という方法は、空間量子化誤差をある程度で解消し、それにより、ターゲットの特徴量の計算精度を向上させることができる。
２、形態学的操作：形態学的操作の目的は、ノイズポイントによる影響を除去することである。
３、接続性解析：ターゲットを画素レベルから接続成分レベルに変換する。
４、特徴値計算：ターゲットごとに、面積、周長、重心座標などの特徴の特徴量計算を行う。
５、シーン記述：シーンにおけるターゲット間のトポロジー関係を記述する。

【0072】

ステップ９０３で、マーキングポイントの中心を通るターゲット直線を検出する。

【0073】

ターゲット直線は、マーキングポイントの中心を通る数が条件を満たす直線である。上記のマーキングポイントの中心を通る数が条件を満たすことは、マーキングポイントの中心を通る数が閾値を満たすことである。オプションとして、上記の閾値は、マーキングポイント列におけるマーキングポイントの数によって決定される。オプションとして、上記の閾値は、マーキングポイント列におけるマーキングポイントの数である。オプションとして、上記の閾値は、マーキングポイント列におけるマーキングポイントの数および合理的な誤差によって共に決定される。

【0074】

オプションとして、マーキングポイントの中心を通るターゲット直線は、ハフ変換により検出される。ハフ変換は、特徴検出の１つであり、画像解析、コンピュータ視覚およびデジタル映像処理に広く使用されている。ハフ変換は、物体における特徴、例えば直線を見分けるために使用されるものである。ハフ変換は、画像平面におけるマーキングポイントから、パラメトリック平面におけるマーキングポイントに対応する線を算出し、パラメトリック平面におけるマーキングポイントに対応する線の交差点から、画像平面におけるターゲット直線を算出し、マーキングポイントアレイにおいて上記のターゲット直線は、１列のマーキングポイント列に対応する。

【0075】

ステップ９０４で、ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得する。

【0076】

ターゲット直線に対応するマーキングポイント列とは、ターゲット直線が通るマーキングポイントによって構成される１列のマーキングポイントであり、上記の画像において、各マーキングポイント列におけるマーキングポイントの数は一定であり、上記のマーキングポイントの中心を通る数を検出することにより、数が条件を満たす直線は、ターゲット直線として決定され、これにより、このターゲット直線が通るマーキングポイントは、マーキングポイントアレイにおいて同一の列に位置すると認定でき、このため、上記の画像において該ターゲット直線は、１列のマーキングポイント列に対応し、該マーキングポイント列におけるマーキングポイントの中心は、該ターゲット直線上にある。

【0077】

上記のマーキングポイント分布形態とは、マーキングポイントアレイにおいてマーキングポイントが属するマーキングポイント列、および当該マーキングポイント列におけるマーキングポイントの並べ替え位置を指す。

【0078】

例示的な実施例では、上記のステップ６０４は、下記のステップによって実現され得る。

【0079】

ステップ１で、ターゲット直線に対応するマーキングポイント列における第１マーキングポイントを決定する。

【0080】

第１マーキングポイントとは、ターゲット直線に対応するマーキングポイント列においける、画像において最高または最低位置に位置するマーキングポイントを指す。

【0081】

一例では、イメージング平面座標系における縦軸座標、即ちｙ軸座標に基づいて、マーキングポイント列における第１マーキングポイント、即ち、マーキングポイント列における１番目のマーキングポイントを決定する。神経外科手術シーンを例にして、患者の手術的入口切開口が上向きであるため、ナビゲーションスティックを切開口内に入れて空間位置決めを行う際に針先を下向きとし、このため、カメラがイメージングする際に、各マーキングポイント列上の１番目のマーキングポイントの、イメージング平面座標系におけるＹ値が最大であり、これにより、マーキングポイント列における第１マーキングポイントが判定され得る。

【0082】

ステップ２で、残りのマーキングポイントと第１マーキングポイントとの間の第１距離を取得する。

【0083】

上記の残りのマーキングポイントとは、ターゲット直線に対応するマーキングポイント列における、第１マーキングポイント以外の他のマーキングポイントを指す。

【0084】

画像に対応する画像座標系における、マーキングポイント列におけるマーキングポイントの２次元位置座標に基づいて、第１距離を算出し、第１距離とは、画像座標系において残りのマーキングポイントと第１マーキングポイントとの間の距離を指す。第１距離に基づいて、マーキングポイント列における上記の残りのマーキングポイントの位置並べ替えを判断し、例えば、残りのマーキングポイントのうち、対応する第１距離が最も小さいマーキングポイントが、第１マーキングポイントに最も近い場合、この該マーキングポイントは、第２マーキングポイントとなり、残りの位置並べ替えについては、これによって類推すればよく、最終的に、マーキングポイント列におけるマーキングポイントの位置並べ替えが得られ、ここで、任意のマーキングポイントの所属するマーキングポイント列における並べ替え位置が含まれる。

【0085】

ステップ３で、ターゲット直線に対応するマーキングポイント列における、隣接するマーキングポイント間の第２距離を取得する。

【0086】

画像に対応する画像座標系における、マーキングポイント列におけるマーキングポイントの２次元位置座標に基づいて、第２距離を算出し、第２距離とは、画像座標系における、隣接するマーキングポイントの距離である。

【0087】

第２距離に基づいて、マーキングポイント列における空席位置を判断する。例えば、１つの実施可能なマーキングポイントアレイでは、１列目のマーキングポイント列の空席位置は、マーキングポイント列における２番目の位置にあり、この場合、第１マーキングポイントは、マーキングポイント列の１番目の位置にあり、第２マーキングポイントは、マーキングポイント列の３番目の位置にあり、第１マーキングポイントと第２マーキングポイントとの間の第２距離は、他の隣接するマーキングポイントの間の第２距離よりも大きく、このため、第１マーキングポイントと第２マーキングポイントとの間の第２距離が他の隣接するマーキングポイントの間の第２距離よりも大きいことから、該マーキングポイント列が、図６に示すマーキングポイントアレイにおける１列目のマーキングポイント列であると判断できる。

【0088】

ステップ９０５で、マーキングポイント分布形態に基づいて、ターゲット直線に対応するマーキングポイント列のマーキングポイント情報を決定する。

【0089】

オプションとして、上記のマーキングポイント情報には、マーキングポイントアレイにおける、ターゲット直線に対応するマーキングポイント列の位置と、マーキングポイントアレイにおける、ターゲット直線が通るマーキングポイントの位置とが含まれる。

【0090】

ステップ９０６で、マーキングポイント情報に基づいて、ナビゲーションスティックに対応する３次元座標系における、画像に含まれるマーキングポイントの３次元位置座標を決定する。

【0091】

１つの可能な実施形態では、ナビゲーションスティックに対応する３次元座標系の座標原点は、ナビゲーションスティックが所在する円柱の中心軸上に位置し、ｚ軸は、軸心方向に従って下向きになり、ｙ軸は、マーキングポイントアレイにおける１列目のマーキングポイント列の第１マーキングポイントの中心を指し、ｘ軸は、右手法則に従って決定され得る。この場合、マーキングポイントアレイにおける、マーキングポイントが属するマーキングポイント列の位置に基づいて、ナビゲーションスティックに対応する３次元座標系のｘ軸およびｙ軸方向における該マーキングポイントの座標は決定され得る。上記の第１距離と第２距離は、マーキングポイントアレイにおいて固定されているため、マーキングポイント列中におけるマーキングポイントの並べ替え位置に基づいて、ナビゲーションスティックに対応する３次元座標系のｚ軸方向におけるマーキングポイントの座標は決定され得る。即ち、マーキングポイント情報に基づいて、ナビゲーションスティックに対応する３次元座標系における、画像に含まれるマーキングポイントの３次元位置座標は決定される。

【0092】

ステップ９０７で、画像に対応する画像座標系におけるマーキングポイントの２次元位置座標と、ナビゲーションスティックに対応する３次元座標系におけるマーキングポイントの３次元位置座標とに基づいて、カメラに対して姿勢推定処理を行うことで、ナビゲーションスティックに対応する３次元座標系におけるカメラの位置情報を決定する。

【0093】

上記の姿勢推定処理とは、ある３次元ターゲット物体の方位および向きを決定することを指し、本願の実施例では、カメラに対して姿勢推定処理を行うことで、ナビゲーションスティックに対応する３次元座標系におけるカメラの位置情報を決定する。

【0094】

オプションとして、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ ｎ－Ｐｏｉｎｔ）を採用してＰｎＰ問題の解を求める方法によって、カメラに対して姿勢推定処理を行う。上記のＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ ｎ－Ｐｏｉｎｔ）を採用してＰｎＰ問題の解を求める方法とは、カメラに対応するパラメータ、物体点座標、および対応する画素値が既知である場合、３Ｄ－２Ｄマッチングに基づいて、カメラの位置や姿勢を推定することである。本願の実施例では、選出されるカメラによってカメラのパラメータが決定され得て、上記の物体点は、マーキングポイントであり、物体点座標は、ナビゲーションスティックに対応する３次元座標系におけるマーキングポイントの位置情報であり、物体点が対応する画素値は、画像に対応する２次元座標系におけるマーキングポイントの位置情報であり、ナビゲーションスティックに対応する３次元座標系におけるマーキングポイントの位置情報と、画像に対応する２次元座標系におけるマーキングポイントの位置情報とをマッチングさせることにより、ナビゲーションスティックに対応する３次元座標系におけるカメラの位置情報は決定される。オプションとして、ナビゲーションスティックに対応する３次元座標系におけるカメラの位置情報には、６個の自由度が含まれ、これらのうち、３つの自由度は、カメラの位置を表し、残りの３つの自由度は、カメラの角度を表す。

【0095】

ステップ９０８で、カメラに対応する３次元座標系におけるカメラの位置情報を取得する。

【0096】

カメラのパラメータ情報を取得する。オプションとして、上記のカメラのパラメータ情報は、カメラのフォーカス中心の情報を含み、カメラ座標系におけるカメラの位置情報、即ち、カメラに対応する３次元座標系におけるカメラの位置情報を決定するために使用されるものである。

【0097】

ステップ９０９で、ナビゲーションスティックに対応する３次元座標系におけるカメラの位置情報と、カメラに対応する３次元座標系におけるカメラの位置情報とに基づいて、ナビゲーションスティックに対応する３次元座標系と、カメラに対応する３次元座標系との間の変換行列を得る。

【0098】

一例では、ナビゲーションスティックによって決定されたローカル座標系におけるカメラの座標と、カメラ座標系におけるカメラの座標とが既知である場合、上記のローカル座標系と、上記のカメラ座標系との間の空間変換関係を求めることができ、上記の空間変換関係は、空間中の同一点に対して、上記のローカル座標系と上記のカメラ座標系の間で座標変換を行うために使用されるものである。オプションとして、空間変換関係には、変換行列が含まれる。

【0099】

ステップ９１０で、ナビゲーションスティックに対応する３次元座標系におけるナビゲーションスティックの検出対象位置の３次元位置座標と、空間変換関係とに基づいて、カメラに対応する３次元座標系におけるナビゲーションスティックの検出対象位置の３次元位置座標を、ナビゲーションスティックの検出対象位置の空間位置情報として決定する。

【0100】

以上のように、本願の実施例によって提供される技術的解決手段は、マーキングポイント中心を正確に認識して、マーキングポイント中心間の第１距離と第２距離を算出し、マーキングポイントアレイにおけるマーキングポイントの位置情報を取得し、さらに、マーキングポイントを２次元平面から３次元空間にマッピングさせ、これにより、カメラモデルにおける座標系間の空間変換関係を得るための良好な基礎が確立される。

【0101】

また、本願の実施例によって提供される技術的解決手段は、マーキングポイントの２次元座標および３次元座標に基づいて、ＰｎＰアルゴリズムを利用して、カメラの位置姿勢を推定し、ローカル座標系におけるカメラの位置情報を正確に取得し、これにより、上記の空間変換関係はより正確になり、これによって、正確な空間位置の特定情報が得られる。

【0102】

例示的な実施例では、上記の画像は、第１画像と第２画像を含み、第１画像および第２画像は、カメラが異なる時点でターゲットシーンを撮影して得られた画像である。上記のステップ９１０の実行が終了した後、さらに、以下のステップが実行される。

【0103】

ステップ９１１で、第１画像におけるナビゲーションスティックの検出対象位置の空間位置情報と、第２画像におけるナビゲーションスティックの検出対象位置の空間位置情報とに基づいて、ナビゲーションスティックの移動距離を決定する。

【0104】

上記の第１画像に対応する時点は、第１時点であり、第２画像に対応する時点は、第２時点である。

【0105】

オプションとして、第１画像におけるナビゲーションスティックの針先の座標と、第２画像におけるナビゲーションスティックの針先の座標との間の距離を算出し、ナビゲーションスティックの針先が第１時点から第２時点に移動して生じた位置の変化の直線距離を決定する。

【0106】

例示的な実施例では、上記の画像は、少なくとも２つの画像フレームを含む。上記のステップ９１０の実行が終了した後、さらに、以下のステップが実行される。

【0107】

ステップ９１２で、画像フレームにおけるナビゲーションスティックの検出対象位置の空間位置情報に基づいて、隣接する画像フレームにおけるナビゲーションスティックの検出対象位置の間の接続線を決定する。

【0108】

上記の画像フレームとは、ビデオを構成する最小単位を指す。上記の隣接する画像フレームにおけるナビゲーションスティックの検出対象位置の間の接続線は、ナビゲーションスティックの検出対象位置の、隣接する画像フレームの間での位置の変化、即ち、ナビゲーションスティックの検出対象位置の、隣接する画像フレームの間での軌跡を表す。

【0109】

ステップ９１３で、隣接する画像フレームにおけるナビゲーションスティックの検出対象位置の間の接続線に基づいて、ナビゲーションスティックの検出対象位置が少なくとも２つの画像フレームにおいて形成された軌跡を得る。

【0110】

開始画像フレームから終了画像フレームまでの間の隣接する画像フレームにおける、ナビゲーションスティックの検出対象位置の間の接続線の先頭と末尾を接続することにより、ナビゲーションスティックの検出対象位置が開始画像フレームから終了画像フレームまでの間を移動することによって形成された軌跡が得られる。

【0111】

オプションとして、ステップ９１４～ステップ９１５およびステップ９１２～ステップ９１３の実行順番が特に限定されていない。例示的な実施例では、上記のステップ９１３の実行が終了した後、さらに、以下のステップが実行される。

【0112】

ステップ９１４で、画像フレームにおけるナビゲーションスティックの検出対象位置の空間位置情報に基づいて、隣接する画像フレームにおけるナビゲーションスティックの検出対象位置の間の接続線の長さを決定する。

【0113】

上記の隣接する画像フレームにおけるナビゲーションスティックの検出対象位置の間の接続線の長さは、ナビゲーションスティックの検出対象位置の、隣接する画像フレームの間での軌跡の長さである。

【0114】

ステップ９１５で、隣接する画像フレームにおけるナビゲーションスティックの検出対象位置の間の接続線の長さに基づいて、ナビゲーションスティックの検出対象位置が少なくとも２つの画像フレームにおいて形成された軌跡の長さを得る。

【0115】

開始画像フレームから終了画像フレームまでの、隣接する画像フレームにおけるナビゲーションスティックの検出対象位置の間の接続線の長さを加算することにより、ナビゲーションスティックの検出対象位置が開始画像フレームから終了画像フレームまでの間を移動することによって形成された軌跡の長さが得られる。

【0116】

以上のように、本願の実施例によって提供される技術的解決手段は、検出対象位置に対して空間位置決めを行う方法に基づいて、それを拡張して、空間距離測定および空間輪郭線描画の機能を実現し、空間位置決め方法の応用を豊富にし、ユーザの多元化の需要を満たす。

【0117】

以下は、本願の装置実施例であり、本願の方法実施例を実行するために使用され得る。本願の装置実施例において開示されていない詳細について、本願の方法実施例を参照する。

【0118】

図１０を参照すると、この図は、本願の一実施例によって提供される空間位置決め装置のブロック図を示す。この装置は、上記の空間位置決め方法を実現する機能を有し、前記機能は、ハードウェアによって実現されてもよく、ハードウェアによって対応するソフトウェアを実行することで実現されてもよい。この装置１０００は、画像取得モジュール１０１０、マーキング決定モジュール１０２０、カメラ位置決めモジュール１０３０、空間変換モジュール１０４０、および固定点位置決めモジュール１０５０を含むことができる。

【0119】

画像取得モジュール１０１０は、カメラによってターゲットシーンを撮影して得られた画像を取得するために使用され、前記画像には、前記ターゲットシーン内に位置するナビゲーションバーが含まれ、前記ナビゲーションバーの外面には、前記ナビゲーションバーに対して位置決めを行うために使用されるマークポイントアレイが設けられる。

【0120】

マーキング決定モジュール１０２０は、前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系における、前記画像に含まれるマーキングポイントの３次元位置座標を決定するために使用され、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すために使用される。

【0121】

カメラ位置決めモジュール１０３０は、前記画像に対応する画像座標系における前記マーキングポイントの２次元位置座標と、前記ナビゲーションスティックに対応する３次元座標系における前記マーキングポイントの３次元位置座標とに基づいて、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報を決定するために使用される。

【0122】

空間変換モジュール１０４０は、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する３次元座標系と、前記カメラに対応する３次元座標系との間の空間変換関係を決定するために使用される。

【0123】

固定点位置決めモジュール１０５０は、前記ナビゲーションスティックに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する３次元座標系における前記ナビゲーションスティックの検出対象位置の３次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報として決定するために使用される。

【0124】

例示的な実施例では、図１１を参照すると、前記マーキング決定モジュール１０２０は、
前記画像に含まれるマーキングポイントの中心を識別するために使用されるマーキング中心識別ユニット１０２１と、
前記マーキングポイントの中心を通るターゲット直線を検出するために使用されるターゲット直線検出ユニット１０２２であって、前記ターゲット直線が通る前記マーキングポイントの中心の数が条件を満たすターゲット直線検出ユニット１０２２と、
前記ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得するために使用されるマーキング分布取得ユニット１０２３であって、前記ターゲット直線に対応するマーキングポイント列とは、前記ターゲット直線が通るマーキングポイントによって構成される１列のマーキングポイントを指すマーキング分布取得ユニット１０２３と、
前記マーキングポイント分布形態に基づいて、前記ターゲット直線に対応するマーキングポイント列のマーキングポイント情報を決定するために使用されるマーキング情報決定ユニット１０２４であって、前記マーキングポイント情報には、前記マーキングポイントアレイにおける、前記ターゲット直線に対応するマーキングポイント列の位置と、前記マーキングポイントアレイにおける、前記ターゲット直線が通るマーキングポイントの位置とが含まれるマーキング情報決定ユニット１０２４と、を含む。

【0125】

例示的な実施例では、図１１を参照すると、前記マーキング分布取得ユニット１０２３は、
前記ターゲット直線に対応するマーキングポイント列における第１マーキングポイントを決定するステップであって、前記第１マーキングポイントとは、前記ターゲット直線に対応するマーキングポイント列における、前記画像において最高または最低位置に位置するマーキングポイントを指すステップと、
残りのマーキングポイントと前記第１マーキングポイントとの間の第１距離を取得するステップであって、前記残りのマーキングポイントとは、前記ターゲット直線に対応するマーキングポイント列における、前記第１マーキングポイント以外の他のマーキングポイントを指し、前記第１間隔とは、前記残りのマーキングポイントと前記第１マーキングポイントとの前記画像座標系での距離を指すステップと、
前記ターゲット直線に対応するマーキングポイント列における、隣接するマーキングポイントの間の第２距離を取得するステップであって、前記第２間隔とは、前記隣接するマーキングポイントの前記画像座標系での距離を指すステップと、を実行するために使用される。

【0126】

例示的な実施例では、図１０を参照すると、前記カメラ位置決めモジュール１０３０は、
前記画像に対応する画像座標系における前記マーキングポイントの２次元位置座標と、前記ナビゲーションスティックに対応する３次元座標系における前記マーキングポイントの３次元位置座標とに基づいて、前記カメラに対して姿勢推定処理を行うことで、前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報を決定するステップ、を実行するために使用される。

【0127】

例示的な実施例では、図１０を参照すると、前記空間変換モジュール１０４０は、
前記カメラに対応する３次元座標系における前記カメラの位置情報を取得するステップと、
前記ナビゲーションスティックに対応する３次元座標系における前記カメラの位置情報と、前記カメラに対応する３次元座標系における前記カメラの位置情報とに基づいて、前記ナビゲーションスティックに対応する３次元座標系と、前記カメラに対応する３次元座標系との間の変換行列を得るステップであって、前記空間変換関係には、前記変換行列が含まれるステップと、を実行するために使用される。

【0128】

例示的な実施例では、図１１を参照すると、前記画像は、第１画像と第２画像とを含み、前記第１画像および第２画像は、前記カメラが異なる時点で前記ターゲットシーンを撮影して得られた画像である。前記装置１０００は、さらに、
前記第１画像における前記ナビゲーションスティックの検出対象位置の空間位置情報と、前記第２画像における前記ナビゲーションスティックの検出対象位置の空間位置情報とに基づいて、前記ナビゲーションスティックの移動距離を決定するために使用される距離位置決めモジュール１０６０、を含む。

【0129】

例示的な実施例では、図１１を参照すると、前記画像は、少なくとも２つの画像フレームを含み、前記装置１０００は、さらに、
前記画像フレームにおける前記ナビゲーションスティックの検出対象位置の空間位置情報に基づいて、隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線を決定するステップと、前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線に基づいて、前記少なくとも２つの画像フレームにおいて前記ナビゲーションスティックの検出対象位置によって形成された軌跡を得るステップと、を実行するために使用される軌跡描画モジュール１０７０、を含む。

【0130】

例示的な実施例では、図１１を参照すると、前記装置１０００は、さらに、
前記画像フレームにおける前記ナビゲーションスティックの検出対象位置の空間位置情報に基づいて、前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線の長さを決定するステップと、前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線の長さに基づいて、前記少なくとも２つの画像フレームにおいて前記ナビゲーションスティックの検出対象位置によって形成された軌跡の長さを得るステップと、を実行するために使用される軌跡算出モジュール１０８０、を含む。

【0131】

以上のように、本願の実施例によって提供される技術案は、カメラの撮影範囲を空間位置決め範囲とし、ナビゲーションバーと端末デバイスのみを採用して空間位置決めシステムを構成し、カメラが任意の角度で撮影して得られた画像におけるマーキングポイントのマーキングポイント分布形態を抽出し、マーキングポイントに対応する２次元座標および３次元座標を決定し、それらを基にして、カメラの位置姿勢を推定し、ローカル座標系とカメラ座標系との間の空間変換関係を得て、前記空間変換関係に従って、検出対象位置に対して空間位置決めを行うことができ、これにより、空間位置決めの範囲を拡大させ、空間位置決めの柔軟性を向上させ、空間位置決めのコストを低減させる。

【0132】

図１２を参照すると、この図は、本願の一実施例によって提供される端末１２００の構成のブロック図を示す。端末１２００は、例えば、携帯電話、タブレット、ゲームホスト、電子書籍リーダー、マルチメディア再生デバイス、ウェアラブルデバイス、ＰＣなどの電子デバイスであってもよい。この端末は、上記の実施例において提供された空間位置決め方法を実施するために使用される。この端末は、図１に示す空間位置決めシステムにおける端末１０であってもよい。具体的には、
一般的に、コンピュータデバイス１２００は、プロセッサ１２０１と、メモリ１２０２とを含む。

【0133】

プロセッサ１２０１は、１つまたは複数の処理コアを備えるようにしてよく、例えば、４コアプロセッサ、８コアプロセッサなどである。プロセッサ１２０１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｐｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジックアレイ）のうちの少なくとも１つのハードウェア形式を採用して実現するようにしてもよい。プロセッサ１２０１は、メインプロセッサとコプロセッサとを備えるようにしてもよく、メインプロセッサは、起動状態でのデータを処理するためのプロセッサであり、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、中央プロセッサ）とも呼ばれ、コプロセッサは、待機状態でのデータを処理するための低消費電力プロセッサである。いくつかの実施例では、プロセッサ１２０１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックスプロセッシングユニット）が集積されているようにしてもよく、ＧＰＵは、ディスプレイに表示する必要のあるコンテンツへのレンダリングおよび描画を担当するために使用される。いくつかの実施例では、プロセッサ１２０１は、ＡＩ（Ａｒｔｉｐｈｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサを備えるようにしてもよく、このＡＩプロセッサは、マシン学習に関するコンピューティング動作を処理するために使用される。

【0134】

メモリ１２０２は、１つまたは複数のコンピュータ読み取り可能な記憶媒体を備えるようにしてよく、当該コンピュータ読み取り可能な記憶媒体は、有形で非一時的なものであってもよい。メモリ１２０２はまた、高速ランダムアクセスメモリと、不揮発性メモリとを備えるようにしてもよく、例えば、１つまたは複数の磁気ディスク記憶デバイス、フラッシュメモリ記憶デバイスなどである。いくつかの実施例では、メモリ１２０２における非一時的なコンピュータ読み取り可能な記憶媒体は、少なくとも１つの命令、少なくとも１つのプログラム、コードセット、または命令セットが記憶されており、前記少なくとも１つの命令、少なくとも１つのプログラム、コードセットまたは命令セットは、１つまたはプロセッサによってロードされて実行されて、上記の空間位置決め方法を実現する。

【0135】

いくつかの実施形態では、端末１２００は、オプションとして、周辺デバイスインターフェース１２０３と、少なくとも１つの周辺デバイスとを備えるようにしてもよい。プロセッサ１２０１、メモリ１２０２、および周辺デバイスインターフェース１２０３は、バスまたは信号線を介して接続され得る。各周辺デバイスは、バス、信号線または回路基板を介して周辺デバイスインターフェース１２０３に接続され得る。具体的には、周辺デバイスには、無線周波数回路１２０４と、ディスプレイ１２０５と、カメラコンポーネント１２０６と、オーディオ回路１２０７と、位置決めコンポーネント１２０８と、電源１２０９とのうちの少なくとも１つが含まれる。

【0136】

当業者であれば、図１２に示す構造は、端末１２００に対する限定を構成するものではなく、図示のものより多いかまたは少ないコンポーネントを含んだり、またはいくつかのコンポーネントを組み合わせたり、あるいは異なるコンポーネントの配置を採用したりすることができる、ということを理解することができる。

【0137】

本願の実施例は、また、コンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体には、少なくとも１つの命令、少なくとも１つのプログラム、コードセット、または命令セットが記憶されており、前記少なくとも１つの命令、少なくとも１つのプログラム、コードセットまたは命令セットは、プロセッサによって実行されるとき、上記の空間位置決め方法を実現する。

【0138】

オプションとして、コンピュータ読み取り可能な記憶媒体は、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅｓ）、または光ディスクなどを含み得る。ここで、ランダムアクセスメモリは、抵抗式ランダムアクセスメモリ（ＲｅＲＡＭ：Ｒｅｓｉｓｔａｎｃｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ダイナミックランダムアクセスメモリ（ＤＲＡＭ:Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、を含み得る。

【0139】

例示的な実施例では、コンピュータ読読み取り可能な記憶媒体に記憶されているコンピュータ命令を含むコンピュータプログラムまたはコンピュータプログラムも提供される。コンピュータデバイスのプロセッサは、コンピュータ読み取り可能な記憶媒体からコンピュータ命令を読み出し、プロセッサは、コンピュータデバイスが上記の空間位置決め方法を実行するようにコンピュータ命令を実行する。

【0140】

本明細書において言及された「複数」は、２つ以上を意味することが理解されるべきである。「および／または」は、関連オブジェクトの関連関係を記述し、３つの関係が存在し得ることを示し、例えば、Ａおよび／またはＢは、Ａが単独で存在し、ＡおよびＢが同時に存在し、Ｂが単独で存在する３つの情況を表すことができる。文字“／”は、一般的に、前後の関連オブジェクトが“または”の関係であることを示す。なお、本明細書で説明するステップ番号は、ステップ間の可能な実行前後順の1つのみを例示しており、他の実施例では、上記ステップは、番号順に従って実行されなくてもよく、例えば、２つの異なる番号のステップが同時に実行されたり、２つの異なる番号のステップが図示とは逆の順序で実行されたりしてもよいし、本発明の実施形態では、これに限定されない。

【0141】

上記は、本開示の例示的な実施例に過ぎず、本願を制限するものではなく、本願の精神および原則の範囲内に、実行されたいかなる修正、均等置換、改善などは、いずれも、本願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】