特開 2024-62806 実世界ポインティングシステムおよび実世界ポインティング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024062806

(43)【公開日】2024-05-10

(54)【発明の名称】実世界ポインティングシステムおよび実世界ポインティング方法

(51)【国際特許分類】

   B25J 9/22 20060101AFI20240501BHJP

   G02B 26/08 20060101ALI20240501BHJP

【ＦＩ】

B25J9/22 A

G02B26/08 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022170902

(22)【出願日】2022-10-25

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年９月４日 第４０回日本ロボット学会学術講演会 オンライン予稿集 ｈｔｔｐｓ：／／ａｃ．ｒｓｊ－ｗｅｂ．ｏｒｇ／２０２２／ｏｎｌｉｎｅ／ｏｎｌｉｎｅｐｒｏｃ．ｈｔｍｌ

(71)【出願人】

【識別番号】510108951

【氏名又は名称】公立大学法人広島市立大学

(74)【代理人】

【識別番号】100163186

【弁理士】

【氏名又は名称】松永 裕吉

(72)【発明者】

【氏名】岩城 敏

(72)【発明者】

【氏名】坂本 慎一郎

(72)【発明者】

【氏名】野口 恵伍

【テーマコード（参考）】

2H141

3C707

【Ｆターム（参考）】

2H141MB45

2H141MD13

2H141MF05

3C707LS04

3C707LT15

(57)【要約】

【課題】目標物の遠近にかかわらず３次元空間にある目標物へのポインティングを同じ操作感で微調整する。
【解決手段】パンチルトアクチュエータ２０により向きが変えられるレーザポインタ１０から照射されるレーザビーム１１で実世界における目標物４０をポインティングするシステム１００であって、コントローラ３０が、ユーザからレーザビーム１１のレーザスポット１２の微小移動の指示を受け付け、指示されたレーザスポット１２の微小移動量に目標物４０までの距離およびパンチルトアクチュエータ２０の動作角度に基づく係数を掛けてパンチルトアクチュエータ２０のパン角およびチルト角のオフセット量を計算して、パンチルトアクチュエータ２０に計算したオフセット量を無線通信により指示し、パンチルトアクチュエータ２０が、コントローラ３０から指示されたオフセット量で自身のパン角およびチルト角を制御するように構成されている。
【選択図】図６

【特許請求の範囲】

【請求項1】

パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実空間における目標物をポインティングするシステムであって、
前記パンチルトアクチュエータを操作するコントローラが、ユーザから前記レーザビームのレーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記目標物までの距離および前記パンチルトアクチュエータの動作角度に基づく係数を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、
前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を制御するように構成されている
ことを特徴とする実空間ポインティングシステム。

【請求項2】

前記レーザスポットの微小移動の指示が前記レーザスポットの上下左右の任意の方向へのインチング操作である
ことを特徴とする請求項１に記載の実空間ポインティングシステム。

【請求項3】

右手系座標系においてdｘを前記レーザスポットの左右方向の微小移動量、dｚを前記レーザスポットの上下方向の微小移動量、ｌ_ｂを前記レーザビームのビーム長、θ_Ｔを前記パンチルトアクチュエータのチルト角、dθ_Ｐを前記パンチルトアクチュエータのパン角のオフセット量、dθ_Ｔを前記パンチルトアクチュエータのチルト角のオフセット量として、前記コントローラが、次式に従ってdθ_Ｐおよびdθ_Ｔを計算する

ことを特徴とする請求項２に記載の実空間ポインティングシステム。

【請求項4】

パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実空間における目標物をポインティングする方法であって、
前記パンチルトアクチュエータを操作するコントローラが、ユーザから前記レーザビームのレーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記目標物までの距離および前記パンチルトアクチュエータの動作角度に基づく係数を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、
前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を制御する
ことを特徴とする実空間ポインティング方法。

【請求項5】

前記レーザスポットの微小移動の指示が前記レーザスポットの上下左右の任意の方向へのインチング操作である
ことを特徴とする請求項４に記載の実空間ポインティング方法。

【請求項6】

右手系座標系においてdｘを前記レーザスポットの左右方向の微小移動量、dｚを前記レーザスポットの上下方向の微小移動量、ｌ_ｂを前記レーザビームのビーム長、θ_Ｔを前記パンチルトアクチュエータのチルト角、dθ_Ｐを前記パンチルトアクチュエータのパン角のオフセット量、dθ_Ｔを前記パンチルトアクチュエータのチルト角のオフセット量として、前記コントローラが、次式に従ってdθ_Ｐおよびdθ_Ｔを計算する

ことを特徴とする請求項５に記載の実空間ポインティング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元空間の実世界に存在する目標物をレーザビームでポインティングする実世界ポインティングシステムおよび実世界ポインティング方法に関する。

【背景技術】

【0002】

要介護者がロボットに望む現実的作業の一つは部屋内の日用品の把持と搬送であるが、我々の日常生活空間は極めて雑多なため、未登録・非定型物体を扱う作業の完全自動化は非常に困難である。そこで発明者はこれまで、支援ロボット早期実用化を狙いに敢えて全自動化ではなく、ロボットの高精度計測制御技術と併せて、要介護者に残存する優れた知能と技能を最大限活用した手動（半自動）のアプローチを進めてきた。この場合、ロボットに如何に簡単・確実に動作指示するか、すなわち直感的な指示インタフェースの研究開発が最重要となる。このような観点で発明者はこれまで、パンチルトアクチュエータ上に搭載された高精度ＴＯＦ型レーザ距離センサをＰＣマウスで操作し実物体を目視しながらクリックすることで、物体操作に関する様々な命令を生成可能な直感的インタフェース（実世界クリッカー）を開発して来た（例えば、非特許文献１を参照）。ここで実世界クリックとは、レーザスポット３Ｄ位置をパン角・チルト角・レーザビーム長からワールド座標系で計測することを意味し、その精度は約５ｍ先で５ｍｍ程度の分解能を有する。ユーザはターゲット物体把持点を実世界クリックしその座標値をロボットに送れば、後はロボットが自動的にその物体近傍まで移動しアーム・ハンドで把持しユーザまで運んでくれる。また、物体が存在していた場所を実世界クリッカーは記録しているので、ユーザはその物体を自動的に元の場所に戻すこともできる。

【0003】

発明者はさらに、日常的によく使用され身近なデバイスであるスマートフォンを実世界クリッカーのコントローラとして用い、スマートフォンの傾きにパンチルトアクチュエータの動きを連動させることで３次元空間の実世界に存在する目標物の位置を直感的操作感でポインティングする技術を開発して来た（例えば、非特許文献２を参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】ＴＯＦ型レーザセンサとパンチルトアクチュエータを用いた実世界クリック方式の提案と生活支援ロボット動作教示への応用，安孫子優紀，日高雄太，佐藤健次郎，岩城 敏，池田徹志，計測自動制御学会論文集Vol. 52, No.11, pp.614-624, 2016

【非特許文献2】坂本ほか:“スマートフォンによる実世界クリッカー操作方式の提案の提案と性能評価”, LIFE2022, 2022

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の実世界ポインティングでは、レーザビーム長が長いほどパンチルトアクチュエータの僅かな角度変化に対してレーザスポットの位置が大きく変位する。このため、スマートフォンなどのデバイスをパンチルトアクチュエータのコントローラとして用いる場合、遠くの目標物へのポインティング操作はコントローラの手振れなどでレーザポインタが大きく動くことがあり比較的難しい。一方、これに比べて近くの目標物へのポインティング操作は比較的容易であるものの、コントローラの手振れなどでレーザスポットが多少ぶれるため、狙った点に正確にポインティングすることが難しいことがある。

【0006】

上記問題に鑑み、本発明は、目標物の遠近にかかわらず３次元空間にある目標物へのポインティングを同じ操作感で微調整することができる実世界ポインティング技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一局面に従うと、パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実空間における目標物をポインティングするシステムであって、前記パンチルトアクチュエータを操作するコントローラが、ユーザから前記レーザビームのレーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記目標物までの距離および前記パンチルトアクチュエータの動作角度に基づく係数を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を制御するように構成されている実空間ポインティングシステムが提供される。

【0008】

また、本発明の一局面に従うと、パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実空間における目標物をポインティングする方法であって、前記パンチルトアクチュエータを操作するコントローラが、ユーザから前記レーザビームのレーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記目標物までの距離および前記パンチルトアクチュエータの動作角度に基づく係数を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を制御する実空間ポインティング方法が提供される。

【0009】

上記システムおよび方法によると、ユーザから指示されたレーザスポットの微小移動量が、目標物までの距離およびパンチルトアクチュエータの動作角度を反映したパンチルトアクチュエータのパン角およびチルト角のオフセット量に変換され、そのオフセット量でパンチルトアクチュエータが制御されるため、目標物の遠近にかかわらず同じ移動量でレーザスポットを移動させることができる。

【発明の効果】

【0010】

本発明によると、目標物の遠近にかかわらず３次元空間にある目標物へのポインティングを同じ操作感で微調整することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る実世界ポインティングシステムの概略図である。

【図2】パンチルトアクチュエータとスマートフォンの連動を示す図である。

【図3】パンチルトアクチュエータの回転中心を原点とする世界座標系を表す図である。

【図4】レーザスポットの位置を原点とするポインティング座標系を表す図である。

【図5】粗調整モードにおけるパンチルトアクチュエータの制御フロー図である。

【図6】微調整モードにおけるパンチルトアクチュエータの制御フロー図である。

【図7】（ａ）はパン角およびチルト角で定義したターゲット中心までの距離を説明する図、（ｂ）はパン角およびチルト角で定義したターゲットの幅を説明する図である。

【図8】微調整モードがない場合とある場合のポインティング性能の比較結果を表すグラフである。

【発明を実施するための形態】

【0012】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各部材の寸法、細部の詳細形状などは実際のものとは異なることがある。

【0013】

≪実世界ポインティングシステムの構成例≫
図１は、本発明の一実施形態に係る実世界ポインティングシステムの概略図である。本実施形態に係る実世界ポインティングシステム１００は、レーザポインタ１０と、レーザポインタ１０の向きを変えるパンチルトアクチュエータ２０と、パンチルトアクチュエータ２０を操作するコントローラとしてのスマートフォン３０とを備えている。

【0014】

レーザポインタ１０は、レーザビーム１１を照射する機能および目標物４０までの距離を計測する機能を有するデバイスである。具体的には、レーザポインタ１０は、目標物４０に向けてレーザビーム１１をパルス投光し、レーザビーム１１を照射してから目標物４０からの反射光を受光するまでの時間を計測することで目標物４０までの距離を計測するＴＯＦ（Time of Fright）型レーザセンサ機能を有する。

【0015】

パンチルトアクチュエータ２０は、本体２１が図略の台や壁や天井などの固定物に設置され、雲台２２を、図中矢印ａで示したチルト方向および矢印ｂで示したパン方向に駆動する電動装置である。パンチルトアクチュエータ２０の雲台２２にレーザポインタ１０が載置固定されている。これによりパンチルトアクチュエータ２０にパン角およびチルト角を指示することでレーザポインタ１０の姿勢を変えてレーザポインタ１０から照射されるレーザビーム１１を任意の向きに変えられるようになっている。レーザビーム１１が物体に照射されるとその物体表面にユーザに視認可能なレーザスポット１２が形成される。このレーザスポット１２の位置が３次元空間の実世界におけるポインティング位置である。

【0016】

スマートフォン３０は、言わずと知れた今やほぼすべての人が所有し、日常的に使用している携帯端末である。最近のスマートフォン３０は、無線通信機能以外に筐体の姿勢や動きを検知するモーションセンサを搭載している。より詳細には、当該モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサが一体モジュール化された９軸センサである。加速度センサは、筐体の直交３軸方向の加速度を検知するセンサ、ジャイロセンサは、直交３軸回りの角速度を検知するセンサ、地磁気センサは、筐体の直交３軸方向の地磁気を検知するセンサである。

【0017】

スマートフォン３０の中にはＬｉＤＡＲに代表される深度カメラをさらに備えているものがある。このような深度カメラを備えたスマートフォン３０の場合、スマートフォン３０が目標物４０までの距離を正確に測定することができる。

【0018】

上記構成の実世界ポインティングシステム１００において、レーザポインタ１０およびパンチルトアクチュエータ２０は図略の無線通信インタフェースを介してスマートフォン３０とＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの各種短距離無線通信３１ができるようになっている。スマートフォン３０には、下述するようにレーザポインタ１０およびパンチルトアクチュエータ２０をコントロールするためのコンピュータプログラムである専用アプリがインストールされており、この専用アプリを起動することでスマートフォン３０が実世界ポインティングシステム１００のコントローラとして機能する。具体的には、後述する粗調整モードにおいて、スマートフォン３０を傾けることでパンチルトアクチュエータ２０がスマートフォン３０の傾きに連動して動き、レーザポインタ１０から照射されるレーザビーム１１の方向を自在に変えることができる。また、後述する微調整モードにおいて、スマートフォン３０のタッチスクリーンに表示されるＵＩを操作することで、レーザスポット１２の位置を微調整することができる。

【0019】

図２は、パンチルトアクチュエータ２０とスマートフォン３０の連動を示す図である。ユーザはタッチスクリーンを水平にしてスマートフォン３０を手に持ち長手方向を目標物４０に向けてスマートフォン３０を動かす。このときパンチルトアクチュエータ２０とスマートフォン３０が相対的に近いことから、スマートフォン３０の水平回転角θ_Ｚおよび上下回転角θ_Ｘは、それぞれ、パンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔと等しいとみなすことができる。スマートフォン３０のロール回転角（この場合のロール回転角は、スマートフォン３０の長手方向の軸回りの回転角である。）は無視される。したがって、スマートフォン３０はモーションセンサの信号に基づいて筐体の水平回転角θ_Ｚおよび上下回転角θ_Ｘを計算し、θ_Ｐ＝θ_Ｚ、θ_Ｔ＝θ_Ｘと換算してθ_Ｐ、θ_Ｔをパンチルトアクチュエータ２０に指示する。これにより、スマートフォン３０の動き通りにパンチルトアクチュエータ２０が動き、ユーザはあたかもスマートフォン３０の先端からレーザビーム１１が照射されているかのように直感的にレーザビーム１１照射方向をコントロールすることができる。すなわち、スマートフォン３０をあたかもレーザポインタのごとく使用することができる。厳密に言うとθ_Ｐ＝θ_Ｚ、θ_Ｔ＝θ_Ｘと近似しているためスマートフォン３０の動きに対してレーザビーム１１の照射方向の動きに近似誤差が生じるが、ユーザはレーザポインタを目視しながらスマートフォン３０を動かすため、そのような近似誤差はスマートフォン３０を動かすときにユーザにより自ずと補正される。

【0020】

図３は、パンチルトアクチュエータ２０の回転中心を原点とする右手系座標系の世界座標系を表す図である。世界座標系Σ_０におけるレーザスポット１２の３Ｄ座標ｒは式（０）のように計算される。

【数1】

ここで、θ_Ｐはパン角、θ_Ｔはチルト角、ｌ_ｂはレーザビーム１１のビーム長、δ_Ｚはレーザポインタ１０のロータ座標系Ｚ軸方向のオフセットである。

【0021】

図３および式（０）から理解されるように、レーザスポット１２がパンチルトアクチュエータ２０から遠くにあるほどθ_Ｐおよびθ_Ｔの変化がレーザポインタ１２の位置変化に大きく影響を及ぼす。すなわち、パンチルトアクチュエータ２０のコントローラであるスマートフォン３０の僅かな動きで遠方のレーザスポット１２が大きく動いてしまう。このため、遠方の目標物４０に対して狙った通り正確にポインティングすることが難しいという問題がある。そこで、本実施形態に係る実世界ポインティングシステム１００ではパンチルトアクチュエータ２０の制御に粗調整モードと微調整モードの２つを設け、粗調整モードではスマートフォン３０の傾きとパンチルトアクチュエータ２０の動きを連動させてレーザスポット１２を目標物４０の近傍にまで素早く移動できるようにし、微調整モードではスマートフォン３０とパンチルトアクチュエータ２０の連動を解除して遠方にある目標物４０に対して正確に位置合わせができるようにし、これらモードを適宜切り替えて使用することでポインティングの素早さと正確性の両立を図っている。

【0022】

微調整モードでは目標物４０までの距離や高さに依存せず、すなわち任意のｑ＝（ｌ_ｂ，θ_Ｔ，θ_Ｐ）^Ｔに対して一定のポインティング操作感が実現されるようになっている。微調整モード導入の簡単化のために以下の前提条件を置く。
（１）パンチルトアクチュエータ２０は水平に設置
（２）パンチルトアクチュエータ２０とユーザの頭部の位置はパンチルトアクチュエータ２０と目標物４０との間の距離と比べ相対的に十分近い
（３）ユーザの頭部は常に鉛直上向き
（４）ユーザの視線は常に目標物４０の方向
（５）δ_Ｚは十分小さい
これら条件の下で、粗調整モードにおけるパンチルトアクチュエータ２０の順運動学は式（１）のように計算される。

【数2】

【0023】

微調整モードにおいては、レーザスポット１２の位置を原点とし、Ｙ軸はレーザビーム１１の進行方向、Ｘ軸は水平方向、Ｚ軸はＸ軸とＹ軸の外積方向であるポインティング座標系Σ_{ｐｏｉｎｔ}を導入する。図４は、レーザスポット１２の位置を原点とする右手系座標系のポインティング座標系を表す図である。この座標系原点近傍でのスポット微小運動操作に対して、レーザビーム１１を受動並進リンクとして捉えた多リンクマニピュレータの可操作性の観点で最適化を試みる。ここで最適性の指標は次の通りである。
（１）任意のｑで可操作性が同一
（２）任意のｑで可操作性楕円体が球体

【0024】

式（１）を微分することで^０ｒ、ｑ微小部分の線形関係が式（２）で得られ、これがパンチルトアクチュエータ２０の運動を決定する。

【数3】

ここで、Ｊ（ｑ）は式（３）のヤコビ行列である。

【数4】

式（３）を特異値分解すると式（４）を得る。

【数5】

ここで、

【数6】

であり、^０Ｒ_{ｐｏｉｎｔ}はΣ_０から見たΣ_{ｐｏｉｎｔ}の回転行列である。したがって、Σ_{ｐｏｉｎｔ}での微小変位^{ｐｏｉｎｔ}dｒは

【数7】

よって、新たな操作入力として、式（６）を導入すると^{ｐｏｉｎｔ}dｒは式（７）で表される。

【数8】

【0025】

以上より、能動軸（^{ｐｏｉｎｔ}dｘ，^{ｐｏｉｎｔ}dｚ）に対応する特異値がそれぞれ１になり、任意のｑに対して上記最適性の条件（１）（２）を満たすことが確認できる。ただし、ｌ_ｂはレーザポインタ１０により実時間計測され、受動並進リンクに相当するので可操作性楕円体は球ではなく円となる。以上は球面座標系の直交性に関する幾何学的直感から得られる結果と一致する。

【0026】

≪粗調整モード≫
図５は、粗調整モードにおけるパンチルトアクチュエータ２０の制御フロー図である。実世界ポインティングシステム１００は粗調整モードからスタートする。スマートフォン３０の専用アプリを起動すると、まず、スマートフォン３０とパンチルトアクチュエータ２０の初期位置合わせが行われる（Ｓ３０）。具体的には、スマートフォン３０の長手方向とレーザビーム１１の照射方向を一致させた状態、例えば、レーザポインタ１０の上または横にスマートフォン３０を両者の向きを合わせて置いた状態で初期位置合わせＳ３０が行われる。

【0027】

初期位置合わせが済むと、スマートフォン３０はモーションセンサの信号に基づいて筐体の姿勢変化を監視する（Ｓ３１でＮＯ）。そして、筐体の姿勢変化を検出すると（Ｓ３１でＹＥＳ）、スマートフォン３０はその姿勢変化の変動量をパンチルトアクチュエータ２０のパン方向およびチルト方向の回転角に換算する（Ｓ３２）。なお、筐体の姿勢変化の検出は、ユーザがスマートフォン３０を手から離して落とした場合など一定量を超える衝撃を伴う場合には無視するようにすることが望ましい。この換算処理によりパンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔが計算される。

【0028】

パンチルトアクチュエータ２０とスマートフォン３０が相対的に近いことから、スマートフォン３０の水平回転角θ_Ｚおよび上下回転角θ_Ｘは、それぞれ、パンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔと等しいとみなすことができる。スマートフォン３０のロール回転角（この場合のロール回転角は、スマートフォン３０の長手方向の軸回りの回転角である。）は無視される。したがって、スマートフォン３０はモーションセンサの信号に基づいて筐体の水平回転角θ_Ｚおよび上下回転角θ_Ｘを計算し、θ_Ｐ＝θ_Ｚ、θ_Ｔ＝θ_Ｘと換算する。

【0029】

パンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔが計算されると、スマートフォン３０は、その値を制御信号としてパンチルトアクチュエータ２０に回転指示を送信し（Ｓ３３）、その後再び筐体の姿勢変化の監視に戻る。一方、パンチルトアクチュエータ２０は、スマートフォン３０からの制御指示待ち状態にあり（Ｓ２０でＮＯ）、スマートフォン３０から回転指示を受けると（Ｓ２０でＹＥＳ）、その指示されたパン角θ_Ｐおよびチルト角θ_Ｔになるように自身のパン角およびチルト角を制御し（Ｓ２１）、その後再びスマートフォン３０からの制御指示待ち状態に戻る。

【0030】

粗調整モードでは、上述のスマートフォン３０とパンチルトアクチュエータ２０の連携動作により、スマートフォン３０を傾けることでその傾きに連動してパンチルトアクチュエータ２０が動いて、パンチルトアクチュエータ２０に設置されたレーザポインタ１０から照射されるレーザビーム１１の方向を変えることができる。

【0031】

≪微調整モード≫
図６は、微調整モードにおけるパンチルトアクチュエータ２０の制御フロー図である。ユーザは任意のタイミングで実世界ポインティングシステム１００を粗調整モードから微調整モードに切り替えることができる。また、ユーザは任意のタイミングで実世界ポインティングシステム１００を微調整モードから粗調整モードに切り替えることができる。

【0032】

微調整モードに遷移すると、まず、スマートフォン３０は内蔵されたモーションセンサの信号に基づく筐体の姿勢変化の検知を停止する（Ｓ３４）。すなわち、パンチルトアクチュエータ２０をスマートフォン３０の筐体の姿勢変化に追従しないようにする。

【0033】

スマートフォン３０は、微調整モードに遷移した時点の目標物４０までの距離およびパンチルトアクチュエータ２０の動作角度を取得する（Ｓ３５）。目標物４０までの距離は具体的にはレーザビーム長ｌ_ｂであり、レーザポインタ１０の測距情報から取得することができる。スマートフォン３０が深度カメラを備えていれば、スマートフォン３０で目標物４０までの距離を測定してそれをレーザビーム長ｌ_ｂとみなしてもよい。パンチルトアクチュエータ２０の動作角度には少なくともチルト角θ_Ｔが含まれていればよく、微調整後のレーザスポット１２の空間位置を特定するためにさらにパン角θ_Ｐが含まれていてもよい。

【0034】

スマートフォン３０は、タッチスクリーンに微調整モードＵＩを表示し、ユーザからレーザスポット１２の微小移動の指示を受け付ける（Ｓ３６）。ユーザは、ＵＩを通じてレーザスポット１２を数ｍｍ～数ｃｍの単位で微小移動、すなわちインチング操作することができる。例えば、微調整モードＵＩは上下左右の各方向を表す４つのボタンで構成することができる。そのようなＵＩでは、ユーザは、レーザスポット１２を所望の方向に所望のインチング量だけ移動させたい場合、その方向のボタンを所望回数クリックすればよい。あるいは、微調整モードＵＩをレチクル（照準）にすると、ユーザはボタンを複数回クリックすることなしに、１回のクリックでレーザポインタ１２をレチクル内の任意の位置に複数回のインチング操作と同等の指示を出すことができる。

【0035】

スマートフォン３０は、微調整モードＵＩを通じてユーザからレーザスポット１２の微小移動指示を受けると（Ｓ３７でＹＥＳ）、指示された微小移動量を、パンチルトアクチュエータ２０のパン方向およびチルト方向の回転角に換算する（Ｓ３８）。具体的には、スマートフォン３０は、指示された微小移動量に対して、式（６’）に従ってパン角およびチルト角のオフセット量dθ_Ｐおよびdθ_Ｔを計算する。なお、式（６’）は式（６）を変形したものである。

【数9】

ここで、dｘはレーザスポット１２のＸ軸方向（左右方向）の微小移動量、dｚはレーザスポット１２のＺ軸方向（上下方向）の微小移動量、ｌ_ｂはレーザビーム１１のビーム長、θ_Ｔはパンチルトアクチュエータ２０のチルト角である。

【0036】

パンチルトアクチュエータ２０のパン角およびチルト角のオフセット量dθ_Ｐおよびdθ_Ｔが計算されると、スマートフォン３０は、その値を制御信号としてパンチルトアクチュエータ２０に回転指示を送信し（Ｓ３９）、その後再びレーザスポット１２の微小移動の指示待ちに戻る。一方、パンチルトアクチュエータ２０は、スマートフォン３０からの制御指示待ち状態にあり（Ｓ２２でＮＯ）、スマートフォン３０から回転指示を受けると（Ｓ２２でＹＥＳ）、その指示されたオフセット量dθ_Ｐおよびdθ_Ｔに従って自身のパン角およびチルト角を制御し（Ｓ２３）、その後再びスマートフォン３０からの制御指示待ち状態に戻る。

【0037】

このように、微調整モードにおいて、ヤコビ行列の特異値の逆数を用いてパンチルトアクチュエータ２０のパン角およびチルト角のオフセット量が計算され、そのオフセット量でパンチルトアクチュエータ２０が制御される。これにより、目標物４０の遠近にかかわらず３次元空間にある目標物４０へのポインティングを同じインチング量、すなわち同じ操作感で微調整することができる。なお、微調整後のレーザスポット１２の空間位置は、上記ステップＳ３５で取得したレーザビーム長ｌ_ｂおよびパンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔにオフセット量dθ_Ｐおよびdθ_Ｔを加算した新たなパン角θ_Ｐおよびチルト角θ_Ｔを式（１）に代入して特定することができる。

【0038】

≪効果≫
本実施形態に係る実世界ポインティングシステム１００によるポインティング性能を評価するための実験を行った。以下、実験の概要と結果について説明する。

【0039】

実験は、室内の６箇所に同心円状の大小のターゲットを配置し、被験者に実世界ポインティングシステム１００を使用して初期位置→第１ターゲット、初期位置→第２ターゲット、…という順でポインティング操作してもらうことで行った。ターゲット大の直径は２８．４ｃｍ、ターゲット小の直径は２．３ｃｍである。ターゲット範囲内にレーザポインタが２秒間とどまればポインティング成功と判定した。微調整モードにおける微小移動単位はターゲット小の直径と同程度にした。

【0040】

ポインティング性能の指標に式（８）で表されるFitsの法則を採用した。式（８）によると、指標Throughputが大きい程ポインティング性能が高いと言える。

【数10】

ここで、Ｄは初期位置からターゲット中心までの距離、Ｗはターゲットの幅、ＭＴはポインティング成功までに要した時間である。

【0041】

図７は、パンチルトアクチュエータ２０のパン角およびチルト角による距離Ｄおよび幅Ｗの定義を説明する図である。図７（ａ）に示したように、初期位置（Starting Position）の座標を（θ_Ｐ０，θ_Ｔ０）、ターゲット中心の座標を（θ_ＰＴＧ，θ_ＴＴＧ）として、Ｄは式（９）で定義される。また、図７（ｂ）に示したように、ターゲット円周左端（Target left end）の座標を（θ_ＰＬ，θ_ＴＬ）、ターゲット円周右端（Target right end）の座標を（θ_ＰＲ，θ_ＴＲ）として、Ｗは式（１０）で定義される。

【数11】

【0042】

図８は、微調整モードがない場合とある場合のポインティング性能の比較結果を表すグラフである。グラフの量はすべてのターゲットに対するThroughputの総和を表す。従来例（微調整モードなし）と本実施形態（微調整モードあり）のThroughputを比較すると、ターゲット大に対する評価はほぼ同じであるが、手振れ等の影響が顕著に現れるターゲット小ついては微調整モードを有する本実施形態の方がポインティング性能に優れていることがわかる。このように、本実施形態に係る実世界ポインティングシステム１００よると、遠方の小さな目標物に対して正確かつ容易にポインティングすることができる。

【0043】

≪変形例≫
スマートフォン３０に代えてタブレット端末、あるいはモーションセンサおよび通信機能を有するウェアラブルデバイスやゲーム機のコントローラなどをパンチルトアクチュエータ２０のコントローラとして使用しても。例えばウェアラブルデバイスをコントローラとして使用する場合、粗調整モードでは当該ウェアラブルデバイスを使用し、微調整モードではスマートフォンなどのタッチスクリーンを有する別のデバイスを使用するようにしてもよい。

【0044】

レーザポインタ１０がレーザビーム１１を照射する機能および目標物４０までの距離を計測する機能の双方を有している必要はない。例えば、レーザポインタ１０はレーザビーム１１を照射する機能だけを有し、目標物４０までの距離を計測する機能を有する別のデバイス（例えばＴＯＦカメラ）を設けるようにしてもよい。

【0045】

図６に例示した微調整モードにおいてパン角およびチルト角のオフセット量でパンチルトアクチュエータ２０の動作を制御しているが、スマートフォン３０においてオフセット量を反映させたパン角およびチルト角の絶対量を計算してその値でパンチルトアクチュエータ２０の動作を制御するようにしてもよい。逆に、図５に例示した粗調整モードにおいてパン角およびチルト角の絶対量ではなくオフセット量でパンチルトアクチュエータ２０の動作を制御するようにしてもよい。

【0046】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0047】

本発明に係る実世界ポインティングシステムは、目標物の遠近にかかわらず３次元空間にある目標物へのポインティングを同じ操作感で微調整することができるため、例えば、要介護者がベッドの上でスマートフォンを操作して部屋内の日用品をポインティングし、それを支援ロボットに取りに行かせるといった介護分野でのロボット操作に利用することができる。

【符号の説明】

【0048】

１００ 実世界ポインティングシステム
１０ レーザポインタ
１１ レーザビーム
１２ レーザスポット
２０ パンチルトアクチュエータ
３０ スマートフォン（コントローラ）
４０ 目標物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2023-09-27

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元空間の実世界に存在する目標物をレーザビームでポインティングする実世界ポインティングシステムおよび実世界ポインティング方法に関する。

【背景技術】

【0002】

要介護者がロボットに望む現実的作業の一つは部屋内の日用品の把持と搬送であるが、我々の日常生活空間は極めて雑多なため、未登録・非定型物体を扱う作業の完全自動化は非常に困難である。そこで発明者はこれまで、支援ロボット早期実用化を狙いに敢えて全自動化ではなく、ロボットの高精度計測制御技術と併せて、要介護者に残存する優れた知能と技能を最大限活用した手動（半自動）のアプローチを進めてきた。この場合、ロボットに如何に簡単・確実に動作指示するか、すなわち直感的な指示インタフェースの研究開発が最重要となる。このような観点で発明者はこれまで、パンチルトアクチュエータ上に搭載された高精度ＴＯＦ型レーザ距離センサをＰＣマウスで操作し実物体を目視しながらクリックすることで、物体操作に関する様々な命令を生成可能な直感的インタフェース（実世界クリッカー）を開発して来た（例えば、非特許文献１を参照）。ここで実世界クリックとは、レーザスポット３Ｄ位置をパン角・チルト角・レーザビーム長からワールド座標系で計測することを意味し、その精度は約５ｍ先で５ｍｍ程度の分解能を有する。ユーザはターゲット物体把持点を実世界クリックしその座標値をロボットに送れば、後はロボットが自動的にその物体近傍まで移動しアーム・ハンドで把持しユーザまで運んでくれる。また、物体が存在していた場所を実世界クリッカーは記録しているので、ユーザはその物体を自動的に元の場所に戻すこともできる。

【0003】

発明者はさらに、日常的によく使用され身近なデバイスであるスマートフォンを実世界クリッカーのコントローラとして用い、スマートフォンの傾きにパンチルトアクチュエータの動きを連動させることで３次元空間の実世界に存在する目標物の位置を直感的操作感でポインティングする技術を開発して来た（例えば、非特許文献２を参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】ＴＯＦ型レーザセンサとパンチルトアクチュエータを用いた実世界クリック方式の提案と生活支援ロボット動作教示への応用，安孫子優紀，日高雄太，佐藤健次郎，岩城 敏，池田徹志，計測自動制御学会論文集Vol. 52, No.11, pp.614-624, 2016

【非特許文献2】坂本ほか:“スマートフォンによる実世界クリッカー操作方式の提案の提案と性能評価”, LIFE2022, 2022

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の実世界ポインティングでは、レーザビーム長が長いほどパンチルトアクチュエータの僅かな角度変化に対してレーザスポットの位置が大きく変位する。このため、スマートフォンなどのデバイスをパンチルトアクチュエータのコントローラとして用いる場合、遠くの目標物へのポインティング操作はコントローラの手振れなどでレーザポインタが大きく動くことがあり比較的難しい。一方、これに比べて近くの目標物へのポインティング操作は比較的容易であるものの、コントローラの手振れなどでレーザスポットが多少ぶれるため、狙った点に正確にポインティングすることが難しいことがある。

【0006】

上記問題に鑑み、本発明は、目標物の遠近にかかわらず３次元空間にある目標物へのポインティングを同じ操作感で微調整することができる実世界ポインティング技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一局面に従うと、パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実世界における目標物をポインティングするシステムであって、前記パンチルトアクチュエータを操作するコントローラが、ユーザから前記レーザビームのレーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記目標物までの距離および前記パンチルトアクチュエータの動作角度に基づく係数を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を制御するように構成されている実世界ポインティングシステムが提供される。

【0008】

また、本発明の一局面に従うと、パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実世界における目標物をポインティングする方法であって、前記パンチルトアクチュエータを操作するコントローラが、ユーザから前記レーザビームのレーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記目標物までの距離および前記パンチルトアクチュエータの動作角度に基づく係数を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を制御する実世界ポインティング方法が提供される。

【0009】

上記システムおよび方法によると、ユーザから指示されたレーザスポットの微小移動量が、目標物までの距離およびパンチルトアクチュエータの動作角度を反映したパンチルトアクチュエータのパン角およびチルト角のオフセット量に変換され、そのオフセット量でパンチルトアクチュエータが制御されるため、目標物の遠近にかかわらず同じ移動量でレーザスポットを移動させることができる。

【発明の効果】

【0010】

本発明によると、目標物の遠近にかかわらず３次元空間にある目標物へのポインティングを同じ操作感で微調整することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る実世界ポインティングシステムの概略図である。

【図2】パンチルトアクチュエータとスマートフォンの連動を示す図である。

【図3】パンチルトアクチュエータの回転中心を原点とする世界座標系を表す図である。

【図4】レーザスポットの位置を原点とするポインティング座標系を表す図である。

【図5】粗調整モードにおけるパンチルトアクチュエータの制御フロー図である。

【図6】微調整モードにおけるパンチルトアクチュエータの制御フロー図である。

【図7】（ａ）はパン角およびチルト角で定義したターゲット中心までの距離を説明する図、（ｂ）はパン角およびチルト角で定義したターゲットの幅を説明する図である。

【図8】微調整モードがない場合とある場合のポインティング性能の比較結果を表すグラフである。

【発明を実施するための形態】

【0012】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各部材の寸法、細部の詳細形状などは実際のものとは異なることがある。

【0013】

≪実世界ポインティングシステムの構成例≫
図１は、本発明の一実施形態に係る実世界ポインティングシステムの概略図である。本実施形態に係る実世界ポインティングシステム１００は、レーザポインタ１０と、レーザポインタ１０の向きを変えるパンチルトアクチュエータ２０と、パンチルトアクチュエータ２０を操作するコントローラとしてのスマートフォン３０とを備えている。

【0014】

レーザポインタ１０は、レーザビーム１１を照射する機能および目標物４０までの距離を計測する機能を有するデバイスである。具体的には、レーザポインタ１０は、目標物４０に向けてレーザビーム１１をパルス投光し、レーザビーム１１を照射してから目標物４０からの反射光を受光するまでの時間を計測することで目標物４０までの距離を計測するＴＯＦ（Time of Fright）型レーザセンサ機能を有する。

【0015】

パンチルトアクチュエータ２０は、本体２１が図略の台や壁や天井などの固定物に設置され、雲台２２を、図中矢印ａで示したチルト方向および矢印ｂで示したパン方向に駆動する電動装置である。パンチルトアクチュエータ２０の雲台２２にレーザポインタ１０が載置固定されている。これによりパンチルトアクチュエータ２０にパン角およびチルト角を指示することでレーザポインタ１０の姿勢を変えてレーザポインタ１０から照射されるレーザビーム１１を任意の向きに変えられるようになっている。レーザビーム１１が物体に照射されるとその物体表面にユーザに視認可能なレーザスポット１２が形成される。このレーザスポット１２の位置が３次元空間の実世界におけるポインティング位置である。

【0016】

スマートフォン３０は、言わずと知れた今やほぼすべての人が所有し、日常的に使用している携帯端末である。最近のスマートフォン３０は、無線通信機能以外に筐体の姿勢や動きを検知するモーションセンサを搭載している。より詳細には、当該モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサが一体モジュール化された９軸センサである。加速度センサは、筐体の直交３軸方向の加速度を検知するセンサ、ジャイロセンサは、直交３軸回りの角速度を検知するセンサ、地磁気センサは、筐体の直交３軸方向の地磁気を検知するセンサである。

【0017】

スマートフォン３０の中にはＬｉＤＡＲに代表される深度カメラをさらに備えているものがある。このような深度カメラを備えたスマートフォン３０の場合、スマートフォン３０が目標物４０までの距離を正確に測定することができる。

【0018】

上記構成の実世界ポインティングシステム１００において、レーザポインタ１０およびパンチルトアクチュエータ２０は図略の無線通信インタフェースを介してスマートフォン３０とＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの各種短距離無線通信３１ができるようになっている。スマートフォン３０には、下述するようにレーザポインタ１０およびパンチルトアクチュエータ２０をコントロールするためのコンピュータプログラムである専用アプリがインストールされており、この専用アプリを起動することでスマートフォン３０が実世界ポインティングシステム１００のコントローラとして機能する。具体的には、後述する粗調整モードにおいて、スマートフォン３０を傾けることでパンチルトアクチュエータ２０がスマートフォン３０の傾きに連動して動き、レーザポインタ１０から照射されるレーザビーム１１の方向を自在に変えることができる。また、後述する微調整モードにおいて、スマートフォン３０のタッチスクリーンに表示されるＵＩを操作することで、レーザスポット１２の位置を微調整することができる。

【0019】

図２は、パンチルトアクチュエータ２０とスマートフォン３０の連動を示す図である。ユーザはタッチスクリーンを水平にしてスマートフォン３０を手に持ち長手方向を目標物４０に向けてスマートフォン３０を動かす。このときパンチルトアクチュエータ２０とスマートフォン３０が相対的に近いことから、スマートフォン３０の水平回転角θ_Ｚおよび上下回転角θ_Ｘは、それぞれ、パンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔと等しいとみなすことができる。スマートフォン３０のロール回転角（この場合のロール回転角は、スマートフォン３０の長手方向の軸回りの回転角である。）は無視される。したがって、スマートフォン３０はモーションセンサの信号に基づいて筐体の水平回転角θ_Ｚおよび上下回転角θ_Ｘを計算し、θ_Ｐ＝θ_Ｚ、θ_Ｔ＝θ_Ｘと換算してθ_Ｐ、θ_Ｔをパンチルトアクチュエータ２０に指示する。これにより、スマートフォン３０の動き通りにパンチルトアクチュエータ２０が動き、ユーザはあたかもスマートフォン３０の先端からレーザビーム１１が照射されているかのように直感的にレーザビーム１１照射方向をコントロールすることができる。すなわち、スマートフォン３０をあたかもレーザポインタのごとく使用することができる。厳密に言うとθ_Ｐ＝θ_Ｚ、θ_Ｔ＝θ_Ｘと近似しているためスマートフォン３０の動きに対してレーザビーム１１の照射方向の動きに近似誤差が生じるが、ユーザはレーザポインタを目視しながらスマートフォン３０を動かすため、そのような近似誤差はスマートフォン３０を動かすときにユーザにより自ずと補正される。

【0020】

図３は、パンチルトアクチュエータ２０の回転中心を原点とする右手系座標系の世界座標系を表す図である。世界座標系Σ_０におけるレーザスポット１２の３Ｄ座標ｒは式（０）のように計算される。

【数1】

ここで、θ_Ｐはパン角、θ_Ｔはチルト角、ｌ_ｂはレーザビーム１１のビーム長、δ_Ｚはレーザポインタ１０のロータ座標系Ｚ軸方向のオフセットである。

【0021】

図３および式（０）から理解されるように、レーザスポット１２がパンチルトアクチュエータ２０から遠くにあるほどθ_Ｐおよびθ_Ｔの変化がレーザポインタ１２の位置変化に大きく影響を及ぼす。すなわち、パンチルトアクチュエータ２０のコントローラであるスマートフォン３０の僅かな動きで遠方のレーザスポット１２が大きく動いてしまう。このため、遠方の目標物４０に対して狙った通り正確にポインティングすることが難しいという問題がある。そこで、本実施形態に係る実世界ポインティングシステム１００ではパンチルトアクチュエータ２０の制御に粗調整モードと微調整モードの２つを設け、粗調整モードではスマートフォン３０の傾きとパンチルトアクチュエータ２０の動きを連動させてレーザスポット１２を目標物４０の近傍にまで素早く移動できるようにし、微調整モードではスマートフォン３０とパンチルトアクチュエータ２０の連動を解除して遠方にある目標物４０に対して正確に位置合わせができるようにし、これらモードを適宜切り替えて使用することでポインティングの素早さと正確性の両立を図っている。

【0022】

微調整モードでは目標物４０までの距離や高さに依存せず、すなわち任意のｑ＝（ｌ_ｂ，θ_Ｔ，θ_Ｐ）^Ｔに対して一定のポインティング操作感が実現されるようになっている。微調整モード導入の簡単化のために以下の前提条件を置く。
（１）パンチルトアクチュエータ２０は水平に設置
（２）パンチルトアクチュエータ２０とユーザの頭部の位置はパンチルトアクチュエータ２０と目標物４０との間の距離と比べ相対的に十分近い
（３）ユーザの頭部は常に鉛直上向き
（４）ユーザの視線は常に目標物４０の方向
（５）δ_Ｚは十分小さい
これら条件の下で、粗調整モードにおけるパンチルトアクチュエータ２０の順運動学は式（１）のように計算される。

【数2】

【0023】

微調整モードにおいては、レーザスポット１２の位置を原点とし、Ｙ軸はレーザビーム１１の進行方向、Ｘ軸は水平方向、Ｚ軸はＸ軸とＹ軸の外積方向であるポインティング座標系Σ_{ｐｏｉｎｔ}を導入する。図４は、レーザスポット１２の位置を原点とする右手系座標系のポインティング座標系を表す図である。この座標系原点近傍でのスポット微小運動操作に対して、レーザビーム１１を受動並進リンクとして捉えた多リンクマニピュレータの可操作性の観点で最適化を試みる。ここで最適性の指標は次の通りである。
（１）任意のｑで可操作性が同一
（２）任意のｑで可操作性楕円体が球体

【0024】

式（１）を微分することで^０ｒ、ｑ微小部分の線形関係が式（２）で得られ、これがパンチルトアクチュエータ２０の運動を決定する。

【数3】

ここで、Ｊ（ｑ）は式（３）のヤコビ行列である。

【数4】

式（３）を特異値分解すると式（４）を得る。

【数5】

ここで、

【数6】

であり、^０Ｒ_{ｐｏｉｎｔ}はΣ_０から見たΣ_{ｐｏｉｎｔ}の回転行列である。したがって、Σ_{ｐｏｉｎｔ}での微小変位^{ｐｏｉｎｔ}dｒは

【数7】

よって、新たな操作入力として、式（６）を導入すると^{ｐｏｉｎｔ}dｒは式（７）で表される。

【数8】

【0025】

以上より、能動軸（^{ｐｏｉｎｔ}dｘ，^{ｐｏｉｎｔ}dｚ）に対応する特異値がそれぞれ１になり、任意のｑに対して上記最適性の条件（１）（２）を満たすことが確認できる。ただし、ｌ_ｂはレーザポインタ１０により実時間計測され、受動並進リンクに相当するので可操作性楕円体は球ではなく円となる。以上は球面座標系の直交性に関する幾何学的直感から得られる結果と一致する。

【0026】

≪粗調整モード≫
図５は、粗調整モードにおけるパンチルトアクチュエータ２０の制御フロー図である。実世界ポインティングシステム１００は粗調整モードからスタートする。スマートフォン３０の専用アプリを起動すると、まず、スマートフォン３０とパンチルトアクチュエータ２０の初期位置合わせが行われる（Ｓ３０）。具体的には、スマートフォン３０の長手方向とレーザビーム１１の照射方向を一致させた状態、例えば、レーザポインタ１０の上または横にスマートフォン３０を両者の向きを合わせて置いた状態で初期位置合わせＳ３０が行われる。

【0027】

初期位置合わせが済むと、スマートフォン３０はモーションセンサの信号に基づいて筐体の姿勢変化を監視する（Ｓ３１でＮＯ）。そして、筐体の姿勢変化を検出すると（Ｓ３１でＹＥＳ）、スマートフォン３０はその姿勢変化の変動量をパンチルトアクチュエータ２０のパン方向およびチルト方向の回転角に換算する（Ｓ３２）。なお、筐体の姿勢変化の検出は、ユーザがスマートフォン３０を手から離して落とした場合など一定量を超える衝撃を伴う場合には無視するようにすることが望ましい。この換算処理によりパンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔが計算される。

【0028】

パンチルトアクチュエータ２０とスマートフォン３０が相対的に近いことから、スマートフォン３０の水平回転角θ_Ｚおよび上下回転角θ_Ｘは、それぞれ、パンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔと等しいとみなすことができる。スマートフォン３０のロール回転角（この場合のロール回転角は、スマートフォン３０の長手方向の軸回りの回転角である。）は無視される。したがって、スマートフォン３０はモーションセンサの信号に基づいて筐体の水平回転角θ_Ｚおよび上下回転角θ_Ｘを計算し、θ_Ｐ＝θ_Ｚ、θ_Ｔ＝θ_Ｘと換算する。

【0029】

パンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔが計算されると、スマートフォン３０は、その値を制御信号としてパンチルトアクチュエータ２０に回転指示を送信し（Ｓ３３）、その後再び筐体の姿勢変化の監視に戻る。一方、パンチルトアクチュエータ２０は、スマートフォン３０からの制御指示待ち状態にあり（Ｓ２０でＮＯ）、スマートフォン３０から回転指示を受けると（Ｓ２０でＹＥＳ）、その指示されたパン角θ_Ｐおよびチルト角θ_Ｔになるように自身のパン角およびチルト角を制御し（Ｓ２１）、その後再びスマートフォン３０からの制御指示待ち状態に戻る。

【0030】

粗調整モードでは、上述のスマートフォン３０とパンチルトアクチュエータ２０の連携動作により、スマートフォン３０を傾けることでその傾きに連動してパンチルトアクチュエータ２０が動いて、パンチルトアクチュエータ２０に設置されたレーザポインタ１０から照射されるレーザビーム１１の方向を変えることができる。

【0031】

≪微調整モード≫
図６は、微調整モードにおけるパンチルトアクチュエータ２０の制御フロー図である。ユーザは任意のタイミングで実世界ポインティングシステム１００を粗調整モードから微調整モードに切り替えることができる。また、ユーザは任意のタイミングで実世界ポインティングシステム１００を微調整モードから粗調整モードに切り替えることができる。

【0032】

微調整モードに遷移すると、まず、スマートフォン３０は内蔵されたモーションセンサの信号に基づく筐体の姿勢変化の検知を停止する（Ｓ３４）。すなわち、パンチルトアクチュエータ２０をスマートフォン３０の筐体の姿勢変化に追従しないようにする。

【0033】

スマートフォン３０は、微調整モードに遷移した時点の目標物４０までの距離およびパンチルトアクチュエータ２０の動作角度を取得する（Ｓ３５）。目標物４０までの距離は具体的にはレーザビーム長ｌ_ｂであり、レーザポインタ１０の測距情報から取得することができる。スマートフォン３０が深度カメラを備えていれば、スマートフォン３０で目標物４０までの距離を測定してそれをレーザビーム長ｌ_ｂとみなしてもよい。パンチルトアクチュエータ２０の動作角度には少なくともチルト角θ_Ｔが含まれていればよく、微調整後のレーザスポット１２の空間位置を特定するためにさらにパン角θ_Ｐが含まれていてもよい。

【0034】

スマートフォン３０は、タッチスクリーンに微調整モードＵＩを表示し、ユーザからレーザスポット１２の微小移動の指示を受け付ける（Ｓ３６）。ユーザは、ＵＩを通じてレーザスポット１２を数ｍｍ～数ｃｍの単位で微小移動、すなわちインチング操作することができる。例えば、微調整モードＵＩは上下左右の各方向を表す４つのボタンで構成することができる。そのようなＵＩでは、ユーザは、レーザスポット１２を所望の方向に所望のインチング量だけ移動させたい場合、その方向のボタンを所望回数クリックすればよい。あるいは、微調整モードＵＩをレチクル（照準）にすると、ユーザはボタンを複数回クリックすることなしに、１回のクリックでレーザポインタ１２をレチクル内の任意の位置に複数回のインチング操作と同等の指示を出すことができる。

【0035】

スマートフォン３０は、微調整モードＵＩを通じてユーザからレーザスポット１２の微小移動指示を受けると（Ｓ３７でＹＥＳ）、指示された微小移動量を、パンチルトアクチュエータ２０のパン方向およびチルト方向の回転角に換算する（Ｓ３８）。具体的には、スマートフォン３０は、指示された微小移動量に対して、式（６’）に従ってパン角およびチルト角のオフセット量dθ_Ｐおよびdθ_Ｔを計算する。なお、式（６’）は式（６）を変形したものである。

【数9】

ここで、dｘはレーザスポット１２のＸ軸方向（左右方向）の微小移動量、dｚはレーザスポット１２のＺ軸方向（上下方向）の微小移動量、ｌ_ｂはレーザビーム１１のビーム長、θ_Ｔはパンチルトアクチュエータ２０のチルト角である。

【0036】

パンチルトアクチュエータ２０のパン角およびチルト角のオフセット量dθ_Ｐおよびdθ_Ｔが計算されると、スマートフォン３０は、その値を制御信号としてパンチルトアクチュエータ２０に回転指示を送信し（Ｓ３９）、その後再びレーザスポット１２の微小移動の指示待ちに戻る。一方、パンチルトアクチュエータ２０は、スマートフォン３０からの制御指示待ち状態にあり（Ｓ２２でＮＯ）、スマートフォン３０から回転指示を受けると（Ｓ２２でＹＥＳ）、その指示されたオフセット量dθ_Ｐおよびdθ_Ｔに従って自身のパン角およびチルト角を制御し（Ｓ２３）、その後再びスマートフォン３０からの制御指示待ち状態に戻る。

【0037】

このように、微調整モードにおいて、ヤコビ行列の特異値の逆数を用いてパンチルトアクチュエータ２０のパン角およびチルト角のオフセット量が計算され、そのオフセット量でパンチルトアクチュエータ２０が制御される。これにより、目標物４０の遠近にかかわらず３次元空間にある目標物４０へのポインティングを同じインチング量、すなわち同じ操作感で微調整することができる。なお、微調整後のレーザスポット１２の空間位置は、上記ステップＳ３５で取得したレーザビーム長ｌ_ｂおよびパンチルトアクチュエータ２０のパン角θ_Ｐおよびチルト角θ_Ｔにオフセット量dθ_Ｐおよびdθ_Ｔを加算した新たなパン角θ_Ｐおよびチルト角θ_Ｔを式（１）に代入して特定することができる。

【0038】

≪効果≫
本実施形態に係る実世界ポインティングシステム１００によるポインティング性能を評価するための実験を行った。以下、実験の概要と結果について説明する。

【0039】

実験は、室内の６箇所に同心円状の大小のターゲットを配置し、被験者に実世界ポインティングシステム１００を使用して初期位置→第１ターゲット、初期位置→第２ターゲット、…という順でポインティング操作してもらうことで行った。ターゲット大の直径は２８．４ｃｍ、ターゲット小の直径は２．３ｃｍである。ターゲット範囲内にレーザポインタが２秒間とどまればポインティング成功と判定した。微調整モードにおける微小移動単位はターゲット小の直径と同程度にした。

【0040】

ポインティング性能の指標に式（８）で表されるFitsの法則を採用した。式（８）によると、指標Throughputが大きい程ポインティング性能が高いと言える。

【数10】

ここで、Ｄは初期位置からターゲット中心までの距離、Ｗはターゲットの幅、ＭＴはポインティング成功までに要した時間である。

【0041】

図７は、パンチルトアクチュエータ２０のパン角およびチルト角による距離Ｄおよび幅Ｗの定義を説明する図である。図７（ａ）に示したように、初期位置（Starting Position）の座標を（θ_Ｐ０，θ_Ｔ０）、ターゲット中心の座標を（θ_ＰＴＧ，θ_ＴＴＧ）として、Ｄは式（９）で定義される。また、図７（ｂ）に示したように、ターゲット円周左端（Target left end）の座標を（θ_ＰＬ，θ_ＴＬ）、ターゲット円周右端（Target right end）の座標を（θ_ＰＲ，θ_ＴＲ）として、Ｗは式（１０）で定義される。

【数11】

【0042】

図８は、微調整モードがない場合とある場合のポインティング性能の比較結果を表すグラフである。グラフの量はすべてのターゲットに対するThroughputの総和を表す。従来例（微調整モードなし）と本実施形態（微調整モードあり）のThroughputを比較すると、ターゲット大に対する評価はほぼ同じであるが、手振れ等の影響が顕著に現れるターゲット小ついては微調整モードを有する本実施形態の方がポインティング性能に優れていることがわかる。このように、本実施形態に係る実世界ポインティングシステム１００よると、遠方の小さな目標物に対して正確かつ容易にポインティングすることができる。

【0043】

≪変形例≫
スマートフォン３０に代えてタブレット端末、あるいはモーションセンサおよび通信機能を有するウェアラブルデバイスやゲーム機のコントローラなどをパンチルトアクチュエータ２０のコントローラとして使用しても。例えばウェアラブルデバイスをコントローラとして使用する場合、粗調整モードでは当該ウェアラブルデバイスを使用し、微調整モードではスマートフォンなどのタッチスクリーンを有する別のデバイスを使用するようにしてもよい。

【0044】

レーザポインタ１０がレーザビーム１１を照射する機能および目標物４０までの距離を計測する機能の双方を有している必要はない。例えば、レーザポインタ１０はレーザビーム１１を照射する機能だけを有し、目標物４０までの距離を計測する機能を有する別のデバイス（例えばＴＯＦカメラ）を設けるようにしてもよい。

【0045】

図６に例示した微調整モードにおいてパン角およびチルト角のオフセット量でパンチルトアクチュエータ２０の動作を制御しているが、スマートフォン３０においてオフセット量を反映させたパン角およびチルト角の絶対量を計算してその値でパンチルトアクチュエータ２０の動作を制御するようにしてもよい。逆に、図５に例示した粗調整モードにおいてパン角およびチルト角の絶対量ではなくオフセット量でパンチルトアクチュエータ２０の動作を制御するようにしてもよい。

【0046】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0047】

本発明に係る実世界ポインティングシステムは、目標物の遠近にかかわらず３次元空間にある目標物へのポインティングを同じ操作感で微調整することができるため、例えば、要介護者がベッドの上でスマートフォンを操作して部屋内の日用品をポインティングし、それを支援ロボットに取りに行かせるといった介護分野でのロボット操作に利用することができる。

【符号の説明】

【0048】

１００ 実世界ポインティングシステム
１０ レーザポインタ
１１ レーザビーム
１２ レーザスポット
２０ パンチルトアクチュエータ
３０ スマートフォン（コントローラ）
４０ 目標物

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実世界における目標物をポインティングするシステムであって、
前記パンチルトアクチュエータを操作するコントローラが、ユーザから前記レーザビームのレーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記目標物までの距離および前記パンチルトアクチュエータの動作角度に基づく係数を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、
前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を制御するように構成されている
ことを特徴とする実世界ポインティングシステム。

【請求項2】

前記レーザスポットの微小移動の指示が前記レーザスポットの上下左右の任意の方向へのインチング操作である
ことを特徴とする請求項１に記載の実世界ポインティングシステム。

【請求項3】

右手系座標系においてdｘを前記レーザスポットの左右方向の微小移動量、dｚを前記レーザスポットの上下方向の微小移動量、ｌ_ｂを前記レーザビームのビーム長、θ_Ｔを前記パンチルトアクチュエータのチルト角、dθ_Ｐを前記パンチルトアクチュエータのパン角のオフセット量、dθ_Ｔを前記パンチルトアクチュエータのチルト角のオフセット量として、前記コントローラが、次式に従ってdθ_Ｐおよびdθ_Ｔを計算する

ことを特徴とする請求項２に記載の実世界ポインティングシステム。

【請求項4】

パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実世界における目標物をポインティングする方法であって、
前記パンチルトアクチュエータを操作するコントローラが、ユーザから前記レーザビームのレーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記目標物までの距離および前記パンチルトアクチュエータの動作角度に基づく係数を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、
前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を制御する
ことを特徴とする実世界ポインティング方法。

【請求項5】

前記レーザスポットの微小移動の指示が前記レーザスポットの上下左右の任意の方向へのインチング操作である
ことを特徴とする請求項４に記載の実世界ポインティング方法。

【請求項6】

右手系座標系においてdｘを前記レーザスポットの左右方向の微小移動量、dｚを前記レーザスポットの上下方向の微小移動量、ｌ_ｂを前記レーザビームのビーム長、θ_Ｔを前記パンチルトアクチュエータのチルト角、dθ_Ｐを前記パンチルトアクチュエータのパン角のオフセット量、dθ_Ｔを前記パンチルトアクチュエータのチルト角のオフセット量として、前記コントローラが、次式に従ってdθ_Ｐおよびdθ_Ｔを計算する

ことを特徴とする請求項５に記載の実世界ポインティング方法。