ホーム > 特許ランキング > 公立大学法人広島市立大学
知財求人 - 知財ポータルサイト「IP Force」
特開2025-56559実世界ポインティングシステムおよび実世界ポインティング方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025056559
(43)【公開日】2025-04-08
(54)【発明の名称】実世界ポインティングシステムおよび実世界ポインティング方法
(51)【国際特許分類】
G06F 3/033 20130101AFI20250401BHJP
G06F 3/01 20060101ALI20250401BHJP
【ＦＩ】
G06F3/033 A
G06F3/01
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023166105
(22)【出願日】2023-09-27
(71)【出願人】
【識別番号】510108951
【氏名又は名称】公立大学法人広島市立大学
(74)【代理人】
【識別番号】100163186
【弁理士】
【氏名又は名称】松永 裕吉
(72)【発明者】
【氏名】岩城 敏
(72)【発明者】
【氏名】坂本 慎一郎
【テーマコード（参考）】
5B087
5E555
【Ｆターム（参考）】
5B087AA07
5E555AA06
5E555BA08
5E555BB06
5E555BE17
5E555FA00
(57)【要約】
【課題】設置および操作し易い実世界ポインティングを実現する。
【解決手段】ポインティングシステム１００において、コントローラ３０が、パンチルトアクチュエータ２０の非可動部位に付されたビジュアルマーカ２３の撮像画像を解析して、カメラがパンチルトアクチュエータに向いている第１の状態における世界座標系Σ０におけるコントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求め、第１の状態からカメラが目標物４０に向いている第２の状態に変化するときのコントローラの姿勢変化をモーションセンサで検知して、第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求め、第２の状態において目標物までの距離からコントローラの座標系ΣＳにおける目標物の空間座標Ｓｒを求め、パンチルトアクチュエータ２０が、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から求まるパン角θＰおよびチルト角θＴで動作する。
【選択図】図１
【解決手段】ポインティングシステム１００において、コントローラ３０が、パンチルトアクチュエータ２０の非可動部位に付されたビジュアルマーカ２３の撮像画像を解析して、カメラがパンチルトアクチュエータに向いている第１の状態における世界座標系Σ０におけるコントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求め、第１の状態からカメラが目標物４０に向いている第２の状態に変化するときのコントローラの姿勢変化をモーションセンサで検知して、第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求め、第２の状態において目標物までの距離からコントローラの座標系ΣＳにおける目標物の空間座標Ｓｒを求め、パンチルトアクチュエータ２０が、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から求まるパン角θＰおよびチルト角θＴで動作する。
【選択図】図１
【特許請求の範囲】
【請求項1】
コントローラで離れた場所にあるパンチルトアクチュエータを操作して、前記パンチルトアクチュエータに搭載されたレーザポインタから照射されるレーザビームで実世界における目標物をポインティングするシステムであって、
前記コントローラが、光学像の撮像および深度計測が可能なカメラおよびモーションセンサを有し、前記パンチルトアクチュエータの非可動部位に付されたビジュアルマーカを前記カメラで撮像した撮像画像を解析して、前記カメラが前記パンチルトアクチュエータに向いている第１の状態における世界座標系Σ０における前記コントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求め、前記第１の状態から前記カメラが前記目標物に向いている第２の状態に変化するときの前記コントローラの姿勢変化を前記モーションセンサで検知して、前記第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求め、前記第２の状態において前記カメラで計測した前記目標物までの距離から前記コントローラの座標系ΣＳにおける前記目標物の空間座標Ｓｒを求め、
前記パンチルトアクチュエータが、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から求まるパン角θＰおよびチルト角θＴで動作する（ただし、ｌｂは前記レーザビームのビーム長であり、０ｒは世界座標系Σ０における前記レーザビームのレーザスポットの空間座標であって０ｒ＝０ＴＳｉｎｉ ＳｉｎｉＴＳ Ｓｒである。）ように構成されている
ことを特徴とする実世界ポインティングシステム。
前記コントローラが、光学像の撮像および深度計測が可能なカメラおよびモーションセンサを有し、前記パンチルトアクチュエータの非可動部位に付されたビジュアルマーカを前記カメラで撮像した撮像画像を解析して、前記カメラが前記パンチルトアクチュエータに向いている第１の状態における世界座標系Σ０における前記コントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求め、前記第１の状態から前記カメラが前記目標物に向いている第２の状態に変化するときの前記コントローラの姿勢変化を前記モーションセンサで検知して、前記第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求め、前記第２の状態において前記カメラで計測した前記目標物までの距離から前記コントローラの座標系ΣＳにおける前記目標物の空間座標Ｓｒを求め、
前記パンチルトアクチュエータが、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から求まるパン角θＰおよびチルト角θＴで動作する（ただし、ｌｂは前記レーザビームのビーム長であり、０ｒは世界座標系Σ０における前記レーザビームのレーザスポットの空間座標であって０ｒ＝０ＴＳｉｎｉ ＳｉｎｉＴＳ Ｓｒである。）ように構成されている
ことを特徴とする実世界ポインティングシステム。
【請求項2】
前記コントローラが、前記第１の状態から前記第２の状態へと変化するときの前記コントローラの並進ベクトルをゼロとみなして同次変換行列０ＴＩｎｉを求める
ことを特徴とする請求項１に記載の実世界ポインティングシステム。
ことを特徴とする請求項１に記載の実世界ポインティングシステム。
【請求項3】
前記コントローラが、ユーザから前記レーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記レーザビームのビーム長および前記パンチルトアクチュエータの動作角度に基づく係数および同次変換行列０ＴＳｉｎｉおよびＳｉｎｉＴＳに含まれる回転行列を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、
前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を微調整するように構成されている
ことを特徴とする請求項１または２に記載の実世界ポインティングシステム。
前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を微調整するように構成されている
ことを特徴とする請求項１または２に記載の実世界ポインティングシステム。
【請求項4】
前記レーザスポットの微小移動の指示が前記レーザスポットの上下左右の任意の方向へのインチング操作である
ことを特徴とする請求項３に記載の実世界ポインティングシステム。
ことを特徴とする請求項３に記載の実世界ポインティングシステム。
【請求項5】
光学像の撮像および深度計測が可能なカメラおよびモーションセンサを有するコントローラで離れた場所にあるパンチルトアクチュエータを操作して、前記パンチルトアクチュエータに搭載されたレーザポインタから照射されるレーザビームで実世界における目標物をポインティングする方法であって、
前記コントローラが、前記パンチルトアクチュエータの非可動部位に付されたビジュアルマーカを前記カメラで撮像した撮像画像を解析して、前記カメラが前記パンチルトアクチュエータに向いている第１の状態における世界座標系Σ０における前記コントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求め、
前記コントローラが、前記第１の状態から前記カメラが前記目標物に向いている第２の状態に変化するときの前記コントローラの姿勢変化を前記モーションセンサで検知して、前記第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求め、
前記コントローラが、前記第２の状態において前記カメラで計測した前記目標物までの距離から前記コントローラの座標系ΣＳにおける前記目標物の空間座標Ｓｒを求め、
前記パンチルトアクチュエータが、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から求まるパン角θＰおよびチルト角θＴで動作する（ただし、ｌｂは前記レーザビームのビーム長であり、０ｒは世界座標系Σ０における前記レーザビームのレーザスポットの空間座標であって０ｒ＝０ＴＳｉｎｉ ＳｉｎｉＴＳ Ｓｒである。）
ことを特徴とする実世界ポインティング方法。
前記コントローラが、前記パンチルトアクチュエータの非可動部位に付されたビジュアルマーカを前記カメラで撮像した撮像画像を解析して、前記カメラが前記パンチルトアクチュエータに向いている第１の状態における世界座標系Σ０における前記コントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求め、
前記コントローラが、前記第１の状態から前記カメラが前記目標物に向いている第２の状態に変化するときの前記コントローラの姿勢変化を前記モーションセンサで検知して、前記第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求め、
前記コントローラが、前記第２の状態において前記カメラで計測した前記目標物までの距離から前記コントローラの座標系ΣＳにおける前記目標物の空間座標Ｓｒを求め、
前記パンチルトアクチュエータが、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から求まるパン角θＰおよびチルト角θＴで動作する（ただし、ｌｂは前記レーザビームのビーム長であり、０ｒは世界座標系Σ０における前記レーザビームのレーザスポットの空間座標であって０ｒ＝０ＴＳｉｎｉ ＳｉｎｉＴＳ Ｓｒである。）
ことを特徴とする実世界ポインティング方法。
【請求項6】
前記コントローラが、前記第１の状態から前記第２の状態へと変化するときの前記コントローラの並進ベクトルをゼロとみなして同次変換行列０ＴＩｎｉを求める
ことを特徴とする請求項５に記載の実世界ポインティング方法。
ことを特徴とする請求項５に記載の実世界ポインティング方法。
【請求項7】
前記コントローラが、ユーザから前記レーザスポットの微小移動の指示を受け付け、指示された前記レーザスポットの微小移動量に前記レーザビームのビーム長および前記パンチルトアクチュエータの動作角度に基づく係数および同次変換行列０ＴＳｉｎｉおよびＳｉｎｉＴＳに含まれる回転行列を掛けて前記パンチルトアクチュエータのパン角およびチルト角のオフセット量を計算して、前記パンチルトアクチュエータに前記計算したオフセット量または前記オフセット量を反映させたパン角およびチルト角の絶対量を無線通信により指示し、
前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を微調整する
ことを特徴とする請求項５または６に記載の実世界ポインティング方法。
前記パンチルトアクチュエータが、前記コントローラから指示されたオフセット量または絶対量で自身のパン角およびチルト角を微調整する
ことを特徴とする請求項５または６に記載の実世界ポインティング方法。
【請求項8】
前記レーザスポットの微小移動の指示が前記レーザスポットの上下左右の任意の方向へのインチング操作である
ことを特徴とする請求項７に記載の実世界ポインティング方法。
ことを特徴とする請求項７に記載の実世界ポインティング方法。
【請求項9】
光学像の撮像および深度計測が可能なカメラおよびモーションセンサを有するスマートフォンを、パンチルトアクチュエータにより向きが変えられるレーザポインタから照射されるレーザビームで実世界における目標物をポインティングするシステムにおけるコントローラとして機能させるスマートフォンアプリであって、
前記パンチルトアクチュエータの非可動部位に付されたビジュアルマーカを前記カメラで撮像した撮像画像を解析して、前記カメラが前記パンチルトアクチュエータに向いている第１の状態における世界座標系Σ０における前記コントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求める手段、
前記第１の状態から前記カメラが前記目標物に向いている第２の状態に変化するときの前記コントローラの姿勢変化を前記モーションセンサで検知して、前記第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求める手段、
前記第２の状態において前記カメラで計測した前記目標物までの距離から前記コントローラの座標系ΣＳにおける前記目標物の空間座標Ｓｒを求める手段、および
逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）からパン角θＰおよびチルト角θＴを計算して前記パンチルトアクチュエータに指示する（ただし、ｌｂは前記レーザビームのビーム長であり、０ｒは世界座標系Σ０における前記レーザビームのレーザスポットの空間座標であって０ｒ＝０ＴＳｉｎｉ ＳｉｎｉＴＳ Ｓｒである。）手段として、スマートフォンを機能させる
ことを特徴とするスマートフォンアプリ。
前記パンチルトアクチュエータの非可動部位に付されたビジュアルマーカを前記カメラで撮像した撮像画像を解析して、前記カメラが前記パンチルトアクチュエータに向いている第１の状態における世界座標系Σ０における前記コントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求める手段、
前記第１の状態から前記カメラが前記目標物に向いている第２の状態に変化するときの前記コントローラの姿勢変化を前記モーションセンサで検知して、前記第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求める手段、
前記第２の状態において前記カメラで計測した前記目標物までの距離から前記コントローラの座標系ΣＳにおける前記目標物の空間座標Ｓｒを求める手段、および
逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）からパン角θＰおよびチルト角θＴを計算して前記パンチルトアクチュエータに指示する（ただし、ｌｂは前記レーザビームのビーム長であり、０ｒは世界座標系Σ０における前記レーザビームのレーザスポットの空間座標であって０ｒ＝０ＴＳｉｎｉ ＳｉｎｉＴＳ Ｓｒである。）手段として、スマートフォンを機能させる
ことを特徴とするスマートフォンアプリ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元空間の実世界に存在する目標物をレーザビームでポインティングする実世界ポインティングシステムおよび実世界ポインティング方法に関する。
【背景技術】
【0002】
要介護者がロボットに望む現実的作業の一つは部屋内の日用品の把持と搬送であるが、我々の日常生活空間は極めて雑多なため、未登録・非定型物体を扱う作業の完全自動化は非常に困難である。そこで発明者はこれまで、支援ロボット早期実用化を狙いに敢えて全自動化ではなく、ロボットの高精度計測制御技術と併せて、要介護者に残存する優れた知能と技能を最大限活用した手動（半自動）のアプローチを進めてきた。この場合、ロボットに如何に簡単・確実に動作指示するか、すなわち直感的な指示インタフェースの研究開発が最重要となる。このような観点で発明者はこれまで、パンチルトアクチュエータ上に搭載された高精度ＴＯＦ型レーザ距離センサをＰＣマウスで操作し実物体を目視しながらクリックすることで、物体操作に関する様々な命令を生成可能な直感的インタフェース（実世界クリッカー）を開発して来た（例えば、非特許文献１を参照）。ここで実世界クリックとは、レーザスポット３Ｄ位置をパン角・チルト角・レーザビーム長からワールド座標系で計測することを意味し、その精度は約５ｍ先で５ｍｍ程度の分解能を有する。ユーザはターゲット物体把持点を実世界クリックしその座標値をロボットに送れば、後はロボットが自動的にその物体近傍まで移動しアーム・ハンドで把持しユーザまで運んでくれる。また、物体が存在していた場所を実世界クリッカーは記録しているので、ユーザはその物体を自動的に元の場所に戻すこともできる。
【0003】
発明者はさらに、日常的によく使用され身近なデバイスであるスマートフォンを実世界クリッカーのコントローラとして用い、スマートフォンの傾きにパンチルトアクチュエータの動きを連動させることで３次元空間の実世界に存在する目標物の位置を直感的操作感でポインティングする技術を開発して来た（例えば、特許文献１を参照）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】ＴＯＦ型レーザセンサとパンチルトアクチュエータを用いた実世界クリック方式の提案と生活支援ロボット動作教示への応用，安孫子優紀，日高雄太，佐藤健次郎，岩城 敏，池田徹志，計測自動制御学会論文集Vol. 52, No.11, pp.614-624, 2016
【特許文献】
【0005】
【特許文献1】特開２０２３－７７９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記の実世界ポインティングには、１）パンチルトアクチュエータは水平に設置される、２）パンチルトアクチュエータとユーザの頭部の位置はパンチルトアクチュエータと目標物との間の距離と比べて相対的に十分に近い、３）ユーザの頭部は常に鉛直上向き、という制約条件がある。このため、パンチルトアクチュエータを設置場所や設置の向きが限られたり、ユーザが自由な姿勢で操作できなかったりといった実用上の問題がある。
【0007】
上記問題に鑑み、本発明は、制約条件をなくして設置および操作し易い実世界ポインティング技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一局面に従うと、コントローラで離れた場所にあるパンチルトアクチュエータを操作して、前記パンチルトアクチュエータに搭載されたレーザポインタから照射されるレーザビームで実世界における目標物をポインティングするシステムであって、前記コントローラが、光学像の撮像および深度計測が可能なカメラおよびモーションセンサを有し、前記パンチルトアクチュエータの非可動部位に付されたビジュアルマーカを前記カメラで撮像した撮像画像を解析して、前記カメラが前記パンチルトアクチュエータに向いている第１の状態における世界座標系Σ０における前記コントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求め、前記第１の状態から前記カメラが前記目標物に向いている第２の状態に変化するときの前記コントローラの姿勢変化を前記モーションセンサで検知して、前記第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求め、前記第２の状態において前記カメラで計測した前記目標物までの距離から前記コントローラの座標系ΣＳにおける前記目標物の空間座標Ｓｒを求め、前記パンチルトアクチュエータが、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から求まるパン角θＰおよびチルト角θＴで動作する（ただし、ｌｂは前記レーザビームのビーム長であり、０ｒは世界座標系Σ０における前記レーザビームのレーザスポットの空間座標であって０ｒ＝０ＴＳｉｎｉ
ＳｉｎｉＴＳ
Ｓｒである。）ように構成されている実世界ポインティングシステムが提供される。
【0009】
また、本発明の一局面に従うと、光学像の撮像および深度計測が可能なカメラおよびモーションセンサを有するコントローラで離れた場所にあるパンチルトアクチュエータを操作して、前記パンチルトアクチュエータに搭載されたレーザポインタから照射されるレーザビームで実世界における目標物をポインティングする方法であって、前記コントローラが、前記パンチルトアクチュエータの非可動部位に付されたビジュアルマーカを前記カメラで撮像した撮像画像を解析して、前記カメラが前記パンチルトアクチュエータに向いている第１の状態における世界座標系Σ０における前記コントローラの位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求め、前記コントローラが、前記第１の状態から前記カメラが前記目標物に向いている第２の状態に変化するときの前記コントローラの姿勢変化を前記モーションセンサで検知して、前記第１の状態から前記第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求め、前記コントローラが、前記第２の状態において前記カメラで計測した前記目標物までの距離から前記コントローラの座標系ΣＳにおける前記目標物の空間座標Ｓｒを求め、前記パンチルトアクチュエータが、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から求まるパン角θＰおよびチルト角θＴで動作する（ただし、ｌｂは前記レーザビームのビーム長であり、０ｒは世界座標系Σ０における前記レーザビームのレーザスポットの空間座標であって０ｒ＝０ＴＳｉｎｉ
ＳｉｎｉＴＳ
Ｓｒである。）実世界ポインティング方法が提供される。
【発明の効果】
【0010】
本発明によると、パンチルトアクチュエータを任意の箇所、任意の向きに設置して、さらに、ユーザは任意の姿勢でパンチルトアクチュエータをコントローラで操作して、実世界の目標物をレーザビームでポインティングすることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る実世界ポインティングシステムの概略図である。
【図2】粗調整モードにおけるパンチルトアクチュエータの制御フロー図である。
【図3】粗調整モードにおけるスマートフォンの操作および姿勢変化を説明する図である。
【図4】パンチルトアクチュエータの順運動学を説明する図である。
【図5】微調整モードにおけるパンチルトアクチュエータの制御フロー図である。
【発明を実施するための形態】
【0012】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各部材の寸法、細部の詳細形状などは実際のものとは異なることがある。
【0013】
≪実世界ポインティングシステムの構成例≫
図１は、本発明の一実施形態に係る実世界ポインティングシステムの概略図である。本実施形態に係る実世界ポインティングシステム１００は、レーザポインタ１０と、レーザポインタ１０の向きを変えるパンチルトアクチュエータ２０と、パンチルトアクチュエータ２０を操作するコントローラとしてのスマートフォン３０とを備えている。
図１は、本発明の一実施形態に係る実世界ポインティングシステムの概略図である。本実施形態に係る実世界ポインティングシステム１００は、レーザポインタ１０と、レーザポインタ１０の向きを変えるパンチルトアクチュエータ２０と、パンチルトアクチュエータ２０を操作するコントローラとしてのスマートフォン３０とを備えている。
【0014】
レーザポインタ１０は、レーザビーム１１を照射する機能および目標物４０までの距離を計測する機能を有するデバイスである。具体的には、レーザポインタ１０は、目標物４０に向けてレーザビーム１１をパルス投光し、レーザビーム１１を照射してから目標物４０からの反射光を受光するまでの時間を計測することで目標物４０までの距離を計測するＴＯＦ（Time of Fright）型レーザセンサ機能を有する。
【0015】
パンチルトアクチュエータ２０は、本体２１が天井などの固定物に設置され、雲台２２を、図中矢印ａで示したチルト方向および矢印ｂで示したパン方向に駆動する電動装置である。パンチルトアクチュエータ２０の雲台２２にレーザポインタ１０が載置固定されている。これによりパンチルトアクチュエータ２０にパン角およびチルト角を指示することでレーザポインタ１０の姿勢を変えてレーザポインタ１０から照射されるレーザビーム１１を任意の向きに変えられるようになっている。レーザビーム１１が物体に照射されるとその物体表面にユーザに視認可能なレーザスポット１２が形成される。このレーザスポット１２の位置が３次元空間の実世界におけるポインティング位置である。
【0016】
図１の例では、パンチルトアクチュエータ２０は天井に設置されている。さらに、パンチルトアクチュエータ２０の非可動部位、例えば、本体２１のすぐ側にビジュアルマーカ２３が付されている。ビジュアルマーカ２３は、ＡＲ（Augmented Reality）技術などで使用されるものである。ビジュアルマーカ２３を撮影してその撮像画像を解析することで、それが付されたオブジェクトの位置を空間認識することができる。
【0017】
スマートフォン３０は、言わずと知れた今やほぼすべての人が所有し、日常的に使用している携帯端末である。最近のスマートフォン３０は、光学カメラや無線通信機能以外に筐体の姿勢や動きを検知するモーションセンサを搭載している。より詳細には、当該モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサが一体モジュール化された９軸センサである。加速度センサは、筐体の直交３軸方向の加速度を検知するセンサ、ジャイロセンサは、直交３軸回りの角速度を検知するセンサ、地磁気センサは、筐体の直交３軸方向の地磁気を検知するセンサである。
【0018】
スマートフォン３０の中にはＬｉＤＡＲに代表される深度カメラをさらに備えているものがある。このような深度カメラは光学カメラと一体化されたカメラとしてスマートフォン３０の背面に配置されている。深度カメラを備えたスマートフォン３０の場合、ユーザは、光学カメラで被写体を撮影するのと同じ要領で目標物４０を「撮影」して目標物４０までの距離を正確に測定することができる。
【0019】
上記構成の実世界ポインティングシステム１００において、レーザポインタ１０およびパンチルトアクチュエータ２０は図略の無線通信インタフェースを介してスマートフォン３０とＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの各種短距離無線通信３１ができるようになっている。スマートフォン３０には、下述するようにレーザポインタ１０およびパンチルトアクチュエータ２０をコントロールするためのコンピュータプログラムである専用アプリがインストールされており、この専用アプリを起動することでスマートフォン３０が実世界ポインティングシステム１００のコントローラとして機能する。具体的には、後述する粗調整モードにおいて、ビジュアルマーカ２３および目標物４０の撮影を通じてパンチルトアクチュエータ２０を制御し、レーザポインタ１０から照射されるレーザビーム１１のレーザスポット１２を目標物４０の狙った位置に誘導する。そして、後述する微調整モードにおいて、スマートフォン３０のタッチスクリーンに表示されるＵＩを操作することで、レーザスポット１２の位置を微調整することができる。
【0020】
≪粗調整モード≫
図２は、粗調整モードにおけるパンチルトアクチュエータ２０の制御フロー図である。図３は、粗調整モードにおけるスマートフォンの操作および姿勢変化を説明する図である。実世界ポインティングシステム１００は粗調整モードからスタートする。スマートフォン３０のアプリが起動されると（Ｓ１１）、まず、アプリはユーザにビジュアルマーカ２３を撮影するよう求める。それに従い、ユーザは、スマートフォン３０の背面にあるカメラをパンチルトアクチュエータ２０に向けてビジュアルマーカ２３を撮影する（Ｓ１２）。このときのユーザおよびスマートフォン３０の位置および姿勢は任意である。例えば、ユーザは、ベッドの上に仰向けに寝てスマートフォン３０を持って、天井に設置されたパンチルトアクチュエータ２０に背面のカメラを向けてビジュアルマーカ２３を撮影することができる。
図２は、粗調整モードにおけるパンチルトアクチュエータ２０の制御フロー図である。図３は、粗調整モードにおけるスマートフォンの操作および姿勢変化を説明する図である。実世界ポインティングシステム１００は粗調整モードからスタートする。スマートフォン３０のアプリが起動されると（Ｓ１１）、まず、アプリはユーザにビジュアルマーカ２３を撮影するよう求める。それに従い、ユーザは、スマートフォン３０の背面にあるカメラをパンチルトアクチュエータ２０に向けてビジュアルマーカ２３を撮影する（Ｓ１２）。このときのユーザおよびスマートフォン３０の位置および姿勢は任意である。例えば、ユーザは、ベッドの上に仰向けに寝てスマートフォン３０を持って、天井に設置されたパンチルトアクチュエータ２０に背面のカメラを向けてビジュアルマーカ２３を撮影することができる。
【0021】
ビジュアルマーカ２３が撮影されると、スマートフォン３０のアプリは、ビジュアルマーカ２３の撮像画像を解析して、カメラがパンチルトアクチュエータ２０に向いている第１の状態における世界座標系Σ０から見たスマートフォン３０の位置および姿勢を表す同次変換行列０ＴＳｉｎｉを求める（Ｓ１３）。
【数1】
【0022】
世界座標系Σ０とは、パンチルトアクチュエータ２０が設置されている天井などの実世界に固定された座標系のことである。パンチルトアクチュエータ２０の設置の向きによらず、座標系Σ０のＺ軸（Ｚ０）は鉛直上向とし、Ｘ軸（Ｘ０）およびＹ軸（Ｙ０）は、Ｚ０に直交する水平面上の直交二軸とする。回転行列０ＲＳｉｎｉは、世界座標系Σ０から、カメラがパンチルトアクチュエータ２０に向いているときのスマートフォン３０の座標系ΣＳｉｎｉへの座標変換行列である。座標系ΣＳｉｎｉにおいて、Ｚ軸（ＺＳｉｎｉ）およびＸ軸（ＸＳｉｎｉ）は、カメラがパンチルトアクチュエータ２０に向いているときのスマートフォン３０の長手方向上向きおよび短手方向右向きとし、Ｙ軸（ＹＳｉｎｉ）は、その状態におけるカメラの延長線方向とする。並進ベクトル０ｐＳｉｎｉは、世界座標系Σ０におけるスマートフォン３０の位置である。０ＴＳｉｎｉにおける回転行列０ＲＳｉｎｉおよび並進ベクトル０ｐＳｉｎｉは、モーションセンサを使うことなく、ビジュアルマーカ２３の撮像画像からビジュアルマーカ２３とスマートフォン３０との相対的位置関係を計算することにより求めることができる。
【0023】
次に、スマートフォン３０のアプリは、ユーザに目標物４０を「撮影」するよう求める。ここでいう撮影とは深度カメラによる測距のことである。それに従い、ユーザは、スマートフォン３０のカメラを目標物４０に向けて目標物４０を撮影する。この過程で、スマートフォン３０のアプリは、モーションセンサの信号から、スマートフォン３０が、カメラがパンチルトアクチュエータ２０に向いている第１の状態から目標物４０に向いている第２の状態への変化に係る同次変換行列ＳｉｎｉＴＳを求める（Ｓ１４）。
【数2】
【0024】
回転行列ＳｉｎｉＲＳは、スマートフォン３０のカメラがパンチルトアクチュエータ２０に向いているときのスマートフォン３０の座標系ΣＳｉｎｉから、カメラが目標物４０に向いているときのスマートフォン３０の座標系ΣＳへの座標変換行列であり、これはモーションセンサの信号から求めることができる。一方、姿勢変化に伴うスマートフォン３０の並行移動はモーションセンサで計測することが困難であり、また、目標物４０を撮影する際にスマートフォン３０の位置はほとんど変わらないことを考慮して、ＳｉｎｉＴＳにおいて並進ベクトルはゼロとみなす。
【0025】
目標物４０までの距離計測は、具体的には、ユーザがスマートフォン３０の画面に表示される画像を見ながら、目標物４０が測距ポイントに入ったところでシャッターを押すことにより行われる。目標物４０までの距離が計測されると、スマートフォン３０のアプリは、目標物４０上の測距ポイントの空間座標Ｓｒを求める（Ｓ１５）。例えば、目標物４０の「撮影」により得られた目標物４０までの距離をｌｓとする。ここで、目標物４０に固定された座標系Σｐｏｉｎｔは目標物４０を「撮影」するときのスマートフォン３０の座標系ΣＳと同じとみなすと、Ｓｒ＝（０，ｌｓ，０）Ｔで表される。
【0026】
Ｓｒは世界座標系Σ０を使って０ｒ＝０ＴＳｉｎｉ
ＳｉｎｉＴＳ
Ｓｒと表される。スマートフォン３０のアプリは、逆運動学（θＰ，θＴ，ｌｂ）Ｔ＝ＩＫ（０ｒ）から、パンチルトアクチュエータ２０のパン角θＰおよびチルト角θＴを計算して求める（Ｓ１６）。パンチルトアクチュエータ２０のパン角θＰおよびチルト角θＴが計算されると、スマートフォン３０のアプリは、その値を制御信号としてパンチルトアクチュエータ２０に回転指示を送信する（Ｓ１７）。一方、パンチルトアクチュエータ２０は、スマートフォン３０からの制御指示待ち状態にあり（Ｓ２１でＮＯ）、スマートフォン３０から回転指示を受けると（Ｓ２１でＹＥＳ）、その指示されたパン角θＰおよびチルト角θＴになるように自身のパン角およびチルト角を制御し（Ｓ２２）、レーザポインタ１０が目標物４０の方に向けられ、レーザポインタ１０からレーザビーム１１が目標物４０に向けて照射される（Ｓ２３）。
【0027】
以上のように、粗調整モードでは、スマートフォン３０でパンチルトアクチュエータ２０の非可動部位に付されたビジュアルマーカ２３および目標物４０を順に撮影することで、パンチルトアクチュエータ２０を動作させてレーザビーム１１のレーザスポット１２を目標物４０に誘導することができる。
【0028】
≪微調整モード≫
上記の粗調整モードにおいて、スマートフォン３０のカメラを目標物４０に向ける際のスマートフォン３０の並進ベクトルをゼロとみなしたことで、粗調整直後のレーザスポット１２が所望位置からずれることがある。そのようなずれは微調整モードで補正することができる。
上記の粗調整モードにおいて、スマートフォン３０のカメラを目標物４０に向ける際のスマートフォン３０の並進ベクトルをゼロとみなしたことで、粗調整直後のレーザスポット１２が所望位置からずれることがある。そのようなずれは微調整モードで補正することができる。
【0029】
微調整モードの説明の前に、パンチルトアクチュエータ２０の順運動学について説明する。図４は、パンチルトアクチュエータ２０の順運動学を説明する図である。θＰはパン角、θＴはチルト角、ｌｂはレーザビーム１１のビーム長、δＺはレーザポインタ１０のロータ座標系Ｚ軸方向のオフセットである。図４は、パンチルトアクチュエータ２０が台上に置かれている例であるが、天井に設置されていても同じように考えることができる。δＺは十分小さいため無視すると、パンチルトアクチュエータ２０の順運動学は式（１）のように計算される。式（１）の０ｒは世界座標系Σ０におけるレーザビーム１１のレーザスポット１２の空間座標である。
【数3】
【0030】
微調整モードにおいては、レーザスポット１２の位置を原点とし、Ｙ軸（Ｙｐｏｉｎｔ）はレーザビーム１１の進行方向、Ｘ軸（Ｘｐｏｉｎｔ）は水平方向、Ｚ軸（Ｚｐｏｉｎｔ）はＸｐｏｉｎｔとＹｐｏｉｎｔの外積方向であるポインティング座標系Σｐｏｉｎｔを導入する。この座標系原点近傍でのスポット微小運動操作に対して、レーザビーム１１を受動並進リンクとして捉えた多リンクマニピュレータの可操作性の観点で最適化を試みる。ここで最適性の指標は次の通りである。
（１）任意のｑで可操作性が同一
（２）任意のｑで可操作性楕円体が球体
ただし、ｑ＝（ｌｂ，θＴ，θＰ）Ｔである。
（１）任意のｑで可操作性が同一
（２）任意のｑで可操作性楕円体が球体
ただし、ｑ＝（ｌｂ，θＴ，θＰ）Ｔである。
【0031】
式（１）を微分することで０ｒ、ｑ微小部分の線形関係が式（２）で得られ、これがパンチルトアクチュエータ２０の運動を決定する。
ここで、Ｊ（ｑ）は式（３）のヤコビ行列である。
式（３）を特異値分解すると式（４）を得る。
ここで、
であり、０ＲｐｏｉｎｔはΣ０から見たΣｐｏｉｎｔの回転行列である。
【数4】
【数5】
【数6】
【数7】
【0032】
０ｒを座標系Σｐｏｉｎｔで表すと次式のように展開できる。
ｐｏｉｎｔｒ＝ｐｏｉｎｔＴ０ ０ｒ＝ｐｏｉｎｔＲ０ ０ｒ＋ｐｏｉｎｔｐ０ （５）
ｐｏｉｎｔｒ＝ｐｏｉｎｔＴ０ ０ｒ＝ｐｏｉｎｔＲ０ ０ｒ＋ｐｏｉｎｔｐ０ （５）
【0033】
式（５）を微分することでｐｏｉｎｔｒ、ｑ微小部分の線形関係が式（６）で得られ、これがパンチルトアクチュエータ２０の運動を決定する。
ｐｏｉｎｔｄｒ＝ｐｏｉｎｔＲ０ ０ｄｒ＝ｐｏｉｎｔＲ０Ｊ（ｑ）ｄｑ＝ｐｏｉｎｔＲ０ＵΣＶＴｄｑ （６）
ｐｏｉｎｔｄｒ＝ｐｏｉｎｔＲ０ ０ｄｒ＝ｐｏｉｎｔＲ０Ｊ（ｑ）ｄｑ＝ｐｏｉｎｔＲ０ＵΣＶＴｄｑ （６）
【0034】
ここで、レーザスポット１２のＸｐｏｉｎｔの微小移動の指示量をｄｘ、Ｚｐｏｉｎｔの微小移動の指示量をｄｚとして新たな操作入力（ｄｘ，０，ｄｚ）Ｔを導入すると、式（６）から式（７）が得られる。
ｄｑ＝Ｊ－１（ｑ）０Ｒｐｏｉｎｔ（ｄｘ，０，ｄｚ）Ｔ （７）
ｄｑ＝Ｊ－１（ｑ）０Ｒｐｏｉｎｔ（ｄｘ，０，ｄｚ）Ｔ （７）
【0035】
式（７）において０Ｒｐｏｉｎｔ＝０ＲＳｉｎｉ
ＳｉｎｉＲＳ
ＳＲｐｏｉｎｔと展開でき、座標系ΣＳとΣｐｏｉｎｔは同じであるからＳＲｐｏｉｎｔは単位行列である。よって、式（７）は式（８）に変形される。
ｄｑ＝Ｊ－１（ｑ）０ＲＳｉｎｉ ＳｉｎｉＲＳ（ｄｘ，０，ｄｚ）Ｔ （８）
ｄｑ＝Ｊ－１（ｑ）０ＲＳｉｎｉ ＳｉｎｉＲＳ（ｄｘ，０，ｄｚ）Ｔ （８）
【0036】
式（８）を式（５）に入力すると、（ｐｏｉｎｔｄｘ，ｐｏｉｎｔｄｚ）Ｔ＝（ｄｘ，ｄｚ）Ｔを得る。すなわち、レーザスポット１２の微小移動の指示量（ｄｘ，ｄｚ）Ｔに対して、レーザスポット１２が（ｐｏｉｎｔｄｘ，ｐｏｉｎｔｄｚ）Ｔだけ移動することがわかる。
【0037】
式（６）において、ｐｏｉｎｔＲ０とＵはいずれも直交行列なので、ｐｏｉｎｔＲ０Ｕもまた直交行列である。したがって、式（６）中のｐｏｉｎｔＲ０ＵΣＶＴは特異値分解表現となっているため、前置行列としてΣ－１を使うことで、可操作性楕円体は球ではなく円となる。
【0038】
図５は、微調整モードにおけるパンチルトアクチュエータ２０の制御フロー図である。ユーザは任意のタイミングで実世界ポインティングシステム１００を粗調整モードから微調整モードに切り替えることができる。また、ユーザは任意のタイミングで実世界ポインティングシステム１００を微調整モードから粗調整モードに切り替えることができる。
【0039】
微調整モードに遷移すると、スマートフォン３０のアプリは、まず、微調整モードに遷移した時点の目標物４０までの距離およびパンチルトアクチュエータ２０の動作角度を取得する（Ｓ３１）。目標物４０までの距離は具体的にはレーザビーム長ｌｂであり、レーザポインタ１０の測距情報から取得することができる。パンチルトアクチュエータ２０の動作角度には少なくともチルト角θＴが含まれていればよく、微調整後のレーザスポット１２の空間位置を特定するためにさらにパン角θＰが含まれていてもよい。
【0040】
スマートフォン３０のアプリは、タッチスクリーンに微調整モードＵＩを表示し、ユーザからレーザスポット１２の微小移動の指示を受け付ける（Ｓ３２）。ユーザは、ＵＩを通じてレーザスポット１２を数ｍｍ～数ｃｍの単位で微小移動、すなわちインチング操作することができる。例えば、微調整モードＵＩは上下左右の各方向を表す４つのボタンで構成することができる。そのようなＵＩでは、ユーザは、レーザスポット１２を所望の方向に所望のインチング量だけ移動させたい場合、その方向のボタンを所望回数クリックすればよい。あるいは、微調整モードＵＩをレチクル（照準）にすると、ユーザはボタンを複数回クリックすることなしに、１回のクリックでレーザポインタ１２をレチクル内の任意の位置に複数回のインチング操作と同等の指示を出すことができる。
【0041】
スマートフォン３０のアプリは、微調整モードＵＩを通じてユーザからレーザスポット１２の微小移動指示を受けると（Ｓ３３でＹＥＳ）、指示された微小移動量を、パンチルトアクチュエータ２０のパン方向およびチルト方向の回転角に換算する（Ｓ３４）。具体的には、スマートフォン３０のアプリは、指示された微小移動量（ｄｘ，ｄｚ）Ｔに対して、式（８）に従って、レーザビーム１１のレーザビーム長ｌｂおよびパンチルトアクチュエータ２０のパン角θＰおよびチルト角θＴで表されるヤコビ逆行列Ｊ－１（ｑ）、および同次変換行列０ＴＳｉｎｉおよびＳｉｎｉＴＳに含まれる回転行列０ＲＳｉｎｉおよびＳｉｎｉＲＳを掛けてパン角およびチルト角のオフセット量ｄθＰおよびｄθＴを計算する。
【0042】
パンチルトアクチュエータ２０のパン角およびチルト角のオフセット量ｄθＰおよびｄθＴが計算されると、スマートフォン３０のアプリは、その値を制御信号としてパンチルトアクチュエータ２０に回転指示を送信し（Ｓ３５）、その後再びレーザスポット１２の微小移動の指示待ちに戻る。一方、パンチルトアクチュエータ２０は、スマートフォン３０からの制御指示待ち状態にあり（Ｓ４１でＮＯ）、スマートフォン３０から回転指示を受けると（Ｓ４１でＹＥＳ）、その指示されたオフセット量ｄθＰおよびｄθＴに従って自身のパン角およびチルト角を制御し（Ｓ４２）、その後再びスマートフォン３０からの制御指示待ち状態に戻る。
【0043】
このように、微調整モードにおいて、ヤコビ行列の特異値の逆数および回転行列０ＲＳｉｎｉおよびＳｉｎｉＲＳを用いてパンチルトアクチュエータ２０のパン角およびチルト角のオフセット量が計算され、そのオフセット量でパンチルトアクチュエータ２０が制御される。これにより、パンチルトアクチュエータ２０と目標物４０の遠近にかかわらず３次元空間にある目標物４０へのポインティングを同じインチング量、すなわち同じ操作感で微調整することができる。なお、微調整後のレーザスポット１２の空間位置は、上記ステップＳ３１で取得したレーザビーム長ｌｂおよびパンチルトアクチュエータ２０のパン角θＰおよびチルト角θＴにオフセット量ｄθＰおよびｄθＴを加算した新たなパン角θＰおよびチルト角θＴを式（１）に代入して特定することができる。
【0044】
≪変形例≫
スマートフォン３０に代えてタブレット端末などをパンチルトアクチュエータ２０のコントローラとして使用してもよい。
スマートフォン３０に代えてタブレット端末などをパンチルトアクチュエータ２０のコントローラとして使用してもよい。
【0045】
レーザポインタ１０がレーザビーム１１を照射する機能および目標物４０までの距離を計測する機能の双方を有している必要はない。例えば、レーザポインタ１０はレーザビーム１１を照射する機能だけを有し、目標物４０までの距離を計測する機能を有する別のデバイス（例えばＴＯＦカメラ）を設けるようにしてもよい。
【0046】
図５に例示した微調整モードにおいてパン角およびチルト角のオフセット量でパンチルトアクチュエータ２０の動作を制御しているが、スマートフォン３０においてオフセット量を反映させたパン角およびチルト角の絶対量を計算してその値でパンチルトアクチュエータ２０の動作を制御するようにしてもよい。
【0047】
以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0048】
本発明に係る実世界ポインティングシステムは、設置および操作し易いため、例えば、要介護者がベッドの上でスマートフォンを操作して部屋内の日用品をポインティングし、それを支援ロボットに取りに行かせるといった介護分野でのロボット操作に利用することができる。
【符号の説明】
【0049】
１００ 実世界ポインティングシステム
１０ レーザポインタ
１１ レーザビーム
１２ レーザスポット
２０ パンチルトアクチュエータ
２３ ビジュアルマーカ
３０ スマートフォン（コントローラ）
４０ 目標物
１０ レーザポインタ
１１ レーザビーム
１２ レーザスポット
２０ パンチルトアクチュエータ
２３ ビジュアルマーカ
３０ スマートフォン（コントローラ）
４０ 目標物
【図1】
【図2】
【図3】
【図4】
【図5】