(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240903BHJP
G06F 3/04845 20220101ALI20240903BHJP
【ＦＩ】
G06F3/01 570
G06F3/04845
G06F3/01 560
【請求項の数】
26
(21)【出願番号】P 2020147771
(22)【出願日】2020-09-02
(65)【公開番号】P2022042362
(43)【公開日】2022-03-14
【審査請求日】2023-08-23
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】須藤 正
(72)【発明者】
【氏名】得地 賢吾
【審査官】塩屋 雅弘
(56)【参考文献】
【文献】国際公開第２０１４／０８０８２９（ＷＯ，Ａ１）
【文献】国際公開第２０１５／１７０４８３（ＷＯ，Ａ１）
【文献】国際公開第２０１４／０３４０４９（ＷＯ，Ａ１）
【文献】特開２０１５－００１９７８（ＪＰ，Ａ）
【文献】特開２０１９－０７９５５５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８４５
(57)【特許請求の範囲】
【請求項1】
プロセッサを有し、前記プロセッサは、
事前に抽出の対象に指定された物体が空中を移動する軌跡を、ユーザの側から前方方向に撮像する画像内から抽出し、
前記物体の移動を伴うジェスチャによりユーザが空中に線又は線の集合を描画している最中に、描画中の線又は線の集合に対する太さ又は濃さの指示を検知し、
検知された太さ又は濃さを前記物体が空中を移動する軌跡に紐付けて記憶し、
前記物体が移動する空中の位置に連動させて前記線又は線の集合を描画する、
情報処理装置。
【請求項2】
前記プロセッサは、前記線又は線の集合を描画している最中に、描画中の線の方向の指示を検知する、請求項１に記載の情報処理装置。
【請求項3】
前記プロセッサは、描画中のユーザを撮像する画像から、前記線の太さ又は濃さを指示するユーザの動作を検知する、
請求項２に記載の情報処理装置。
【請求項4】
前記プロセッサは、描画中の手に現れる特定の動きを前記画像から検知する、
請求項３に記載の情報処理装置。
【請求項5】
前記プロセッサは、前記画像から検知される前記線の描画に用いる指の本数に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項４に記載の情報処理装置。
【請求項6】
前記プロセッサは、前記画像から検知される前記線の描画に用いる複数本の指の広がり具合又は描画に用いる指の曲げ具合に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項４に記載の情報処理装置。
【請求項7】
前記プロセッサは、前記画像から検知される前記線の描画に用いる指の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項４に記載の情報処理装置。
【請求項8】
前記プロセッサは、描画に用いる物体の先端に現れる特徴を検知し、検知された特徴に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１に記載の情報処理装置。
【請求項9】
前記特徴は、線又は線の集合の太さ又は濃さを指定する構造、画像、文字、形状、色、又はそれらの組み合わせであり、描画中に検知された当該特徴に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項８に記載の情報処理装置。
【請求項10】
前記プロセッサは、検知した太さに応じた強度の振動をフィードバックする、
請求項１に記載の情報処理装置。
【請求項11】
前記プロセッサは、描画中のユーザを撮像する画像から検知される前記線又は線の集合の描画に用いていない手に現れる特定の動きに応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１に記載の情報処理装置。
【請求項12】
前記プロセッサは、前記線又は線の集合の描画に用いていない指の本数に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１１に記載の情報処理装置。
【請求項13】
前記プロセッサは、前記線又は線の集合の描画に用いていない複数本の指の広がり具合又は描画に用いていない指の曲げ具合に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１１に記載の情報処理装置。
【請求項14】
前記プロセッサは、前記線又は線の集合の描画に用いていない体の部位の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１１に記載の情報処理装置。
【請求項15】
前記プロセッサは、描画中の手の、ユーザから前方への距離に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１に記載の情報処理装置。
【請求項16】
前記プロセッサは、前記線又は線の集合の描画に用いていない手の位置を奥行方向の基準を与える位置として検知し、描画に用いる物体が当該基準に対する奥行方向の位置の関係に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１に記載の情報処理装置。
【請求項17】
前記プロセッサは、描画中の手に装着されたデバイスで検知される情報に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１に記載の情報処理装置。
【請求項18】
前記プロセッサは、前記デバイスで検知される筋肉の緊張の度合いに応じて、前記線又は線の集合の太さ又は濃さを検知する、
請求項１７に記載の情報処理装置。
【請求項19】
前記プロセッサは、描画中のユーザを撮像する画像から、描画に用いる物体に現れる、前記線又は線の集合の太さ又は濃さを指示する特定の動きを検知する、
請求項１に記載の情報処理装置。
【請求項20】
前記プロセッサは、前記画像から検知される前記物体の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１９に記載の情報処理装置。
【請求項21】
前記プロセッサは、前記物体による描画中の手に装着されたデバイスで検知される情報に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項１９に記載の情報処理装置。
【請求項22】
前記プロセッサは、描画に用いる棒状の物体のセンサで検知された情報に基づいて、前記線又は線の集合の太さ又は濃さを指示するユーザの動作を検知する、
請求項１に記載の情報処理装置。
【請求項23】
前記プロセッサは、前記センサにより検知される圧力に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項２２に記載の情報処理装置。
【請求項24】
前記プロセッサは、特定の方向からの圧力に応じて太さ又は濃さを検知する、
請求項２３に記載の情報処理装置。
【請求項25】
前記プロセッサは、前記センサにより検知される加速度に応じて、前記線又は線の集合の太さ又は濃さを決定する、
請求項２２に記載の情報処理装置。
【請求項26】
コンピュータに、事前に抽出の対象に指定された物体が空中を移動する軌跡を、ユーザの側から前方方向に撮像する画像内から抽出する機能と、
前記物体の移動を伴うジェスチャによりユーザが空中に線又は線の集合を描画している最中に、描画中の線又は線の集合に対する太さ又は濃さの指示を検知する機能と、
検知された太さ又は濃さを前記物体が空中を移動する軌跡に紐付けて記憶する機能と、
前記物体の移動に連動するように前記線又は線の集合を空中に描画する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
空中を移動する指先等の軌跡をＡＲ（＝Augmented Reality）空間に対する入力として検知する技術がある。このとき、指先等の軌跡は、空間上の座標点に紐付けて記憶される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－４５６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
検知された指先等の軌跡を表示デバイス上に表示する場合、検知された指先等の軌跡は、事前に定めた太さで表現される。換言すると均一な線で表現される。
【0005】
本発明は、ジェスチャによりユーザが空中に線又は線の集合を描画する場合に、線又は線の集合の描画中に線又は線の集合の各部の設定を調整できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、プロセッサを有し、前記プロセッサは、事前に抽出の対象に指定された物体が空中を移動する軌跡を、ユーザの側から前方方向に撮像する画像内から抽出し、前記物体の移動を伴うジェスチャによりユーザが空中に線又は線の集合を描画している最中に、描画中の線又は線の集合に対する太さ又は濃さの指示を検知し、検知された太さ又は濃さを前記物体が空中を移動する軌跡に紐付けて記憶し、前記物体が移動する空中の位置に連動させて前記線又は線の集合を描画する、情報処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記線又は線の集合を描画している最中に、描画中の線の方向の指示を検知する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、描画中のユーザを撮像する画像から、前記線の太さ又は濃さを指示するユーザの動作を検知する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、描画中の手に現れる特定の動きを前記画像から検知する、請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記画像から検知される前記線の描画に用いる指の本数に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記画像から検知される前記線の描画に用いる複数本の指の広がり具合又は描画に用いる指の曲げ具合に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項４に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、前記画像から検知される前記線の描画に用いる指の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項４に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、描画に用いる物体の先端に現れる特徴を検知し、検知された特徴に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記特徴は、線又は線の集合の太さ又は濃さを指定する構造、画像、文字、形状、色、又はそれらの組み合わせであり、描画中に検知された当該特徴に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記プロセッサは、検知した太さに応じた強度の振動をフィードバックする、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、前記プロセッサは、描画中のユーザを撮像する画像から検知される前記線又は線の集合の描画に用いていない手に現れる特定の動きに応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、前記プロセッサは、前記線又は線の集合の描画に用いていない指の本数に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１１に記載の情報処理装置である。
請求項１３に記載の発明は、前記プロセッサは、前記線又は線の集合の描画に用いていない複数本の指の広がり具合又は描画に用いていない指の曲げ具合に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１１に記載の情報処理装置である。
請求項１４に記載の発明は、前記プロセッサは、前記線又は線の集合の描画に用いていない体の部位の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１１に記載の情報処理装置である。
請求項１５に記載の発明は、前記プロセッサは、描画中の手の、ユーザから前方への距離に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項１６に記載の発明は、前記プロセッサは、前記線又は線の集合の描画に用いていない手の位置を奥行方向の基準を与える位置として検知し、描画に用いる物体が当該基準に対する奥行方向の位置の関係に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項１７に記載の発明は、前記プロセッサは、描画中の手に装着されたデバイスで検知される情報に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、前記プロセッサは、前記デバイスで検知される筋肉の緊張の度合いに応じて、前記線又は線の集合の太さ又は濃さを検知する、請求項１７に記載の情報処理装置である。
請求項１９に記載の発明は、前記プロセッサは、描画中のユーザを撮像する画像から、描画に用いる物体に現れる、前記線又は線の集合の太さ又は濃さを指示する特定の動きを検知する、請求項１に記載の情報処理装置である。
請求項２０に記載の発明は、前記プロセッサは、前記画像から検知される前記物体の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１９に記載の情報処理装置である。
請求項２１に記載の発明は、前記プロセッサは、前記物体による描画中の手に装着されたデバイスで検知される情報に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１９に記載の情報処理装置である。
請求項２２に記載の発明は、前記プロセッサは、描画に用いる棒状の物体のセンサで検知された情報に基づいて、前記線又は線の集合の太さ又は濃さを指示するユーザの動作を検知する、請求項１に記載の情報処理装置である。
請求項２３に記載の発明は、前記プロセッサは、前記センサにより検知される圧力に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項２２に記載の情報処理装置である。
請求項２４に記載の発明は、前記プロセッサは、特定の方向からの圧力に応じて太さ又は濃さを検知する、請求項２３に記載の情報処理装置である。
請求項２５に記載の発明は、前記プロセッサは、前記センサにより検知される加速度に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項２２に記載の情報処理装置である。
請求項２６に記載の発明は、コンピュータに、事前に抽出の対象に指定された物体が空中を移動する軌跡を、ユーザの側から前方方向に撮像する画像内から抽出する機能と、前記物体の移動を伴うジェスチャによりユーザが空中に線又は線の集合を描画している最中に、描画中の線又は線の集合に対する太さ又は濃さの指示を検知する機能と、検知された太さ又は濃さを前記物体が空中を移動する軌跡に紐付けて記憶する機能と、前記物体の移動に連動するように前記線又は線の集合を空中に描画する機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記プロセッサは、前記線又は線の集合を描画している最中に、描画中の線の方向の指示を検知する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、描画中のユーザを撮像する画像から、前記線の太さ又は濃さを指示するユーザの動作を検知する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、描画中の手に現れる特定の動きを前記画像から検知する、請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記画像から検知される前記線の描画に用いる指の本数に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記画像から検知される前記線の描画に用いる複数本の指の広がり具合又は描画に用いる指の曲げ具合に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項４に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、前記画像から検知される前記線の描画に用いる指の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項４に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、描画に用いる物体の先端に現れる特徴を検知し、検知された特徴に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記特徴は、線又は線の集合の太さ又は濃さを指定する構造、画像、文字、形状、色、又はそれらの組み合わせであり、描画中に検知された当該特徴に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記プロセッサは、検知した太さに応じた強度の振動をフィードバックする、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、前記プロセッサは、描画中のユーザを撮像する画像から検知される前記線又は線の集合の描画に用いていない手に現れる特定の動きに応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、前記プロセッサは、前記線又は線の集合の描画に用いていない指の本数に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１１に記載の情報処理装置である。
請求項１３に記載の発明は、前記プロセッサは、前記線又は線の集合の描画に用いていない複数本の指の広がり具合又は描画に用いていない指の曲げ具合に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１１に記載の情報処理装置である。
請求項１４に記載の発明は、前記プロセッサは、前記線又は線の集合の描画に用いていない体の部位の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１１に記載の情報処理装置である。
請求項１５に記載の発明は、前記プロセッサは、描画中の手の、ユーザから前方への距離に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項１６に記載の発明は、前記プロセッサは、前記線又は線の集合の描画に用いていない手の位置を奥行方向の基準を与える位置として検知し、描画に用いる物体が当該基準に対する奥行方向の位置の関係に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項１７に記載の発明は、前記プロセッサは、描画中の手に装着されたデバイスで検知される情報に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、前記プロセッサは、前記デバイスで検知される筋肉の緊張の度合いに応じて、前記線又は線の集合の太さ又は濃さを検知する、請求項１７に記載の情報処理装置である。
請求項１９に記載の発明は、前記プロセッサは、描画中のユーザを撮像する画像から、描画に用いる物体に現れる、前記線又は線の集合の太さ又は濃さを指示する特定の動きを検知する、請求項１に記載の情報処理装置である。
請求項２０に記載の発明は、前記プロセッサは、前記画像から検知される前記物体の向きに応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１９に記載の情報処理装置である。
請求項２１に記載の発明は、前記プロセッサは、前記物体による描画中の手に装着されたデバイスで検知される情報に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項１９に記載の情報処理装置である。
請求項２２に記載の発明は、前記プロセッサは、描画に用いる棒状の物体のセンサで検知された情報に基づいて、前記線又は線の集合の太さ又は濃さを指示するユーザの動作を検知する、請求項１に記載の情報処理装置である。
請求項２３に記載の発明は、前記プロセッサは、前記センサにより検知される圧力に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項２２に記載の情報処理装置である。
請求項２４に記載の発明は、前記プロセッサは、特定の方向からの圧力に応じて太さ又は濃さを検知する、請求項２３に記載の情報処理装置である。
請求項２５に記載の発明は、前記プロセッサは、前記センサにより検知される加速度に応じて、前記線又は線の集合の太さ又は濃さを決定する、請求項２２に記載の情報処理装置である。
請求項２６に記載の発明は、コンピュータに、事前に抽出の対象に指定された物体が空中を移動する軌跡を、ユーザの側から前方方向に撮像する画像内から抽出する機能と、前記物体の移動を伴うジェスチャによりユーザが空中に線又は線の集合を描画している最中に、描画中の線又は線の集合に対する太さ又は濃さの指示を検知する機能と、検知された太さ又は濃さを前記物体が空中を移動する軌跡に紐付けて記憶する機能と、前記物体の移動に連動するように前記線又は線の集合を空中に描画する機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、ジェスチャによりユーザが空中に線又は線の集合を描画する場合に、線又は線の集合の描画中に線又は線の集合の各部の設定を調整できる。
請求項２記載の発明によれば、空中への線又は線の集合の描画と、線又は線の集合の太さ又は濃さの指示を同時に実行できる。
請求項３記載の発明によれば、ユーザのジェスチャにより、描画中の線又は線の集合の太さ又は濃さを指示できる。
請求項４記載の発明によれば、描画に用いる手を用いて、線又は線の集合の太さ又は濃さも同時に指示できる。
請求項５記載の発明によれば、描画に用いる指の本数を変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項６記載の発明によれば、描画に用いる複数本の指の広がり具合を変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項７記載の発明によれば、描画に用いる指の向きを変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項８記載の発明によれば、描画に用いる物体の先端に現れる特徴を変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項９記載の発明によれば、物体の先端に現れる特徴を描画中に切り替えることにより、描画中の線又は線の集合の太さや濃さを変更できる。
請求項１０記載の発明によれば、検知した設定の情報をユーザにフィードバックさせながら、描画を継続できる。
請求項１１記載の発明によれば、描画に用いていない手を用いて、線又は線の集合の太さ又は濃さを指示できる。
請求項１２記載の発明によれば、描画に用いていない指の本数を変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項１３記載の発明によれば、描画に用いていない複数本の指の広がりを変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項１４記載の発明によれば、描画に用いていない体の部位の向きを変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項１５記載の発明によれば、描画中の手のユーザ前方への動きを用いて、線又は線の集合の太さ又は濃さを指示できる。
請求項１６記載の発明によれば、描画中の線又は線の集合の太さ又は濃さの把握を容易化できる。
請求項１７記載の発明によれば、描画中の手首に現れる変化を用い、線又は線の集合の太さ又は濃さを指示できる。
請求項１８記載の発明によれば、描画中の手首の筋肉の緊張の度合いに応じ、線又は線の集合の太さ又は濃さを指示できる。
請求項１９記載の発明によれば、描画に用いる物体の動きを通じて、線又は線の集合の太さ又は濃さを指示できる。
請求項２０記載の発明によれば、描画中に物体の向きを変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項２１記載の発明によれば、描画中の手首に現れる変化で、線又は線の集合の太さ又は濃さを指示できる。
請求項２２記載の発明によれば、物体に対する操作の検知を通じて、線又は線の集合の太さ又は濃さを指示できる。
請求項２３記載の発明によれば、描画中に物体を握る力の検知を通じて、線又は線の集合の太さ又は濃さを指示できる。
請求項２４記載の発明によれば、太さの誤検出を低減できる。
請求項２５記載の発明によれば、描画中に物体の動きの検知を通じて、線又は線の集合の太さ又は濃さも同時に指示できる。
請求項２６記載の発明によれば、ジェスチャによりユーザが空中に線又は線の集合を描画する場合に、線又は線の集合の描画中に線又は線の集合の各部の設定を調整できる。
請求項２記載の発明によれば、空中への線又は線の集合の描画と、線又は線の集合の太さ又は濃さの指示を同時に実行できる。
請求項３記載の発明によれば、ユーザのジェスチャにより、描画中の線又は線の集合の太さ又は濃さを指示できる。
請求項４記載の発明によれば、描画に用いる手を用いて、線又は線の集合の太さ又は濃さも同時に指示できる。
請求項５記載の発明によれば、描画に用いる指の本数を変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項６記載の発明によれば、描画に用いる複数本の指の広がり具合を変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項７記載の発明によれば、描画に用いる指の向きを変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項８記載の発明によれば、描画に用いる物体の先端に現れる特徴を変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項９記載の発明によれば、物体の先端に現れる特徴を描画中に切り替えることにより、描画中の線又は線の集合の太さや濃さを変更できる。
請求項１０記載の発明によれば、検知した設定の情報をユーザにフィードバックさせながら、描画を継続できる。
請求項１１記載の発明によれば、描画に用いていない手を用いて、線又は線の集合の太さ又は濃さを指示できる。
請求項１２記載の発明によれば、描画に用いていない指の本数を変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項１３記載の発明によれば、描画に用いていない複数本の指の広がりを変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項１４記載の発明によれば、描画に用いていない体の部位の向きを変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項１５記載の発明によれば、描画中の手のユーザ前方への動きを用いて、線又は線の集合の太さ又は濃さを指示できる。
請求項１６記載の発明によれば、描画中の線又は線の集合の太さ又は濃さの把握を容易化できる。
請求項１７記載の発明によれば、描画中の手首に現れる変化を用い、線又は線の集合の太さ又は濃さを指示できる。
請求項１８記載の発明によれば、描画中の手首の筋肉の緊張の度合いに応じ、線又は線の集合の太さ又は濃さを指示できる。
請求項１９記載の発明によれば、描画に用いる物体の動きを通じて、線又は線の集合の太さ又は濃さを指示できる。
請求項２０記載の発明によれば、描画中に物体の向きを変更することで、線又は線の集合の太さ又は濃さを指示できる。
請求項２１記載の発明によれば、描画中の手首に現れる変化で、線又は線の集合の太さ又は濃さを指示できる。
請求項２２記載の発明によれば、物体に対する操作の検知を通じて、線又は線の集合の太さ又は濃さを指示できる。
請求項２３記載の発明によれば、描画中に物体を握る力の検知を通じて、線又は線の集合の太さ又は濃さを指示できる。
請求項２４記載の発明によれば、太さの誤検出を低減できる。
請求項２５記載の発明によれば、描画中に物体の動きの検知を通じて、線又は線の集合の太さ又は濃さも同時に指示できる。
請求項２６記載の発明によれば、ジェスチャによりユーザが空中に線又は線の集合を描画する場合に、線又は線の集合の描画中に線又は線の集合の各部の設定を調整できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１における携帯端末の使用例を説明する図である。
【図2】実施の形態１で使用する携帯端末のハードウェア構成例を説明する図である。
【図3】実施の形態１で使用する携帯端末で実行される処理動作の一例を説明するフローチャートである。
【図4】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図5】空中で人差し指を移動させながら指の本数の変化を組み合わせた場合に描画されるＡＲ画像の一例を説明する図である。
【図6】空中で人差し指を移動させながら指の本数の変化を組み合わせた場合に描画されるＡＲ画像の他の例を説明する図である。
【図7】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図8】複数の指の開き具合で線の太さを指示する場合の実施の形態１における他の例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図9】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例３を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図10】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例４を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図11】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例５を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図12】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例６を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図13】人差し指の撮影の方向への傾きの具合で線の太さを指示する場合の実施の形態１における他の例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図14】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例７を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図15】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例８を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図16】描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例９を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図17】実施の形態２における携帯端末の使用例を説明する図である。
【図18】描画する線の太さの指示に用いるジェスチャの実施の形態２における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図19】実施の形態３で使用する携帯端末のハードウェア構成例を説明する図である。
【図20】実施の形態３で使用する携帯端末で実行される処理動作の一例を説明するフローチャートである。
【図21】実施の形態３で使用するフィードバックの具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図22】実施の形態３で使用するフィードバックの具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図23】フィードバックの他の具体例を説明する図である。（Ａ）はベルトのバックルを用いてフィードバックする例を示し、（Ｂ）は腹部に装着する器具、腕に装着する器具、足に装着する器具を用いてフィードバックする例を示し、（Ｃ）は靴を用いてフィードバックする例を示し、（Ｄ）は手首に装着する器具を用いてフィードバックする例を示し、（Ｅ）は指に装着する器具を用いてフィードバックする例を示し、（Ｆ）は首に装着する器具を用いてフィードバックする例を示す。
【図24】実施の形態４で使用する携帯端末のハードウェア構成例を説明する図である。
【図25】描画する線の太さの指示に用いるジェスチャの実施の形態４における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図26】実施の形態４における携帯端末の使用例を説明する図である。
【図27】実施の形態５で使用する携帯端末で実行される処理動作の一例を説明するフローチャートである。
【図28】描画する線の濃さの指示に用いるジェスチャの実施の形態５における具体例を説明する図である。（Ａ）は「薄い線」の指示に用いるジェスチャの例を示し、（Ｂ）は「少し濃い線」の指示に用いるジェスチャの例を示し、（Ｃ）は「濃い線」の指示に用いるジェスチャの例を示す。
【図29】空中で人差し指を移動させながら指の本数の変化を組み合わせた場合に描画されるＡＲ画像の例を説明する図である。
【図30】実施の形態６における携帯端末の使用例を説明する図である。
【図31】描画する線の太さの指示に用いるジェスチャの実施の形態６における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図32】描画する線の太さの指示に用いるジェスチャの実施の形態６における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図33】描画する線の太さの指示に用いるジェスチャの実施の形態６における他の例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図34】実施の形態７における携帯端末の使用例を説明する図である。
【図35】実施の形態８における携帯端末の使用例を説明する図である。
【図36】実施の形態９における携帯端末の使用例を説明する図である。
【図37】描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図38】描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図39】描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例３を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図40】実施の形態１０における携帯端末の使用例を説明する図である。
【図41】実施の形態１０で使用する携帯端末で実行される処理動作の一例を説明するフローチャートである。
【図42】描画する線の太さの指示に用いるジェスチャの実施の形態１０における具体例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図43】実施の形態１１における携帯端末の使用例を説明する図である。
【図44】描画する線の太さの指示に用いるジェスチャの実施の形態１１における具体例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図45】実施の形態１２における携帯端末の使用例を説明する図である。
【図46】描画する線の太さの指示に用いるジェスチャの実施の形態１２における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図47】描画する線の太さの指示に用いるジェスチャの実施の形態１２における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
【図48】実施の形態１３における携帯端末の使用例を説明する図である。
【図49】実施の形態１４で使用するＡＲシステムの一例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜使用例＞
図１は、実施の形態１における携帯型の端末（以下「携帯端末」という）１０の使用例を説明する図である。図１における携帯端末１０は、スマートフォンである。
＜実施の形態１＞
＜使用例＞
図１は、実施の形態１における携帯型の端末（以下「携帯端末」という）１０の使用例を説明する図である。図１における携帯端末１０は、スマートフォンである。
【0010】
本実施の形態における携帯端末１０は、ユーザのジェスチャを撮像した画像から取得される情報を、現実の空間を撮像した画像に合成して表示する。本実施の形態では、取得された情報に対応する画像や取得された情報に対応する画像を、実空間の画像を拡張する意味で「ＡＲ画像」という。
本実施の形態の場合、携帯端末１０は、ユーザのジェスチャを撮像した画像から、ユーザの指先の軌跡を抽出する。抽出された指先の軌跡から情報が取得される。取得される情報は、線又は線の集合（以下「線等」ともいう）で表現される文字、記号、図形等である。以下では、線等で表現される文字、記号、図形等を「オブジェクト」ともいう。なお、ピリオド、コンマ、コロン、セミコロン等も線の一種として扱う。
本実施の形態の場合、携帯端末１０は、ユーザのジェスチャを撮像した画像から、ユーザの指先の軌跡を抽出する。抽出された指先の軌跡から情報が取得される。取得される情報は、線又は線の集合（以下「線等」ともいう）で表現される文字、記号、図形等である。以下では、線等で表現される文字、記号、図形等を「オブジェクト」ともいう。なお、ピリオド、コンマ、コロン、セミコロン等も線の一種として扱う。
【0011】
本実施の形態では、ユーザの指先が空中を移動する軌跡を画面内から抽出するが、抽出の対象は、ユーザの指先に限らない。例えば事前に抽出の対象に指定した物体であればよい。抽出の対象には、ユーザの指先に加え、例えばユーザの指、手、足、棒状の物品、ユーザの身体に取り付けた物品でもよい。
図１の場合、ユーザ１は、携帯端末１０を左手２で支え、右手３の指先を何もない空中で移動させる。
本実施の形態で使用する携帯端末１０の場合、ユーザのジェスチャを撮像するカメラ１２は、タッチパネル１１の反対側の面に設けられている。このため、紙面の手前側から紙面奥の方向に、ユーザ１、携帯端末１０、ユーザの右手３が位置している。
図１の場合、ユーザ１は、携帯端末１０を左手２で支え、右手３の指先を何もない空中で移動させる。
本実施の形態で使用する携帯端末１０の場合、ユーザのジェスチャを撮像するカメラ１２は、タッチパネル１１の反対側の面に設けられている。このため、紙面の手前側から紙面奥の方向に、ユーザ１、携帯端末１０、ユーザの右手３が位置している。
【0012】
本実施の形態の場合、ユーザのジェスチャから取得されたオブジェクトは、タッチパネル１１に表示される他、現実の空間（以下「実空間」ともいう）の座標にも紐付けられる。ここでの座標は絶対座標である。このため、オブジェクトを描画した時点とは異なる時点に同じ空間を撮像しても、タッチパネル１１には、先に取得されたオブジェクトが携帯端末１０から読み出されて表示される。
なお、図１の例では、携帯端末１０としてスマートフォンを想定したが、携帯端末１０は携帯型の電話機でもよい。また、片手で保持したまま他方の手の動きを撮像可能であれば、携帯端末１０はタブレット型の端末でもよい。
本実施の形態における携帯端末１０は、情報処理装置の一例である。
なお、図１の例では、携帯端末１０としてスマートフォンを想定したが、携帯端末１０は携帯型の電話機でもよい。また、片手で保持したまま他方の手の動きを撮像可能であれば、携帯端末１０はタブレット型の端末でもよい。
本実施の形態における携帯端末１０は、情報処理装置の一例である。
【0013】
＜装置構成＞
図２は、実施の形態１で使用する携帯端末１０のハードウェア構成例を説明する図である。
図２に示す携帯端末１０は、プロセッサ１０１と、内部メモリ１０２と、外部メモリ１０３と、タッチパネル１１と、カメラ１２と、自端末の位置を測位する測位センサ１０４と、自端末と自端末の周囲に存在する物体までの距離を測定する測距センサ１０５と、通話や録音に使用されるマイク１０６と、音の出力に使用されるスピーカ１０７と、外部装置との通信に用いられる通信モジュール１０８とを有している。
もっとも、図２に示すデバイスは、携帯端末１０に設けられるデバイスの一部である。
図２は、実施の形態１で使用する携帯端末１０のハードウェア構成例を説明する図である。
図２に示す携帯端末１０は、プロセッサ１０１と、内部メモリ１０２と、外部メモリ１０３と、タッチパネル１１と、カメラ１２と、自端末の位置を測位する測位センサ１０４と、自端末と自端末の周囲に存在する物体までの距離を測定する測距センサ１０５と、通話や録音に使用されるマイク１０６と、音の出力に使用されるスピーカ１０７と、外部装置との通信に用いられる通信モジュール１０８とを有している。
もっとも、図２に示すデバイスは、携帯端末１０に設けられるデバイスの一部である。
【0014】
プロセッサ１０１は、例えばＣＰＵ（＝Central Processing Unit）で構成される。プロセッサ１０１は、アプリケーションプログラム（以下「アプリ」ともいう）やファームウェアの実行を通じて各種の機能を実現する。以下では、アプリとファームウェアを総称して「プログラム」という。
内部メモリ１０２と外部メモリ１０３は、いずれも半導体メモリである。内部メモリ１０２は、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、主記憶装置として用いられるＲＡＭ（＝Random Access Memory）とを有している。プロセッサ１０１と内部メモリ１０２により、いわゆるコンピュータが構成される。プロセッサ１０１は、ＲＡＭをプログラムの作業スペースとして使用する。外部メモリ１０３は、補助記憶装置であり、プログラム等が記憶される。
内部メモリ１０２と外部メモリ１０３は、いずれも半導体メモリである。内部メモリ１０２は、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、主記憶装置として用いられるＲＡＭ（＝Random Access Memory）とを有している。プロセッサ１０１と内部メモリ１０２により、いわゆるコンピュータが構成される。プロセッサ１０１は、ＲＡＭをプログラムの作業スペースとして使用する。外部メモリ１０３は、補助記憶装置であり、プログラム等が記憶される。
【0015】
タッチパネル１１は、画像その他の情報を表示するディスプレイ１１１と、ディスプレイ１１１に対するユーザの操作を検知する静電容量式フィルムセンサ１１２とで構成される。
ディスプレイ１１１には、例えば有機ＥＬ（＝Electro Luminescent）ディスプレイや液晶ディスプレイが用いられる。ディスプレイ１１１には、各種の画像や情報が表示される。ここでの画像には、カメラ１２で撮像された画像も含まれる。
静電容量式フィルムセンサ１１２は、ディスプレイ１１１の表面に配置される。静電容量式フィルムセンサ１１２は、ディスプレイ１１１に表示される画像や情報の観察を妨げない光の透過性を有し、ユーザが操作する位置を静電容量の変化を通じて検知する。
ディスプレイ１１１には、例えば有機ＥＬ（＝Electro Luminescent）ディスプレイや液晶ディスプレイが用いられる。ディスプレイ１１１には、各種の画像や情報が表示される。ここでの画像には、カメラ１２で撮像された画像も含まれる。
静電容量式フィルムセンサ１１２は、ディスプレイ１１１の表面に配置される。静電容量式フィルムセンサ１１２は、ディスプレイ１１１に表示される画像や情報の観察を妨げない光の透過性を有し、ユーザが操作する位置を静電容量の変化を通じて検知する。
【0016】
カメラ１２には、例えばＣＭＯＳ（＝Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（＝Charge-Coupled Device）イメージセンサを使用する。
本実施の形態の場合、カメラ１２は、携帯端末１０に対して一体的に取り付けられているが、アクセサリデバイスとして外付けされてもよい。
カメラ１２の数は単数でもよいし、複数でもよい。本実施の形態におけるカメラ１２は、タッチパネル１１が設けられている面とは反対側の面に少なくとも１つ設けられる。もっとも、自撮り用のカメラをタッチパネル１１が設けられている面に追加で設けてもよい。
本実施の形態の場合、カメラ１２は、携帯端末１０に対して一体的に取り付けられているが、アクセサリデバイスとして外付けされてもよい。
カメラ１２の数は単数でもよいし、複数でもよい。本実施の形態におけるカメラ１２は、タッチパネル１１が設けられている面とは反対側の面に少なくとも１つ設けられる。もっとも、自撮り用のカメラをタッチパネル１１が設けられている面に追加で設けてもよい。
【0017】
測位センサ１０４は、例えばＧＰＳ（＝Global Positioning System）信号を検知して自端末の位置を測位するＧＰＳモジュールや屋内用の測位モジュールで構成される。
屋内用の測位モジュールには、例えばＢＬＥ（＝Bluetooth Low Energy）ビーコンを受信して自端末の位置を測位するモジュール、ＷｉＦｉ（登録商標）信号を受信して自端末の位置を測位するモジュール、自律航法により自端末の位置を測位するモジュール、ＩＭＥＳ（Indoor MEssaging System）信号を受信して自端末の位置を測位するモジュールを使用する。
例えばカメラ１２がステレオカメラである場合、測距センサ１０５には、複数のカメラ１２の視差を用いて物体までの距離を計算するモジュールを使用する。また例えば、測距センサ１０５には、照射した光が物体で反射して戻ってくるまでの時間を計測して物体までの距離を計算するモジュールを使用する。後者のモジュールは、ＴＯＦ（＝Time Of Flight）センサとも呼ばれる。
マイク１０６は、ユーザの音声や周囲の音を電気信号に変換するデバイスである。
スピーカ１０７は、電気信号を音に変換して出力するデバイスである。
屋内用の測位モジュールには、例えばＢＬＥ（＝Bluetooth Low Energy）ビーコンを受信して自端末の位置を測位するモジュール、ＷｉＦｉ（登録商標）信号を受信して自端末の位置を測位するモジュール、自律航法により自端末の位置を測位するモジュール、ＩＭＥＳ（Indoor MEssaging System）信号を受信して自端末の位置を測位するモジュールを使用する。
例えばカメラ１２がステレオカメラである場合、測距センサ１０５には、複数のカメラ１２の視差を用いて物体までの距離を計算するモジュールを使用する。また例えば、測距センサ１０５には、照射した光が物体で反射して戻ってくるまでの時間を計測して物体までの距離を計算するモジュールを使用する。後者のモジュールは、ＴＯＦ（＝Time Of Flight）センサとも呼ばれる。
マイク１０６は、ユーザの音声や周囲の音を電気信号に変換するデバイスである。
スピーカ１０７は、電気信号を音に変換して出力するデバイスである。
【0018】
通信モジュール１０８には、例えばＵＳＢ（＝Universal Serial Bus）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮ（＝Local Area Network）に準拠する通信モジュールを使用する。他の実施の形態についても同様である。
本実施の形態における移動通信システムは、第４世代（すなわち４Ｇ）、第５世代（すなわち５Ｇ）、第６世代（すなわち６Ｇ）のいずれでもよい。
本実施の形態の場合、無線ＬＡＮには、ＩＥＥＥ８０２．１１の１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ、１１ａｄ、１１ａｘのいずれかを利用する。他の実施の形態につても同様である。
本実施の形態における移動通信システムは、第４世代（すなわち４Ｇ）、第５世代（すなわち５Ｇ）、第６世代（すなわち６Ｇ）のいずれでもよい。
本実施の形態の場合、無線ＬＡＮには、ＩＥＥＥ８０２．１１の１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ、１１ａｄ、１１ａｘのいずれかを利用する。他の実施の形態につても同様である。
【0019】
＜処理動作＞
図３は、実施の形態１で使用する携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図３に示す処理は、プロセッサ１０１（図２参照）が実行する。なお、図中に示す記号のＳはステップを表している。
本実施の形態の場合、カメラ１２により撮像される画像から、ユーザのジェスチャにより空中に描く線等を抽出する機能は、ユーザが特定のアプリを起動することで実行される。なお、ユーザが起動する特定のアプリは、ユーザのジェスチャにより空中にＡＲ画像を描画するアプリに限らず、同アプリを呼び出す他のアプリでもよい。
図３は、実施の形態１で使用する携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図３に示す処理は、プロセッサ１０１（図２参照）が実行する。なお、図中に示す記号のＳはステップを表している。
本実施の形態の場合、カメラ１２により撮像される画像から、ユーザのジェスチャにより空中に描く線等を抽出する機能は、ユーザが特定のアプリを起動することで実行される。なお、ユーザが起動する特定のアプリは、ユーザのジェスチャにより空中にＡＲ画像を描画するアプリに限らず、同アプリを呼び出す他のアプリでもよい。
【0020】
まず、プロセッサ１０１は、自端末の位置を特定する（ステップ１）。自端末の位置は、測位センサ１０４から与えられる情報を用いて特定される。
次に、プロセッサ１０１は、カメラ１２（図２参照）で撮像された画像から描画に用いる物体を検知する（ステップ２）。前述したように、描画に用いる物体は、事前に指定されている。描画に用いる物体には、例えばユーザの指先を使用する。
続いて、プロセッサ１０１は、描画の開始か否かを判定する（ステップ３）。
プロセッサ１０１は、例えば描画に用いる物体が空中に静止している場合、描画の開始と判定する。本実施の形態における「静止」は、厳密な意味での静止ではなく、ある位置の近傍に留まる状態が継続する状態をいう。換言すると、物体の移動の速度が予め定めた閾値よりも低下した状態をいう。
次に、プロセッサ１０１は、カメラ１２（図２参照）で撮像された画像から描画に用いる物体を検知する（ステップ２）。前述したように、描画に用いる物体は、事前に指定されている。描画に用いる物体には、例えばユーザの指先を使用する。
続いて、プロセッサ１０１は、描画の開始か否かを判定する（ステップ３）。
プロセッサ１０１は、例えば描画に用いる物体が空中に静止している場合、描画の開始と判定する。本実施の形態における「静止」は、厳密な意味での静止ではなく、ある位置の近傍に留まる状態が継続する状態をいう。換言すると、物体の移動の速度が予め定めた閾値よりも低下した状態をいう。
【0021】
例えばユーザの指先が画面内のある位置で予め定めた時間以上留まっていると判定された場合、プロセッサ１０１は、ステップ３で肯定結果を得る。
静止とみなす時間は、ユーザの使い勝手も考慮して定められる。例えば１秒を閾値とする。もっとも、閾値は、ユーザが変更可能であることが望ましい。
また、プロセッサ１０１は、例えば特定のジェスチャが検知された場合、描画の開始と判定してもよい。
特定のジェスチャには、何も存在しない空中でのタップ、ダブルタップ、スワイプ等のジェスチャでもよい。
また、プロセッサ１０１は、ユーザの音声による開始の指示を検知してもよい。
判定の条件を満たさない場合、プロセッサ１０１は、ステップ３で否定結果を得る。
静止とみなす時間は、ユーザの使い勝手も考慮して定められる。例えば１秒を閾値とする。もっとも、閾値は、ユーザが変更可能であることが望ましい。
また、プロセッサ１０１は、例えば特定のジェスチャが検知された場合、描画の開始と判定してもよい。
特定のジェスチャには、何も存在しない空中でのタップ、ダブルタップ、スワイプ等のジェスチャでもよい。
また、プロセッサ１０１は、ユーザの音声による開始の指示を検知してもよい。
判定の条件を満たさない場合、プロセッサ１０１は、ステップ３で否定結果を得る。
【0022】
ステップ３で肯定結果を得た場合、プロセッサ１０１は、描画に用いる物体の空間内における位置を特定する（ステップ４）。ここでの位置は、例えば絶対座標として与えられる。
プロセッサ１０１は、空間内における物体までの距離を測定すると、自端末の位置と自端末が撮像している方向との関係により、空間内における物体の位置を特定する。なお、描画に用いる物体までの距離は、測距センサ１０５（図２参照）から与えられる情報を用いて測定される。空間内における物体の位置の特定は、ステップ２における物体の検知と同時でもよい。
プロセッサ１０１は、空間内における物体までの距離を測定すると、自端末の位置と自端末が撮像している方向との関係により、空間内における物体の位置を特定する。なお、描画に用いる物体までの距離は、測距センサ１０５（図２参照）から与えられる情報を用いて測定される。空間内における物体の位置の特定は、ステップ２における物体の検知と同時でもよい。
【0023】
次に、プロセッサ１０１は、描画に用いる物体の空間内における移動の軌跡を検知する（ステップ５）。ここでの移動の軌跡は、描画される線の方向の指示として検知される。
続いて、プロセッサ１０１は、描画中の物体の画像から線の太さの指示を検知する（ステップ６）。すなわち、プロセッサ１０１は、描画中のユーザの動作を通じ、描画中の線の太さの指示も同時に検知する。
線の太さの指示には、例えば描画に用いる手に現れる特定の動きを使用する。手に現れる特定の動きには、例えば描画に用いる指の本数、描画に用いる複数本の指の広がり具合、描画に用いる指の向きがある。
また、線の太さの指示には、例えば描画に用いる物体の先端等に現れる特徴の切り替えを使用する。ここでの物体にはユーザの身体の一部も含まれる。従って、ユーザの手や指先も当然に含まれる。
続いて、プロセッサ１０１は、描画中の物体の画像から線の太さの指示を検知する（ステップ６）。すなわち、プロセッサ１０１は、描画中のユーザの動作を通じ、描画中の線の太さの指示も同時に検知する。
線の太さの指示には、例えば描画に用いる手に現れる特定の動きを使用する。手に現れる特定の動きには、例えば描画に用いる指の本数、描画に用いる複数本の指の広がり具合、描画に用いる指の向きがある。
また、線の太さの指示には、例えば描画に用いる物体の先端等に現れる特徴の切り替えを使用する。ここでの物体にはユーザの身体の一部も含まれる。従って、ユーザの手や指先も当然に含まれる。
【0024】
また、特徴には、線の太さを指定する構造、画像、文字、形状、色、又はそれらの組み合わせがある。線の太さを指定する画像や形状には、マーク、アイコン、模様、記号、コード等がある。ここでの画像等は、描画に用いる物品に直接印刷されていてもよいし、シール等として貼り付けが可能でもよいし、マニキュア等のように対象とする部位に塗布してもよいし、手や指に被せる袋状の部材を装着してもよい。また、構造は、物品を構成する部品の色合い、部品の凹凸、部品の材質の違いその他の組み合わせにより視覚的に確認される意匠をいう。
太さの指示を検知すると、プロセッサ１０１は、検知した太さを、描画に用いる物体の位置に紐付ける（ステップ７）。この紐付けにより、線の太さを描画の最中に変更することが可能になる。
続いて、プロセッサ１０１は、線の太さの指示を反映したＡＲ画像を生成してディスプレイ１１１に表示する（ステップ８）。これにより、ユーザは、ディスプレイ１１１の表示を通じて、空中に描画中のオブジェクトと線の太さを一度に確認することが可能である。
太さの指示を検知すると、プロセッサ１０１は、検知した太さを、描画に用いる物体の位置に紐付ける（ステップ７）。この紐付けにより、線の太さを描画の最中に変更することが可能になる。
続いて、プロセッサ１０１は、線の太さの指示を反映したＡＲ画像を生成してディスプレイ１１１に表示する（ステップ８）。これにより、ユーザは、ディスプレイ１１１の表示を通じて、空中に描画中のオブジェクトと線の太さを一度に確認することが可能である。
【0025】
次に、プロセッサ１０１は、描画の終了か否かを判定する（ステップ９）。
プロセッサ１０１は、例えば空中を移動していた物体が空中に静止した場合、描画の終了と判定する。
例えばユーザの指先が画面内のある位置で予め定めた時間以上留まっていると判定された場合、プロセッサ１０１は、ステップ９で肯定結果を得る。静止とみなす時間は、描画の開始の判定に用いる時間と同じでもよいし、異なってもよい。例えば１秒を閾値とする。もっとも、閾値は、ユーザが変更可能であることが望ましい。
プロセッサ１０１は、例えば空中を移動していた物体が空中に静止した場合、描画の終了と判定する。
例えばユーザの指先が画面内のある位置で予め定めた時間以上留まっていると判定された場合、プロセッサ１０１は、ステップ９で肯定結果を得る。静止とみなす時間は、描画の開始の判定に用いる時間と同じでもよいし、異なってもよい。例えば１秒を閾値とする。もっとも、閾値は、ユーザが変更可能であることが望ましい。
【0026】
また、プロセッサ１０１は、例えば特定のジェスチャが検知された場合、描画の終了と判定してもよい。
特定のジェスチャには、何も存在しない空中でのタップ、ダブルタップ、スワイプ等のジェスチャでもよい。やはり、描画の終了との判定に用いるジェスチャは、描画の開始との判定に用いるジェスチャとは異なってもよい。
また、プロセッサ１０１は、ユーザの音声による開始と終了を検知してもよい。
判定の条件を満たさない場合、プロセッサ１０１は、ステップ９で否定結果を得、ステップ５に戻る。
特定のジェスチャには、何も存在しない空中でのタップ、ダブルタップ、スワイプ等のジェスチャでもよい。やはり、描画の終了との判定に用いるジェスチャは、描画の開始との判定に用いるジェスチャとは異なってもよい。
また、プロセッサ１０１は、ユーザの音声による開始と終了を検知してもよい。
判定の条件を満たさない場合、プロセッサ１０１は、ステップ９で否定結果を得、ステップ５に戻る。
【0027】
＜線の太さの指示に用いる具体例＞
以下では、ステップ６（図３参照）で想定するジェスチャの具体例について説明する。
以下では、ステップ６（図３参照）で想定するジェスチャの具体例について説明する。
【0028】
＜具体例１＞
図４は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のディスプレイ１１１に表示されるＡＲ画像の例を示す。
図４では、右手３の人差し指の指先を線の描画に使用する。また、図４では、描画中の指の本数を線の太さの指示に使用している。
図４は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のディスプレイ１１１に表示されるＡＲ画像の例を示す。
図４では、右手３の人差し指の指先を線の描画に使用する。また、図４では、描画中の指の本数を線の太さの指示に使用している。
【0029】
図４（Ａ）では、人差し指による描画に連動して、ディスプレイ１１１に「細線」が描画される。
図４（Ｂ）では、人差し指と中指の２本による描画に連動して、ディスプレイ１１１に「中太線」が描画される。
図４（Ｃ）では、５本の指を広げた状態での描画に連動して、ディスプレイ１１１に「太線」が描画される。
本具体例の場合、指の本数が多いほど、太い線が描画される。もっとも、同じ本数でも、描画に用いる指の組み合わせにより、異なる太さの指示を可能としてもよい。例えば人差し指と小指の２本による描画を「細線」の指示に用いてもよいし、人差し指と親指の２本による描画を「太線」の指示に用いてもよい。
図４（Ｂ）では、人差し指と中指の２本による描画に連動して、ディスプレイ１１１に「中太線」が描画される。
図４（Ｃ）では、５本の指を広げた状態での描画に連動して、ディスプレイ１１１に「太線」が描画される。
本具体例の場合、指の本数が多いほど、太い線が描画される。もっとも、同じ本数でも、描画に用いる指の組み合わせにより、異なる太さの指示を可能としてもよい。例えば人差し指と小指の２本による描画を「細線」の指示に用いてもよいし、人差し指と親指の２本による描画を「太線」の指示に用いてもよい。
【0030】
図４では、右手３の人差し指の指先を追跡することで線を描画しているが、線の描画には小指を用いてもよいし、親指を用いてもよい。いずれの指を線の描画に用いるかは、事前に設定しておけばよい。後述する他の具体例についても同様である。
また、線の描画に指先を用いるのではなく、右手３の全体を用いてもよい。この場合、右手３の重心又は右手３の中心の軌跡をＡＲ画像として表示してもよい。後述する他の具体例についても同様である。
また、図４では、左手２で携帯端末１０を支えるので、自由に動かすことが可能な右手３を線の描画に用いているが、右手３で携帯端末１０を支える場合には、左手２で線を描画してもよい。後述する他の具体例についても同様である。
また、線の描画に指先を用いるのではなく、右手３の全体を用いてもよい。この場合、右手３の重心又は右手３の中心の軌跡をＡＲ画像として表示してもよい。後述する他の具体例についても同様である。
また、図４では、左手２で携帯端末１０を支えるので、自由に動かすことが可能な右手３を線の描画に用いているが、右手３で携帯端末１０を支える場合には、左手２で線を描画してもよい。後述する他の具体例についても同様である。
【0031】
図５は、空中で人差し指を移動させながら指の本数の変化を組み合わせた場合に描画されるＡＲ画像の一例を説明する図である。
図５においては、時点Ｔ１から時点Ｔ２までの間は指１本による描画であり、時点Ｔ２から時点Ｔ３までの間は指２本による描画であり、時点Ｔ３から時点Ｔ４までの間は指５本による描画である。
このため、携帯端末１０のタッチパネル１１には、太さが段階的に太くなる線の集合が表示される。
図５の場合には、ユーザの指示に対応する太さの線がそのまま表示される。このため、線の太さが段階的に切り替わる。しかし、太さが変化する位置が目立たないように、線の太さが滑らかに見えるように処理してもよい。すなわち、スムージング処理を加えてもよい。
図５においては、時点Ｔ１から時点Ｔ２までの間は指１本による描画であり、時点Ｔ２から時点Ｔ３までの間は指２本による描画であり、時点Ｔ３から時点Ｔ４までの間は指５本による描画である。
このため、携帯端末１０のタッチパネル１１には、太さが段階的に太くなる線の集合が表示される。
図５の場合には、ユーザの指示に対応する太さの線がそのまま表示される。このため、線の太さが段階的に切り替わる。しかし、太さが変化する位置が目立たないように、線の太さが滑らかに見えるように処理してもよい。すなわち、スムージング処理を加えてもよい。
【0032】
図６は、空中で人差し指を移動させながら指の本数の変化を組み合わせた場合に描画されるＡＲ画像の他の例を説明する図である。
図６においては、時点Ｔ１から時点Ｔ２までの間は指１本による描画であり、時点Ｔ２から時点Ｔ３までの間は指２本による描画であり、時点Ｔ３から時点Ｔ４までの間は指５本による描画であり、時点Ｔ４から時点Ｔ５までの間は指２本による描画であり、時点Ｔ５から時点Ｔ６までの間は指１本による描画である。
図６の例では、線の太さの変化が自然に見えるようにスムージング処理したＡＲ画像をタッチパネル１１に表示している。
図６に示すように、本実施の形態では、描画中の線の太さを、ユーザの意図の通りに変化させることが可能である。なお、従前の技術では、描画中は、同じ太さの線しか描けないため、描画する線の表現力に自ずと制約があった。しかし、本実施の形態では、線の太さを自由に変更できるため、ユーザの個性や感性を反映させたオブジェクトの描画が容易になる。
図６においては、時点Ｔ１から時点Ｔ２までの間は指１本による描画であり、時点Ｔ２から時点Ｔ３までの間は指２本による描画であり、時点Ｔ３から時点Ｔ４までの間は指５本による描画であり、時点Ｔ４から時点Ｔ５までの間は指２本による描画であり、時点Ｔ５から時点Ｔ６までの間は指１本による描画である。
図６の例では、線の太さの変化が自然に見えるようにスムージング処理したＡＲ画像をタッチパネル１１に表示している。
図６に示すように、本実施の形態では、描画中の線の太さを、ユーザの意図の通りに変化させることが可能である。なお、従前の技術では、描画中は、同じ太さの線しか描けないため、描画する線の表現力に自ずと制約があった。しかし、本実施の形態では、線の太さを自由に変更できるため、ユーザの個性や感性を反映させたオブジェクトの描画が容易になる。
【0033】
＜具体例２＞
図７は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図７の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図７の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、図７では、描画中の人差し指と中指の開き具合を線の太さの指示に使用する。
図７は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図７の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図７の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、図７では、描画中の人差し指と中指の開き具合を線の太さの指示に使用する。
【0034】
図７（Ａ）では、人差し指と中指が閉じられている。このため、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図７（Ｂ）では、人差し指と中指の間に少し隙間が出来ている。このため、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図７（Ｃ）では、人差し指と中指の間を更に広げている。このため、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
なお、図７の例では、人差し指と中指の開き具合で描画する線の太さを指示しているが、他の複数の指の開き具合を用いてもよい。
図７（Ｂ）では、人差し指と中指の間に少し隙間が出来ている。このため、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図７（Ｃ）では、人差し指と中指の間を更に広げている。このため、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
なお、図７の例では、人差し指と中指の開き具合で描画する線の太さを指示しているが、他の複数の指の開き具合を用いてもよい。
【0035】
図８は、複数の指の開き具合で線の太さを指示する場合の実施の形態１における他の例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図８では、人差し指と親指の２本の隙間の広がり具合で線の太さを指定する例である。
図８（Ａ）では、人差し指と親指の間が概略９０°に開いている。このため、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図８（Ｂ）では、人差し指と親指の間に少し隙間が出来ている。このため、人差し指の移動に連動して、タッチパネル１１に「中太線」が描画される。
図８では、人差し指と親指の２本の隙間の広がり具合で線の太さを指定する例である。
図８（Ａ）では、人差し指と親指の間が概略９０°に開いている。このため、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図８（Ｂ）では、人差し指と親指の間に少し隙間が出来ている。このため、人差し指の移動に連動して、タッチパネル１１に「中太線」が描画される。
【0036】
図８（Ｃ）では、人差し指と親指が閉じられている。このため、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
図８の場合、線の太さの指示に用いる開き具合の関係が図７の場合と反対である。しかし、図８の場合も、人差し指と親指が閉じられている場合には細線を描画し、人差し指と親指が開いている場合に太線を描画してもよい。
勿論、図７で説明した描画を図８の描画の手法に合わせることも可能である。すなわち、人差し指と中指を閉じた状態では太線を描画し、人差し指と中指を開いた状態では細線を描画してもよい。
図８の場合、線の太さの指示に用いる開き具合の関係が図７の場合と反対である。しかし、図８の場合も、人差し指と親指が閉じられている場合には細線を描画し、人差し指と親指が開いている場合に太線を描画してもよい。
勿論、図７で説明した描画を図８の描画の手法に合わせることも可能である。すなわち、人差し指と中指を閉じた状態では太線を描画し、人差し指と中指を開いた状態では細線を描画してもよい。
【0037】
＜具体例３＞
図９は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例３を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図９の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。図９の場合、右手３の形状で線の太さを指示する。また、線の描画には、右手３の中心の位置又は重心の位置を使用する。
図９（Ａ）では、右手３の指は閉じられている。すなわち、図９（Ａ）における右手３は拳の形状である。この拳の状態での右手３の移動に連動して、タッチパネル１１に「細線」が描画される。
図９は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例３を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図９の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。図９の場合、右手３の形状で線の太さを指示する。また、線の描画には、右手３の中心の位置又は重心の位置を使用する。
図９（Ａ）では、右手３の指は閉じられている。すなわち、図９（Ａ）における右手３は拳の形状である。この拳の状態での右手３の移動に連動して、タッチパネル１１に「細線」が描画される。
【0038】
図９（Ｂ）では、右手３は、軽く手を握った形状である。換言すると、右手３は、拳の状態から少し手の緊張が緩んでいる。この形状の右手３の移動に連動して、タッチパネル１１には「中太線」が描画される。
図９（Ｃ）では、右手３を開いた形状である。この形状の右手３の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、右手３の形状と描画される線の太さの関係は、図９の例とは反対でもよい。すなわち、右手３が拳の形状を太線に対応付け、右手３が開いた形状を細線に対応付けてもよい。
図９（Ｃ）では、右手３を開いた形状である。この形状の右手３の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、右手３の形状と描画される線の太さの関係は、図９の例とは反対でもよい。すなわち、右手３が拳の形状を太線に対応付け、右手３が開いた形状を細線に対応付けてもよい。
【0039】
＜具体例４＞
図１０は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例４を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図１０の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１０の場合、人差し指の指先を線の描画に使用する。また、図１０の場合、人差し指の向きを線の太さの指示に使用する。
図１０（Ａ）では、人差し指は、水平方向を向いている。すなわち、人差し指の向きは、携帯端末１０の長辺と概略平行である。この向きのまま右手３を右方向に移動すると、右手３の移動に連動して、タッチパネル１１に「細線」が描画される。
図１０は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例４を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図１０の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１０の場合、人差し指の指先を線の描画に使用する。また、図１０の場合、人差し指の向きを線の太さの指示に使用する。
図１０（Ａ）では、人差し指は、水平方向を向いている。すなわち、人差し指の向きは、携帯端末１０の長辺と概略平行である。この向きのまま右手３を右方向に移動すると、右手３の移動に連動して、タッチパネル１１に「細線」が描画される。
【0040】
図１０（Ｂ）では、人差し指は、左斜め上方を向いている。すなわち、人差し指の向きは、携帯端末１０の長辺に対して概略４５°である。この向きのまま右手３を右方向に移動すると、右手３の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１０（Ｃ）では、人差し指は、上方を向いている。すなわち、人差し指の向きは、携帯端末１０の短辺と概略平行である。この向きのまま右手３を右方向に移動すると、右手３の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、人差し指の向きと描画される線の太さの関係は、図１０とは反対でもよい。すなわち、人差し指の向きが水平方向の場合を太線に対応付け、人差し指の向きが上方の場合を細線に対応付けてもよい。
なお、図１０では特定の指先の方向を線の太さの指示に用いているが、線の描画に拳の形状の右手３を用いる場合には、手首につながる腕の向きを通じて手の向きを特定し、線の太さを特定してもよい。
図１０（Ｃ）では、人差し指は、上方を向いている。すなわち、人差し指の向きは、携帯端末１０の短辺と概略平行である。この向きのまま右手３を右方向に移動すると、右手３の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、人差し指の向きと描画される線の太さの関係は、図１０とは反対でもよい。すなわち、人差し指の向きが水平方向の場合を太線に対応付け、人差し指の向きが上方の場合を細線に対応付けてもよい。
なお、図１０では特定の指先の方向を線の太さの指示に用いているが、線の描画に拳の形状の右手３を用いる場合には、手首につながる腕の向きを通じて手の向きを特定し、線の太さを特定してもよい。
【0041】
＜具体例５＞
図１１は、描画する線の太さの指示に用いるジェスチャの具体例５を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図１１の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１１の場合、右手３の人差し指の指先を線の描画に使用する。ただし、図１１では、右手首の回転の角度で線の太さを指示する。換言すると、人差し指の見え方又は手の見え方の違いで線の太さを指示する。
図１１（Ａ）では、右手３の甲が携帯端末１０と概略正対する状態である。換言すると、人差し指の腹の向きは、携帯端末１０に設けられたカメラ１２（図２参照）の撮影の方向と同じである。この場合、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。ここでの撮影の方向は、ユーザから見た奥行方向に当たる。以下同じである。
図１１は、描画する線の太さの指示に用いるジェスチャの具体例５を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図１１の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１１の場合、右手３の人差し指の指先を線の描画に使用する。ただし、図１１では、右手首の回転の角度で線の太さを指示する。換言すると、人差し指の見え方又は手の見え方の違いで線の太さを指示する。
図１１（Ａ）では、右手３の甲が携帯端末１０と概略正対する状態である。換言すると、人差し指の腹の向きは、携帯端末１０に設けられたカメラ１２（図２参照）の撮影の方向と同じである。この場合、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。ここでの撮影の方向は、ユーザから見た奥行方向に当たる。以下同じである。
【0042】
図１１（Ｂ）では、手首が少し回転して人差し指の側面がカメラ１２に撮像される状態である。ここでの回転軸は鉛直上方である。この場合、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１１（Ｃ）では、手首が更に回転して人差し指の腹がカメラ１２に撮像される状態である。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１１の例とは反対でもよい。すなわち、右手３の甲が携帯端末１０と概略正対する状態を太線に対応付け、人差し指の腹が携帯端末１０から見える状態を細線に対応付けてもよい。
図１１（Ｃ）では、手首が更に回転して人差し指の腹がカメラ１２に撮像される状態である。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１１の例とは反対でもよい。すなわち、右手３の甲が携帯端末１０と概略正対する状態を太線に対応付け、人差し指の腹が携帯端末１０から見える状態を細線に対応付けてもよい。
【0043】
＜具体例６＞
図１２は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例６を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図１２の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１２の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、図１２では、右手３の撮影の方向への傾き具合の違いで線の太さを指示する。換言すると、人差し指の見え方又は右手の甲の見え方の違いで線の太さを指示する。
図１２は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例６を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図１２の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１２の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、図１２では、右手３の撮影の方向への傾き具合の違いで線の太さを指示する。換言すると、人差し指の見え方又は右手の甲の見え方の違いで線の太さを指示する。
【0044】
因みに、図１０の例では、携帯端末１０の撮影の方向を法線とする面内における人差し指の向きの違いで線の太さを指示していたが、図１２の例は、撮影の向きと鉛直方向とで規定される面内における人差し指の向きの違いで線の太さを指示している。このため、図１２の左側の列では、前述した他の具体例とは異なり、携帯端末１０と右手３を側面から観察する場合の位置の関係を示している。
図１２（Ａ）では、人差し指が鉛直上方を向いている状態である。換言すると、人差し指と右手３の甲の全体が、携帯端末１０に設けられたカメラ１２（図２参照）で見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図１２（Ａ）では、人差し指が鉛直上方を向いている状態である。換言すると、人差し指と右手３の甲の全体が、携帯端末１０に設けられたカメラ１２（図２参照）で見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
【0045】
図１２（Ｂ）では、人差し指が撮影の方向に対して概略４５°に傾いた状態である。換言すると、人差し指や甲の撮像された画像内における高さ方向の長さが図１２（Ａ）に比して短く見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１２（Ｃ）では、人差し指が撮影の方向と概略平行まで傾いた状態である。換言すると、人差し指が右手３の甲にほぼ隠れて見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１２の例とは反対でもよい。すなわち、人差し指が鉛直上方を向いている状態を太線に対応付け、人差し指が撮影の方向を向いている状態を細線に対応付けてもよい。
図１２（Ｃ）では、人差し指が撮影の方向と概略平行まで傾いた状態である。換言すると、人差し指が右手３の甲にほぼ隠れて見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１２の例とは反対でもよい。すなわち、人差し指が鉛直上方を向いている状態を太線に対応付け、人差し指が撮影の方向を向いている状態を細線に対応付けてもよい。
【0046】
図１３は、人差し指の撮影の方向への傾きの具合で線の太さを指示する場合の他の例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図１３には、図１２との対応部分に対応する符号を付して示している。
図１２の説明では、人差し指の見え方又は右手の甲の見え方の違いで線の太さを指示しているが、図１３の場合には、人差し指の爪の見え方の違いを線の太さの指示として受け付ける。
図１３には、図１２との対応部分に対応する符号を付して示している。
図１２の説明では、人差し指の見え方又は右手の甲の見え方の違いで線の太さを指示しているが、図１３の場合には、人差し指の爪の見え方の違いを線の太さの指示として受け付ける。
【0047】
例えば図１３（Ａ）の場合、画像から抽出される人差し指の爪の面積は、第１の閾値ＴＨ１より大きくなる。この場合、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図１３（Ｂ）の場合、画像から抽出される人差し指の爪の面積は、第１の閾値ＴＨ１より小さくなるが、第２の閾値ＴＨ２（＜ＴＨ１）より大きくなる。この場合、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１３（Ｃ）の場合、画像内で人差し指の爪の面積が第２の閾値ＴＨ２より小さくなる。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
図１３（Ｂ）の場合、画像から抽出される人差し指の爪の面積は、第１の閾値ＴＨ１より小さくなるが、第２の閾値ＴＨ２（＜ＴＨ１）より大きくなる。この場合、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１３（Ｃ）の場合、画像内で人差し指の爪の面積が第２の閾値ＴＨ２より小さくなる。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
【0048】
なお、爪の大きさはユーザにより様々である。従って、判定の精度を高めるには、判定用の閾値をユーザ毎に設定する必要がある。例えば本アプリの使用前に閾値のキャリブレーションを実行する。キャリブレーションでは、「人差し指を上に向けてください」等のガイダンスを通じて、様々な向きでユーザの人差し指の爪の画像を撮像する。人差し指の爪の画像の撮像が終了すると、撮像された爪の面積を区別するための第１の閾値ＴＨ１と第２の閾値ＴＨ２を登録する。
【0049】
なお、判定には、爪の形状を用いてもよい。例えば前述のキャリブレーションにおいて、爪の面積の代わりに、又は、爪の面積と一緒に、方向別の爪の形状をユーザ毎に登録すればよい。
なお、線の太さの判定は、例えば撮像された爪の形状が登録されている形状との類似度の違いにより実行すればよい。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１３の例とは反対でもよい。すなわち、右手３の爪の面積が閾値より大きい状態を太線に対応付け、爪の面積が最小化する人差し指の腹が携帯端末１０から見える状態を細線に対応付けてもよい。
なお、線の太さの判定は、例えば撮像された爪の形状が登録されている形状との類似度の違いにより実行すればよい。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１３の例とは反対でもよい。すなわち、右手３の爪の面積が閾値より大きい状態を太線に対応付け、爪の面積が最小化する人差し指の腹が携帯端末１０から見える状態を細線に対応付けてもよい。
【0050】
＜具体例７＞
図１４は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例７を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図１４には、図１２との対応部分に対応する符号を付して示している。
図１４の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１４の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、図１４では、携帯端末１０と人差し指との距離の違いで線の太さを指示する。このため、図１４の左側の列では、具体例６の場合と同じく、携帯端末１０と右手３を側面から観察する場合の位置の関係を示している。
図１４は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例７を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図１４には、図１２との対応部分に対応する符号を付して示している。
図１４の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１４の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、図１４では、携帯端末１０と人差し指との距離の違いで線の太さを指示する。このため、図１４の左側の列では、具体例６の場合と同じく、携帯端末１０と右手３を側面から観察する場合の位置の関係を示している。
【0051】
図１４（Ａ）の場合、携帯端末１０と人差し指の距離Ｌは、第１の閾値Ｌ０より短い。この場合、人差し指の移動に連動して、ディスプレイ１１１に「細線」が描画される。
図１４（Ｂ）の場合、携帯端末１０と人差し指の距離Ｌは、第１の閾値Ｌ０以上であるが第２の閾値Ｌ１（＞Ｌ０）より短い。この場合、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１４（Ｃ）の場合、携帯端末１０と人差し指の距離Ｌは、第２の閾値Ｌ１以上である。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
ここでの第１の閾値Ｌ０及び第２の閾値Ｌ１は事前に与えられるが、ユーザによる変更可能であることが望ましい。
この具体例の場合も、距離Ｌと線の太さの関係は、図１４の例とは反対でもよい。すなわち、携帯端末１０と人差し指との距離Ｌが第１の閾値Ｌ０より短い場合に太線に対応付け、携帯端末１０と人差し指との距離Ｌが第２の閾値Ｌ１以上の場合に細線に対応付けてもよい。
図１４（Ｂ）の場合、携帯端末１０と人差し指の距離Ｌは、第１の閾値Ｌ０以上であるが第２の閾値Ｌ１（＞Ｌ０）より短い。この場合、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１４（Ｃ）の場合、携帯端末１０と人差し指の距離Ｌは、第２の閾値Ｌ１以上である。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
ここでの第１の閾値Ｌ０及び第２の閾値Ｌ１は事前に与えられるが、ユーザによる変更可能であることが望ましい。
この具体例の場合も、距離Ｌと線の太さの関係は、図１４の例とは反対でもよい。すなわち、携帯端末１０と人差し指との距離Ｌが第１の閾値Ｌ０より短い場合に太線に対応付け、携帯端末１０と人差し指との距離Ｌが第２の閾値Ｌ１以上の場合に細線に対応付けてもよい。
【0052】
＜具体例８＞
図１５は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例８を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図１５には、図１１との対応部分に対応する符号を付して示している。
図１５の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１５の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、本具体例では、描画中に右手首を回転させるジェスチャに、太さ別のマークを組み合わせる点で、具体例５と相違する。すなわち、本具体例では、手首の回転により撮像される部位に、太さ別のマークを印刷、付着又は装着する。ここでのマークは、描画に用いる物体の先端に現れる特徴の一例である。
図１５は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例８を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図１５には、図１１との対応部分に対応する符号を付して示している。
図１５の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１５の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、本具体例では、描画中に右手首を回転させるジェスチャに、太さ別のマークを組み合わせる点で、具体例５と相違する。すなわち、本具体例では、手首の回転により撮像される部位に、太さ別のマークを印刷、付着又は装着する。ここでのマークは、描画に用いる物体の先端に現れる特徴の一例である。
【0053】
図１５（Ａ）では、右手３の甲が携帯端末１０と概略正対する状態である。換言すると、人差し指の爪が、携帯端末１０に設けられたカメラ１２（図２参照）により撮像される状態である。図１５（Ａ）では、人差し指の爪に円形のマーク４Ａが付着されている。この円形のマーク４Ａは、本具体例の場合、細線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図１５（Ｂ）では、手首が少し回転して人差し指の側面がカメラ１２に撮像される状態である。図１５（Ｂ）では、人差し指の側面に三角形のマーク４Ｂが付着されている。この三角形のマーク４Ｂは、本具体例の場合、中太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１５（Ｃ）では、手首が更に回転して人差し指の腹がカメラ１２に撮像される状態である。１５（Ｃ）では、人差し指の腹に四角形のマーク４Ｃが付着されている。この四角形のマーク４Ｃは、本具体例の場合、太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
図１５（Ｂ）では、手首が少し回転して人差し指の側面がカメラ１２に撮像される状態である。図１５（Ｂ）では、人差し指の側面に三角形のマーク４Ｂが付着されている。この三角形のマーク４Ｂは、本具体例の場合、中太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１５（Ｃ）では、手首が更に回転して人差し指の腹がカメラ１２に撮像される状態である。１５（Ｃ）では、人差し指の腹に四角形のマーク４Ｃが付着されている。この四角形のマーク４Ｃは、本具体例の場合、太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
【0054】
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１５の例とは反対でもよい。すなわち、右手３の甲が携帯端末１０と概略正対する状態で撮像されるマーク４Ａを太線に対応付け、人差し指の腹が携帯端末１０から見える状態で撮像されるマーク４Ｃを細線に対応付けてもよい。
なお、例示したマークの形状は一例であり、他の形状を用いてもよい。また、マークに代えて、バーコードやＱＲコード（登録商標）を用いてもよいし、文字やアイコンを用いてもよい。ここに例示したバーコード等も、描画に用いる物体の先端に現れる特徴の一例である。
なお、例示したマークの形状は一例であり、他の形状を用いてもよい。また、マークに代えて、バーコードやＱＲコード（登録商標）を用いてもよいし、文字やアイコンを用いてもよい。ここに例示したバーコード等も、描画に用いる物体の先端に現れる特徴の一例である。
【0055】
また、図１５における説明では、人差し指の周囲に３つのマーク４Ａ、４Ｂ、４Ｃを印刷等しているが、複数本の指にマーク４Ａ～４Ｃを印刷等してもよい。この場合、描画中に撮像されるマーク付きの指を変更することで太さを指示することが可能である。また、この場合には、マーク付きの指の指先を追跡することで描画を継続してもよい。もっとも、指の切り替えに伴い描画の位置が不自然にならないように、スムージング処理を組み合わせてもよい。
また、複数の指に同じマークを付与してもよい。その場合、マークが線の太さを表すのではなく、撮像されているマーク付きの指によって太さを検知してもよい。
また、複数の指に同じマークを付与してもよい。その場合、マークが線の太さを表すのではなく、撮像されているマーク付きの指によって太さを検知してもよい。
【0056】
また、人差し指にマーク４Ａ、中指にマーク４Ｂ、薬指にマーク４Ｃが印刷等されている場合に、複数のマークが一度に撮像される場合には、より太い線に対応付けられているマークを優先してもよい。例えば人差し指のマーク４Ａと中指のマーク４Ｂの２つが同時に撮像された場合には、「中太線」が指示されたものと扱ってもよい。
また、複数本の指に同じマークを印刷等してもよい。この場合、撮像されたマークの数に比例して線を太くしてもよい。例えば人差し指のマークと中指のマークが同時に撮像された場合には「中太線」を描画し、人差し指のマークと、中指のマークと、薬指のマークが同時に撮像された場合には「太線」を描画してもよい。線の太さが撮像される指の本数と比例するのと実質的に同じであるが、検出の対象がマークの数である点で相違する。
また、複数本の指に同じマークを印刷等してもよい。この場合、撮像されたマークの数に比例して線を太くしてもよい。例えば人差し指のマークと中指のマークが同時に撮像された場合には「中太線」を描画し、人差し指のマークと、中指のマークと、薬指のマークが同時に撮像された場合には「太線」を描画してもよい。線の太さが撮像される指の本数と比例するのと実質的に同じであるが、検出の対象がマークの数である点で相違する。
【0057】
＜具体例９＞
図１６は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例９を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図１６には、図１５との対応部分に対応する符号を付して示している。
図１６の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１６の場合も、右手３の人差し指の指先を線の描画に使用する。また、本具体例では、描画中に右手首を回転させるジェスチャに、太さ別の色を組み合わせる点で、具体例８と相違する。具体例８では、マークの形状等が相違しているが、本具体例では、マークの形状は同じで色だけが太さ別で異なる。
すなわち、本具体例では、手首の回転により撮像される部位に、太さ別の色付きマークを印刷、付着又は装着する。ここでのマークは、描画に用いる物体の先端に現れる特徴の一例である。
図１６は、描画する線の太さの指示に用いるジェスチャの実施の形態１における具体例９を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図１６には、図１５との対応部分に対応する符号を付して示している。
図１６の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１６の場合も、右手３の人差し指の指先を線の描画に使用する。また、本具体例では、描画中に右手首を回転させるジェスチャに、太さ別の色を組み合わせる点で、具体例８と相違する。具体例８では、マークの形状等が相違しているが、本具体例では、マークの形状は同じで色だけが太さ別で異なる。
すなわち、本具体例では、手首の回転により撮像される部位に、太さ別の色付きマークを印刷、付着又は装着する。ここでのマークは、描画に用いる物体の先端に現れる特徴の一例である。
【0058】
図１６（Ａ）では、右手３の甲が携帯端末１０と概略正対する状態である。換言すると、人差し指の爪が、携帯端末１０に設けられたカメラ１２（図２参照）により撮像される状態である。図１６（Ａ）では、人差し指の爪にピンク色の矩形のマーク４Ａが付着されている。ピンク色のマーク４Ａは、本具体例の場合、細線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図１６（Ｂ）では、手首が少し回転して人差し指の側面がカメラ１２に撮像される状態である。図１６（Ｂ）では、人差し指の側面に緑色の矩形のマーク４Ｂが付着されている。緑色のマーク４Ｂは、本具体例の場合、中太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図１６（Ｂ）では、手首が少し回転して人差し指の側面がカメラ１２に撮像される状態である。図１６（Ｂ）では、人差し指の側面に緑色の矩形のマーク４Ｂが付着されている。緑色のマーク４Ｂは、本具体例の場合、中太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
【0059】
図１６（Ｃ）では、手首が更に回転して人差し指の腹がカメラ１２に撮像される状態である。１６（Ｃ）では、人差し指の側面に赤色の矩形のマーク４Ｃが付着されている。赤色のマーク４Ｃは、本具体例の場合、中太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１６の例とは反対でもよい。すなわち、右手３の甲が携帯端末１０と概略正対する状態で撮像されるピンク色のマーク４Ａを太線に対応付け、人差し指の腹が携帯端末１０から見える状態で撮像される赤色のマーク４Ｃを細線に対応付けてもよい。
色付きのマークについても、具体例８と同様、複数本の指に色が異なるマークを個別に印刷等してもよいし、同じ色のマークを複数本の指に印刷等してもよい。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図１６の例とは反対でもよい。すなわち、右手３の甲が携帯端末１０と概略正対する状態で撮像されるピンク色のマーク４Ａを太線に対応付け、人差し指の腹が携帯端末１０から見える状態で撮像される赤色のマーク４Ｃを細線に対応付けてもよい。
色付きのマークについても、具体例８と同様、複数本の指に色が異なるマークを個別に印刷等してもよいし、同じ色のマークを複数本の指に印刷等してもよい。
【0060】
＜実施の形態２＞
＜使用例及び装置構成＞
図１７は、実施の形態２における携帯端末１０の使用例を説明する図である。図１７には、図１との対応部分に対応する符号を付して示している。
本実施の形態では、線の方向の指示に使用する右手３の手首に装着されているウェアラブル端末２０と携帯端末１０との連携により、描画中の線の太さを指示する。
ウェアラブル端末２０は、例えばスマートウォッチ、ブレスレットである。
図１７に示すウェアラブル端末２０は、プロセッサ２０１と、内部メモリ２０２と、筋電位センサ２０３と、６軸センサ２０４と、外部装置の通信に用いられる通信モジュール２０５とを有している。ここでの外部装置の１つが、携帯端末１０である。
プロセッサ２０１は、例えばＣＰＵで構成される。プロセッサ２０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ２０２は、半導体メモリである。内部メモリ２０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ２０１と内部メモリ２０２により、いわゆるコンピュータが構成される。プロセッサ２０１は、ＲＡＭをプログラムの作業スペースとして使用する。
＜使用例及び装置構成＞
図１７は、実施の形態２における携帯端末１０の使用例を説明する図である。図１７には、図１との対応部分に対応する符号を付して示している。
本実施の形態では、線の方向の指示に使用する右手３の手首に装着されているウェアラブル端末２０と携帯端末１０との連携により、描画中の線の太さを指示する。
ウェアラブル端末２０は、例えばスマートウォッチ、ブレスレットである。
図１７に示すウェアラブル端末２０は、プロセッサ２０１と、内部メモリ２０２と、筋電位センサ２０３と、６軸センサ２０４と、外部装置の通信に用いられる通信モジュール２０５とを有している。ここでの外部装置の１つが、携帯端末１０である。
プロセッサ２０１は、例えばＣＰＵで構成される。プロセッサ２０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ２０２は、半導体メモリである。内部メモリ２０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ２０１と内部メモリ２０２により、いわゆるコンピュータが構成される。プロセッサ２０１は、ＲＡＭをプログラムの作業スペースとして使用する。
【0061】
筋電位センサ２０３は、空中に線を描いている間に、ユーザが意図的に動かした筋肉の活動量の大きさを測定するセンサである。筋電位センサ２０３は、例えば空中で人差し指を移動する場合に、ユーザが拳を強く握ったり、弱く握ったりすることで生じる電気信号を測定して出力する。
６軸センサ２０４は、３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の加速度と、同じ３軸方向の角速度を測定するセンサである。６軸センサ２０４は、手首の動きの方向や動きの速さ等の測定にも使用される。
通信モジュール２０５には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。
６軸センサ２０４は、３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の加速度と、同じ３軸方向の角速度を測定するセンサである。６軸センサ２０４は、手首の動きの方向や動きの速さ等の測定にも使用される。
通信モジュール２０５には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。
【0062】
＜線の太さの指示に用いる具体例＞
本実施の形態の場合、線を描画するジェスチャ中に筋電位センサ２０３で測定された電気信号の強度値が、ウェアラブル端末２０から携帯端末１０に通知され、ＡＲ画像の表示に使用される。
なお、携帯端末１０で実行される処理動作は、実施の形態１と同じである。すなわち、携帯端末１０は、図３に示すフローチャートに従って動作する。ただし、ステップ６（図３参照）における線の太さの検知には、ウェアラブル端末２０の筋電位センサ２０３から通知される電気信号の値を使用する。
本実施の形態の場合、線を描画するジェスチャ中に筋電位センサ２０３で測定された電気信号の強度値が、ウェアラブル端末２０から携帯端末１０に通知され、ＡＲ画像の表示に使用される。
なお、携帯端末１０で実行される処理動作は、実施の形態１と同じである。すなわち、携帯端末１０は、図３に示すフローチャートに従って動作する。ただし、ステップ６（図３参照）における線の太さの検知には、ウェアラブル端末２０の筋電位センサ２０３から通知される電気信号の値を使用する。
【0063】
図１８は、描画する線の太さの指示に用いるジェスチャの実施の形態２における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図１８の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１８では、右手３の人差し指の指先を線の描画に使用する。なお、図１８では、描画中の手首の緊張の具合を、線の太さの指示に使用している。
図１８（Ａ）では、手首をリラックスさせたまま、空中に人差し指で線を描画している。この場合、人差し指による描画に連動して、タッチパネル１１に「細線」が描画される。
図１８（Ｂ）では、手首に弱い緊張を加えながら、空中に人差し指で線を描画している。図１８（Ｂ）では、拳に加える力の大きさを「ぎゅ」と表現している。この場合、人差し指による描画に連動して、ディスプレイ１１１に「中太線」が描画される。
図１８の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図１８では、右手３の人差し指の指先を線の描画に使用する。なお、図１８では、描画中の手首の緊張の具合を、線の太さの指示に使用している。
図１８（Ａ）では、手首をリラックスさせたまま、空中に人差し指で線を描画している。この場合、人差し指による描画に連動して、タッチパネル１１に「細線」が描画される。
図１８（Ｂ）では、手首に弱い緊張を加えながら、空中に人差し指で線を描画している。図１８（Ｂ）では、拳に加える力の大きさを「ぎゅ」と表現している。この場合、人差し指による描画に連動して、ディスプレイ１１１に「中太線」が描画される。
【0064】
図１８（Ｃ）では、手首に強い緊張を加えながら、空中に人差し指で線を描画している。図１８（Ｃ）では、拳に加える力の大きさを「ぎゅー」と表現している。図１８（Ｃ）の場合、図１８（Ｂ）の場合よりも、より強く拳を握ることで、手首の緊張を高める。この場合、人差し指による描画に連動して、タッチパネル１１に「太線」が描画される。
なお、図１８では、右手の人差し指の指先を追跡することで線を描画しているが、線の描画には他の指を用いることも可能である。例えば親指や小指を用いてもよい。
また、線の描画に指先を用いるのではなく、右手３の全体を用いてもよい。その場合、右手３の重心又は中心の軌跡をＡＲ画像として表示してもよい。
なお、図１８では、右手の人差し指の指先を追跡することで線を描画しているが、線の描画には他の指を用いることも可能である。例えば親指や小指を用いてもよい。
また、線の描画に指先を用いるのではなく、右手３の全体を用いてもよい。その場合、右手３の重心又は中心の軌跡をＡＲ画像として表示してもよい。
【0065】
また、図１８では、左手２で携帯端末１０を支えているので右手３を線の描画に用いているが、右手３で携帯端末１０を保持する場合には左手２を線の描画に用いてもよい。
なお、線の太さと手首の緊張の具合との判別に使用する電気信号の値の大きさは、ユーザ毎に設定する必要がある。例えば本アプリの使用前に閾値のキャリブレーションを実行する。キャリブレーションでは、「細線を描画するときの力を手首に加えてください」等のガイダンスを通じて、ユーザの手首で測定される電気信号の値を記録する。線の太さ別に電気信号の値が記録されると、プロセッサ１０１（図２参照）は、それらを区別可能な閾値を設定し、ステップ６の判定に使用する。
なお、線の太さと手首の緊張の具合との判別に使用する電気信号の値の大きさは、ユーザ毎に設定する必要がある。例えば本アプリの使用前に閾値のキャリブレーションを実行する。キャリブレーションでは、「細線を描画するときの力を手首に加えてください」等のガイダンスを通じて、ユーザの手首で測定される電気信号の値を記録する。線の太さ別に電気信号の値が記録されると、プロセッサ１０１（図２参照）は、それらを区別可能な閾値を設定し、ステップ６の判定に使用する。
【0066】
＜実施の形態３＞
＜装置構成＞
本実施の形態では、前述した実施の形態１及び２にフィードバック機能を追加した装置構成について説明する。
図１９は、実施の形態３で使用する携帯端末１０のハードウェア構成例を説明する図である。図１９には、図２との対応部分に対応する符号を付して示す。
図１９に示す携帯端末１０と、実施の形態１で説明した携帯端末１０との違いは、バイブレータ１０９の有無である。バイブレータ１０９は、受け付けた太さに応じた強さやパターンの振動を発生する。本実施の形態では、端末本体の振動を通じ、ユーザに受け付けた太さをフィードバックする。
＜装置構成＞
本実施の形態では、前述した実施の形態１及び２にフィードバック機能を追加した装置構成について説明する。
図１９は、実施の形態３で使用する携帯端末１０のハードウェア構成例を説明する図である。図１９には、図２との対応部分に対応する符号を付して示す。
図１９に示す携帯端末１０と、実施の形態１で説明した携帯端末１０との違いは、バイブレータ１０９の有無である。バイブレータ１０９は、受け付けた太さに応じた強さやパターンの振動を発生する。本実施の形態では、端末本体の振動を通じ、ユーザに受け付けた太さをフィードバックする。
【0067】
＜処理動作＞
図２０は、実施の形態３で使用する携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図２０には、図３との対応部分に対応する符号を付して示している。
図２０に示す処理は、プロセッサ１０１（図１９参照）が実行する。なお、図中に示す記号のＳはステップを表している。
図２０の場合、ステップ７の実行後に、検知した太さをフィードバックし（ステップ７Ａ）、その後、ステップ８を実行する。もっとも、太さのフィードバックは、ステップ６とステップ７の間に実行してもよい。
本実施の形態の場合、フィードバックには、端末本体の振動を使用する。前述したように、フィードバックでは、検知した太さに応じた強さやパターンの振動が用いられる。振動の強さやパターンは、アプリが対応する太さの種類の数だけ用意される。
図２０は、実施の形態３で使用する携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図２０には、図３との対応部分に対応する符号を付して示している。
図２０に示す処理は、プロセッサ１０１（図１９参照）が実行する。なお、図中に示す記号のＳはステップを表している。
図２０の場合、ステップ７の実行後に、検知した太さをフィードバックし（ステップ７Ａ）、その後、ステップ８を実行する。もっとも、太さのフィードバックは、ステップ６とステップ７の間に実行してもよい。
本実施の形態の場合、フィードバックには、端末本体の振動を使用する。前述したように、フィードバックでは、検知した太さに応じた強さやパターンの振動が用いられる。振動の強さやパターンは、アプリが対応する太さの種類の数だけ用意される。
【0068】
＜フィードバックの具体例＞
＜具体例１＞
図２１は、実施の形態３で使用するフィードバックの具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図２１には、図４との対応部分に対応する符号を付して示している。
図２１の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図２１では、右手３の人差し指の指先を線の描画に使用する。また、図２１では、描画中の指の本数を線の太さの指示に使用している。
図２１（Ａ）では、人差し指による描画に連動して、タッチパネル１１に「細線」が描画される。同時に、携帯端末１０は、「細線」に応じた強さの振動が発生される。図２１（Ａ）では「ブル」と１回の振動が発生している。なお、この振動は、予め定めた強さで発生される。
＜具体例１＞
図２１は、実施の形態３で使用するフィードバックの具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図２１には、図４との対応部分に対応する符号を付して示している。
図２１の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図２１では、右手３の人差し指の指先を線の描画に使用する。また、図２１では、描画中の指の本数を線の太さの指示に使用している。
図２１（Ａ）では、人差し指による描画に連動して、タッチパネル１１に「細線」が描画される。同時に、携帯端末１０は、「細線」に応じた強さの振動が発生される。図２１（Ａ）では「ブル」と１回の振動が発生している。なお、この振動は、予め定めた強さで発生される。
【0069】
図２１（Ｂ）では、人差し指と中指の２本による描画に連動して、タッチパネル１１に「中太線」が描画される。同時に、携帯端末１０は、「中太線」に応じた強さの振動が発生される。図２１（Ｂ）では「ブルブル」と２回の振動が発生している。なお、この振動は、予め定めた強さで発生される。振動の回数だけでなく、振動の強さも「細線」の場合よりも大きくてもよい。
図２１（Ｃ）では、５本の指を広げた状態での描画に連動して、タッチパネル１１に「太線」が描画される。同時に、携帯端末１０は、「太線」に応じた強さの振動が発生される。図２１（Ｃ）では「ブルブルブル」と３回の振動が発生している。なお、この振動は、予め定めた強さで発生される。振動の回数だけでなく、振動の強さも「中太線」の場合よりも大きくてもよい。
本具体例の場合、振動は、携帯端末１０を保持している左手を通じてユーザに伝わる。
図２１（Ｃ）では、５本の指を広げた状態での描画に連動して、タッチパネル１１に「太線」が描画される。同時に、携帯端末１０は、「太線」に応じた強さの振動が発生される。図２１（Ｃ）では「ブルブルブル」と３回の振動が発生している。なお、この振動は、予め定めた強さで発生される。振動の回数だけでなく、振動の強さも「中太線」の場合よりも大きくてもよい。
本具体例の場合、振動は、携帯端末１０を保持している左手を通じてユーザに伝わる。
【0070】
＜具体例２＞
図２２は、実施の形態３で使用するフィードバックの具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図２２には、図４との対応部分に対応する符号を付して示している。
図２２の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図２２では、右手３の人差し指の指先を線の描画に使用する。また、図２２では、描画中の指の本数を線の太さの指示に使用している。
図２２（Ａ）では、人差し指による描画に連動して、タッチパネル１１に「細線」が描画される。同時に、携帯端末１０は、「細線」に応じた回数の音が発生される。図２２（Ａ）では「ブー」と音が１回発生している。音はスピーカ１０７（図１９参照）から出力される。なお、この音は、予め定めた音量で発生される。
図２２は、実施の形態３で使用するフィードバックの具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図２２には、図４との対応部分に対応する符号を付して示している。
図２２の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図２２では、右手３の人差し指の指先を線の描画に使用する。また、図２２では、描画中の指の本数を線の太さの指示に使用している。
図２２（Ａ）では、人差し指による描画に連動して、タッチパネル１１に「細線」が描画される。同時に、携帯端末１０は、「細線」に応じた回数の音が発生される。図２２（Ａ）では「ブー」と音が１回発生している。音はスピーカ１０７（図１９参照）から出力される。なお、この音は、予め定めた音量で発生される。
【0071】
図２２（Ｂ）では、人差し指と中指の２本による描画に連動して、タッチパネル１１に「中太線」が描画される。同時に、携帯端末１０は、「中太線」に応じた回数の音が発生される。図２２（Ｂ）では「ブブー」と音が２回発生している。なお、この音は、予め定めた音量で発生される。音量も「細線」の場合より大きくてもよい。
図２２（Ｃ）では、５本の指を広げた状態での描画に連動して、タッチパネル１１に「太線」が描画される。同時に、携帯端末１０は、「太線」に応じた強さの振動が発生される。図２２（Ｃ）では「ブブブー」と音が３回発生している。なお、この音は、予め定めた音量で発生される。音量も「中太線」の場合より大きくてもよい。なお、音の周波数やメロディを線の太さに応じて変更してもよい。
図２２（Ｃ）では、５本の指を広げた状態での描画に連動して、タッチパネル１１に「太線」が描画される。同時に、携帯端末１０は、「太線」に応じた強さの振動が発生される。図２２（Ｃ）では「ブブブー」と音が３回発生している。なお、この音は、予め定めた音量で発生される。音量も「中太線」の場合より大きくてもよい。なお、音の周波数やメロディを線の太さに応じて変更してもよい。
【0072】
＜他の具体例＞
図２３は、フィードバックの他の具体例を説明する図である。（Ａ）はベルトのバックル３１を用いてフィードバックする例を示し、（Ｂ）は腹部に装着する器具３２、腕に装着する器具３３、足に装着する器具３４を用いてフィードバックする例を示し、（Ｃ）は靴３５を用いてフィードバックする例を示し、（Ｄ）は手首に装着する器具３６を用いてフィードバックする例を示し、（Ｅ）は指に装着する器具３７を用いてフィードバックする例を示し、（Ｆ）は首に装着する器具３８を用いてフィードバックする例を示す。
図２３に示す器具は、不図示の通信インタフェースを通じて携帯端末１０と連携しており、携帯端末１０が受け付けた線の太さの通知を受けて、内蔵するスピーカやバイブレータを動作させる仕組みになっている。
具体例１や具体例２と同様、振動の強さやパターン、出力する音量や音の回数等を変更することで、描画中のジェスチャを通じて行った線の太さの指示がどのように受け付けられたかをユーザに通知することが可能になる。
図２３は、フィードバックの他の具体例を説明する図である。（Ａ）はベルトのバックル３１を用いてフィードバックする例を示し、（Ｂ）は腹部に装着する器具３２、腕に装着する器具３３、足に装着する器具３４を用いてフィードバックする例を示し、（Ｃ）は靴３５を用いてフィードバックする例を示し、（Ｄ）は手首に装着する器具３６を用いてフィードバックする例を示し、（Ｅ）は指に装着する器具３７を用いてフィードバックする例を示し、（Ｆ）は首に装着する器具３８を用いてフィードバックする例を示す。
図２３に示す器具は、不図示の通信インタフェースを通じて携帯端末１０と連携しており、携帯端末１０が受け付けた線の太さの通知を受けて、内蔵するスピーカやバイブレータを動作させる仕組みになっている。
具体例１や具体例２と同様、振動の強さやパターン、出力する音量や音の回数等を変更することで、描画中のジェスチャを通じて行った線の太さの指示がどのように受け付けられたかをユーザに通知することが可能になる。
【0073】
＜実施の形態４＞
＜装置構成＞
本実施の形態では、描画中の人差し指に対し、受け付けた線の太さの情報をフィードバックする仕組みについて説明する。
図２４は、実施の形態４で使用する携帯端末１０のハードウェア構成例を説明する図である。図２４には、図１９との対応部分に対応する符号を付して示す。
図２４に示す携帯端末１０では、バイブレータ１０９（図１９参照）に代えて、超音波発生モジュール１１０を使用する。超音波発生モジュール１１０は、複数の超音波振動子の集合体である。本実施の形態の場合、超音波発生モジュール１１０が人差し指の指先に超音波を照射し、受け付けた太さに応じた触覚をフィードバックする。
＜装置構成＞
本実施の形態では、描画中の人差し指に対し、受け付けた線の太さの情報をフィードバックする仕組みについて説明する。
図２４は、実施の形態４で使用する携帯端末１０のハードウェア構成例を説明する図である。図２４には、図１９との対応部分に対応する符号を付して示す。
図２４に示す携帯端末１０では、バイブレータ１０９（図１９参照）に代えて、超音波発生モジュール１１０を使用する。超音波発生モジュール１１０は、複数の超音波振動子の集合体である。本実施の形態の場合、超音波発生モジュール１１０が人差し指の指先に超音波を照射し、受け付けた太さに応じた触覚をフィードバックする。
【0074】
＜フィードバックの具体例＞
＜具体例１＞
本実施の形態で使用する携帯端末１０で実行される処理動作は、実施の形態３と同じである。すなわち、携帯端末１０は、図３に示すフローチャートに従って動作する。ただし、ステップ６（図３参照）における線の太さの検知には、実施の形態１と同じく、ユーザのジェスチャを使用する。
図２５は、描画する線の太さの指示に用いるジェスチャの実施の形態４における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図２５の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
＜具体例１＞
本実施の形態で使用する携帯端末１０で実行される処理動作は、実施の形態３と同じである。すなわち、携帯端末１０は、図３に示すフローチャートに従って動作する。ただし、ステップ６（図３参照）における線の太さの検知には、実施の形態１と同じく、ユーザのジェスチャを使用する。
図２５は、描画する線の太さの指示に用いるジェスチャの実施の形態４における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図２５の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
【0075】
図２５では、右手３の人差し指の指先を線の描画に使用する。また、図２５では、描画中の指の本数を線の太さの指示に使用している。
図２５（Ａ）では、人差し指による描画に連動して、タッチパネル１１に「細線」が描画される。このとき、ユーザの人差し指には、超音波発生モジュール１１０（図２４参照）から照射された超音波によって「音響放射圧」と呼ばれる力、振動、動き等が作用する。この技術は、空中ハプティクスとも呼ばれる。図２５（Ａ）では空中を操作する指先に対し、指先の移動に対する小さい抵抗感をフィードバックする。
図２５（Ｂ）では、人差し指と中指の２本による描画に連動して、タッチパネル１１に「中太線」が描画される。このとき、ユーザの人差し指と中指には、指先の移動に対する中程度の抵抗感をフィードバックする。
図２５（Ｃ）では、５本の指を広げた状態での描画に連動して、タッチパネル１１に「太線」が描画される。このとき、ユーザの手には、指先の移動に対する大きな抵抗感をフィードバックする。
図２５（Ａ）では、人差し指による描画に連動して、タッチパネル１１に「細線」が描画される。このとき、ユーザの人差し指には、超音波発生モジュール１１０（図２４参照）から照射された超音波によって「音響放射圧」と呼ばれる力、振動、動き等が作用する。この技術は、空中ハプティクスとも呼ばれる。図２５（Ａ）では空中を操作する指先に対し、指先の移動に対する小さい抵抗感をフィードバックする。
図２５（Ｂ）では、人差し指と中指の２本による描画に連動して、タッチパネル１１に「中太線」が描画される。このとき、ユーザの人差し指と中指には、指先の移動に対する中程度の抵抗感をフィードバックする。
図２５（Ｃ）では、５本の指を広げた状態での描画に連動して、タッチパネル１１に「太線」が描画される。このとき、ユーザの手には、指先の移動に対する大きな抵抗感をフィードバックする。
【0076】
＜具体例２＞
具体例１では、携帯端末１０から描画中の指先に超音波を照射しているが、携帯端末１０と連携する別装置から描画中の指先に超音波を照射させてもよい。
図２６は、実施の形態４における携帯端末１０の使用例を説明する図である。図２６には、図１７との対応部分に対応する符号を付して示している。
図２６に示す携帯端末１０は、無線通信を通じて連携する超音波発生装置４０に対して、ステップ７（図２０参照）で検知した線の太さの内容、又は、線の太さに応じた制御信号を送信する点で具体例１の仕組みと相違する。
超音波発生装置４０は、専用の装置として空間に配置されていてもよいし、家電や映像機器に内蔵されていてもよい。
図２６に示す超音波発生装置４０は、プロセッサ４０１と、内部メモリ４０２と、カメラ４０３と、測距センサ４０４と、超音波発生モジュール４０５と、外部装置の通信に用いられる通信モジュール４０６とを有している。ここでの外部装置の１つが、携帯端末１０である。
具体例１では、携帯端末１０から描画中の指先に超音波を照射しているが、携帯端末１０と連携する別装置から描画中の指先に超音波を照射させてもよい。
図２６は、実施の形態４における携帯端末１０の使用例を説明する図である。図２６には、図１７との対応部分に対応する符号を付して示している。
図２６に示す携帯端末１０は、無線通信を通じて連携する超音波発生装置４０に対して、ステップ７（図２０参照）で検知した線の太さの内容、又は、線の太さに応じた制御信号を送信する点で具体例１の仕組みと相違する。
超音波発生装置４０は、専用の装置として空間に配置されていてもよいし、家電や映像機器に内蔵されていてもよい。
図２６に示す超音波発生装置４０は、プロセッサ４０１と、内部メモリ４０２と、カメラ４０３と、測距センサ４０４と、超音波発生モジュール４０５と、外部装置の通信に用いられる通信モジュール４０６とを有している。ここでの外部装置の１つが、携帯端末１０である。
【0077】
プロセッサ４０１は、例えばＣＰＵで構成される。プロセッサ４０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ４０２は、半導体メモリである。内部メモリ４０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ４０１と内部メモリ４０２により、いわゆるコンピュータが構成される。プロセッサ４０１は、ＲＡＭをプログラムの作業スペースとして使用する。
カメラ４０３は、超音波の照射先の検知に用いられる。本具体例の場合、照射先は描画中の指先である。
測距センサ４０４は、自装置と描画中の指先までの距離を測定する。例えばカメラ４０３がステレオカメラである場合、測距センサ４０４には、複数のカメラ４０３の視差を用いて指先までの距離を計算するモジュールを使用する。また例えば、測距センサ４０４には、照射した光が物体で反射して戻ってくるまでの時間を計測して指先までの距離を計算するモジュールを使用する。
内部メモリ４０２は、半導体メモリである。内部メモリ４０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ４０１と内部メモリ４０２により、いわゆるコンピュータが構成される。プロセッサ４０１は、ＲＡＭをプログラムの作業スペースとして使用する。
カメラ４０３は、超音波の照射先の検知に用いられる。本具体例の場合、照射先は描画中の指先である。
測距センサ４０４は、自装置と描画中の指先までの距離を測定する。例えばカメラ４０３がステレオカメラである場合、測距センサ４０４には、複数のカメラ４０３の視差を用いて指先までの距離を計算するモジュールを使用する。また例えば、測距センサ４０４には、照射した光が物体で反射して戻ってくるまでの時間を計測して指先までの距離を計算するモジュールを使用する。
【0078】
超音波発生モジュール４０５は、複数の超音波振動子の集合体であり、カメラ４０３及び測距センサ４０４で特定された描画中の指先に向けて超音波を照射する。この際、照射する超音波の種類や強度は、携帯端末１０が検知した線の太さに応じて決定される。
照射の対象である指先の画像や指先の絶対座標は、携帯端末１０から与えられる。例えば超音波発生装置４０のローカル座標系が絶対座標系に整合済みである場合、携帯端末１０から与えられた絶対座標に向けて超音波を照射することで、描画中の指先のフィードバックを与えることが可能である。
通信モジュール４０６には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。
本具体例の場合も、描画中の指先にユーザが指定した線の太さに応じた強度やパターンのフィードバックを与えることで、描画中の指先に検知された線の太さがフィードバックされる。
照射の対象である指先の画像や指先の絶対座標は、携帯端末１０から与えられる。例えば超音波発生装置４０のローカル座標系が絶対座標系に整合済みである場合、携帯端末１０から与えられた絶対座標に向けて超音波を照射することで、描画中の指先のフィードバックを与えることが可能である。
通信モジュール４０６には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。
本具体例の場合も、描画中の指先にユーザが指定した線の太さに応じた強度やパターンのフィードバックを与えることで、描画中の指先に検知された線の太さがフィードバックされる。
【0079】
＜実施の形態５＞
＜装置構成及び処理動作＞
本実施の形態では、ユーザのジェスチャを撮像した画像に基づいて、空中に描画される線の濃さを描画中に変更する仕組みについて説明する。
本実施の形態の場合も、図１に説明した携帯端末１０を使用する。従って、携帯端末１０のハードウェア構成は、実施の形態１と同じである。違いは、プロセッサ１０１の処理動作である。
図２７は、実施の形態５で使用する携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図２７には、図３との対応部分に対応する符号を付して示している。
図２７に示す処理の場合、ステップ５以降の処理が図３と相違する。
図２７の場合、プロセッサ１０１は、ステップ５が終了すると、描画中の物体の画像から線の濃さの指示を検知する（ステップ６Ａ）。因みに、図３のステップ６では、線の太さの指示を検知していたが、本実施の形態では、線の濃さを検知する。線の濃さの指示には、実施の形態１の具体例１～９で説明した手法を用いることが可能である。
＜装置構成及び処理動作＞
本実施の形態では、ユーザのジェスチャを撮像した画像に基づいて、空中に描画される線の濃さを描画中に変更する仕組みについて説明する。
本実施の形態の場合も、図１に説明した携帯端末１０を使用する。従って、携帯端末１０のハードウェア構成は、実施の形態１と同じである。違いは、プロセッサ１０１の処理動作である。
図２７は、実施の形態５で使用する携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図２７には、図３との対応部分に対応する符号を付して示している。
図２７に示す処理の場合、ステップ５以降の処理が図３と相違する。
図２７の場合、プロセッサ１０１は、ステップ５が終了すると、描画中の物体の画像から線の濃さの指示を検知する（ステップ６Ａ）。因みに、図３のステップ６では、線の太さの指示を検知していたが、本実施の形態では、線の濃さを検知する。線の濃さの指示には、実施の形態１の具体例１～９で説明した手法を用いることが可能である。
【0080】
線の濃さの指示を検知すると、プロセッサ１０１は、検知した濃さを、描画に用いる物体の位置に紐付ける（ステップ７Ｂ）。この紐付けにより、線の濃さを描画の最中に変更することが可能になる。
続いて、プロセッサ１０１は、線の濃さの指示を反映したＡＲ画像を生成してディスプレイ１１１に表示する（ステップ８Ａ）。これにより、ユーザは、タッチパネル１１の表示を通じて、空中に描画中のオブジェクトと線の濃さを一度に確認することが可能である。
次に、プロセッサ１０１は、描画の終了か否かを判定する（ステップ９）。プロセッサ１０１は、例えば空中を移動していた物体が空中に静止した場合、描画の終了と判定する。
例えばユーザの指先が画面内のある位置で予め定めた時間以上留まっていると判定された場合、プロセッサ１０１は、ステップ９で肯定結果を得る。静止とみなす時間は、描画の開始の判定に用いる時間と同じでもよいし、異なってもよい。例えば１秒を閾値とする。もっとも、閾値は、ユーザが変更可能であることが望ましい。
続いて、プロセッサ１０１は、線の濃さの指示を反映したＡＲ画像を生成してディスプレイ１１１に表示する（ステップ８Ａ）。これにより、ユーザは、タッチパネル１１の表示を通じて、空中に描画中のオブジェクトと線の濃さを一度に確認することが可能である。
次に、プロセッサ１０１は、描画の終了か否かを判定する（ステップ９）。プロセッサ１０１は、例えば空中を移動していた物体が空中に静止した場合、描画の終了と判定する。
例えばユーザの指先が画面内のある位置で予め定めた時間以上留まっていると判定された場合、プロセッサ１０１は、ステップ９で肯定結果を得る。静止とみなす時間は、描画の開始の判定に用いる時間と同じでもよいし、異なってもよい。例えば１秒を閾値とする。もっとも、閾値は、ユーザが変更可能であることが望ましい。
【0081】
また、プロセッサ１０１は、例えば特定のジェスチャが検知された場合、描画の終了と判定してもよい。
特定のジェスチャには、何も存在しない空中でのタップ、ダブルタップ、スワイプ等のジェスチャでもよい。やはり、描画の終了との判定に用いるジェスチャは、描画の開始との判定に用いるジェスチャとは異なってもよい。
また、プロセッサ１０１は、ユーザの音声による開始と終了を検知してもよい。
判定の条件を満たさない場合、プロセッサ１０１は、ステップ９で否定結果を得、ステップ５に戻る。
特定のジェスチャには、何も存在しない空中でのタップ、ダブルタップ、スワイプ等のジェスチャでもよい。やはり、描画の終了との判定に用いるジェスチャは、描画の開始との判定に用いるジェスチャとは異なってもよい。
また、プロセッサ１０１は、ユーザの音声による開始と終了を検知してもよい。
判定の条件を満たさない場合、プロセッサ１０１は、ステップ９で否定結果を得、ステップ５に戻る。
【0082】
＜線の濃さの指示に用いる具体例＞
以下では、ステップ６Ａ（図２７参照）で想定するジェスチャの具体例について説明する。
図２８は、描画する線の濃さの指示に用いるジェスチャの実施の形態５における具体例を説明する図である。（Ａ）は「薄い線」の指示に用いるジェスチャの例を示し、（Ｂ）は「少し濃い線」の指示に用いるジェスチャの例を示し、（Ｃ）は「濃い線」の指示に用いるジェスチャの例を示す。
図２８の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図２８では、右手３の人差し指の指先を線の描画に使用する。また、図２８では、描画中の指の本数を線の濃さの指示に使用している。
図２８（Ａ）では、人差し指による描画に連動して、タッチパネル１１に「薄い線」が描画される。
以下では、ステップ６Ａ（図２７参照）で想定するジェスチャの具体例について説明する。
図２８は、描画する線の濃さの指示に用いるジェスチャの実施の形態５における具体例を説明する図である。（Ａ）は「薄い線」の指示に用いるジェスチャの例を示し、（Ｂ）は「少し濃い線」の指示に用いるジェスチャの例を示し、（Ｃ）は「濃い線」の指示に用いるジェスチャの例を示す。
図２８の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図２８では、右手３の人差し指の指先を線の描画に使用する。また、図２８では、描画中の指の本数を線の濃さの指示に使用している。
図２８（Ａ）では、人差し指による描画に連動して、タッチパネル１１に「薄い線」が描画される。
【0083】
図２８（Ｂ）では、人差し指と中指の２本による描画に連動して、タッチパネル１１に「少し濃い線」が描画される。「少し濃い線」とは、「薄い線」よりも濃い線を意味する。
図４（Ｃ）では、５本の指を広げた状態での描画に連動して、タッチパネル１１に「濃い線」が描画される。「濃い線」とは、「少し濃い線」よりも濃い線を意味する。
本具体例の場合、指の本数が多いほど、濃い線が描画される。もっとも、同じ本数でも、描画に用いる指の組み合わせにより、異なる濃さの指示を可能としてもよい。例えば人差し指と小指の２本による描画を「薄い線」の指示に用いてもよいし、人差し指と親指の２本による描画を「濃い線」の指示に用いてもよい。
図４（Ｃ）では、５本の指を広げた状態での描画に連動して、タッチパネル１１に「濃い線」が描画される。「濃い線」とは、「少し濃い線」よりも濃い線を意味する。
本具体例の場合、指の本数が多いほど、濃い線が描画される。もっとも、同じ本数でも、描画に用いる指の組み合わせにより、異なる濃さの指示を可能としてもよい。例えば人差し指と小指の２本による描画を「薄い線」の指示に用いてもよいし、人差し指と親指の２本による描画を「濃い線」の指示に用いてもよい。
【0084】
図２８の場合も、右手の人差し指の指先を追跡することで線を描画しているが、線の描画には小指を用いてもよいし、親指を用いてもよい。いずれの指を線の描画に用いるかは、事前に設定しておけばよい。
また、線の描画に指先を用いるのではなく、右手３の全体を用いてもよい。その場合、右手３の重心又は中心の軌跡をＡＲ画像として表示してもよい。後述する他の具体例についても同様である。
また、図２８では、左手２で携帯端末１０を保持しているので右手３を線の描画に用いているが、右手３で携帯端末１０を保持する場合には左手２を線の描画に用いてもよい。
前述したように、実施の形態１における具体例２～９における線の太さの指示を、線の濃さの指示に読み替えることが可能である。具体的には、各具体例における「細線」を「薄い線」と読み替え、「中太線」を「少し濃い線」に読み替え、「太線」を「濃い線」と読み替えればよい。
また、線の描画に指先を用いるのではなく、右手３の全体を用いてもよい。その場合、右手３の重心又は中心の軌跡をＡＲ画像として表示してもよい。後述する他の具体例についても同様である。
また、図２８では、左手２で携帯端末１０を保持しているので右手３を線の描画に用いているが、右手３で携帯端末１０を保持する場合には左手２を線の描画に用いてもよい。
前述したように、実施の形態１における具体例２～９における線の太さの指示を、線の濃さの指示に読み替えることが可能である。具体的には、各具体例における「細線」を「薄い線」と読み替え、「中太線」を「少し濃い線」に読み替え、「太線」を「濃い線」と読み替えればよい。
【0085】
図２９は、空中で人差し指を移動させながら指の本数の変化を組み合わせた場合に描画されるＡＲ画像の例を説明する図である。図２９には、図６との対応部分に対応する符号を付して示している。
図２９においては、時点Ｔ１から時点Ｔ２までの間は指１本による描画であり、時点Ｔ２から時点Ｔ３までの間は指２本による描画であり、時点Ｔ３から時点Ｔ４までの間は指５本による描画であり、時点Ｔ４から時点Ｔ５までの間は指２本による描画であり、時点Ｔ５から時点Ｔ６までの間は指１本による描画である。
図２９においては、時点Ｔ１から時点Ｔ２までの間は指１本による描画であり、時点Ｔ２から時点Ｔ３までの間は指２本による描画であり、時点Ｔ３から時点Ｔ４までの間は指５本による描画であり、時点Ｔ４から時点Ｔ５までの間は指２本による描画であり、時点Ｔ５から時点Ｔ６までの間は指１本による描画である。
【0086】
図２９の例では、同じ線の太さで、線の濃さが変化している。なお、線の濃さの変化が自然に見えるように濃さの変化をスムージング処理したＡＲ画像をタッチパネル１１に表示してもよい。
図２９に示すように、本実施の形態では、描画中の線の濃さを、ユーザの意図の通りに変化させることが可能である。なお、従前の技術では、描画中は、同じ濃さの線しか描けないため、描画する線の表現力に自ずと制約があった。しかし、本実施の形態では、線の濃さを自由に変更できるため、ユーザの個性や感性を反映させたオブジェクトの描画が容易になる。
図２９に示すように、本実施の形態では、描画中の線の濃さを、ユーザの意図の通りに変化させることが可能である。なお、従前の技術では、描画中は、同じ濃さの線しか描けないため、描画する線の表現力に自ずと制約があった。しかし、本実施の形態では、線の濃さを自由に変更できるため、ユーザの個性や感性を反映させたオブジェクトの描画が容易になる。
【0087】
＜実施の形態６＞
＜使用例＞
図３０は、実施の形態６における携帯端末１０の使用例を説明する図である。図３０には、図１との対応部分に対応する符号を付して示している。
本実施の形態の場合、描画に使用する指がユーザ１と携帯端末１０との間に位置する点で、前述した実施の形態１～５と相違する。その他は、携帯端末１０のハードウェア構成や処理動作も含め、実施の形態１～５と同じである。すなわち、ユーザ１と描画に用いる右手と携帯端末１０の位置関係以外は、実施の形態１～５と同じである。
＜使用例＞
図３０は、実施の形態６における携帯端末１０の使用例を説明する図である。図３０には、図１との対応部分に対応する符号を付して示している。
本実施の形態の場合、描画に使用する指がユーザ１と携帯端末１０との間に位置する点で、前述した実施の形態１～５と相違する。その他は、携帯端末１０のハードウェア構成や処理動作も含め、実施の形態１～５と同じである。すなわち、ユーザ１と描画に用いる右手と携帯端末１０の位置関係以外は、実施の形態１～５と同じである。
【0088】
＜線の太さ又は濃さの指示に用いる具体例＞
以下では、ステップ６（図３参照）で想定するジェスチャの具体例について説明する。
＜具体例１＞
図３１は、描画する線の太さの指示に用いるジェスチャの実施の形態６における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図３１の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図３１の場合、携帯端末１０のタッチパネル１１には、タッチパネル１１と同じ面に設けられたカメラ１２で撮像された画像が表示される。この点が、タッチパネル１１とは反対側の面に設けられたカメラ１２で撮像された画像が表示される実施の形態１～５と相違する。
以下では、ステップ６（図３参照）で想定するジェスチャの具体例について説明する。
＜具体例１＞
図３１は、描画する線の太さの指示に用いるジェスチャの実施の形態６における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図３１の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図３１の場合、携帯端末１０のタッチパネル１１には、タッチパネル１１と同じ面に設けられたカメラ１２で撮像された画像が表示される。この点が、タッチパネル１１とは反対側の面に設けられたカメラ１２で撮像された画像が表示される実施の形態１～５と相違する。
【0089】
図３１の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、図３１では、右手３の傾き具合の違いで線の太さを指示する。換言すると、人差し指の見え方又は右手の甲の見え方の違いで線の太さを指示する。
図３１の例では、携帯端末１０のタッチパネル１１の法線と鉛直方向とで規定される面内における人差し指の向きの違いで線の太さを指示している。このため、図３１の左側の列では、携帯端末１０と右手３を側面から観察する場合の位置の関係を示している。
図３１（Ａ）では、人差し指が鉛直上方を向いている状態である。換言すると、右手３の手の平側の全体が、携帯端末１０に設けられたカメラ１２（図２参照）で見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図３１（Ｂ）では、人差し指が携帯端末１０の方向に概略４５°に傾いた状態である。換言すると、人差し指の先端から手首までの高さが図３１（Ａ）に比して短く見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図３１の例では、携帯端末１０のタッチパネル１１の法線と鉛直方向とで規定される面内における人差し指の向きの違いで線の太さを指示している。このため、図３１の左側の列では、携帯端末１０と右手３を側面から観察する場合の位置の関係を示している。
図３１（Ａ）では、人差し指が鉛直上方を向いている状態である。換言すると、右手３の手の平側の全体が、携帯端末１０に設けられたカメラ１２（図２参照）で見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図３１（Ｂ）では、人差し指が携帯端末１０の方向に概略４５°に傾いた状態である。換言すると、人差し指の先端から手首までの高さが図３１（Ａ）に比して短く見える状態である。この場合、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
【0090】
図３１（Ｃ）では、人差し指が撮影の方向と概略平行まで傾いた状態である。換言すると、人差し指が右手３の甲がほぼ見えない状態である。この場合、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図３１の例とは反対でもよい。すなわち、人差し指が鉛直上方を向いている状態を太線に対応付け、人差し指が撮影の方向を向いている状態を細線に対応付けてもよい。
なお、同じジェスチャで、線の太さの代わりに、線の濃さを指定してもよい。また、検知した線の太さや線の濃さを描画中に振動や触覚を通じ、ユーザにフィードバックしてもよい。
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図３１の例とは反対でもよい。すなわち、人差し指が鉛直上方を向いている状態を太線に対応付け、人差し指が撮影の方向を向いている状態を細線に対応付けてもよい。
なお、同じジェスチャで、線の太さの代わりに、線の濃さを指定してもよい。また、検知した線の太さや線の濃さを描画中に振動や触覚を通じ、ユーザにフィードバックしてもよい。
【0091】
＜具体例２＞
図３２は、描画する線の太さの指示に用いるジェスチャの実施の形態６における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図３２には、図１５との対応部分に対応する符号を付して示している。
図３２の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。なお、左側の列は、ユーザの側から見た右手の状態を表している。一方、右側の列は、タッチパネル１１と同じ面に設けられたカメラ１２で撮像された画像が表示される。
図３２の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、本具体例では、描画中に右手首を回転させるジェスチャに、太さ別のマークを組み合わせる。すなわち、本具体例では、手首の回転により撮像される部位に、太さ別のマークを印刷、付着又は装着する。ここでのマークは、描画に用いる物体の先端に現れる特徴の一例である。
図３２は、描画する線の太さの指示に用いるジェスチャの実施の形態６における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図３２には、図１５との対応部分に対応する符号を付して示している。
図３２の場合も、左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。なお、左側の列は、ユーザの側から見た右手の状態を表している。一方、右側の列は、タッチパネル１１と同じ面に設けられたカメラ１２で撮像された画像が表示される。
図３２の場合も、右手３の人差し指の指先を線の描画に使用する。ただし、本具体例では、描画中に右手首を回転させるジェスチャに、太さ別のマークを組み合わせる。すなわち、本具体例では、手首の回転により撮像される部位に、太さ別のマークを印刷、付着又は装着する。ここでのマークは、描画に用いる物体の先端に現れる特徴の一例である。
【0092】
図３２（Ａ）では、人差し指の腹側が携帯端末１０と概略正対する状態である。このため、人差し指の腹側に印刷等された円形のマーク４Ａが、携帯端末１０に設けられたカメラ１２により撮像される状態である。本具体例の場合、円形のマーク４Ａは、細線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１に「細線」が描画される。
図３２（Ｂ）では、手首が少し回転して人差し指の側面が、カメラ１２に撮像される状態である。図３２（Ｂ）では、人差し指の側面に三角形のマーク４Ｂが付着されている。この三角形のマーク４Ｂは、中太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図３２（Ｃ）では、手首が更に回転して人差し指の爪側が、カメラ１２に撮像される状態である。３２（Ｃ）では、人差し指の爪側に四角形のマーク４Ｃが付着されている。この四角形のマーク４Ｃは、太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
図３２（Ｂ）では、手首が少し回転して人差し指の側面が、カメラ１２に撮像される状態である。図３２（Ｂ）では、人差し指の側面に三角形のマーク４Ｂが付着されている。この三角形のマーク４Ｂは、中太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「中太線」が描画される。
図３２（Ｃ）では、手首が更に回転して人差し指の爪側が、カメラ１２に撮像される状態である。３２（Ｃ）では、人差し指の爪側に四角形のマーク４Ｃが付着されている。この四角形のマーク４Ｃは、太線に対応付けられている。このため、人差し指の移動に連動して、タッチパネル１１には「太線」が描画される。
【0093】
この具体例の場合も、人差し指の見え方と描画される線の太さの関係は、図３２の例とは反対でもよい。すなわち、右手３の腹が携帯端末１０と概略正対する状態で撮像されるマーク４Ａを太線に対応付け、人差し指の爪が携帯端末１０から見える状態で撮像されるマーク４Ｃを細線に対応付けてもよい。
なお、例示したマークの形状は一例であり、他の形状を用いてもよい。また、マークに代えて、バーコードやＱＲコード（登録商標）を用いてもよいし、文字やアイコンを用いてもよい。ここに例示したバーコード等も、描画に用いる物体の先端に現れる特徴の一例である。
なお、例示したマークの形状は一例であり、他の形状を用いてもよい。また、マークに代えて、バーコードやＱＲコード（登録商標）を用いてもよいし、文字やアイコンを用いてもよい。ここに例示したバーコード等も、描画に用いる物体の先端に現れる特徴の一例である。
【0094】
指先に複数種類のＱＲコードを配置する場合を図３３に示す。
図３３は、描画する線の太さの指示に用いるジェスチャの実施の形態６における他の例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図３３には、図３２との対応部分に対応する符号を付して示している。
ＱＲコード４Ｄ、４Ｅ、４Ｆは、それぞれ異なる線の太さに対応している。このため、携帯端末１０は、空中に線を描画する指の移動と同時に撮像されたバーコードを解析して線の太さを決定する。
なお、同じジェスチャで、線の太さの代わりに、線の濃さを指定してもよい。また、検知した線の太さや線の濃さを描画中に振動や触覚を通じ、ユーザにフィードバックしてもよい。
図３３は、描画する線の太さの指示に用いるジェスチャの実施の形態６における他の例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。図３３には、図３２との対応部分に対応する符号を付して示している。
ＱＲコード４Ｄ、４Ｅ、４Ｆは、それぞれ異なる線の太さに対応している。このため、携帯端末１０は、空中に線を描画する指の移動と同時に撮像されたバーコードを解析して線の太さを決定する。
なお、同じジェスチャで、線の太さの代わりに、線の濃さを指定してもよい。また、検知した線の太さや線の濃さを描画中に振動や触覚を通じ、ユーザにフィードバックしてもよい。
【0095】
＜実施の形態７＞
前述の実施の形態の場合、空中に描画する線や線の太さを、携帯端末１０に設けたカメラ１２で撮像した画像を用いて決定しているが、携帯端末１０と連携する別のカメラで撮像した画像を用いて決定してもよい。
図３４は、実施の形態７における携帯端末１０の使用例を説明する図である。図３４には、図１との対応部分に対応する符号を付して示している。
図３４の場合も、携帯端末１０は、端末本体に設けたカメラ１２で描画中の指先が空中を移動する方向を撮像してタッチパネル１１に表示しているが、描画する線の太さは、カメラ５０で撮像された画像の解析を通じて決定する。
ここでのカメラ５０は、例えば家電や防犯カメラでもよい。また、カメラ５０は、無線で接続された他のユーザの携帯端末１０に設けられたカメラ１２でもよい。
前述の実施の形態の場合、空中に描画する線や線の太さを、携帯端末１０に設けたカメラ１２で撮像した画像を用いて決定しているが、携帯端末１０と連携する別のカメラで撮像した画像を用いて決定してもよい。
図３４は、実施の形態７における携帯端末１０の使用例を説明する図である。図３４には、図１との対応部分に対応する符号を付して示している。
図３４の場合も、携帯端末１０は、端末本体に設けたカメラ１２で描画中の指先が空中を移動する方向を撮像してタッチパネル１１に表示しているが、描画する線の太さは、カメラ５０で撮像された画像の解析を通じて決定する。
ここでのカメラ５０は、例えば家電や防犯カメラでもよい。また、カメラ５０は、無線で接続された他のユーザの携帯端末１０に設けられたカメラ１２でもよい。
【0096】
本実施の形態の場合、カメラ５０と携帯端末１０の位置関係は任意でよい。
例えばカメラ５０は、携帯端末１０と同じ側からユーザの右手３を撮像してもよい。この場合、携帯端末１０が右手３の甲を撮像していれば、カメラ５０も右手３の甲を撮像することになる。
一方で、図３４に示すように、携帯端末１０とは反対側からユーザの右手３を撮像してもよい。この場合、携帯端末１０が右手３の甲を撮像していれば、カメラ５０は右手３の手の平を撮像することになる。
本実施の形態の場合、携帯端末１０のプロセッサ１０１（図２参照）は、カメラ１２やカメラ５０で撮像された画像に付されている時刻の情報や画像から特定される右手３等の絶対座標等を通じ、検知された線の太さと描画中の線の対応部分とを紐付ける。
なお、携帯端末１０に設けられているカメラ１２で撮像された画像は、タッチパネル１１への表示にのみ使用し、空中に描画される線の方向についても、カメラ５０で撮像された画像を用いて決定してもよい。
また、線の太さは、カメラ５０に設けられている不図示のプロセッサを用いて決定し、決定された太さの情報を携帯端末１０に送信してもよい。この場合、カメラ５０には、前述した実施の形態で説明した処理動作を実行させればよい。
例えばカメラ５０は、携帯端末１０と同じ側からユーザの右手３を撮像してもよい。この場合、携帯端末１０が右手３の甲を撮像していれば、カメラ５０も右手３の甲を撮像することになる。
一方で、図３４に示すように、携帯端末１０とは反対側からユーザの右手３を撮像してもよい。この場合、携帯端末１０が右手３の甲を撮像していれば、カメラ５０は右手３の手の平を撮像することになる。
本実施の形態の場合、携帯端末１０のプロセッサ１０１（図２参照）は、カメラ１２やカメラ５０で撮像された画像に付されている時刻の情報や画像から特定される右手３等の絶対座標等を通じ、検知された線の太さと描画中の線の対応部分とを紐付ける。
なお、携帯端末１０に設けられているカメラ１２で撮像された画像は、タッチパネル１１への表示にのみ使用し、空中に描画される線の方向についても、カメラ５０で撮像された画像を用いて決定してもよい。
また、線の太さは、カメラ５０に設けられている不図示のプロセッサを用いて決定し、決定された太さの情報を携帯端末１０に送信してもよい。この場合、カメラ５０には、前述した実施の形態で説明した処理動作を実行させればよい。
【0097】
＜実施の形態８＞
前述の実施の形態では、空中に描画する線の太さを、手や指を用いたジェスチャで指定しているが、ここでは足を使用する場合を説明する。
図３５は、実施の形態８における携帯端末１０の使用例を説明する図である。図３５には、図１との対応部分に対応する符号を付して示している。
図３５には、足で操作するペダル装置６０が追加される点で、実施の形態１と相違している。
ペダル装置６０は、台座６１とペダル６２で構成される。ペダル６２は、台座６１に対して可動する部材である。台座６１とペダル６２の間に形成されるＶ字状の隙間は、初期状態で最大となり、ペダル６２が踏み込まれるほど狭くなる。
ペダル装置６０は、ペダルの踏み込み量を表す電気信号を、線の太さの指示として携帯端末１０に送信する。本実施の形態の場合、踏み込み量が大きいほど、太い線の描画が指示される。ここで、踏み込み量は、踏み込み後のペダル６２の位置までの初期位置からの角度やペダル６２の踏み込みに伴って移動する部材の移動量等として与えられる。
前述の実施の形態では、空中に描画する線の太さを、手や指を用いたジェスチャで指定しているが、ここでは足を使用する場合を説明する。
図３５は、実施の形態８における携帯端末１０の使用例を説明する図である。図３５には、図１との対応部分に対応する符号を付して示している。
図３５には、足で操作するペダル装置６０が追加される点で、実施の形態１と相違している。
ペダル装置６０は、台座６１とペダル６２で構成される。ペダル６２は、台座６１に対して可動する部材である。台座６１とペダル６２の間に形成されるＶ字状の隙間は、初期状態で最大となり、ペダル６２が踏み込まれるほど狭くなる。
ペダル装置６０は、ペダルの踏み込み量を表す電気信号を、線の太さの指示として携帯端末１０に送信する。本実施の形態の場合、踏み込み量が大きいほど、太い線の描画が指示される。ここで、踏み込み量は、踏み込み後のペダル６２の位置までの初期位置からの角度やペダル６２の踏み込みに伴って移動する部材の移動量等として与えられる。
【0098】
なお、ペダル装置６０は、プロセッサ６０１と、内部メモリ６０２と、踏み込み量センサ６０３と、外部装置の通信に用いられる通信モジュール６０４とを有している。ここでの外部装置の１つが、携帯端末１０である。
プロセッサ６０１は、例えばＣＰＵで構成される。プロセッサ６０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ６０２は、半導体メモリである。内部メモリ６０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ６０１と内部メモリ６０２により、いわゆるコンピュータが構成される。プロセッサ６０１は、ＲＡＭをプログラムの作業スペースとして使用する。
プロセッサ６０１は、例えばＣＰＵで構成される。プロセッサ６０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ６０２は、半導体メモリである。内部メモリ６０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ６０１と内部メモリ６０２により、いわゆるコンピュータが構成される。プロセッサ６０１は、ＲＡＭをプログラムの作業スペースとして使用する。
【0099】
踏込み量センサ６０３は、ペダル６２の踏み込みに伴う角度の変化量や特定の部材の移動量等を検知するセンサである。
通信モジュール６０４には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。本実施の形態における通信モジュール６０４は、踏み込み量センサ６０３が検知した踏み込み量に関する情報を、携帯端末１０に通知する。
本実施の形態の場合、ユーザは空中に人差し指等で線を描画しながら、ペダル６２の踏み込み量を足で調整することで、描画中の線を同時に指示することが可能になる。
通信モジュール６０４には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。本実施の形態における通信モジュール６０４は、踏み込み量センサ６０３が検知した踏み込み量に関する情報を、携帯端末１０に通知する。
本実施の形態の場合、ユーザは空中に人差し指等で線を描画しながら、ペダル６２の踏み込み量を足で調整することで、描画中の線を同時に指示することが可能になる。
【0100】
＜実施の形態９＞
＜使用例＞
本実施の形態では、線の太さの指示にペンを使用する場合について説明する。
図３６は、実施の形態９における携帯端末１０の使用例を説明する図である。図３６には、図１との対応部分に対応する符号を付して示している。
図３６の場合、ユーザは、ペン７０を右手３で持ち、空中を移動させることで線を描画する。なお、本実施の形態で使用するペン７０は、例えば鉛筆、ボールペン、万年筆、シャープペンシル、クレヨン等の筆記具の他、指示棒、木の枝でもよい。本実施の形態では、ペン７０として棒状の物体を想定する。
本実施の形態におけるペン７０は、空中への描画に用いる物体の一例である。本実施の形態の場合、ペン７０には、通信機能を必要としない。もっとも、ペン７０が通信機能を有することを妨げないが、本実施の形態で使用する場合には、通信機能をオフして使用するか、空中への線の描画する機能に関し、携帯端末１０と連携しないものとする。
本実施の形態の場合、ペン７０の先端の軌跡を線の方向として検知し、携帯端末１０に対するペン７０の向きにより線の太さを指定する。
＜使用例＞
本実施の形態では、線の太さの指示にペンを使用する場合について説明する。
図３６は、実施の形態９における携帯端末１０の使用例を説明する図である。図３６には、図１との対応部分に対応する符号を付して示している。
図３６の場合、ユーザは、ペン７０を右手３で持ち、空中を移動させることで線を描画する。なお、本実施の形態で使用するペン７０は、例えば鉛筆、ボールペン、万年筆、シャープペンシル、クレヨン等の筆記具の他、指示棒、木の枝でもよい。本実施の形態では、ペン７０として棒状の物体を想定する。
本実施の形態におけるペン７０は、空中への描画に用いる物体の一例である。本実施の形態の場合、ペン７０には、通信機能を必要としない。もっとも、ペン７０が通信機能を有することを妨げないが、本実施の形態で使用する場合には、通信機能をオフして使用するか、空中への線の描画する機能に関し、携帯端末１０と連携しないものとする。
本実施の形態の場合、ペン７０の先端の軌跡を線の方向として検知し、携帯端末１０に対するペン７０の向きにより線の太さを指定する。
【0101】
＜処理動作＞
本実施の形態で使用する携帯端末１０で実行される処理動作は、実施の形態１と同じである。すなわち、携帯端末１０は、図３に示すフローチャートに従って動作する。ただし、ステップ６（図３参照）における線の太さの検知には、人差し指や手の向きではなく、ペン７０の向きを使用する。本実施の形態の場合、プロセッサ１０１（図２参照）は、カメラ１２（図３６参照）で撮像された画像内からペン７０を抽出し、ペン７０の画像内における傾斜の方向を検知し、太さの指示として使用する。
本実施の形態で使用する携帯端末１０で実行される処理動作は、実施の形態１と同じである。すなわち、携帯端末１０は、図３に示すフローチャートに従って動作する。ただし、ステップ６（図３参照）における線の太さの検知には、人差し指や手の向きではなく、ペン７０の向きを使用する。本実施の形態の場合、プロセッサ１０１（図２参照）は、カメラ１２（図３６参照）で撮像された画像内からペン７０を抽出し、ペン７０の画像内における傾斜の方向を検知し、太さの指示として使用する。
【0102】
＜線の太さの指示に用いる具体例＞
＜具体例１＞
図３７は、描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図３７には、図１０との対応部分に対応する符号を付して示している。
図３７の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。図３７の左側の列は、ユーザから見たペン７０の移動を表している。
図３７では、右手３で保持するペン７０の先端の軌跡を線の描画に使用する。また、図３７では、描画中のペン７０の向きを線の太さの指示に使用している。
図３７（Ａ）の場合、ペン７０は、概略鉛直上方を向いている。ペン７０を鉛直上方に立てた状態で右手３を移動すると、タッチパネル１１には「細線」が描画される。
＜具体例１＞
図３７は、描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図３７には、図１０との対応部分に対応する符号を付して示している。
図３７の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。図３７の左側の列は、ユーザから見たペン７０の移動を表している。
図３７では、右手３で保持するペン７０の先端の軌跡を線の描画に使用する。また、図３７では、描画中のペン７０の向きを線の太さの指示に使用している。
図３７（Ａ）の場合、ペン７０は、概略鉛直上方を向いている。ペン７０を鉛直上方に立てた状態で右手３を移動すると、タッチパネル１１には「細線」が描画される。
【0103】
図３７（Ｂ）の場合、ペン７０は、ユーザから見て右上方に４５°傾いている。ペン７０を右上方に傾けた状態で右手３を移動すると、タッチパネル１１に「中太線」が描画される。
図３７（Ｃ）の場合、ペン７０は、ユーザから見て概略水平に傾いている。ペン７０を水平方向に傾斜させた状態で右手３を移動すると、タッチパネル１１に「太線」が描画される。
本具体例では、３種類の傾きに３種類の太さを対応付けているが、ペン７０の任意の傾き角度に応じて連続的に太さを変更してもよい。
また、本具体例では、第１象限に対応する概略鉛直上方から概略水平までの概略９０°の範囲でペン７０の角度を変化させているが、太さの指定に使用する角度は９０°以上でもよいし、９０°未満でもよい。例えば第１象限と第２象限を範囲とする概略１８０°の範囲を線の太さの指定に使用してもよい。
図３７（Ｃ）の場合、ペン７０は、ユーザから見て概略水平に傾いている。ペン７０を水平方向に傾斜させた状態で右手３を移動すると、タッチパネル１１に「太線」が描画される。
本具体例では、３種類の傾きに３種類の太さを対応付けているが、ペン７０の任意の傾き角度に応じて連続的に太さを変更してもよい。
また、本具体例では、第１象限に対応する概略鉛直上方から概略水平までの概略９０°の範囲でペン７０の角度を変化させているが、太さの指定に使用する角度は９０°以上でもよいし、９０°未満でもよい。例えば第１象限と第２象限を範囲とする概略１８０°の範囲を線の太さの指定に使用してもよい。
【0104】
＜具体例２＞
図３８は、描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図３８には、図３７との対応部分に対応する符号を付して示している。
図３８の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図３７を用いて説明した具体例１の場合には、ユーザの視線方向を法線とする面内におけるペン７０の方向を線の太さに対応付けているが、本具体例では、ペン７０の撮影の方向への傾きの具合で線の太さを指定する。このため、図３８の左側の列では、携帯端末１０と右手３及びペン７０の位置の関係を、ユーザの右側から描いている。
図３８は、描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図３８には、図３７との対応部分に対応する符号を付して示している。
図３８の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図３７を用いて説明した具体例１の場合には、ユーザの視線方向を法線とする面内におけるペン７０の方向を線の太さに対応付けているが、本具体例では、ペン７０の撮影の方向への傾きの具合で線の太さを指定する。このため、図３８の左側の列では、携帯端末１０と右手３及びペン７０の位置の関係を、ユーザの右側から描いている。
【0105】
図３８の場合も、右手３で保持するペン７０の先端の軌跡を線の描画に使用する。また、図３８では、描画中のペン７０の奥行方向への傾きを線の太さの指示に使用する。
図３８（Ａ）の場合、ペン７０の先端は、概略鉛直上方を向いている。ペン７０の先端を鉛直上方に向けた状態で右手３を移動すると、タッチパネル１１には「細線」が描画される。
図３８（Ｂ）の場合、ペン７０は、奥行方向に対して概略４５°傾いている。この状態で右手３を移動すると、タッチパネル１１に「中太線」が描画される。なお、タッチパネル１１上での表示上のペン７０の長さは、図３８（Ａ）の表示に比して短くなる。
図３８（Ｃ）の場合、ペン７０は、奥行方向にほぼ水平となる。この状態で右手３を移動すると、タッチパネル１１に「太線」が描画される。なお、図３８（Ｃ）の例では、ペン７０の端部の画像だけがタッチパネル１１に表示されている。
図３８（Ａ）の場合、ペン７０の先端は、概略鉛直上方を向いている。ペン７０の先端を鉛直上方に向けた状態で右手３を移動すると、タッチパネル１１には「細線」が描画される。
図３８（Ｂ）の場合、ペン７０は、奥行方向に対して概略４５°傾いている。この状態で右手３を移動すると、タッチパネル１１に「中太線」が描画される。なお、タッチパネル１１上での表示上のペン７０の長さは、図３８（Ａ）の表示に比して短くなる。
図３８（Ｃ）の場合、ペン７０は、奥行方向にほぼ水平となる。この状態で右手３を移動すると、タッチパネル１１に「太線」が描画される。なお、図３８（Ｃ）の例では、ペン７０の端部の画像だけがタッチパネル１１に表示されている。
【0106】
本具体例の場合も、３種類の傾きに３種類の太さを対応付けているが、ペン７０の任意の傾き角度に応じて連続的に太さを変更してもよい。
また、本具体例では、概略９０°の範囲でペン７０の角度を変化させているが、太さの指定に使用する角度は９０°以上でもよいし、９０°未満でもよい。例えばペン７０が概略鉛直上方から概略鉛直方向までの概略１８０°の範囲で変化させてもよい。
なお、奥行方向に対するペン７０の傾きと描画する線の太さは、描画に使用するペン７０についてのキャリブレーションにおいて設定してもよい。
キャリブレーションでは、「ペン先を上に向けてください」等のガイダンスを通じて、様々な向きでペン７０の画像を撮像し、撮像されたペン７０の画面上の長さを区別する閾値を設定すれば、描画中に指示された線の太さの区別が可能になる。
また、本具体例では、概略９０°の範囲でペン７０の角度を変化させているが、太さの指定に使用する角度は９０°以上でもよいし、９０°未満でもよい。例えばペン７０が概略鉛直上方から概略鉛直方向までの概略１８０°の範囲で変化させてもよい。
なお、奥行方向に対するペン７０の傾きと描画する線の太さは、描画に使用するペン７０についてのキャリブレーションにおいて設定してもよい。
キャリブレーションでは、「ペン先を上に向けてください」等のガイダンスを通じて、様々な向きでペン７０の画像を撮像し、撮像されたペン７０の画面上の長さを区別する閾値を設定すれば、描画中に指示された線の太さの区別が可能になる。
【0107】
＜具体例３＞
図３９は、描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例３を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図３９には、図３８との対応部分に対応する符号を付して示している。
図３９の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図３９の場合、携帯端末１０とペン７０の先端までの距離Ｌの違いで線の太さを指示する。このため、図３９の左側の列では、図３８と同様に、携帯端末１０と右手３をユーザの右側から観察する場合の位置の関係を示している。
図３９の場合も、右手３で保持するペン７０の先端の軌跡を線の描画に使用する。図３９の場合、ペン７０の空中での傾きは、指示する線の太さによらず同じでよい。勿論、ペン７０の傾きは空中で変化してもよいが、本実施の形態の場合には、ペン７０の先端までの距離Ｌで先の太さが決定される。
図３９は、描画する線の太さの指示に用いるジェスチャの実施の形態７における具体例３を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
なお、図３９には、図３８との対応部分に対応する符号を付して示している。
図３９の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図３９の場合、携帯端末１０とペン７０の先端までの距離Ｌの違いで線の太さを指示する。このため、図３９の左側の列では、図３８と同様に、携帯端末１０と右手３をユーザの右側から観察する場合の位置の関係を示している。
図３９の場合も、右手３で保持するペン７０の先端の軌跡を線の描画に使用する。図３９の場合、ペン７０の空中での傾きは、指示する線の太さによらず同じでよい。勿論、ペン７０の傾きは空中で変化してもよいが、本実施の形態の場合には、ペン７０の先端までの距離Ｌで先の太さが決定される。
【0108】
図３９（Ａ）の場合、携帯端末１０とペン７０の先端までの距離Ｌが第１の閾値Ｌ０より短い。この場合、右手３の移動に連動して、タッチパネル１１に「細線」が描画される。
図３９（Ｂ）の場合、携帯端末１０とペン７０の先端までの距離Ｌが第１の閾値Ｌ０以上であるが第２の閾値Ｌ１（＞Ｌ０）より短い。この場合、右手３の移動に連動して、タッチパネル１１には「中太線」が描画される。
図３９（Ｃ）の場合、携帯端末１０とペン７０の先端までの距離Ｌが第２の閾値Ｌ１以上の場合である。この場合、右手３の移動に連動して、タッチパネル１１には「太線」が描画される。
ここでの第１の閾値Ｌ０及び第２の閾値Ｌ１は事前に与えられるが、ユーザによる変更可能であることが望ましい。
図３９（Ｂ）の場合、携帯端末１０とペン７０の先端までの距離Ｌが第１の閾値Ｌ０以上であるが第２の閾値Ｌ１（＞Ｌ０）より短い。この場合、右手３の移動に連動して、タッチパネル１１には「中太線」が描画される。
図３９（Ｃ）の場合、携帯端末１０とペン７０の先端までの距離Ｌが第２の閾値Ｌ１以上の場合である。この場合、右手３の移動に連動して、タッチパネル１１には「太線」が描画される。
ここでの第１の閾値Ｌ０及び第２の閾値Ｌ１は事前に与えられるが、ユーザによる変更可能であることが望ましい。
【0109】
この具体例の場合も、距離Ｌと線の太さの関係は、図３９の例とは反対でもよい。すなわち、携帯端末１０とペン７０の先端までの距離Ｌが第１の閾値Ｌ０より短い場合に太線に対応付け、携帯端末１０とペン７０の先端までの距離Ｌが第２の閾値Ｌ１以上の場合に細線に対応付けてもよい。
なお、本具体例では、携帯端末１０とペン７０の先端までの距離Ｌを測定しているが、携帯端末１０とペン７０を保持している右手３までの距離Ｌを測定してもよい。
なお、ペン７０の先端までの距離Ｌや右手３までの距離Ｌの測定には、測距センサ１０５（図２参照）を使用する。
なお、本具体例では、携帯端末１０とペン７０の先端までの距離Ｌを測定しているが、携帯端末１０とペン７０を保持している右手３までの距離Ｌを測定してもよい。
なお、ペン７０の先端までの距離Ｌや右手３までの距離Ｌの測定には、測距センサ１０５（図２参照）を使用する。
【0110】
＜実施の形態１０＞
＜使用例＞
本実施の形態の場合も、線の太さの指示にペンを使用する場合について説明する。ただし、本実施の形態の場合、通信機能を備えるペンを使用する。
図４０は、実施の形態１０における携帯端末１０の使用例を説明する図である。図４０には、図３６との対応部分に対応する符号を付して示している。
図４０の場合、ユーザは、ペン８０を右手３で持ち、空中を移動させることで線を描画する。本実施の形態で使用するペン８０は、例えば感圧センサと通信機能を備え、描画中にペン８０に加えられる圧力を検知して携帯端末１０に通知する。本実施の形態では、ペン８０として棒状の物体を想定する。
本実施の形態におけるペン８０は、プロセッサ８０１と、内部メモリ８０２と、感圧センサ８０３と、外部装置の通信に用いられる通信モジュール８０４とを有している。ここでの外部装置の１つが、携帯端末１０である。
プロセッサ８０１は、例えばＣＰＵで構成される。プロセッサ８０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ８０２は、半導体メモリである。内部メモリ８０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ８０１と内部メモリ８０２により、いわゆるコンピュータが構成される。プロセッサ８０１は、ＲＡＭをプログラムの作業スペースとして使用する。
＜使用例＞
本実施の形態の場合も、線の太さの指示にペンを使用する場合について説明する。ただし、本実施の形態の場合、通信機能を備えるペンを使用する。
図４０は、実施の形態１０における携帯端末１０の使用例を説明する図である。図４０には、図３６との対応部分に対応する符号を付して示している。
図４０の場合、ユーザは、ペン８０を右手３で持ち、空中を移動させることで線を描画する。本実施の形態で使用するペン８０は、例えば感圧センサと通信機能を備え、描画中にペン８０に加えられる圧力を検知して携帯端末１０に通知する。本実施の形態では、ペン８０として棒状の物体を想定する。
本実施の形態におけるペン８０は、プロセッサ８０１と、内部メモリ８０２と、感圧センサ８０３と、外部装置の通信に用いられる通信モジュール８０４とを有している。ここでの外部装置の１つが、携帯端末１０である。
プロセッサ８０１は、例えばＣＰＵで構成される。プロセッサ８０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ８０２は、半導体メモリである。内部メモリ８０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ８０１と内部メモリ８０２により、いわゆるコンピュータが構成される。プロセッサ８０１は、ＲＡＭをプログラムの作業スペースとして使用する。
【0111】
感圧センサ８０３は、ペン８０の軸に取り付けられている。感圧センサ８０３は、ユーザがペン８０の軸を握る強さを検知するセンサである。
通信モジュール８０４には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。本実施の形態における通信モジュール８０４は、感圧センサ８０３が検知した圧力の値や圧力の大きさを表す情報を、携帯端末１０に通知する。圧力の大きさを表す情報には、例えば圧力の大きさを数段階で表すレベルがある。
本実施の形態の場合、ペン８０の先端の軌跡を線の方向として検知し、描画中におけるペン８０を握る力の強さで線の太さを指定する。
もっとも、感圧センサ８０３を複数設け、操作される感圧センサ８０３の違いに応じて線の太さを指示してもよい。このとき、複数の感圧センサ８０３は、ペン８０の軸の外周に沿って異なる位置に設けられてもよい。その場合、操作される感圧センサ８０３の違いは、圧力が加えられる方向の違いを意味する。
通信モジュール８０４には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。本実施の形態における通信モジュール８０４は、感圧センサ８０３が検知した圧力の値や圧力の大きさを表す情報を、携帯端末１０に通知する。圧力の大きさを表す情報には、例えば圧力の大きさを数段階で表すレベルがある。
本実施の形態の場合、ペン８０の先端の軌跡を線の方向として検知し、描画中におけるペン８０を握る力の強さで線の太さを指定する。
もっとも、感圧センサ８０３を複数設け、操作される感圧センサ８０３の違いに応じて線の太さを指示してもよい。このとき、複数の感圧センサ８０３は、ペン８０の軸の外周に沿って異なる位置に設けられてもよい。その場合、操作される感圧センサ８０３の違いは、圧力が加えられる方向の違いを意味する。
【0112】
＜処理動作＞
図４１は、実施の形態１０で使用する携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図４１には、図３との対応部分に対応する符号を付して示している。
図４１に示す処理の場合、ステップ５以降の処理が図３と相違する。
図４１の場合、プロセッサ１０１は、ステップ５が終了すると、描画に用いる物体から線の太さの指示を検知する（ステップ６Ｂ）。前述したように、本実施の形態の場合、線の太さの指示は、ペン８０が描画中に検知した右手３の握力の情報である。
線の太さの指示を検知した後の処理動作は、図３と同じである。
図４１は、実施の形態１０で使用する携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図４１には、図３との対応部分に対応する符号を付して示している。
図４１に示す処理の場合、ステップ５以降の処理が図３と相違する。
図４１の場合、プロセッサ１０１は、ステップ５が終了すると、描画に用いる物体から線の太さの指示を検知する（ステップ６Ｂ）。前述したように、本実施の形態の場合、線の太さの指示は、ペン８０が描画中に検知した右手３の握力の情報である。
線の太さの指示を検知した後の処理動作は、図３と同じである。
【0113】
＜線の太さの指示に用いる具体例＞
以下では、ステップ６Ｂ（図４１参照）で想定するジェスチャの具体例について説明する。
図４２は、描画する線の太さの指示に用いるジェスチャの実施の形態１０における具体例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４２の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図４２の場合も、ペン８０の先端を線の描画に使用する。
図４２（Ａ）の場合、ユーザは、ごく弱い圧力を加えた状態でペン８０を空中で移動させている。これにより、携帯端末１０のタッチパネル１１には「細線」が描画されている。
以下では、ステップ６Ｂ（図４１参照）で想定するジェスチャの具体例について説明する。
図４２は、描画する線の太さの指示に用いるジェスチャの実施の形態１０における具体例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４２の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図４２の場合も、ペン８０の先端を線の描画に使用する。
図４２（Ａ）の場合、ユーザは、ごく弱い圧力を加えた状態でペン８０を空中で移動させている。これにより、携帯端末１０のタッチパネル１１には「細線」が描画されている。
【0114】
図４２（Ｂ）の場合、ユーザは、弱い圧力を加えた状態でペン８０を空中で移動させている。弱い圧力は、図４２（Ａ）における「ごく弱い圧力」よりは、感圧センサ８０３で検知される圧力の値が大きいことを意味する。この場合、携帯端末１０のタッチパネル１１には「中太線」が描画される。
図４２（Ｃ）の場合、ユーザは、強い圧力を加えた状態でペン８０を空中で移動させている。強い圧力は、図４２（Ｂ）における「弱い圧力」よりも、感圧センサ８０３で検知される圧力の値が大きいことを意味する。この場合、携帯端末１０のタッチパネル１１に「太線」が描画される。
図４２（Ｃ）の場合、ユーザは、強い圧力を加えた状態でペン８０を空中で移動させている。強い圧力は、図４２（Ｂ）における「弱い圧力」よりも、感圧センサ８０３で検知される圧力の値が大きいことを意味する。この場合、携帯端末１０のタッチパネル１１に「太線」が描画される。
【0115】
なお、感圧センサ８０３から通知される圧力は、ユーザに応じて異なることが想定される。従って、使用前には、ペン８０についてキャリブレーションを実行し、判定用の閾値を設定することが望ましい。
キャリブレーションでは、「細線の描画に使用する力でペンを握ってください」等のガイダンスに応じてペン軸に加えられた力の値が感圧センサ８０３で検出される。この値をペン８０から取得したプロセッサ１０１は、取得された力の大きさを区別する閾値を設定して、描画に備える。
なお、検知された圧力と線の太さの関係は、例示した関係に限らない。例えば「ごく弱い圧力」が検知された場合には太線を描画してもよいし、「強い圧力」が検知された場合には細線を描画してもよい。
また、描画する線の太さは、３種類に限らず、検知された圧力の大きさに基づいて連続的に変化させてもよい。
なお、ペン８０を用いる手法は、線の濃さの指示に使用することも可能である。
キャリブレーションでは、「細線の描画に使用する力でペンを握ってください」等のガイダンスに応じてペン軸に加えられた力の値が感圧センサ８０３で検出される。この値をペン８０から取得したプロセッサ１０１は、取得された力の大きさを区別する閾値を設定して、描画に備える。
なお、検知された圧力と線の太さの関係は、例示した関係に限らない。例えば「ごく弱い圧力」が検知された場合には太線を描画してもよいし、「強い圧力」が検知された場合には細線を描画してもよい。
また、描画する線の太さは、３種類に限らず、検知された圧力の大きさに基づいて連続的に変化させてもよい。
なお、ペン８０を用いる手法は、線の濃さの指示に使用することも可能である。
【0116】
＜実施の形態１１＞
＜使用例＞
図４３は、実施の形態１１における携帯端末１０の使用例を説明する図である。図４３には、図４０との対応部分に対応する符号を付して示している。
図４３の場合、ユーザは、ペン９０を右手３で持ち、空中を移動させることで線を描画する。本実施の形態で使用するペン９０は、例えば加速度を検知するセンサと通信機能を備え、描画中にペン９０に加えられる加速度の大きさを検知して携帯端末１０に通知する。本実施の形態では、ペン９０として棒状の物体を想定する。
例えば太線を描くときの加速度は、細線を描くときの加速度に比して大きくなる傾向がある。本実施の形態では、この経験則を利用して、線の太さを検知する。
本実施の形態におけるペン９０は、プロセッサ９０１と、内部メモリ９０２と、６軸センサ９０３と、外部装置の通信に用いられる通信モジュール９０４とを有している。ここでの外部装置の１つが、携帯端末１０である。
プロセッサ９０１は、例えばＣＰＵで構成される。プロセッサ９０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ９０２は、半導体メモリである。内部メモリ９０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ９０１と内部メモリ９０２により、いわゆるコンピュータが構成される。プロセッサ９０１は、ＲＡＭをプログラムの作業スペースとして使用する。
＜使用例＞
図４３は、実施の形態１１における携帯端末１０の使用例を説明する図である。図４３には、図４０との対応部分に対応する符号を付して示している。
図４３の場合、ユーザは、ペン９０を右手３で持ち、空中を移動させることで線を描画する。本実施の形態で使用するペン９０は、例えば加速度を検知するセンサと通信機能を備え、描画中にペン９０に加えられる加速度の大きさを検知して携帯端末１０に通知する。本実施の形態では、ペン９０として棒状の物体を想定する。
例えば太線を描くときの加速度は、細線を描くときの加速度に比して大きくなる傾向がある。本実施の形態では、この経験則を利用して、線の太さを検知する。
本実施の形態におけるペン９０は、プロセッサ９０１と、内部メモリ９０２と、６軸センサ９０３と、外部装置の通信に用いられる通信モジュール９０４とを有している。ここでの外部装置の１つが、携帯端末１０である。
プロセッサ９０１は、例えばＣＰＵで構成される。プロセッサ９０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ９０２は、半導体メモリである。内部メモリ９０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ９０１と内部メモリ９０２により、いわゆるコンピュータが構成される。プロセッサ９０１は、ＲＡＭをプログラムの作業スペースとして使用する。
【0117】
６軸センサ９０３は、３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の加速度と、同じ３軸方向の角速度を測定するセンサである。６軸センサ９０３は、例えばペン９０の軸内に取り付けられ、ペン９０を用いて線を描画するときの加速度や角速度を測定する。本実施の形態では、ペン９０の両端部のいずれかに６軸センサ９０３を配置する。好ましくは、ペン９０の頭部、すなわちペン先とは反対側の端部の付近に６軸センサ９０３を配置する。ペン９０の両端部は、動きが大きくなり易く、描画中の加速度等の測定が容易になる。
通信モジュール９０４には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。本実施の形態における通信モジュール９０４は、６軸センサ９０３が検知した加速度等の値や加速度等の大きさを表す情報を、携帯端末１０に通知する。加速度等の大きさを表す情報には、例えば加速度等の大きさを数段階で表すレベルがある。
本実施の形態の場合、ペン９０の先端の軌跡を線の方向として検知し、描画中におけるペン９０の加速度等の大きさで線の太さを指定する。
通信モジュール９０４には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。本実施の形態における通信モジュール９０４は、６軸センサ９０３が検知した加速度等の値や加速度等の大きさを表す情報を、携帯端末１０に通知する。加速度等の大きさを表す情報には、例えば加速度等の大きさを数段階で表すレベルがある。
本実施の形態の場合、ペン９０の先端の軌跡を線の方向として検知し、描画中におけるペン９０の加速度等の大きさで線の太さを指定する。
【0118】
＜処理動作＞
本実施の形態で使用する携帯端末１０で実行される処理動作は、実施の形態１０と同じである。すなわち、携帯端末１０は、図４１に示すフローチャートに従って動作する。ただし、本実施の形態の場合、ステップ６（図３参照）における線の太さの検知には、ペン９０に対する加速度等の大きさを使用する。
本実施の形態で使用する携帯端末１０で実行される処理動作は、実施の形態１０と同じである。すなわち、携帯端末１０は、図４１に示すフローチャートに従って動作する。ただし、本実施の形態の場合、ステップ６（図３参照）における線の太さの検知には、ペン９０に対する加速度等の大きさを使用する。
【0119】
＜線の太さの指示に用いる具体例＞
以下では、ステップ６Ｂ（図４１参照）で想定するジェスチャの具体例について説明する。
図４４は、描画する線の太さの指示に用いるジェスチャの実施の形態１１における具体例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４４の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図４４の場合も、ペン９０の先端を線の描画に使用する。
図４４（Ａ）の場合、ペン９０では小さい加速度が検知されている。この加速度は、例えばペン９０を空中でゆっくり移動させている場合に検知される。このとき、携帯端末１０のタッチパネル１１には「細線」が描画されている。
以下では、ステップ６Ｂ（図４１参照）で想定するジェスチャの具体例について説明する。
図４４は、描画する線の太さの指示に用いるジェスチャの実施の形態１１における具体例を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４４の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０のタッチパネル１１に表示されるＡＲ画像の例を示す。
図４４の場合も、ペン９０の先端を線の描画に使用する。
図４４（Ａ）の場合、ペン９０では小さい加速度が検知されている。この加速度は、例えばペン９０を空中でゆっくり移動させている場合に検知される。このとき、携帯端末１０のタッチパネル１１には「細線」が描画されている。
【0120】
図４４（Ｂ）の場合、ペン９０では中程度の加速度が検知されている。この加速度は、例えばペン９０を速く移動させる場合に検知される。中程度の加速度は、図４４（Ａ）の場合よりもペン９０を速く移動させる場合に検知される。この場合、携帯端末１０のタッチパネル１１には「中太線」が描画される。
図４４（Ｃ）の場合、ペン９０では大きい加速度が検知されている。この加速度は、例えばペン９０を勢いよく移動させる場合に検知される。本実施の形態の場合、大きい加速度は、図４４（Ｂ）の場合よりもペン９０を速く移動させる場合に検知される。なお、大きい加速度は、例えばペン９０を線が描画される仮想の平面に対して強く押し付けるような動き、線の書き始めや書き終わりの特有の動きで出現し易い。この場合、携帯端末１０のタッチパネル１１に「太線」が描画される。
図４４（Ｃ）の場合、ペン９０では大きい加速度が検知されている。この加速度は、例えばペン９０を勢いよく移動させる場合に検知される。本実施の形態の場合、大きい加速度は、図４４（Ｂ）の場合よりもペン９０を速く移動させる場合に検知される。なお、大きい加速度は、例えばペン９０を線が描画される仮想の平面に対して強く押し付けるような動き、線の書き始めや書き終わりの特有の動きで出現し易い。この場合、携帯端末１０のタッチパネル１１に「太線」が描画される。
【0121】
なお、６軸センサ９０３から通知される加速度等は、ユーザに応じて異なることが想定される。従って、使用前には、ペン９０についてキャリブレーションを実行し、判定用の閾値を設定することが望ましい。
キャリブレーションでは、「細線の描画を意識してペンを移動させてください」等のガイダンスに応じてペン軸に加えられた力の値が６軸センサ９０３で検出される。この値や加速度の方向をペン９０から取得したプロセッサ１０１は、取得された加速度等の大きさを区別する閾値を設定して、描画に備える。
なお、検知された加速度等の大きさと線の太さの関係は、例示した関係に限らない。例えば「小さい加速度」が検知された場合には太線を描画してもよいし、「大きい加速度」が検知された場合には細線を描画してもよい。
また、描画する線の太さは、３種類に限らず、検知された加速度の大きさに基づいて連続的に変化させてもよい。
キャリブレーションでは、「細線の描画を意識してペンを移動させてください」等のガイダンスに応じてペン軸に加えられた力の値が６軸センサ９０３で検出される。この値や加速度の方向をペン９０から取得したプロセッサ１０１は、取得された加速度等の大きさを区別する閾値を設定して、描画に備える。
なお、検知された加速度等の大きさと線の太さの関係は、例示した関係に限らない。例えば「小さい加速度」が検知された場合には太線を描画してもよいし、「大きい加速度」が検知された場合には細線を描画してもよい。
また、描画する線の太さは、３種類に限らず、検知された加速度の大きさに基づいて連続的に変化させてもよい。
【0122】
また、加速度の大きさは、描画する方向ではなく、ユーザに対して奥行き方向への加速度の大きさや手前方向への加速度の大きさに着目してもよい。紙に線を描画する場合、細い線を描くときには筆記具を紙に押し付ける力は弱くなるのに対し、太い線を描くときには筆記具を紙に押し付ける力が強くなる傾向がある。そこで、ユーザに対して奥行方向への加速度が大きい場合には線を太くし、奥行方向への加速度が小さい場合には線を細くしてもよい。なお、空中に描画する場合には、ユーザの手前側に引き寄せるペン９０の動きを細い線に対応付けてもよい。
なお、ペン９０を用いる手法は、線の濃さの指示に使用することも可能である。
なお、ペン９０を用いる手法は、線の濃さの指示に使用することも可能である。
【0123】
＜実施の形態１２＞
＜使用例＞
図４５は、実施の形態１２における携帯端末１０００の使用例を説明する図である。図４５の場合、携帯端末１０００としてユーザ１の頭部に装着するメガネ型のデバイスを想定する。図４５では、携帯端末１０００としてスマートグラスを想定する。なお、携帯端末１０００の外観は様々であり、メガネ型に限らず、ゴーグル型やヘッドセット型でもよい。
図４５で想定する携帯端末１０００の場合、ユーザ１は両手を用いることが可能になる。
本実施の形態における携帯端末１０００は、プロセッサ１００１と、内部メモリ１００２と、外部メモリ１００３と、ＡＲデバイス１００４と、カメラ１００５と、マイク１０００６と、スピーカ１００７と、測位センサ１００８と、測距センサ１００９と、通信モジュール１０１０とを有している。
プロセッサ１００１は、例えばＣＰＵで構成される。プロセッサ１００１は、プログラムの実行を通じて各種の機能を実現する。
＜使用例＞
図４５は、実施の形態１２における携帯端末１０００の使用例を説明する図である。図４５の場合、携帯端末１０００としてユーザ１の頭部に装着するメガネ型のデバイスを想定する。図４５では、携帯端末１０００としてスマートグラスを想定する。なお、携帯端末１０００の外観は様々であり、メガネ型に限らず、ゴーグル型やヘッドセット型でもよい。
図４５で想定する携帯端末１０００の場合、ユーザ１は両手を用いることが可能になる。
本実施の形態における携帯端末１０００は、プロセッサ１００１と、内部メモリ１００２と、外部メモリ１００３と、ＡＲデバイス１００４と、カメラ１００５と、マイク１０００６と、スピーカ１００７と、測位センサ１００８と、測距センサ１００９と、通信モジュール１０１０とを有している。
プロセッサ１００１は、例えばＣＰＵで構成される。プロセッサ１００１は、プログラムの実行を通じて各種の機能を実現する。
【0124】
内部メモリ１００２と外部メモリ１００３は、いずれも半導体メモリである。
内部メモリ１００２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ１００１と内部メモリ１００２により、いわゆるコンピュータが構成される。プロセッサ１００１は、ＲＡＭをプログラムの作業スペースとして使用する。
外部メモリ１００３は、補助記憶装置であり、プログラム等が記憶される。
ＡＲデバイス１００４は、ユーザにＡＲ画像を視認させるデバイスであり、例えばユーザ１の網膜に直接映像を投影する網膜投影方式と、導光絽を通じて画像をグラスに投影する透過方式とがある。いずれの方式も既に実用化されているので詳細な構造については省略する。いずれの方式を用いる場合にも、ユーザ１は、目の前の空間に線が描画されるように知覚される。
カメラ１００５は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサを使用する。カメラ１００５は、携帯端末１０００を装着したユーザ１が左手２と右手３を用いて行うジェスチャの撮像に使用される。
内部メモリ１００２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ１００１と内部メモリ１００２により、いわゆるコンピュータが構成される。プロセッサ１００１は、ＲＡＭをプログラムの作業スペースとして使用する。
外部メモリ１００３は、補助記憶装置であり、プログラム等が記憶される。
ＡＲデバイス１００４は、ユーザにＡＲ画像を視認させるデバイスであり、例えばユーザ１の網膜に直接映像を投影する網膜投影方式と、導光絽を通じて画像をグラスに投影する透過方式とがある。いずれの方式も既に実用化されているので詳細な構造については省略する。いずれの方式を用いる場合にも、ユーザ１は、目の前の空間に線が描画されるように知覚される。
カメラ１００５は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサを使用する。カメラ１００５は、携帯端末１０００を装着したユーザ１が左手２と右手３を用いて行うジェスチャの撮像に使用される。
【0125】
マイク１００６は、ユーザの音声や周囲の音を電気信号に変換するデバイスである。
スピーカ１００７は、電気信号を音に変換して出力するデバイスである。
測位センサ１００８は、例えばＧＰＳ信号を検知して自端末の位置を測位するＧＰＳモジュールや屋内用の測位モジュールで構成される。屋内用の測位モジュールには、例えばＢＬＥビーコンを受信して自端末の位置を測位するモジュール、ＷｉＦｉ（登録商標）信号を受信して自端末の位置を測位するモジュール、自律航法により自端末の位置を測位するモジュール、ＩＭＥＳ信号を受信して自端末の位置を測位するモジュールを使用する。
例えばカメラ１００５がステレオカメラである場合、測距センサ１００９には、複数のカメラ１００５の視差を用いて物体までの距離を計算するモジュールを使用する。また例えば、測距センサ１００９には、照射した光が物体で反射して戻ってくるまでの時間を計測して物体までの距離を計算するＴＯＦセンサを使用する。
通信モジュール１０１０には、例えばＵＳＢに準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。
スピーカ１００７は、電気信号を音に変換して出力するデバイスである。
測位センサ１００８は、例えばＧＰＳ信号を検知して自端末の位置を測位するＧＰＳモジュールや屋内用の測位モジュールで構成される。屋内用の測位モジュールには、例えばＢＬＥビーコンを受信して自端末の位置を測位するモジュール、ＷｉＦｉ（登録商標）信号を受信して自端末の位置を測位するモジュール、自律航法により自端末の位置を測位するモジュール、ＩＭＥＳ信号を受信して自端末の位置を測位するモジュールを使用する。
例えばカメラ１００５がステレオカメラである場合、測距センサ１００９には、複数のカメラ１００５の視差を用いて物体までの距離を計算するモジュールを使用する。また例えば、測距センサ１００９には、照射した光が物体で反射して戻ってくるまでの時間を計測して物体までの距離を計算するＴＯＦセンサを使用する。
通信モジュール１０１０には、例えばＵＳＢに準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。
【0126】
＜線の太さの指示に用いる具体例＞
本実施の形態の場合、携帯端末１０００は、ユーザ１の右手３を用いて空中に描画し、左手２を用いて線の太さを指示する。
なお、携帯端末１０００で実行される処理動作は、基本的に実施の形態１と同じである。すなわち、携帯端末１０００は、図３に示すフローチャートに従って動作する。ただし、ステップ６（図３参照）における線の太さの検知には、ユーザ１の左手２の画像を活用する。
本実施の形態の場合、携帯端末１０００は、ユーザ１の右手３を用いて空中に描画し、左手２を用いて線の太さを指示する。
なお、携帯端末１０００で実行される処理動作は、基本的に実施の形態１と同じである。すなわち、携帯端末１０００は、図３に示すフローチャートに従って動作する。ただし、ステップ６（図３参照）における線の太さの検知には、ユーザ１の左手２の画像を活用する。
【0127】
＜具体例１＞
図４６は、描画する線の太さの指示に用いるジェスチャの実施の形態１２における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４６の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０００を通じてユーザ１が視認するＡＲ画像の例を示す。
図４６では、右手３の人差し指の指先を線の描画に使用する。図４６の場合、左手２は撮影の方向への基準位置を与え、基準位置である左手２と右手３との距離Ｌを、線の太さの指示に使用する。なお、本実施の形態におけるプロセッサ１００１（図４５参照）は、測距センサ１００９（図４５参照）を用いて携帯端末１０００から左手２までの距離と右手３までの距離を測定し、その差分に基づいて左手２と右手３の距離Ｌを計算する。
図４６は、描画する線の太さの指示に用いるジェスチャの実施の形態１２における具体例１を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４６の左側の列は線の描画と線の太さを同時に指示するジェスチャの例を示し、右側の列は携帯端末１０００を通じてユーザ１が視認するＡＲ画像の例を示す。
図４６では、右手３の人差し指の指先を線の描画に使用する。図４６の場合、左手２は撮影の方向への基準位置を与え、基準位置である左手２と右手３との距離Ｌを、線の太さの指示に使用する。なお、本実施の形態におけるプロセッサ１００１（図４５参照）は、測距センサ１００９（図４５参照）を用いて携帯端末１０００から左手２までの距離と右手３までの距離を測定し、その差分に基づいて左手２と右手３の距離Ｌを計算する。
【0128】
図４６（Ａ）の場合、空中に線を描画する右手３の人差し指と左手２との距離Ｌは、第１の閾値Ｌ０より短い。この場合、人差し指による描画に連動して、ＡＲデバイス１００４（図４５参照）は空中に「細線」を描画する。
図４６（Ｂ）の場合、空中に線を描画する右手３の人差し指と左手２との距離Ｌは、第１の閾値Ｌ０以上であるが第２の閾値Ｌ１（Ｌ０）より短い。この場合、人差し指の移動に連動して、ＡＲデバイス１００４は空中に「中太線」を描画する。
図４（Ｃ）の場合、空中に線を描画する右手３の人差し指と左手２との距離Ｌは、第２の閾値Ｌ１以上である。この場合、人差し指の移動に連動して、ＡＲデバイス１００４は空中に「太線」を描画する。
本具体例の場合、ユーザが基準位置を自由に定めることが可能である。また、携帯端末１０（図１４参照）を基準位置として右手３までの距離Ｌを測定する場合に比して、描画中における人差し指の撮影の方向への動きを線の太さに反映することが容易になる。
図４６（Ｂ）の場合、空中に線を描画する右手３の人差し指と左手２との距離Ｌは、第１の閾値Ｌ０以上であるが第２の閾値Ｌ１（Ｌ０）より短い。この場合、人差し指の移動に連動して、ＡＲデバイス１００４は空中に「中太線」を描画する。
図４（Ｃ）の場合、空中に線を描画する右手３の人差し指と左手２との距離Ｌは、第２の閾値Ｌ１以上である。この場合、人差し指の移動に連動して、ＡＲデバイス１００４は空中に「太線」を描画する。
本具体例の場合、ユーザが基準位置を自由に定めることが可能である。また、携帯端末１０（図１４参照）を基準位置として右手３までの距離Ｌを測定する場合に比して、描画中における人差し指の撮影の方向への動きを線の太さに反映することが容易になる。
【0129】
なお、判定に用いる第１の閾値Ｌ０と第２の閾値Ｌ１は、使用前のキャリブレーションで設定してもよい。キャリブレーションでは、「細線を描画するときの左手と右手の距離を教えて下さい」等のガイダンスに応じてユーザ１のジェスチャを促す。線の太さ別に測定された距離Ｌを区別可能な閾値を設定することで、ユーザの意図を反映した太さの線の描画が可能になる。
検知された距離Ｌと線の太さの関係は、例示した関係に限らない。例えば距離Ｌが第１の閾値Ｌ０より小さい場合に「太線」を描画してもよいし、距離Ｌが第２の閾値Ｌ１以上の場合に「細線」を描画してもよい。
また、描画する線の太さは、３種類以上でもよいし、距離Ｌに応じて線の太さを連続的に変化させてもよい。
本具体例では、距離Ｌに応じて線の太さを変化させているが、濃度を変化させてもよい。
検知された距離Ｌと線の太さの関係は、例示した関係に限らない。例えば距離Ｌが第１の閾値Ｌ０より小さい場合に「太線」を描画してもよいし、距離Ｌが第２の閾値Ｌ１以上の場合に「細線」を描画してもよい。
また、描画する線の太さは、３種類以上でもよいし、距離Ｌに応じて線の太さを連続的に変化させてもよい。
本具体例では、距離Ｌに応じて線の太さを変化させているが、濃度を変化させてもよい。
【0130】
＜具体例２＞
図４７は、描画する線の太さの指示に用いるジェスチャの実施の形態１２における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４７の場合、左手２の指の本数が線の太さを指示し、右手３の人差し指の移動が線の描画を指示する。
図４７（Ａ）の場合、左手２は人差し指の１本だけを立てるジェスチャである。このジェスチャは、細線を指示している。このため、右手３の人差し指を移動させた空中には「細線」が描画される。
図４７（Ｂ）の場合、左手２は、人差し指と中指の２本を立てるジェスチャである。このジェスチャは、中太線を指示している。このため、右手３の人差し指を移動させた空中には「中太線」が描画される。
図４７は、描画する線の太さの指示に用いるジェスチャの実施の形態１２における具体例２を説明する図である。（Ａ）は「細線」の指示に用いるジェスチャの例を示し、（Ｂ）は「中太線」の指示に用いるジェスチャの例を示し、（Ｃ）は「太線」の指示に用いるジェスチャの例を示す。
図４７の場合、左手２の指の本数が線の太さを指示し、右手３の人差し指の移動が線の描画を指示する。
図４７（Ａ）の場合、左手２は人差し指の１本だけを立てるジェスチャである。このジェスチャは、細線を指示している。このため、右手３の人差し指を移動させた空中には「細線」が描画される。
図４７（Ｂ）の場合、左手２は、人差し指と中指の２本を立てるジェスチャである。このジェスチャは、中太線を指示している。このため、右手３の人差し指を移動させた空中には「中太線」が描画される。
【0131】
図４７（Ｃ）の場合、左手２は、５本の指を広げたジェスチャである。このジェスチャは、太線を指示している。このため、右手３の人差し指を移動させた空中には「太線」が描画される。
本具体例の場合、左手２を線の太さの指示に使用する。このため、ユーザは、右手３を描画に専念することが可能になる。
なお、左手２の指の本数と線の太さの関係は、例示した関係に限らない。例えば指の本数が１本の場合に「太線」を描画してもよいし、指の本数が５本の場合に「細線」を描画してもよい。
また、描画する線の太さは、３種類以上でもよい。
本具体例では、線の描画に使用しない左手２の指の本数で線の太さを変化させているが、濃度を変化させてもよい。
本具体例の場合、左手２を線の太さの指示に使用する。このため、ユーザは、右手３を描画に専念することが可能になる。
なお、左手２の指の本数と線の太さの関係は、例示した関係に限らない。例えば指の本数が１本の場合に「太線」を描画してもよいし、指の本数が５本の場合に「細線」を描画してもよい。
また、描画する線の太さは、３種類以上でもよい。
本具体例では、線の描画に使用しない左手２の指の本数で線の太さを変化させているが、濃度を変化させてもよい。
【0132】
＜他の具体例＞
左手２を用いて線の太さを指示する方法には、実施の形態１における具体例２（図７参照）で説明したように２本の指の間隔を可変する方法、具体例３（図９参照）で説明したように手の形状を可変する方法、具体例４（図１０参照）で説明したように指の向きを可変する方法、具体例５（図１１参照）で説明したように手首の回転により撮像される部位を可変する方法、具体例６（図１２参照）で説明したように撮影の向きへの指の傾きを可変する方法、具体例７（図１３参照）で説明したように爪の見え方を可変する方法、具体例８（図１４参照）で説明したように左手２までの距離Ｌを可変する方法、具体例９（図１５参照）で説明したように撮影されるマークを可変する方法、具体例１０（図１６参照）で説明したように撮影されるマークの色を可変する方法、具体例１１（図１８参照）で説明したように左手２手首の筋肉の緊張の度合いを可変する方法との組み合わせが可能である。
また、左手２を用いて線の太さや線の濃度を指示する場合にも、受け付けた線の太さや線の濃度をユーザにフィードバックしてもよい。
左手２に持った棒状の部材の撮影方向に対する様々な向きによって線の太さや線の濃さを指示してもよい。
左手２を用いて線の太さを指示する方法には、実施の形態１における具体例２（図７参照）で説明したように２本の指の間隔を可変する方法、具体例３（図９参照）で説明したように手の形状を可変する方法、具体例４（図１０参照）で説明したように指の向きを可変する方法、具体例５（図１１参照）で説明したように手首の回転により撮像される部位を可変する方法、具体例６（図１２参照）で説明したように撮影の向きへの指の傾きを可変する方法、具体例７（図１３参照）で説明したように爪の見え方を可変する方法、具体例８（図１４参照）で説明したように左手２までの距離Ｌを可変する方法、具体例９（図１５参照）で説明したように撮影されるマークを可変する方法、具体例１０（図１６参照）で説明したように撮影されるマークの色を可変する方法、具体例１１（図１８参照）で説明したように左手２手首の筋肉の緊張の度合いを可変する方法との組み合わせが可能である。
また、左手２を用いて線の太さや線の濃度を指示する場合にも、受け付けた線の太さや線の濃度をユーザにフィードバックしてもよい。
左手２に持った棒状の部材の撮影方向に対する様々な向きによって線の太さや線の濃さを指示してもよい。
【0133】
＜実施の形態１３＞
本実施の形態では、左手２のボタン操作を線の太さの指示に活用する。
図４８は、実施の形態１３における携帯端末１０００の使用例を説明する図である。図４８には、図４５との対応部分に対応する符号を付して示している。
図４８に示す携帯端末１０００は、押しボタン式のスイッチ１１００と無線通信により連携する点で、実施の形態１２と相違している。
押しボタン式のスイッチ１１００は、装置本体１１１０と押し込み式のボタン１１１１とで構成されている。
押しボタン式のスイッチ１１００は、プロセッサ１１０１と、内部メモリ１１０２と、感圧センサ１１０３と、外部装置の通信に用いられる通信モジュール１１０４とを有している。ここでの外部装置の１つが、携帯端末１０００である。
本実施の形態では、左手２のボタン操作を線の太さの指示に活用する。
図４８は、実施の形態１３における携帯端末１０００の使用例を説明する図である。図４８には、図４５との対応部分に対応する符号を付して示している。
図４８に示す携帯端末１０００は、押しボタン式のスイッチ１１００と無線通信により連携する点で、実施の形態１２と相違している。
押しボタン式のスイッチ１１００は、装置本体１１１０と押し込み式のボタン１１１１とで構成されている。
押しボタン式のスイッチ１１００は、プロセッサ１１０１と、内部メモリ１１０２と、感圧センサ１１０３と、外部装置の通信に用いられる通信モジュール１１０４とを有している。ここでの外部装置の１つが、携帯端末１０００である。
【0134】
プロセッサ１１０１は、例えばＣＰＵで構成される。プロセッサ１１０１は、アプリやファームウェアの実行を通じて各種の機能を実現する。
内部メモリ１１０２は、半導体メモリである。内部メモリ１１０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ１１０１と内部メモリ１１０２により、いわゆるコンピュータが構成される。プロセッサ１１０１は、ＲＡＭをプログラムの作業スペースとして使用する。
感圧センサ１１０３は、押し込み式のボタン１１１１の押し込み量を検知するセンサである。もっとも、感圧センサ１１０３は一例であり、単なるスイッチとして、押しボタンの操作の回数を検知してもよい。
通信モジュール１１０４には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。本実施の形態における通信モジュール１１０４は、感圧センサ１１０３が検知した押し込み量に関する情報を、携帯端末１０００に通知する。
内部メモリ１１０２は、半導体メモリである。内部メモリ１１０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ１１０１と内部メモリ１１０２により、いわゆるコンピュータが構成される。プロセッサ１１０１は、ＲＡＭをプログラムの作業スペースとして使用する。
感圧センサ１１０３は、押し込み式のボタン１１１１の押し込み量を検知するセンサである。もっとも、感圧センサ１１０３は一例であり、単なるスイッチとして、押しボタンの操作の回数を検知してもよい。
通信モジュール１１０４には、例えばＵＳＢに準拠する通信モジュール、ブルートゥース（登録商標）に準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。本実施の形態における通信モジュール１１０４は、感圧センサ１１０３が検知した押し込み量に関する情報を、携帯端末１０００に通知する。
【0135】
本実施の形態の場合、ユーザ１は、空中に人差し指等で線を描画しながら、押しボタン式のスイッチ１１００のボタン１１１１を操作し、描画する線の太さを指示する。例えば押し込み量が小さい場合は「細線」を描画し、押し込み量が中程度の場合は「中太線」を描画し、押し込み量が大きい場合は「太線」を描画する。
なお、押しボタン式のスイッチ１１００のボタン１１１１の操作量で線の濃さを指示することも可能である。
本実施の形態では、自由に使える左手２で線の太さを指示しているが、実施の形態８で説明したようにペダル装置６０（図３５参照）の踏み込み量で線の太さを指示してもよい。
なお、押しボタン式のスイッチ１１００のボタン１１１１の操作量で線の濃さを指示することも可能である。
本実施の形態では、自由に使える左手２で線の太さを指示しているが、実施の形態８で説明したようにペダル装置６０（図３５参照）の踏み込み量で線の太さを指示してもよい。
【0136】
＜実施の形態１４＞
前述の実施の形態は、携帯端末１０（図１参照）や携帯端末１０００（図４５参照）において、ユーザのジェスチャを通じて線の描画中に受け付けた指示を線の太さや線の濃さに反映させているが、空中にＡＲ画像を描画する処理の一部又は全部を外部装置で実行してもよい。
図４９は、実施の形態１４で使用するＡＲシステム１２００の一例を説明する図である。
図４９に示すＡＲシステム１２００は、携帯端末１０とネットワーク１２１０と、ＡＲサーバ１２２０とで構成されている。
ネットワーク１２１０は、例えばＬＡＮやインターネットである。ネットワーク１２１０上の通信には、例えば無線ＵＳＢ、移動通信システム、ＷｉＦｉ（登録商標）を使用する。移動通信システムは、第４世代（すなわち４Ｇ）、第５世代（すなわち５Ｇ）、第６世代（すなわち６Ｇ）のいずれでもよい。無線ＬＡＮには、例えばＩＥＥＥ８０２．１１の１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ、１１ａｄ、１１ａｘを使用する。
前述の実施の形態は、携帯端末１０（図１参照）や携帯端末１０００（図４５参照）において、ユーザのジェスチャを通じて線の描画中に受け付けた指示を線の太さや線の濃さに反映させているが、空中にＡＲ画像を描画する処理の一部又は全部を外部装置で実行してもよい。
図４９は、実施の形態１４で使用するＡＲシステム１２００の一例を説明する図である。
図４９に示すＡＲシステム１２００は、携帯端末１０とネットワーク１２１０と、ＡＲサーバ１２２０とで構成されている。
ネットワーク１２１０は、例えばＬＡＮやインターネットである。ネットワーク１２１０上の通信には、例えば無線ＵＳＢ、移動通信システム、ＷｉＦｉ（登録商標）を使用する。移動通信システムは、第４世代（すなわち４Ｇ）、第５世代（すなわち５Ｇ）、第６世代（すなわち６Ｇ）のいずれでもよい。無線ＬＡＮには、例えばＩＥＥＥ８０２．１１の１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ、１１ａｄ、１１ａｘを使用する。
【0137】
ＡＲサーバ１２２０は、プロセッサ１２２１と、内部メモリ１２２２と、ハードディスク装置１２２３と、外部装置との通信に用いられる通信モジュール１２２４とを有している。ここでのＡＲサーバ１２２０は、情報処理装置の一例である。
プロセッサ１２２１は、例えばＣＰＵで構成される。プロセッサ１２２１は、プログラムの実行を通じて各種の機能を実現する。
内部メモリ１２２２は、半導体メモリである。内部メモリ１２２２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ１２２１と内部メモリ１２２２により、いわゆるコンピュータが構成される。プロセッサ１２２１は、ＲＡＭをプログラムの作業スペースとして使用する。
ハードディスク装置１２２３は、補助記憶装置であり、プログラム等が記憶される。
通信モジュール１２２４には、例えばＵＳＢに準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。
本実施の形態における移動通信システムは、第４世代（すなわち４Ｇ）、第５世代（すなわち５Ｇ）、第６世代（すなわち６Ｇ）のいずれでもよい。
本実施の形態で使用するＡＲサーバ１２２０は、携帯端末１０からユーザのジェスチャを含む画像等を受信し、ＡＲ画像として空中に描画される線の太さと方向を決定する。また、生成されたＡＲ画像とＡＲ画像を描画する絶対座標を携帯端末１０に通知する。これにより、ユーザの目の前には、ＡＲ画像としての線が空中に描画される。
プロセッサ１２２１は、例えばＣＰＵで構成される。プロセッサ１２２１は、プログラムの実行を通じて各種の機能を実現する。
内部メモリ１２２２は、半導体メモリである。内部メモリ１２２２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとを有している。プロセッサ１２２１と内部メモリ１２２２により、いわゆるコンピュータが構成される。プロセッサ１２２１は、ＲＡＭをプログラムの作業スペースとして使用する。
ハードディスク装置１２２３は、補助記憶装置であり、プログラム等が記憶される。
通信モジュール１２２４には、例えばＵＳＢに準拠する通信モジュール、移動通信システムに準拠する通信モジュール、無線ＬＡＮに準拠する通信モジュールを使用する。
本実施の形態における移動通信システムは、第４世代（すなわち４Ｇ）、第５世代（すなわち５Ｇ）、第６世代（すなわち６Ｇ）のいずれでもよい。
本実施の形態で使用するＡＲサーバ１２２０は、携帯端末１０からユーザのジェスチャを含む画像等を受信し、ＡＲ画像として空中に描画される線の太さと方向を決定する。また、生成されたＡＲ画像とＡＲ画像を描画する絶対座標を携帯端末１０に通知する。これにより、ユーザの目の前には、ＡＲ画像としての線が空中に描画される。
【0138】
なお、図４９では、携帯端末１０を用いているが、頭部に装着する携帯端末１０００を用いてもよい。
また、ペダル装置６０（図３５参照）や押しボタン式のスイッチ１１００（図４８参照）を線の太さや線の濃さの指示に用いる場合には、これらに対する操作の情報をＡＲサーバ１２２０に通知してもよい。ＡＲサーバ１２２０は、クラウドサーバでもよいし、オンプレミスのサーバでもよい。また、ＡＲサーバ１２２０は、ＡＲ画像を空中に描画する機能をクラウドサービスとして提供してもよい。
また、ペダル装置６０（図３５参照）や押しボタン式のスイッチ１１００（図４８参照）を線の太さや線の濃さの指示に用いる場合には、これらに対する操作の情報をＡＲサーバ１２２０に通知してもよい。ＡＲサーバ１２２０は、クラウドサーバでもよいし、オンプレミスのサーバでもよい。また、ＡＲサーバ１２２０は、ＡＲ画像を空中に描画する機能をクラウドサービスとして提供してもよい。
【0139】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0140】
（１）前述の実施の形態においては、ジェスチャによりＡＲ画像を描画する場合について説明した。しかし、描画する画像はＭＲ（Mixed Reality）画像でもよい。ＭＲ画像は、ＡＲよりも現実世界との融合の度合が高い画像である。このため、複数人のユーザが同時刻に複数の方向からＭＲ画像を認識することが可能である。
【0141】
（２）前述の実施の形態では、線の太さや線の濃さの指示に人差し指の向きを用いているが、指示に用いる体の部位は、足、頭、腰、腕等でもよい。例えば図２３に示す各種の器具を、線の太さや線の濃さの指示に用いてもよい。
（３）前述の実施の形態の場合には、描画中の手に装着されるデバイスの一例として、ウェアラブル端末２０（図１７参照）を例示したが、指輪型のウェアラブル端末でもよい。
（３）前述の実施の形態の場合には、描画中の手に装着されるデバイスの一例として、ウェアラブル端末２０（図１７参照）を例示したが、指輪型のウェアラブル端末でもよい。
【0142】
（４）前述の実施の形態の場合には、指の開き具合で線の太さや濃さを指示する場合について説明したが、描画中における指の曲げ具合に応じて線の太さや濃さを指示してもよい。例えば右手の人差し指を用いて空中に線を描画する場合に、右手の中指を「まっすぐ延ばす」、「少し曲げる」、「折り曲げる」の３段階で曲げ具合を調整することにより、線の太さや濃さを調整してもよい。また例えば右手の人差し指を用いて空中に線を描画する場合に、左手の中指を「まっすぐ延ばす」、「少し曲げる」、「折り曲げる」の３段階で曲げ具合を調整することにより、線の太さや濃さを調整してもよい。なお、「折り曲げる」とは、指先が手の平に近づくまで曲げた状態をいう。もっとも、カメラ１２で撮像される画像から区別が可能であれば、曲がり具合は前述の例に限らない。
同様に、ペン形状のデバイス等の物体を持ちながら空中に線を描画する場合には、デバイスを持っている手の指、又は、デバイスを持ってない側の手の指を曲げることで、線の太さや濃さを調整してもよい。
同様に、ペン形状のデバイス等の物体を持ちながら空中に線を描画する場合には、デバイスを持っている手の指、又は、デバイスを持ってない側の手の指を曲げることで、線の太さや濃さを調整してもよい。
【0143】
（５）上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば CPU： Central Processing Unit、等）や、専用のプロセッサ（例えば GPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。
また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【符号の説明】
【0144】
１…ユーザ、２…左手、３…右手、４Ａ、４Ｂ、４Ｃ…マーク、１０、１０００…携帯端末、１１…タッチパネル、１２、５０、４０３、１００５…カメラ、１１１…ディスプレイ、２０…ウェアラブル端末、４０…超音波発生装置、６０…ペダル装置、７０、８０、９０…ペン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
