知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-11
(45)【発行日】2022-10-19
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20221012BHJP
G06F 3/0482 20130101ALI20221012BHJP
G03G 21/00 20060101ALI20221012BHJP
B41J 29/00 20060101ALI20221012BHJP
H04N 1/00 20060101ALI20221012BHJP
【ＦＩ】
G06F3/01 570
G06F3/01 560
G06F3/0482
G03G21/00 502
G03G21/00 388
G03G21/00 386
B41J29/00 T
H04N1/00 350
【請求項の数】
19
(21)【出願番号】P 2018102769
(22)【出願日】2018-05-29
(65)【公開番号】P2019207572
(43)【公開日】2019-12-05
【審査請求日】2021-03-19
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】得地 賢吾
【審査官】菅原 浩二
(56)【参考文献】
【文献】特開２０１４－０２１７６０（ＪＰ，Ａ）
【文献】特開２０１５－０８０２６５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／００５５１６８（ＵＳ，Ａ１）
【文献】国際公開第２０１２／０６３５６０（ＷＯ，Ａ１）
【文献】特開平１１－３２７７５３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００５２５１８（ＵＳ，Ａ１）
【文献】特開２０１７－２０１５３３（ＪＰ，Ａ）
【文献】特開２０００－０３７５５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８
Ｇ０３Ｇ ２１／００
Ｂ４１Ｊ ２９／００
Ｈ０４Ｎ １／００
(57)【特許請求の範囲】
【請求項1】
現実の空間に存在する操作の対象としての物体とは非接触に行われる現実の空間での第１のユーザの動きを検知する検知手段と、第２のユーザが操作する他の情報処理装置との通信を通じ、前記物体に対する当該第２のユーザの動きを操作の情報として受け付ける連携手段と、
前記第１のユーザの動きと前記連携手段で受け付けた前記第２のユーザの動きが予め定めた連携の条件を満たす場合、当該条件に対応付けられている特定の機能の実行を前記物体に指示する制御手段と、
を有し、前記第１のユーザが持つ又は身につけて使用する情報処理装置。
【請求項2】
前記第１のユーザの動きと前記第２のユーザの動きは、予め規定された互いに異なる操作である、請求項１に記載の情報処理装置。
【請求項3】
前記第１のユーザと前記第２のユーザの組み合わせに応じて、前記連携の条件として当該第１のユーザと当該第２のユーザに求められる操作の割り当てが異なる、請求項２に記載の情報処理装置。
【請求項4】
前記特定の機能の実行に関連付けられる前記第１のユーザと前記第２のユーザの動きは、当該特定の機能毎に設定される、請求項２に記載の情報処理装置。
【請求項5】
前記第１のユーザと前記第２のユーザの動きは、前記特定の機能に関連付けられた前記物体の異なる操作子に対応付けられている、請求項１に記載の情報処理装置。
【請求項6】
前記第１のユーザと前記第２のユーザの動きは、前記物体毎に設定される、請求項１に記載の情報処理装置。
【請求項7】
前記第１のユーザと前記第２のユーザの動きは、前記特定の機能に関連付けられた前記物体の同じ操作子に対応付けられている、請求項１に記載の情報処理装置。
【請求項8】
前記第１のユーザと前記第２のユーザの動きのそれぞれに対応する操作の向きが反対の場合、当該第１のユーザの動きと前記第２のユーザの動きを合成した結果に応じて前記特定の機能が実行される、請求項１に記載の情報処理装置。
【請求項9】
前記制御手段は、前記連携の条件を満たす場合、前記検知手段で検知された前記第１のユーザの動きと前記連携手段で受け付けた前記第２のユーザの動きの大きさをユーザ毎に調整した後に合成する、請求項８に記載の情報処理装置。
【請求項10】
前記第１のユーザと前記第２のユーザの動きのそれぞれに対応する操作の向きが同じ場合、当該第１のユーザと当該第２のユーザの動きを合成した結果に応じて前記特定の機能が実行される、請求項１に記載の情報処理装置。
【請求項11】
共通の前記物体に対する前記第２のユーザの操作の存在を報知する、請求項１に記載の情報処理装置。
【請求項12】
前記第２のユーザの動きを表示する画像を、前記物体を撮像した作業用の画像とともに表示する、請求項１１に記載の情報処理装置。
【請求項13】
前記第２のユーザが操作に用いている画像を、前記物体を撮像する画面とともに表示する、請求項１１に記載の情報処理装置。
【請求項14】
検知された動きに応じた触覚を生成して前記第１のユーザに付与する、請求項１に記載の情報処理装置。
【請求項15】
触覚は、前記特定の機能に応じて異なる、請求項１４に記載の情報処理装置。
【請求項16】
触覚は、前記特定の機能に対する操作として受け付けた場合に付与される、請求項１４に記載の情報処理装置。
【請求項17】
触覚は、前記第２のユーザの動きに応じて生成される、請求項１４に記載の情報処理装置。
【請求項18】
触覚は、共通の部位に対する前記第２のユーザの動きに応じて生成される、請求項１７に記載の情報処理装置。
【請求項19】
ユーザと接して使用されるコンピュータに、現実の空間に存在する操作の対象としての物体とは非接触に行われる現実の空間での第１のユーザの動きを検知する機能と、
第２のユーザが操作する他の情報処理装置との通信を通じ、前記物体に対する当該第２のユーザの動きを操作の情報として受け付ける機能と、
前記第１のユーザの動きと前記受け付ける機能で受け付けた前記第２のユーザの動きが予め定めた連携の条件を満たす場合、当該条件に対応付けられている特定の機能の実行を前記物体に指示する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
ユーザが操作する携帯機器に内蔵されたカメラで撮像した画像に含まれる機器を認識し、認識された機器に対応する仮想ユーザインタフェースを拡張現実の空間に表示し、この仮想ユーザインタフェースを通じて機器を操作することが提示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－１７２４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
機器の操作には、ユーザの接触による指示が前提とされる。
【0005】
本発明は、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、現実の空間に存在する操作の対象としての物体とは非接触に行われる現実の空間での第１のユーザの動きを検知する検知手段と、第２のユーザが操作する他の情報処理装置との通信を通じ、前記物体に対する当該第２のユーザの動きを操作の情報として受け付ける連携手段と、前記第１のユーザの動きと前記連携手段で受け付けた前記第２のユーザの動きが予め定めた連携の条件を満たす場合、当該条件に対応付けられている特定の機能の実行を前記物体に指示する制御手段と、を有し、前記第１のユーザが持つ又は身につけて使用する情報処理装置である。
請求項２に記載の発明は、前記第１のユーザの動きと前記第２のユーザの動きは、予め規定された互いに異なる操作である、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記第１のユーザと前記第２のユーザの組み合わせに応じて、前記連携の条件として当該第１のユーザと当該第２のユーザに求められる操作の割り当てが異なる、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記特定の機能の実行に関連付けられる前記第１のユーザと前記第２のユーザの動きは、当該特定の機能毎に設定される、請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記第１のユーザと前記第２のユーザの動きは、前記特定の機能に関連付けられた前記物体の異なる操作子に対応付けられている、請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記第１のユーザと前記第２のユーザの動きは、前記物体毎に設定される、請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記第１のユーザと前記第２のユーザの動きは、前記特定の機能に関連付けられた前記物体の同じ操作子に対応付けられている、請求項１に記載の情報処理装置である。
請求項８に記載の発明は、前記第１のユーザと前記第２のユーザの動きのそれぞれに対応する操作の向きが反対の場合、当該第１のユーザの動きと前記第２のユーザの動きを合成した結果に応じて前記特定の機能が実行される、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記制御手段は、前記連携の条件を満たす場合、前記検知手段で検知された前記第１のユーザの動きと前記連携手段で受け付けた前記第２のユーザの動きの大きさをユーザ毎に調整した後に合成する、請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記第１のユーザと前記第２のユーザの動きのそれぞれに対応する操作の向きが同じ場合、当該第１のユーザと当該第２のユーザの動きを合成した結果に応じて前記特定の機能が実行される、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、共通の前記物体に対する前記第２のユーザの操作の存在を報知する、請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、前記第２のユーザの動きを表示する画像を、前記物体を撮像した作業用の画像とともに表示する、請求項１１に記載の情報処理装置である。
請求項１３に記載の発明は、前記第２のユーザが操作に用いている画像を、前記物体を撮像する画面とともに表示する、請求項１１に記載の情報処理装置である。
請求項１４に記載の発明は、検知された動きに応じた触覚を生成して前記第１のユーザに付与する、請求項１に記載の情報処理装置である。
請求項１５に記載の発明は、触覚は、前記特定の機能に応じて異なる、請求項１４に記載の情報処理装置である。
請求項１６に記載の発明は、触覚は、前記特定の機能に対する操作として受け付けた場合に付与される、請求項１４に記載の情報処理装置である。
請求項１７に記載の発明は、触覚は、前記第２のユーザの動きに応じて生成される、請求項１４に記載の情報処理装置である。
請求項１８に記載の発明は、触覚は、共通の部位に対する前記第２のユーザの動きに応じて生成される、請求項１７に記載の情報処理装置である。
請求項１９に記載の発明は、ユーザと接して使用されるコンピュータに、現実の空間に存在する操作の対象としての物体とは非接触に行われる現実の空間での第１のユーザの動きを検知する機能と、第２のユーザが操作する他の情報処理装置との通信を通じ、前記物体に対する当該第２のユーザの動きを操作の情報として受け付ける機能と、前記第１のユーザの動きと前記受け付ける機能で受け付けた前記第２のユーザの動きが予め定めた連携の条件を満たす場合、当該条件に対応付けられている特定の機能の実行を前記物体に指示する機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記第１のユーザの動きと前記第２のユーザの動きは、予め規定された互いに異なる操作である、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記第１のユーザと前記第２のユーザの組み合わせに応じて、前記連携の条件として当該第１のユーザと当該第２のユーザに求められる操作の割り当てが異なる、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記特定の機能の実行に関連付けられる前記第１のユーザと前記第２のユーザの動きは、当該特定の機能毎に設定される、請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記第１のユーザと前記第２のユーザの動きは、前記特定の機能に関連付けられた前記物体の異なる操作子に対応付けられている、請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記第１のユーザと前記第２のユーザの動きは、前記物体毎に設定される、請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記第１のユーザと前記第２のユーザの動きは、前記特定の機能に関連付けられた前記物体の同じ操作子に対応付けられている、請求項１に記載の情報処理装置である。
請求項８に記載の発明は、前記第１のユーザと前記第２のユーザの動きのそれぞれに対応する操作の向きが反対の場合、当該第１のユーザの動きと前記第２のユーザの動きを合成した結果に応じて前記特定の機能が実行される、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記制御手段は、前記連携の条件を満たす場合、前記検知手段で検知された前記第１のユーザの動きと前記連携手段で受け付けた前記第２のユーザの動きの大きさをユーザ毎に調整した後に合成する、請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記第１のユーザと前記第２のユーザの動きのそれぞれに対応する操作の向きが同じ場合、当該第１のユーザと当該第２のユーザの動きを合成した結果に応じて前記特定の機能が実行される、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、共通の前記物体に対する前記第２のユーザの操作の存在を報知する、請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、前記第２のユーザの動きを表示する画像を、前記物体を撮像した作業用の画像とともに表示する、請求項１１に記載の情報処理装置である。
請求項１３に記載の発明は、前記第２のユーザが操作に用いている画像を、前記物体を撮像する画面とともに表示する、請求項１１に記載の情報処理装置である。
請求項１４に記載の発明は、検知された動きに応じた触覚を生成して前記第１のユーザに付与する、請求項１に記載の情報処理装置である。
請求項１５に記載の発明は、触覚は、前記特定の機能に応じて異なる、請求項１４に記載の情報処理装置である。
請求項１６に記載の発明は、触覚は、前記特定の機能に対する操作として受け付けた場合に付与される、請求項１４に記載の情報処理装置である。
請求項１７に記載の発明は、触覚は、前記第２のユーザの動きに応じて生成される、請求項１４に記載の情報処理装置である。
請求項１８に記載の発明は、触覚は、共通の部位に対する前記第２のユーザの動きに応じて生成される、請求項１７に記載の情報処理装置である。
請求項１９に記載の発明は、ユーザと接して使用されるコンピュータに、現実の空間に存在する操作の対象としての物体とは非接触に行われる現実の空間での第１のユーザの動きを検知する機能と、第２のユーザが操作する他の情報処理装置との通信を通じ、前記物体に対する当該第２のユーザの動きを操作の情報として受け付ける機能と、前記第１のユーザの動きと前記受け付ける機能で受け付けた前記第２のユーザの動きが予め定めた連携の条件を満たす場合、当該条件に対応付けられている特定の機能の実行を前記物体に指示する機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項２記載の発明によれば、複数のユーザによる予め規定された動き以外を無効化できる。
請求項３記載の発明によれば、個々のユーザに割り当てられている動きの組み合わせ以外を無効化できる。
請求項４記載の発明によれば、機能毎に個々のユーザに割り当てられている動きの組み合わせ以外を無効化できる。
請求項５記載の発明によれば、機能毎に対応付けられている複数の操作子の組み合わせ以外の操作を無効化できる。
請求項６記載の発明によれば、物体毎に機能の実行に要求される動きの組み合わせを区別できる。
請求項７記載の発明によれば、物体毎に機能の実行に要求される動きの組み合わせを区別できる。
請求項８記載の発明によれば、複数のユーザによる動きを合成した操作を実現できる。
請求項９記載の発明によれば、各ユーザの動きを補正した操作を実現できる。
請求項１０記載の発明によれば、複数のユーザによる動きを合成した操作を実現できる。
請求項１１記載の発明によれば、同じ物体を操作の対象としている他のユーザの存在を知ることができる。
請求項１２記載の発明によれば、他のユーザとの操作の連携が容易になる。
請求項１３記載の発明によれば、他のユーザとの操作の連携が容易になる。
請求項１４記載の発明によれば、各ユーザの操作感を高めることができる。
請求項１５記載の発明によれば、各ユーザの操作感を高めることができる。
請求項１６記載の発明によれば、各ユーザの操作感を高めることができる。
請求項１７記載の発明によれば、他のユーザとの操作の連携が容易になる。
請求項１８記載の発明によれば、他のユーザとの操作の連携が容易になる。
請求項１９記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項２記載の発明によれば、複数のユーザによる予め規定された動き以外を無効化できる。
請求項３記載の発明によれば、個々のユーザに割り当てられている動きの組み合わせ以外を無効化できる。
請求項４記載の発明によれば、機能毎に個々のユーザに割り当てられている動きの組み合わせ以外を無効化できる。
請求項５記載の発明によれば、機能毎に対応付けられている複数の操作子の組み合わせ以外の操作を無効化できる。
請求項６記載の発明によれば、物体毎に機能の実行に要求される動きの組み合わせを区別できる。
請求項７記載の発明によれば、物体毎に機能の実行に要求される動きの組み合わせを区別できる。
請求項８記載の発明によれば、複数のユーザによる動きを合成した操作を実現できる。
請求項９記載の発明によれば、各ユーザの動きを補正した操作を実現できる。
請求項１０記載の発明によれば、複数のユーザによる動きを合成した操作を実現できる。
請求項１１記載の発明によれば、同じ物体を操作の対象としている他のユーザの存在を知ることができる。
請求項１２記載の発明によれば、他のユーザとの操作の連携が容易になる。
請求項１３記載の発明によれば、他のユーザとの操作の連携が容易になる。
請求項１４記載の発明によれば、各ユーザの操作感を高めることができる。
請求項１５記載の発明によれば、各ユーザの操作感を高めることができる。
請求項１６記載の発明によれば、各ユーザの操作感を高めることができる。
請求項１７記載の発明によれば、他のユーザとの操作の連携が容易になる。
請求項１８記載の発明によれば、他のユーザとの操作の連携が容易になる。
請求項１９記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係るシステムの一例を説明する図である。
【図2】画像形成装置のハードウェア構成の一例を説明する図である。
【図3】スマートフォンのハードウェア構成の一例を説明する図である。
【図4】プログラムの実行を通じて処理回路部が実現する機能構成の一例を説明する図である。
【図5】画像形成装置の操作用に設けられるテーブルの一例を示す図である。
【図6】処理回路部において実行される処理動作の一例のうちの一部分を説明するフローチャートである。
【図7】処理回路部において実行される処理動作の一例のうちの残りの部分を説明するフローチャートである。
【図8】撮像者であるユーザＢが自身の人差し指を画面上で画像形成装置に重なるように撮像する様子を説明する図である。
【図9】画像形成装置に非接触のまま人差し指を空中で前方に押すような動作を撮像する様子を説明する図である。
【図10】操作の受け付けをユーザに報知する他の方法を説明する図である。
【図11】操作の受け付けをユーザに報知する他の方法を説明する図である。
【図12】操作の受け付けをユーザに報知する他の方法を説明する図である。
【図13】人差し指の像を液晶ディスプレイに表示させない手法を説明する図である。
【図14】人差し指の像を液晶ディスプレイに表示させる場合の他の手法を説明する図である。
【図15】ユーザＢとユーザＣの連携による操作の例を説明する図である。
【図16】ユーザＢと連携するユーザＣによる操作の様子を説明する図である。
【図17】ユーザＣと連携するユーザＢによる操作の様子を説明する図である。
【図18】ユーザＢによる認証が完了した後におけるユーザＣが操作するスマートフォンの画面に現れる変化を説明する図である。
【図19】実施の形態２に係るシステムの一例を説明する図である。
【図20】扉の操作用のテーブルの一例を示す図である。
【図21】操作者であるユーザＡ又はユーザＢが自身の右手をノブの像に重なるように撮像する様子を説明する図である。
【図22】操作者がユーザＡ単独である場合の操作の一例を説明する図である。
【図23】操作者がユーザＡとユーザＣの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
【図24】操作者がユーザＡとユーザＢの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
【図25】操作者がユーザＡとユーザＢの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
【図26】実施の形態３に係るシステムの一例を説明する図である。
【図27】金庫のハードウェア構成の一例を説明する図である。
【図28】金庫の操作用のテーブルの一例を示す図である。
【図29】ユーザＢが自身の右手を右側のダイヤル錠の像に重ねて撮像する例を説明する図である。
【図30】ユーザＢが自身の右手を右側のダイヤル錠の像に重ねて撮像する他の例を説明する図である。
【図31】ユーザＢが自身の右手を右側のダイヤル錠の像に重ねて撮像する他の例を説明する図である。
【図32】表示装置の表示面に表示されている画像を撮像の対象とする場合を説明する図である。
【図33】スマートフォン以外のカメラで撮像されている物体を身振りで操作する例を説明する図である。
【図34】ウェアラブル型の情報処理装置を用いるシステムの一例を説明する図である。
【図35】植木の移動を身振りで指示する場合を説明する図である。
【図36】ロボットのハードウェア構成を説明する図である。
【図37】複数のユーザが連携して植木の移動をロボットに指示する例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム例＞
図１は、実施の形態１に係るシステムの一例を説明する図である。
図１に示すシステムは、記録材（以下、代表して「用紙」と記す場合もある。）に画像を形成する画像形成装置１００と、画像形成装置１００を撮像する２台のスマートフォン２００Ａ、２００Ｂとで構成されている。
画像形成装置１００は、操作の対象として現実の空間に存在する物体の一例である。
＜実施の形態１＞
＜システム例＞
図１は、実施の形態１に係るシステムの一例を説明する図である。
図１に示すシステムは、記録材（以下、代表して「用紙」と記す場合もある。）に画像を形成する画像形成装置１００と、画像形成装置１００を撮像する２台のスマートフォン２００Ａ、２００Ｂとで構成されている。
画像形成装置１００は、操作の対象として現実の空間に存在する物体の一例である。
【0010】
本実施の形態における画像形成装置１００は、複製物を生成するコピー機能、原稿の画像を読み取るスキャン機能、他機との間でファックス画像を受け渡しするファックス送受信機能、用紙に画像を記録する印刷機能等を備えている。コピー機能は、スキャン機能と印刷機能とを組み合わせることで実現される。
なお、画像形成装置１００は、コピー機能、スキャン機能、ファックス送受信機能の全てを備える必要はなく、いずれか１つの機能に特化した装置、例えば複写機、スキャナ、ファックス送受信機、印刷装置でもよい。
また、画像形成装置１００は、これらの機能の一部を選択的に組み合わせた装置構成を有していてもよい。
画像形成装置１００は、ユーザからの操作の受け付けやユーザに対する各種情報の提示に用いられるユーザインタフェース部１１０と、原稿の画像を読み取る画像読取ユニット１２０と、用紙上に画像を記録する画像形成ユニット１３０と、用紙を収容する収容部１４０とで構成されている。
なお、画像形成装置１００は、コピー機能、スキャン機能、ファックス送受信機能の全てを備える必要はなく、いずれか１つの機能に特化した装置、例えば複写機、スキャナ、ファックス送受信機、印刷装置でもよい。
また、画像形成装置１００は、これらの機能の一部を選択的に組み合わせた装置構成を有していてもよい。
画像形成装置１００は、ユーザからの操作の受け付けやユーザに対する各種情報の提示に用いられるユーザインタフェース部１１０と、原稿の画像を読み取る画像読取ユニット１２０と、用紙上に画像を記録する画像形成ユニット１３０と、用紙を収容する収容部１４０とで構成されている。
【0011】
スマートフォン２００Ａ及び２００Ｂは、携帯型の端末装置であり、後述するように撮像用のカメラ、表示画面、通信機能等を備えている。
スマートフォン２００Ａ及び２００Ｂは、情報処理装置の一例である。
本実施の形態の場合、スマートフォン２００ＡをユーザＡが操作し、スマートフォン２００ＢをユーザＢが操作する。
図１に示すスマートフォン２００Ａ及び２００Ｂの表示画面には、画像形成装置１００の像１００Ａ、１００Ｂが表示されている。
以下では、スマートフォン２００Ａ及び２００Ｂを総称してスマートフォン２００と言うことがある。
スマートフォン２００Ａ及び２００Ｂは、情報処理装置の一例である。
本実施の形態の場合、スマートフォン２００ＡをユーザＡが操作し、スマートフォン２００ＢをユーザＢが操作する。
図１に示すスマートフォン２００Ａ及び２００Ｂの表示画面には、画像形成装置１００の像１００Ａ、１００Ｂが表示されている。
以下では、スマートフォン２００Ａ及び２００Ｂを総称してスマートフォン２００と言うことがある。
【0012】
＜画像形成装置の構成＞
図２は、画像形成装置１００のハードウェア構成の一例を説明する図である。
図２には、図１との対応部分に対応する符号を付して示している。
ユーザインタフェース部１１０は、操作画面等の表示に使用される表示部１１１と、ユーザの入力操作を受け付ける操作受付部１１２とを備えている。
表示部１１１は、例えば液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネル等で構成されている。
操作受付部１１２は、ユーザによる操作入力を受け付けるボタンやタッチパッド等で構成されている。
図２は、画像形成装置１００のハードウェア構成の一例を説明する図である。
図２には、図１との対応部分に対応する符号を付して示している。
ユーザインタフェース部１１０は、操作画面等の表示に使用される表示部１１１と、ユーザの入力操作を受け付ける操作受付部１１２とを備えている。
表示部１１１は、例えば液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネル等で構成されている。
操作受付部１１２は、ユーザによる操作入力を受け付けるボタンやタッチパッド等で構成されている。
【0013】
画像読取ユニット１２０は、原稿から画像を読み取る画像読取部と、画像読取部に原稿を搬送する原稿搬送部とを有している。画像読取ユニット１２０は、画像形成ユニット１３０の上部に配置される。
画像形成ユニット１３０は、制御部として機能するＭＰＵ（Micro Processing Unit）１３１と、ＲＯＭ（Read Only Memory）１３２と、ＲＡＭ（Random Access Memory）１３３を有している。
ＭＰＵ１３１は、ＲＯＭ１３２から読み出したファームウェア等のプログラムを実行し、各種の機能を提供する。ＲＡＭ１３３は、プログラムの作業領域として使用される。
画像形成ユニット１３０は、制御部として機能するＭＰＵ（Micro Processing Unit）１３１と、ＲＯＭ（Read Only Memory）１３２と、ＲＡＭ（Random Access Memory）１３３を有している。
ＭＰＵ１３１は、ＲＯＭ１３２から読み出したファームウェア等のプログラムを実行し、各種の機能を提供する。ＲＡＭ１３３は、プログラムの作業領域として使用される。
【0014】
画像形成ユニット１３０には、その他に、画像データ等の記憶に用いられる記憶部１３４、画像データに色補正や階調補正等の画像処理を加える画像処理部１３５、電子写真方式やインクジェット方式で用紙に画像を形成する画像形成部１３６、外部との通信に用いられる通信部１３７等を有している。
記憶部１３４は、ハードディスク装置や半導体メモリ等の不揮発性の記憶媒体を有している。記憶部１３４には、画像読取ユニット１２０で読み取った原稿の画像データや通信部１３７を通じて受信した画像データが記憶される。
記憶部１３４は、ハードディスク装置や半導体メモリ等の不揮発性の記憶媒体を有している。記憶部１３４には、画像読取ユニット１２０で読み取った原稿の画像データや通信部１３７を通じて受信した画像データが記憶される。
【0015】
画像処理部１３５は、例えば専用のプロセッサや処理ボードによって構成される。
通信部１３７は、ＬＡＮ（Local Area Network）インタフェースやファクシミリ通信網サービスのインタフェースを備えている。前述したスマートフォン２００（図１参照）との通信にはＬＡＮインタフェースが使用される。
なお、ＭＰＵ１３１、ＲＯＭ１３２、ＲＡＭ１３３、記憶部１３４、画像処理部１３５、画像形成部１３６、通信部１３７は、バス１３８を通じて互いに接続されている。また、前述したユーザインタフェース部１１０と画像読取ユニット１２０は、インタフェース１３９を通じてバス１３８に接続されている。
通信部１３７は、ＬＡＮ（Local Area Network）インタフェースやファクシミリ通信網サービスのインタフェースを備えている。前述したスマートフォン２００（図１参照）との通信にはＬＡＮインタフェースが使用される。
なお、ＭＰＵ１３１、ＲＯＭ１３２、ＲＡＭ１３３、記憶部１３４、画像処理部１３５、画像形成部１３６、通信部１３７は、バス１３８を通じて互いに接続されている。また、前述したユーザインタフェース部１１０と画像読取ユニット１２０は、インタフェース１３９を通じてバス１３８に接続されている。
【0016】
＜スマートフォンの構成＞
図３は、スマートフォン２００のハードウェア構成の一例を説明する図である。
スマートフォン２００は、データを処理する処理回路部２１０と、プログラムやデータを記憶する不揮発性のメモリ２２１と、オーディオ信号を入出力するオーディオ回路２２２と、画像を表示する液晶ディスプレイ（ＬＣＤ）２２３と、電源制御デバイス２２４と、画像を撮像するカメラ２２５と、操作面に対する接触を検知するタッチパッド２２６と、ＷｉＦｉ（登録商標）規格に準拠する無線信号を送受信するＷｉＦｉ（Wireless Fidelity）モジュール２２７と、近距離無線通信規格の１つであるブルートゥース（登録商標）規格に準拠する無線信号を送受信するBluetoothモジュール２２８と、物体に接触していない体の部位に人工的な触覚を与える空中触覚モジュール２２９と、を有している。
図３は、スマートフォン２００のハードウェア構成の一例を説明する図である。
スマートフォン２００は、データを処理する処理回路部２１０と、プログラムやデータを記憶する不揮発性のメモリ２２１と、オーディオ信号を入出力するオーディオ回路２２２と、画像を表示する液晶ディスプレイ（ＬＣＤ）２２３と、電源制御デバイス２２４と、画像を撮像するカメラ２２５と、操作面に対する接触を検知するタッチパッド２２６と、ＷｉＦｉ（登録商標）規格に準拠する無線信号を送受信するＷｉＦｉ（Wireless Fidelity）モジュール２２７と、近距離無線通信規格の１つであるブルートゥース（登録商標）規格に準拠する無線信号を送受信するBluetoothモジュール２２８と、物体に接触していない体の部位に人工的な触覚を与える空中触覚モジュール２２９と、を有している。
【0017】
本実施の形態の場合、カメラ２２５が設けられる面と液晶ディスプレイ２２３が設けられる面とは、表面と裏面の関係にある。
このため、ユーザは、現実の空間に存在する物体（例えば画像形成装置）と自身の体の一部（例えば指、手、足）をカメラ２２５で撮像しながら、その画像を液晶ディスプレイ２２３で確認することが可能である。
なお、カメラ２２５が複数設けられている場合や液晶ディスプレイ２２３が複数設けられている場合には、少なくとも１組のカメラ２２５と液晶ディスプレイ２２３が表面と裏面の位置に配置されていればよい。
本実施の形態では、液晶ディスプレイ２２３を用いているが、有機ＥＬ（Electro-Luminescence）ディスプレイその他の表示手段を用いてもよい。
本実施の形態における空中触覚モジュール２２９は、例えば複数の超音波振動子を格子状に並べた超音波振動子アレーで構成される。この種の空中触覚モジュール２２９は、空中の任意の位置に超音波の焦点を生成することができる。焦点の分布や振動の強さを調整することにより、ユーザによって知覚される触覚は変化する。
例えば操作の対象である機能に応じ、生成する触覚を変化させてもよい。触覚は、例えばユーザの動きが検知された場合、特定の機能に対する操作として受け付けられた場合等に生成される。また、他のユーザの動きや動きの強さを、触覚を通じて伝達してもよい。空中触覚モジュール２２９は、触覚を付与する付与手段の一例である。
このため、ユーザは、現実の空間に存在する物体（例えば画像形成装置）と自身の体の一部（例えば指、手、足）をカメラ２２５で撮像しながら、その画像を液晶ディスプレイ２２３で確認することが可能である。
なお、カメラ２２５が複数設けられている場合や液晶ディスプレイ２２３が複数設けられている場合には、少なくとも１組のカメラ２２５と液晶ディスプレイ２２３が表面と裏面の位置に配置されていればよい。
本実施の形態では、液晶ディスプレイ２２３を用いているが、有機ＥＬ（Electro-Luminescence）ディスプレイその他の表示手段を用いてもよい。
本実施の形態における空中触覚モジュール２２９は、例えば複数の超音波振動子を格子状に並べた超音波振動子アレーで構成される。この種の空中触覚モジュール２２９は、空中の任意の位置に超音波の焦点を生成することができる。焦点の分布や振動の強さを調整することにより、ユーザによって知覚される触覚は変化する。
例えば操作の対象である機能に応じ、生成する触覚を変化させてもよい。触覚は、例えばユーザの動きが検知された場合、特定の機能に対する操作として受け付けられた場合等に生成される。また、他のユーザの動きや動きの強さを、触覚を通じて伝達してもよい。空中触覚モジュール２２９は、触覚を付与する付与手段の一例である。
【0018】
処理回路部２１０には、メモリ２２１との間でデータの読み書きを制御するメモリ制御部２１１と、処理を実行する複数のＣＰＵコア（Central Processing Unit Core）２１２と、電源の供給を管理する電源管理部２１３と、組み込みシステムの動作を管理するシステム管理部２１４と、オーディオ信号を処理するオーディオ処理部２１５と、実時間で画像を処理するＧＰＵ（Graphics Processing Unit）２１６と、液晶ディスプレイ２２３に画像を表示するディスプレイ制御部２１７と、外部のモジュールとの接続に使用される外部インタフェース（Ｉ／Ｆ）２１８と、ベースバンド信号を処理するベースバンド回路２１９とが設けられている。
【0019】
図４は、プログラムの実行を通じて処理回路部２１０が実現する機能構成の一例を説明する図である。
ここでの処理回路部２１０は、検知手段の一例であるとともに制御手段の一例でもある。
処理回路部２１０は、画像データを処理してユーザの身振りを検知する身振り検知部２５１と、操作の対象とする物体を検知する操作対象検知部２５２と、操作の対象とする物体（本実施の形態では画像形成装置１００）から物体が備える機能の情報を取得する対象側機能取得部２５３と、ユーザの身振りを操作として受け付ける操作受付部２５４と、受け付けた操作に対応する指示を対象とする物体に送信する指示送信部２５５と、操作の受け付けをユーザに報知する報知部２５６と、同一（共通）の物体に対する他のユーザの操作との連携を実現する連携部２５７として機能する。
ここでの処理回路部２１０は、検知手段の一例であるとともに制御手段の一例でもある。
処理回路部２１０は、画像データを処理してユーザの身振りを検知する身振り検知部２５１と、操作の対象とする物体を検知する操作対象検知部２５２と、操作の対象とする物体（本実施の形態では画像形成装置１００）から物体が備える機能の情報を取得する対象側機能取得部２５３と、ユーザの身振りを操作として受け付ける操作受付部２５４と、受け付けた操作に対応する指示を対象とする物体に送信する指示送信部２５５と、操作の受け付けをユーザに報知する報知部２５６と、同一（共通）の物体に対する他のユーザの操作との連携を実現する連携部２５７として機能する。
【0020】
本実施の形態における身振り検知部２５１は、例えばカメラ２２５で撮像された画像からユーザの体の一部（例えば指、手、足）の動きを身振りとして検知する。動きの意味は、操作の対象として検知される物体毎に異なる。また、同じ物体に対する動きでも操作の対象とする機能が異なれば、動きの意味は異なる。
本実施の形態における身振りには、例えば押す、引く、回す、握る、蹴る、踏む、クリック、ダブルクリック、ドラッグ、タップ、フリック、スワイプ等が含まれる。なお、身振りの特定には、深層学習の機能を用いてもよい。
本実施の形態における身振りには、例えば押す、引く、回す、握る、蹴る、踏む、クリック、ダブルクリック、ドラッグ、タップ、フリック、スワイプ等が含まれる。なお、身振りの特定には、深層学習の機能を用いてもよい。
【0021】
身振りの検知には、他の手法の活用も可能である。例えば半導体レーザやＬＥＤ（Light Emitting Diode）から発射された光が物体で反射して戻ってくるまでの時間を画素毎に計測して物体までの距離を求めるＴＯＦ（Time Of Flight）方式、時系列に変化する縦縞パターンを投影した物体を撮像した画素に現れる輝度の変化から物体までの距離を求めるＳＬ（Structured Light）時系列パターン投影方式、超音波やミリ波を用いて物体までの距離を求める方式等をそれぞれ単独で、又は、組み合わせてもよい。組み合わせの対象には、撮像された画像を処理して身振りを認識する技術も含まれる。
【0022】
本実施の形態における操作対象検知部２５２は、液晶ディスプレイ２２３（図３参照）に表示される画像を分析して操作の対象となる物体やその操作子等を検知する。
本実施の形態における操作子には、操作の対象となる物理的な構造物（例えばボタン、スイッチ）、ソフトウェア的に再現される画面上の表示（例えばボタン、スイッチ）等が含まれる。
処理に用いる画像は、スマートフォン２００に設けられたカメラ２２５から取得される実時間の画像データに限らず、メモリ２２１や外部から取得される画像データでもよい。
画面内に複数の物体が含まれる場合、操作対象検知部２５２は、例えば液晶ディスプレイ２２３に表示される像が画面の中央により近い物体を対象として検知してもよいし、ユーザの体の一部の像と重なる位置の物体を操作の対象として検知してもよい。
なお、操作対象検知部２５２は、無線ＬＡＮ等によってスマートフォン２００と接続中の機器の一覧の中からユーザによって選択された機器を操作の対象として検知してもよい。
本実施の形態における操作子には、操作の対象となる物理的な構造物（例えばボタン、スイッチ）、ソフトウェア的に再現される画面上の表示（例えばボタン、スイッチ）等が含まれる。
処理に用いる画像は、スマートフォン２００に設けられたカメラ２２５から取得される実時間の画像データに限らず、メモリ２２１や外部から取得される画像データでもよい。
画面内に複数の物体が含まれる場合、操作対象検知部２５２は、例えば液晶ディスプレイ２２３に表示される像が画面の中央により近い物体を対象として検知してもよいし、ユーザの体の一部の像と重なる位置の物体を操作の対象として検知してもよい。
なお、操作対象検知部２５２は、無線ＬＡＮ等によってスマートフォン２００と接続中の機器の一覧の中からユーザによって選択された機器を操作の対象として検知してもよい。
【0023】
本実施の形態における対象側機能取得部２５３は、例えば操作対象検知部２５２で検知された物体との通信を通じ、操作が可能な操作子の情報を取得する。例えば無線ＬＡＮを用い、操作子の情報を取得する。
また、対象側機能取得部２５３は、例えば通信可能な機器のそれぞれから操作が可能な操作子の情報を取得してもよい。
なお、操作の対象が通信機能を有しているとは限らない。例えば操作の対象が植物や自然物の場合である。この場合でも、対象側機能取得部２５３は、人の動きを代行可能なロボットその他の機器と通信し、実行が可能な操作の情報を取得してもよい。
また、対象側機能取得部２５３は、例えば通信可能な機器のそれぞれから操作が可能な操作子の情報を取得してもよい。
なお、操作の対象が通信機能を有しているとは限らない。例えば操作の対象が植物や自然物の場合である。この場合でも、対象側機能取得部２５３は、人の動きを代行可能なロボットその他の機器と通信し、実行が可能な操作の情報を取得してもよい。
【0024】
本実施の形態における操作受付部２５４は、身振り検知部２５１が検知した身振りを、操作対象検知部２５２が検知した物体の特定の機能に対する操作として受け付ける。
操作受付部２５４は、例えば物体別に用意されたテーブル２５４Ａを参照して操作を受け付ける。なお、テーブル２５４Ａは、機能別に用意されていてもよい。図４の場合、テーブル２５４Ａは、操作受付部２５４に記憶されている。もっとも、テーブル２５４Ａは、処理回路部２１０に接続されたメモリ２２１（図３参照）に記憶されていてもよい。
操作受付部２５４は、例えば物体別に用意されたテーブル２５４Ａを参照して操作を受け付ける。なお、テーブル２５４Ａは、機能別に用意されていてもよい。図４の場合、テーブル２５４Ａは、操作受付部２５４に記憶されている。もっとも、テーブル２５４Ａは、処理回路部２１０に接続されたメモリ２２１（図３参照）に記憶されていてもよい。
【0025】
図５は、画像形成装置１００（図１参照）の操作用に設けられるテーブル２５４Ａ１の一例を示す図である。
テーブル２５４Ａ１には、画像形成装置１００に対して想定される操作の内容と個々のユーザとの関係が記録されている。
テーブル２５４Ａ１の内容は、権限を有するユーザや管理者が登録又は修正することができる。
想定される操作の内容は、操作の対象とする画像形成装置１００が有する又は実行可能な機能に限らない。操作の内容には、例えば画像形成装置１００に外力を加えて移動させる操作、蓋や引き出しなどの可動部を開閉する操作を含んでもよい。
テーブル２５４Ａ１には、画像形成装置１００に対して想定される操作の内容と個々のユーザとの関係が記録されている。
テーブル２５４Ａ１の内容は、権限を有するユーザや管理者が登録又は修正することができる。
想定される操作の内容は、操作の対象とする画像形成装置１００が有する又は実行可能な機能に限らない。操作の内容には、例えば画像形成装置１００に外力を加えて移動させる操作、蓋や引き出しなどの可動部を開閉する操作を含んでもよい。
【0026】
本実施の形態の場合、テーブル２５４Ａ１には、例えばユーザ毎に、特定の操作の実行者として許容されているか否か、他のユーザとの連携が必要か否か、連携が必要である場合に求められる操作の内容等が記録される。
他のユーザとの連携が必要な操作には、例えば同じタイミングで実行されることが必要な操作、又は、時間的に連続して実行されることが必要な操作、又は、１つの操作を複数の要素に分解した操作をいう。時間的に連続して実行される必要がある場合には、連携するユーザの操作が予め定められた時間内に実行されることが必要である。
なお、他のユーザは、１人に限らず複数人でもよい。
また、テーブル２５４Ａ１では規定されていないが、連携が要求される複数人のユーザ間での実行の順番が規定されていてもよい。実行の順番が規定されている場合には、各ユーザが規定された順番に操作を実行しない限り、操作受付部２５４（図４参照）は、操作の実行を指示しない。
他のユーザとの連携が必要な操作には、例えば同じタイミングで実行されることが必要な操作、又は、時間的に連続して実行されることが必要な操作、又は、１つの操作を複数の要素に分解した操作をいう。時間的に連続して実行される必要がある場合には、連携するユーザの操作が予め定められた時間内に実行されることが必要である。
なお、他のユーザは、１人に限らず複数人でもよい。
また、テーブル２５４Ａ１では規定されていないが、連携が要求される複数人のユーザ間での実行の順番が規定されていてもよい。実行の順番が規定されている場合には、各ユーザが規定された順番に操作を実行しない限り、操作受付部２５４（図４参照）は、操作の実行を指示しない。
【0027】
例えば図５の場合、ユーザＡは単独で、印刷やファックス送信に関する機能を操作できるが、印刷の色味（印刷色味）の変更などに関する機能を操作できない。
例えばユーザＢは単独で、印刷、ファックス送信、印刷色味の変更、認証に関する機能を操作できるが、宛先帳の変更と階調補正に関する機能の操作にはユーザＤの認証が要求される。
例えばユーザＣは、印刷、ファックス送信、印刷色味の変更に関する機能の操作にはユーザＢの認証が要求され、宛先帳の変更、階調補正に関する機能の操作にはユーザＤの認証が要求される。なお、ユーザＣは、認証に関する機能は操作できない。
例えばユーザＤは単独で、印刷、宛先帳の変更、階調補正、認証に関する機能を操作できるが、ファックス送信に関する機能の操作にはユーザＡによる市外局番の入力が要求され、印刷色味の変更にはユーザＢの認証が要求される。
例えばユーザＢは単独で、印刷、ファックス送信、印刷色味の変更、認証に関する機能を操作できるが、宛先帳の変更と階調補正に関する機能の操作にはユーザＤの認証が要求される。
例えばユーザＣは、印刷、ファックス送信、印刷色味の変更に関する機能の操作にはユーザＢの認証が要求され、宛先帳の変更、階調補正に関する機能の操作にはユーザＤの認証が要求される。なお、ユーザＣは、認証に関する機能は操作できない。
例えばユーザＤは単独で、印刷、宛先帳の変更、階調補正、認証に関する機能を操作できるが、ファックス送信に関する機能の操作にはユーザＡによる市外局番の入力が要求され、印刷色味の変更にはユーザＢの認証が要求される。
【0028】
図５の例では、４名のユーザを例示しているが、ユーザ数は４名に限らない。また、操作の内容も図５に示す６種類に限らない。
図５に示すように、ユーザの組み合わせが異なれば、個々のユーザに求められる操作の割り当ても異なっている。
例えばユーザＢとユーザＣの間における操作の割り当てと、ユーザＢとユーザＤの間における操作の割り当てとは異なる。
なお、図５の例では、操作の連携の例として、一方のユーザが他方のユーザの操作を可能にする認証を行う例と、ファックスの送信先を特定する番号の入力を分担する例とを示しているが、例えば各機能に関する項目の設定を分担してもよい。
図５に示すように、ユーザの組み合わせが異なれば、個々のユーザに求められる操作の割り当ても異なっている。
例えばユーザＢとユーザＣの間における操作の割り当てと、ユーザＢとユーザＤの間における操作の割り当てとは異なる。
なお、図５の例では、操作の連携の例として、一方のユーザが他方のユーザの操作を可能にする認証を行う例と、ファックスの送信先を特定する番号の入力を分担する例とを示しているが、例えば各機能に関する項目の設定を分担してもよい。
【0029】
図４の説明に戻る。
本実施の形態における指示送信部２５５は、受け付けた操作に対応する指示の実行を対象とする物体（例えば画像形成装置）に対して送信する。なお、指示送信部２５５は、指示に対する応答（例えば指示の受け付け等）を対象とする物体の側から取得する機能も備えている。
本実施の形態における報知部２５６は、オーディオ回路２２２や液晶ディスプレイ２２３を通じて、身振りによる操作を補助する各種の報知を実行する。
本実施の形態における連携部２５７は、テーブル２５４Ａで連携先として規定されている他のユーザが操作するスマートフォン２００との間で操作の情報を受け渡しする。また、連携先として規定されていなくても、通信が可能な他のスマートフォン２００との間で、操作の対象とする物体に関する情報を受け渡してもよい。
本実施の形態における指示送信部２５５は、受け付けた操作に対応する指示の実行を対象とする物体（例えば画像形成装置）に対して送信する。なお、指示送信部２５５は、指示に対する応答（例えば指示の受け付け等）を対象とする物体の側から取得する機能も備えている。
本実施の形態における報知部２５６は、オーディオ回路２２２や液晶ディスプレイ２２３を通じて、身振りによる操作を補助する各種の報知を実行する。
本実施の形態における連携部２５７は、テーブル２５４Ａで連携先として規定されている他のユーザが操作するスマートフォン２００との間で操作の情報を受け渡しする。また、連携先として規定されていなくても、通信が可能な他のスマートフォン２００との間で、操作の対象とする物体に関する情報を受け渡してもよい。
【0030】
＜処理回路部による処理動作＞
以下では、図６及び図７を使用して、処理回路部２１０（図４参照）において実行される処理動作の一例について説明する。
図６は、処理回路部２１０において実行される処理動作の一例のうちの一部分を説明するフローチャートである。図６においては、ステップを記号のＳで示す。図７においても同様である。
本実施の形態における処理回路部２１０は、液晶ディスプレイ２２３（図３参照）の画面内に映り込んでいる人体の一部（例えば指）を認識する（ステップ１０１）。
次に、処理回路部２１０は、認識された人体の一部の動きを検知する（ステップ１０２）。
以上の処理は、例えば身振り検知部２５１（図４参照）が実行する。前述したように、身振りの検知は、画像の認識処理に限らず、センサによって測定された距離の情報（いわゆる距離画像）を用いてもよい。
以下では、図６及び図７を使用して、処理回路部２１０（図４参照）において実行される処理動作の一例について説明する。
図６は、処理回路部２１０において実行される処理動作の一例のうちの一部分を説明するフローチャートである。図６においては、ステップを記号のＳで示す。図７においても同様である。
本実施の形態における処理回路部２１０は、液晶ディスプレイ２２３（図３参照）の画面内に映り込んでいる人体の一部（例えば指）を認識する（ステップ１０１）。
次に、処理回路部２１０は、認識された人体の一部の動きを検知する（ステップ１０２）。
以上の処理は、例えば身振り検知部２５１（図４参照）が実行する。前述したように、身振りの検知は、画像の認識処理に限らず、センサによって測定された距離の情報（いわゆる距離画像）を用いてもよい。
【0031】
その後、処理回路部２１０は、画面内で人体の一部の像と重なる物体の部位を特定する（ステップ１０３）。この処理は、例えば操作対象検知部２５２（図４参照）が実行する。
なお、処理回路部２１０は、操作の対象である物体の認識も事前に又は並行して行っている。
操作の対象である物体を特定できない場合、処理回路部２１０は、操作の対象とする物体を特定できないこと、型式等を含む画像を撮像すべきこと等を報知する。この処理は、例えば報知部２５６（図４参照）が実行する。
なお、処理回路部２１０は、操作の対象である物体の認識も事前に又は並行して行っている。
操作の対象である物体を特定できない場合、処理回路部２１０は、操作の対象とする物体を特定できないこと、型式等を含む画像を撮像すべきこと等を報知する。この処理は、例えば報知部２５６（図４参照）が実行する。
【0032】
続いて、処理回路部２１０は、検知された人体の動きを、特定された部位に対する操作として検知する（ステップ１０４）。この処理は、例えば操作受付部２５４が実行する。
なお、特定された部位に対応付けられている機能が存在しない場合や対応付けられている機能の実行とは関係のない動きの場合、処理回路部２１０は、検知された動きを操作として検知しない。
なお、特定された部位に対応付けられている機能が存在しない場合や対応付けられている機能の実行とは関係のない動きの場合、処理回路部２１０は、検知された動きを操作として検知しない。
【0033】
次に、処理回路部２１０は、スマートフォン２００を操作しているユーザが、検知された操作に関して権限があるか否かを判定する（ステップ１０５）。
ステップ１０５で否定結果が得られた場合、処理回路部２１０は、操作できない旨を報知し（ステップ１０６）、処理を終了する。報知は、例えば報知部２５６が実行する。
ステップ１０５で肯定結果が得られた場合、処理回路部２１０は、検知されたユーザの操作の実行には他のユーザとの連携が必要とされるか否かを判定する（ステップ１０７）。この処理は、操作受付部２５４がテーブル２５４Ａ（図４参照）を参照して実行する。
ステップ１０７で肯定結果が得られた場合、処理回路部２１０は、連携の条件を満たすか否かを判定する（ステップ１０８）。この処理は、操作受付部２５４がテーブル２５４Ａを参照して実行する。条件が満たされるまで（ステップ１０８で否定結果が得られる間）、処理回路部２１０は、判定を繰り返す。ただし、予め定めた時間が経過しても条件が満たされない場合には、連携が必要な操作の内容を報知したり、連携が必要とされるユーザの操作するスマートフォン２００に対して通知を発したり、操作できない旨を報知してもよい。
ステップ１０５で否定結果が得られた場合、処理回路部２１０は、操作できない旨を報知し（ステップ１０６）、処理を終了する。報知は、例えば報知部２５６が実行する。
ステップ１０５で肯定結果が得られた場合、処理回路部２１０は、検知されたユーザの操作の実行には他のユーザとの連携が必要とされるか否かを判定する（ステップ１０７）。この処理は、操作受付部２５４がテーブル２５４Ａ（図４参照）を参照して実行する。
ステップ１０７で肯定結果が得られた場合、処理回路部２１０は、連携の条件を満たすか否かを判定する（ステップ１０８）。この処理は、操作受付部２５４がテーブル２５４Ａを参照して実行する。条件が満たされるまで（ステップ１０８で否定結果が得られる間）、処理回路部２１０は、判定を繰り返す。ただし、予め定めた時間が経過しても条件が満たされない場合には、連携が必要な操作の内容を報知したり、連携が必要とされるユーザの操作するスマートフォン２００に対して通知を発したり、操作できない旨を報知してもよい。
【0034】
一方、ステップ１０７で否定結果が得られた場合、処理回路部２１０は、検知された特定の部位に対する他のユーザの操作があるか否かを判定する（ステップ１０９）。この処理は、操作受付部２５４が実行する。この処理は必ずしも必要ではないが、例えば物体に物理的な力が作用される場合に、個々のユーザの指示に基づく外力を合成するのに用いることが可能である。
ステップ１０９で肯定結果が得られた場合、処理回路部２１０は、複数のユーザの操作を合成する（ステップ１１０）。この処理は、操作受付部２５４が実行する。操作の合成は、単純な合成でもよいし、重み付け後の合成でもよい。
ステップ１０９で肯定結果が得られた場合、処理回路部２１０は、複数のユーザの操作を合成する（ステップ１１０）。この処理は、操作受付部２５４が実行する。操作の合成は、単純な合成でもよいし、重み付け後の合成でもよい。
【0035】
ステップ１０８で肯定結果が得られた場合、又は、ステップ１０９で否定結果が得られた場合、又はステップ１１０の実行後、処理回路部２１０は、図７に示す処理を実行する。
図７は、処理回路部２１０において実行される処理動作の一例のうちの残りの部分を説明するフローチャートである。
ここで、処理回路部２１０は、対象とする物体を通信により制御可能か否かを判定する（ステップ１１１）。この処理も、例えば操作受付部２５４が実行する。
ステップ１１１で肯定結果が得られた場合、処理回路部２１０は、操作の実行を指示する信号を、対象とする物体に送信する（ステップ１１２）。
図７は、処理回路部２１０において実行される処理動作の一例のうちの残りの部分を説明するフローチャートである。
ここで、処理回路部２１０は、対象とする物体を通信により制御可能か否かを判定する（ステップ１１１）。この処理も、例えば操作受付部２５４が実行する。
ステップ１１１で肯定結果が得られた場合、処理回路部２１０は、操作の実行を指示する信号を、対象とする物体に送信する（ステップ１１２）。
【0036】
ステップ１１１で否定結果が得られた場合、処理回路部２１０は、操作の代行が可能な自走装置があるか否かを判定する（ステップ１１３）。操作の代行が可能な自走装置の一例はロボットである。
ステップ１１３で肯定結果が得られた場合、処理回路部２１０は、操作の実行を指示する信号を自走装置に送信する（ステップ１１４）。
ステップ１１３で否定結果が得られた場合、処理回路部２１０は、操作できない旨を報知する（ステップ１１５）。
これらの後、処理回路部２１０は処理を終了する。
ステップ１１３で肯定結果が得られた場合、処理回路部２１０は、操作の実行を指示する信号を自走装置に送信する（ステップ１１４）。
ステップ１１３で否定結果が得られた場合、処理回路部２１０は、操作できない旨を報知する（ステップ１１５）。
これらの後、処理回路部２１０は処理を終了する。
【0037】
＜操作例＞
以下では、前述した機能を用いて実現される操作例について説明する。
＜操作例１＞
図８は、撮像者であるユーザＢが自身の人差し指３０１を画面上で画像形成装置１００に重なるように撮像する様子を説明する図である。
この撮像の際、ユーザＢは、左手でスマートフォン２００Ｂを保持している。人差し指３０１はユーザＢの人差し指であり、画像形成装置１００には触れていない。具体的には、画像形成装置１００とスマートフォン２００Ｂとの間の空中に位置している。
以下では、前述した機能を用いて実現される操作例について説明する。
＜操作例１＞
図８は、撮像者であるユーザＢが自身の人差し指３０１を画面上で画像形成装置１００に重なるように撮像する様子を説明する図である。
この撮像の際、ユーザＢは、左手でスマートフォン２００Ｂを保持している。人差し指３０１はユーザＢの人差し指であり、画像形成装置１００には触れていない。具体的には、画像形成装置１００とスマートフォン２００Ｂとの間の空中に位置している。
【0038】
図８の場合、スマートフォン２００Ｂの液晶ディスプレイ２２３には、ユーザインタフェース部１１０の一部分が拡大された状態で表示されている。
この表示の状態は、画像形成装置１００の像が液晶ディスプレイ２２３に表示されている状態で、液晶ディスプレイ２２３の画面に触れた２本の指の間を広げるように動かすことで可能である。なお、音声認識技術を使用すれば、液晶ディスプレイ２２３に触れなくても表示を拡大できる。
この表示の状態は、画像形成装置１００の像が液晶ディスプレイ２２３に表示されている状態で、液晶ディスプレイ２２３の画面に触れた２本の指の間を広げるように動かすことで可能である。なお、音声認識技術を使用すれば、液晶ディスプレイ２２３に触れなくても表示を拡大できる。
【0039】
図８の場合、現実の空間に存在するユーザインタフェース部１１０の一部分を撮像した像２７０（ファックス送信用のボタン２７１と仕様設定／登録用のボタン２７２）と、人差し指の像３０１Ａとが、液晶ディスプレイ２２３に表示されている。この画面は、作業用の画像の一例である。
本実施の形態の場合、仕様設定／登録用のボタン２７２のクリック操作が受け付けられると、印刷色味の変更が可能になる。テーブル２５４Ａ１（図５参照）の場合、ユーザＢは、印刷色味の変更を単独で操作可能である。
前述したように、現実の空間内における位置関係は、一番奥から順番に、画像形成装置１００、ユーザの人差し指３０１、スマートフォン２００Ｂである。
従って、スマートフォン２００Ｂで撮像された人差し指の像３０１Ａは、ユーザインタフェース部の像２７０の手前に重なるように表示される。
本実施の形態の場合、仕様設定／登録用のボタン２７２のクリック操作が受け付けられると、印刷色味の変更が可能になる。テーブル２５４Ａ１（図５参照）の場合、ユーザＢは、印刷色味の変更を単独で操作可能である。
前述したように、現実の空間内における位置関係は、一番奥から順番に、画像形成装置１００、ユーザの人差し指３０１、スマートフォン２００Ｂである。
従って、スマートフォン２００Ｂで撮像された人差し指の像３０１Ａは、ユーザインタフェース部の像２７０の手前に重なるように表示される。
【0040】
ところで、人差し指３０１の動きで画像形成装置１００を操作するには、操作の対象として画像形成装置１００が事前に特定されている必要がある。
画像形成装置１００の特定には、例えば画像形成装置１００の画像を処理して機種を特定する技術、画像に含まれる型番等の文字情報を検知する技術、液晶ディスプレイ２２３に表示される候補の中から選択する技術等の使用が可能である。候補は、例えば無線ＬＡＮ等によってスマートフォン２００Ｂと接続中の機器の一覧として与えられる。
ここでは、操作の対象として画像形成装置１００が既に特定されているものとする。
画像形成装置１００の特定には、例えば画像形成装置１００の画像を処理して機種を特定する技術、画像に含まれる型番等の文字情報を検知する技術、液晶ディスプレイ２２３に表示される候補の中から選択する技術等の使用が可能である。候補は、例えば無線ＬＡＮ等によってスマートフォン２００Ｂと接続中の機器の一覧として与えられる。
ここでは、操作の対象として画像形成装置１００が既に特定されているものとする。
【0041】
図８の場合、操作が可能な２つの操作子（ファックス送信用のボタン２７１と仕様設定／登録用のボタン２７２）が液晶ディスプレイ２２３に表示されているが、３つ以上の操作子が表示されていてもよいし、１つの操作子だけが表示されていてもよい。
図８の場合、２つの操作子が液晶ディスプレイ２２３に表示されているので、操作の対象とする操作子と人差し指の像３０１Ａとが重なるように人差し指３０１を空中で移動させる必要がある。
図８の場合、２つの操作子が液晶ディスプレイ２２３に表示されているので、操作の対象とする操作子と人差し指の像３０１Ａとが重なるように人差し指３０１を空中で移動させる必要がある。
【0042】
この人差し指３０１の空気中での移動もスマートフォン２００Ｂには、ユーザの動きとして検知される。ただし、水平方向への動きは、撮像されている操作子に対する操作の動きに対応付けられていない。
このため、人差し指の像３０１Ａが仕様設定／登録用のボタン２７２と重なるまでの動きは、操作子に対する操作としては受け付けられていない。
なお、本実施の形態では、操作の対象がボタン類であるので人差し指の像３０１Ａの動きを検知しているが、検知の対象とする体の一部分は操作の対象に応じて定めてもよい。例えば手、腕、足などの人体の一部を検知の対象としてもよい。検知の対象を特定することで誤操作の回避が可能になる。
このため、人差し指の像３０１Ａが仕様設定／登録用のボタン２７２と重なるまでの動きは、操作子に対する操作としては受け付けられていない。
なお、本実施の形態では、操作の対象がボタン類であるので人差し指の像３０１Ａの動きを検知しているが、検知の対象とする体の一部分は操作の対象に応じて定めてもよい。例えば手、腕、足などの人体の一部を検知の対象としてもよい。検知の対象を特定することで誤操作の回避が可能になる。
【0043】
図９は、画像形成装置１００に非接触のまま人差し指３０１を空中で前方に押すような動作を撮像する様子を説明する図である。図９には、図８との対応する部分に対応する符号を付して示している。
ここでの押すような動作とは、人差し指３０１をスマートフォン２００Ｂから遠ざける方向への動きである。換言すると、画像形成装置１００に向かう動きである。
具体的には、実空間において、ユーザインタフェース部１１０に表示された操作子を押す場合と同じ動きになる。ユーザの視線の方向とカメラ２２５（図３参照）の撮像の方向とが一致するためである。
ここでの押すような動作とは、人差し指３０１をスマートフォン２００Ｂから遠ざける方向への動きである。換言すると、画像形成装置１００に向かう動きである。
具体的には、実空間において、ユーザインタフェース部１１０に表示された操作子を押す場合と同じ動きになる。ユーザの視線の方向とカメラ２２５（図３参照）の撮像の方向とが一致するためである。
【0044】
図９に示す液晶ディスプレイ２２３では、人差し指の像３０１Ａが仕様設定／登録用のボタン２７２と重なっているので、スマートフォン２００Ｂは、仕様設定／登録用のボタン２７２を押す操作として検知する。
本実施の形態の場合、スマートフォン２００Ｂには、操作子と動きとの関係がメモリ２２１（図３参照）に記憶されている。もっとも、メモリ２２１に記憶される関係は、画像形成装置１００に設けられる操作子のうちの一部についてでもよい。
また、画像形成装置１００に設けられる操作子のイメージと操作として認識する動きの関係は、画像形成装置１００に記憶されており、操作の対象とする操作子を特定する処理も画像形成装置１００が実行してもよい。
本実施の形態の場合、スマートフォン２００Ｂには、操作子と動きとの関係がメモリ２２１（図３参照）に記憶されている。もっとも、メモリ２２１に記憶される関係は、画像形成装置１００に設けられる操作子のうちの一部についてでもよい。
また、画像形成装置１００に設けられる操作子のイメージと操作として認識する動きの関係は、画像形成装置１００に記憶されており、操作の対象とする操作子を特定する処理も画像形成装置１００が実行してもよい。
【0045】
図９では、画像形成装置１００と通信が可能であるので、スマートフォン２００Ｂは、仕様設定／登録用のボタン２７２の操作を指示する信号を画像形成装置１００に送信する。
本実施の形態におけるスマートフォン２００Ｂには、操作の受け付けをユーザに報知する機能が用意されている。
このため、図９では、仕様設定／登録用のボタン２７２の表示の形態を変化させて、操作の受け付けをユーザに報知している。
表示の形態を変化させる方法には、例えば操作の対象となったボタンが表示されている領域の輝度を上げる、点滅させる、他の色に変化させる等の手法が用いられる。
本実施の形態におけるスマートフォン２００Ｂには、操作の受け付けをユーザに報知する機能が用意されている。
このため、図９では、仕様設定／登録用のボタン２７２の表示の形態を変化させて、操作の受け付けをユーザに報知している。
表示の形態を変化させる方法には、例えば操作の対象となったボタンが表示されている領域の輝度を上げる、点滅させる、他の色に変化させる等の手法が用いられる。
【0046】
また、図９では、人差し指３０１の表面に集中する超音波によって人差し指３０１に振動が加えられている。超音波は、空中触覚モジュール２２９（図３参照）から出力される。この振動は、ユーザＢに、ボタンの操作が受け付けられた触覚を与える。触覚が与えられることで、ユーザは、自身の動きが操作として受け付けられたことを知る。結果的に、ユーザによる操作感が向上する。
なお、空中触覚モジュール２２９は、画像形成装置１００に設けられていてもよい。この場合、空中触覚モジュール２２９は、画像形成装置１００に向けられている人差し指３０１の腹に触覚を与えることができる。
空中触覚モジュール２２９は、独立した装置として、空間内に配置されていてもよい。
なお、空中触覚モジュール２２９は、画像形成装置１００に設けられていてもよい。この場合、空中触覚モジュール２２９は、画像形成装置１００に向けられている人差し指３０１の腹に触覚を与えることができる。
空中触覚モジュール２２９は、独立した装置として、空間内に配置されていてもよい。
【0047】
＜操作例２＞
図１０は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１０には、図９との対応部分に対応する符号を付して示している。
図１０の場合、仕様設定／登録用のボタン２７２の表示には変化がないが、不図示のスピーカから「カチッ」という音が出力されている。
この音の発生により、ユーザは、自身の動きが操作として受け付けられたことの確認が可能である。図１０の場合、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
なお、音による報知の手法は、「操作を受け付けました」等の言葉として発せられてもよい。
図１０は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１０には、図９との対応部分に対応する符号を付して示している。
図１０の場合、仕様設定／登録用のボタン２７２の表示には変化がないが、不図示のスピーカから「カチッ」という音が出力されている。
この音の発生により、ユーザは、自身の動きが操作として受け付けられたことの確認が可能である。図１０の場合、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
なお、音による報知の手法は、「操作を受け付けました」等の言葉として発せられてもよい。
【0048】
＜操作例３＞
図１１は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１１には、図９との対応部分に対応する符号を付して示している。
図１１の場合、仕様設定／登録用のボタン２７２の表示には変化がないが、操作の受け付けを示す小さい画面２８０が追加的に表示されている。図１１の場合も、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
図１１に示す画面２８０には「操作を受け付けました」との文字列が記述されている。勿論、この文字列は一例である。
図１１は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１１には、図９との対応部分に対応する符号を付して示している。
図１１の場合、仕様設定／登録用のボタン２７２の表示には変化がないが、操作の受け付けを示す小さい画面２８０が追加的に表示されている。図１１の場合も、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
図１１に示す画面２８０には「操作を受け付けました」との文字列が記述されている。勿論、この文字列は一例である。
【0049】
＜操作例４＞
図１２は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１２には、図９との対応部分に対応する符号を付して示している。
図１２の場合、仕様設定／登録用のボタン２７２の表示には変化がないが、人差し指の像３０１Ａの表示の態様を、操作として受け付ける前の態様から変化させている。
ここで、表示の形態を変化させる方法には、例えば人差し指の像３０１Ａが表示されている領域の輝度を上げる、点滅させる、他の色に変化させる等の手法が用いられる。
図１２の場合も、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
図１２は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１２には、図９との対応部分に対応する符号を付して示している。
図１２の場合、仕様設定／登録用のボタン２７２の表示には変化がないが、人差し指の像３０１Ａの表示の態様を、操作として受け付ける前の態様から変化させている。
ここで、表示の形態を変化させる方法には、例えば人差し指の像３０１Ａが表示されている領域の輝度を上げる、点滅させる、他の色に変化させる等の手法が用いられる。
図１２の場合も、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
【0050】
＜操作例５＞
図１３は、人差し指の像３０１Ａ（図９参照）を液晶ディスプレイ２２３に表示させない手法を説明する図である。
図１３には、図９との対応部分に対応する符号を付して示している。
例えばカメラ２２５（図３参照）の撮像の範囲に侵入した人体の一部を常に表示する手法では、人体の一部によって操作子の大部分が隠れてしまう可能性もある。例えば操作子に記載されている文字が手や腕の像に隠れてしまう可能性がある。
図１３は、人差し指の像３０１Ａ（図９参照）を液晶ディスプレイ２２３に表示させない手法を説明する図である。
図１３には、図９との対応部分に対応する符号を付して示している。
例えばカメラ２２５（図３参照）の撮像の範囲に侵入した人体の一部を常に表示する手法では、人体の一部によって操作子の大部分が隠れてしまう可能性もある。例えば操作子に記載されている文字が手や腕の像に隠れてしまう可能性がある。
【0051】
このような場合、ユーザは操作の対象とする操作子を画面上で確認することができず、又は、一部しか確認できないため、操作に支障が生じることがある。
操作子に記載されている文字を確認できないと、どの操作子を操作しているのかわからないだけでなく、誤操作の原因にもなる。
そこで、図１３では、人差し指３０１Ａが重なっている位置の操作子（ここでは、仕様設定／登録用のボタン２７２）の表示の形態を変化させ、ユーザの確認を支援している。
この表示により、自身の体の一部によって視認を妨げられずに、特定の操作子を操作することが可能になる。図１３の場合も、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
また、操作子の表示の態様を変化させる機能がある場合には、操作の対象と間違えずに済む。さらに、操作の受け付けが報知される場合には、ユーザの操作性を高めることができる。
操作子に記載されている文字を確認できないと、どの操作子を操作しているのかわからないだけでなく、誤操作の原因にもなる。
そこで、図１３では、人差し指３０１Ａが重なっている位置の操作子（ここでは、仕様設定／登録用のボタン２７２）の表示の形態を変化させ、ユーザの確認を支援している。
この表示により、自身の体の一部によって視認を妨げられずに、特定の操作子を操作することが可能になる。図１３の場合も、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
また、操作子の表示の態様を変化させる機能がある場合には、操作の対象と間違えずに済む。さらに、操作の受け付けが報知される場合には、ユーザの操作性を高めることができる。
【0052】
＜操作例６＞
図１４は、人差し指の像３０１Ａを液晶ディスプレイ２２３に表示させる場合の他の手法を説明する図である。
図１４には、図１１との対応部分に対応する符号を付して示している。
操作例５では、人差し指の像３０１Ａを全く表示していないが、画面上での位置を確認したいという要望も考えられる。
操作例６は、このような要望を考慮した表示の手法であり、人差し指の像３０１Ａが位置する領域の輪郭線を示している。輪郭線が示されることでユーザは、人差し指３０１の位置と操作子との位置の関係を容易に確認することが可能になる。ここでの輪郭線は、ユーザの体の部位を示唆する表記の一例である。
図１４は、人差し指の像３０１Ａを液晶ディスプレイ２２３に表示させる場合の他の手法を説明する図である。
図１４には、図１１との対応部分に対応する符号を付して示している。
操作例５では、人差し指の像３０１Ａを全く表示していないが、画面上での位置を確認したいという要望も考えられる。
操作例６は、このような要望を考慮した表示の手法であり、人差し指の像３０１Ａが位置する領域の輪郭線を示している。輪郭線が示されることでユーザは、人差し指３０１の位置と操作子との位置の関係を容易に確認することが可能になる。ここでの輪郭線は、ユーザの体の部位を示唆する表記の一例である。
【0053】
なお、図１４では、人差し指の像３０１Ａの輪郭線を破線で示しているが、画像処理によって透過像に変換した画像を実像に代えて表示してもよい。ここでの透過像も、ユーザの体の部位を示唆する表記の一例である。
また、人差し指の部分だけを輪郭線や透過像で選択的に表現し、人差し指以外は実像で表示してもよいし、反対に人差し指の部分だけを選択的に実像で表示してもよい。人体の一部の像で隠れる面積が減るので、操作の対象である物体の像の確認が容易になる。
図１４の場合も、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
また、人差し指の部分だけを輪郭線や透過像で選択的に表現し、人差し指以外は実像で表示してもよいし、反対に人差し指の部分だけを選択的に実像で表示してもよい。人体の一部の像で隠れる面積が減るので、操作の対象である物体の像の確認が容易になる。
図１４の場合も、人差し指３０１に触覚が与えられているので、操作の受け付けを複合的に確認できる。
【0054】
＜操作例７＞
前述の操作例１～６は、操作者であるユーザＢが単独で操作可能なボタンを操作する場合を説明したが、以下では、連携が必要とされる操作について説明する。
図１５は、ユーザＢとユーザＣの連携による操作の例を説明する図である。この操作例では、ユーザＣによる印刷色味を変更する操作とユーザＢによる認証の操作の連携について説明する。
図１６は、ユーザＢと連携するユーザＣによる操作の様子を説明する図である。
ユーザＣが操作するスマートフォン２００Ｃの液晶ディスプレイ２２３には、前述の操作例と同様に、画像形成装置１００とスマートフォン２００Ｃとの間の空中で移動される人差し指の像３０１Ａが表示されている。
前述の操作例１～６は、操作者であるユーザＢが単独で操作可能なボタンを操作する場合を説明したが、以下では、連携が必要とされる操作について説明する。
図１５は、ユーザＢとユーザＣの連携による操作の例を説明する図である。この操作例では、ユーザＣによる印刷色味を変更する操作とユーザＢによる認証の操作の連携について説明する。
図１６は、ユーザＢと連携するユーザＣによる操作の様子を説明する図である。
ユーザＣが操作するスマートフォン２００Ｃの液晶ディスプレイ２２３には、前述の操作例と同様に、画像形成装置１００とスマートフォン２００Ｃとの間の空中で移動される人差し指の像３０１Ａが表示されている。
【0055】
図１６では、仕様設定／登録用のボタン２７２の上に人差し指の像３０１Ａが位置しているが、テーブル２５４Ａ１（図５参照）によれば、ユーザＣが印刷色味を変更するにはユーザＢの認証が必要とされる。
このため、仕様設定／登録用のボタン２７２の表示には変化がないが、操作の受け付けには権限者による認証が必要とされることを示す小さい画面２９０が追加的に表示されている。
図１６に示す画面２９０には「権限者による認証が必要です」との文字列が記述されている。勿論、この文字列は一例である。なお、権限者の具体名が示されてもよい。
このため、仕様設定／登録用のボタン２７２の表示には変化がないが、操作の受け付けには権限者による認証が必要とされることを示す小さい画面２９０が追加的に表示されている。
図１６に示す画面２９０には「権限者による認証が必要です」との文字列が記述されている。勿論、この文字列は一例である。なお、権限者の具体名が示されてもよい。
【0056】
図１７は、ユーザＣと連携するユーザＢによる操作の様子を説明する図である。
ユーザＢが操作するスマートフォン２００Ｂの液晶ディスプレイ２２３には、認証用のボタン３１１と、ジョブ確認用のボタン３１２が表示されている。また、スマートフォン２００Ｂの液晶ディスプレイ２２３には、前述の操作例と同様に、画像形成装置１００とスマートフォン２００Ｂとの間の空中で移動される人差し指の像３０１Ａが表示されている。
図１７の場合、人差し指の像３０１Ａは、認証用のボタン３１１と重なっている。ユーザＢは、認証用のボタン３１１を単独で操作する権限を有しているので、認証用のボタン３１１に対する操作は有効な操作として受け付けられる。
ユーザＢが操作するスマートフォン２００Ｂの液晶ディスプレイ２２３には、認証用のボタン３１１と、ジョブ確認用のボタン３１２が表示されている。また、スマートフォン２００Ｂの液晶ディスプレイ２２３には、前述の操作例と同様に、画像形成装置１００とスマートフォン２００Ｂとの間の空中で移動される人差し指の像３０１Ａが表示されている。
図１７の場合、人差し指の像３０１Ａは、認証用のボタン３１１と重なっている。ユーザＢは、認証用のボタン３１１を単独で操作する権限を有しているので、認証用のボタン３１１に対する操作は有効な操作として受け付けられる。
【0057】
図１８は、ユーザＢによる認証が完了した後におけるユーザＣが操作するスマートフォン２００Ｃの画面に現れる変化を説明する図である。
図１８に示す画面からは画面２９０（図１６参照）が消えており、ユーザＣによる操作が有効に受け付けられたことが仕様設定／登録用のボタン２７２の表示形態の変化と人差し指３０１に対する触覚の付与によって報知されている。
この後、ユーザＣは、新たに表示される操作用の画面を通じて印刷色味を変更する作業を実行する。
図１８に示す画面からは画面２９０（図１６参照）が消えており、ユーザＣによる操作が有効に受け付けられたことが仕様設定／登録用のボタン２７２の表示形態の変化と人差し指３０１に対する触覚の付与によって報知されている。
この後、ユーザＣは、新たに表示される操作用の画面を通じて印刷色味を変更する作業を実行する。
【0058】
＜実施の形態２＞
前述の実施の形態においては、操作の対象が画像形成装置１００（図１参照）であったが、本実施の形態では、蝶番が取り付けられた部分を軸として開閉する扉を操作の対象とする場合について説明する。
図１９は、実施の形態２に係るシステムの一例を説明する図である。
図１９には、図１との対応部分に対応する符号を付して示している。
図１９に示すシステムは、扉４００と、扉４００を撮像する２台のスマートフォン２００Ａ、２００Ｂとで構成されている。
扉４００は、操作の対象として現実の空間に存在する物体の一例である。
本実施の形態における扉４００には、不図示の電子錠と、ノブ４０１と、スマートフォン２００（図１９ではスマートフォン２００Ａ、２００Ｂ）と通信して扉４００を開閉駆動する駆動機構４０２とが設けられている。
前述の実施の形態においては、操作の対象が画像形成装置１００（図１参照）であったが、本実施の形態では、蝶番が取り付けられた部分を軸として開閉する扉を操作の対象とする場合について説明する。
図１９は、実施の形態２に係るシステムの一例を説明する図である。
図１９には、図１との対応部分に対応する符号を付して示している。
図１９に示すシステムは、扉４００と、扉４００を撮像する２台のスマートフォン２００Ａ、２００Ｂとで構成されている。
扉４００は、操作の対象として現実の空間に存在する物体の一例である。
本実施の形態における扉４００には、不図示の電子錠と、ノブ４０１と、スマートフォン２００（図１９ではスマートフォン２００Ａ、２００Ｂ）と通信して扉４００を開閉駆動する駆動機構４０２とが設けられている。
【0059】
図１９では、被写体が扉４００であるため、スマートフォン２００には、扉の像４００Ａが表示されている。
本実施の形態の場合、スマートフォン２００の操作受付部２５４（図４参照）は、扉４００の操作用に記憶されているテーブル２５４Ａ２（図２０参照）を参照して、ユーザの身振りによる操作を受け付ける。
図２０は、扉４００（図１９参照）の操作用のテーブル２５４Ａ２の一例を示す図である。
テーブル２５４Ａ２には、扉４００に対して想定される操作の内容と個々のユーザとの関係が記録されている。
テーブル２５４Ａ２の内容についても、権限を有するユーザや管理者が登録又は修正することができる。
本実施の形態の場合、スマートフォン２００の操作受付部２５４（図４参照）は、扉４００の操作用に記憶されているテーブル２５４Ａ２（図２０参照）を参照して、ユーザの身振りによる操作を受け付ける。
図２０は、扉４００（図１９参照）の操作用のテーブル２５４Ａ２の一例を示す図である。
テーブル２５４Ａ２には、扉４００に対して想定される操作の内容と個々のユーザとの関係が記録されている。
テーブル２５４Ａ２の内容についても、権限を有するユーザや管理者が登録又は修正することができる。
【0060】
本実施の形態の場合、テーブル２５４Ａ２には、例えばユーザ毎に、特定の操作の実行者として許容されているか否か、他のユーザとの連携が必要か否か、連携が必要である場合に求められる操作の内容等が記録される。
例えば図２０の場合、ユーザＡは、扉４００を開く操作（開操作）と閉じる操作（閉操作）が可能であるが、施錠と解錠の権限を有していない。
なお、開操作と閉操作におけるユーザＡの身振りは等倍の感度で検知される。
等倍の感度とは、重み付けが１．０であることを意味する。
力の強さは不明であるので、感度は、身振りによる操作の方向、操作の速さ、操作で用いられた体の部位（例えば右手）が動いた距離等で与えられる。
ユーザＡによる開操作と閉操作は、単独でも、他のユーザとの連携でも可能である。
例えば図２０の場合、ユーザＡは、扉４００を開く操作（開操作）と閉じる操作（閉操作）が可能であるが、施錠と解錠の権限を有していない。
なお、開操作と閉操作におけるユーザＡの身振りは等倍の感度で検知される。
等倍の感度とは、重み付けが１．０であることを意味する。
力の強さは不明であるので、感度は、身振りによる操作の方向、操作の速さ、操作で用いられた体の部位（例えば右手）が動いた距離等で与えられる。
ユーザＡによる開操作と閉操作は、単独でも、他のユーザとの連携でも可能である。
【0061】
例えばユーザＢは、扉４００を開く操作（開操作）が可能であり、その感度は１．５倍される。感度が１．５倍とは、１．５倍に重み付けされることを意味する。
また、ユーザＢは、扉４００を閉じる操作（閉操作）が可能であり、その感度は２倍される。なお、ユーザは、施錠と解錠の権限を有している。
例えばユーザＣは、扉４００を開く操作（開操作）が可能であり、その感度は２分の１に低減される。
一方、ユーザＣは、扉４００を閉じる操作（閉操作）が許可されていない。また、ユーザＣは、ユーザＢと同時であれば施錠と解錠を実行できる。つまり、ユーザＣは、単独では施錠と解錠を実行できない。
図２０の例では、３名のユーザを例示しているが、ユーザ数は３名に限らない。また、操作の内容も図２０に示す４種類に限らない。
また、ユーザＢは、扉４００を閉じる操作（閉操作）が可能であり、その感度は２倍される。なお、ユーザは、施錠と解錠の権限を有している。
例えばユーザＣは、扉４００を開く操作（開操作）が可能であり、その感度は２分の１に低減される。
一方、ユーザＣは、扉４００を閉じる操作（閉操作）が許可されていない。また、ユーザＣは、ユーザＢと同時であれば施錠と解錠を実行できる。つまり、ユーザＣは、単独では施錠と解錠を実行できない。
図２０の例では、３名のユーザを例示しているが、ユーザ数は３名に限らない。また、操作の内容も図２０に示す４種類に限らない。
【0062】
＜操作例１＞
図２１は、操作者であるユーザＡ又はユーザＢが自身の右手３１０をノブの像４０１Ａに重なるように撮像する様子を説明する図である。
図２１では、ユーザを区別せず、スマートフォン２００として表している。
撮像者がユーザＡの場合もユーザＢの場合も、図１９に示すように、左手でスマートフォン２００を保持して扉４００を撮像している。このため、液晶ディスプレイ２２３には、扉の像４００Ａとノブの像４０１Ａが表示されている。
図２１は、操作者であるユーザＡ又はユーザＢが自身の右手３１０をノブの像４０１Ａに重なるように撮像する様子を説明する図である。
図２１では、ユーザを区別せず、スマートフォン２００として表している。
撮像者がユーザＡの場合もユーザＢの場合も、図１９に示すように、左手でスマートフォン２００を保持して扉４００を撮像している。このため、液晶ディスプレイ２２３には、扉の像４００Ａとノブの像４０１Ａが表示されている。
【0063】
本実施の形態の場合、右手３１０は、扉４００のノブ４０１とスマートフォン２００との間に位置している。右手３１０は、ノブ４０１と非接触である。
このため、液晶ディスプレイ２２３には、扉の像４００Ａと重なるように右手の像３１０Ａが表示されている。図２１の場合、右手の像３１０Ａは実像である。
図２１の場合、右手３１０は、扉４００とスマートフォン２００の間の空中でノブ４０１を握って回すような動きを伴う。
図２１に示す扉４００は、押すことで奥方向に開き、手前に引くと閉まる。
このため、液晶ディスプレイ２２３には、扉の像４００Ａと重なるように右手の像３１０Ａが表示されている。図２１の場合、右手の像３１０Ａは実像である。
図２１の場合、右手３１０は、扉４００とスマートフォン２００の間の空中でノブ４０１を握って回すような動きを伴う。
図２１に示す扉４００は、押すことで奥方向に開き、手前に引くと閉まる。
【0064】
図２１に示す扉４００にはノブ４０１が取り付けられているが、レバー式の取手（レバーハンドル）が取り付けられていてもよい。
図２１の場合には、扉の面が弧を描いて開閉する開き戸を想定しているが、扉４００は、溝やレールに案内されて直線的に開閉する引き戸、開き戸と引き戸を組み合わせたグライドスライドドア、折れ戸、回転扉などでもよい。
また、扉４００は、片開きに限らず両開きでもよい。
図２１の場合には、扉の面が弧を描いて開閉する開き戸を想定しているが、扉４００は、溝やレールに案内されて直線的に開閉する引き戸、開き戸と引き戸を組み合わせたグライドスライドドア、折れ戸、回転扉などでもよい。
また、扉４００は、片開きに限らず両開きでもよい。
【0065】
＜操作例２＞
図２２は、操作者がユーザＡ単独である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
図２２の場合、ユーザＡは、扉４００を押し開く身振りをスマートフォン２００Ａで撮像している。
図２０の場合、ユーザＡによる扉４００を開く操作（開操作）は許可されている。このため、スマートフォン２００Ａから駆動機構４０２（図２１参照）に対し、ユーザＡから見て扉４００を奥方向に開く指示が送信される。図２２では、実際に扉４００が開いている。
図２２は、操作者がユーザＡ単独である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
図２２の場合、ユーザＡは、扉４００を押し開く身振りをスマートフォン２００Ａで撮像している。
図２０の場合、ユーザＡによる扉４００を開く操作（開操作）は許可されている。このため、スマートフォン２００Ａから駆動機構４０２（図２１参照）に対し、ユーザＡから見て扉４００を奥方向に開く指示が送信される。図２２では、実際に扉４００が開いている。
【0066】
＜操作例３＞
図２３は、操作者がユーザＡとユーザＣの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
図２３の場合、ユーザＡもユーザＣも扉４００を開く操作（開操作）を行っている。なお、ユーザＡもユーザＣも、扉４００を開く操作（開操作）は許可されている。ただし、ユーザＣの操作は感度が２分の１に修正される。
この場合、操作受付部２５４（図４参照）は、ノブ４０１に対する他のユーザの操作を検知し（図６のステップ１０９参照）、２つの操作を合成した指示を駆動機構４０２（図２１参照）に指示する。
図２３の例では、２人の操作の向きが同じであるので、扉４００を開く速度を速める方向で作用する。
なお、他方のユーザの操作の速度や作用する力の大きさに応じた触覚を生成して与えてもよい。他方のユーザの操作の状況を体感できることでユーザによる操作感が向上する。
図２３は、操作者がユーザＡとユーザＣの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
図２３の場合、ユーザＡもユーザＣも扉４００を開く操作（開操作）を行っている。なお、ユーザＡもユーザＣも、扉４００を開く操作（開操作）は許可されている。ただし、ユーザＣの操作は感度が２分の１に修正される。
この場合、操作受付部２５４（図４参照）は、ノブ４０１に対する他のユーザの操作を検知し（図６のステップ１０９参照）、２つの操作を合成した指示を駆動機構４０２（図２１参照）に指示する。
図２３の例では、２人の操作の向きが同じであるので、扉４００を開く速度を速める方向で作用する。
なお、他方のユーザの操作の速度や作用する力の大きさに応じた触覚を生成して与えてもよい。他方のユーザの操作の状況を体感できることでユーザによる操作感が向上する。
【0067】
＜操作例４＞
図２４は、操作者がユーザＡとユーザＢの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
図２４の場合、ユーザＡは扉４００を開く操作（開操作）を行っているのに対し、ユーザＢは扉４００を閉じる操作（閉操作）を行っている。
なお、ユーザＡによる扉４００を開く操作（開操作）は許可されており、ユーザＢによる扉４００を閉じる操作（閉操作）も許可されている。ただし、ユーザＢの操作は感度が２倍に修正される。
この場合も、操作受付部２５４（図４参照）は、ノブ４０１に対する他のユーザの操作を検知し（図６のステップ１０９参照）、２つの操作を合成した指示を駆動機構４０２（図２１参照）に指示する。
図２４の例では、２人の操作の向きは反対であって、重み付け後の操作が釣り合っている。このため、扉４００は静止した状態を維持している。
この場合も、他方のユーザの操作の速度や作用する力の大きさに応じた触覚を生成して与えてもよい。他方のユーザの操作の状況を体感できることでユーザによる操作感が向上する。
図２４は、操作者がユーザＡとユーザＢの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
図２４の場合、ユーザＡは扉４００を開く操作（開操作）を行っているのに対し、ユーザＢは扉４００を閉じる操作（閉操作）を行っている。
なお、ユーザＡによる扉４００を開く操作（開操作）は許可されており、ユーザＢによる扉４００を閉じる操作（閉操作）も許可されている。ただし、ユーザＢの操作は感度が２倍に修正される。
この場合も、操作受付部２５４（図４参照）は、ノブ４０１に対する他のユーザの操作を検知し（図６のステップ１０９参照）、２つの操作を合成した指示を駆動機構４０２（図２１参照）に指示する。
図２４の例では、２人の操作の向きは反対であって、重み付け後の操作が釣り合っている。このため、扉４００は静止した状態を維持している。
この場合も、他方のユーザの操作の速度や作用する力の大きさに応じた触覚を生成して与えてもよい。他方のユーザの操作の状況を体感できることでユーザによる操作感が向上する。
【0068】
＜操作例５＞
図２５は、操作者がユーザＡとユーザＢの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
図２５の場合も、ユーザＡは扉４００を開く操作（開操作）を行っているのに対し、ユーザＢは扉４００を閉じる操作（閉操作）を行っている。
ただし、図２５の場合、重み付け後のユーザＡの操作が重み付け後のユーザＢの操作よりも大きくなっている。すなわち、開く操作（開操作）の方が優先される。
このため、扉４００は開くように駆動される。ただし、扉４００が開く速度は、ユーザＡが単独で操作する場合よりも遅くなる。
図２５は、操作者がユーザＡとユーザＢの２名である場合の操作の一例を説明する図である。（Ａ）は身振りによる操作の前を示し、（Ｂ）は身振りによる操作の後を示す。
図２５の場合も、ユーザＡは扉４００を開く操作（開操作）を行っているのに対し、ユーザＢは扉４００を閉じる操作（閉操作）を行っている。
ただし、図２５の場合、重み付け後のユーザＡの操作が重み付け後のユーザＢの操作よりも大きくなっている。すなわち、開く操作（開操作）の方が優先される。
このため、扉４００は開くように駆動される。ただし、扉４００が開く速度は、ユーザＡが単独で操作する場合よりも遅くなる。
【0069】
＜実施の形態３＞
本実施の形態では、操作子を２つ有する金庫を操作の対象とする場合について説明する。
図２６は、実施の形態３に係るシステムの一例を説明する図である。
図２６には、図１との対応部分に対応する符号を付して示している。
図２６に示すシステムは、金庫５００と、金庫５００を撮像する２台のスマートフォン２００Ａ、２００Ｂとで構成されている。
金庫５００は、操作の対象として現実の空間に存在する物体の一例である。
図２６に示す金庫５００の扉５０１には、登録されている数字を合わせないと解錠しない２つのダイヤル錠５０２、５０３が設けられている。
本実施の形態では、操作子を２つ有する金庫を操作の対象とする場合について説明する。
図２６は、実施の形態３に係るシステムの一例を説明する図である。
図２６には、図１との対応部分に対応する符号を付して示している。
図２６に示すシステムは、金庫５００と、金庫５００を撮像する２台のスマートフォン２００Ａ、２００Ｂとで構成されている。
金庫５００は、操作の対象として現実の空間に存在する物体の一例である。
図２６に示す金庫５００の扉５０１には、登録されている数字を合わせないと解錠しない２つのダイヤル錠５０２、５０３が設けられている。
【0070】
図２７は、金庫５００のハードウェア構成の一例を説明する図である。
金庫５００は、ＭＰＵ５１１と、ファームウェア等のデータが記憶されるＲＯＭ５１２と、プログラムの作業領域として使用されるＲＡＭ５１３と、スマートフォン２００（図２６参照）等の外部機器との通信に用いられる通信部５１４と、電気的な解錠又は施錠が可能な施錠機構５１５とを有している。なお、図２７の場合、各部はバス５１６で接続されている。勿論、各部の間で通信が可能であればバス５１６に限らない。
金庫５００は、ＭＰＵ５１１と、ファームウェア等のデータが記憶されるＲＯＭ５１２と、プログラムの作業領域として使用されるＲＡＭ５１３と、スマートフォン２００（図２６参照）等の外部機器との通信に用いられる通信部５１４と、電気的な解錠又は施錠が可能な施錠機構５１５とを有している。なお、図２７の場合、各部はバス５１６で接続されている。勿論、各部の間で通信が可能であればバス５１６に限らない。
【0071】
図２８は、金庫５００（図２６参照）の操作用のテーブル２５４Ａ３の一例を示す図である。
テーブル２５４Ａ３の内容は、権限を有するユーザや管理者が登録又は修正することができる。
本実施の形態の場合、テーブル２５４Ａ３には、例えばユーザ毎に、特定の操作の実行者として許容されているか否か、他のユーザの連携があれば操作の実行者として許容されるか否か等が記録される。
テーブル２５４Ａ３の内容は、権限を有するユーザや管理者が登録又は修正することができる。
本実施の形態の場合、テーブル２５４Ａ３には、例えばユーザ毎に、特定の操作の実行者として許容されているか否か、他のユーザの連携があれば操作の実行者として許容されるか否か等が記録される。
【0072】
例えば図２８の場合、ユーザＡには、ユーザＢとの連携を前提とする解錠操作１と、ユーザＤとの連携を前提とする解錠操作３とが割り当てられている。
ユーザＢとの連携で実行される解錠操作１におけるユーザＡの役割は、左側のダイヤル錠５０２を操作することである。このため、解錠操作１において、ユーザＡが右側のダイヤル錠５０３を操作しても、その操作は無効である。
ユーザＤとの連携で実行される解錠操作３におけるユーザＡの役割は、右側のダイヤル錠５０３を操作することである。このため、解錠操作３において、ユーザＡが左側のダイヤル錠５０２を操作しても、その操作は無効である。
また、ユーザＡが他のユーザ（例えばユーザＣ）と連携して、左側のダイヤル錠５０２及び右側のダイヤル錠５０３のいずれを操作しても、それらの操作は無効である。
ユーザＢとの連携で実行される解錠操作１におけるユーザＡの役割は、左側のダイヤル錠５０２を操作することである。このため、解錠操作１において、ユーザＡが右側のダイヤル錠５０３を操作しても、その操作は無効である。
ユーザＤとの連携で実行される解錠操作３におけるユーザＡの役割は、右側のダイヤル錠５０３を操作することである。このため、解錠操作３において、ユーザＡが左側のダイヤル錠５０２を操作しても、その操作は無効である。
また、ユーザＡが他のユーザ（例えばユーザＣ）と連携して、左側のダイヤル錠５０２及び右側のダイヤル錠５０３のいずれを操作しても、それらの操作は無効である。
【0073】
例えばユーザＢには、ユーザＣとの連携を前提とする解錠操作２だけが割り当てられている。
ユーザＣとの連携で実行される解錠操作２におけるユーザＢの役割は、左側のダイヤル錠５０２を操作することである。このため、解錠操作２において、ユーザＢが右側のダイヤル錠５０３を操作しても、その操作は無効である。
また、ユーザＢが他のユーザ（例えばユーザＡ又はユーザＤ）と連携して、ダイヤル錠５０２及び５０３のいずれを操作しても、それらの操作は無効である。
ユーザＣとの連携で実行される解錠操作２におけるユーザＢの役割は、左側のダイヤル錠５０２を操作することである。このため、解錠操作２において、ユーザＢが右側のダイヤル錠５０３を操作しても、その操作は無効である。
また、ユーザＢが他のユーザ（例えばユーザＡ又はユーザＤ）と連携して、ダイヤル錠５０２及び５０３のいずれを操作しても、それらの操作は無効である。
【0074】
例えばユーザＣには、ユーザＢとの連携を前提とする解錠操作２だけが割り当てられている。
ユーザＢとの連携で実行される解錠操作２におけるユーザＣの役割は、右側のダイヤル錠５０３を操作することである。勿論、ユーザＢと連携して操作する場合にユーザＣが左側のダイヤル錠５０２を操作しても無効である。また、ユーザＣが他のユーザと連携して左側のダイヤル錠５０２及び右側のダイヤル錠５０３のいずれを操作しても、それらの操作は無効である。
ユーザＢとの連携で実行される解錠操作２におけるユーザＣの役割は、右側のダイヤル錠５０３を操作することである。勿論、ユーザＢと連携して操作する場合にユーザＣが左側のダイヤル錠５０２を操作しても無効である。また、ユーザＣが他のユーザと連携して左側のダイヤル錠５０２及び右側のダイヤル錠５０３のいずれを操作しても、それらの操作は無効である。
【0075】
例えばユーザＤには、ユーザＡとの連携を前提とする解錠操作３だけが割り当てられている。
ユーザＡとの連携で実行される解錠操作３におけるユーザＤの役割は、左側のダイヤル錠５０２を操作することである。勿論、ユーザＡと連携して操作する場合にユーザＤが右側のダイヤル錠５０３を操作しても無効である。また、ユーザＤが他のユーザと連携して左側のダイヤル錠５０２及び右側のダイヤル錠５０３のいずれを操作しても、それらの操作は無効である。
ユーザＡとの連携で実行される解錠操作３におけるユーザＤの役割は、左側のダイヤル錠５０２を操作することである。勿論、ユーザＡと連携して操作する場合にユーザＤが右側のダイヤル錠５０３を操作しても無効である。また、ユーザＤが他のユーザと連携して左側のダイヤル錠５０２及び右側のダイヤル錠５０３のいずれを操作しても、それらの操作は無効である。
【0076】
なお、図２８においては、単独で左右両方のダイヤル錠５０２及び５０３を操作可能なユーザが存在しないが、単独で操作可能なユーザがいてもよい。
また、図２８においては、左側のダイヤル錠５０２及び右側のダイヤル錠５０３を操作するタイミングについての条件を記載していないが、同時（予め定めた時間長のズレは許容される）に操作すること、左側のダイヤル錠５０２及び右側のダイヤル錠５０３のいずれが先に操作されるべきか等の追加の条件を設けてもよい。操作の順番は、ユーザの組み合わせの違いで異なってもよい。
なお、解錠に使用される操作子は、例えば英数字の順番に入力する方式の操作子とダイヤル錠の組み合わせ、鍵とダイヤル錠の組み合わせ、生体認証デバイス（例えば指紋認証のデバイス、静脈認証のデバイス、虹彩認証のデバイス）、スワイプやパターンによる方式でもよい。
英数字の順番に入力する方式の操作子は、文字を１文字ずつ入力する方式でも、英数字が印字されたボタン類を操作する方式でもよい。
また、図２８においては、左側のダイヤル錠５０２及び右側のダイヤル錠５０３を操作するタイミングについての条件を記載していないが、同時（予め定めた時間長のズレは許容される）に操作すること、左側のダイヤル錠５０２及び右側のダイヤル錠５０３のいずれが先に操作されるべきか等の追加の条件を設けてもよい。操作の順番は、ユーザの組み合わせの違いで異なってもよい。
なお、解錠に使用される操作子は、例えば英数字の順番に入力する方式の操作子とダイヤル錠の組み合わせ、鍵とダイヤル錠の組み合わせ、生体認証デバイス（例えば指紋認証のデバイス、静脈認証のデバイス、虹彩認証のデバイス）、スワイプやパターンによる方式でもよい。
英数字の順番に入力する方式の操作子は、文字を１文字ずつ入力する方式でも、英数字が印字されたボタン類を操作する方式でもよい。
【0077】
＜操作例１＞
図２９は、ユーザＢが自身の右手３１０を右側のダイヤル錠の像５０３Ａに重ねて撮像する例を説明する図である。
ユーザＢは、不図示の左手でスマートフォン２００Ｂを保持した状態で右手３１０を空中に伸ばし、右側のダイヤル錠５０３に非接触のまま数字を合わせる身振りを行っている。
図２９に示すユーザＢの操作の様子は、ユーザＡと連携する解錠操作１（図２８参照）の場合に相当する。この操作は有効であるので、ユーザＢは右手３１０に触覚を感じている。
図２９の場合、液晶ディスプレイ２２３には、実像である右手の像３１０Ａが、左側のダイヤル錠の像５０２Ａと、右側のダイヤル錠の像５０３Ａと、扉の像５０１Ａとともに表示されている。
ユーザＢは、表示されている右側のダイヤル錠の像５０３Ａを見ながら数字を合わせる動作を行う。図２９の場合、表示されるのはユーザＢの右手の像３１０Ａだけである。
この際、ユーザＡにはユーザＢが操作した時点で触覚を与え、ユーザＢにはユーザＡが操作した時点で触覚を与えてもよい。自身の動きに起因しない振動が付与されることで、他方のユーザによる操作の実行を知ることが可能になる。特に、ユーザのＡの操作とユーザＢの操作のタイミングを合わせる必要がある場合には、この種の振動を通じてタイミングを合わせ易くなる。
図２９は、ユーザＢが自身の右手３１０を右側のダイヤル錠の像５０３Ａに重ねて撮像する例を説明する図である。
ユーザＢは、不図示の左手でスマートフォン２００Ｂを保持した状態で右手３１０を空中に伸ばし、右側のダイヤル錠５０３に非接触のまま数字を合わせる身振りを行っている。
図２９に示すユーザＢの操作の様子は、ユーザＡと連携する解錠操作１（図２８参照）の場合に相当する。この操作は有効であるので、ユーザＢは右手３１０に触覚を感じている。
図２９の場合、液晶ディスプレイ２２３には、実像である右手の像３１０Ａが、左側のダイヤル錠の像５０２Ａと、右側のダイヤル錠の像５０３Ａと、扉の像５０１Ａとともに表示されている。
ユーザＢは、表示されている右側のダイヤル錠の像５０３Ａを見ながら数字を合わせる動作を行う。図２９の場合、表示されるのはユーザＢの右手の像３１０Ａだけである。
この際、ユーザＡにはユーザＢが操作した時点で触覚を与え、ユーザＢにはユーザＡが操作した時点で触覚を与えてもよい。自身の動きに起因しない振動が付与されることで、他方のユーザによる操作の実行を知ることが可能になる。特に、ユーザのＡの操作とユーザＢの操作のタイミングを合わせる必要がある場合には、この種の振動を通じてタイミングを合わせ易くなる。
【0078】
＜操作例２＞
前述の操作例１の場合、他のユーザの操作の様子を画面上で確認することができない。このため、他のユーザの操作のタイミングと自身の操作のタイミングを合わせる必要がある場合や予め定められた実行の順序を満たす必要がある場合等においては、例えば視線を画面から離して他のユーザの操作を確認する必要がある。
前述の操作例１の場合、他のユーザの操作の様子を画面上で確認することができない。このため、他のユーザの操作のタイミングと自身の操作のタイミングを合わせる必要がある場合や予め定められた実行の順序を満たす必要がある場合等においては、例えば視線を画面から離して他のユーザの操作を確認する必要がある。
【0079】
図３０は、ユーザＢが自身の右手３１０を右側のダイヤル錠の像５０３Ａに重ねて撮像する他の例を説明する図である。
図３０には、図２９との対応する部分に対応する符号を付して示している。
図３０の場合、液晶ディスプレイ２２３には、連携するユーザＡが操作中であることを、ユーザＡに対応付けられた仮想の手５１０の表示と、左側のダイヤル錠の像５０２Ａに対する操作の方向を示す矢印５１１とで表している。
なお、図３０では、ユーザＡが操作中であることを仮想の手５１０の表示によって示しているが、文字によって示してもよいし、操作の対象である左側のダイヤル錠の像５０２Ａの表示の形態を変化させてもよい。例えば文字で「操作中」と表示してもよいし、左側のダイヤル錠の像５０２Ａの色を変化させてもよいし、左側のダイヤル錠の像５０２Ａを点滅させてもよい。
図３０には、図２９との対応する部分に対応する符号を付して示している。
図３０の場合、液晶ディスプレイ２２３には、連携するユーザＡが操作中であることを、ユーザＡに対応付けられた仮想の手５１０の表示と、左側のダイヤル錠の像５０２Ａに対する操作の方向を示す矢印５１１とで表している。
なお、図３０では、ユーザＡが操作中であることを仮想の手５１０の表示によって示しているが、文字によって示してもよいし、操作の対象である左側のダイヤル錠の像５０２Ａの表示の形態を変化させてもよい。例えば文字で「操作中」と表示してもよいし、左側のダイヤル錠の像５０２Ａの色を変化させてもよいし、左側のダイヤル錠の像５０２Ａを点滅させてもよい。
【0080】
＜操作例３＞
図３１は、ユーザＢが自身の右手３１０を右側のダイヤル錠の像５０３Ａに重ねて撮像する他の例を説明する図である。
図３１には、図２９との対応する部分に対応する符号を付して示している。
図３１の場合、液晶ディスプレイ２２３には、ユーザＢが操作するスマートフォン２００Ｂによって撮像されている画像の一部に、連携するユーザＡが操作するスマートフォン２００Ａによって撮像されている画像を示す小画面５５０が表示されている。
本実施の形態の場合、小画面５５０に表示される画像は、連携するスマートフォン２００Ａから受信している。
図３１では、ユーザＡが操作に用いている画面であることを示すタイトルが小画面５５０に表示されている。小画面５５０は、他のユーザの動きを表示する画像の一例である。
図３１は、ユーザＢが自身の右手３１０を右側のダイヤル錠の像５０３Ａに重ねて撮像する他の例を説明する図である。
図３１には、図２９との対応する部分に対応する符号を付して示している。
図３１の場合、液晶ディスプレイ２２３には、ユーザＢが操作するスマートフォン２００Ｂによって撮像されている画像の一部に、連携するユーザＡが操作するスマートフォン２００Ａによって撮像されている画像を示す小画面５５０が表示されている。
本実施の形態の場合、小画面５５０に表示される画像は、連携するスマートフォン２００Ａから受信している。
図３１では、ユーザＡが操作に用いている画面であることを示すタイトルが小画面５５０に表示されている。小画面５５０は、他のユーザの動きを表示する画像の一例である。
【0081】
図３１の場合、液晶ディスプレイ２２３には、金庫の像５００Ａ、扉の像５０１Ａ、左側のダイヤル錠の像５０２Ａ、右側のダイヤル錠の像５０３Ａ、右手の像３１０Ａが表示されている。
小画面５５０の内側も同様である。
また、図３１の場合には、左側のダイヤル錠５０２及び右側のダイヤル錠５０３に対する操作の向きが矢印で表示されている。
勿論、連携するユーザＡが保持するスマートフォン２００Ａの液晶ディスプレイ２２３にも、同様の画像が表示される。
このため、ユーザＡとユーザＢは、互いに他方の操作を画面上で確認しながら自身の操作のタイミングを合わせることができる。
小画面５５０の内側も同様である。
また、図３１の場合には、左側のダイヤル錠５０２及び右側のダイヤル錠５０３に対する操作の向きが矢印で表示されている。
勿論、連携するユーザＡが保持するスマートフォン２００Ａの液晶ディスプレイ２２３にも、同様の画像が表示される。
このため、ユーザＡとユーザＢは、互いに他方の操作を画面上で確認しながら自身の操作のタイミングを合わせることができる。
【0082】
＜実施の形態４＞
前述の実施の形態の場合には、現実の空間に存在する物体をスマートフォン２００で直接的に撮像しているが、撮像の対象は、撮像する空間内に実在していなくてもよい。
図３２は、表示装置６００の表示面６０１に表示されている画像を撮像の対象とする場合を説明する図である。
表示装置６００は、例えばテレビジョン受像機やモニタであり、その表示面６０１には、画像形成装置１００（図１参照）のユーザインタフェース部の像１１０Ａが表示されている。
ここでのユーザインタフェースの像１１０Ａは、実在する画像形成装置１００を撮像した画像データを再生した像である。
前述の実施の形態の場合には、現実の空間に存在する物体をスマートフォン２００で直接的に撮像しているが、撮像の対象は、撮像する空間内に実在していなくてもよい。
図３２は、表示装置６００の表示面６０１に表示されている画像を撮像の対象とする場合を説明する図である。
表示装置６００は、例えばテレビジョン受像機やモニタであり、その表示面６０１には、画像形成装置１００（図１参照）のユーザインタフェース部の像１１０Ａが表示されている。
ここでのユーザインタフェースの像１１０Ａは、実在する画像形成装置１００を撮像した画像データを再生した像である。
【0083】
一方、スマートフォン２００の液晶ディスプレイ２２３には、ユーザインタフェース部１１０の一部分を撮像した像２７０（ファックス送信用のボタン２７１と仕様設定／登録用のボタン２７２）が表示されている。図３２の場合、仕様設定／登録用のボタン２７２に重ねるように人差し指の像３０１Ａが表示されている。
本実施の形態は、スマートフォン２００による撮像の対象が、操作の対象である画像形成装置１００（図１参照）と異なる以外は、図８を用いて説明した操作例１と同様である。
本実施の形態は、スマートフォン２００による撮像の対象が、操作の対象である画像形成装置１００（図１参照）と異なる以外は、図８を用いて説明した操作例１と同様である。
【0084】
この場合も、スマートフォン２００が通信可能な機器の一覧の中から操作の対象とする画像形成装置１００を事前に特定しておけば、操作例１と同様に画像形成装置１００の操作が可能である。
なお、表示面６０１に表示されているユーザインタフェース部の像１１０Ａと操作の対象とする画像形成装置１００との関係が不明でも、画像を認識する技術を通じて対応する画像形成装置１００を特定できる場合には、特定された画像形成装置１００に対して遠隔地から身振りによる操作を実現できる。
なお、表示面６０１に表示されているユーザインタフェース部の像１１０Ａと操作の対象とする画像形成装置１００との関係が不明でも、画像を認識する技術を通じて対応する画像形成装置１００を特定できる場合には、特定された画像形成装置１００に対して遠隔地から身振りによる操作を実現できる。
【0085】
＜実施の形態５＞
前述の実施の形態の場合には、スマートフォン２００に設けられたカメラ２２５（図３参照）を用いて操作の対象である物体（又はその像）とユーザの体の一部とを同時に撮像しているが、他のカメラで撮像されている画像を用いてもよい。
図３３は、スマートフォン以外のカメラで撮像されている物体を身振りで操作する例を説明する図である。
図３３には、図９との対応部分に対応する符号を付して示している。
前述の実施の形態の場合には、スマートフォン２００に設けられたカメラ２２５（図３参照）を用いて操作の対象である物体（又はその像）とユーザの体の一部とを同時に撮像しているが、他のカメラで撮像されている画像を用いてもよい。
図３３は、スマートフォン以外のカメラで撮像されている物体を身振りで操作する例を説明する図である。
図３３には、図９との対応部分に対応する符号を付して示している。
【0086】
図３３では、画像形成装置１００を撮像するカメラとして、ウェブカメラ７００を用いる例を示している。
なお、ウェブカメラ７００に代えて、他のユーザが使用するスマートフォンその他の撮像装置を用いてもよい。
本実施の形態の場合、操作の指示に使用される人差し指３０１は、操作者であるユーザが保持するスマートフォン２００のカメラ２２５（図３参照）によって撮像され、画像形成装置の像１００Ａ（具体的には、ユーザインタフェース部１１０に表示されている仕様設定／登録用のボタン２７２）に重ねて表示されている。
この実施の形態の場合、スマートフォン２００によって撮像された画像の中からユーザの人差し指の像３０１Ａが抜き出されて表示される、又は、撮像されている画像とは無関係に用意された仮想の指先のアイコンなどが表示される。
本実施の形態の場合、ユーザの身振りに伴う操作を受け付けたスマートフォン２００は、不図示のネットワークを通じて画像形成装置１００に指示を送信する。
なお、ウェブカメラ７００に代えて、他のユーザが使用するスマートフォンその他の撮像装置を用いてもよい。
本実施の形態の場合、操作の指示に使用される人差し指３０１は、操作者であるユーザが保持するスマートフォン２００のカメラ２２５（図３参照）によって撮像され、画像形成装置の像１００Ａ（具体的には、ユーザインタフェース部１１０に表示されている仕様設定／登録用のボタン２７２）に重ねて表示されている。
この実施の形態の場合、スマートフォン２００によって撮像された画像の中からユーザの人差し指の像３０１Ａが抜き出されて表示される、又は、撮像されている画像とは無関係に用意された仮想の指先のアイコンなどが表示される。
本実施の形態の場合、ユーザの身振りに伴う操作を受け付けたスマートフォン２００は、不図示のネットワークを通じて画像形成装置１００に指示を送信する。
【0087】
＜実施の形態６＞
前述の実施の形態では、操作者であるユーザの身振りを撮像して画像形成装置１００に対する操作を受け付ける情報処理装置の一例としてスマートフォン２００（図１参照）を例示しているが、ウェアラブル型の情報処理装置を使用してもよい。
図３４は、ウェアラブル型の情報処理装置を用いるシステムの一例を説明する図である。
図３４には、図１との対応部分に対応する符号を付して示している。
前述の実施の形態では、操作者であるユーザの身振りを撮像して画像形成装置１００に対する操作を受け付ける情報処理装置の一例としてスマートフォン２００（図１参照）を例示しているが、ウェアラブル型の情報処理装置を使用してもよい。
図３４は、ウェアラブル型の情報処理装置を用いるシステムの一例を説明する図である。
図３４には、図１との対応部分に対応する符号を付して示している。
【0088】
図３４の場合、ユーザは、メガネ型の端末８００を装着している。メガネ型の端末８００のハードウェア構成（図３参照）や機能構成（図４参照）は、スマートフォン２００と同様である。ただし、メガネ型の端末８００には、タッチパッド２２６（図３参照）は取り付けられていない。
メガネ型の端末８００の場合、ユーザは両手を自由に使うことができる。従って、メガネ型の端末８００は、両手を使った操作の入力に用いることができる。例えば人型のロボットに対する操作の指示に用いることができる。このため、スマートフォン２００を用いる場合よりも、入力可能な操作の範囲を広げることが可能になる。
なお、図３４のユーザには、ユーザインタフェース部の像１１０Ａが見えている。
メガネ型の端末８００の場合、ユーザは両手を自由に使うことができる。従って、メガネ型の端末８００は、両手を使った操作の入力に用いることができる。例えば人型のロボットに対する操作の指示に用いることができる。このため、スマートフォン２００を用いる場合よりも、入力可能な操作の範囲を広げることが可能になる。
なお、図３４のユーザには、ユーザインタフェース部の像１１０Ａが見えている。
【0089】
＜実施の形態７＞
前述の実施の形態では、スマートフォン２００に表示されている操作の対象である物体に通信機能が設けられている場合を前提にしているが、ここでは操作の対象に通信の機能が設けられていない場合について説明する。
図３５は、植木９００の移動を身振りで指示する場合を説明する図である。
スマートフォン２００Ａ及び２００Ｂの画面には、植木の像９００Ａ及び９００Ｂが表示されている。この場合も、実空間にある右手は、植木９００に触れることなく動かされる。
前述の実施の形態では、スマートフォン２００に表示されている操作の対象である物体に通信機能が設けられている場合を前提にしているが、ここでは操作の対象に通信の機能が設けられていない場合について説明する。
図３５は、植木９００の移動を身振りで指示する場合を説明する図である。
スマートフォン２００Ａ及び２００Ｂの画面には、植木の像９００Ａ及び９００Ｂが表示されている。この場合も、実空間にある右手は、植木９００に触れることなく動かされる。
【0090】
植木９００には、通信機能も自走装置も取り付けられていない。このため、前述した実施の形態のように、スマートフォン２００で右手の動きを撮像しても、その動きによって植木９００を移動させることはできない。
本実施の形態では、身振りによる操作の送信先として自走機能を有するヒト型のロボット１０００を指定する。
なお、指示の送信先としてのロボット１０００は、例えばスマートフォン２００との通信が可能な機器の一覧の中から指定すればよい。
本実施の形態では、身振りによる操作の送信先として自走機能を有するヒト型のロボット１０００を指定する。
なお、指示の送信先としてのロボット１０００は、例えばスマートフォン２００との通信が可能な機器の一覧の中から指定すればよい。
【0091】
図３５に示すロボット１０００は、その外観にヒト型を採用しているが、必要な機能が搭載されていれば外観は任意である。例えば犬やネコなどの動物、花や木などの植物、車（電車を含む）や飛行機等の乗り物を模したものでもよい。
図３５に示すロボット１０００は、胴部１０１１、頭部１０１２、腕１０１３、１０１５、手１０１４、１０１６、足１０１７、１０１８を有している。
胴部１０１１には、信号処理のための電子部品が格納されている。胴部１０１１には、表示デバイスや音響機器が搭載されてもよい。
図３５に示すロボット１０００は、胴部１０１１、頭部１０１２、腕１０１３、１０１５、手１０１４、１０１６、足１０１７、１０１８を有している。
胴部１０１１には、信号処理のための電子部品が格納されている。胴部１０１１には、表示デバイスや音響機器が搭載されてもよい。
【0092】
頭部１０１２は、首の部分に設けられたジョイント機構を介して胴部１０１１に連結されている。本実施の形態の場合、ジョイント機構は、３軸まわりに回転可能である。３軸まわりの回転とは、ヨー（ｚ軸まわりの回転）、ロール（ｘ軸まわりの回転）、ピッチ（ｙ軸まわりの回転）の３つである。ここでのジョイント機構は可動部の一例である。
３軸の全てに対して回転可能である必要はなく、１軸のみ又は２軸について回転可能でもよい。これらの回転は、不図示のモーターによって実現してもよいが、手動で行ってもよい。もっとも、頭部１０１２が胴部１０１１に対して固定される場合を妨げない。
頭部１０１２には目１０１２Ａ、１０１２Ｂが設けられている。目１０１２Ａ及び１０１２Ｂは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部１０１２には可動式の耳が配置されていてもよい。
３軸の全てに対して回転可能である必要はなく、１軸のみ又は２軸について回転可能でもよい。これらの回転は、不図示のモーターによって実現してもよいが、手動で行ってもよい。もっとも、頭部１０１２が胴部１０１１に対して固定される場合を妨げない。
頭部１０１２には目１０１２Ａ、１０１２Ｂが設けられている。目１０１２Ａ及び１０１２Ｂは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部１０１２には可動式の耳が配置されていてもよい。
【0093】
本実施の形態における腕１０１３及び１０１５は、胴部１０１１とジョイント機構を介して連結されている。腕１０１３及び１０１５の上腕と前腕は、ジョイント機構を介して連結されている。ここでのジョイント機構は、頭部１０１２と同様に多軸でも単軸でもよい。また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。もっとも、腕１０１３及び１０１５は、胴部１０１１に固定されていてもよい。ここでのジョイント機構も可動部の一例である。
なお、腕１０１３及び１０１５を予め定めた角度に折り曲げれば、物の運搬に用いることができる。
なお、腕１０１３及び１０１５を予め定めた角度に折り曲げれば、物の運搬に用いることができる。
【0094】
手１０１４及び１０１６は、手首の部分に設けられたジョイント機構を介して腕１０１３及び１０１５に連結されている。手１０１４及び１０１６の手の平と指は、いずれもジョイント機構を介して連結されている。ここでのジョイント機構は、頭部１０１２と同様に多軸でも単軸でもよい。また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。本実施の形態の場合、手１０１４及び１０１６は、指の開閉により物を掴むことができる。ここでのジョイント機構も可動部の一例である。
手１０１４及び１０１６は、腕１０１３及び１０１５に対して固定でもよい。
手１０１４及び１０１６は、腕１０１３及び１０１５に対して固定でもよい。
【0095】
足１０１７及び１０１８は、ジョイント機構を介して胴部１０１１に連結されてもよいし、車輪やキャタピラー等の自走装置として胴部１０１１に取り付けられてもよい。
足１０１７及び１０１８がジョイント機構を介して胴部１０１１に連結される場合、ジョイント機構は、頭部１０１２と同じく多軸でも単軸でもよい。
また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。なお、足１０１７及び１０１８は、胴部１０１１に対して固定でもよい。ここでのジョイント機構も可動部の一例である。
足１０１７及び１０１８がジョイント機構を介して胴部１０１１に連結される場合、ジョイント機構は、頭部１０１２と同じく多軸でも単軸でもよい。
また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。なお、足１０１７及び１０１８は、胴部１０１１に対して固定でもよい。ここでのジョイント機構も可動部の一例である。
【0096】
図３６は、ロボット１０００のハードウェア構成を説明する図である。
ロボット１０００は、装置全体の動きを制御する制御部１０２１と、ロボット周辺の画像を撮像するカメラ１０２２と、会話用の音声、楽曲、効果音を再生するスピーカ１０２３と、音の入力又は取得に用いられるマイク１０２４と、ジョイント機構などの可動機構１０２５と、外部装置（例えばスマートフォン）との通信に用いられる通信部１０２６と、画像を表示する表示部１０２７と、装置全体を移動させる移動機構１０２８と、各部に電力を供給する電源１０２９と、各部の状態や周辺情報の収集に使用されるセンサ１０３０と、位置情報の取得に用いられる位置検知部１０３１とを有している。これらの各部は、例えばバス１０３２により互いに接続されている。
ロボット１０００は、装置全体の動きを制御する制御部１０２１と、ロボット周辺の画像を撮像するカメラ１０２２と、会話用の音声、楽曲、効果音を再生するスピーカ１０２３と、音の入力又は取得に用いられるマイク１０２４と、ジョイント機構などの可動機構１０２５と、外部装置（例えばスマートフォン）との通信に用いられる通信部１０２６と、画像を表示する表示部１０２７と、装置全体を移動させる移動機構１０２８と、各部に電力を供給する電源１０２９と、各部の状態や周辺情報の収集に使用されるセンサ１０３０と、位置情報の取得に用いられる位置検知部１０３１とを有している。これらの各部は、例えばバス１０３２により互いに接続されている。
【0097】
言うまでもなく、図３６に示すハードウェア構成は一例である。従って、ロボット１０００は、前述した全ての機能部を搭載する必要はない。
また、ロボット１０００は、不図示の機能部を更に搭載してもよい。例えばロボット１０００は、電源ボタン、記憶装置（ハードディスク装置、半導体メモリ等）、熱源（冷却源を含む。）等を搭載してもよい。
また、ロボット１０００は、不図示の機能部を更に搭載してもよい。例えばロボット１０００は、電源ボタン、記憶装置（ハードディスク装置、半導体メモリ等）、熱源（冷却源を含む。）等を搭載してもよい。
【0098】
制御部１０２１は、いわゆるコンピュータであり、ＣＰＵ、ＲＯＭ、ＲＡＭを有している。ＲＯＭには、ＣＰＵにより実行されるプログラムが記憶されている。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、ＣＰＵはロボット１０００を構成する各部の動作を制御する。
ここでのプログラムには、人工知能に対応するアルゴリズムの実現に関連するプログラムが含まれる。制御部１０２１を構成するＣＰＵやＲＡＭは、人工知能が使用する計算資源を提供する。
ここでのプログラムには、人工知能に対応するアルゴリズムの実現に関連するプログラムが含まれる。制御部１０２１を構成するＣＰＵやＲＡＭは、人工知能が使用する計算資源を提供する。
【0099】
本実施の形態における制御部１０２１は、例えばカメラ１０２２、マイク１０２４、センサ１０３０を通じて取得される情報を人工知能で処理し、ロボット１０００の周辺環境や状態に応じた動作を自律的に決定する。
例えばスピーカ１０２３を通じて音声を出力したり、通信部１０２６を通じてメッセージを送信したり、表示部１０２７を通じて画像を出力してもよい。
これら情報の入出力や可動機構１０２５の動きを通じ、制御部１０２１は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
制御部１０２１は、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて追加の情報を収集し、検索事象との類似度によって解決策を発見する機能も搭載する。
例えばスピーカ１０２３を通じて音声を出力したり、通信部１０２６を通じてメッセージを送信したり、表示部１０２７を通じて画像を出力してもよい。
これら情報の入出力や可動機構１０２５の動きを通じ、制御部１０２１は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
制御部１０２１は、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて追加の情報を収集し、検索事象との類似度によって解決策を発見する機能も搭載する。
【0100】
本実施の形態の場合、制御部１０２１が取得する情報には、例えば視覚、聴覚、触覚、味覚、嗅覚、平衡感覚、温度が含まれる。
視覚は、カメラ１０２２で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク１０２４で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚（触覚、痛覚、温度覚）、深部感覚（圧覚、位置覚、振動覚など）、皮質性感覚（二点識別覚、立体識別能力など）が含まれる。
制御部１０２１は、触覚の違いを分別できる。
触覚、味覚、嗅覚、平衡感覚、温度は、各種のセンサ１０３０による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部１０２１が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部１０２６で受信すればよい。
視覚は、カメラ１０２２で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク１０２４で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚（触覚、痛覚、温度覚）、深部感覚（圧覚、位置覚、振動覚など）、皮質性感覚（二点識別覚、立体識別能力など）が含まれる。
制御部１０２１は、触覚の違いを分別できる。
触覚、味覚、嗅覚、平衡感覚、温度は、各種のセンサ１０３０による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部１０２１が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部１０２６で受信すればよい。
【0101】
本実施の形態の場合、カメラ１０２２は、目１０１２Ａ及び１０１２Ｂ（図３５参照）の位置に配置される。
表示部１０２７として投影機が用いられる場合、投影機は、例えば目１０１２Ａ及び１０１２Ｂ（図１参照）のいずれか一方又は両方に配置することができる。なお、投影機は胴部１０１１や頭部１０１２に配置してもよい。
表示部１０２７として投影機が用いられる場合、投影機は、例えば目１０１２Ａ及び１０１２Ｂ（図１参照）のいずれか一方又は両方に配置することができる。なお、投影機は胴部１０１１や頭部１０１２に配置してもよい。
【0102】
可動機構１０２５は、物の搬送の他、感情を表現する目的でも使用される。
物の搬送に使用される場合、可動機構１０２５は、腕１０１３、１０１５や手１０１４、１０１６（図３５参照）の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構１０２５は、例えば頭部１０１２、腕１０１３、１０１５、手１０１４、１０１６等（図３５参照）の駆動を通じて、頭を傾げる、見上げる、周囲を見回す（キョロキョロする）、万歳する、指さし等の動作を実行する。
物の搬送に使用される場合、可動機構１０２５は、腕１０１３、１０１５や手１０１４、１０１６（図３５参照）の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構１０２５は、例えば頭部１０１２、腕１０１３、１０１５、手１０１４、１０１６等（図３５参照）の駆動を通じて、頭を傾げる、見上げる、周囲を見回す（キョロキョロする）、万歳する、指さし等の動作を実行する。
【0103】
本実施の形態における通信部１０２６は、無線方式によって外部と通信する。
ロボット１０００には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部１０２６が搭載される。通信方式には、例えば赤外線通信、可視光通信、近接無線通信、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標）、ＲＦＩＤ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＩＥＥＥ８０２．１１ａ（登録商標）、ＭｕｌｔｅＦｉｒｅ、ＬＰＷＡ（Low Power Wide Area）等がある。
無線通信に使用する帯域には、短波長帯（例えば８００ＭＨｚ～９２０ＭＨｚ）、長波長帯（例えば２．４ＧＨｚ、５ＧＨｚ）等がある。
なお、通信部１０２６と外部装置との接続には通信ケーブルを使用してもよい。
ロボット１０００には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部１０２６が搭載される。通信方式には、例えば赤外線通信、可視光通信、近接無線通信、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標）、ＲＦＩＤ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＩＥＥＥ８０２．１１ａ（登録商標）、ＭｕｌｔｅＦｉｒｅ、ＬＰＷＡ（Low Power Wide Area）等がある。
無線通信に使用する帯域には、短波長帯（例えば８００ＭＨｚ～９２０ＭＨｚ）、長波長帯（例えば２．４ＧＨｚ、５ＧＨｚ）等がある。
なお、通信部１０２６と外部装置との接続には通信ケーブルを使用してもよい。
【0104】
表示部１０２７は、ユーザとの間で視覚的なコミュニケーションを実現するために使用してもよい。例えば表示部１０２７には、文字や図形を表示してもよい。
表示部１０２７が頭部１０１２に配置される場合、表示部１０２７に表情を表示してもよい。
表示部１０２７が頭部１０１２に配置される場合、表示部１０２７に表情を表示してもよい。
【0105】
本実施の形態の場合、移動機構１０２８には車輪やキャタピラーを用いるが、プロペラや圧縮空気の吹き出し機構を用い、空気の力でロボット１０００を移動させてもよい。
本実施の形態における電源１０２９には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源１０２９の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。
本実施の形態における電源１０２９には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源１０２９の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。
【0106】
本実施の形態の場合、ロボット１０００には、位置検知部１０３１が搭載されている。
位置検知部１０３１には、例えばＧＰＳ（Global Positioning System）信号から地点情報を読み取る方式、ＧＰＳと同等の信号を用いて屋内の位置を測位するＩＭＥＳ（Indoor Messaging System）方式、ＷｉＦｉの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するＷｉＦｉ測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、ＬＥＤ（Light Emitting Diode）等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。
位置検知部１０３１には、例えばＧＰＳ（Global Positioning System）信号から地点情報を読み取る方式、ＧＰＳと同等の信号を用いて屋内の位置を測位するＩＭＥＳ（Indoor Messaging System）方式、ＷｉＦｉの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するＷｉＦｉ測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、ＬＥＤ（Light Emitting Diode）等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。
【0107】
図３７は、複数のユーザが連携して植木９００の移動をロボット１０００に指示する例を説明する図である。
図３７には、図３５との対応部分に対応する符号を付して示している。
他の実施の形態と同様に、ユーザＡとユーザＢは、各自が保持するスマートフォン２００Ａ及び２００Ｂの前方で右手３１０を動かし、その動きを撮像する。
右手３１０の動きを操作として受け付けたスマートフォン２００は、その操作の実行を植木９００への移動が可能なロボット１０００に指示する。ここでの操作は、植木９００の横方向への移動である。
なお、この移動の操作は、必ずしもユーザＡとユーザＢの連携を必要としない。このため、スマートフォン２００Ａ及び２００Ｂは、植木９００に対する他のユーザの操作が検知された場合（図６のステップ１０９参照）、２つの操作を合成した指示をロボット１０００に指示する。操作の合成は、前述した実施の形態２の場合のようにユーザごとに異なる重みを付してもよい。
図３７には、図３５との対応部分に対応する符号を付して示している。
他の実施の形態と同様に、ユーザＡとユーザＢは、各自が保持するスマートフォン２００Ａ及び２００Ｂの前方で右手３１０を動かし、その動きを撮像する。
右手３１０の動きを操作として受け付けたスマートフォン２００は、その操作の実行を植木９００への移動が可能なロボット１０００に指示する。ここでの操作は、植木９００の横方向への移動である。
なお、この移動の操作は、必ずしもユーザＡとユーザＢの連携を必要としない。このため、スマートフォン２００Ａ及び２００Ｂは、植木９００に対する他のユーザの操作が検知された場合（図６のステップ１０９参照）、２つの操作を合成した指示をロボット１０００に指示する。操作の合成は、前述した実施の形態２の場合のようにユーザごとに異なる重みを付してもよい。
【0108】
移動の指示を受信したロボット１０００は、移動の対象である植木９００の場所まで移動すると、植木９００を掴んで横方向に移動させる。
このとき、スマートフォン２００Ａ及び２００Ｂには、植木の像９００Ａを掴んで移動するロボットの像１０００Ａと右手の像３１０Ａが表示される。
図３７の場合、植木の像９００Ａとロボットの像１０００Ａの確認が容易になるように、右手の像３１０Ａを透過像として表示している。
また、図３７の場合、ユーザＡが保持するスマートフォン２００Ａには、操作の同じ物体を操作する他のユーザＢの操作の様子を示す小画面１１００が表示され、ユーザＢが保持するスマートフォン２００Ｂには、操作の同じ物体を操作する他のユーザＡの操作の様子を示す小画面１２００が表示される。小画面１１００及び１２００は、他のユーザの動きを表示する画像の一例である。
このとき、スマートフォン２００Ａ及び２００Ｂには、植木の像９００Ａを掴んで移動するロボットの像１０００Ａと右手の像３１０Ａが表示される。
図３７の場合、植木の像９００Ａとロボットの像１０００Ａの確認が容易になるように、右手の像３１０Ａを透過像として表示している。
また、図３７の場合、ユーザＡが保持するスマートフォン２００Ａには、操作の同じ物体を操作する他のユーザＢの操作の様子を示す小画面１１００が表示され、ユーザＢが保持するスマートフォン２００Ｂには、操作の同じ物体を操作する他のユーザＡの操作の様子を示す小画面１２００が表示される。小画面１１００及び１２００は、他のユーザの動きを表示する画像の一例である。
【0109】
小画面１１００及び１２００には、各ユーザによる操作の向きと大きさを示す矢印も表示されている。
このため、各ユーザは、他者の操作のタイミングと自身の操作のタイミングを合わせたり、操作の向きを調整したりできる。
図３７の場合には、ユーザの目の前に植木９００もロボット１０００も実在するので右手の像３１０Ａを透過的に表示する必要性は低いが、スマートフォン２００Ａ及び２００Ｂに表示されている植木の像９００Ａ及び９００Ｂがユーザの目の前にない場合（例えばスマートフォン２００にはウェブカメラの画像が表示されている場合）には、右手の像３１０Ａが透過的に表示されることで実空間の様子の確認が容易になる。
このため、各ユーザは、他者の操作のタイミングと自身の操作のタイミングを合わせたり、操作の向きを調整したりできる。
図３７の場合には、ユーザの目の前に植木９００もロボット１０００も実在するので右手の像３１０Ａを透過的に表示する必要性は低いが、スマートフォン２００Ａ及び２００Ｂに表示されている植木の像９００Ａ及び９００Ｂがユーザの目の前にない場合（例えばスマートフォン２００にはウェブカメラの画像が表示されている場合）には、右手の像３１０Ａが透過的に表示されることで実空間の様子の確認が容易になる。
【0110】
＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0111】
例えば前述の実施の形態では、身振りに基づいて物体の操作を指示する情報処理装置の一例としてスマートフォン２００（図１参照）やメガネ型の端末（図３４参照）を用いたが、撮像用のカメラと、表示部と、通信部を有していれば、例えばタブレット端末でも、いわゆるデジタルカメラでも、ゲーム機などの玩具でも、時計型のウェアラブル端末やカメラ内蔵型のコンタクトレンズでも構わない。カメラ内蔵型のコンタクトレンズは、ウェアラブル端末の一例であり、スマートコンタクトレンズとも呼ばれる。スマートコンタクトレンズは、角膜に接触させて使用するレンズに、例えばカメラ、アンテナ、電子部品（送受信回路、信号処理回路等）を配置した構成を有し、まばたきによる操作が可能である。例えばシャッター、ズーム、絞り、焦点を操作できる。
【0112】
前述の実施の形態では、スマートフォン２００で撮像する自身の体の一部の動きを操作として受け付ける処理をスマートフォン２００で実行しているが、スマートフォン２００は体の一部の動きを撮像する手段として使用し、その動きを操作として受け付ける処理は外部の装置（例えばサーバ）で実行してもよい。
【0113】
前述の実施の形態では、操作の対象となる物体の例として、画像形成装置１００（図１参照）、扉４００（図１９参照）、金庫５００（図３１参照）を示したが、例えば操縦桿、ジョイスティック、シフトレバー、ウインカーレバー、ブレーキレバー、車両のコントローラ、照明器具、空調機、オーディオ機器、家電製品等でもよい。
【0114】
前述の実施の形態においては、画像形成装置１００（図１参照）が、用紙などの記録材に二次元像を印刷する装置の場合について説明したが、立体像（三次元像）を形成する三次元プリンタでもよい。
【符号の説明】
【0115】
１００…画像処理装置、２００、２００Ａ、２００Ｂ、２００Ｃ…スマートフォン、２２９…空中触覚モジュール、２５１…身振り検知部、２５２…操作対象検知部、２５３…対象側機能取得部、２５４…操作受付部、２５４Ａ、２５４Ａ１、２５４Ａ２、２５４Ａ３…テーブル、２５７…連携部、４００…扉、４０１…ノブ、４０２…駆動機構、５００…金庫、５０１…扉、５０２、５０３…ダイヤル錠、６００…表示装置、７００…ウェブカメラ、８００…ウェブカメラ、９００…植木、１０００…ロボット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
