知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-03
(45)【発行日】2024-10-11
(54)【発明の名称】機器操作装置及び機器操作方法
(51)【国際特許分類】
H04Q 9/00 20060101AFI20241004BHJP
H04N 23/60 20230101ALI20241004BHJP
H04N 23/61 20230101ALI20241004BHJP
【ＦＩ】
H04Q9/00 331A
H04N23/60 500
H04N23/61
【請求項の数】
9
(21)【出願番号】P 2024517378
(86)(22)【出願日】2022-06-09
(86)【国際出願番号】 JP2022023228
(87)【国際公開番号】W WO2023238307
(87)【国際公開日】2023-12-14
【審査請求日】2024-03-19
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】小川 孝
【審査官】小松崎 里沙
(56)【参考文献】
【文献】特開２０１２－１１９９３５（ＪＰ，Ａ）
【文献】特開２００３－０１８６７４（ＪＰ，Ａ）
【文献】特開２００２－３２５０６１（ＪＰ，Ａ）
【文献】特開２０１８－１２５８６７（ＪＰ，Ａ）
【文献】特開２００５－１５０９０１（ＪＰ，Ａ）
【文献】特表２０１７－５１２３９６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／０２９７２７８（ＵＳ，Ａ１）
【文献】特開２０１３－１０６３１５（ＪＰ，Ａ）
【文献】特開２０１６－１１１５６４（ＪＰ，Ａ）
【文献】特開２００９－２３７６８７（ＪＰ，Ａ）
【文献】特開２０１３－０４４８４９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０３Ｊ ９／００－ ９／０６
Ｈ０４Ｑ ９／００－ ９／１６
Ｇ０６Ｆ１３／００－１３／１４
Ｇ０６Ｑ５０／００－５０／２０
５０／２６－９９／００
Ｇ１６Ｚ９９／００
Ｈ０２Ｊ ３／００－ ５／００
Ｈ０４Ｂ ７／２４－ ７／２６
Ｈ０４Ｌ１２／２８
Ｈ０４Ｍ ３／００
３／１６－ ３／２０
３／３８－ ３／５８
７／００－ ７／１６
１１／００－１１／１０
Ｈ０４Ｎ５／２２２－５／２５７
２３／００
２３／４０－２３／７６
２３／９０－２３／９５９
Ｈ０４Ｗ ４／００－９９／００
(57)【特許請求の範囲】
【請求項1】
カメラから、操作対象機器と前記操作対象機器の周辺領域とが映っている撮影画像を示す画像データを取得する撮影画像取得部と、前記撮影画像取得部により取得された画像データが示す撮影画像と記録済みの第１の登録画像との差異の検出処理を行う差異検出部と、
前記差異検出部により差異が検出されれば、前記撮影画像を前記第１の登録画像とは異なる第２の登録画像として記録し、前記差異検出部により差異が検出されなければ、前記記録済みの第１の登録画像と差異化された第２の撮影画像を取得し、前記第２の撮影画像を前記第１の登録画像とは異なる第２の登録画像として記録する画像記録部と、
前記画像記録部により記録された第２の登録画像に映っている前記操作対象機器の操作用アプリケーションをダウンロードするダウンロード部と
を備えた機器操作装置。
【請求項2】
前記画像記録部は、前記第２の撮影画像として、前記カメラから、前記撮影画像取得部を介して、識別用マーカ付きの前記操作対象機器と前記周辺領域とが映っている撮影画像を示す画像データを取得することを特徴とする請求項１記載の機器操作装置。
【請求項3】
前記差異検出部により差異が検出されなければ、前記識別用マーカの貼り付けを促すガイダンスを提示するガイダンス提示部を備え、前記撮影画像取得部は、
前記ガイダンス提示部によりガイダンスが提示された後に、前記カメラから、前記識別用マーカが貼り付けられた操作対象機器と前記周辺領域とが映っている撮影画像を示す画像データを取得し、
前記画像記録部は、
前記第２の撮影画像を示す画像データとして、前記ガイダンス提示部によりガイダンスが提示された後に、前記撮影画像取得部により取得された画像データを取得することを特徴とする請求項２記載の機器操作装置。
【請求項4】
前記画像記録部は、前記撮影画像取得部により取得された画像データが示す撮影画像に映っている前記操作対象機器に対して識別用マーカを示すイラスト部品を合成し、前記第２の撮影画像として、前記識別用マーカ付きの前記操作対象機器と前記周辺領域とが映っている画像を取得することを特徴とする請求項１記載の機器操作装置。
【請求項5】
前記ダウンロード部によりダウンロードされた１つ以上の操作用アプリケーションの中から、いずれか１つの操作用アプリケーションの選択を受け付けて、選択された操作用アプリケーションを実行する操作受付部を備えたことを特徴とする請求項１記載の機器操作装置。
【請求項6】
前記撮影画像取得部により取得された画像データが示す撮影画像にグリッドを付加し、グリッド付きの撮影画像を前記差異検出部及び前記画像記録部のそれぞれに出力するグリッド付加部を備えたことを特徴とする請求項１記載の機器操作装置。
【請求項7】
前記差異検出部によって、前記撮影画像取得部により取得された画像データが示す撮影画像と前記記録済みの第１の登録画像との差異の検出処理が行われるに際して、前記撮影画像取得部により取得された画像データが示す撮影画像の中で注目する領域である特徴領域の指定を受け付け、前記特徴領域が指定された撮影画像を前記差異検出部及び前記画像記録部のそれぞれに出力する特徴領域指定受付部を備えたことを特徴とする請求項１記載の機器操作装置。
【請求項8】
前記特徴領域指定受付部は、複数の特徴領域の指定を受け付けた場合、それぞれの特徴領域の優先順位の指定を受け付け、前記優先順位付きの特徴領域が指定された撮影画像を前記差異検出部及び前記画像記録部のそれぞれに出力することを特徴とする請求項７記載の機器操作装置。
【請求項9】
撮影画像取得部が、カメラから、操作対象機器と前記操作対象機器の周辺領域とが映っている撮影画像を示す画像データを取得し、差異検出部が、前記撮影画像取得部により取得された画像データが示す撮影画像と記録済みの第１の登録画像との差異の検出処理を行い、
画像記録部が、前記差異検出部により差異が検出されれば、前記撮影画像を前記第１の登録画像とは異なる第２の登録画像として記録し、前記差異検出部により差異が検出されなければ、前記記録済みの第１の登録画像と差異化された第２の撮影画像を取得し、前記第２の撮影画像を前記第１の登録画像とは異なる第２の登録画像として記録し、
ダウンロード部が、前記画像記録部により記録された第２の登録画像に映っている前記操作対象機器の操作用アプリケーションをダウンロードする
機器操作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機器操作装置及び機器操作方法に関するものである。
【背景技術】
【0002】
操作対象機器の操作用アプリケーションを実行することで、操作対象機器の操作を受け付ける機器操作装置がある（例えば、特許文献１を参照）。
当該機器操作装置は、第１の周辺画像取得手段、第２の周辺画像取得手段、設定手段及び信号出力手段を備えている。第１の周辺画像取得手段は、１つ以上の操作対象機器におけるそれぞれの周辺領域の画像である第１の周辺画像を取得し、それぞれの第１の周辺画像を操作対象機器と関連付けて記憶する。第２の周辺画像取得手段は、ユーザが操作対象機器を操作する際に撮影された、当該操作対象機器の周辺領域の画像である第２の周辺画像を取得する。設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像があれば、当該第１の周辺画像に対応している操作対象機器を、実際に操作を行う機器に設定する。設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像がなければ、ユーザによる、実際に操作を行う機器の選択操作を受け付ける。信号出力手段は、実際に操作を行う機器の操作用アプリケーションを実行することで、操作信号を当該機器に出力する。
当該機器操作装置は、第１の周辺画像取得手段、第２の周辺画像取得手段、設定手段及び信号出力手段を備えている。第１の周辺画像取得手段は、１つ以上の操作対象機器におけるそれぞれの周辺領域の画像である第１の周辺画像を取得し、それぞれの第１の周辺画像を操作対象機器と関連付けて記憶する。第２の周辺画像取得手段は、ユーザが操作対象機器を操作する際に撮影された、当該操作対象機器の周辺領域の画像である第２の周辺画像を取得する。設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像があれば、当該第１の周辺画像に対応している操作対象機器を、実際に操作を行う機器に設定する。設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像がなければ、ユーザによる、実際に操作を行う機器の選択操作を受け付ける。信号出力手段は、実際に操作を行う機器の操作用アプリケーションを実行することで、操作信号を当該機器に出力する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１２－１１９９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、個人宅には、形状が同じであって、天井、床、又は、壁の模様が同じである部屋が複数存在していることがある。壁の模様等が同じである複数の部屋には、操作対象機器として、例えば、同一機種のエアコンが設置されている場合がある。このような場合、複数の部屋のそれぞれに設置されているエアコンの周辺領域が互いに類似しているために、それぞれの部屋に設置されているエアコンの周辺領域の画像を区別することが困難であることがある。
特許文献１に開示されている機器操作装置では、複数の部屋のそれぞれに設置されている操作対象機器の第１の周辺画像が互いに類似しているために、第１の周辺画像取得手段によって、互いに類似している複数の第１の周辺画像のそれぞれが操作対象機器と関連付けて記憶される場合がある。このような場合、設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像を検出できない状況、又は、第２の周辺画像と一致していない第１の周辺画像を誤検出する状況を生じることがある。また、ユーザにおいても、それぞれの第１の周辺画像と関連付けられている操作対象機器の中で、どの操作対象機器が、実際に操作を行う機器であるのかの判別が困難な状況を生じることがある。これらの状況下では、信号出力手段が、実際に操作を行う機器の操作用アプリケーションを実行できないことがあるという課題があった。
特許文献１に開示されている機器操作装置では、複数の部屋のそれぞれに設置されている操作対象機器の第１の周辺画像が互いに類似しているために、第１の周辺画像取得手段によって、互いに類似している複数の第１の周辺画像のそれぞれが操作対象機器と関連付けて記憶される場合がある。このような場合、設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像を検出できない状況、又は、第２の周辺画像と一致していない第１の周辺画像を誤検出する状況を生じることがある。また、ユーザにおいても、それぞれの第１の周辺画像と関連付けられている操作対象機器の中で、どの操作対象機器が、実際に操作を行う機器であるのかの判別が困難な状況を生じることがある。これらの状況下では、信号出力手段が、実際に操作を行う機器の操作用アプリケーションを実行できないことがあるという課題があった。
【0005】
本開示は、上記のような課題を解決するためになされたもので、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができる機器操作装置及び機器操作方法を得ることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る機器操作装置は、カメラから、操作対象機器と操作対象機器の周辺領域とが映っている撮影画像を示す画像データを取得する撮影画像取得部と、撮影画像取得部により取得された画像データが示す撮影画像と記録済みの第１の登録画像との差異の検出処理を行う差異検出部とを備えている。また、機器操作装置は、差異検出部により差異が検出されれば、撮影画像を第１の登録画像とは異なる第２の登録画像として記録し、差異検出部により差異が検出されなければ、記録済みの第１の登録画像と差異化された第２の撮影画像を取得し、第２の撮影画像を第１の登録画像とは異なる第２の登録画像として記録する画像記録部と、画像記録部により記録された第２の登録画像に映っている操作対象機器の操作用アプリケーションをダウンロードするダウンロード部とを備えている。
【発明の効果】
【0007】
本開示によれば、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る機器操作装置３を示す構成図である。
【図2】実施の形態１に係る機器操作装置３のハードウェアを示すハードウェア構成図である。
【図3】機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
【図4】機器操作装置３の処理手順である機器操作方法を示すフローチャートである。
【図5】操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す説明図である。
【図6】識別用マーカの一例を示す説明図である。
【図7】ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションの表示例を示す説明図である。
【図8】実施の形態２に係る機器操作装置３を示す構成図である。
【図9】実施の形態２に係る機器操作装置３のハードウェアを示すハードウェア構成図である。
【図10】実施の形態３に係る機器操作装置３を示す構成図である。
【図11】実施の形態３に係る機器操作装置３のハードウェアを示すハードウェア構成図である。
【図13】実施の形態４に係る機器操作装置３を示す構成図である。
【図14】実施の形態４に係る機器操作装置３のハードウェアを示すハードウェア構成図である。
【図15】特徴領域ＦＲｍの一例を示す説明図である。
【発明を実施するための形態】
【0009】
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
【0010】
実施の形態１．
図１は、実施の形態１に係る機器操作装置３を示す構成図である。
図２は、実施の形態１に係る機器操作装置３のハードウェアを示すハードウェア構成図である。
図１において、操作対象機器１は、例えば、エアコン、テレビ、又は、オーディオ機器である。ここでは、説明の便宜上、操作対象機器１がエアコンであるものとして説明する。
カメラ２は、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影し、撮影画像ＰＧを示す画像データを機器操作装置３に出力する。撮影画像ＰＧは、静止画であってもよいし、動画であってもよい。
図１に示す機器操作装置３では、カメラ２が機器操作装置３の外部に設置されている。しかし、これは一例に過ぎず、カメラ２が機器操作装置３に内蔵されていてもよい。
図１は、実施の形態１に係る機器操作装置３を示す構成図である。
図２は、実施の形態１に係る機器操作装置３のハードウェアを示すハードウェア構成図である。
図１において、操作対象機器１は、例えば、エアコン、テレビ、又は、オーディオ機器である。ここでは、説明の便宜上、操作対象機器１がエアコンであるものとして説明する。
カメラ２は、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影し、撮影画像ＰＧを示す画像データを機器操作装置３に出力する。撮影画像ＰＧは、静止画であってもよいし、動画であってもよい。
図１に示す機器操作装置３では、カメラ２が機器操作装置３の外部に設置されている。しかし、これは一例に過ぎず、カメラ２が機器操作装置３に内蔵されていてもよい。
【0011】
機器操作装置３は、撮影画像取得部１１、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６を備えている。
撮影画像取得部１１は、例えば、図２に示す撮影画像取得回路３１によって実現される。
撮影画像取得部１１は、カメラ２から、撮影画像ＰＧを示す画像データを取得する。
また、撮影画像取得部１１は、差異検出部１２によって、撮影画像ＰＧと記録済みの登録画像ＲＧ１～ＲＧＮとの差異が検出されなければ、ガイダンス提示部１３によりガイダンスが提示された後に、第２の撮影画像ＰＧ’として、カメラ２から、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す画像データを取得する。Ｎは、１以上の整数である。
撮影画像取得部１１は、撮影画像ＰＧを示す画像データを差異検出部１２及び画像記録部１４のそれぞれに出力する。
撮影画像取得部１１は、第２の撮影画像ＰＧ’を示す画像データを画像記録部１４に出力する。
撮影画像取得部１１は、例えば、図２に示す撮影画像取得回路３１によって実現される。
撮影画像取得部１１は、カメラ２から、撮影画像ＰＧを示す画像データを取得する。
また、撮影画像取得部１１は、差異検出部１２によって、撮影画像ＰＧと記録済みの登録画像ＲＧ１～ＲＧＮとの差異が検出されなければ、ガイダンス提示部１３によりガイダンスが提示された後に、第２の撮影画像ＰＧ’として、カメラ２から、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す画像データを取得する。Ｎは、１以上の整数である。
撮影画像取得部１１は、撮影画像ＰＧを示す画像データを差異検出部１２及び画像記録部１４のそれぞれに出力する。
撮影画像取得部１１は、第２の撮影画像ＰＧ’を示す画像データを画像記録部１４に出力する。
【0012】
差異検出部１２は、例えば、図２に示す差異検出回路３２によって実現される。
差異検出部１２は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得し、画像記録部１４から、記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）を示す画像データを取得する。
差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う。差異の検出処理は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとを照合して、双方の画像に違う部分があるか否かを判別する処理である。
差異検出部１２は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得し、画像記録部１４から、記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）を示す画像データを取得する。
差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う。差異の検出処理は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとを照合して、双方の画像に違う部分があるか否かを判別する処理である。
【0013】
ガイダンス提示部１３は、例えば、図２に示すガイダンス提示回路３３によって実現される。
ガイダンス提示部１３は、差異検出部１２により差異が検出されなければ、識別用マーカの貼り付けを促すガイダンスを提示する。
ガイダンスの提示方法としては、ガイダンス提示部１３が、ガイダンスを図示せぬディスプレイに表示するものであってもよいし、図示せぬスピーカからガイダンスを音声出力するものであってもよい。
ガイダンス提示部１３は、差異検出部１２により差異が検出されなければ、識別用マーカの貼り付けを促すガイダンスを提示する。
ガイダンスの提示方法としては、ガイダンス提示部１３が、ガイダンスを図示せぬディスプレイに表示するものであってもよいし、図示せぬスピーカからガイダンスを音声出力するものであってもよい。
【0014】
画像記録部１４は、例えば、図２に示す画像記録回路３４によって実現される。
画像記録部１４は、差異検出部１２により差異が検出されれば、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得する。
画像記録部１４は、撮影画像ＰＧを登録画像ＲＧｎ＋１（ｎ＝１，・・・，Ｎ）として記録する。
画像記録部１４は、差異検出部１２により差異が検出されなければ、撮影画像取得部１１から、記録済みの登録画像ＲＧｎと差異化された第２の撮影画像ＰＧ’を示す画像データを取得する。
画像記録部１４は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する。
即ち、画像記録部１４は、差異検出部１２により差異が検出されなければ、第２の撮影画像ＰＧ’として、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を登録画像ＲＧｎ＋１として記録する。
画像記録部１４は、差異検出部１２により差異が検出されれば、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得する。
画像記録部１４は、撮影画像ＰＧを登録画像ＲＧｎ＋１（ｎ＝１，・・・，Ｎ）として記録する。
画像記録部１４は、差異検出部１２により差異が検出されなければ、撮影画像取得部１１から、記録済みの登録画像ＲＧｎと差異化された第２の撮影画像ＰＧ’を示す画像データを取得する。
画像記録部１４は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する。
即ち、画像記録部１４は、差異検出部１２により差異が検出されなければ、第２の撮影画像ＰＧ’として、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を登録画像ＲＧｎ＋１として記録する。
【0015】
ダウンロード部１５は、例えば、図２に示すダウンロード回路３５によって実現される。
ダウンロード部１５は、例えば、操作対象機器１の製造メーカのサーバ装置４から、ネットワークを介して、画像記録部１４により記録された登録画像ＲＧｎ＋１に映っている操作対象機器１の操作用アプリケーションをダウンロードする。
操作対象機器１の操作用アプリケーションは、例えば、ダウンロード部１５の内部メモリに格納される。
ダウンロード部１５は、例えば、操作対象機器１の製造メーカのサーバ装置４から、ネットワークを介して、画像記録部１４により記録された登録画像ＲＧｎ＋１に映っている操作対象機器１の操作用アプリケーションをダウンロードする。
操作対象機器１の操作用アプリケーションは、例えば、ダウンロード部１５の内部メモリに格納される。
【0016】
操作受付部１６は、例えば、図２に示す操作受付回路３６によって実現される。
操作受付部１６は、ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションの中から、いずれか１つの操作用アプリケーションの選択を受け付ける。
操作受付部１６は、ユーザによって選択された操作用アプリケーションを実行することで、操作対象機器１の操作を受け付ける。
操作受付部１６は、ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションの中から、いずれか１つの操作用アプリケーションの選択を受け付ける。
操作受付部１６は、ユーザによって選択された操作用アプリケーションを実行することで、操作対象機器１の操作を受け付ける。
【0017】
図１では、機器操作装置３の構成要素である撮影画像取得部１１、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６のそれぞれが、図２に示すような専用のハードウェアによって実現されるものを想定している。即ち、機器操作装置３が、撮影画像取得回路３１、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６によって実現されるものを想定している。
撮影画像取得回路３１、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
撮影画像取得回路３１、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
【0018】
機器操作装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、機器操作装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。
【0019】
図３は、機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ５１に格納される。そして、コンピュータのプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ５１に格納される。そして、コンピュータのプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
【0020】
また、図２では、機器操作装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、機器操作装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、機器操作装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0021】
次に、図１に示す機器操作装置３の動作について説明する。
図４は、機器操作装置３の処理手順である機器操作方法を示すフローチャートである。
ユーザは、カメラ２を操作して、図５に示すように、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影する。
図５は、操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す説明図である。
図５の例では、操作対象機器１の周辺領域には、操作対象機器１が設置されている壁、操作対象機器１の近くに設置されているカーテン及び操作対象機器１が設置されている壁の近くの天井が含まれている。
図５の例では、カメラ２によって操作対象機器１が認識されると、フォーカスマーカがカメラ２のファインダーに表示される。
ユーザが、カメラ２によって認識された操作対象機器１をタップすると、操作対象機器１が確定する。
カメラ２は、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影し、撮影画像ＰＧを示す画像データを機器操作装置３に出力する。
図４は、機器操作装置３の処理手順である機器操作方法を示すフローチャートである。
ユーザは、カメラ２を操作して、図５に示すように、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影する。
図５は、操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す説明図である。
図５の例では、操作対象機器１の周辺領域には、操作対象機器１が設置されている壁、操作対象機器１の近くに設置されているカーテン及び操作対象機器１が設置されている壁の近くの天井が含まれている。
図５の例では、カメラ２によって操作対象機器１が認識されると、フォーカスマーカがカメラ２のファインダーに表示される。
ユーザが、カメラ２によって認識された操作対象機器１をタップすると、操作対象機器１が確定する。
カメラ２は、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影し、撮影画像ＰＧを示す画像データを機器操作装置３に出力する。
【0022】
撮影画像取得部１１は、カメラ２から、撮影画像ＰＧを示す画像データを取得する（図４のステップＳＴ１）。
撮影画像取得部１１は、撮影画像ＰＧを示す画像データを差異検出部１２及び画像記録部１４のそれぞれに出力する。
撮影画像取得部１１は、撮影画像ＰＧを示す画像データを差異検出部１２及び画像記録部１４のそれぞれに出力する。
【0023】
差異検出部１２は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得し、画像記録部１４から、記録済みの登録画像ＲＧ１～ＲＧＮを示す画像データを取得する。
差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）とを照合することで、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う（図４のステップＳＴ２）。
差異の検出処理としては、複数の画像が同一の画像であるか否かを判別する公知の画像照合アプリケーションを用いることができる。公知の画像照合アプリケーションとしては、例えば、パターンマッチング法を用いたアプリケーションがある。
具体的には、差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの類似度を判別する。差異検出部１２は、類似度が閾値以上であれば、撮影画像ＰＧと登録画像ＲＧｎとの間に「差異がない」という判定を行う。差異検出部１２は、類似度が閾値未満であれば、撮影画像ＰＧと登録画像ＲＧｎとの間に「差異がある」という判定を行う。類似度判定用の閾値は、差異検出部１２の内部メモリに格納されていてもよいし、機器操作装置３の外部から与えられるものであってもよい。
差異検出部１２は、差異の検出処理結果を撮影画像取得部１１、ガイダンス提示部１３及び画像記録部１４のそれぞれに出力する。
差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）とを照合することで、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う（図４のステップＳＴ２）。
差異の検出処理としては、複数の画像が同一の画像であるか否かを判別する公知の画像照合アプリケーションを用いることができる。公知の画像照合アプリケーションとしては、例えば、パターンマッチング法を用いたアプリケーションがある。
具体的には、差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの類似度を判別する。差異検出部１２は、類似度が閾値以上であれば、撮影画像ＰＧと登録画像ＲＧｎとの間に「差異がない」という判定を行う。差異検出部１２は、類似度が閾値未満であれば、撮影画像ＰＧと登録画像ＲＧｎとの間に「差異がある」という判定を行う。類似度判定用の閾値は、差異検出部１２の内部メモリに格納されていてもよいし、機器操作装置３の外部から与えられるものであってもよい。
差異検出部１２は、差異の検出処理結果を撮影画像取得部１１、ガイダンス提示部１３及び画像記録部１４のそれぞれに出力する。
【0024】
画像記録部１４は、差異検出部１２から、差異の検出処理結果を取得する。
画像記録部１４は、差異検出部１２により差異が検出されれば（図４のステップＳＴ３：ＹＥＳの場合）、撮影画像ＰＧを登録画像ＲＧｎ＋１として記録する（図４のステップＳＴ４）。
画像記録部１４は、差異検出部１２により差異が検出されれば（図４のステップＳＴ３：ＹＥＳの場合）、撮影画像ＰＧを登録画像ＲＧｎ＋１として記録する（図４のステップＳＴ４）。
【0025】
ガイダンス提示部１３は、差異検出部１２から、差異の検出処理結果を取得する。
ガイダンス提示部１３は、差異検出部１２により差異が検出されなければ（図４のステップＳＴ３：ＮＯの場合）、識別用マーカの貼り付けを促すガイダンスを提示する（図４のステップＳＴ５）。
ガイダンスの提示を受けたユーザは、図６に示すように、識別用マーカを操作対象機器１に貼り付ける作業を行う。
図６は、識別用マーカの一例を示す説明図である。
識別用マーカは、どのような絵柄のマークでもよい。識別用マーカは、例えば、購入した操作対象機器１を梱包していたダンボールに同梱されていることがある。
ガイダンスの提示を受けたユーザは、撮影画像ＰＧが登録画像ＲＧｎとして既に記録されている場合、撮影画像ＰＧの二重登録を防ぐため、識別用マーカを操作対象機器１に貼り付ける操作を行わない。
ユーザは、識別用マーカを操作対象機器１に貼り付ける操作を行った場合、カメラ２を操作して、識別用マーカを貼り付けた操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影する。
カメラ２は、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている画像を第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’を示す画像データを機器操作装置３に出力する。
ガイダンス提示部１３は、差異検出部１２により差異が検出されなければ（図４のステップＳＴ３：ＮＯの場合）、識別用マーカの貼り付けを促すガイダンスを提示する（図４のステップＳＴ５）。
ガイダンスの提示を受けたユーザは、図６に示すように、識別用マーカを操作対象機器１に貼り付ける作業を行う。
図６は、識別用マーカの一例を示す説明図である。
識別用マーカは、どのような絵柄のマークでもよい。識別用マーカは、例えば、購入した操作対象機器１を梱包していたダンボールに同梱されていることがある。
ガイダンスの提示を受けたユーザは、撮影画像ＰＧが登録画像ＲＧｎとして既に記録されている場合、撮影画像ＰＧの二重登録を防ぐため、識別用マーカを操作対象機器１に貼り付ける操作を行わない。
ユーザは、識別用マーカを操作対象機器１に貼り付ける操作を行った場合、カメラ２を操作して、識別用マーカを貼り付けた操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影する。
カメラ２は、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている画像を第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’を示す画像データを機器操作装置３に出力する。
【0026】
撮影画像取得部１１は、差異検出部１２から、差異の検出処理結果を取得する。
撮影画像取得部１１は、差異検出部１２により差異が検出されなければ、ガイダンス提示部１３によりガイダンスが提示された後に、カメラ２から出力された、第２の撮影画像ＰＧ’を示す画像データを取得する（図４のステップＳＴ６）。
撮影画像取得部１１は、第２の撮影画像ＰＧ’を示す画像データを画像記録部１４に出力する。
撮影画像取得部１１は、差異検出部１２により差異が検出されなければ、ガイダンス提示部１３によりガイダンスが提示された後に、カメラ２から出力された、第２の撮影画像ＰＧ’を示す画像データを取得する（図４のステップＳＴ６）。
撮影画像取得部１１は、第２の撮影画像ＰＧ’を示す画像データを画像記録部１４に出力する。
【0027】
画像記録部１４は、差異検出部１２により差異が検出されなければ、撮影画像取得部１１から、第２の撮影画像ＰＧ’を示す画像データを取得する。
画像記録部１４は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する（図４のステップＳＴ７）。
画像記録部１４は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する（図４のステップＳＴ７）。
【0028】
ダウンロード部１５は、画像記録部１４によって、撮影画像ＰＧ、又は、第２の撮影画像ＰＧ’が登録画像ＲＧｎ＋１として記録されると、例えば、操作対象機器１の製造メーカのサーバ装置４から、登録画像ＲＧｎ＋１に映っている操作対象機器１の操作用アプリケーションをダウンロードする（図４のステップＳＴ８）。
操作対象機器１の操作用アプリケーションは、例えば、ダウンロード部１５の内部メモリに格納される。
操作対象機器１の操作用アプリケーションは、例えば、ダウンロード部１５の内部メモリに格納される。
【0029】
ユーザが操作対象機器１の操作を行う際、操作受付部１６は、図７に示すように、ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションを図示せぬディスプレイに表示させる。このとき、操作受付部１６は、それぞれの操作用アプリケーションに対応する登録画像ＲＧｎ＋１（ｎ＝１，・・・，Ｎ）をディスプレイに表示させる。
図７は、ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションの表示例を示す説明図である。
図７の例では、操作対象機器１の操作用アプリケーションとして、エアコンＡの操作用アプリケーション、エアコンＢの操作用アプリケーション、テレビＡの操作用アプリケーション及びテレビＢの操作用アプリケーションのそれぞれが表示されている。
また、図７の例では、エアコンＡの操作用アプリケーションに対応する登録画像ＲＧ１、エアコンＢの操作用アプリケーションに対応する登録画像ＲＧ２、テレビＡの操作用アプリケーションに対応する登録画像ＲＧ３及びテレビＢの操作用アプリケーションに対応する登録画像ＲＧ ４ のそれぞれが表示されている。
図７は、ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションの表示例を示す説明図である。
図７の例では、操作対象機器１の操作用アプリケーションとして、エアコンＡの操作用アプリケーション、エアコンＢの操作用アプリケーション、テレビＡの操作用アプリケーション及びテレビＢの操作用アプリケーションのそれぞれが表示されている。
また、図７の例では、エアコンＡの操作用アプリケーションに対応する登録画像ＲＧ１、エアコンＢの操作用アプリケーションに対応する登録画像ＲＧ２、テレビＡの操作用アプリケーションに対応する登録画像ＲＧ３及びテレビＢの操作用アプリケーションに対応する登録画像ＲＧ ４ のそれぞれが表示されている。
【0030】
操作受付部１６は、選択可能な１つ以上の操作用アプリケーションの中から、いずれか１つの操作用アプリケーションの選択を受け付ける（図４のステップＳＴ９）。
図７の例では、操作対象機器１であるエアコンＢの操作用アプリケーションが選択されている。エアコンＢのヘッダにチェックが入っている。
操作受付部１６は、ユーザによって選択された操作用アプリケーションを実行することで、操作対象機器１の操作を受け付ける（図４のステップＳＴ１０）。
図７の例では、操作対象機器１であるエアコンＢの操作用アプリケーションが選択されている。エアコンＢのヘッダにチェックが入っている。
操作受付部１６は、ユーザによって選択された操作用アプリケーションを実行することで、操作対象機器１の操作を受け付ける（図４のステップＳＴ１０）。
【0031】
以上の実施の形態１では、カメラ２から、操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す画像データを取得する撮影画像取得部１１と、撮影画像取得部１１により取得された画像データが示す撮影画像と記録済みの登録画像との差異の検出処理を行う差異検出部１２とを備えるように、機器操作装置３を構成した。また、機器操作装置３は、差異検出部１２により差異が検出されれば、撮影画像を登録画像として記録し、差異検出部１２により差異が検出されなければ、記録済みの登録画像と差異化された第２の撮影画像を取得し、第２の撮影画像を登録画像として記録する画像記録部１４と、画像記録部１４により記録された登録画像に映っている操作対象機器１の操作用アプリケーションをダウンロードするダウンロード部１５とを備えている。したがって、機器操作装置３は、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができる。
【0032】
図１に示す機器操作装置３では、撮影画像取得部１１が、１つの撮影画像ＰＧを示す画像データを取得し、差異検出部１２が、１つの撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理を行っている。しかし、これは一例に過ぎず、撮影画像取得部１１が、複数の撮影画像ＰＧを示す画像データを取得し、差異検出部１２が、複数の撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行うようにしてもよい。
複数の撮影画像ＰＧは、例えば、同じ操作対象機器１を互いに異なる方向から撮影された画像である。
差異検出部１２が、複数の撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行うことで、１つの撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う場合よりも、差異の検出精度が向上する。
図１に示す機器操作装置３では、撮影画像取得部１１が、操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す画像データを取得している。例えば、撮影画像取得部１１が画像データを取得する前に、操作対象機器１と周辺領域とが紐づけられているような場合には、撮影画像取得部１１は、操作対象機器１の周辺領域のみが映っている撮影画像を示す画像データを取得するようにしてもよい。
複数の撮影画像ＰＧは、例えば、同じ操作対象機器１を互いに異なる方向から撮影された画像である。
差異検出部１２が、複数の撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行うことで、１つの撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う場合よりも、差異の検出精度が向上する。
図１に示す機器操作装置３では、撮影画像取得部１１が、操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す画像データを取得している。例えば、撮影画像取得部１１が画像データを取得する前に、操作対象機器１と周辺領域とが紐づけられているような場合には、撮影画像取得部１１は、操作対象機器１の周辺領域のみが映っている撮影画像を示す画像データを取得するようにしてもよい。
【0033】
実施の形態２．
実施の形態２では、差異検出部１２により差異が検出されなければ、画像記録部１７が、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成することで、第２の撮影画像として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を取得する機器操作装置３について説明する。
実施の形態２では、差異検出部１２により差異が検出されなければ、画像記録部１７が、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成することで、第２の撮影画像として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を取得する機器操作装置３について説明する。
【0034】
図８は、実施の形態２に係る機器操作装置３を示す構成図である。図８において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
図９は、実施の形態２に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図９において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
図８に示す機器操作装置３は、撮影画像取得部１１、差異検出部１２、画像記録部１７、ダウンロード部１５及び操作受付部１６を備えている。図８に示す機器操作装置３は、
図１に示す機器操作装置３と異なり、ガイダンス提示部１３を備えていない。
図９は、実施の形態２に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図９において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
図８に示す機器操作装置３は、撮影画像取得部１１、差異検出部１２、画像記録部１７、ダウンロード部１５及び操作受付部１６を備えている。図８に示す機器操作装置３は、
図１に示す機器操作装置３と異なり、ガイダンス提示部１３を備えていない。
【0035】
画像記録部１７は、例えば、図９に示す画像記録回路３７によって実現される。
画像記録部１７は、差異検出部１２により差異が検出されれば、撮影画像ＰＧを登録画像ＲＧｎ＋１として記録する。
画像記録部１７は、差異検出部１２により差異が検出されなければ、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成することで、第２の撮影画像ＰＧ’として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を取得する。
画像記録部１７は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する。
画像記録部１７は、差異検出部１２により差異が検出されれば、撮影画像ＰＧを登録画像ＲＧｎ＋１として記録する。
画像記録部１７は、差異検出部１２により差異が検出されなければ、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成することで、第２の撮影画像ＰＧ’として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を取得する。
画像記録部１７は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する。
【0036】
図８では、機器操作装置３の構成要素である撮影画像取得部１１、差異検出部１２、画像記録部１７、ダウンロード部１５及び操作受付部１６のそれぞれが、図９に示すような専用のハードウェアによって実現されるものを想定している。即ち、機器操作装置３が、撮影画像取得回路３１、差異検出回路３２、画像記録回路３７、ダウンロード回路３５及び操作受付回路３６によって実現されるものを想定している。
撮影画像取得回路３１、差異検出回路３２、画像記録回路３７、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
撮影画像取得回路３１、差異検出回路３２、画像記録回路３７、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
【0037】
機器操作装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、機器操作装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、差異検出部１２、画像記録部１７、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、差異検出部１２、画像記録部１７、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
【0038】
また、図９では、機器操作装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、機器操作装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、機器操作装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0039】
【0040】
画像記録部１７は、差異検出部１２により差異が検出されれば、図１に示す画像記録部１４と同様に、撮影画像ＰＧを登録画像ＲＧｎ＋１として記録する。
画像記録部１７は、差異検出部１２により差異が検出されなければ、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成する。識別用マーカを示すイラスト部品は、画像記録部１７の内部メモリに格納されていてもよいし、機器操作装置３の外部から与えられるものであってもよい。識別用マーカを示すイラスト部品を操作対象機器１に合成する画像処理は、公知の技術であるため詳細な説明を省略する。
画像記録部１７は、第２の撮影画像ＰＧ’として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を登録画像ＲＧｎ＋１として記録する。
画像記録部１７は、差異検出部１２により差異が検出されなければ、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成する。識別用マーカを示すイラスト部品は、画像記録部１７の内部メモリに格納されていてもよいし、機器操作装置３の外部から与えられるものであってもよい。識別用マーカを示すイラスト部品を操作対象機器１に合成する画像処理は、公知の技術であるため詳細な説明を省略する。
画像記録部１７は、第２の撮影画像ＰＧ’として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を登録画像ＲＧｎ＋１として記録する。
【0041】
以上の実施の形態２では、差異検出部１２により差異が検出されなければ、画像記録部１７が、撮影画像に映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成することで、第２の撮影画像として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を取得するように、機器操作装置３を構成した。したがって、機器操作装置３は、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができるほか、ユーザが、識別用マーカを操作対象機器１に貼り付ける作業を省略することができる。
【0042】
実施の形態３．
実施の形態３では、撮影画像ＰＧ、又は、第２の撮影画像ＰＧ’にグリッドを付加するグリッド付加部１８を備える機器操作装置３について説明する。
実施の形態３では、撮影画像ＰＧ、又は、第２の撮影画像ＰＧ’にグリッドを付加するグリッド付加部１８を備える機器操作装置３について説明する。
【0043】
図１０は、実施の形態３に係る機器操作装置３を示す構成図である。図１０において、図１及び図８と同一符号は同一又は相当部分を示すので説明を省略する。
図１１は、実施の形態３に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図１１において、図２及び図９と同一符号は同一又は相当部分を示すので説明を省略する。
図１０に示す機器操作装置３は、撮影画像取得部１１、グリッド付加部１８、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６を備えている。
図１１は、実施の形態３に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図１１において、図２及び図９と同一符号は同一又は相当部分を示すので説明を省略する。
図１０に示す機器操作装置３は、撮影画像取得部１１、グリッド付加部１８、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６を備えている。
【0044】
グリッド付加部１８は、例えば、図１１に示すグリッド付加回路３８によって実現される。
グリッド付加部１８は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得すれば、撮影画像ＰＧにグリッドを付加する。
グリッド付加部１８は、撮影画像ＰＧとして、撮影画像ＰＧにグリッドを付加したグリッド付きの撮影画像ＰＧＧを差異検出部１２及び画像記録部１４のそれぞれに出力する。
グリッド付加部１８は、撮影画像取得部１１から、第２の撮影画像ＰＧ’を示す画像データを取得すれば、第２の撮影画像ＰＧ’にグリッドを付加する。
グリッド付加部１８は、第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’にグリッドを付加したグリッド付きの撮影画像ＰＧＧ’を画像記録部１４に出力する。
グリッド付加部１８は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得すれば、撮影画像ＰＧにグリッドを付加する。
グリッド付加部１８は、撮影画像ＰＧとして、撮影画像ＰＧにグリッドを付加したグリッド付きの撮影画像ＰＧＧを差異検出部１２及び画像記録部１４のそれぞれに出力する。
グリッド付加部１８は、撮影画像取得部１１から、第２の撮影画像ＰＧ’を示す画像データを取得すれば、第２の撮影画像ＰＧ’にグリッドを付加する。
グリッド付加部１８は、第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’にグリッドを付加したグリッド付きの撮影画像ＰＧＧ’を画像記録部１４に出力する。
【0045】
図１０に示す機器操作装置３は、グリッド付加部１８が図１に示す機器操作装置３に適用されたものである。しかし、これは一例に過ぎず、グリッド付加部１８が図８に示す機器操作装置３に適用されたものであってもよい。
【0046】
図１０では、機器操作装置３の構成要素である撮影画像取得部１１、グリッド付加部１８、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６のそれぞれが、図１１に示すような専用のハードウェアによって実現されるものを想定している。即ち、機器操作装置３が、撮影画像取得回路３１、グリッド付加回路３８、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６によって実現されるものを想定している。
撮影画像取得回路３１、グリッド付加回路３８、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
撮影画像取得回路３１、グリッド付加回路３８、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
【0047】
機器操作装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、機器操作装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、グリッド付加部１８、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、グリッド付加部１８、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
【0048】
また、図１１では、機器操作装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、機器操作装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、機器操作装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0049】
【0050】
グリッド付加部１８は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得すれば、撮影画像ＰＧにグリッドを付加する。撮影画像ＰＧにグリッドを付加する処理自体は、公知の技術であるため詳細な説明を省略する。
グリッド付加部１８は、撮影画像ＰＧとして、撮影画像ＰＧにグリッドを付加したグリッド付きの撮影画像ＰＧＧを差異検出部１２及び画像記録部１４のそれぞれに出力する。
グリッド付加部１８は、撮影画像取得部１１から、第２の撮影画像ＰＧ’を示す画像データを取得すれば、第２の撮影画像ＰＧ’にグリッドを付加する。
グリッド付加部１８は、第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’にグリッドを付加したグリッド付きの撮影画像ＰＧＧ’を画像記録部１４に出力する。
図１２は、グリッド付きの撮影画像ＰＧＧの一例を示す説明図である。
図１２Ａは、グリッドが付加されていない撮影画像ＰＧの一例を示し、図１２Ｂは、グリッドが付加された撮影画像ＰＧＧの一例を示している。
図１２の例では、グリッドを構成する縦線及び横線におけるそれぞれの間隔が○○ｍｍに設定されている。○○ｍｍの具体的な数値としては、例えば、７０ｍｍが用いられる。
グリッド付加部１８は、撮影画像ＰＧとして、撮影画像ＰＧにグリッドを付加したグリッド付きの撮影画像ＰＧＧを差異検出部１２及び画像記録部１４のそれぞれに出力する。
グリッド付加部１８は、撮影画像取得部１１から、第２の撮影画像ＰＧ’を示す画像データを取得すれば、第２の撮影画像ＰＧ’にグリッドを付加する。
グリッド付加部１８は、第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’にグリッドを付加したグリッド付きの撮影画像ＰＧＧ’を画像記録部１４に出力する。
図１２は、グリッド付きの撮影画像ＰＧＧの一例を示す説明図である。
図１２Ａは、グリッドが付加されていない撮影画像ＰＧの一例を示し、図１２Ｂは、グリッドが付加された撮影画像ＰＧＧの一例を示している。
図１２の例では、グリッドを構成する縦線及び横線におけるそれぞれの間隔が○○ｍｍに設定されている。○○ｍｍの具体的な数値としては、例えば、７０ｍｍが用いられる。
【0051】
差異検出部１２は、グリッド付きの撮影画像ＰＧＧと、記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）とを照合することで、グリッド付きの撮影画像ＰＧＧと、記録済みの登録画像ＲＧｎとの差異を検出する。記録済みの登録画像ＲＧｎについても、グリッドが付加されている。
グリッドが付加されていることで、例えば、操作対象機器１と、周辺領域に存在している物体とのサイズ比が明確になる。このため、グリッドが付加されていない撮影画像ＰＧとグリッドが付加されていない登録画像ＲＧｎとの差異の検出精度よりも、グリッド付きの撮影画像ＰＧＧとグリッド付きの登録画像ＲＧｎとの差異の検出精度の方が高くなる。
グリッドが付加されていることで、例えば、操作対象機器１と、周辺領域に存在している物体とのサイズ比が明確になる。このため、グリッドが付加されていない撮影画像ＰＧとグリッドが付加されていない登録画像ＲＧｎとの差異の検出精度よりも、グリッド付きの撮影画像ＰＧＧとグリッド付きの登録画像ＲＧｎとの差異の検出精度の方が高くなる。
【0052】
画像記録部１４は、差異検出部１２により差異が検出されれば、グリッド付きの撮影画像ＰＧＧを登録画像ＲＧｎ＋１として記録する。
画像記録部１４は、差異検出部１２により差異が検出されなければ、識別用マーカが貼り付けられたグリッド付きの撮影画像ＰＧＧ’を登録画像ＲＧｎ＋１として記録する。
画像記録部１４は、差異検出部１２により差異が検出されなければ、識別用マーカが貼り付けられたグリッド付きの撮影画像ＰＧＧ’を登録画像ＲＧｎ＋１として記録する。
【0053】
以上の実施の形態３では、撮影画像取得部１１により取得された画像データが示す撮影画像にグリッドを付加し、グリッド付きの撮影画像を差異検出部１２及び画像記録部１４のそれぞれに出力するグリッド付加部１８を備えるように、図１０に示す機器操作装置３を構成した。したがって、図１０に示す機器操作装置３は、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができるほか、図１に示す機器操作装置３よりも、撮影画像と登録画像との差異の検出精度を高めることができる。
【0054】
実施の形態４．
実施の形態４では、差異検出部１２によって、撮影画像取得部１１により取得された撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理が行われるに際して、撮影画像ＰＧの中で注目する領域である特徴領域の指定を受け付ける特徴領域指定受付部１９を備える機器操作装置３について説明する。
実施の形態４では、差異検出部１２によって、撮影画像取得部１１により取得された撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理が行われるに際して、撮影画像ＰＧの中で注目する領域である特徴領域の指定を受け付ける特徴領域指定受付部１９を備える機器操作装置３について説明する。
【0055】
図１３は、実施の形態４に係る機器操作装置３を示す構成図である。図１３において、図１、図８及び図１０と同一符号は同一又は相当部分を示すので説明を省略する。
図１４は、実施の形態４に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図１４において、図２、図９及び図１１と同一符号は同一又は相当部分を示すので説明を省略する。
図１３に示す機器操作装置３は、撮影画像取得部１１、特徴領域指定受付部１９、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６を備えている。
図１４は、実施の形態４に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図１４において、図２、図９及び図１１と同一符号は同一又は相当部分を示すので説明を省略する。
図１３に示す機器操作装置３は、撮影画像取得部１１、特徴領域指定受付部１９、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６を備えている。
【0056】
特徴領域指定受付部１９は、例えば、図１４に示す特徴領域指定受付回路３９によって実現される。
特徴領域指定受付部１９は、差異検出部１２によって、撮影画像取得部１１により取得された撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理が行われるに際して、撮影画像ＰＧの中で注目する領域である特徴領域ＦＲｍの指定を受け付ける。ｍ＝１，・・・，Ｍであり、Ｍは、１以上の整数である。
特徴領域指定受付部１９は、撮影画像ＰＧとして、特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
また、特徴領域指定受付部１９は、複数の特徴領域ＦＲｍの指定を受け付けた場合、それぞれの特徴領域ＦＲｍの優先順位の指定を受け付ける。
特徴領域指定受付部１９は、撮影画像ＰＧとして、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
特徴領域指定受付部１９は、差異検出部１２によって、撮影画像取得部１１により取得された撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理が行われるに際して、撮影画像ＰＧの中で注目する領域である特徴領域ＦＲｍの指定を受け付ける。ｍ＝１，・・・，Ｍであり、Ｍは、１以上の整数である。
特徴領域指定受付部１９は、撮影画像ＰＧとして、特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
また、特徴領域指定受付部１９は、複数の特徴領域ＦＲｍの指定を受け付けた場合、それぞれの特徴領域ＦＲｍの優先順位の指定を受け付ける。
特徴領域指定受付部１９は、撮影画像ＰＧとして、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
【0057】
図１３に示す機器操作装置３は、特徴領域指定受付部１９が図１に示す機器操作装置３に適用されたものである。しかし、これは一例に過ぎず、特徴領域指定受付部１９が、図８に示す機器操作装置３、又は、図１０に示す機器操作装置３に適用されたものであってもよい。
【0058】
図１３では、機器操作装置３の構成要素である撮影画像取得部１１、特徴領域指定受付部１９、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６のそれぞれが、図１４に示すような専用のハードウェアによって実現されるものを想定している。即ち、機器操作装置３が、撮影画像取得回路３１、特徴領域指定受付回路３９、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６によって実現されるものを想定している。
撮影画像取得回路３１、特徴領域指定受付回路３９、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
撮影画像取得回路３１、特徴領域指定受付回路３９、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
【0059】
機器操作装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、機器操作装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、特徴領域指定受付部１９、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、特徴領域指定受付部１９、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
【0060】
また、図１４では、機器操作装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、機器操作装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、機器操作装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0061】
次に、図１３に示す機器操作装置３の動作について説明する。ただし、特徴領域指定受付部１９以外は、図１に示す機器操作装置３と同様である。このため、ここでは、主に、特徴領域指定受付部１９の動作について説明する。
【0062】
特徴領域指定受付部１９は、差異検出部１２によって、撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理が行われるに際して、注目する領域である特徴領域ＦＲｍ（ｍ＝１，・・・，Ｍ）の指定を受け付ける。ユーザによって指定された特徴領域ＦＲｍの受付処理自体は、公知の技術であるため詳細な説明を省略する。
図１５は、特徴領域ＦＲｍの一例を示す説明図である。
図１５の例では、特徴領域ＦＲｍとして、カーテンにハート型のマークが施されている領域ＦＲ１と、カーテンの左隅の領域ＦＲ２とが指定されている。
図１５は、特徴領域ＦＲｍの一例を示す説明図である。
図１５の例では、特徴領域ＦＲｍとして、カーテンにハート型のマークが施されている領域ＦＲ１と、カーテンの左隅の領域ＦＲ２とが指定されている。
【0063】
また、特徴領域指定受付部１９は、複数の特徴領域ＦＲｍの指定を受け付けた場合、それぞれの特徴領域ＦＲｍの優先順位の指定を受け付ける。ユーザによって指定された優先順位の受付処理自体は、公知の技術であるため詳細な説明を省略する。
図１５の例では、特徴領域ＦＲ１と特徴領域ＦＲ２とが指定されているため、特徴領域指定受付部１９は、特徴領域ＦＲ１と特徴領域ＦＲ２との優先順位の指定を受け付ける。
ここでは、説明の便宜上、特徴領域ＦＲ１の優先順位が１番であり、特徴領域ＦＲ２の優先順位が２番であるものとする。
特徴領域指定受付部１９は、撮影画像ＰＧとして、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
図１５の例では、特徴領域ＦＲ１と特徴領域ＦＲ２とが指定されているため、特徴領域指定受付部１９は、特徴領域ＦＲ１と特徴領域ＦＲ２との優先順位の指定を受け付ける。
ここでは、説明の便宜上、特徴領域ＦＲ１の優先順位が１番であり、特徴領域ＦＲ２の優先順位が２番であるものとする。
特徴領域指定受付部１９は、撮影画像ＰＧとして、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
【0064】
差異検出部１２は、特徴領域指定受付部１９から、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧを取得する。
差異検出部１２は、撮影画像ＰＧＦの中で、優先順位が１番である特徴領域ＦＲ１と、記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）の中で、特徴領域ＦＲ１に対応している領域とを照合することで、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との差異を検出する。
差異検出部１２は、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との間に差異があれば、照合処理を終了する。
差異検出部１２は、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との間に差異がなければ、優先順位が２番である特徴領域ＦＲ２と、記録済みの登録画像ＲＧｎの中で、特徴領域ＦＲ２に対応している領域とを照合することで、特徴領域ＦＲ２と、特徴領域ＦＲ２に対応している領域との差異を検出する。
差異検出部１２は、撮影画像ＰＧＦの中で、優先順位が１番である特徴領域ＦＲ１と、記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）の中で、特徴領域ＦＲ１に対応している領域とを照合することで、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との差異を検出する。
差異検出部１２は、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との間に差異があれば、照合処理を終了する。
差異検出部１２は、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との間に差異がなければ、優先順位が２番である特徴領域ＦＲ２と、記録済みの登録画像ＲＧｎの中で、特徴領域ＦＲ２に対応している領域とを照合することで、特徴領域ＦＲ２と、特徴領域ＦＲ２に対応している領域との差異を検出する。
【0065】
画像記録部１４は、差異検出部１２により差異が検出されれば、撮影画像ＰＧとして、特徴領域ＦＲｍが指定された撮影画像ＰＧＦを登録画像ＲＧｎ＋１として記録する。
画像記録部１４は、差異検出部１２により差異が検出されなければ、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を登録画像ＲＧｎ＋１として記録する。
画像記録部１４は、差異検出部１２により差異が検出されなければ、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を登録画像ＲＧｎ＋１として記録する。
【0066】
以上の実施の形態４では、差異検出部１２によって、撮影画像取得部１１により取得された撮影画像と記録済みの登録画像との差異の検出処理が行われるに際して、撮影画像の中で注目する領域である特徴領域の指定を受け付け、優先順位付きの特徴領域が指定された撮影画像を差異検出部１２及び画像記録部１４のそれぞれに出力する特徴領域指定受付部１９を備えるように、図１３に示す機器操作装置３を構成した。したがって、図１３に示す機器操作装置３は、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができるほか、図１に示す機器操作装置３よりも、差異検出部１２における差異検出処理の処理負荷を軽減することができる。
【0067】
なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0068】
本開示は、機器操作装置及び機器操作方法に適している。
【符号の説明】
【0069】
１ 操作対象機器、２ カメラ、３ 機器操作装置、４ サーバ装置、１１ 撮影画像取得部、１２ 差異検出部、１３ ガイダンス提示部、１４ 画像記録部、１５ ダウンロード部、１６ 操作受付部、１７ 画像記録部、１８ グリッド付加部、１９ 特徴領域指定受付部、３１ 撮影画像取得回路、３２ 差異検出回路、３３ ガイダンス提示回路、３４ 画像記録回路、３５ ダウンロード回路、３６ 操作受付回路、３７ 画像記録回路、３８ グリッド付加回路、３９ 特徴領域指定受付回路、５１ メモリ、５２ プロセッサ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】