(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-06
(45)【発行日】2022-12-14
(54)【発明の名称】登録システム、空気調和システム及び登録プログラム
(51)【国際特許分類】
H04Q 9/00 20060101AFI20221207BHJP
F24F 11/63 20180101ALI20221207BHJP
F24F 11/52 20180101ALI20221207BHJP
F24F 11/54 20180101ALI20221207BHJP
G06F 3/0484 20220101ALI20221207BHJP
F24F 11/59 20180101ALI20221207BHJP
【FI】
H04Q9/00 301D
F24F11/63
F24F11/52
F24F11/54
G06F3/0484
F24F11/59
(21)【出願番号】P 2022059133
(22)【出願日】2022-03-31
【審査請求日】2022-03-31
(31)【優先権主張番号】P 2021059231
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】魏 亜光
(72)【発明者】
【氏名】村井 雄一
【審査官】羽岡 さやか
(56)【参考文献】
【文献】特開2018-063537(JP,A)
【文献】特開2002-099971(JP,A)
【文献】特開2009-020007(JP,A)
【文献】特開2017-201745(JP,A)
【文献】特開2016-080602(JP,A)
【文献】特開2012-257119(JP,A)
【文献】特開2010-154124(JP,A)
【文献】鄭 龍振 Yongjin Jeong,大規模な三次元環境地図とRGB-Dカメラを用いた移動ロボットの広域位置同定 Global Localization for Mobile Robot using Large-scale 3D Environmental Map and RGB-D Camera,日本ロボット学会誌 第31巻 第9号 Journal of the Robotics Society of Japan,日本,一般社団法人日本ロボット学会,2013年11月15日,第31巻,p. 68-78
(58)【調査した分野】(Int.Cl.,DB名)
H04Q 9/00
F24F 11/59
F24F 11/63
F24F 11/52
F24F 11/54
G06F 3/0484
(57)【特許請求の範囲】
【請求項1】
制御部と記憶部とを有する登録システムであって、
前記制御部は、
空調指示操作を受け付け可能なユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、前記記憶部に登録
し、
前記ユーザ端末が空調指示操作を受け付けた場合に、前記記憶部に登録された前記実空間内の特定範囲に対して空調制御を行う、
登録システム。
【請求項2】
前記制御部は、
前記ユーザ端末に対して移動操作が行われた場合の前記ユーザ端末の位置情報の軌跡に基づいて、前記実空間内の特定範囲を決定し、前記記憶部に登録する、請求項1に記載の登録システム。
【請求項3】
前記ユーザ端末は指示操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が指示操作を受け付けた際の前記ユーザ端末の位置情報を基準とする周辺範囲を、前記特定範囲として決定し、前記記憶部に登録する、請求項1に記載の登録システム。
【請求項4】
前記ユーザ端末は指示操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が指示操作を受け付けたことにより特定された対象物の前記実空間における位置情報を基準とする周辺範囲を、前記実空間内の特定範囲として決定し、前記記憶部に登録する、請求項1に記載の登録システム。
【請求項5】
前記ユーザ端末は選択指示操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が選択指示操作を受け付けたことにより特定された前記対象物の部位の前記実空間における位置情報を基準とする周辺範囲を、前記実空間内の特定範囲として決定し、前記記憶部に登録する、請求項4に記載の登録システム。
【請求項6】
前記ユーザ端末は設定操作を受け付け可能であり、
前記制御部は、
前記特定範囲の大きさまたは形状を、前記ユーザ端末が受け付けた設定操作に基づいて決定する、請求項1に記載の登録システム。
【請求項7】
前記ユーザ端末は設定操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が始点の設定操作を受け付けた際の前記ユーザ端末の位置情報、または、前記特定範囲を決定する際に基準とした位置情報と、前記ユーザ端末が終点の設定操作を受け付けた際の前記ユーザ端末の位置情報とに基づいて、前記特定範囲の大きさを決定する、請求項6に記載の登録システム。
【請求項8】
前記ユーザ端末は、
撮像装置と、
前記撮像装置により撮影された画像を表示する表示装置と、を有し、
前記ユーザ端末の制御部は、
前記画像に含まれる物体を、前記対象物として特定する、請求項4に記載の登録システム。
【請求項9】
前記ユーザ端末は、
撮像装置と、
前記撮像装置により撮影された画像を画面に表示するとともに、画像が表示された画面上の位置をポインティング可能な表示装置と、を有し、
前記ユーザ端末の制御部は、
前記画像に含まれる複数の物体のうち、ポインティングされた位置の物体を、前記対象物として特定する、請求項4に記載の登録システム。
【請求項10】
前記ユーザ端末は、
画像を表示する表示装置を有し、
前記ユーザ端末の制御部は、
前記画像に、前記特定範囲を示す画像を重畳して前記表示装置に表示する、請求項1に記載の登録システム。
【請求項11】
前記ユーザ端末は、
撮像装置を有し、
前記ユーザ端末の制御部は、
前記撮像装置により撮影された画像に、前記ユーザ端末の実空間における位置情報及び姿勢情報に基づいて生成された、前記特定範囲を示す3次元の画像を重畳して表示する、請求項10に記載の登録システム。
【請求項12】
前記ユーザ端末は、出力装置を有し、
前記実空間内の特定範囲に前記ユーザ端末が位置する場合に、前記出力装置は刺激を通知する、請求項1に記載の登録システム。
【請求項13】
前記ユーザ端末は、出力装置を有し、
前記出力装置は、前記実空間内の特定範囲と、前記ユーザ端末との位置関係に応じて、異なる刺激を通知する、請求項1に記載の登録システム。
【請求項14】
前記ユーザ端末は、出力装置を有し、
前記実空間内の特定範囲に前記ユーザ端末が位置する場合に、前記出力装置は、
前記特定範囲が前記対象物の前記実空間における位置情報により決定されたのか否かに応じて異なる刺激を通知する、または、
前記特定範囲が前記対象物の前記実空間における位置情報により決定されていた場合には、前記対象物が人であるか否かに応じて、異なる刺激を通知する、
請求項4に記載の登録システム。
【請求項15】
前記ユーザ端末は、センサを有し、
前記ユーザ端末の制御部は、
前記実空間の形状データと、前記センサにより測定されたデータとを照合することで、前記ユーザ端末の実空間における位置情報を算出する、請求項1に記載の登録システム。
【請求項16】
前記センサは撮像装置であり、
前記ユーザ端末の制御部は、
前記実空間内の3次元データと、前記撮像装置により撮影された撮影画像から生成したマップとを照合することで、前記ユーザ端末の実空間における位置情報を算出する、請求項15に記載の登録システム。
【請求項17】
前記制御部は、
前記実空間内に取り付けられた3次元位置計測センサにより測定されたデータに基づいて、前記ユーザ端末の実空間における位置情報を算出する、請求項1に記載の登録システム。
【請求項18】
前記3次元位置計測センサは、取り付け位置の異なる複数の撮像装置により構成され、
前記制御部は、
前記複数の撮像装置それぞれにより撮影された撮影画像をマッチングさせることで、前記ユーザ端末の実空間における位置情報を算出する、請求項17に記載の登録システム。
【請求項19】
前記制御部は、
前記ユーザ端末
と前記実空間内に取り付けられた3次元位置計測センサとの相対位置データと、前記実空間内に取り付けられた
3次元位置計測センサにより測定された
3次元空間データとを照合することで、前記ユーザ端末の実空間における位置情報を算出する、請求項1に記載の登録システム。
【請求項20】
前記制御部は、
前記実空間に取り付けられた複数の空気調和装置を用いることで、前記記憶部に登録された前記実空間内の特定範囲と、特定範囲以外の非特定範囲とで、異なる空調制御を実行する、請求項
1に記載の登録システム。
【請求項21】
請求項1乃至2
0のいずれか1項に記載の登録システムを含む空気調和システム。
【請求項22】
空調指示操作を受け付け可能なユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、記憶部に登録する登録工程
と、
前記ユーザ端末が空調指示操作を受け付けた場合に、前記記憶部に登録された前記実空間内の特定範囲に対して空調制御を行う制御工程と
を制御部に実行させるための登録プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、登録システム、空気調和システム及び登録プログラムに関する。
【背景技術】
【0002】
空気調和システム等のように、実空間の快適性を向上させるシステムにおいては、例えば、ユーザがいる特定範囲に対して、他の範囲とは異なる空調制御を行う場合がある。一例として、下記特許文献1等には、実空間において、携帯型発信機を保持するユーザがいる特定範囲に対して、送風する空気があたらないように、風量及び風向を制御する空気調和システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記空気調和システムの場合、空調制御の制御対象となる特定範囲の大きさや形状が予め登録されており、ユーザが自由に変えることができないといった問題がある。
【0005】
本開示は、実空間において制御対象となる特定範囲を登録する登録システム、空気調和システム及び登録プログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の第1の態様は、
制御部と記憶部とを有する登録システムであって、
前記制御部は、
ユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、前記記憶部に登録する。
【0007】
本開示の第1の態様によれば、実空間において制御対象となる特定範囲を登録する登録システムを提供することができる。
【0008】
また、本開示の第2の態様は、第1の態様に記載の登録システムであって、
前記制御部は、
前記ユーザ端末に対して移動操作が行われた場合の前記ユーザ端末の位置情報の軌跡に基づいて、前記実空間内の特定範囲を決定し、前記記憶部に登録する。
【0009】
また、本開示の第3の態様は、第1の態様に記載の登録システムであって、
前記ユーザ端末は指示操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が指示操作を受け付けた際の前記ユーザ端末の位置情報を基準とする周辺範囲を、前記特定範囲として決定し、前記記憶部に登録する。
【0010】
また、本開示の第4の態様は、第1の態様に記載の登録システムであって、
前記ユーザ端末は指示操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が指示操作を受け付けたことにより特定された対象物の前記実空間における位置情報を基準とする周辺範囲を、前記実空間内の特定範囲として決定し、前記記憶部に登録する。
【0011】
また、本開示の第5の態様は、第4の態様に記載の登録システムであって、
前記ユーザ端末は選択指示操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が選択指示操作を受け付けたことにより特定された前記対象物の部位の前記実空間における位置情報を基準とする周辺範囲を、前記実空間内の特定範囲として決定し、前記記憶部に登録する。
【0012】
また、本開示の第6の態様は、第1の態様に記載の登録システムであって、
前記ユーザ端末は設定操作を受け付け可能であり、
前記制御部は、
前記特定範囲の大きさまたは形状を、前記ユーザ端末が受け付けた設定操作に基づいて決定する。
【0013】
また、本開示の第7の態様は、第6の態様に記載の登録システムであって、
前記ユーザ端末は設定操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が始点の設定操作を受け付けた際の前記ユーザ端末の位置情報、または、前記特定範囲を決定する際に基準とした位置情報と、前記ユーザ端末が終点の設定操作を受け付けた際の前記ユーザ端末の位置情報とに基づいて、前記特定範囲の大きさを決定する。
【0014】
また、本開示の第8の態様は、第4の態様に記載の登録システムであって、
前記ユーザ端末は、
撮像装置と、
前記撮像装置により撮影された画像を表示する表示装置と、を有し、
前記ユーザ端末の制御部は、
前記画像に含まれる物体を、前記対象物として特定する。
【0015】
また、本開示の第9の態様は、第4の態様に記載の登録システムであって、
前記ユーザ端末は、
撮像装置と、
前記撮像装置により撮影された画像を画面に表示するとともに、画像が表示された画面上の位置をポインティング可能な表示装置と、を有し、
前記ユーザ端末の制御部は、
前記画像に含まれる複数の物体のうち、ポインティングされた位置の物体を、前記対象物として特定する。
【0016】
また、本開示の第10の態様は、第1の態様に記載の登録システムであって、
前記ユーザ端末は、
画像を表示する表示装置を有し、
前記ユーザ端末の制御部は、
前記画像に、前記特定範囲を示す画像を重畳して前記表示装置に表示する。
【0017】
また、本開示の第11の態様は、第10の態様に記載の登録システムであって、
前記ユーザ端末は、
撮像装置を有し、
前記ユーザ端末の制御部は、
前記撮像装置により撮影された画像に、前記ユーザ端末の実空間における位置情報及び姿勢情報に基づいて生成された、前記特定範囲を示す3次元の画像を重畳して表示する。
【0018】
また、本開示の第12の態様は、第1の態様に記載の登録システムであって、
前記ユーザ端末は、出力装置を有し、
前記実空間内の特定範囲に前記ユーザ端末が位置する場合に、前記出力装置は刺激を通知する。
【0019】
また、本開示の第13の態様は、第1の態様に記載の登録システムであって、
前記ユーザ端末は、出力装置を有し、
前記出力装置は、前記実空間内の特定範囲と、前記ユーザ端末との位置関係に応じて、異なる刺激を通知する。
【0020】
また、本開示の第14の態様は、第4の態様に記載の登録システムであって、
前記ユーザ端末は、出力装置を有し、
前記実空間内の特定範囲に前記ユーザ端末が位置する場合に、前記出力装置は、
前記特定範囲が前記対象物の前記実空間における位置情報により決定されたのか否かに応じて異なる刺激を通知する、または、
前記特定範囲が前記対象物の前記実空間における位置情報により決定されていた場合には、前記対象物が人であるか否かに応じて、異なる刺激を通知する。
【0021】
また、本開示の第15の態様は、第1の態様に記載の登録システムであって、
前記ユーザ端末は、センサを有し、
前記ユーザ端末の制御部は、
前記実空間の形状データと、前記センサにより測定されたデータとを照合することで、前記ユーザ端末の実空間における位置情報を算出する。
【0022】
また、本開示の第16の態様は、第15の態様に記載の登録システムであって、
前記センサは撮像装置であり、
前記ユーザ端末の制御部は、
前記実空間内の3次元データと、前記撮像装置により撮影された撮影画像から生成したマップとを照合することで、前記ユーザ端末の実空間における位置情報を算出する。
【0023】
また、本開示の第17の態様は、第1の態様に記載の登録システムであって、
前記制御部は、
前記実空間内に取り付けられた3次元位置計測センサにより測定されたデータに基づいて、前記ユーザ端末の実空間における位置情報を算出する。
【0024】
また、本開示の第18の態様は、第17の態様に記載の登録システムであって、
前記3次元位置計測センサは、取り付け位置の異なる複数の撮像装置により構成され、
前記制御部は、
前記複数の撮像装置それぞれにより撮影された撮影画像をマッチングさせることで、前記ユーザ端末の実空間における位置情報を算出する。
【0025】
また、本開示の第19の態様は、第1の態様に記載の登録システムであって、
前記制御部は、
前記ユーザ端末が有するセンサにより測定されたデータと、前記実空間内に取り付けられたセンサにより測定されたデータとを照合することで、前記ユーザ端末の実空間における位置情報を算出する。
【0026】
また、本開示の第20の態様は、第1の態様に記載の登録システムであって、
前記ユーザ端末は空調指示操作を受け付け可能であり、
前記制御部は、
前記ユーザ端末が空調指示操作を受け付けた場合に、前記記憶部に登録された前記実空間内の特定範囲に対して空調制御を行う。
【0027】
また、本開示の第21の態様は、第20の態様に記載の登録システムであって、
前記制御部は、
前記実空間に取り付けられた複数の空気調和装置を用いることで、前記記憶部に登録された前記実空間内の特定範囲と、特定範囲以外の非特定範囲とで、異なる空調制御を行う。
【0028】
また、本開示の第22の態様に係る空気調和システムは、
第1乃至第21のいずれかの態様に記載の登録システムを含む。
【0029】
本開示の第22の態様によれば、実空間において制御対象となる特定範囲を登録する空気調和システムを提供することができる。
【0030】
また、本開示の第23の態様に係る登録プログラムは、
ユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、記憶部に登録する登録工程、
を制御部に実行させる。
【0031】
本開示の第23の態様によれば、実空間において制御対象となる特定範囲を登録する登録プログラムを提供することができる。
【図面の簡単な説明】
【0032】
【
図1】空気調和システムのシステム構成の一例を示す図である。
【
図2】空気調和システムが適用される実空間の一例を示す図である。
【
図3】制御装置のハードウェア構成及びユーザ端末のハードウェア構成の一例を示す図である。
【
図4】空気調和システムの運転モードと、操作画面の一例を示す図である。
【
図5】特定運転モードにおける制御装置の機能構成の一例を示す図である。
【
図6】特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第1の図である。
【
図7】特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第2の図である。
【
図8】特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第3の図である。
【
図9】特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第4の図である。
【
図10】特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第5の図である。
【
図11】特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第6の図である。
【
図12】特定範囲入力部の機能構成及び特定範囲削除処理の具体例を示す図である。
【
図13】特定範囲入力部の機能構成及び特定範囲移動処理の具体例を示す図である。
【
図14】特定範囲入力部の機能構成及び運転情報入力処理の具体例を示す図である。
【
図15】特定範囲入力部の機能構成及び運転情報反転処理の具体例を示す図である。
【
図16】特定範囲出力部の機能構成及び特定範囲出力処理の具体例を示す第1の図である。
【
図17】特定運転モードにおける特定範囲登録処理の流れを示す第1のフローチャートである。
【
図18】特定運転モードにおける特定範囲登録処理の流れを示す第2のフローチャートである。
【
図19】空気調和システムによる空調制御の一例を示す図である。
【
図20】特定運転モードにおける制御装置及びユーザ端末の機能構成の一例を示す図である。
【
図21】送信部及び特定範囲出力部の機能構成及び特定範囲表示処理の具体例を示す図である。
【
図22】特定範囲出力部の機能構成及び特定範囲出力処理の具体例を示す第2の図である。
【
図23】ユーザ端末の実空間における位置を示す座標情報の算出例を示す図である。
【
図24】ユーザ端末の機能構成の一例を示す図である。
【
図25】特定範囲入力部の機能構成の一例を示す図である。
【
図26】中心位置決定処理の具体例を示す第1の図である。
【
図27】中心位置決定処理の具体例を示す第2の図である。
【
図28】中心位置決定処理の具体例を示す第3の図である。
【
図29】中心位置決定処理の具体例を示す第4の図である。
【発明を実施するための形態】
【0033】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【0034】
[第1の実施形態]
<空気調和システムのシステム構成>
はじめに、第1の実施形態にかかる空気調和システムのシステム構成について説明する。
図1は、空気調和システムのシステム構成の一例を示す図である。
【0035】
図1に示すように、空気調和システム100は、空気調和装置110と、撮像装置120と、表示装置130と、ユーザ端末140とを有する。空気調和装置110と、ユーザ端末140とは、無線通信を介して接続される。
【0036】
空気調和装置110は、例えば、家庭用空気調和装置の室内機111や、業務用空気調和装置の室内機112a、エッジ装置112b(制御装置)及び操作パネル112c等を含む。
【0037】
室内機111は、実空間の空調制御を行う。具体的には、室内機111は、
・ユーザ端末140から無線通信を介して送信される各種指示及び各種情報、
・撮像装置120から送信される撮影画像(例えば、RGB画像)、
・室内機111が有するセンサにより測定されたデータ、
に基づいて、内蔵する制御装置が動作し、実空間の空調制御を行う。なお、室内機111は、撮像装置120を内蔵していてもよい。また、室内機111は、内蔵する制御装置が動作することで生成した各種情報を、無線通信を介してユーザ端末140に送信する、あるいは、表示装置130に送信する。
【0038】
同様に、室内機112aは、実空間の空調制御を行う。具体的には、室内機112aは、
・操作パネル112cから送信される、またはユーザ端末140から無線通信を介して送信される各種指示及び各種情報、
・撮像装置120から送信される撮影画像、
・室内機112aが有するセンサにより測定されたデータ、
に基づいて、エッジ装置112b(制御装置)が動作し、実空間の空調制御を行う。
【0039】
また、室内機112aは、エッジ装置112bが動作することで生成した各種情報を、無線通信を介してユーザ端末140に送信する、あるいは、表示装置130に送信する。なお、操作パネル112cは、表示装置130として機能してもよい。
【0040】
第1の実施形態において、
・室内機111に内蔵された制御装置、及び、
・室内機112aに接続されたエッジ装置112b、
は、実空間内の特定範囲に対して、非特定範囲(特定範囲以外の範囲)とは異なる空調制御を行うことが可能である。
【0041】
撮像装置120は、例えば、室内の防犯カメラ121、監視カメラ122等を含む。防犯カメラ121、監視カメラ122等は、家庭用空気調和装置の室内機111が設置された実空間内や、業務用空気調和装置の室内機112aが設置された実空間内を撮影し、撮影画像を空気調和装置110に送信する。
【0042】
表示装置130は、例えば、モニタ131等を含む。モニタ131等は、家庭用空気調和装置の室内機111が設置された実空間内や、業務用空気調和装置の室内機112aが設置された実空間内に設置される。また、モニタ131等は、室内機111に内蔵された制御装置または室内機112aに接続されたエッジ装置112bにおいて生成された表示画像を表示する。
【0043】
ユーザ端末140は、例えば、スマートフォン141や、家庭用空気調和装置のリモコン142、ウェアラブル機器(不図示)等を含む。スマートフォン141やリモコン142、ウェアラブル機器(不図示)等は、実空間内のユーザによって保持され(あるいは装着され)、ユーザによって入力された各種指示や各種情報を、空気調和装置110に送信する。これにより、ユーザはユーザ端末140を介して実空間において特定範囲を登録することができる。
【0044】
また、スマートフォン141やリモコン142、ウェアラブル機器(不図示)等は、空気調和装置110から送信される各種情報に基づいて、登録された特定範囲をユーザに通知する。これにより、ユーザは、実空間において、どの範囲が特定範囲として登録されているのかを、ユーザ端末140を介して把握することができる。
【0045】
<実空間の具体例>
次に、空気調和システム100が適用される実空間の具体例について説明する。
図2は、空気調和システムが適用される実空間の一例を示す図である。
【0046】
図1において、実空間210は、ユーザ211の自室である。実空間210に適用された空気調和システム100は、撮像装置120が内蔵された室内機111と、スマートフォン141とを有する。なお、室内機111の制御装置(不図示)は、実空間210内の各位置を、座標軸212に基づく座標情報により識別する。
【0047】
一方、実空間220は、ユーザ221、222の執務室である。実空間220に適用された空気調和システム100は、室内機112a、エッジ装置112b(不図示)、操作パネル112cと、防犯カメラ121と、モニタ131と、スマートフォン141とを有する。なお、エッジ装置112b(不図示)は、実空間220内の各位置を、座標軸223に基づく座標情報により識別する。
【0048】
<制御装置及びユーザ端末のハードウェア構成>
次に、空気調和装置110の室内機111に内蔵された制御装置または空気調和装置110の室内機112aに接続されたエッジ装置112b(制御装置)のハードウェア構成と、ユーザ端末140のハードウェア構成とについて、
図3を用いて説明する。
【0049】
図3は、制御装置のハードウェア構成及びユーザ端末のハードウェア構成の一例を示す図である。
【0050】
(1)制御装置のハードウェア構成
このうち、
図3の3aは、空気調和装置110の制御装置のハードウェア構成の一例を示している。
図3の3aに示すように、空気調和装置110の制御装置は、プロセッサ301、メモリ302、補助記憶装置303を有する。また、空気調和装置110の制御装置は、I/F(Interface)装置304、通信装置305を有する。なお、空気調和装置110の制御装置の各ハードウェアは、バス306を介して相互に接続されている。
【0051】
プロセッサ301は、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ301は、各種プログラム(例えば、後述する登録プログラム等)をメモリ302上に読み出して実行する。
【0052】
メモリ302は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ301とメモリ302とは、いわゆるコンピュータ(ハードウェアとしての「制御部」)を形成し、プロセッサ301が、メモリ302上に読み出した各種プログラムを実行することで、空気調和装置110の制御装置は、各種機能を実現する。
【0053】
補助記憶装置303は記憶部の一例であり、各種プログラムや、各種プログラムがプロセッサ301によって実行される際に用いられる各種データを格納する。
【0054】
I/F装置304は、空気調和装置110の制御装置と、他の装置とを接続する接続デバイスである。本実施形態において他の装置には、撮像装置120、表示装置130が含まれる。また、本実施形態において他の装置には、空気調和装置110の室内機111が有するセンサまたは室内機112aが有するセンサの一例である、電波送受信装置310が含まれる。電波送受信装置310は、例えば、実空間内をレーザ光によりスキャンすることで電波情報(レーザ光の反射信号)を取得する、TOF方式の深度センサ(3次元位置計測センサの一例)である。電波送受信装置310が取得する、実空間210または220内の任意の方向の電波情報を用いることで、実空間210または220内の複数の物体の位置を示す座標情報(いわゆる深度マップ)を算出することができる。
【0055】
通信装置305は、空気調和装置110の制御装置と、ユーザ端末140との間で情報を送受信する通信デバイスである。
【0056】
(2)ユーザ端末のハードウェア構成
一方、
図3の3bは、ユーザ端末140のハードウェア構成の一例を示している。
図3の3bに示すように、ユーザ端末140は、プロセッサ321、メモリ322、補助記憶装置323、通信装置324、操作装置325、表示装置326を有する。また、ユーザ端末140は、撮像装置327、加速度センサ328、音声入力装置329、音声出力装置330、振動装置331を有する。なお、ユーザ端末140の各ハードウェアは、バス332を介して相互に接続されている。
【0057】
プロセッサ321は、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ321は、各種プログラム(例えば、後述する空調操作プログラム等)をメモリ322上に読み出して実行する。
【0058】
メモリ322は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ321とメモリ322とは、いわゆるコンピュータ(ハードウェアとしての「制御部」)を形成し、プロセッサ321が、メモリ322上に読み出した各種プログラムを実行することで、ユーザ端末140は、各種機能を実現する。
【0059】
補助記憶装置323は、各種プログラムや、各種プログラムがプロセッサ321によって実行される際に用いられる各種データを格納する。
【0060】
通信装置324は、ユーザ端末140と、空気調和装置110の制御装置との間で情報を送受信する通信デバイスである。
【0061】
操作装置325は、ユーザ端末140に対するユーザ211、221、222等からの各種指示を受け付ける。表示装置326は、空気調和装置110の制御装置から送信された各種情報に基づく表示画像を表示する。
【0062】
撮像装置327は、例えば、実空間210、220内を撮影する。加速度センサ328は、ユーザ端末140の3軸方向の加速度を測定する。音声入力装置329は、ユーザ211、221、222等の音声を入力する。音声出力装置330は、例えば、空気調和装置110の制御装置から送信された各種情報に基づく音を出力する。振動装置331は、例えば、空気調和装置110の制御装置から送信された各種情報に基づく振動を出力する。
【0063】
<運転モード及び操作画面>
次に、空気調和システム100が稼働する際に、ユーザ端末にて上記空調操作プログラムが実行されることで実現される運転モードと、ユーザ端末140に表示される操作画面について説明する。
図4は、空気調和システムの運転モードと、操作画面の一例を示す図である。
【0064】
このうち、
図4の4aは、空気調和システム100が稼働する際の運転モードを示している。
図4の4aに示すように、空気調和システム100では、稼働中に「通常運転モード」または「特定運転モード」のいずれかに遷移する。
【0065】
「通常運転モード」とは、空気調和システム100を従来の運転情報に基づいて稼働させ、実空間210、220の空調制御を行うモードである。一方、「特定運転モード」とは、空気調和システム100を稼働させる際、特定範囲と非特定範囲とで異なる運転情報のもとで空調制御を行うモードである。
【0066】
また、
図4の4bは、特定運転モードで空気調和システム100を稼働させる際に、ユーザ端末140に表示される操作画面の一例を示している。
図4の4bに示すように、「特定運転」ボタン412が押下されることで、特定運転モードの操作画面400に遷移する。操作画面400には、運転情報表示欄411、特定範囲入力欄413、「特定範囲表示」ボタン414、「運転情報入力」ボタン415、「開始」ボタン416、「停止」ボタン417が含まれる。
【0067】
運転情報表示欄411には、特定範囲に設定された運転情報が表示される。特定範囲が複数ある場合には、特定範囲ごとに運転情報が表示される。
図4の例は、"特定範囲1"に、運転情報として、温度=「XX℃」、風向=「当たらない」、風量=「0」が設定された様子を示している。
【0068】
特定範囲入力欄413には、ユーザ211、221、222等が特定範囲を入力する際に用いる指示ボタンが含まれる。「範囲入力」ボタンは、特定範囲の入力開始を指示する際に押圧操作されるボタンである。
【0069】
「増減」ボタンは、特定範囲の大きさを入力する際に押圧操作されるボタンである。なお、「増減」ボタンを押圧操作して「半径情報」入力欄(図中の"Rmm")に特定範囲の大きさを入力する代わりに、設定操作を行い、特定範囲の大きさを示す数値を直接「半径情報」入力欄に入力してもよい。
【0070】
「対象撮影」ボタンは、対象物の領域を特定範囲とすべく対象物を撮影する際に、押圧操作されるボタンである。「対象撮影」ボタンが押圧操作されることで撮像装置327が起動し、撮影が開始される。
【0071】
「範囲削除」ボタンは、既に登録されている特定範囲を削除する際に押圧操作されるボタンである。「範囲移動」ボタンは、既に登録されている特定範囲を移動する際に押圧操作されるボタンである。
【0072】
「反転」ボタンとは、既に登録されている特定範囲に対して空調制御を行う場合に用いられる運転情報と、特定範囲とは異なる非特定範囲に対して空調制御を行う場合に用いられる運転情報とを、入れ替える際に押圧操作されるボタンである。
【0073】
「特定範囲表示」ボタン414は、押圧操作されることで、撮像装置327が起動し、撮像装置327により撮影された撮影画像を表示画面に表示するとともに、空気調和装置110の制御装置から送信された各種情報に基づく表示画像を重畳して表示する。
【0074】
「運転情報入力」ボタン415は、ユーザ211、221、222等が運転情報を入力する際に押圧操作されるボタンである。「運転情報入力」ボタン415が押圧操作されることで、特定運転モードにおいて入力可能な項目が表示され、ユーザ211、221、222等は、各項目に対応する運転情報を入力する。
【0075】
なお、運転情報は、特定範囲ごとに同一の内容が登録できるように構成してもよいし、同一の特定範囲内の各位置に対して異なる内容が登録できるように構成してもよい。また、過去に登録された運転情報の履歴を読み出して、他の特定範囲に対して登録できるように構成してもよい。更に、現在登録されている特定範囲それぞれに対応付けられた運転情報を、特定範囲間で入れ替えて登録できるように構成してもよい。
【0076】
「開始」ボタン416は、特定運転モードによる空調制御を開始するよう、空気調和装置110に指示する際に用いられる、空調指示操作のためのボタンである。「停止」ボタン417は、特定運転モードによる空調制御を停止するよう、空気調和装置110に指示する際に用いられる、空調指示操作のためのボタンである。
【0077】
<制御装置の機能構成>
次に、特定運転モードにおける空気調和装置110の制御装置の機能構成について説明する。
図5は、特定運転モードにおける制御装置の機能構成の一例を示す図である。上述したように、空気調和装置110の制御装置には、登録プログラムがインストールされており、当該プログラムが実行されることにより、空気調和装置110の制御装置は、特定範囲入力部501、空調制御部502、特定範囲出力部503として機能する。
【0078】
特定範囲入力部501は、ユーザ端末140から送信された各種指示及び各種情報、撮像装置120から送信される撮影画像、室内機111が有するセンサにより測定されたデータ等に基づいて、特定範囲及び運転情報を決定する。また、特定範囲入力部501は、決定した特定範囲及び運転情報を、空調制御部502に登録する。具体的には、特定範囲入力部501は、決定した特定範囲及び運転情報を空調制御部502に通知する。これにより、空調制御部502は、空気調和装置110の制御装置が有する補助記憶装置303のうち、空調制御部502が利用可能な記憶領域である、特定範囲及び運転情報記憶部に格納する。
【0079】
空調制御部502は、特定範囲入力部501により登録された、特定範囲及び運転情報に基づいて、空調制御を行う。
【0080】
特定範囲出力部503は、空調制御部502に登録された特定範囲を、ユーザ211、221、222等に通知するための画像(特定範囲画像)を、表示装置130に送信する。
【0081】
<特定範囲入力部の機能構成及び特定範囲決定処理の具体例>
次に、特定範囲入力部501の機能構成(ここでは、特定範囲の決定に関わる機能構成)の詳細と、特定範囲決定処理の具体例について、(1)~(6)のパターンについて説明する。
【0082】
(1)パターン1
図6は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第1の図である。
図6に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部604、半径情報特定部605、特定範囲決定部607を有する。
【0083】
撮影画像取得部601は、撮像装置120により撮影された撮影画像を取得し、位置情報取得部603に通知する。
【0084】
電波情報取得部602は、電波送受信装置310により送受信された電波情報を取得し、位置情報取得部603に通知する。
【0085】
位置情報取得部603は、通知された撮影画像と電波情報とに基づいて、ユーザ端末140の、実空間210または220内における位置を示す座標情報(x,y,z)を算出する。例えば、電波情報取得部602は、電波情報に基づいて実空間内の複数の物体の位置を示す座標情報を算出し、算出した複数の物体の位置を示す座標情報の中から、撮影画像に基づいて画像認識されたユーザ端末140の位置を示す座標情報を抽出する。
【0086】
操作内容取得部604は、ユーザ端末140より送信される操作内容を取得する。
図6の例は、操作内容として、「範囲入力」ボタンが押圧操作され、「増減」ボタンが押圧操作された様子を示している。
【0087】
操作内容取得部604では、「範囲入力」ボタンが押圧操作されたことにより、範囲入力指示を取得すると、当該範囲入力指示を特定範囲決定部607に通知する。なお、特定範囲決定部607では、操作内容取得部604より範囲入力指示が通知された際に、位置情報取得部603より通知された座標情報を、特定範囲の中心点の位置を示す中心位置情報(x0,y0、z0)として保持する。
【0088】
また、操作内容取得部604では、「増減」ボタンがn回タップされたことにより(タップ操作が繰り返されたことにより)、タップ情報を取得すると、当該タップ情報を半径情報特定部605に通知する。あるいは、操作内容取得部604では、「増減」ボタンがt秒長押しされたことにより(押圧操作が所定時間継続したことにより)、タップ情報を取得すると、当該タップ情報を半径情報特定部605に通知する。
【0089】
半径情報特定部605は、操作内容取得部604より通知されたタップ情報に基づいて、半径情報(R)を算出し、特定範囲決定部607に通知する。半径情報特定部605では、タップ回数(繰り返された回数)または長押し時間(継続した時間)に比例した半径情報(R)を算出する。
【0090】
特定範囲決定部607は、形状記憶部610を参照し、特定範囲の所定形状の形状情報を取得する。
図6の例は、形状記憶部610を参照することで、球形状情報を取得した様子を示している。ただし、形状記憶部610を参照することで取得する形状情報は、球形状情報に限定されず、例えば、円錐形状情報等、他の任意の立体形状情報であってもよい。
【0091】
また、特定範囲決定部607は、特定範囲の中心位置情報(x0,y0、z0)と、半径情報特定部605より通知された半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲621を決定する。つまり、特定範囲決定部607は、中心位置情報を基準とする周辺範囲を特定範囲621として決定する。
【0092】
図6の例は、途中のタップ情報に基づいて、特定範囲620が生成された様子を示している。このように、
図6の例によれば、ユーザ211は、タップ回数または長押し時間を調整することで、特定範囲の大きさを調整することができる。
【0093】
なお、ユーザ端末140は、
・ユーザ211が、「増減」ボタンをタップすることにより、あるいは、
・長押しすることにより、
半径情報(R)が一定量変化するごとに、所定の刺激(音、光、または振動)をユーザ211に通知してもよい。これにより、ユーザ211は、半径情報(R)が一定量変化したことを把握することができる。
【0094】
(2)パターン2
図7は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第2の図である。
図7に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部701、特定範囲決定部607を有する。
【0095】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。
【0096】
操作内容取得部701は、ユーザ端末140より送信される操作内容を取得する。
図7の例は、操作内容として、「範囲入力」ボタンが押圧操作され、「半径情報」入力欄に、半径情報(R)が直接入力された様子を示している。
【0097】
操作内容取得部701では、「範囲入力」ボタンが押圧操作されたことにより、範囲入力指示を取得すると、当該範囲入力指示を特定範囲決定部607に通知する。なお、特定範囲決定部607では、操作内容取得部604より範囲入力指示が通知された際に、位置情報取得部603より通知された座標情報を、特定範囲の中心位置情報(x0,y0、z0)として保持する。
【0098】
また、操作内容取得部701では、「半径情報」入力欄に、半径情報(R)が直接入力されたことより、半径情報(R)を取得すると、当該半径情報(R)を特定範囲決定部607に通知する。
【0099】
なお、特定範囲決定部607による特定範囲621の決定方法は、
図6と同様であるため、ここでは説明を省略する。
【0100】
(3)パターン3
図8は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第3の図である。
図8に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部801、中心位置及び半径情報算出部802、特定範囲決定部803を有する。
【0101】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。ただし、
図8の場合、位置情報取得部603は、算出した座標情報を、中心位置及び半径情報算出部802に通知する。
【0102】
操作内容取得部801は、ユーザ端末140より送信される操作内容を取得し、中心位置及び半径情報算出部802に通知する。
図8の例は、操作内容として、「範囲入力」ボタンが押圧操作されたことで、範囲入力指示が通知された様子を示している。
【0103】
なお、
図8に示すように、パターン3の場合、ユーザ211は、「範囲入力」ボタンを押圧操作した後に、ユーザ端末140に対して移動操作を行い、実空間210内に円弧の軌跡を描くことで、特定範囲の位置及び大きさを指定する。
【0104】
具体的には、中心位置及び半径情報算出部802は、操作内容取得部801より範囲入力指示が通知された後に、位置情報取得部603から通知された、移動操作中の座標情報(座標情報(x1,y1,z1,)~(xm,ym,zm))を取得する。
【0105】
また、中心位置及び半径情報算出部802は、取得した座標情報(座標情報(x1,y1,z1,)~(xm,ym,zm))に基づいて、円弧の中心点の位置を示す中心位置情報(x0,y0、z0)を算出し、特定範囲決定部803に通知する。
【0106】
また、中心位置及び半径情報算出部802は、取得した座標情報(座標情報(x1,y1,z1,)~(xm,ym,zm))のうち、中心位置情報(x0,y0、z0)からの距離の最大値を算出する。更に、中心位置及び半径情報算出部802は、算出した最大値を、半径情報(R)として、特定範囲決定部803に通知する。
【0107】
特定範囲決定部803は、形状記憶部610を参照し、特定範囲の所定形状の形状情報を取得する。
図8の例は、形状記憶部610を参照することで、球形状情報を取得した様子を示している。ただし、形状記憶部610を参照することで取得する形状情報は、球形状情報に限定されず、例えば、円錐形状情報等、他の任意の立体形状情報であってもよい。
【0108】
また、特定範囲決定部803は、中心位置及び半径情報算出部802より通知された、中心位置情報(x0,y0、z0)と、半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲621を決定する。つまり、特定範囲決定部803は、中心位置情報を基準とする周辺範囲を特定範囲621として決定する。
【0109】
(4)パターン4
図9は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第4の図である。
図9に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部801、中心位置及び半径情報算出部802、射影方向判定部901、特定範囲決定部902を有する。
【0110】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。また、操作内容取得部801~中心位置及び半径情報算出部802は、
図8を用いて説明済みであるため、ここでは説明を省略する。
【0111】
射影方向判定部901は、撮像装置120がユーザ端末140を撮影した際の撮影方向を射影方向として、特定範囲決定部902に通知する。
【0112】
特定範囲決定部902は、形状記憶部610を参照し、特定範囲の所定形状の形状情報を取得する。
図9の例は、形状記憶部610を参照することで、球形状情報を取得した様子を示している。
【0113】
また、特定範囲決定部902は、中心位置及び半径情報算出部802より通知された、中心位置情報(x0,y0,z0)と、半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲を算出する。更に、特定範囲決定部902は、射影方向判定部901より通知された射影方向に基づいて、算出した特定範囲の大きさと形状とを維持したまま中心点の位置を射影方向に所定量ずらし、中心位置情報(x'0,y'0,z'0)を算出する。これにより、特定範囲決定部902は、射影領域を特定範囲621として決定する。つまり、特定範囲決定部902は、中心位置情報を基準とする周辺範囲を特定範囲621として決定する。
【0114】
なお、
図9の例では、特定範囲を算出してから射影する場合について説明したが、ユーザ端末140に対する移動操作に基づく軌跡を射影してから、特定範囲を算出してもよい。具体的には、はじめに、座標情報(座標情報(x
1,y
1,z
1,)~(x
m,y
m,z
m))を、撮像装置120により撮影された撮影画像に基づき撮影方向に射影する。そして、射影後の座標情報により特定される射影領域(中心位置情報と、半径情報(R)と、球形状情報とに基づいて特定される領域)を、特定範囲として決定する。
【0115】
(5)パターン5
図10は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第5の図である。
図10に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部801、中心位置及び半径情報算出部802、射影方向判定部1001、特定範囲決定部1002を有する。
【0116】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。また、操作内容取得部801~中心位置及び半径情報算出部802は、
図8を用いて説明済みであるため、ここでは説明を省略する。
【0117】
射影方向判定部1001は、ユーザ端末140とユーザ211との位置関係に応じた所定方向を、射影方向として判定し、判定した射影方向を特定範囲決定部1002に通知する。
【0118】
特定範囲決定部1002は、形状記憶部610を参照し、特定範囲の所定形状の形状情報を取得する。
図10の例は、形状記憶部610を参照することで、球形状情報を取得した様子を示している。
【0119】
また、特定範囲決定部1002は、中心位置及び半径情報算出部802より通知された、中心位置情報(x0,y0,z0)と、半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲を算出する。更に、特定範囲決定部1002は、射影方向判定部1001より通知された射影方向に基づいて、算出した特定範囲の大きさと形状とを維持したまま中心点の位置を射影方向に所定量ずらし、中心位置情報(x'0,y'0,z'0)を算出する。これにより、特定範囲決定部1002は、射影領域を特定範囲621として決定する。つまり、特定範囲決定部1002は、中心位置情報を基準とする周辺範囲を特定範囲621として決定する。
【0120】
なお、
図10の例では、特定範囲を算出してから射影する場合について説明したが、ユーザ端末140に対する移動操作に基づく軌跡を射影してから、特定範囲を算出してもよい。
【0121】
具体的には、はじめに、座標情報(座標情報(x1,y1,z1,)~(xm,ym,zm))を、撮像装置120により撮影された撮影画像から特定される、ユーザ211とユーザ端末140との位置関係に基づき射影する。そして、射影後の座標情報により特定される射影領域(中心位置情報と、半径情報(R)と、球形状情報とに基づいて特定される領域)を、特定範囲として決定する。
【0122】
(6)パターン6
図11は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第6の図である。
図11に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1101、対象領域算出部1102、特定範囲決定部1103を有する。
【0123】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。
【0124】
操作内容取得部1101は、ユーザ端末140より送信される操作内容を取得する。
図11の例は、操作内容として、はじめに、「範囲入力」ボタンが押圧操作され、その後、「対象撮影」ボタンが押圧操作された様子を示している。
【0125】
操作内容取得部1101では、「範囲入力」ボタンが押圧操作されることにより、範囲入力指示を取得する。また、操作内容取得部1101では、「対象撮影」ボタンが押圧操作されることにより、ユーザ端末140にて撮影が開始された後、シャッタボタン(不図示)が押圧操作されることにより、撮影指示を取得し、対象領域算出部1102に通知する。なお、対象領域算出部1102では、操作内容取得部1101より撮影指示が通知された際に、位置情報取得部603より通知された座標情報を保持する。このとき保持される位置座標は、対象領域の座標情報を算出する際に用いられる、撮影時のユーザ端末140の座標情報である基準位置情報(xb,yb,zb)となる。
【0126】
また、操作内容取得部1101では、シャッタボタン(不図示)が押圧操作されたことにより、ユーザ端末140より撮影画像を取得すると、当該撮影画像を対象領域算出部1102に通知する。
【0127】
対象領域算出部1102では、基準位置情報(xb,yb,zb)に基づいて、撮影画像に含まれる対象物を特定し、実空間210内での対象物の領域(対象領域)の座標情報を算出する。
【0128】
なお、対象領域算出部1102では、基準位置情報(xb,yb,zb)に基づいて、撮影画像に含まれる対象物を特定するにあたり、レイアウト情報格納部1104を参照する。レイアウト情報格納部1104には、実空間210内に配された各物体(例えば、観葉植物、椅子等)の物体名と、物体領域の座標情報(3次元データ等の形状データ)とが対応付けられたレイアウト情報が予め格納されているものとする。
【0129】
したがって、対象領域算出部1102では、撮影画像に含まれる物体に対応する物体名であって、基準位置情報(xb,yb,zb)近傍の座標情報が対応付けられている物体名を、レイアウト情報の中から特定する。そして、対象領域算出部1102では、特定した物体名に対応付けられた物体領域の座標情報を、撮影された対象物の領域(対象領域)の座標情報として、特定範囲決定部1103に通知する。
【0130】
特定範囲決定部1103は、対象領域算出部1102より通知された対象領域の座標情報を、特定範囲621として決定する。
【0131】
<特定範囲入力部の機能構成及び特定範囲削除処理の具体例>
次に、特定範囲入力部501の機能構成(ここでは、特定範囲の削除に関わる機能構成)の詳細と、特定範囲削除処理の具体例について説明する。
【0132】
図12は、特定範囲入力部の機能構成及び特定範囲削除処理の具体例を示す図である。
図12に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1201、削除対象判定部1202、特定範囲削除部1203を有する。
【0133】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。ただし、
図12の場合、位置情報取得部603は、算出した座標情報を、削除対象判定部1202に通知する。
【0134】
操作内容取得部1201は、ユーザ端末140より送信される操作内容を取得し、削除対象判定部1202に通知する。
図12の例は、操作内容として、「範囲削除」ボタンが押圧操作されたことで、範囲削除指示が通知された様子を示している。
【0135】
削除対象判定部1202は、操作内容取得部1201より範囲削除指示が通知された際に、位置情報取得部603より通知された座標情報を、特定範囲の削除対象の判定に用いる削除位置情報(xd,yd、zd)として保持する。
【0136】
また、削除対象判定部1202は、空調制御部502に既に登録されている特定範囲情報を読み出し、削除位置情報(xd,yd、zd)が含まれる特定範囲を判定する。更に、削除対象判定部1202は、判定した特定範囲を削除対象の特定範囲として、特定範囲削除部1203に通知する。
【0137】
特定範囲削除部1203は、空調制御部502に既に登録されている特定範囲情報から、削除対象判定部1202より通知された特定範囲を削除する。
【0138】
このように、特定範囲削除部1203は、ユーザ端末140が削除対象の特定範囲内に位置している状態で「範囲削除」ボタンが押圧操作された場合に、当該削除対象の特定範囲を削除する。
【0139】
<特定範囲入力部の機能構成及び特定範囲移動処理の具体例>
次に、特定範囲入力部501の機能構成(ここでは、特定範囲の移動に関わる機能構成)の詳細と、特定範囲移動処理の具体例について説明する。
【0140】
図13は、特定範囲入力部の機能構成及び特定範囲移動処理の具体例を示す図である。
図13に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1301、移動対象判定部1302、特定範囲更新部1303を有する。
【0141】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。ただし、
図13の場合、位置情報取得部603は、算出した座標情報を、移動対象判定部1302に通知する。
【0142】
操作内容取得部1301は、ユーザ端末140より送信される操作内容を取得し、移動対象判定部1302に通知する。
図13の例は、操作内容として、「範囲移動」ボタンが押圧操作されたことで、範囲移動開始指示及び範囲移動終了指示が通知された様子を示している。
【0143】
移動対象判定部1302は、操作内容取得部1301より範囲移動開始指示が通知された際に、位置情報取得部603より通知された座標情報を、移動前位置情報(xt,yt,zt)として保持する。
【0144】
また、移動対象判定部1302は、空調制御部502に既に登録されている特定範囲情報を読み出し、移動前位置情報(xt,yt,zt)が含まれる特定範囲を判定する。更に、移動対象判定部1302は、判定した特定範囲の中心位置情報である移動前中心位置情報(x0,y0,z0)を取得する。
【0145】
また、移動対象判定部1302は、ユーザ端末140に対する移動操作後、操作内容取得部1301より範囲移動終了指示が通知された際に、位置情報取得部603より通知された座標情報を、移動後位置情報(x't,y't,z't)として保持する。
【0146】
また、移動対象判定部1302は、移動前位置情報(xt,yt,zt)と、移動後位置情報(x't,y't,z't)との差分を、移動前中心位置情報(x0,y0,z0)に加算する。これにより、移動対象判定部1302は、移動後中心位置情報(x'0,y'0,z'0)を算出する。
【0147】
更に、移動対象判定部1302は、算出した移動後中心位置情報(x'0,y'0,z'0)を特定範囲更新部1303に通知する。
【0148】
特定範囲更新部1303は、移動対象判定部1302より通知された移動後中心位置情報(x'0,y'0,z'0)に基づいて、空調制御部502に既に登録されている、対応する特定範囲情報を更新する。
【0149】
このように、特定範囲更新部1303は、ユーザ端末140が移動対象の特定範囲内に位置している状態で「範囲移動」ボタンが押圧操作され、移動操作が行われた場合に、当該移動対象の特定範囲を移動する。
【0150】
<特定範囲入力部の機能構成及び運転情報入力処理の具体例>
次に、特定範囲入力部501の機能構成(ここでは、運転情報の入力に関わる機能構成)の詳細と、運転情報入力処理の具体例について説明する。
【0151】
図14は、特定範囲入力部の機能構成及び運転情報入力処理の具体例を示す図である。
図14に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1401、運転情報取得部1402、運転情報設定部1403を有する。
【0152】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。ただし、
図14の場合、位置情報取得部603は、算出した座標情報を、運転情報取得部1402に通知する。
【0153】
操作内容取得部1401は、ユーザ端末140より送信される操作内容を取得し、運転情報取得部1402に通知する。
図14の例は、操作内容として、「運転情報入力」ボタン415が押圧操作されたことで、運転情報入力指示が通知された様子を示している。更に、
図14の例は、操作内容として、運転情報が入力されたことで、運転情報が通知された様子を示している。
【0154】
運転情報取得部1402は、操作内容取得部1401より運転情報入力指示が通知された際に、位置情報取得部603より通知された座標情報を、入力位置情報(xi,yi,zi)として保持する。
【0155】
また、運転情報取得部1402は、空調制御部502に既に登録されている特定範囲情報を読み出し、入力位置情報(xi,yi,zi)が含まれる特定範囲を判定する。更に、運転情報取得部1402は、判定した特定範囲を、通知された運転情報とともに、運転情報設定部1403に通知する。
【0156】
運転情報設定部1403は、運転情報取得部1402より通知された運転情報を、通知された特定範囲の運転情報として、特定範囲と対応付けて登録する。
【0157】
このように、運転情報設定部1403は、ユーザ端末140が運転情報を登録しようとしている特定範囲内に位置している状態で「運転情報入力」ボタンが押圧操作され、運転情報が入力された場合に、当該特定範囲に対応付けて運転情報を登録する。
【0158】
<特定範囲入力部の機能構成及び運転情報反転処理の具体例>
次に、特定範囲入力部501の機能構成(ここでは、運転情報の反転に関わる機能構成)の詳細と、運転情報反転処理の具体例について説明する。
図15は、特定範囲入力部の機能構成及び運転情報反転処理の具体例を示す図である。
図15に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1501、反転指示取得部1502、運転情報更新部1503を有する。
【0159】
このうち、撮影画像取得部601~位置情報取得部603は、
図6を用いて説明済みであるため、ここでは説明を省略する。ただし、
図15の場合、位置情報取得部603は、算出した座標情報を、反転指示取得部1502に通知する。
【0160】
操作内容取得部1501は、ユーザ端末140より送信される操作内容を取得し、反転指示取得部1502に通知する。
図15の例は、操作内容として、「反転」ボタンが押圧操作されたことで、反転指示が通知された様子を示している。
【0161】
反転指示取得部1502は、操作内容取得部1501より反転指示が通知された際に、位置情報取得部603より通知された座標情報を、反転位置情報(xr,yr,zr)として保持する。
【0162】
また、反転指示取得部1502は、空調制御部502に既に登録されている特定範囲情報を読み出し、反転位置情報(xr,yr,zr)が含まれる特定範囲を判定する。更に、反転指示取得部1502は、判定した特定範囲に対応付けられた運転情報と、非特定範囲に対応付けられた運転情報とを読み出し、運転情報更新部1503に通知する。
【0163】
運転情報更新部1503は、反転指示取得部1502より通知された特定範囲に対応付けられた運転情報と、非特定範囲に対応付けられた運転情報とを入れ替え、入れ替え後の運転情報を、空調制御部502に登録する。
【0164】
このように、運転情報更新部1503は、ユーザ端末140が運転情報を反転しようとしている特定範囲内に位置している状態で「反転」ボタンが押圧操作された場合に、当該特定範囲の運転情報を、非特定範囲の運転情報と入れ替える。
【0165】
<特定範囲出力部の機能構成及び特定範囲表示処理の具体例>
次に、特定範囲出力部503の機能構成(ここでは、特定範囲の表示に関わる機能構成)の詳細と、特定範囲表示処理の具体例について説明する。
図16は、特定範囲出力部の機能構成及び特定範囲出力処理の具体例を示す第1の図である。
図16に示すように、特定範囲出力部503は、特定範囲情報取得部1601、撮影画像取得部1602、特定範囲画像生成部1603を有する。
【0166】
特定範囲情報取得部1601は、空調制御部502に登録されている特定範囲情報を読み出し、特定範囲画像生成部1603に通知する。
【0167】
撮影画像取得部1602は、撮像装置120により撮影された撮影画像を取得し、特定範囲画像生成部1603に通知する。
【0168】
特定範囲画像生成部1603は、特定範囲情報取得部1601より通知された特定範囲情報に基づいて、特定範囲を示す画像を生成する。また、特定範囲画像生成部1603は、撮影画像取得部1602より通知された撮影画像上の、特定範囲情報に応じた位置に、生成した特定範囲を示す画像を重畳することで、特定範囲画像を生成する。
【0169】
また、特定範囲画像生成部1603は、撮影画像または生成した特定範囲画像をモニタ131に送信することで、モニタ131に、撮影画像または特定範囲画像を表示する。
【0170】
図16の例は、モニタ131に撮影画像1611を表示した様子、及び、モニタ131に特定範囲画像1612を表示した様子をそれぞれ示している。
【0171】
<特定運転モードにおける特定範囲登録処理の流れ>
次に、空気調和システム100の特定運転モードにおける特定範囲登録処理の流れについて説明する。
図17及び
図18は、特定運転モードにおける特定範囲登録処理の流れを示す第1及び第2のフローチャートである。
【0172】
ステップS1701において、特定範囲入力部501は、ユーザ端末140の座標情報を算出する。
【0173】
ステップS1702において、特定範囲入力部501は、範囲入力指示を取得したか否かを判定する。ステップS1702において、範囲入力指示を取得していないと判定した場合には(ステップS1702においてNOの場合には)、ステップS1706に進む。
【0174】
一方、ステップS1702において、特定範囲入力部501は、範囲入力指示を取得したと判定した場合には(ステップS1702においてYESの場合には)、ステップS1703に進む。
【0175】
ステップS1703において、特定範囲入力部501は、ユーザ端末140に対する操作内容を取得する。
【0176】
ステップS1704において、特定範囲入力部501は、ユーザ端末140の座標情報と、ユーザ端末140に対する操作内容とに基づいて、特定範囲を決定し、特定範囲情報を生成する。
【0177】
ステップS1705において、特定範囲入力部501は、生成した特定範囲情報を空調制御部502に登録する。
【0178】
ステップS1706において、特定範囲入力部501は、範囲削除指示を取得したか否かを判定する。ステップS1706において、範囲削除指示を取得していないと判定した場合には(ステップS1706においてNOの場合には)、ステップS1709に進む。
【0179】
一方、ステップS1706において、特定範囲入力部501は、範囲削除指示を取得したと判定した場合には(ステップS1706においてYESの場合には)、ステップS1707に進む。
【0180】
ステップS1707において、特定範囲入力部501は、ユーザ端末140の座標情報に基づいて、削除対象の特定範囲を判定する。
【0181】
ステップS1708において、特定範囲入力部501は、判定した特定範囲の特定範囲情報を削除する。
【0182】
ステップS1709において、特定範囲入力部501は、範囲移動開始指示及び範囲移動終了指示を取得したか否かを判定する。ステップS1709において、範囲移動開始指示及び範囲移動終了指示を取得していないと判定した場合には(ステップS1709においてNOの場合には)、
図18のステップS1801に進む。
【0183】
一方、ステップS1709において、範囲移動開始指示及び範囲移動終了指示を取得したと判定した場合には(ステップS1709においてYESの場合には)、ステップS1710に進む。
【0184】
ステップS1710において、特定範囲入力部501は、ユーザ端末140の座標情報に基づいて、移動対象の特定範囲を判定する。
【0185】
ステップS1711において、特定範囲入力部501は、判定した特定範囲を移動させ、移動後の特定範囲の特定範囲情報を登録する。
【0186】
ステップS1801において、特定範囲入力部501は、運転情報入力指示を取得したか否かを判定する。ステップS1801において、運転情報入力指示を取得していないと判定した場合には(ステップS1801においてNOの場合には)、ステップS1804に進む。
【0187】
一方、ステップS1801において、運転情報入力指示を取得したと判定した場合には(ステップS1801においてYESの場合には)、ステップS1802に進む。
【0188】
ステップS1802において、特定範囲入力部501は、ユーザ端末140の座標情報に基づいて、運転情報を登録しようとしている特定範囲を判定する。
【0189】
ステップS1803において、特定範囲入力部501は、判定した特定範囲に対応付けて運転情報を登録する。
【0190】
ステップS1804において、特定範囲入力部501は、反転指示を取得したか否かを判定する。ステップS1804において、反転指示を取得していないと判定した場合には(ステップS1804においてNOの場合には)、ステップS1807に進む。
【0191】
一方、ステップS1804において、反転指示を取得したと判定した場合には(ステップS1804においてYESの場合には)、ステップS1805に進む。
【0192】
ステップS1805において、特定範囲入力部501は、ユーザ端末140の座標情報に基づいて、運転情報を反転しようとしている特定範囲を判定する。
【0193】
ステップS1806において、特定範囲入力部501は、判定した特定範囲に対応付けられた運転情報と非特定範囲に対応付けられた運転情報とを反転させ、反転後の運転情報を登録する。
【0194】
ステップS1807において、特定範囲入力部501は、特定運転モードを終了するか否かを判定する。ステップS1807において、特定運転モードを継続すると判定した場合には(ステップS1807においてNOの場合には)、
図17のステップS1701に戻る。
【0195】
一方、ステップS1807において、特定運転モードを終了すると判定した場合には(ステップS1807においてYESの場合には)、特定運転モードにおける特定範囲登録処理を終了する。
【0196】
<空気調和システムの動作例>
次に、空気調和システム100の動作例について説明する。
図19は、空気調和システムによる空調制御の一例を示す図である。
図19の例は、特定範囲621に対しては、送風される空気があたるように運転情報が登録され、特定範囲1901及び1902に対しては、送風される空気があたらないように運転情報が登録された様子を示している。
【0197】
このように、第1の実施形態に係る空気調和システム100によれば、制御対象となる特定範囲の大きさや形状をユーザ211が自由に変えることができるとともに、一人のユーザ211に対して、特定範囲を複数登録することができる。
【0198】
<まとめ>
以上の説明から明らかなように、第1の実施形態に係る空気調和システム100は、
・実空間内の特定範囲に対して、空調制御が可能な空気調和装置と、ユーザ端末とを有する。
・ユーザ端末の実空間における位置情報と、ユーザ端末に対する操作内容とに基づいて決定した特定範囲を登録する。
【0199】
これにより、第1の実施形態によれば、実空間において制御対象となる特定範囲を登録する空気調和システム及び登録プログラムを提供することができる。
【0200】
[第2の実施形態]
上記第1の実施形態では、特定範囲出力部が、空気調和装置110の制御装置において実現されるものとして説明した。しかしながら、特定範囲出力部は、例えば、ユーザ端末140において実現されてもよい。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
【0201】
<制御装置及びユーザ端末の機能構成>
はじめに、第2の実施形態に係る空気調和システムにおける、空気調和装置110の制御装置の機能構成、及び、ユーザ端末140の機能構成について説明する。
【0202】
図20は、特定運転モードにおける制御装置及びユーザ端末の機能構成の一例を示す図である。
図20に示すように、第2の実施形態において、空気調和装置110の制御装置は、登録プログラムを実行することで、特定範囲入力部501、空調制御部502、送信部2001として機能する。
【0203】
このうち、特定範囲入力部501、空調制御部502は、上記第1の実施形態において
図5を用いて説明済みであるため、ここでは説明を省略する。
【0204】
送信部2001は、空調制御部502により登録された特定範囲を、ユーザ211、221、222等に通知するための各種情報を、ユーザ端末140に送信する。
【0205】
一方、第2の実施形態において、ユーザ端末140は、空調操作プログラムを実行することで、特定範囲出力部2002として機能する。
【0206】
特定範囲出力部2002は、送信部2001より送信された各種情報に基づいて、ユーザ211、221、222等に対して、特定範囲を通知する処理を行う。
【0207】
<送信部及び特定範囲出力部の機能構成、特定範囲出力処理の具体例>
次に、送信部2001及び特定範囲出力部2002の機能構成(ここでは、特定範囲出力処理に関わる機能構成)の詳細と、特定範囲出力処理の具体例について説明する。
図21は、送信部及び特定範囲出力部の機能構成と、特定範囲出力処理の具体例を示す図である。
【0208】
図21に示すように、送信部2001は、撮影画像取得部2101、電波情報取得部2102、位置情報取得部2103、位置情報送信部2104、特定範囲情報取得部2105、特定範囲送信部2106を有する。
【0209】
撮影画像取得部2101は、撮像装置120により撮影された撮影画像を取得し、位置情報取得部2103に通知する。
【0210】
電波情報取得部2102は、電波送受信装置310により受信された電波情報を取得し、位置情報取得部2103に通知する。
【0211】
位置情報取得部2103は、通知された撮影画像と電波情報とに基づいて、ユーザ端末140の、実空間210または220内における位置を示す座標情報(x,y,z)を算出する。
【0212】
位置情報送信部2104は、位置情報取得部2103により算出された座標情報(x,y,z)を、ユーザ端末140の特定範囲出力部2002に送信する。
【0213】
特定範囲情報取得部2105は、空調制御部502に登録されている特定範囲情報を読み出し、特定範囲送信部2106に通知する。
【0214】
特定範囲送信部2106は、特定範囲情報取得部2105より通知された特定範囲情報を、特定範囲出力部2002に送信する。
【0215】
一方、特定範囲出力部2002は、位置情報取得部2111、特定範囲情報取得部2112、特定範囲画像生成部2113、撮影画像取得部2114、表示制御部2115を有する。
【0216】
位置情報取得部2111は、位置情報送信部2104より送信された座標情報(x,y,z)を取得し、特定範囲画像生成部2113に通知する。
【0217】
特定範囲情報取得部2112は、特定範囲送信部2106より送信された特定範囲情報を取得し、特定範囲画像生成部2113に通知する。
【0218】
特定範囲画像生成部2113は、位置情報取得部2111より通知された座標情報(x,y,z)に基づいて、ユーザ端末140が、現在、実空間内のどこに位置しているかを識別する。また、特定範囲画像生成部2113は、加速度センサ328の出力に基づいて、ユーザ端末140が、現在、どの方向を向いているか(ユーザ端末140の姿勢)を識別する。また、特定範囲画像生成部2113は、識別した位置及び方向(座標情報及び姿勢情報)から、ユーザ端末140の撮像装置327が撮影した場合の撮影範囲内の各位置の座標情報を算出する。更に、特定範囲画像生成部2113は、撮影範囲内の各位置の座標情報に対して、特定範囲情報取得部2112より通知された特定範囲情報を当てはめる。
【0219】
これにより、特定範囲情報取得部2112は、ユーザ端末140の撮像装置327が、撮影を開始した場合の撮影画像内の位置に、ユーザ端末140の向きに応じた向きの特定範囲の画像を生成することができる。なお、特定範囲画像生成部2113では、生成した特定範囲画像(3次元の画像)を、表示制御部2115に通知する。
【0220】
撮影画像取得部2114は、ユーザ端末140の操作画面400において、「特定範囲表示」ボタン414が押圧操作され、特定範囲表示指示が行われることで撮像装置327による撮影が開始されると、撮像装置327より、撮影された撮影画像を取得する。また、撮影画像取得部2114は、取得した撮影画像を表示制御部2115に通知する。
【0221】
表示制御部2115は、撮影画像取得部2114より通知された撮影画像に、特定範囲画像生成部2113より通知された特定範囲画像を重ね合わせることで、表示画像を生成する。また、表示制御部2115は、生成した表示画像をユーザ端末140の表示装置326の表示画面に表示する。
【0222】
図21の例は、ユーザ211が、座標情報(x,y,z)により特定される位置で、ユーザ端末140の操作画面400において、「特定範囲表示」ボタン414を押圧操作したことで、特定範囲表示指示を行い、撮影が開始された様子を示している。
【0223】
また、
図21の例は、実空間210内に配された観葉植物2120について特定範囲情報が登録されていた場合を示している。この場合、ユーザ端末140の表示装置326の表示画面には、例えば、観葉植物2120を真横から撮影した撮影画像2121に対して、特定範囲画像が重畳された表示画像2122が表示されることになる。
【0224】
また、ユーザ端末140の表示装置326の表示画面には、例えば、観葉植物2120を真上から撮影した撮影画像2131に対して、特定範囲画像が重畳された表示画像2132が表示されることになる。
【0225】
このように、実空間210内の登録された特定範囲を、ユーザ端末140の拡張現実機能を用いて可視化することで、ユーザ211は、実空間210内のどの位置が特定範囲として登録されているのかを、ユーザ端末140を介して把握することができる。
【0226】
<まとめ>
以上の説明から明らかなように、第2の実施形態に係る空気調和システム100は、上記第1の実施形態において説明した機能に加えて、
・ユーザ端末に対して撮影操作が行われることで撮影された撮影画像に、ユーザ端末の実空間における位置情報及び姿勢情報に基づいて生成された、特定範囲を示す3次元画像を重畳して表示する機能を有する。
【0227】
これにより、第2の実施形態によれば、上記第1の実施形態と同様の効果を享受することができるとともに、ユーザは、登録された特定範囲を、ユーザ端末140を介して把握することができるようになる。
【0228】
[第3の実施形態]
上記第2の実施形態では、ユーザ端末140の撮像装置327により撮影された撮影画像に、特定範囲画像を重ね合わせた表示画像を、ユーザ端末140の表示画面に表示することで、登録された特定範囲情報をユーザに通知する場合について説明した。
【0229】
しかしながら、特定範囲情報をユーザに通知する通知方法はこれに限定されない。例えば、ユーザ端末140が、実空間において特定範囲内に位置しているのか、特定範囲外(非特定範囲内)に位置しているのかを、所定の刺激(音、光、または振動)を出力することで、ユーザに通知してもよい。
【0230】
以下、第3の実施形態について、上記第1及び第2の実施形態との相違点を中心に説明する。
【0231】
<ユーザ端末における特定範囲出力部の機能構成、特定範囲出力処理の具体例>
はじめに、ユーザ端末140における特定範囲出力部2002の機能構成(ここでは、特定範囲出力処理に関わる機能構成)の詳細と、特定範囲出力処理の具体例について説明する。
図22は、特定範囲出力部の機能構成及び特定範囲出力処理の具体例を示す第2の図である。
【0232】
図22に示すように、特定範囲出力部2002は、位置情報取得部2111、特定範囲情報取得部2112、位置関係判定部2201、出力装置制御部2202を有する。
【0233】
位置情報取得部2111は、
図21で説明した位置情報取得部2111と同様の機能を有しており、位置情報送信部2104より送信された座標情報(x,y,z)を取得し、位置関係判定部2201に通知する。
【0234】
特定範囲情報取得部2112は、
図21で説明した特定範囲情報取得部2112と同様の機能を有しており、特定範囲送信部2106より送信された特定範囲情報を取得し、位置関係判定部2201に通知する。
【0235】
位置関係判定部2201は、位置情報取得部2111より通知された座標情報(x,y,z)に基づいて、ユーザ端末140が、現在、実空間内のどこに位置しているかを識別する。また、位置関係判定部2201は、特定範囲情報取得部2112より通知された特定範囲情報に基づいて、特定範囲とユーザ端末140との位置関係を判定する。更に、位置関係判定部2201は、判定した位置関係を出力装置制御部2202に通知する。
【0236】
出力装置制御部2202は、位置関係判定部2201より通知された位置関係に基づいて、出力装置(表示装置326、音声出力装置330、または、振動装置331)を制御し、光、音または振動を出力することでユーザに通知する。これにより、ユーザは、特定範囲とユーザ端末140との位置関係を把握することができる。なお、出力装置制御部2202は、表示装置326を制御して光を出力してもよいし、不図示のLEDを制御して光を出力してもよい。
【0237】
図22の例は、ユーザ211が、座標情報(x,y,z)により特定される位置で、ユーザ端末140を保持している様子を示している。また、
図22の例は、特定範囲621が登録されている様子を示している。
【0238】
かかる状況のもと、出力装置制御部2202は、例えば、ユーザ端末140が、特定範囲621内に位置している場合には、光、音、振動のいずれかを出力し、特定範囲621外に位置している場合には、光、音、振動のいずれも出力しないように制御する。
【0239】
あるいは、出力装置制御部2202は、例えば、ユーザ端末140が、特定範囲621内に位置している場合と、特定範囲621外に位置している場合とで、振動の大きさ、音量、画像内容、光の色または量が変わるように出力を制御してもよい。
【0240】
あるいは、出力装置制御部2202は、例えば、ユーザ端末140が、特定範囲621内に位置している場合には、光を出力し、特定範囲621外に位置している場合には、音または振動を出力するなど、刺激を切り替えるように制御してもよい。
【0241】
いずれにしても、出力装置制御部2202は、ユーザ端末140に対して移動操作が行われた際、座標情報(x、y、z)に対応する範囲が、特定範囲621内から特定範囲621外(非特定範囲内)へと変化した場合に、出力を制御する。あるいは、出力装置制御部2202は、ユーザ端末140に対して移動操作が行われた際、座標情報(x、y、z)に対応する範囲が、特定範囲621外(非特定範囲内)から特定範囲621内へと変化した場合に、出力を制御する。
【0242】
また、出力装置制御部2202は、例えば、特定範囲621内において、特定範囲621の中心位置にユーザ端末140が近づくと、音、光、振動のいずれかの出力を大きくするように制御してもよい。また、出力装置制御部2202は、例えば、特定範囲621内において、特定範囲621の境界面にユーザ端末140が近づくと、音、光、振動のいずれかの出力を小さくするように制御してもよい。
【0243】
また、出力装置制御部2202は、例えば、ユーザ端末140が、特定範囲621内に位置していることで、光、音、振動のいずれかを出力する場合にあっては、対応する運転情報に応じて、出力を制御してもよい。この場合、例えば、複数の特定範囲それぞれに異なる運転情報が登録されており、ユーザ端末140が、当該複数の特定範囲を跨いで移動した場合には、振動の大きさ、音量、画像内容、光の色または量のいずれかが変化することになる。
【0244】
なお、1つの特定範囲内の各位置で異なる運転情報が登録されている場合にあっては、ユーザ端末140が当該1つの特定範囲内を移動する間に、振動の大きさ、音量、画像内容、光の色または量のいずれかが変化することになる。
【0245】
このように、登録された特定範囲をユーザが把握できるよう、ユーザ端末140の出力機能を用いて出力を制御することで、
・ユーザ211は、実空間内のどの範囲が特定範囲として登録されているのか、及び、
・どのような運転情報が登録されているのか、
を、ユーザ端末140を介して把握することができる。
【0246】
<まとめ>
以上の説明から明らかなように、第3の実施形態に係る空気調和システム100は、上記第1の実施形態において説明した機能に加えて、
・ユーザ端末に対する移動操作に応じて出力を制御する機能を有する。
【0247】
これにより、第3の実施形態によれば、上記第1の実施形態と同様の効果を享受することができるとともに、ユーザは登録された特定範囲を、ユーザ端末140を介して把握することができる。
【0248】
[第4の実施形態]
上記第1の実施形態では、ユーザ端末140の実空間における位置を示す座標情報を算出するにあたり、
・電波送受信装置310(3次元位置計測センサの一例)により取得された電波情報(レーザ光の反射信号)と、
・撮像装置120により撮影された撮影画像(RGB画像)と、
を用いる場合について説明した。
【0249】
しかしながら、ユーザ端末140の実空間における位置を示す座標情報を算出する方法はこれに限定されない。例えば、3次元位置計測センサを、実空間210または220内の取り付け位置の異なる複数の撮像装置120により構成し、
・第1の撮像装置120により撮影された撮影画像、
・第2の撮像装置120により撮影された撮影画像、
・・・
・第αの撮像装置120により撮影された撮影画像、
をマッチングさせることで、ユーザ端末140の実空間における位置を示す座標情報を算出してもよい。
【0250】
あるいは、SLAM(Simultaneous Localization and Mapping)技術を用いて、ユーザ端末140の実空間における位置を示す座標情報を算出してもよい。具体的には、3次元位置計測センサを、実空間210または220内にアームを介して取り付けた撮像装置120により構成するとともに、ユーザ端末140に、撮像装置120が受光可能な高輝度の光を放出するセンサを取付け、
・撮像装置120をスイングさせながら撮影した撮影画像により取得された3次元空間データと、
・ユーザ端末140により放出された高輝度の光を撮像装置120が受光することで取得された、ユーザ端末140と撮像装置120との相対位置データと、
を照合することで、ユーザ端末140の実空間における位置を示す座標情報を算出してもよい。
【0251】
また、上記第1の実施形態及び本実施形態では、ユーザ端末140の実空間における位置を示す座標情報を、ユーザ端末140以外の装置が取得したデータを用いて、ユーザ端末140以外の装置(空気調和装置の制御装置)が算出するものとして説明した。
【0252】
しかしながら、ユーザ端末140の実空間における位置を示す座標情報は、ユーザ端末140が取得したデータを用いて、ユーザ端末140が算出するように構成してもよい。具体的には、ユーザ端末140の撮像装置327で撮影した撮影画像に基づいて深度マップを生成することが可能なAPI(Application Programming Interface)を、ユーザ端末140に配し、
・撮像装置327で撮影した撮影画像から、APIを用いて生成した深度マップと、
・実空間210または220内のレイアウト情報(3次元データ等の形状データ)、
とを照合することで、ユーザ端末140の実空間における位置を示す座標情報を算出してもよい。
【0253】
図23は、ユーザ端末の実空間における位置を示す座標情報の算出例を示す図である。
図23の算出例は、ユーザ端末140に対する移動操作の間、ユーザ端末140が実空間210または220内を常時撮影した様子を示している。
【0254】
図23において、撮影画像2301及び撮影画像2302は、異なる時刻に撮影された撮影画像を示している。
図23に示すように、異なる位置から撮影された撮影画像2301及び撮影画像2302を用いることで、ユーザ端末140では、エピポーラ幾何に基づき、実空間210または220内に配された物体の特徴点Xからの深度距離l
1、l
2を算出することができる。
【0255】
ここで、物体のレイアウト情報として、物体2303の座標情報(a,b,c)が予め取得されていたとする。この場合、ユーザ端末140では、当該物体の座標情報(a,b,c)と、算出した深度距離l1、l2とに基づいて、ユーザ端末140の現在の座標情報(x,y,z)を算出することができる。
【0256】
このように、ユーザ端末140の実空間における位置を示す座標情報を算出するためのセンサの構成、数及び配置は任意であり、実空間の環境に適した組み合わせが選択されるものとする。
【0257】
[第5の実施形態]
上記第1の実施形態では、主に、実空間内の所定の領域(対象物が存在していない領域)を、特定範囲として登録する場合について説明した。あるいは、上記第1の実施形態において、対象物が存在している領域を特定範囲として登録する場合にあっては、当該対象物が存在している物体領域の座標情報が予め格納されているものとして説明した。
【0258】
これに対して、第5の実施形態では、実空間内の対象物または人、あるいはそれらの部位が存在している領域を特定範囲として登録する場合について説明する。また、第5の実施形態では、対象物(あるいはその部位)が存在している領域を特定範囲として登録するにあたり、当該対象物の物体領域の座標情報が予め格納されておらず、その都度算出するケースについて説明する。
【0259】
<ユーザ端末の機能構成>
はじめに、第5の実施形態に係るユーザ端末140の機能構成(ここでは、基準位置算出処理に関わる機能構成)の詳細について説明する。
図24は、ユーザ端末の機能構成の一例を示す図である。
【0260】
第5の実施形態において、ユーザ端末140は、空調操作プログラムを実行することで、撮影画像取得部2401、深度マップ生成部2402、対象物検出部2403、中心位置決定部2404として機能する。
【0261】
撮影画像取得部2401は、撮像装置327により撮影された撮影画像を取得し、深度マップ生成部2402及び対象物検出部2403に通知する。
【0262】
対象物検出部2403は、撮影画像取得部2401により取得された撮影画像に含まれる対象物を検出し、検出した対象物の中から、ユーザにより指定された種別の対象物を抽出し、深度マップ生成部2402に通知する。
【0263】
深度マップ生成部2402は、撮影画像に基づいて深度マップを生成するAPIである。深度マップ生成部2402は、撮影画像取得部2401より通知された撮影画像に基づいて、実空間210または220内の深度マップを生成する。
【0264】
また、深度マップ生成部1422は、生成した深度マップにおいて、対象物検出部2403により通知された対象物に対応する領域を特定し、中心位置決定部2404に通知する。
【0265】
中心位置決定部2404は、深度マップ生成部2402により特定された領域の深度マップに基づいて、対象物検出部2403より通知された対象物の中心位置情報を算出する。
【0266】
また、中心位置決定部2404は、算出した中心位置情報を、空気調和装置110の制御装置に送信する。
【0267】
<特定範囲入力部の機能構成>
次に、第5の実施形態に係る空気調和装置110の制御装置において、登録プログラムが実行されることで実現される特定範囲入力部501の機能構成(ここでは、特定範囲の決定に関わる機能構成)について説明する。
図25は、特定範囲入力部の機能構成の一例を示す図である。
図6に示した特定範囲入力部との相違点は、
図25の場合、中心位置情報取得部2501を有する点、及び、特定範囲決定部2502の機能が、
図6の特定範囲決定部607の機能とは異なる点である。
【0268】
中心位置情報取得部2501は、ユーザ端末140より中心位置情報を取得し、特定範囲決定部2502に通知する。
【0269】
特定範囲決定部2502は、形状記憶部610を参照し、特定範囲の所定形状の形状情報(例えば、球形状情報)を取得する。また、特定範囲決定部607は、中心位置情報取得部2501より通知された中心位置情報と、半径情報特定部605より通知された半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲情報を決定する。
【0270】
<中心位置決定処理の具体例>
次に、ユーザ端末140による中心位置決定処理の具体例について、(1)~(4)のパターンについて説明する。
【0271】
(1)パターン1
図26は、中心位置決定処理の具体例を示す第1の図である。
図26に示すように、ユーザ端末140の撮像装置327が実空間220を撮影することで、撮影画像取得部2401では、撮影画像2610を表示画面に表示し、対象物検出部2403では、撮影画像2610に含まれる複数の物体を検出する。更に、深度マップ生成部2402では、撮影画像2610に基づいて、深度マップを生成する。
【0272】
撮影画像2610が表示されることで、ユーザ211は、検出すべき対象物の種別について指示操作を行う。
図26の例は、ユーザ211が、検出すべき対象物の種別として、"モノ"を指示した様子を示している。
【0273】
対象物検出部2403では、検出すべき対象物の種別として、"モノ"が指示されると、検出した複数の物体のうち、ユーザ端末140に最も近い物体を対象物として特定し、特定した対象物を深度マップ生成部2402に通知する。なお、
図26の例は、ユーザ端末140に最も近い"机"が対象物として特定された様子を示している。
【0274】
対象物が特定されると、深度マップ生成部2402は、生成した深度マップから、特定された対象物の領域を識別し、中心位置決定部2404に通知する。
【0275】
中心位置決定部2404では、通知された対象物の領域の深度マップに基づいて、対象物の中心位置情報を算出する。
図26において、符号2620は、中心位置決定部2404により算出された中心位置情報を示している。
【0276】
なお、符号2620に示す中心位置情報は、特定範囲入力部501に入力され、中心位置情報を基準とする周辺範囲が特定範囲2630として決定される。
【0277】
(2)パターン2
図27は、中心位置決定処理の具体例を示す第2の図である。
図27に示すように、ユーザ端末140の撮像装置327が実空間220を撮影することで、撮影画像取得部2401では、撮影画像2710を表示画面に表示し、対象物検出部2403では、撮影画像2710に含まれる複数の物体を検出する。更に、深度マップ生成部2402では、撮影画像2710に基づいて、深度マップを生成する。
【0278】
撮影画像2710が表示されることで、ユーザ211は、検出すべき対象物の種別について指示操作を行う。
図27の例は、ユーザ211が、検出すべき対象物の種別として、
"人"を指示した様子を示している。
【0279】
対象物検出部2403では、検出すべき対象物の種別として、"人"が指示されると、検出した複数の物体のうち、ユーザ端末140に最も近い人を対象物として特定し、特定した対象物を深度マップ生成部2402に通知する。なお、
図27の例は、ユーザ端末140に最も近いユーザ222が対象物として特定された様子を示している。
【0280】
対象物が特定されると、深度マップ生成部2402は、生成した深度マップから、特定された対象物の領域を識別し、中心位置決定部2404に通知する。
【0281】
中心位置決定部2404では、通知された対象物の領域の深度マップに基づいて、対象物の中心位置情報を算出する。
図27において、符号2720は、中心位置決定部2404により算出された中心位置情報を示している。
【0282】
なお、符号2720に示す中心位置情報は、特定範囲入力部501に入力され、中心位置情報を基準とする周辺範囲が特定範囲2730として決定される。
【0283】
(3)パターン3
図28は、中心位置決定処理の具体例を示す第3の図である。
図28に示すように、ユーザ端末140の撮像装置327が実空間220を撮影することで、撮影画像取得部2401では、撮影画像2810を表示画面に表示し、対象物検出部2403では、撮影画像2810に含まれる複数の物体を検出する。更に、深度マップ生成部2402では、撮影画像2810に基づいて、深度マップを生成する。
【0284】
撮影画像2810が表示されることで、ユーザ211は、検出すべき対象物の部位について選択指示操作を行う。
図28の例は、ユーザ211が、検出すべき対象物の部位として、"人"の"頭"を選択指示した様子を示している。
【0285】
対象物検出部2403では、検出すべき対象物の部位として、"人"の"頭"が選択指示されると、検出した複数の物体のうち、ユーザ端末140に最も近い人の頭を対象物として特定し、特定した対象物を深度マップ生成部2402に通知する。
図28の例は、ユーザ端末140に最も近いユーザ222の頭が対象物として特定された様子を示している。
【0286】
対象物が特定されると、深度マップ生成部2402は、生成した深度マップから、特定された対象物の領域を識別し、中心位置決定部2404に通知する。
【0287】
中心位置決定部2404では、通知された対象物の領域の深度マップに基づいて、対象物の中心位置情報を算出する。
図28において、符号2820は、中心位置決定部2404により算出された中心位置情報を示している。
【0288】
なお、符号2820に示す中心位置情報は、特定範囲入力部501に入力され、中心位置情報を基準とする周辺範囲が特定範囲2830として決定される。
【0289】
(4)パターン4
図29は、中心位置決定処理の具体例を示す第4の図である。
図29に示すように、ユーザ端末140の撮像装置327が実空間220を撮影することで、撮影画像取得部2401では、撮影画像2910を表示画面に表示し、対象物検出部2403では、撮影画像2810に含まれる複数の物体を検出する。更に、深度マップ生成部2402では、撮影画像2910に基づいて、深度マップを生成する。
【0290】
撮影画像2910が表示されることで、ユーザ211は、検出すべき対象物について指示操作を行う。なお、撮影画像2910が表示される表示画面は、ポインティング可能であるとする。
図29の例は、表示画面上の"ノートPC"の位置がユーザ211によりポインティングされたことで、検出すべき対象物についての指示操作を受け付けた様子を示している。
【0291】
対象物検出部2403では、検出すべき対象物として"ノートPC"が指示操作されると、検出した複数の物体のうち、指示操作された"ノートPC"を対象物として特定し、特定した対象物を深度マップ生成部2402に通知する。
【0292】
対象物が特定されると、深度マップ生成部2402は、生成した深度マップから、特定された対象物の領域を識別し、中心位置決定部2404に通知する。
【0293】
中心位置決定部2404では、通知された対象物の領域の深度マップに基づいて、対象物の中心位置情報を算出する。
図29において、符号2920は、中心位置決定部2404により算出された中心位置情報を示している。
【0294】
なお、符号2920に示す中心位置情報は、特定範囲入力部501に入力され、中心位置情報を基準とする周辺範囲が特定範囲2930として決定される。
【0295】
<まとめ>
以上の説明から明らかなように、第5の実施形態に係る空気調和システム100は、
・ユーザ端末が対象物の指示操作を受け付け可能であり、ユーザ端末が受け付けた対象物の実空間における中心位置情報を基準とする周辺範囲を、特定範囲として決定する。
・ユーザ端末が対象物の部位の選択指示操作を受け付け可能であり、ユーザ端末が受け付けた対象物の部位の実空間における中心位置情報を基準とする周辺範囲を、特定範囲として決定する。
・ユーザ端末の撮像装置により撮影された撮影画像が表示される表示画面が、ポインティング可能に構成され、ユーザ端末は、撮影画像に含まれる複数の物体のうち、ポインティングされた位置の物体を、対象物として特定する。
【0296】
これにより、第5の実施形態によれば、対象物が存在している領域を特定範囲として登録することが可能になるとともに、ユーザ端末に表示される撮影画像を介して、対象物を特定することが可能になる。
【0297】
[その他の実施形態]
上記各実施形態では、特定範囲に対応付けられる運転情報として、温度、風向、風量を設定するように構成したが、特定範囲に対応付けられる運転情報として登録可能な登録項目はこれらに限定されない。
【0298】
また、上記各実施形態では、特定範囲入力部501が空気調和装置110内の制御装置において実現されるものとして説明したが、特定範囲入力部501は、空気調和装置110内の制御装置以外の装置において実現されてもよい。あるいは、空気調和装置110外の装置(空気調和システム100内の任意の装置)において実現されてもよい。
【0299】
同様に、上記各実施形態では、特定範囲出力部503が空気調和装置110内の制御装置またはユーザ端末140において実現されるものとして説明したが、特定範囲出力部503は、空気調和装置110内の制御装置以外の装置において実現されてもよい。あるいは、空気調和装置110及びユーザ端末140以外の装置(空気調和システム100内の任意の装置)において実現されてもよい。
【0300】
また、上記各実施形態では、空気調和システム100が、空気調和装置110と、撮像装置120と、表示装置130と、ユーザ端末140とを有するものとして説明した。しかしながら、空気調和システム100の構成はこれに限定されず、例えば、複数の空気調和装置110を制御するサーバ装置が含まれていてもよい。また、サーバ装置が含まれる場合にあっては、特定範囲入力部501、特定範囲出力部503は、当該サーバ装置において実現されてもよい。
【0301】
また、上記各実施形態では、所定の設定操作により、特定範囲の大きさが決定されるものとして説明したが、所定の設定操作により、特定範囲の形状が決定されるように構成してもよい。
【0302】
また、上記第1の実施形態では、特定範囲の大きさを決定する際の設定操作として、n回のタップ操作と、所定時間の継続した押圧操作とを例示したが、特定範囲の大きさを決定する際の設定操作は、これらに限定されない。例えば、ユーザ端末140に対して、始点の設定操作が行われた際のユーザ端末140の座標情報と、終点の設定操作が行われた際のユーザ端末140の座標情報とに基づいて、特定範囲の大きさを決定するように構成してもよい。
【0303】
あるいは、中心位置情報を基準とする周辺範囲が特定範囲として決定された場合にあっては、終点の設定操作が行われた際のユーザ端末の座標情報と、中心位置情報とに基づいて、特定範囲の大きさを決定するように構成してもよい。
【0304】
また、上記第2の実施形態では、ユーザ端末140の撮像装置327が撮影した撮影画像に、特定範囲画像(3次元の画像)を重畳する場合について説明としたが、特定範囲画像を重畳する対象は、撮影画像に限定されない。例えば、実空間210または220内のレイアウト情報が紐付けられた、実空間210または220の画像(静止画像)に、特定範囲画像を重畳してもよい。静止画像の各位置において、実空間210または220の座標情報が紐付けられていれば、特定範囲画像を適切に重畳させることができるからである。
【0305】
また、上記第3の実施形態では、出力装置制御部2202による、所定の刺激(音、光または振動)についてのユーザへの通知方法のバリエーションについて説明したが、ユーザへの通知方法のバリエーションは、これに限定されない。
【0306】
例えば、上記第5の実施形態のように、対象物についての指示操作が受け付け可能である場合には、特定範囲が対象物の実空間における中心位置情報により決定されたのか否かに応じて、異なる刺激を通知するように構成してもよい。具体的には、対象物が存在しない領域を特定範囲として決定した場合と、対象物が存在する領域を特定範囲として決定した場合とで、ユーザ端末140が特定範囲内に位置した際の刺激が異なるように構成してもよい。
【0307】
また、上記第5の実施形態のように、対象物として"人"の指示操作が受け付け可能である場合には、対象物が人であるか否かに応じて、異なる刺激を通知するように構成してもよい。具体的には、対象物が存在する領域が特定範囲として決定された場合であって、当該対象物が人であった場合と、人以外の物体であった場合とで、ユーザ端末140が特定範囲内に位置した際の刺激が異なるように構成してもよい。
【0308】
また、上記各実施形態では、ユーザ端末140として、スマートフォン141や、リモコン142、ウェアラブル機器等を例示したが、ユーザ端末140は、電子機器でなくてもよい。例えば、上記第1の実施形態において説明したパターン3~パターン5のように、ユーザ端末140に対する移動操作により、特定範囲が決定される場合にあっては、電子機器が内蔵されていない単なる筐体であってもよい。この場合、筐体の形状は任意であり、例えば、棒状の部材であってもよい。
【0309】
また、上記各実施形態は、空気調和システムにおいて実現されるものとして説明したが、対象とするシステムは、空気調和システムに限定されず、実空間内において特定範囲を決定し、決定した特定範囲を登録する登録システムであれば、他のシステムであってもよい。つまり、上記各実施形態において説明した空気調和システムは、登録システムの一適用例である。
【0310】
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
【符号の説明】
【0311】
100 :空気調和システム
110 :空気調和装置
120 :撮像装置
130 :表示装置
140 :ユーザ端末
210、220 :実空間
326 :表示装置
327 :撮像装置
330 :音声出力装置
331 :振動装置
400 :操作画面
501 :特定範囲入力部
503 :特定範囲出力部
601 :撮影画像取得部
602 :電波情報取得部
603 :位置情報取得部
604 :操作内容取得部
605 :半径情報特定部
607 :特定範囲決定部
701 :操作内容取得部
801 :操作内容取得部
802 :中心位置及び半径情報算出部
803 :特定範囲決定部
902 :特定範囲決定部
1001 :射影方向判定部
1002 :特定範囲決定部
1101 :操作内容取得部
1102 :対象領域算出部
1103 :特定範囲決定部
1111 :操作内容取得部
1112 :基準位置算出部
1113 :対象領域算出部
1114 :特定範囲決定部
1201 :操作内容取得部
1202 :削除対象判定部
1203 :特定範囲削除部
1301 :操作内容取得部
1302 :移動対象判定部
1303 :特定範囲更新部
1401 :操作内容取得部
1402 :運転情報取得部
1403 :運転情報設定部
1501 :操作内容取得部
1502 :反転指示取得部
1503 :運転情報更新部
1601 :特定範囲情報取得部
1602 :撮影画像取得部
1603 :特定範囲画像生成部
1611 :撮影画像
1612 :特定範囲画像
1901、1902 :特定範囲
2001 :送信部
2002 :特定範囲出力部
2101 :撮影画像取得部
2102 :電波情報取得部
2103 :位置情報取得部
2104 :位置情報送信部
2105 :特定範囲情報取得部
2106 :特定範囲送信部
2111 :位置情報取得部
2112 :特定範囲情報取得部
2113 :特定範囲画像生成部
2114 :撮影画像取得部
2115 :表示制御部
2121、2131 :撮影画像
2122、2132 :表示画像
2201 :位置関係判定部
2202 :出力装置制御部
2401 :撮影画像取得部
2402 :深度マップ生成部
2403 :対象物検出部
2404 :中心位置決定部
2501 :中心位置情報取得部
2502 :特定範囲決定部