(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-07
(45)【発行日】2024-11-15
(54)【発明の名称】領域設定装置、領域設定方法及び領域設定プログラム
(51)【国際特許分類】
F24F 11/52 20180101AFI20241108BHJP
【FI】
F24F11/52
(21)【出願番号】P 2024540599
(86)(22)【出願日】2022-09-05
(86)【国際出願番号】 JP2022033210
(87)【国際公開番号】W WO2024052949
(87)【国際公開日】2024-03-14
【審査請求日】2024-07-03
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】渡邉 輔祐太
【審査官】塩田 匠
(56)【参考文献】
【文献】国際公開第2017/195286(WO,A1)
【文献】国際公開第2021/240625(WO,A1)
【文献】国際公開第2019/202627(WO,A1)
【文献】国際公開第2018/042621(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
F24F 11/00-11/89
(57)【特許請求の範囲】
【請求項1】
空気調和機の室内機を撮像した画像データから、吹出口を検出する吹出口検出部と、
前記吹出口検出部によって検出された前記吹出口の検出領域から、前記画像データにおいて検出対象を検出する範囲となる注目領域を設定する領域設定部と
を備える領域設定装置。
【請求項2】
前記室内機は、4方向に吹出口が設けられた4方向カセット型であり、
前記吹出口検出部は、前記4方向に設けられた4つの吹出口を検出し、
前記領域設定部は、前記4つの吹出口それぞれの検出領域を対象として、対象の検出領域おける始点を他の検出領域における終点のうち近隣の終点と結んだ線分上の点を基準として、前記注目領域を設定する
請求項1に記載の領域設定装置。
【請求項3】
前記領域設定部は、前記線分上の点を中心として基準図形を設定し、前記基準図形内の範囲を前記注目領域として設定する
請求項2に記載の領域設定装置。
【請求項4】
前記領域設定部は、前記対象の吹出口の検出領域のサイズに応じたサイズの前記基準図形を設定する
請求項3に記載の領域設定装置。
【請求項5】
前記領域設定部は、前記4つの吹出口それぞれの検出領域の位置関係に応じた形状の前記基準図形を設定する
請求項
3に記載の領域設定装置。
【請求項6】
前記領域設定部は、前記4つの吹出口それぞれの検出領域の位置関係に応じて回転させた前記基準図形を設定する
請求項
3に記載の領域設定装置。
【請求項7】
前記検出領域は、矩形であり、
前記領域設定部は、前記対象の検出領域おける一方の短辺上の点を始点とし、前記他の検出領域における他方の短辺上の点を終点とする
請求項
2に記載の領域設定装置。
【請求項8】
前記吹出口検出部は、室内機の画像データに対して、サイズ変更と回転と輝度調整との少なくともいずれかが行われて生成された学習データを入力として生成された物体検出モデルであって、画像データを入力として吹出口を検出する物体検出モデルを用いて、前記室内機を撮像した画像データから、吹出口を検出する
請求項
1に記載の領域設定装置。
【請求項9】
前記吹出口検出部は、前記吹出口の開度が異なる状態の室内機の複数の画像データである学習データを入力として生成された物体検出モデルであって、画像データを入力として吹出口を検出する物体検出モデルを用いて、前記室内機を撮像した画像データから、吹出口を検出する
請求項
1に記載の領域設定装置。
【請求項10】
前記領域設定装置は、さらに、
前記領域設定部によって設定された前記注目領域から、サイズが基準サイズよりも小さい発光体を検出する発光体検出部
を備える請求項
1に記載の領域設定装置。
【請求項11】
前記発光体検出部は、サイズが前記基準サイズよりも小さい発光体のうち、前記注目領域の中心に近い位置にある発光体を検出する
請求項10に記載の領域設定装置。
【請求項12】
コンピュータが、空気調和機の室内機を撮像した画像データから、吹出口を検出し、
コンピュータが、検出された前記吹出口の検出領域から、前記画像データにおいて検出対象を検出する範囲となる注目領域を設定する領域設定方法。
【請求項13】
空気調和機の室内機を撮像した画像データから、吹出口を検出する吹出口検出処理と、
前記吹出口検出処理によって検出された前記吹出口の検出領域から、前記画像データにおいて検出対象を検出する範囲となる注目領域を設定する領域設定処理と
を行う領域設定装置としてコンピュータを機能させる領域設定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、空気調和機の室内機における発光体等の検出技術に関する。
【背景技術】
【0002】
空気調和機の室内機には、LED等の発光体が搭載されている。LEDは、Light-Emitting Diodeの略である。この発光体の点灯又は点滅をスマートフォン等の端末により読み取らせることで、空気調和機の運転情報を端末に送信することが可能である。送信された運転情報を空気調和機のメンテナンスに利用すること等が考えられる。
【0003】
空気調和機の室内機に設けられた複数の吹出口それぞれには識別番号が割り当てられており、各吹出口の付近に表示されている。この識別番号をスマートフォン等の端末により読み取らせることで、端末から所望の吹出口の操作を行うことが可能である。
【0004】
これらの例のように、空気調和機の室内機における発光体等を端末によって適切に検出することが有効である。発光体等を端末によって検出する方法として、撮像装置によって撮像された画像データから発光体等を検出する方法が考えられる。
しかし、画像データから発光体等を検出する方法では、発光体等と似た特徴を有する物体を誤検出してしまう可能性がある。発光体と似た特徴を有する物体としては、照明光に照らされた室内機の筐体表面と、天井に設置された無線機の発光体と等がある。
【0005】
特許文献1には、車載カメラを用いて信号機を検出する技術が記載されている。特許文献1では、自動車の位置及び姿勢と、地図情報とを用いて、車載カメラによって得られた画像データ内に信号機が写ると考えられる領域を設定する。これにより、信号機の検出精度の向上を図っている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1では、信号機が写ると考えられる領域を設定することにより、信号機と似た特徴を有する箇所を排除して、信号機の検出精度が向上する。しかし、空気調和機の室内機における発光体を画像データから検出する場合には、撮影者である人又はカメラの位置及び姿勢と、撮影場所の地図情報とを得ることは容易ではない。そのため、特許文献1に記載された技術を利用して、発光体等が写ると考えられる領域を設定することは現実的ではない。
本開示は、空気調和機の室内機における発光体等を高精度に検出可能にすることを目的とする。
【課題を解決するための手段】
【0008】
本開示に係る領域設定装置は、
空気調和機の室内機を撮像した画像データから、吹出口を検出する吹出口検出部と、
前記吹出口検出部によって検出された前記吹出口の検出領域から、前記室内機における検出対象を検出する範囲となる注目領域を設定する領域設定部と
を備える。
【発明の効果】
【0009】
本開示では、室内機の吹出口が検出された検出領域から、室内機における検出対象を検出する範囲となる注目領域を設定する。注目領域を設定することにより、検出対象を高精度に検出可能である。
なお、吹出口は、発光体等に比べ、サイズが大きく容易に検出可能である。そのため、比較的容易に注目表域を設定可能である。
【図面の簡単な説明】
【0010】
【
図1】実施の形態1に係る領域設定装置10の構成図。
【
図2】実施の形態1に係る空気調和機の室内機50の説明図。
【
図3】実施の形態1に係る領域設定装置10の処理の流れを示すフローチャート。
【
図4】実施の形態1に係る画像データ61の説明図。
【
図8】実施の形態1に係る基準図形67の設定方法2の説明図。
【
図9】実施の形態1に係る基準図形67の設定方法3の説明図。
【
図10】変形例1に係る領域設定装置10の構成図。
【
図11】実施の形態2に係る領域設定装置10の構成図。
【
図12】実施の形態2に係る領域設定装置10の処理の流れを示すフローチャート。
【発明を実施するための形態】
【0011】
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る領域設定装置10の構成を説明する。
領域設定装置10は、コンピュータである。
領域設定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0012】
プロセッサ11は、プロセッシングを行うICである。ICはIntegrated Circuitの略である。プロセッサ11は、具体例としては、CPU、DSP、GPUである。CPUは、Central Processing Unitの略である。DSPは、Digital Signal Processorの略である。GPUは、Graphics Processing Unitの略である。
【0013】
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM、DRAMである。SRAMは、Static Random Access Memoryの略である。DRAMは、Dynamic Random Access Memoryの略である。
【0014】
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDDである。HDDは、Hard Disk Driveの略である。また、ストレージ13は、SD(登録商標)メモリカード、CompactFlash(登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Blu-ray(登録商標)ディスク、DVDといった可搬記録媒体であってもよい。SDは、Secure Digitalの略である。DVDは、Digital Versatile Diskの略である。
【0015】
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB、HDMI(登録商標)のポートである。USBは、Universal Serial Busの略である。HDMIは、High-Definition Multimedia Interfaceの略である。
【0016】
領域設定装置10は、機能構成要素として、画像取得部21と、吹出口検出部22と、領域設定部23とを備える。領域設定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、領域設定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、領域設定装置10の各機能構成要素の機能が実現される。
【0017】
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
【0018】
***動作の説明***
図2から
図9を参照して、実施の形態1に係る領域設定装置10の動作を説明する。
実施の形態1に係る領域設定装置10の動作手順は、実施の形態1に係る領域設定方法に相当する。また、実施の形態1に係る領域設定装置10の動作を実現するプログラムは、実施の形態1に係る領域設定プログラムに相当する。
【0019】
実施の形態1では、
図2に示すように、空気調和機の室内機50は、4方向に吹出口51が設けられた4方向カセット型であるとする。室内機50は、矩形であり、中央部に吸入口52が設けられている。室内機50は、吸入口52の周囲に、吹き出し方向が90度ずつずれて4つの吹出口51が設けられている。発光体53等は、吸入口52の外側における吹出口51以外の領域に存在する。
【0020】
図3を参照して、実施の形態1に係る領域設定装置10の処理の流れを説明する。
(ステップS11:画像取得処理)
画像取得部21は、撮像装置によって室内機50を撮像して得られた画像データ61を取得する。ここでは、
図4に示す画像データ61が取得されたとする。画像取得部21は、画像データ61をメモリ12に書き込む。
【0021】
(ステップS12:吹出口検出処理)
吹出口検出部22は、ステップS11で取得された画像データ61から、吹出口51を検出する。
具体的には、吹出口検出部22は、メモリ12から画像データ61を読み出す。吹出口検出部22は、画像データ61を物体検出モデルに入力として与える。物体検出モデルは、YOLO等の機械学習モデルである。YOLOは、You Only Look Onceの略である。物体検出モデルは、画像データ61に映っている吹出口51の領域を検出する。吹出口検出部22は、物体検出モデルによって検出された領域を検出領域62として取得する。ここでは、検出領域は、画像データ61の縦軸又は横軸と各辺が平行な矩形の領域とする。
実施の形態1では、室内機50は4方向カセット型である。そのため、
図5に示すように、吹出口検出部22は、4方向に設けられた4つの吹出口51を検出する。つまり、4つの吹出口51それぞれの検出領域62が取得される。
【0022】
物体検出モデルは、室内機50を撮像して得られた複数の画像データそれぞれに対して、サイズ変更と回転と輝度調整との少なくともいずれかを行って生成された複数の学習データを入力として生成される。これにより、様々な距離、方位及び照明条件において撮像された画像データ61が入力として与えられた場合でも、適切に吹出口51を検出可能になる。
また、物体検出モデルは、吹出口51の開度が異なる状態の室内機50を撮像して得られた複数の画像データを学習データとして生成される。これにより、吹出口51の開度が異なる状態であっても、適切に吹出口51を検出可能になる。
【0023】
(ステップS13:領域設定処理)
領域設定部23は、ステップS12で検出された吹出口の検出領域62から、画像データ61において検出対象を検出する範囲となる注目領域63を設定する。検出対象は、具体例としては、発光体53又は識別番号である。
【0024】
図6及び
図7を参照して具体的に説明する。
領域設定部23は、4つの吹出口それぞれの検出領域62を対象の検出領域62に設定する。
図6に示すように、領域設定部23は、対象の検出領域62おける始点64を他の検出領域62における終点65のうち近隣の終点と結んだ線分上の中点を基準点66に設定する。この際、領域設定部23は、対象の検出領域62おける一方の短辺上の点を始点64とし、他の検出領域62における他方の短辺上の点を終点65とする。
図6では、吹出口51の中心側から検出領域62を見た場合に、左側の短辺の内側の端点が始点64され、右側の短辺の内側の端点が終点65とされている。そして、各始点64と最も近い終点65とが結ばれ、中点が基準点66に設定されている。
【0025】
図7に示すように、領域設定部23は、基準点66を中心として基準図形67を設定する。基準図形67は、矩形及び楕円といった形状である。そして、領域設定部23は、基準図形67内の範囲を注目領域63として設定する。
基準図形67を設定する際、領域設定部23は、対象の吹出口51の検出領域62のサイズに応じたサイズの基準図形67を設定する。また、領域設定部23は、4つの検出領域62の位置関係に応じた形状の基準図形67を設定する。また、領域設定部23は、4つの検出領域62の位置関係に応じて回転させた基準図形67を設定する。このように基準図形67のサイズ変更及び回転を行うのは、室内機50の写り方は、撮像距離及び向きによって異なるためである。撮像距離は、撮像装置と室内機50との間の距離である。
検出領域62のサイズとは、検出領域62の面積、又は、長辺及び短辺の長さである。同様に、基準図形67のサイズとは、基準図形67の面積、又は、長辺及び短辺の長さあるいは長径及び短径の長さである。
【0026】
基準図形67の設定方法について具体的に説明する。
<設定方法1>
領域設定部23は、検出領域62のサイズが大きいほど、基準図形67のサイズを大きくする。具体的には、基準となる検出領域62のサイズと、基準図形67の標準サイズとを事前に定めておく。領域設定部23は、基準となるサイズに対する検出された検出領域62のサイズの比率を計算する。そして、領域設定部23は、基準図形67の標準サイズに対して、計算された比率を乗じることにより、基準図形67のサイズを調整する。
【0027】
<設定方法2>
領域設定部23は、4つの検出領域62の中心の位置関係により、基準図形67の形状を調整する。具体的には、4つの吹出口51の中心を結んだ場合の基準形状を事前に定めておく。基準形状としては、正方形が考えられる。室内機50を真下から撮像した場合には、4つの吹出口51の中心を結ぶと正方形となるためである。
図8に示すように、領域設定部23は、基準形状に対する検出された4つの検出領域62の中心を結んだ形状の歪みを特定する。領域設定部23は、基準図形67を、特定された歪みと同様に歪ませることにより、基準図形67の形状を調整する。
図8では、4つの検出領域62の中心を結んだ形状が、正方形ではなく横方向につぶれた四角形になっている。そのため、基準図形67の標準形状が正方形の場合には、縦方向の辺に比べ、横方向の辺が短く調整される。基準図形67の標準形状が円の場合には、縦方向に長径を持ち、横方向に短径を持つ楕円形に調整される。
【0028】
<設定方法3>
領域設定部23は、4つの検出領域62の中心の位置関係に応じて回転させた基準図形67を設定する。具体的には、4つの吹出口51の中心を結んだ場合の基準形状を事前に定めておく。基準形状としては、画像データの長辺及び短辺と各辺が平行な正方形が考えられる。
図9に示すように、領域設定部23は、基準形状に対する検出された4つの検出領域62の中心を結んだ形状の回転角を特定する。例えば、領域設定部23は、画像データ61の長辺に対する辺の角度θを特定することにより、回転角を特定する。領域設定部23は、基準図形67を、特定された回転角だけ回転させる。
【0029】
なお、領域設定部23によって設定された注目領域63は、検出対象を検出する外部の装置等に出力される。領域設定装置10が検出対象を検出する機能を備える場合には、注目領域63は検出対象を検出する機能に出力される。
【0030】
***実施の形態1の効果***
以上のように、実施の形態1に係る領域設定装置10は、吹出口51の検出領域62に基づき、注目領域63を設定する。ここで、4カセット型の空気調和機の室内機50において、吹出口51と検出対象となる発光体53等との位置関係は概ね決まっている。また、吹出口51は、比較的サイズが大きく、検出が容易である。そのため、吹出口51の検出領域62に基づき注目領域63を設定することにより、適切な注目領域63を設定可能である。
【0031】
注目領域63を設定することにより、検出対象の検出を行う領域が絞り込まれる。そのため、検出対象と似た特徴を有する物体を誤って検出してしまう可能性を抑えることができる。その結果、検出対象を高精度に検出可能になる。
【0032】
検出対象がLED等の発光体53であるとする。この場合には、この発光体53の点灯又は点滅をスマートフォン等の端末により読み取らせることで、空気調和機の運転情報を端末に送信することが可能である。送信された運転情報を空気調和機のメンテナンスに利用すること等が考えられる。端末が、発光体53を高精度に検出することで、正確に運転情報を把握可能である。
【0033】
検出対象が吹出口51の識別番号であるとする。この場合には、識別番号をスマートフォン等の端末により読み取らせることで、端末から所望の吹出口51の操作を行うことが可能である。端末が、識別番号を高精度に検出することで、正確な吹出口51を操作可能である。
【0034】
***他の構成***
<変形例1>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例1として、各機能構成要素はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
【0035】
図10を参照して、変形例1に係る領域設定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、領域設定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
【0036】
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、FPGAが想定される。GAは、Gate Arrayの略である。ASICは、Application Specific Integrated Circuitの略である。FPGAは、Field-Programmable Gate Arrayの略である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
【0037】
<変形例2>
変形例2として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0038】
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0039】
実施の形態2.
実施の形態2は、領域設定装置10が、検出対象である発光体53を検出する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
【0040】
***構成の説明***
図11を参照して、実施の形態2に係る領域設定装置10の構成を説明する。
領域設定装置10は、機能構成要素として、発光体検出部24を備える点が
図1に示す領域設定装置10と異なる。発光体検出部24の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
【0041】
***動作の説明***
図12を参照して、実施の形態2に係る領域設定装置10の動作を説明する。
実施の形態2に係る領域設定装置10の動作手順は、実施の形態2に係る領域設定方法に相当する。また、実施の形態2に係る領域設定装置10の動作を実現するプログラムは、実施の形態2に係る領域設定プログラムに相当する。
【0042】
図12を参照して、実施の形態2に係る領域設定装置10の処理の流れを説明する。
ステップS21からステップS23の処理は、
図3のステップS11からステップS13の処理と同じである。
【0043】
(ステップS24:発光体検出処理)
発光体検出部24は、ステップS23で設定された注目領域63から、発光体53を検出する。実施の形態2では、検出対象は発光体53である。
具体的には、(1)点灯状態の発光体53を検出する場合には、発光体検出部24は、画像をHSV色空間に変換する。HSVは、Hue Saturation Valueの略である。発光体検出部24は、HSV画素値の下限閾値と上限閾値と間の範囲に含まれるピクセル群をオブジェクトとして抽出する。(2)点滅状態の発光体53を検出する場合には、発光体検出部24は、連続する複数の画像データ61それぞれについて、HSV色空間に変換して変換後データを生成する。発光体検出部24は、時間的に連続する2つの画像データ61の変換後データの間の差分をとる。発光体検出部24は、差分が閾値よりも大きいピクセル群をオブジェクトとして抽出する。なお、点滅状態の発光体53を検出する場合には、発光体検出部24は、HSV色空間に代えて、RGB色空間又はグレースケールに変換してもよい。
発光体検出部24は、抽出されたオブジェクトのうち、サイズが基準サイズよりも小さいオブジェクトを発光体53として検出する。サイズは、周囲長又は面積である。発光体検出部24は、画像データ61から複数の発光体53が検出された場合には、発光体53の重心位置が注目領域63の中心に最も近い位置にある発光体53を検出する。発光体53が複数存在する場合には、注目領域63の中心に近い方から順に、指定数の発光体53を検出する。ここで、注目領域63は4つ存在する。注目領域63の中心に近いとは、いずれかの注目領域63の中心に近いという意味である。
【0044】
発光体検出部24は、近接する発光体53を1つのオブジェクトとして抽出したい場合には、オブジェクト抽出の前にピクセルを膨張する処理を行ってもよい。また、発光体検出部24は、発光体53の位置が吹出口51の検出領域62に含まれていた場合、発光体53ではないと判定してもよい。
【0045】
***実施の形態2の効果***
以上のように、実施の形態2に係る領域設定装置10は、注目領域63から検出対象である発光体53を検出する。これにより、領域設定装置10は、空気調和機の運転情報等を取得することが可能である。領域設定装置10は、運転情報を利用して何らかの制御等を行ってもよいし、外部の装置に運転情報を出力してもよい。
【0046】
実施の形態2に係る領域設定装置10は、サイズを利用して発光体53を検出する。発光体53がLEDである場合には、発光体53のサイズは比較的小さい。そのため、サイズを利用することで、高精度に発光体53を検出可能である。
【0047】
実施の形態2に係る領域設定装置10は、注目領域63の中心位置に近いほど優先して発光体53として検出する。これにより、注目領域63に発光体53と似た特徴を有する物体が存在する場合にも、適切な発光体53だけが検出される可能性が高くなる。
【0048】
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
【0049】
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0050】
10 領域設定装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 画像取得部、22 吹出口検出部、23 領域設定部、24 発光体検出部、50 室内機、51 吹出口、52 吸入口、53 発光体、61 画像データ、62 検出領域、63 注目領域、64 始点、65 終点、66 基準点、67 基準図形。