(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048396
(43)【公開日】2024-04-08
(54)【発明の名称】プログラム、情報処理方法、情報処理装置及び表示装置
(51)【国際特許分類】
F24F 11/50 20180101AFI20240401BHJP
G06T 7/70 20170101ALI20240401BHJP
F24F 11/62 20180101ALI20240401BHJP
【FI】
F24F11/50
G06T7/70 A
F24F11/62
【審査請求】有
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2023166071
(22)【出願日】2023-09-27
(31)【優先権主張番号】P 2022153903
(32)【優先日】2022-09-27
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】樫本 寛子
【テーマコード(参考)】
3L260
5L096
【Fターム(参考)】
3L260AA01
3L260BA71
3L260CA28
3L260CA29
3L260CB01
3L260DA15
3L260EA03
3L260GA17
5L096AA06
5L096BA08
5L096BA18
5L096CA02
5L096DA01
5L096FA66
5L096FA69
5L096GA53
5L096HA09
5L096HA11
(57)【要約】
【課題】効率的に空調機の設置エリアを特定することが可能なプログラム等を提供する
【解決手段】本開示の第1の態様に係るプログラムは、部屋の室内画像を取得し、取得した室内画像中のオブジェクトを認識し、認識したオブジェクトに基づき、空調機の設置エリアを特定し、前記オブジェクトは、壁面、天井面、コンセント、配管口、カーテンレール、スプリンクラー、または火災報知器を含み、前記オブジェクトの位置関係、及び前記空調機のサイズに基づき、前記設置エリアを特定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
室内の画像を取得し、
取得した前記画像中のオブジェクトを認識し、
認識した前記オブジェクトに基づき、前記室内において空調機を設置可能なエリアを特定する
処理をコンピュータに実行させるプログラム。
【請求項2】
前記画像に対するユーザによる入力、または前記画像の解析によって、前記オブジェクトの種類及び位置を認識する
請求項1に記載のプログラム。
【請求項3】
前記画像中の前記オブジェクトの種類及び位置を認識し、
オブジェクトの種類ごとに定められた前記空調機との位置関係に関する条件、並びに認識された前記オブジェクトの種類及び位置に基づき、前記エリアを特定する
請求項1に記載のプログラム。
【請求項4】
前記画像中の前記オブジェクトの位置を認識し、
前記空調機に必要な領域に関する情報を取得し、
前記オブジェクトの位置、及び前記空調機の設置に必要な領域に関する情報に基づき、前記エリアを特定する
請求項1に記載のプログラム。
【請求項5】
前記オブジェクトは、壁面、天井面、コンセント、配管口、カーテンレール、スプリンクラー、または火災報知器を含む
請求項1から4のいずれか一つに記載のプログラム。
【請求項6】
前記空調機の前記エリアを、前記画像上に重畳表示する
請求項1または2に記載のプログラム。
【請求項7】
前記空調機の外観を示す空調機画像を、前記画像における特定した前記エリアに重畳表示する
請求項1または2に記載のプログラム。
【請求項8】
前記空調機画像の前記画像における移動の入力を受け付け、
入力を受け付けた移動後の前記空調機の位置が、前記オブジェクトに干渉する位置である場合、干渉する前記オブジェクトに関する情報を出力する
請求項7に記載のプログラム。
【請求項9】
前記エリア周辺の、前記空調機が前記オブジェクトに干渉しない移動可能エリアの範囲を出力し、
前記移動可能エリアに基づいて、前記空調機画像の前記画像における移動の入力を受け付ける
請求項7に記載のプログラム。
【請求項10】
前記画像内において前記エリアを特定できない場合に、再撮影を求める情報を出力する
請求項1または2に記載のプログラム。
【請求項11】
前記空調機のドレン排水管の傾斜角度が規準値以内になる領域を前記エリアに特定する
請求項1または2に記載のプログラム。
【請求項12】
認識した前記オブジェクトに対する修正を受け付け、
修正後の前記オブジェクトに基づき、前記エリアを特定する
請求項1または2に記載のプログラム。
【請求項13】
前記配管口を認識した場合、前記配管口上で前記エリアを特定する
請求項5に記載のプログラム。
【請求項14】
前記配管口上において前記エリアを特定できない場合に、前記配管口から所定距離内の前記壁面において前記エリアを特定する
請求項5に記載のプログラム。
【請求項15】
前記画像は部屋の室内の画像であり、
前記部屋を有する対象建築物の建築図面データを取得し、
取得した前記建築図面データと前記オブジェクトとに基づき、前記エリアを特定する
請求項1または2に記載のプログラム。
【請求項16】
前記オブジェクトは、家具、建具、または設備を含む
請求項1または2に記載のプログラム。
【請求項17】
前記画像は部屋の室内の画像であり、
前記部屋の広さ、前記部屋の形状、または前記空調機の性能に基づいて、設置する前記空調機の機種を選定する
請求項1または2に記載のプログラム。
【請求項18】
認識した前記配管口の大きさに基づいて、設置する前記空調機の機種を選定する
請求項5に記載のプログラム。
【請求項19】
室内の画像を取得し、
取得した前記画像中のオブジェクトを認識し、
認識した前記オブジェクトに基づき、前記室内において空調機を設置可能なエリアを特定する
情報処理方法。
【請求項20】
室内の画像を取得し、
取得した前記画像中のオブジェクトを認識し、
認識した前記オブジェクトに基づき、前記室内において空調機を設置可能なエリアを特定する
制御部
を備える情報処理装置。
【請求項21】
室内の画像、及び前記画像中において認識されたオブジェクトに基づいて特定された空調機の設置可能範囲に関する情報を取得し、
前記設置可能範囲を前記画像に重畳表示する
表示装置。
【請求項22】
前記空調機の外観を示す空調機画像に関する情報を取得し、
前記空調機画像を前記設置可能範囲に重畳表示する
請求項21に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、プログラム、情報処理方法、情報処理装置及び表示装置に関する。
【背景技術】
【0002】
従来、空間を撮影した画像に基づいて、設備が設置可能であるか否かを判定する装置が提案されている。例えば、特許文献1に記載の装置は、ガスメータ設置現場を撮像して得られた画像情報に基づいて、新規スペースにガスメータを設置可能であるか否かを判定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の装置は、空間内の物理的なスペースの大きさ及び形状に基づいてガスメータを設置可能であるか否かを判定するため、多岐にわたる設置条件を満たさなければ設置ができない空調機の設置エリアの特定には適用できない。そのため、空調機の設置エリアを特定するためには、専門的な知見を有する業者等が実際に設置現場(設置エリアが含まれる部屋などの空間)を訪問しなければならず、非効率的であった。
【0005】
本開示は斯かる事情に鑑みてなされたものであり、効率的に空調機の設置エリアを特定することが可能なプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の第1の態様に係るプログラムは、部屋の室内画像を取得し、取得した室内画像中のオブジェクトを認識し、認識したオブジェクトに基づき、空調機の設置エリアを特定する。
【0007】
本開示によれば、ユーザは部屋の室内画像を撮影するのみで空調機の設置エリアを特定することが出来るので、効率的に空調機の設置エリアを特定することが可能である。
【0008】
本開示の第2の態様に係るプログラムは、第1の態様に係るプログラムであって、前記オブジェクトは、壁面、天井面、コンセント、配管口、カーテンレール、スプリンクラー、または火災報知器を含む。
【0009】
本開示によれば、部屋内に存在するオブジェクトの位置に基づいて、設置エリアを特定することが可能である。
【0010】
本開示の第3の態様に係るプログラムは、第1の態様または第2の態様に係るプログラムであって、前記オブジェクトの位置関係、及び前記空調機のサイズに基づき、前記設置エリアを特定する。
【0011】
本開示によれば、オブジェクトに干渉しない位置を設置エリアに特定することが可能である。
【0012】
本開示の第4の態様に係るプログラムは、第2の態様または第3の態様に係るプログラムであって、前記コンセントまたは前記カーテンレールからの距離、および前記空調機のサイズに基づき、前記設置エリアを特定する。
【0013】
本開示によれば、空調機を設置する際のコンセントからの距離およびカーテンレールまでの距離に条件がある場合、条件に合致した位置を設置エリアに特定することが可能である。
【0014】
本開示の第5の態様に係るプログラムは、第1~第4の態様のいずれか1つに係るプログラムであって、前記空調機の前記設置エリアを、前記室内画像上に重畳表示する。
【0015】
本開示によれば、空調機を設置可能である設置エリアをユーザが視覚的に把握することが可能である。
【0016】
本開示の第6の態様に係るプログラムは、第1~第5の態様のいずれか1つに係るプログラムであって、前記空調機の外観を示す空調機画像を、前記室内画像における特定した前記設置エリアに重畳表示する。
【0017】
本開示によれば、設置エリアに実際に空調機を設置した場合のイメージをユーザに提供することが可能である。
【0018】
本開示の第7の態様に係るプログラムは、第6の態様に係るプログラムであって、前記空調機画像の前記室内画像における移動の入力を受け付け、入力を受け付けた移動後の前記空調機の位置が、前記オブジェクトに干渉する位置である場合、干渉する前記オブジェクトに関する情報を出力する。
【0019】
本開示によれば、ユーザが空調機の設置を希望する位置が、空調機がオブジェクトに干渉するために設置が不可能である位置である場合、設置が不可能である理由をユーザに通知することが可能である。
【0020】
本開示の第8の態様に係るプログラムは、第6の態様に係るプログラムであって、前記設置エリア周辺の、前記空調機が前記オブジェクトに干渉しない移動可能エリアの範囲を出力し、前記移動可能エリアに基づいて、前記空調機画像の前記室内画像における移動の入力を受け付ける。
【0021】
本開示によれば、出力した設置エリアへの空調機の設置をユーザが希望しない場合に、オブジェクトに干渉しないエリアの範囲内においてユーザが空調機を設置する位置を選択することが可能である。
【0022】
本開示の第9の態様に係るプログラムは、第1~第8の態様のいずれか1つに係るプログラムであって、前記室内画像内において前記設置エリアを特定できない場合に、再撮影を求める情報を出力する。
【0023】
本開示によれば、取得した室内画像内に空調機を設置できる設置エリアが存在しない場合、部屋内の別の位置を撮影した室内画像を取得することが可能である。
【0024】
本開示の第10の態様に係るプログラムは、第1~第9の態様のいずれか1つに係るプログラムであって、前記空調機のドレン排水管の傾斜角度が規準値以内になる領域を前記設置エリアに特定する。
【0025】
本開示によれば、空調機からドレン排水を排水するドレン排水菅を配管する際の角度に条件がある場合、条件に合致した位置を設置エリアに特定することが可能である。
【0026】
本開示の第11の態様に係るプログラムは、第1~第10の態様のいずれか1つに係るプログラムであって、認識した前記オブジェクトに対する修正を受け付け、修正後の前記オブジェクトに基づき、前記設置エリアを特定する。
【0027】
本開示によれば、取り外すことが可能なオブジェクトなど、空調機の設置に影響を与えないオブジェクトが検出された場合に、該オブジェクトを考慮に入れずに設置エリアを特定することが可能である。
【0028】
本開示の第12の態様に係るプログラムは、第2~第11の態様のいずれか1つに係るプログラムであって、前記配管口を認識した場合、前記配管口上で前記設置エリアを特定する。
【0029】
本開示によれば、空調機は配管口上に設置されることが望ましいため、より適切な位置を設置エリアに特定することが可能である。
【0030】
本開示の第13の態様に係るプログラムは、第2~第11の態様のいずれか1つに係るプログラムであって、前記配管口上において前記設置エリアを特定できない場合に、前記配管口から所定距離内の前記壁面において前記設置エリアを特定する。
【0031】
本開示によれば、空調機の設置の際に配管口からの距離に条件がある場合、条件に合致した位置を設置エリアに特定することが可能である。
【0032】
本開示の第14の態様に係るプログラムは、第1~第13の態様のいずれか1つに係るプログラムであって、前記部屋を有する対象建築物の建築図面データを取得し、取得した前記建築図面データと前記オブジェクトとに基づき、前記設置エリアを特定する。
【0033】
本開示によれば、壁の内部の構造に基づいて設置エリアを特定することが可能であるため、空調機を設置するのにより望ましい位置を設置エリアに特定することが可能である。
【0034】
本開示の第15の態様に係るプログラムは、第1~第14の態様のいずれか1つに係るプログラムであって、前記オブジェクトは、家具、建具、または設備を含む。
【0035】
本開示によれば、部屋内に存在するオブジェクトの位置に基づいて、設置エリアを特定することが可能である。
【0036】
本開示の第16の態様に係るプログラムは、第1~第15の態様のいずれか1つに係るプログラムであって、前記部屋の広さ、前記部屋の形状、または前記空調機の性能に基づいて、設置する前記空調機の機種を選定する。
【0037】
本開示によれば、設置エリアを含む部屋に対して好適な空調機の機種をユーザに提案することが可能である。
【0038】
本開示の第17の態様に係るプログラムは、第2~第16の態様のいずれか1つに係るプログラムであって、認識した前記配管口の大きさに基づいて、設置する前記空調機の機種を選定する。
【0039】
本開示によれば、空調機の設置の際に、配管を通す配管口の大きさに条件がある場合、条件に合致した空調機の機種をユーザに提案することが可能である。
【0040】
本開示の一態様に係る情報処理方法は、部屋の室内画像を取得し、取得した室内画像中のオブジェクトを認識し、認識したオブジェクトに基づき、空調機の設置エリアを特定する。
【0041】
本開示によれば、ユーザは部屋の室内画像を撮影するのみで空調機の設置エリアを特定することが出来るので、効率的に空調機の設置エリアを特定することが可能である。
【0042】
本開示の一態様に係る情報処理装置は、部屋の室内画像を取得し、取得した室内画像中のオブジェクトを認識し、認識したオブジェクトに基づき、空調機の設置エリアを特定する制御部を備える。
【0043】
本開示によれば、ユーザは部屋の室内画像を撮影するのみで空調機の設置エリアを特定することが出来るので、効率的に空調機の設置エリアを特定することが可能である。
【0044】
本開示の一態様に係る表示装置は、室内の画像、及び前記画像中において認識されたオブジェクトに基づいて特定された空調機の設置可能範囲に関する情報を取得し、前記設置可能範囲を前記画像に重畳表示する。
【0045】
本開示によれば、ユーザに、空調機を設置することが可能な範囲を提示することが可能である。
【0046】
本開示の一態様に係る表示装置は、前記空調機の外観を示す空調機画像に関する情報を取得し、前記空調機画像を前記設置可能範囲に重畳表示する。
【0047】
本開示によれば、ユーザに空調機を設置した場合のイメージを提供し、購買意欲を高めることが可能である。
【発明の効果】
【0048】
本開示の一態様によるプログラムによれば、効率的に空調機の設置エリアを特定することが可能である。
【図面の簡単な説明】
【0049】
【
図1】実施形態1に係る空調機設置エリア特定システムの構成を示す説明図である。
【
図2】実施形態1に係る情報処理装置の構成例を示すブロック図である。
【
図3】実施形態1に係るユーザ端末の構成例を示すブロック図である。
【
図4】実施形態1に係る機種テーブルの一例を示す説明図である。
【
図5】実施形態1に係る機種の入力受付画面の一例を示す説明図である。
【
図6】実施形態1に係る室内画像の表示画面の一例を示す説明図である。
【
図7】実施形態1に係るオブジェクト検出モデルの一例を示す説明図である。
【
図8】実施形態1に係る情報処理装置の制御部の処理の一例を示すフローチャートである。
【
図9】実施形態1に係る設置エリア特定処理の一例を示すフローチャートである。
【
図10】実施形態2に係る機種テーブルの一例を示す説明図である。
【
図11】実施形態2に係る部屋情報入力受付画面を示す説明図である。
【
図12】実施形態2に係る室内画像の表示画面の一例を示す説明図である。
【
図13】実施形態2に係る情報処理装置の制御部の処理の一例を示すフローチャートである。
【
図14】実施形態3に係る室内画像の表示画面の一例を示す説明図である。
【
図15】実施形態3に係る情報処理装置の制御部の処理の一例を示すフローチャートである。
【
図16】実施形態4に係るユーザ端末の構成例を示すブロック図である。
【
図17】建築図面データの一例を示す説明図である。
【
図18】建築図面データの入力画面を示す説明図である。
【
図19】実施形態4に係る室内画像の表示画面の一例を示す説明図である。
【
図20】実施形態4に係る室内画像の表示画面の一例を示す説明図である。
【
図21】実施形態4に係る情報処理装置の制御部の処理の一例を示すフローチャートである。
【
図22】実施形態5に係るオブジェクト検出結果表示画面の一例を示す説明図である。
【
図23】実施形態5に係る情報処理装置の制御部の処理の一例を示すフローチャートである。
【
図24】実施形態6に係るオブジェクト検出モデルの一例を示す説明図である。
【
図25】実施形態6に係る設置エリア表示画面を示す説明図である。
【
図26】実施形態7に係るユーザ端末の構成例を示すブロック図である。
【
図27】実施形態7に係る室内画像の表示画面の一例を示す説明図である。
【
図28】実施形態7に係るユーザ端末の端末制御部の処理の一例を示すフローチャートである。
【
図29】実施形態8に係るオブジェクト入力画面を示す説明図である。
【
図30】実施形態8に係る情報処理装置の制御部の処理の一例を示すフローチャートである。
【
図31】実施形態9に係る情報処理装置の構成例を示すブロック図である。
【
図32】実施形態9に係るオブジェクト条件テーブルの一例を示す説明図である。
【
図33】実施形態9に係る設置エリア特定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0050】
(実施形態1)
図1は、実施形態1に係る空調機設置エリア特定システムSの構成を示す説明図である。空調機設置エリア特定システムSは、情報処理装置1と、ユーザ端末2とを備える。情報処理装置1は、広域無線通信によるネットワークNを介してユーザ端末2と互いに通信可能である。ユーザ端末2は、空調機器の購入またはリースを検討するユーザが所持する端末であり、ユーザが空調機の設置を検討している箇所を含む部屋の室内の画像(室内画像)を撮影し、ユーザが設置を検討している空調機の機種の入力を受け付ける。また、ユーザ端末2は、ネットワークNを介して、入力を受け付けた空調機の機種及び撮影された室内画像を情報処理装置1に送信する。情報処理装置1は、受信した室内画像と、空調機の機種の寸法に基づいて空調機を設置可能なエリア(設置エリア)を特定し、特定した設置エリアと、空調機のAR(Augmented Reality)画像を送信する。ユーザ端末2は、特定した設置エリア及び情報処理装置1から受信したAR画像を室内画像に重畳表示し、ユーザに示す。本実施形態において、空調機は壁掛けタイプのエアーコンディショナーを指すものとして以下の説明を行う。なお、本実施形態以下の実施形態に係る情報処理装置1の処理の一部または全部をユーザ端末2が実行してもよい。また、本実施形態以下の実施形態に係る情報処理装置1が記憶する情報は、ユーザ端末2が記憶してもよい。
【0051】
図2は、実施形態1に係る情報処理装置1の構成例を示すブロック図である。情報処理装置1は、例えばサーバコンピュータであり、制御部11と、記憶部12と、通信部13とを備える。制御部11は、CPU(Central Processing Unit)MPU(Micro Processing Unit)、GPU(Graphical Processing Unit)、または量子プロセッサ等により構成されており、記憶部12に予め記憶されたプログラムP(プログラム製品)及びデータベースを読み出して実行することにより、種々の制御処理、演算処理等を行う。なお情報処理装置1の外部にデータベースサーバ等を設け、該データベースサーバ等からデータベースを読み出してもよい。また、情報処理装置1は、複数のサーバ装置またはコンピュータによりその機能が実現されるものであってもよい。また、情報処理装置1は、ブロックチェーン上のノードに対応するものでもよい。
【0052】
情報処理装置1の記憶部12は、例えば、揮発性メモリ及び不揮発性メモリである。記憶部12には、プログラムP、機種テーブル121、が記憶されている。なお、プログラムPは、コンピュータが読み取り可能に記憶した記憶媒体12aを用いて情報処理装置1に提供されてもよい。記憶媒体12aは、例えば可搬型メモリである。可搬型メモリの例として、CD-ROM、USB(Universal Serial Bus)メモリ、SDカード、マイクロSDカード又はコンパクトフラッシュメモリ(登録商標)等が挙げられる。記憶媒体12aが可搬型メモリである場合、制御部11の処理素子は、図示しない読取装置を用いて記憶媒体12aからプログラムPを読み取ってもよい。読み取ったプログラムPは記憶部12に書き込まれる。更に、プログラムPは、通信部13が外部装置と通信することによって、情報処理装置1に提供されてもよい。機種テーブル121の詳細については後述する。
【0053】
通信部13は、有線又は無線によりユーザ端末2と通信するための通信モジュール又は通信インターフェイスであり、例えばLTE(登録商標)、4G、または5G等の広域無線通信モジュールである。制御部11は、通信部13を介し、例えばインターネットなどの外部のネットワークNを通じて、ユーザ端末2と通信を行う。
【0054】
図3は、実施形態1に係るユーザ端末2の構成例を示すブロック図である。ユーザ端末2は、例えば、スマートフォン、タブレット型端末、ウェアラブルグラス、ウェアラブルコンピュータ、またはパーソナルコンピュータ等の、ユーザからの入力を受け付け、または画像を表示することが可能な端末である。なお、本実施形態においては、ユーザ端末2はスマートフォンである例について説明を行う。ユーザ端末2は、端末制御部21と、記憶部22と、通信部23と、入力部24と、表示部25と、撮影部26とを備える。端末制御部21は、CPU又はMPU等により構成されており、種々の制御処理、演算処理等を行う。なお、ユーザ端末2の機能は複数の機器によって実現されてもよい。例えば、演算処理がスマートフォンにより実行され、入力の受け付けまたは画面の表示がウェアラブルグラスに実行されてもよい。
【0055】
記憶部22は、空間内の画像を撮影し、ユーザが設置を検討している機種の入力を受け付け、設置エリア及び空調機のAR画像をユーザに提示するアプリケーションのアプリプログラムPaを記憶している。アプリプログラムPaは、例えば、記憶媒体22aを用いてユーザ端末2に提供される。なお、ユーザ端末2の端末制御部21は、インターネットを用いてアプリプログラムPaを取得し、記憶部22に記憶させてもよい。
【0056】
通信部23は、無線により情報処理装置1と通信するための通信モジュール又は通信インターフェイスである。端末制御部21は、通信部23を介し、外部のネットワークNを通じて、情報処理装置1と通信を行う。
【0057】
入力部24は、ユーザが購入を検討している空調機の機種の入力を受け付ける。
【0058】
表示部25は、空調機の機種の入力を受け付ける入力受付画面、情報処理装置1が特定した設置エリアを室内画像に重畳表示した設置エリア表示画像、及び情報処理装置1から受信した空調機のAR画像を室内画像に重畳表示した設置イメージ画像等を表示する。なお、本実施形態において、ユーザ端末2はスマートフォンであり、入力部24及び表示部25はタッチパネルによって一体として構成される。
【0059】
撮影部26は、空間内の画像を撮影する。ユーザ端末2がスマートフォンである場合、撮影部26は、スマートフォンに内蔵されているカメラによるものである。
【0060】
図4は、実施形態1に係る機種テーブル121の一例を示す説明図である。機種テーブル121には、空調機の各機種の寸法と、AR画像のファイルが格納されている。機種テーブル121の管理項目(フィールド)は、例えば、機種名フィールドと、幅フィールドと、高さフィールドと、奥行きフィールドと、設置必要幅フィールドと、設置必要高さフィールドと、設置必要天井距離フィールドと、突出制限距離フィールドと、傾斜角度基準値フィールドと、排水口位置(縦)フィールドと、排水口位置(横)フィールドと、AR画像フィールドとを含む。機種名フィールドには、空調機の機種名が格納される。幅フィールドには、機種の幅の寸法が格納される。高さフィールドには、機種の高さの寸法が格納される。奥行きフィールドには、機種の奥行の寸法が格納される。設置必要幅フィールドには、空調機の設置の際に、側方の壁面から離す必要のある幅の所定距離が格納されている。設置必要高さフィールドには、空調機の設置の際に床から離す必要のある高さの所定距離が格納されている。設置必要天井距離フィールドには、空調機の設置の際に天井面から離す必要のある所定距離が格納されている。突出制限距離フィールドには、空調機の設置の際に空調機の直下において壁面から突出するオブジェクト(例えば、カーテンレール)の、壁面から突出する所定距離の上限値(突出制限距離)が格納されている。突出制限距離は、空調機のフラップが展開した場合に、フラップがオブジェクトに干渉しない距離である。なお、本実施形態において、幅フィールド、高さフィールド、及び奥行きフィールドに格納されている寸法と、設置必要幅フィールド、設置必要高さフィールド、設置必要天井距離フィールド、及び突出制限距離フィールドに格納されている所定距離の単位はmmである。傾斜角度規準値フィールドには、空調機から配管口に向かうドレン排水管の角度の規準値が格納される。ドレン排水管は、空調機の内部で結露により生じるドレン排水を外部に排出するためのホースであり、空調機から配管口に向かって下り傾斜となる必要がある。傾斜角度規準値フィールドには、各機種のドレン排水管が許容される傾斜角度の範囲が格納される。排水口位置(縦)フィールドには、空調機から延びるドレン排水管の根元となる排水口の位置の、空調機の下辺からの距離が格納される。排水口位置(横)フィールドには、例えば、排水口位置の、空調機の右辺からの距離が格納される。なお、本実施形態においては、排水口位置は空調機の右辺近傍であるが、排水口位置は左辺近傍でもよい。この場合、排水口位置(横)フィールドには、排水口位置の、空調機の左辺からの距離が格納される。また、排水口位置を右辺近傍、または左辺近傍のどちらにすることも可能である場合、排水口位置(横)フィールドには、複数の排水口の位置について空調機の側辺からの距離が格納されてもよい。AR画像フィールドには、空調機の機種の外観を示すAR画像が、例えば、ファイル形式で格納されている。すなわち、機種テーブル121には、空調機の設置に必要な領域に関する情報が記録されている。
【0061】
図5は、実施形態1に係る機種の入力受付画面の一例を示す説明図である。ユーザ端末の端末制御部21は、アプリプログラムPaが起動されると、入力受付画面を表示部25に表示させる。なお、端末制御部21は、Webベースによって表示部25に以下に説明する画面を表示させてもよい。ユーザ端末2の端末制御部21は、
図5Aに示す入力受付画面において、複数の空調機の機種名及び外観画像を選択可能に表示する。入力部24は、表示された機種名または外観画像がユーザによって選択されることにより、ユーザが購入を検討している空調機の機種の入力を受け付ける。端末制御部21は、
図5Aに示す画面において空調機の機種が選択されると、
図5Bに示すように、例えば、選択された機種が備える機能の情報を含む詳細情報を表示部25に表示させる。また、
図5Bには、空調機のAR表示を指示するためのコマンドが表示される。
【0062】
図6は、実施形態1に係る室内画像の表示画面の一例を示す説明図である。ユーザ端末2の端末制御部21は、
図5Bに示す画面においてAR表示を指示するコマンドが選択されると、
図6Aに示すように、撮影部26による室内画像を表示部25に表示させる。また、
図6Aに示す画面には、設置エリア特定を指示するためのコマンドが表示される。
図6Aにおいて、設置エリア特定を指示するコマンドが選択されると、端末制御部21は、情報処理装置1が特定した室内画像中における設置エリアを、
図6Bに示すように、室内画像に重畳表示する。本実施形態において、設置エリアは破線で示される。設置エリアを特定する方法については後述する。なお、情報処理装置1が、室内画像内において設置エリアを特定することが出来なかった場合、端末制御部21は、
図6Cに示すように、設置エリアを特定することが出来なかった旨及び再撮影を求める情報を表示部25に表示させる。また、
図6Cに示す画面には、やり直しを指示するためのコマンドが表示される。やり直しを指示するコマンドが選択されると、もう一度空間内の撮影が行われる。また、
図6Bに示す画面には、選択された機種のAR表示を指示するためのコマンドが表示される。AR表示を指示するコマンドが選択されると、端末制御部21は、情報処理装置1から
図5Aにおいて選択された機種のAR画像を取得し、
図6Dに示すようにAR画像を室内画像に重畳表示する。
【0063】
図7は、実施形態1に係るオブジェクト検出モデルMの一例を示す説明図である。オブジェクト検出モデルMは、例えば、RCNN(Regions with Convolutional Neural Network)、Fast RCNN、Faster RCNN、SSD(Single Shot Multibook Detector)、又はYOLO(You Only Look Once)、等、室内画像内に含まれる物体を検出する学習モデルである。オブジェクト検出モデルMが例えばRCNN等の画像の特徴量を抽出するCNN(Convolutional Neural Network)を含むニューラルネットワークで構成される場合、オブジェクト検出モデルMは、室内画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は室内画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、画像特徴量に基づき、室内画像内における壁面、天井面、コンセント、配管口、カーテンレール、スプリンクラー、または火災報知器を含むオブジェクトの種類及び位置を出力する。なお、制御部11は、パターンマッチング等の手法により各オブジェクトの種類及び位置を出力してもよい。
【0064】
情報処理装置1の制御部11は、ユーザ端末2から室内画像を取得すると、取得した画像をオブジェクト検出モデルMに入力し、室内画像内のオブジェクトの種類及び位置を出力することによって室内画像中のオブジェクトを認識する。また、情報処理装置1の制御部11は、検出された各オブジェクト間の距離を測定する。各オブジェクト間の距離は、例えば、PTAMまたはSmartARなどを含むマーカーレス型AR手法によって測定される。なお、制御部11は、ユーザ端末2が備えるLidar(Light Detection And Ranging)、または赤外線センサなどの機能により、各オブジェクト間の距離を測定してもよく、SLAM(Simultaneous Localization and Mapping)技術によるマッピングに基づいて測定してもよい。また、マーカーを部屋内に設置して、マーカー型AR手法によって距離が測定されてもよく、室内画像中のオブジェクトの大きさに基づいて距離を推定してもよい。すなわち、情報処理装置1の制御部11は、室内画像の解析によって前記オブジェクトの種類及び位置を認識する。
【0065】
情報処理装置1の制御部11は、検出された各オブジェクトの種類及び位置、測定した各オブジェクト間の距離、ユーザが選択した空調機の機種の寸法及びドレン排水管の傾斜角度基準値に基づき、空調機の設置エリアを特定する。具体的には、制御部11は、配管口上において空調機が配管口以外のオブジェクトに干渉しないエリアのうち、空調機のドレン排水管の傾斜角度が傾斜角度基準値の範囲内となるエリアを、設置エリアに特定する。なお、制御部11は、配管口上に空調機を設置すると他のオブジェクトに干渉してしまうなどの理由により配管口上において設置エリアを特定できない場合、配管口から所定距離内の壁面において設置エリアを特定する。また、配管口から所定距離内においても設置エリアが特定できない場合、制御部11は、画像の再撮影を求める情報をユーザ端末2に出力する。画像の再撮影を求める情報を取得したユーザ端末2の端末制御部21は、画像の再撮影を求める情報を表示部25に表示させる(
図6C参照)。
【0066】
図8は、実施形態1に係る情報処理装置1の制御部11の処理の一例を示すフローチャートである。
図9は、実施形態1に係る設置エリア特定処理の一例を示すフローチャートである。制御部11は、ユーザ端末2から、入力を受け付けたユーザが購入を検討している空調機の機種を取得する(S1)。制御部11は、ユーザ端末2から、部屋の室内画像を取得する(S2)。制御部11は、取得した室内画像をオブジェクト検出モデルMに入力し(S3)、室内画像内のオブジェクトの種類及び位置を出力する(S4)。制御部11は、各オブジェクト間の距離を測定する(S5)。制御部11は、選択された機種の寸法及び所定距離を機種テーブル121から読み出す(S6)。
【0067】
制御部11は、出力されたオブジェクトの種類及び位置、及び各オブジェクト間の距離に基づいて設置エリア特定処理を実行する(S7)以下、
図9を参照し、設置エリア特定処理について説明する。制御部11は、壁面及び天井面から所定距離以上離れている範囲を設置可能範囲に設定する(S701)。なお、壁面または天井面が検出されていない場合、室内画像に含まれる範囲は壁面または天井面から所定距離以上離れているものとして設置可能範囲が設定される。制御部11は、火災報知器から所定距離以上離れている範囲に設置可能範囲を縮小する(S702)。なお、火災報知器が検出されていない場合、S702は実行されない。制御部11は、スプリンクラーから所定距離以上離れている範囲に設置可能範囲を縮小する(S703)。なお、スプリンクラーが検出されていない場合、S703は実行されない。制御部11は、カーテンレールから所定距離以上離れている範囲に設置可能範囲を縮小する(S704)。制御部11は、S704において、設置可能範囲を含む壁面からカーテンレールが突出する距離が突出制限距離以内である場合、カーテンレールの直上を含めて設置可能範囲を縮小する。なお、カーテンレールが検出されていない場合、S704は実行されない。制御部11は、コンセントから所定距離内である範囲に設置可能範囲を縮小する(S705)。なお、コンセントが検出されていない場合、S705は実行されない。制御部11は、S6において読み出した機種の寸法に基づいて、S705までに縮小された設置可能範囲内に、ユーザによって選択された空調機の機種が設置可能であるか否かを判定する(S706)。
【0068】
機種が設置可能ではない場合(S706:NO)、制御部11は、設置エリア特定が不可能であると判定し(S710)、設置エリア特定処理を終了する。機種が設置可能である場合(S706:YES)、制御部11は、室内画像において配管口が検出されているか否かを判定する(S707)。配管口が検出されていない場合(S707:NO)、制御部11は、設置可能範囲内において壁面及び天井面から所定距離に位置するエリアを設置エリアに特定し(S711)、設置エリア特定処理を終了する。排水溝が検出されている場合(S707:YES)、制御部50は、選択された機種の排水口位置に基づいて、設置可能範囲内において配管口と排水口が重なるように空調機を設置可能であるか否かを判定する(S708)。配管口と排水口が重なるように空調機を設置可能である場合(S708:YES)、制御部11は、配管口と空調機の排水口が重なるエリアを設置エリアに特定し(S709)設置エリア特定処理を終了する。配管口と排水口が重なるように空調機を設置可能でない場合(S708:NO)、制御部11は、排水口位置と傾斜角度規準値に基づいて、ドレン排水管の傾斜角度が傾斜角度規準値内となる範囲に設置可能範囲を縮小する(S712)。制御部11は、排水口位置に基づいて、設置可能範囲内において、配管口と排水口との距離が最も近くなるエリアを設置エリアに特定し(S713)、設置エリア特定処理を終了する。なおS711またはS713において設置エリアを特定する方法はこれらに限られず、制御部11は、例えば、設置可能範囲の中心を設置エリアに特定してもよく、設置可能範囲内からランダムなエリアを設置エリアに特定してもよい。
【0069】
以下
図8に戻り、設置エリア特定処理(S7)後の処理について説明する。制御部11設置エリアを特定できたか否かを判定する(S8)。設置エリアを特定できなかった場合
(S8:NO)、制御部11は、画像の再撮影を求める情報をユーザ端末2に送信し(S12)、処理をS2に返す。設置エリアを特定できた場合(S8:YES)、制御部11は、特定した設置エリアをユーザ端末2に送信する(S9)。制御部11は、ユーザが選択した機種のAR画像を機種テーブル121から読み出し(S10)、ユーザ端末2にAR画像を送信して(S11)、処理を終了する。
【0070】
以上の処理によれば、室内画像に基づいてユーザが設置を希望する機種を設置可能である設置エリアを特定できるので、効率的に空調機の設置エリアを特定することが可能である。なお、情報処理装置1は、ユーザが選択した機種の他に設置エリアに設置可能な機種を特定し、該当機種の情報をユーザ端末2に送信してもよい。この場合、
図6Dに示す画面において、AR画像が表示される機種の変更の入力を受け付けてもよい。また、制御部11は、オブジェクトの種類及び位置が出力された室内画像と空調機の機種の寸法とを入力した場合に設置エリアを出力する学習モデルによって設置エリアを特定してもよい、該学習モデルは、例えば、CNN(Convolutional Neural Network)などの画像内における座標を出力可能なモデルにより構成される。
【0071】
(実施形態2)
実施形態2に係る情報処理装置1は、部屋内における空調機の設置エリアを特定するとともに、部屋に対して好適な空調機の機種を選定し、ユーザに提示する。以下では、実施形態2について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については、実施形態1と共通している。このため、実施形態1と共通する構成部には実施形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0072】
図10は、実施形態2に係る機種テーブル121の一例を示す説明図である。実施形態2に係る機種テーブル121は、対応畳数フィールドと、配管口径フィールドと、複数の機能フィールドとを含む。対応畳数フィールドには、各機種が空調を行うことが出来る部屋の広さ(畳数)の、例えば上限値が格納される。配管口径フィールドは、各機種を設置するのに必要な配管口の径の大きさが格納される。機能フィールドには、各機種が備える機能が格納される。機能は、例えば、換気、加湿、AI快適自動、空気清浄、内部クリーン、フィルター自動掃除、スマホ接続、または気流サーキュレーション機能を含む。
図10に示す例において、機種テーブルは3つの機能フィールドを含むが、機能フィールドの数はこれに限られず、1つ、2つ、または4つ以上でもよい。
【0073】
図11は、実施形態2に係る部屋情報入力受付画面を示す説明図である。ユーザ端末2の端末制御部21は、部屋情報入力受付画面において、部屋の広さの入力を受け付ける広さ入力欄と、ユーザが希望する機能の選択を受け付ける機能選択欄と、部屋の形状の選択を受け付ける形状選択欄を表示部25に表示させる。広さ入力欄には、部屋の広さが例えば畳数を単位として入力される。機能選択欄は、複数の機能を示すアイコンを含み、アイコンが選択されることにより、ユーザが希望する機能の入力を受け付ける。形状入力欄は複数の部屋の形状を示すアイコンを含み、アイコンが選択されることにより、部屋の形状の入力を受け付ける。また、部屋情報入力受付画面には、部屋の室内画像の撮影を指示するためのコマンドが表示される。
【0074】
図12は、実施形態2に係る室内画像の表示画面の一例を示す説明図である。ユーザ端末2の端末制御部21は、部屋情報入力受付画面において室内画像の撮影を指示するためのコマンドが選択されると、
図12Aに示すように、撮影部26によって撮影された部屋画像を表示部25に表示させる。また、
図12Aに示す画面には、設置エリアの表示を指示するためのコマンドが表示される。
図12Aに示す画面において設置エリアの表示を指示するコマンドが選択されると、端末制御部21は、
図12Bに示すように、室内画像に情報処理装置1が特定した設置エリアを重畳表示する。なお、
図12Bにおいて重畳表示される設置エリアの大きさは、部屋情報入力受付画面において入力された情報に基づいて情報処理装置1が選定した機種の内、寸法が最大である設置が可能な機種が設置される場合の大きさである。また、
図12Bに示す画面には、空調機のAR表示を指示するためのコマンドが表示される。AR表示を指示するコマンドが選択されると、端末制御部21は、情報処理装置1から、寸法が最大である設置が可能な機種のAR画像を取得し、
図12Cに示すように取得したAR画像を室内画像に重畳表示する。また、
図12Cには、AR表示する機種の変更を指示するためのコマンドが表示される。AR表示する機種を変更するコマンドが選択されると、端末制御部21は、
図12Dに示すように、表示部25に、
図12CにおいてAR画像が表示されている機種以外の、設置エリアに設置可能な機種を表示させる。
図12Dにおいて選択された機種は、室内画像に重畳表示される。
【0075】
図13は、実施形態2に係る情報処理装置1の制御部11の処理の一例を示すフローチャートである。制御部11は、ユーザ端末2から、入力された部屋情報を取得する(S21)。制御部11は、取得した部屋情報に条件が合致する空調機の機種を、機種テーブル121に格納されている機種から選定する(S22)。S22において制御部11は、ユーザ端末2に、部屋情報入力受付画面において入力された畳数よりも対応畳数が大きく、部屋情報入力受付画面において選択された機能を備える機種を選定する。なお、部屋情報入力受付画面において選択された部屋の形状が「細長い」、「L字型」、または「二部屋使用」といった特定の形状である場合、制御部11は、気流サーキュレーション機能を備える機種を選定する。制御部11は、ユーザ端末2から、部屋の室内画像を取得する(S23)。制御部11は、取得した室内画像をオブジェクト検出モデルMに入力し(S24)、室内画像内のオブジェクトの種類及び位置を出力する(S25)。制御部11は、各オブジェクト間の距離を測定する(S26)。制御部11は、室内画像内のオブジェクトの位置と各オブジェクト間の距離とに基づいて、S22において選定した空調機の機種のうち、設置が可能である寸法が最大の機種を特定する(S27)。制御部11は、S27において特定した機種を設置可能である設置エリアを特定し(S28)、特定した設置エリアをユーザ端末2に送信する(S29)。制御部11は、S27において特定した機種のAR画像を機種テーブル121から読み出し(S30)、AR画像をユーザ端末2に送信する(S31)。また、制御部11は、S22において選定された機種のうち、S27において特定した機種よりも小さい機種(幅、高さ、及び奥行きの寸法が、S27において特定された機種の寸法と同長以下である機種)の、AR画像を含む情報を機種テーブル121から読み出し(S32)、読み出した情報をユーザ端末2に送信して(S33)、処理を終了する。
【0076】
(実施形態3)
実施形態3に係る情報処理装置1は、設置エリア周辺において、他のオブジェクトに干渉しない移動可能エリアの範囲を出力し、移動可能エリア内において、空調機のAR画像の室内画像における移動の入力を受け付ける。以下では、実施形態3について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については、実施形態1と共通している。このため、実施形態1と共通する構成部には実施形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0077】
図14は、実施形態3に係る室内画像の表示画面の一例を示す説明図である。
図14Aは、設置エリア及び移動可能エリアの表示画面を示す。情報処理装置1の制御部11は、設置エリアを特定するとともに、空調機のAR画像を移動させてもオブジェクトに干渉しない移動可能エリアを特定する。なお、本実施形態における移動可能エリアは、実施形態1における設置可能範囲に相当するものであってもよい。ユーザ端末2の端末制御部21は、表示部25に、空調機のAR画像及び移動可能エリアを室内画像に重畳表示させる。本実施形態において、移動可能エリアは斜線で示される。さらに、端末制御部21は、設置エリアの移動の入力を受け付けるためのカーソルを空調機のAR画像上に表示する。ユーザ端末2の入力部24は、移動可能エリア内において、空調機のAR画像の移動の入力を受け付ける。なお、
図14Bに示すように、空調機のAR画像の一部または全部が移動可能エリア外になるように移動された場合、端末制御部21は、空調機が干渉するオブジェクトに関する情報を表示部25に表示させる。
図14Bに示す例においては、空調機がカーテンレールに干渉するため移動できない旨が表示される。なお、端末制御部21は、空調機が干渉するオブジェクトの画面内での点滅、または音声出力などにより空調機が干渉するオブジェクトに関する情報を出力してもよい。
【0078】
図15は、実施形態3に係る情報処理装置1の制御部11の処理の一例を示すフローチャートである。情報処理装置1の制御部11は、例えば、設置エリアを特定後、以下の処理を行う。制御部11は、各オブジェクトの位置関係、各オブジェクト間の距離、及び選択された空調機の機種の寸法に基づいて、移動可能エリアを特定し(S41)、特定した移動可能エリアをユーザ端末2に送信する(S42)。制御部11は、ユーザ端末2が入力を受け付けた空調機のAR画像の移動後の位置を取得し(S43)、取得した位置が、移動可能エリア外であるか否かを判定する(S44)。移動可能エリア外である場合(S44:NO)、制御部11は、空調機が干渉するオブジェクトを特定し(S45)、特定したオブジェクトに関する情報をユーザ端末2に送信して(S46)処理をS43に返す。取得した位置が移動可能エリア内である場合(S44:YES)、制御部11は処理を終了する。
【0079】
(実施形態4)
実施形態4に係る情報処理装置1は、室内画像が撮影される部屋を有する建築物(対象建築物)の建築図面データを取得し、建築図面データと室内画像を対応させ、建築図面データに基づいて設置エリアを特定する。以下では、実施形態4について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については、実施形態1と共通している。このため、実施形態1と共通する構成部には実施形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0080】
図16は、実施形態4に係るユーザ端末2の構成例を示すブロック図である。実施形態4に係るユーザ端末2の記憶部22は、建築図面データDを記憶している
【0081】
図17は、建築図面データDの一例を示す説明図である。建築図面データDは、室内画像が撮影される部屋を有する建築物の窓、建具、家具、または火災報知器等の設備の位置に関する情報を含む間取り図に、壁の内部の空調機用下地または隠蔽配管等の位置を示したデータである。
図17に示す例においては、空調機用下地が存在する位置は網掛けによって示され、隠蔽配管が存在する位置は破線によって示される。建築図面データDは間取り図に限られず、さらに詳細な設計図面でもよい。この場合、空調機用下地または隠蔽配管が存在する、高さ方向の位置が建築図面データDに含まれてもよい。
【0082】
図18は、建築図面データDの入力画面を示す説明図である。ユーザ端末2の端末制御部21は、記憶部22から建築図面データDを読み出し、表示部25に表示させる。入力部24は、表示された建築図面データDの間取り図内において、ユーザが空調機の設置を希望する部屋の選択を受け付ける。
【0083】
図19及び
図20は、実施形態4に係る室内画像の表示画面の一例を示す説明図である。端末制御部21は、
図19Aに示すように、撮影部26が撮影した室内画像を表示部25に表示させる。また、
図19Aに示す画面には、建築図面データDと室内画像とを対応させる指示をするためのコマンドが表示される。建築図面データDと室内画像とを対応させるコマンドが選択されると、端末制御部21は、建築図面データDと室内画像とを情報処理装置1に送信する。情報処理装置1の制御部11は、建築図面データDと室内画像とを受信すると、室内画像からオブジェクトを検出し、建築図面データDに含まれる窓、建具、家具、または火災報知器等の設備の位置と検出したオブジェクトの種類及び位置に基づいて、室内画像に含まれる壁面における空調機用下地または隠蔽配管の位置を特定する。
図19Aに示す例において、情報処理装置1の制御部11は、室内画像に含まれる壁面及びカーテンレールの位置を建築図面データDと対応させ、建築図面データDにおける室内画像が撮影された位置を特定する。なお、本例においては、情報処理装置1の制御部11は、室内画像におけるカーテンレールの位置は建築図面データDにおける窓の位置と同一であるとみなし、対応させる。なお、制御部11は、GPS、WiFi(登録商標)による位置測定、またはジャイロセンサによるマッチングなどの手法により、建築図面データDと室内画像とを対応させてもよい。
【0084】
情報処理装置1の制御部11は、建築図面データDと室内画像との対応関係に基づいて、室内画像に含まれる壁面内における空調機用下地または隠蔽配管の位置を特定する。制御部11は、特定した室内画像に含まれる壁面内における空調機用下地または隠蔽配管の位置をユーザ端末2に送信する。ユーザ端末2の端末制御部21は、
図19Bに示すように、空調機用下地または隠蔽配管の位置を表示部25に重畳表示させる。
図19Bに示す例においては、空調機用下地は網掛けによって示され、隠蔽配管は二重の破線によって示される。また、
図19Bに示す画面には、設置エリアの表示を指示するためのコマンドが表示される。
【0085】
また、情報処理装置1の制御部11は、特定した空調機用下地または隠蔽配管の位置に基づいて、空調機の設置エリアを特定する。具体的には、制御部11は、空調機用下地が室内画像に含まれる場合、空調機が壁面上に係止されるための接合部が空調機用下地上に位置し、隠蔽配管に干渉しない位置を設置エリアに特定する。情報処理装置1の制御部11は、特定した設置エリアをユーザ端末2に送信する。設置エリアを受信したユーザ端末2の端末制御部21は、
図19Bに示す画面において設置エリアの表示を指示するコマンドが選択されると、
図19Cに示すように、表示部25に、設置エリアを室内画像に重畳表示させる。また、
図19Cに示す画面には、空調機のAR画像の表示を指示するためのコマンドが表示される。
【0086】
図19Cに示す画面においてAR画像の表示を指示するためのコマンドが選択されると、ユーザ端末2の端末制御部21は、
図20Aに示すように、AR表示する空調機の機種の候補を表示部25に表示させる。端末制御部21は、表示された機種の候補の中からAR表示させる機種の選択を受け付けると、
図20Bに示すように、表示部25に、空調機のAR画像を室内画像に重畳表示させる。
【0087】
図21は、実施形態4に係る情報処理装置1の制御部11の処理の一例を示すフローチャートである。制御部11は、ユーザ端末2から建築図面データDを取得する(S51)。制御部11は、ユーザ端末2から室内画像を取得する(S52)。制御部11は、取得した室内画像をオブジェクト検出モデルMに入力し(S53)、室内画像に含まれるオブジェクトの種類及び位置を出力する(S54)。制御部11は、建築図面データDに含まれる窓、建具、家具、または火災報知器等の設備の位置と、出力された室内画像に含まれるオブジェクトとに基づいて、建築図面データDにおける室内画像が撮影された位置を特定する(S55)。制御部11は、建築図面データDと室内画像の対応関係に基づいて、室内画像に含まれる壁面内における空調機用下地または隠蔽配管の位置を特定する(S56)。制御部11は、特定した室内画像に含まれる壁面内における空調機用下地または隠蔽配管の位置をユーザ端末2に送信する(S57)。制御部11は、特定した空調機用下地または隠蔽配管の位置に基づいて、空調機の設置エリアを特定し(S58)、ユーザ端末2に特定した設置エリアを送信する(S59)。制御部11は、ユーザ端末2において選択された空調機の機種のAR画像を機種テーブル121から読み出し(S60)、ユーザ端末2に読み出したAR画像をユーザ端末2に送信して(S61)、処理を終了する。
【0088】
(実施形態5)
実施形態5に係る情報処理装置1は、オブジェクト検出モデルが出力したオブジェクトの種類及び位置をユーザ端末2に送信する。ユーザ端末2は、受信したオブジェクトの種類及び位置を表示し、オブジェクトに対する修正を受け付ける。情報処理装置1が認識したオブジェクトに、時計などの壁から取り外すことが可能である物体が含まれている場合、ユーザは、該物体が存在しないものとするようにオブジェクトの修正をユーザ端末2に入力することが可能である。以下では、実施形態5について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については、実施形態1と共通している。このため、実施形態1と共通する構成部には実施形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0089】
図22は、実施形態5に係るオブジェクト検出結果表示画面の一例を示す説明図である。ユーザ端末2の端末制御部21は、表示部25に、情報処理装置1から受信したオブジェクトの種類及び位置を室内画像上に表示させる。端末制御部21は、入力部24を介して、修正されるオブジェクトの選択を受け付けることにより、オブジェクトに対する修正を受け付ける。
【0090】
図23は、実施形態5に係る情報処理装置1の制御部11の処理の一例を示すフローチャートである。情報処理装置1の制御部11は、ユーザ端末2から室内画像を取得する(S71)。制御部11は、室内画像をオブジェクト検出モデルMに入力し(S72)、室内画像に含まれるオブジェクトの種類及び位置を出力する(S73)。制御部11は、ユーザ端末2にオブジェクトの種類及び位置を送信する(S74)。制御部11は、ユーザ端末2が入力を受け付けたオブジェクトに対する修正を取得し(S75)、修正後のオブジェクトの種類及び位置に基づいて、設置エリアを特定する(S76)。制御部11は、ユーザ端末2に特定した設置エリアを送信し(S77)、処理を終了する。
【0091】
(実施形態6)
上述の各実施形態においては、空調機は壁掛けタイプのエアーコンディショナーとして説明を行ったが、空調機は天井に埋め込まれて設置されるカセットタイプのエアーコンディショナーでもよい。以下では、実施形態6について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については、実施形態1と共通している。このため、実施形態1と共通する構成部には実施形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0092】
図24は、実施形態6に係るオブジェクト検出モデルMの一例を示す説明図である。実施形態6に係る情報処理装置1の制御部11は、部屋の天井が撮影された室内画像をオブジェクト検出モデルに入力する。実施形態6に係るオブジェクト検出モデルMは、照明、ファン、換気扇、火災報知器、またはスプリンクラーを含むオブジェクトを検出する。制御部11は、天井面において、検出されたオブジェクトに干渉しない位置を空調機(カセットタイプのエアーコンディショナー)の設置エリアに特定する。
【0093】
図25は、実施形態6に係る設置エリア表示画面を示す説明図である。ユーザ端末2の端末制御部21は、表示部25に、情報処理装置1が特定した設置エリアを室内画像に重畳表示させる。また、ユーザ端末2の端末制御部21は、
図25に示す点線のように、ドレン排水管の配置例を室内画像に重畳表示させてもよい。
【0094】
なお、情報処理装置1の制御部11は、建築図面データDに基づいて設置エリアを特定する場合、天井裏の隠蔽配管の位置を含む建築図面データDに基づいて設置エリアを特定してもよい。
【0095】
(実施形態7)
実施形態7に係るユーザ端末2は、機種テーブル121及びオブジェクト検出モデルMを記憶し、オブジェクト検出モデルMによって出力された室内画像中のオブジェクトの位置、並びに選択された機種の寸法及び所定距離に基づき設置可能範囲を特定し、室内画像上に重畳表示する。ユーザ端末2の表示部25は、室内画像を表示する表示装置として機能する。以下では、実施形態7について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については、実施形態1と共通している。このため、実施形態1と共通する構成部には実施形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0096】
図26は、実施形態7に係るユーザ端末2の構成例を示すブロック図である。実施形態7に係るユーザ端末2の記憶部22は、機種テーブル121及びオブジェクト検出モデルMを記憶している。本実施形態に係る機種テーブル121は、実施形態1に係る情報処理装置1が記憶する機種テーブル121(
図4参照)と同様である。また、本実施形態に係るオブジェクト検出モデルMは実施形態1に係る情報処理装置1が記憶するオブジェクト検出モデルM(
図7参照)と同様である。
【0097】
図27は、実施形態7に係る室内画像の表示画面の一例を示す説明図である。
図27Aは、設置可能範囲表示画面を示す。ユーザ端末2の端末制御部21は、入力受付画面(
図5参照)において機種の選択の入力を受け付けた場合、選択された機種の寸法及び所定距離を機種テーブル121から読み出す。端末制御部21は、読み出した寸法及び所定距離に基づいて設置可能範囲(移動可能エリア)を特定し、表示部25に、特定した設置可能範囲を室内画像上に重畳表示させる。すなわち、表示部25は、端末制御部21から設置可能範囲に関する情報を取得し、設置可能範囲を室内画像に重畳表示する。また、
図27Aには、空調機のAR表示を指示するためのコマンドが表示される。
【0098】
図27Bは、AR画像表示画面を示す。
図27Aに示す設置可能範囲表示画面において空調機のAR表示を指示するためのコマンドが選択された場合、AR画像表示画面が表示される。ユーザ端末2の端末制御部21は、選択された機種のAR画像を記憶部22の機種テーブル121から読み出し、表示部25に、読み出された室内画像の設置可能範囲に重畳表示させる。すなわち、表示部25は、記憶部22から空調機のAR画像(空調機画像)に関する情報を取得し、設置可能範囲に空調機のAR画像を重畳表示する。
【0099】
図28は、実施形態7に係るユーザ端末2の端末制御部21の処理の一例を示すフローチャートである。ユーザ端末2の端末制御部21は、入力部24に、ユーザが購入を検討している空調機の機種の入力を受け付けさせる(S81)。端末制御部21は、撮影部26に、室内画像を撮影させる(S82)。
【0100】
端末制御部21は、取得した室内画像をオブジェクト検出モデルMに入力し(S83)、室内画像内のオブジェクトの種類及び位置を出力する(S84)。端末制御部21は、各オブジェクト間の距離を測定する(S85)。各オブジェクト間の距離は、例えば、PTAMまたはSmartARなどを含むマーカーレス型AR手法によって測定される。なお、端末制御部21は、ユーザ端末2が備えるLidar(Light Detection And Ranging)、または赤外線センサなどの機能により、各オブジェクト間の距離を測定してもよく、SLAM(Simultaneous Localization and Mapping)技術によるマッピングに基づいて測定してもよい。また、マーカーを部屋内に設置して、マーカー型AR手法によって距離が測定されてもよく、室内画像中のオブジェクトの大きさに基づいて距離を推定してもよい。
【0101】
端末制御部21は、選択された機種の寸法及び所定距離を機種テーブル121から読み出す(S86)。端末制御部21は、出力されたオブジェクト種類及び位置、及び各オブジェクト間の距離、並びに選択された機種の寸法及び所定距離に基づいて、室内画像における設置可能範囲を特定する(S87)。なお、S87において設置可能範囲を特定する方法は、
図9に示すS701~S705に係る処理と同様であってもよい。端末制御部21は、室内画像上に特定された設置可能範囲を重畳表示する(S88)。端末制御部21は、選択された機種のAR画像を機種テーブル121から読み出す(S89)。端末制御部21は、読み出されたAR画像を設置可能範囲に重畳表示し(S90)、処理を終了する。
【0102】
実施形態7に係るユーザ端末2が実行する処理の一部は、情報処理装置1によって実行されてもよい。例えば、情報処理装置1の記憶部12は機種テーブル121及びオブジェクト検出モデルMを記憶してもよい。この場合、情報処理装置1の制御部11は、オブジェクト検出モデルMによって出力された室内画像中のオブジェクトの位置並びに選択された機種の寸法及び所定距離に基づき設置可能範囲を特定してもよい。
【0103】
(実施形態8)
実施形態8に係る情報処理装置1は、ユーザ端末2におけるユーザの入力によって、室内画像中のオブジェクトの種類及び位置を認識する。以下では、実施形態8について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については、実施形態1と共通している。このため、実施形態1と共通する構成部には実施形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0104】
図29は、実施形態8に係るオブジェクト入力画面を示す説明図である。ユーザ端末2の端末制御部21は、
図29Aに示すように、撮影部26が撮影した室内画像とオブジェクトの種類及び位置に入力を促す旨を表示部25に表示させる。
図29Bに示すように、端末制御部21は、入力部24に、ユーザからのオブジェクトの種類及び位置の入力を受け付けさせる。
【0105】
図30は、実施形態8に係る情報処理装置1の制御部11の処理の一例を示すフローチャートである。S101~S102に係る処理は、
図8に示すS1~S2に係る処理と同様の処理である。情報処理装置1の制御部11は、ユーザ端末2から、ユーザによって入力されたオブジェクトの種類及び位置を取得する(S103)。制御部11は、ユーザによって入力されたオブジェクトの種類及び位置に基づき、室内画像におけるオブジェクトの種類及び位置を認識する(S104)。S105~S112に係る処理は、
図8に示すS5~S12に係る処理と同様の処理である。
【0106】
(実施形態9)
実施形態8に係る情報処理装置1は、オブジェクトの種類ごとに定められた設置される空調機との位置関係に関する条件を記憶している。該条件は、オブジェクトから空調機の設置エリアまでに必要な距離によって定められている。以下では、実施形態8について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については、実施形態1と共通している。このため、実施形態1と共通する構成部には実施形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0107】
図31は、実施形態9に係る情報処理装置1の構成例を示すブロック図である。実施形態9に係る情報処理装置1の記憶部12は、オブジェクト条件テーブル122を記憶している。
【0108】
図32は、実施形態9に係るオブジェクト条件テーブル122の一例を示す説明図である。オブジェクト条件テーブル122には、オブジェクトの種類ごとに定められた、設置される空調機の位置(設置エリア)から離す必要のある距離が記憶されている。オブジェクト条件テーブル122の管理項目(フィールド)は、例えば、オブジェクトフィールドと、条件距離フィールドとを含む。オブジェクトフィールドには、オブジェクトの種類が格納される。条件距離フィールドには、各オブジェクトの種類に対して設置エリアから離す必要のある距離(条件距離)が格納されている。なお、オブジェクトがコンセントである場合、条件距離は、オブジェクト(コンセント)と設置エリアとの間の距離の最大値を示す。情報処理装置1の制御部11は、室内画像から検出されたオブジェクトの種類及び位置に基づき、オブジェクト条件テーブル122を参照して設置エリアを特定する。
【0109】
図33は、実施形態9に係る設置エリア特定処理の一例を示すフローチャートである。制御部11は、壁面及び天井面から条件距離以上離れている範囲を設置可能範囲に設定する(S721)。なお、壁面または天井面が検出されていない場合、室内画像に含まれる範囲は壁面または天井面から条件距離以上離れているものとして設置可能範囲が設定される。制御部11は、火災報知器から条件距離以上離れている範囲に設置可能範囲を縮小する(S722)。なお、火災報知器が検出されていない場合、S722は実行されない。制御部11は、スプリンクラーから条件距離以上離れている範囲に設置可能範囲を縮小する(S723)。なお、スプリンクラーが検出されていない場合、S723は実行されない。制御部11は、カーテンレールから条件距離以上離れている範囲に設置可能範囲を縮小する(S724)。制御部11は、S724において、設置可能範囲を含む壁面からカーテンレールが突出する距離が突出制限距離以内である場合、カーテンレールの直上を含めて設置可能範囲を縮小する。なお、カーテンレールが検出されていない場合、S724は実行されない。制御部11は、コンセントから条件距離以内である範囲に設置可能範囲を縮小する(S725)。S726~S730に係る処理は、
図9に示すS706~S710に係る処理と同様の処理である。室内画像内に配管口が検出されていない場合(S727:NO)、制御部11は、設置可能範囲内において壁面及び天井面から条件距離に位置するエリアを設置エリアに特定し(S731)、設置エリア特定処理を終了する。S732~S733に係る処理は、
図9に示すS712~S713に係る処理と同様の処理である。
【0110】
(変形例)
情報処理装置1の制御部11は、オブジェクトの種類及び位置または空調機の性能に基づいて、空調機を部屋内に設置した場合の気流をシミュレーションし、シミュレーション結果に基づいて設置エリアの特定、または機種の選定を行ってもよい。
【0111】
空調機の例は上述したものに限られず、例えば、床置タイプのエアーコンディショナーまたは天井吊型のエアーコンディショナー等でもよい。
【0112】
今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本開示の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の2以上のクレームを引用するクレームを記載する形式(マルチクレーム形式)を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム(マルチマルチクレーム)を記載する形式を用いて記載しても良い。
【符号の説明】
【0113】
1 情報処理装置
2 ユーザ端末
11 制御部
12 記憶部
12a 記憶媒体
13 通信部
21 端末制御部
22 記憶部
22a 記憶媒体
23 通信部
24 入力部
25 表示部
26 撮影部
121 機種テーブル
D 建築図面データ
M オブジェクト検出モデル
N ネットワーク
P プログラム
Pa アプリプログラム
S 空調機設置エリア特定システム
【手続補正書】
【提出日】2024-01-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
室内の画像を取得し、
取得した前記画像中のオブジェクトの位置を認識し、
空調機の機種ごとに定められている寸法と、前記オブジェクトの位置に対する前記空調機の位置の条件とを含む、前記空調機を設置するのに必要な領域に関する情報を取得し、
前記空調機を設置するのに必要な領域に関する情報に基づく、前記オブジェクトの位置に対する条件を満たすように設定される設置可能範囲内において、空調機を設置可能なエリアを特定する
処理をコンピュータに実行させるプログラム。
【請求項2】
前記画像に対するユーザによる入力、または前記画像の解析によって、前記オブジェクトの種類及び位置を認識する
請求項1に記載のプログラム。
【請求項3】
前記画像中の前記オブジェクトの種類及び位置を認識し、
オブジェクトの種類ごとに定められた前記空調機との位置関係に関する条件、並びに認識された前記オブジェクトの種類及び位置に基づき、前記エリアを特定する
請求項1に記載のプログラム。
【請求項4】
前記画像中の前記オブジェクトの位置を認識し、
前記空調機に必要な領域に関する情報を取得し、
前記オブジェクトの位置、及び前記空調機の設置に必要な領域に関する情報に基づき、前記エリアを特定する
請求項1に記載のプログラム。
【請求項5】
前記オブジェクトは、壁面、天井面、コンセント、配管口、カーテンレール、スプリンクラー、または火災報知器を含む
請求項1から4のいずれか一つに記載のプログラム。
【請求項6】
前記空調機の前記エリアを、前記画像上に重畳表示する
請求項1または2に記載のプログラム。
【請求項7】
前記空調機の外観を示す空調機画像を、前記画像における特定した前記エリアに重畳表示する
請求項1または2に記載のプログラム。
【請求項8】
前記空調機画像の前記画像における移動の入力を受け付け、
入力を受け付けた移動後の前記空調機の位置が、前記オブジェクトに干渉する位置である場合、干渉する前記オブジェクトに関する情報を出力する
請求項7に記載のプログラム。
【請求項9】
前記エリア周辺の、前記空調機が前記オブジェクトに干渉しない移動可能エリアの範囲を出力し、
前記移動可能エリアに基づいて、前記空調機画像の前記画像における移動の入力を受け付ける
請求項7に記載のプログラム。
【請求項10】
前記画像内において前記エリアを特定できない場合に、再撮影を求める情報を出力する
請求項1または2に記載のプログラム。
【請求項11】
前記空調機のドレン排水管の傾斜角度が規準値以内になる領域を前記エリアに特定する
請求項1または2に記載のプログラム。
【請求項12】
認識した前記オブジェクトに対する修正を受け付け、
修正後の前記オブジェクトに基づき、前記エリアを特定する
請求項1または2に記載のプログラム。
【請求項13】
前記配管口を認識した場合、前記配管口上で前記エリアを特定する
請求項5に記載のプログラム。
【請求項14】
前記配管口上において前記エリアを特定できない場合に、前記配管口から所定距離内の前記壁面において前記エリアを特定する
請求項5に記載のプログラム。
【請求項15】
前記画像は部屋の室内の画像であり、
前記部屋を有する対象建築物の建築図面データを取得し、
取得した前記建築図面データと前記オブジェクトとに基づき、前記エリアを特定する
請求項1または2に記載のプログラム。
【請求項16】
前記オブジェクトは、家具、建具、または設備を含む
請求項1または2に記載のプログラム。
【請求項17】
前記画像は部屋の室内の画像であり、
前記部屋の広さ、前記部屋の形状、または前記空調機の性能に基づいて、設置する前記空調機の機種を選定する
請求項1または2に記載のプログラム。
【請求項18】
認識した前記配管口の大きさに基づいて、設置する前記空調機の機種を選定する
請求項5に記載のプログラム。
【請求項19】
室内の画像を取得し、
取得した前記画像中のオブジェクトの位置を認識し、
空調機の機種ごとに定められている寸法と、前記オブジェクトの位置に対する前記空調機の位置の条件とを含む、前記空調機を設置するのに必要な領域に関する情報を取得し、
前記空調機を設置するのに必要な領域に関する情報に基づく、前記オブジェクトの位置に対する条件を満たすように設定される設置可能範囲内において、空調機を設置可能なエリアを特定する
情報処理方法。
【請求項20】
室内の画像を取得し、
取得した前記画像中のオブジェクトの位置を認識し、
空調機の機種ごとに定められている寸法と、前記オブジェクトの位置に対する前記空調機の位置の条件とを含む、前記空調機を設置するのに必要な領域に関する情報を取得し、
前記空調機を設置するのに必要な領域に関する情報に基づく、前記オブジェクトの位置に対する条件を満たすように設定される設置可能範囲内において、空調機を設置可能なエリアを特定する
制御部
を備える情報処理装置。
【請求項21】
室内の画像、及び前記画像中において認識されたオブジェクトの位置と、空調機の機種ごとに定められている寸法と、前記オブジェクトの位置に対する前記空調機の位置の条件とを含む、前記空調機を設置するのに必要な領域に関する情報とに基づいて特定された、前記空調機の前記オブジェクトの位置に対する条件を満たすように設定される設置可能範囲に関する情報を取得し、
前記設置可能範囲を前記画像に重畳表示する
表示装置。
【請求項22】
前記空調機の外観を示す空調機画像に関する情報を取得し、
前記空調機画像を前記設置可能範囲に重畳表示する
請求項21に記載の表示装置。