特許 7517548 サービス判断装置、サービス判断システム、移動体システム、サービス判断方法、およびサービス判断プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】サービス判断装置、サービス判断システム、移動体システム、サービス判断方法、およびサービス判断プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240709BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 13

(21)【出願番号】P 2023111328

(22)【出願日】2023-07-06

【審査請求日】2023-07-06

【早期審査対象出願】

(73)【特許権者】

【識別番号】000236056

【氏名又は名称】三菱電機ビルソリューションズ株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】梅田 祐貴

【審査官】阿部 潤

(56)【参考文献】

【文献】特開２０２３－０３２９４９（ＪＰ，Ａ）

【文献】特開２０１１－２５３４２４（ＪＰ，Ａ）

【文献】特開２０２１－１８０４３３（ＪＰ，Ａ）

【文献】特開２０２１－０２１９９５（ＪＰ，Ａ）

【文献】国際公開第２０２１／２１５１９６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得する取得部と、
複数の種類のサービスのうちから、前記取得部が取得する前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断する判断部と、
前記判断部が判断するサービスの種類の情報を含むサービス情報をサービスの提供者に出力する出力部と、
画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶する記憶部と、
を備え、
前記判断部は、前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断し、
前記判断部は、前記第１画像データおよび環境地図情報の比較によって算出される位置を前記第１画像データの撮影位置情報として、前記撮影位置情報に基づいてサービスの実施場所を判断し、
前記出力部は、前記実施場所の情報を前記サービス情報に含めて出力する、
サービス判断装置。

【請求項2】

前記判断部は、前記第１画像データおよび前記第１画像データの前記撮影位置情報に基づいて、前記対象物を対象とするサービスの種類を判断する、
請求項１に記載のサービス判断装置。

【請求項3】

前記出力部は、前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体に前記サービス情報を出力する、
請求項１に記載のサービス判断装置。

【請求項4】

前記出力部は、前記複数の種類のサービスのうちの少なくともいずれかを各々が提供する複数の自律移動体のうち、前記サービス情報に含まれるサービスの種類に基づいて選択した自律移動体に、前記サービス情報を出力する、
請求項３に記載のサービス判断装置。

【請求項5】

撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得する取得部と、
複数の種類のサービスのうちから、前記取得部が取得する前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断する判断部と、
前記判断部が判断するサービスの種類の情報を含むサービス情報をサービスの提供者に出力する出力部と、
画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶する記憶部と、
を備え、
前記判断部は、前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断し、
前記出力部は、前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体に前記サービス情報を出力し、
前記取得部は、前記サービス情報の出力を前記出力部から受けた自律移動体が撮影して得られる画像を表す第２画像データを取得し、
前記出力部は、前記第２画像データの画像の被写体が前記対象物と合致する場合に、前記対象物を対象として前記サービスを提供させる情報を当該自律移動体に出力し、前記第２画像データの画像の被写体が前記対象物と合致しない場合に、前記サービスを提供させる情報を当該自律移動体に出力しない、
サービス判断装置。

【請求項6】

前記第２画像データの画像の被写体が前記対象物に合致するか否かの判定は、前記第１画像データの画像を撮影したときの前記撮像装置の向きを表す前記第１画像データの撮影方向情報および前記第２画像データの画像を撮影したときの前記自律移動体の向きを表す前記第２画像データの撮影方向情報に基づいて行われる、
請求項５に記載のサービス判断装置。

【請求項7】

前記判断部は、前記対象物を撮影したときの前記撮像装置の位置を前記第１画像データの撮影位置情報として、前記撮影位置情報に基づいてサービスの実施場所を判断し、
前記出力部は、前記実施場所の情報を前記サービス情報に含めて出力する、
請求項５に記載のサービス判断装置。

【請求項8】

画像を撮影する撮像装置と、
請求項１から請求項７のいずれか一項に記載のサービス判断装置と、
を備える、サービス判断システム。

【請求項9】

請求項１から請求項７のいずれか一項に記載のサービス判断装置と、
前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体と、
を備える、移動体システム。

【請求項10】

コンピュータが、
画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶することと、
撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得することと、
複数の種類のサービスのうちから、取得した前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断することと、
前記第１画像データおよび環境地図情報の比較によって算出される位置を前記第１画像データの撮影位置情報として、前記撮影位置情報に基づいてサービスの実施場所を判断することと、
前記対象物を対象とするサービスの種類として判断したサービスの種類の情報および前記実施場所の情報を含むサービス情報をサービスの提供者に出力することと、
を実行する、サービス判断方法。

【請求項11】

コンピュータが、
画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶することと、
撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得することと、
複数の種類のサービスのうちから、取得した前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断することと、
前記対象物を対象とするサービスの種類として判断したサービスの種類の情報を含むサービス情報をサービスの提供者に出力することと、
前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体に前記サービス情報を出力すること、
前記サービス情報の出力を受けた自律移動体が撮影して得られる画像を表す第２画像データを取得することと、
前記第２画像データの画像の被写体が前記対象物と合致する場合に、前記対象物を対象として前記サービスを提供させる情報を当該自律移動体に出力し、前記第２画像データの画像の被写体が前記対象物と合致しない場合に、前記サービスを提供させる情報を当該自律移動体に出力しない処理と、
を実行する、サービス判断方法。

【請求項12】

前記第２画像データの画像の被写体が前記対象物に合致するか否かの判定は、前記第１画像データの画像を撮影したときの前記撮像装置の向きを表す前記第１画像データの撮影方向情報および前記第２画像データの画像を撮影したときの前記自律移動体の向きを表す前記第２画像データの撮影方向情報に基づいて行われる、
請求項１１に記載のサービス判断方法。

【請求項13】

コンピュータに、
請求項１０から請求項１２のいずれか一項に記載のサービス判断方法
を実行させる、サービス判断プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、サービス判断装置、サービス判断システム、移動体システム、サービス判断方法、およびサービス判断プログラムに関する。

【背景技術】

【0002】

特許文献１は、文書管理システムの例を開示する。文書管理システムは、文書を保管する梱包体の管理を行う。文書管理システムは、携帯端末と情報処理装置とを備える。携帯端末は、撮像部と、位置認識部と、携帯端末側制御部と、を備える。撮像部は、管理用ラベルの撮像データを得る。管理用ラベルには、文書の管理者情報と保管期限が記入され、識別情報が付与される。位置認識部は、自身の位置情報を認識する。携帯端末側制御部は、位置情報に基づき認識された梱包体の保管場所情報と撮像データとを送信する。情報処理装置は、記憶部と、情報処理装置側制御部と、を備える。記憶部は、撮像データより認識された管理者情報および保管期限と、保管場所情報と、識別情報とを対応付けた管理用情報を、識別情報毎に記憶する。情報処理装置側制御部は、管理情報毎に保管期限と現在の日時を比較し、日時が保管期限に近づいた管理用情報が存在した場合に、管理者に警告を発する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１３３３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のシステムにおいて、管理用情報のもととなる管理用ラベルの各項目は、ペンなどを用いて利用者によって記入される。このため、梱包体などの対象物を対象とする文書管理などのサービスを利用しようとする利用者は、ラベル記入などの作業などを行った上で対象物の撮影作業を行う必要がある。このため、サービス利用のために手間がかかることがある。

【0005】

本開示は、このような課題の解決に係るものである。本開示は、対象物を対象とするサービスの利用者が適切なサービスをより少ない手間で利用できるようにする、サービス判断装置、サービス判断システム、移動体システム、サービス判断方法、およびサービス判断プログラムを提供する。

【課題を解決するための手段】

【0006】

本開示に係るサービス判断装置は、撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得する取得部と、複数の種類のサービスのうちから、前記取得部が取得する前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断する判断部と、前記判断部が判断するサービスの種類の情報を含むサービス情報をサービスの提供者に出力する出力部と、画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶する記憶部と、を備え、前記判断部は、前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断し、前記判断部は、前記第１画像データおよび環境地図情報の比較によって算出される位置を前記第１画像データの撮影位置情報として、前記撮影位置情報に基づいてサービスの実施場所を判断し、前記出力部は、前記実施場所の情報を前記サービス情報に含めて出力する。
本開示に係るサービス判断装置は、撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得する取得部と、複数の種類のサービスのうちから、前記取得部が取得する前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断する判断部と、前記判断部が判断するサービスの種類の情報を含むサービス情報をサービスの提供者に出力する出力部と、画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶する記憶部と、を備え、前記判断部は、前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断し、前記出力部は、前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体に前記サービス情報を出力し、前記取得部は、前記サービス情報の出力を前記出力部から受けた自律移動体が撮影して得られる画像を表す第２画像データを取得し、前記出力部は、前記第２画像データの画像の被写体が前記対象物と合致する場合に、前記対象物を対象として前記サービスを提供させる情報を当該自律移動体に出力し、前記第２画像データの画像の被写体が前記対象物と合致しない場合に、前記サービスを提供させる情報を当該自律移動体に出力しない。

【0007】

本開示に係るサービス判断システムは、画像を撮影する撮像装置と、上記のサービス判断装置と、を備える。

【0008】

本開示に係る移動体システムは、上記のサービス判断装置と、前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体と、を備える。

【0009】

本開示に係るサービス判断方法は、コンピュータが、画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶することと、撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得することと、複数の種類のサービスのうちから、取得した前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断することと、前記第１画像データおよび環境地図情報の比較によって算出される位置を前記第１画像データの撮影位置情報として、前記撮影位置情報に基づいてサービスの実施場所を判断することと、前記対象物を対象とするサービスの種類として判断したサービスの種類の情報を含むサービス情報および前記実施場所の情報をサービスの提供者に出力することと、を実行する方法である。
本開示に係るサービス判断方法は、コンピュータが、画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶することと、撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得することと、複数の種類のサービスのうちから、取得した前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断することと、前記対象物を対象とするサービスの種類として判断したサービスの種類の情報を含むサービス情報をサービスの提供者に出力することと、前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体に前記サービス情報を出力すること、前記サービス情報の出力を受けた自律移動体が撮影して得られる画像を表す第２画像データを取得することと、前記第２画像データの画像の被写体が前記対象物と合致する場合に、前記対象物を対象として前記サービスを提供させる情報を当該自律移動体に出力し、前記第２画像データの画像の被写体が前記対象物と合致しない場合に、前記サービスを提供させる情報を当該自律移動体に出力しない処理と、を実行する方法である。

【0010】

本開示に係るサービス判断プログラムは、コンピュータに、上記のサービス判断方法を実行させる。

【発明の効果】

【0011】

本開示に係るサービス判断装置、サービス判断システム、移動体システム、サービス判断方法、またはサービス判断プログラムによれば、対象物を対象とするサービスの利用者が適切なサービスをより少ない手間で利用できるようになる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１に係る管理システムの構成図である。

【図2】実施の形態１に係る管理システムにおける判断モデルの学習の例を説明する図である。

【図3】実施の形態１に係る管理システムにおけるサービスの判断の例を説明する図である。

【図4】実施の形態１に係る管理システムの動作の例を示すフローチャートである。

【図5】実施の形態１に係る管理システムの動作の例を示すフローチャートである。

【図6】実施の形態１に係る管理システムの主要部のハードウェア構成図である。

【発明を実施するための形態】

【0013】

本開示の対象を実施するための形態について添付の図面を参照しながら説明する。各図において、同一または相当する部分には同一の符号を付して、重複する説明は適宜に簡略化または省略する。なお、本開示の対象は以下の実施の形態に限定されることなく、本開示の趣旨を逸脱しない範囲において、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。

【0014】

実施の形態１．
図１は、実施の形態１に係る管理システム１の構成図である。

【0015】

管理システム１は、施設に適用される。管理システム１は、施設の運用などの管理を行うシステムである。施設は、例えば、屋内施設もしくは屋外施設、またはこれらを複合した施設などである。施設は、例えば、１つまたは複数の建物などからなる。施設は、例えば、建物などの一部であってもよい。

【0016】

施設において、１つまたは複数の自律移動体２が稼働する。各々の自律移動体２は、施設において自律的に移動する、ロボット、ドローン、またはその他の移動可能な機器である。自律移動体２は、例えば、図示されない移動体管理装置による移動指示などに基づいて施設を移動してもよい。移動体管理装置は、例えば１つまたは複数のサーバコンピュータなどによって構成される。各々の自律移動体２および移動体管理装置などは、例えば施設内におけるＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの局所的なネットワーク、またはインターネットなどの広域のネットワークに接続される。各々の自律移動体２は、施設を移動して、例えば清掃、集荷、または遺失物収集などのサービスの提供などを行う。各々の自律移動体２は、清掃、集荷、または遺失物収集などの複数の種類のサービスのうち、１つまたは複数のサービスを提供しうる機能を搭載する。

【0017】

各々の自律移動体２は、施設において利用者３にサービスを提供する移動体システムを構成する。移動体システムの一部または全部は、管理システム１に含まれる内部システムであってもよいし、管理システム１に外部から適用される外部システムであってもよい。この例の施設において、複数の自律移動体２が稼働する。複数の自律移動体２は、提供しうるサービスの種類が異なる自律移動体２を含む。

【0018】

管理システム１において自律移動体２などが提供するサービスは、対象物を対象として行われる。例えば、自律移動体２などが提供する清掃サービスは、施設におけるごみまたは汚れなどを対象物として、当該対象物を除去するサービスを含む。例えば、自律移動体２などが提供する集荷サービスは、施設における書類または梱包体などの発送物を対象物として、当該対象物を回収して発送センターなどに集めるサービスを含む。発送センターは、例えば、施設外への発送物の発送などを行う場所である。例えば、自律移動体２などが提供する遺失物収集サービスは、施設における落とし物または忘れ物などの遺失物を対象物として、当該対象物を回収して施設の管理人室などに集めるサービスを含む。管理人室は、例えば、施設の運用などの管理の業務を行う管理人などが駐在する場所である。移動体システムにおいて、自律移動体２は、この他のサービスを提供してもよい。

【0019】

施設の利用者３は、自身が所持している携帯機器４を介して、自律移動体２などが提供するサービスを利用する。携帯機器４は、例えばスマートフォンなどの可搬な情報処理装置である。携帯機器４は、無線通信の機能を搭載する。無線通信は、例えば、ＩＥＥＥ ８０２．１１規格およびＩＥＥＥ ８０２．１５．１規格、ならびにその後継規格、代替規格、関連規格、または類似規格などを含む。携帯機器４は、例えば、インターネットまたは電話回線網などのネットワークに接続する。携帯機器４は、例えばカメラなどの画像を撮影する機能を有する機器を搭載する。携帯機器４は、撮像装置の例である。この例において、携帯機器４は、自身の位置および方向の情報を取得する機能を搭載する。携帯機器４は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの衛星測位システムによって自身の位置の情報を取得してもよいし、加速度センサなどを用いたＰＤＲ（Ｐｅｄｅｓｔｒｉａｎ Ｄｅａｄ Ｒｅｃｋｏｎｉｎｇ）などの自律航法によって自身の位置の情報を取得してもよいし、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅ Ｂａｎｄ）信号などの無線信号を用いた屋内測位システムによって自身の位置の情報を取得してもよいし、その他の方法を用いて自身の位置の情報を取得してもよい。携帯機器４は、例えば、加速度センサなどを用いて自身の方向の情報を取得してもよいし、ＡｏＡ（Ａｎｇｌｅ ｏｆ Ａｒｒｉｖａｌ）などの受信する無線信号の位相差を用いた方法によって自身の方向の情報を取得してもよいし、その他の方法を用いて自身の方向の情報を取得してもよい。携帯機器４は、管理システム１に含まれる内部機器であってもよいし、管理システム１外の外部機器であってもよい。携帯機器４は、例えば、予めインストールされたアプリケーションソフトウェアなどのプログラムに基づいて動作することで、管理システム１における機能を実現する。

【0020】

管理システム１は、１つまたは複数の無線通信器５を備える。無線通信器５は、携帯機器４などと無線信号による通信が可能な機器である。無線通信器５は、例えば、携帯機器４に無線信号を発信する無線ビーコンなどである。無線通信器５は、携帯機器４から無線信号を受信する機能を搭載していてもよい。無線通信器５は、施設に配置される。無線通信器５は、例えば施設内におけるＬＡＮなどの局所的なネットワーク、またはインターネットなどの広域のネットワークに接続される。

【0021】

管理システム１は、位置検出装置６と、画像解析装置７と、画像管理装置８と、サービス判断装置９と、を備える。位置検出装置６、画像解析装置７、画像管理装置８、およびサービス判断装置９の各々は、例えば１つまたは複数のサーバコンピュータなどによって構成される。位置検出装置６、画像解析装置７、画像管理装置８、およびサービス判断装置９の一部または全部は、施設に設けられていてもよいし、施設外に設けられていてもよい。位置検出装置６、画像解析装置７、画像管理装置８、およびサービス判断装置９の一部または全部の機能は、クラウドサービス上の処理または記憶のリソースなどによって実装されていてもよい。位置検出装置６、画像解析装置７、画像管理装置８、およびサービス判断装置９の一部または全部の機能は、同一のハードウェア上に搭載されていてもよい。位置検出装置６、画像解析装置７、画像管理装置８、およびサービス判断装置９の一部または全部の機能は、例えば、各サーバコンピュータなどがプログラムに従って処理を実行することで実現される。当該プログラムは、複数のサーバコンピュータをそれぞれ動作させる複数のコンポーネントを含む、ソフトウェアパッケージなどであってもよい。位置検出装置６、画像解析装置７、画像管理装置８、およびサービス判断装置９の各々は、例えば施設内におけるＬＡＮなどの局所的なネットワーク、またはインターネットなどの広域のネットワークに接続される。管理システム１は、施設の利用者３に自律移動体２などが提供するサービスの種類を判断する機能を有する。管理システム１は、サービス判断システムの例である。施設の利用者３は、携帯機器４などを介して撮影した対象物の画像の画像データを管理システム１に送信することで、移動体システムなどのサービスを利用する。

【0022】

位置検出装置６は、施設の利用者３が所持する携帯機器４の位置を検出する機能を搭載する装置である。位置検出装置６は、携帯機器４の方向を検出してもよい。位置検出装置６は、例えば、１つまたは複数の無線通信器５が携帯機器４との間で通信する無線信号の信号強度または伝播時間などに基づいて当該携帯機器４の位置を検出してもよいし、その他の方法を用いて携帯機器４の位置を検出してもよい。位置検出装置６は、例えば、１つまたは複数の無線通信器５が携帯機器４との間で通信する無線信号の位相差などに基づいて当該携帯機器４の方向を検出してもよいし、その他の方法を用いて携帯機器４の方向を検出してもよい。位置検出装置６は、予め取得している各々の無線通信器５の位置情報などを用いて、携帯機器４の位置および方向を検出する。なお、管理システム１において、携帯機器４が自身の位置および方向の情報を取得する機能を有していることを前提とする場合などに、管理システム１は、位置検出装置６を備えていなくてもよい。この場合、管理システム１は、携帯機器４自身が取得した位置および方向の情報を用いて、必要な情報処理などを行う。

【0023】

画像解析装置７は、利用者３が送信した画像データが表す画像を解析する機能を搭載する装置である。画像解析装置７は、例えば、利用者３が携帯機器４を用いて撮影した画像の画像データなどを、携帯機器４から無線通信により直接に、または施設内のＬＡＮまたはインターネットなどのネットワークを通じて、取得する。画像解析装置７は、画像処理の技術などにより画像に含まれる被写体を検出する機能を搭載する。画像に含まれる被写体は、例えば、自律移動体２などが提供するサービスの対象である対象物となりうる、ごみもしくは汚れ、書類もしくは梱包体などの発送物、または、落とし物もしくは忘れ物などの遺失物などを含む。画像解析装置７は、被写体の背景などを検出する機能を有していてもよい。画像解析装置７は、画像の解析結果として、画像の特徴量などを抽出してもよい。

【0024】

画像管理装置８は、利用者３が送信した画像データを管理する機能を搭載する装置である。画像管理装置８は、例えば、利用者３が送信した画像データを保管する。画像管理装置８は、例えば、画像データとともに、当該画像データの画像を携帯機器４が撮影したときの当該携帯機器４の位置の情報を撮影位置情報として保管する。画像管理装置８は、例えば、画像データとともに、当該画像データの画像を携帯機器４が撮影したときの当該携帯機器４の方向の情報を撮影方向情報として保管する。携帯機器４の位置および方向の情報は、例えば、携帯機器４自身が取得した情報であってもよいし、位置検出装置６が検出した情報であってもよい。また、画像管理装置８は、例えば、画像データとともに、画像解析装置７による当該画像データの画像の解析結果の情報を保管する。画像解析装置７による解析結果の情報は、検出した被写体などの情報であってもよいし、検出した被写体の位置、大きさ、向き、および色調などを正規化した画像であってもよいし、抽出した画像の特徴量などの情報であってもよい。

【0025】

サービス判断装置９は、施設の利用者３に自律移動体２などが提供するサービスの種類の判断などの情報処理を行う装置である。サービス判断装置９は、取得部１０と、学習部１１と、記憶部１２と、判断部１３と、出力部１４と、を備える。

【0026】

取得部１０は、携帯機器４などの撮像装置が対象物を撮影して得られる画像を表す画像データを取得する機能を搭載する部分である。取得部１０は、例えば、画像管理装置８が管理する画像データを、施設内のＬＡＮまたはインターネットなどのネットワークを通じて画像管理装置８から取得する。取得部１０が取得する画像データは、例えば、画像を表す情報と、撮影位置情報および撮影方向情報と、画像解析装置７による解析結果の情報と、を含んでもよい。当該画像データは、第１画像データの例である。

【0027】

学習部１１は、判断モデルの学習を行う機能を搭載する部分である。判断モデルは、例えば、画像データを入力として当該画像データの画像の被写体を対象とするサービスの種類を出力とする、学習済みモデルである。学習部１１は、例えば、訓練データセットなどを用いて教師あり学習などの機械学習の手法によって判断モデルの学習を行う。訓練データセットは、複数の訓練データを含む。各々の訓練データは、例えば、画像を表す画像データ、および当該画像の被写体を対象とするサービスの種類の組み合わせを含むデータである。学習部１１は、判断モデルの学習に用いられる訓練データなどを記憶していてもよい。学習部１１は、その他の機械学習の手法などを用いて判断モデルを学習してもよい。

【0028】

記憶部１２は、情報を記憶する機能を搭載する部分である。記憶部１２は、例えば、学習部１１が学習によって予め生成した判断モデルなどを記憶する。記憶部１２は、管理システム１の外部で予め学習された判断モデルなどを記憶していてもよい。

【0029】

判断部１３は、施設において自律移動体２などによって提供される複数の種類のサービスのうちから、利用者３に提供するサービスの種類を判断する機能を搭載する部分である。判断部１３は、取得部１０が取得する画像データに基づいて、当該画像データの画像に含まれる被写体を対象とするサービスの種類を判断する。判断部１３は、例えば、記憶部１２に予め記憶された学習済みの判断モデルを用いて、判断モデルに画像データを入力することで得られる出力によって、サービスの種類を判断してもよい。判断部１３は、サービスの種類の判断の際に、撮影位置情報および撮影方向情報をあわせて利用してもよい。判断部１３は、サービスの種類を判断するとともに、当該サービスを自律移動体２などが実施する実施場所をあわせて判断してもよい。

【0030】

出力部１４は、利用者３に提供するサービスについてのサービス情報をサービスの提供者に出力する機能を搭載する部分である。サービス情報は、例えば、判断部１３が判断するサービスの種類の情報を含む。サービス情報は、例えば、判断部１３が判断する実施場所の情報を含んでもよい。出力部１４は、例えば、サービス情報の出力先を判定する機能を有していてもよい。出力部１４は、例えば、サービス情報を管理人室などに設けられた情報処理端末などに出力する。施設の管理人は、主力されたサービス情報を参照することで、要求されたサービスへの迅速な対応が可能になる。出力部１４は、例えば、サービス情報に含まれるサービスの種類に基づいて自律移動体２を選択し、選択した自律移動体２に当該サービス情報を出力する。出力部１４は、サービス情報に含まれる種類のサービスを提供できる自律移動体２を、施設において稼働する自律移動体２のうちから選択する。出力部１４は、自律移動体２が移動体制御装置などによって制御されている場合に、当該移動体制御装置を介してサービス情報を自律移動体２に出力してもよい。サービス情報の入力を受けた自律移動体２は、施設を移動して、サービス情報に対応するサービスを実施する。自律移動体２および施設の管理人は、サービスの提供者の例である。なお、例えば施設の管理人は、サービスを直接提供しなくてもよい。施設の管理人は、例えばサービス業者などを通じて利用者３へのサービス提供を行ってもよい。

【0031】

続いて、図２を用いて、判断モデルの学習の例を説明する。
図２は、実施の形態１に係る管理システム１における判断モデルの学習の例を説明する図である。

【0032】

画像解析装置７は、被写体検出モデルを搭載する。被写体検出モデルは、例えば、画像データを入力として当該画像データの画像の被写体を出力とする、学習済みモデルである。被写体検出モデルは、予め管理システム１の外部で予め学習されたものであってもよいし、管理システム１において学習されるものであってもよい。画像解析装置７は、例えば被写体検出モデルを用いて、入力された画像データについて、当該画像データの画像の被写体を検出する。

【0033】

続いて、画像データが表す画像について、当該画像の被写体を対象とするサービスの種類が判断される。この判断は、例えば、管理システム１を利用する施設の管理人または管理システム１自体の管理者などによって行われる。このとき、画像解析装置７が検出した被写体の情報がサービスの種類の判断に用いられてもよいし、用いられなくてもよい。

【0034】

学習部１１は、画像データ、および当該画像データについて判断されたサービスの種類の組み合わせを訓練データとして蓄積する。訓練データは、当該画像データについての撮影位置情報および撮影方向情報を含んでもよい。訓練データは、当該画像データの画像の被写体の検出結果の情報を含んでもよい。学習部１１は、複数の訓練データを訓練データセットとして例えばデータベースなどに蓄積する。

【0035】

学習部１１は、学習エンジンを搭載する。学習エンジンは、例えば、教師あり学習などの機械学習の手法によって、十分蓄積された訓練データセットを用いて判断モデルを出力する。学習エンジンは、例えば、ディシジョンツリーまたはディープランニングなどのＡＩ技術（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を利用するものであってもよい。なお、訓練データは、画像データの画像の被写体の検出結果の情報を含まなくてもよい。このとき、判断モデルは、画像の被写体を検出する機能を内部的に有していてもよいし、画像データからサービスの種類を直接出力するものであってもよい。

【0036】

管理システム１は、このように学習された判断モデルを用いて運用される。なお、管理システム１は、運用の際に得られた画像データなどのデータを用いて訓練データセットを新たに蓄積し、判断モデルを随時更新してもよい。この際、管理システム１は、古い訓練データの重みを小さくする、または古い訓練データを削除するなどの処理によって、学習効率および学習精度を高めてもよい。

【0037】

また、管理システム１の運用の際に、判断部１３によって判断されたサービスの種類が利用者３の携帯機器４に提示されてもよい。このとき、利用者３は、提示されたサービスの種類が正しくない場合に、サービスの種類を訂正してもよい。訂正されたサービスの種類は、訂正された上で画像データとともに訓練データとして学習部１１に蓄積される。また、訂正されなかったサービスの種類は、そのまま画像データとともに訓練データとして学習部１１に蓄積されてもよい。これにより、管理システム１は、運用の中でサービスの判断の精度をより高めることができるようになる。

【0038】

続いて、図３を用いて、サービスの種類の判断の例を説明する。
図３は、実施の形態１に係る管理システム１におけるサービスの判断の例を説明する図である。

【0039】

利用者３は、例えば、施設で利用者３が勤務する１０階の執務エリアにおいて、携帯機器４を用いて段ボール箱で梱包した発送物の画像を撮影する。このとき、携帯機器４は、現在の位置を撮影位置情報として取得する。利用者３は、携帯機器４を通じて、撮影した画像を表す画像データを、画像解析装置７などを通じて画像管理装置８に送信する。画像データは、撮影位置情報を含む。取得部１０は、被写体に段ボール箱などの梱包体を含む画像を表し、１０階の執務エリアの情報を携帯機器４の撮影位置情報として含む画像データを取得する。このとき、判断部１３は、例えば判断モデルなどに基づいて、提供すべきサービスの種類を、梱包体を対象物として回収し発送センターに集める集荷サービスであると判断する。出力部１４は、当該判断結果に基づいて、出力するサービス情報を生成する。サービス情報は、撮影時に対象物が置かれていた場所に対応する撮影位置情報を、サービスの実施場所として含む。出力部１４は、サービス情報に基づいて、出力先の自律移動体２を選択する。出力部１４は、例えば、集荷サービスを実施可能な自律移動体２を選択する。出力部１４は、選択した自律移動体２に、サービス情報を出力する。サービス情報を受け付けた自律移動体２は、サービスの実施場所である１０階の執務エリアに移動し、対象物である発送物を回収する。その後、自律移動体２は、回収した発送物を発送センターまで搬送する。

【0040】

利用者３は、例えば、施設の１０階に設けられたトイレエリアにおいて、段ボール箱で梱包された発送物を発見する。通常、集荷待ちの発送物はトイレエリアに置かれないため、当該発送物を忘れ物であると考える利用者３は、携帯機器４を用いて忘れ物である段ボール箱の画像を撮影する。このとき、携帯機器４は、現在の位置を撮影位置情報として取得する。利用者３は、携帯機器４を通じて、撮影した画像を表す画像データを、画像解析装置７などを通じて画像管理装置８に送信する。画像データは、撮影位置情報を含む。取得部１０は、被写体に段ボール箱などの梱包体を含む画像を表し、１０階のトイレエリアの情報を携帯機器４の撮影位置情報として含む画像データを取得する。このとき、判断部１３は、例えば判断モデルなどに基づいて、提供すべきサービスの種類を、忘れ物を対象物として回収し管理人室に集める遺失物収集サービスであると判断する。出力部１４は、当該判断結果に基づいて、出力するサービス情報を生成する。サービス情報は、撮影時に対象物が置かれていた場所に対応する撮影位置情報を、サービスの実施場所として含む。出力部１４は、サービス情報に基づいて、出力先の自律移動体２を選択する。出力部１４は、例えば、遺失物回収サービスを実施可能な自律移動体２を選択する。出力部１４は、選択した自律移動体２に、サービス情報を出力する。サービス情報を受け付けた自律移動体２は、サービスの実施場所である１０階のトイレエリアに移動し、対象物である遺失物を回収する。その後、自律移動体２は、回収した遺失物を管理人室まで搬送する。

【0041】

利用者３は、例えば、施設の１３階に設けられたトイレエリアにおいて、スマートフォンを発見する。通常、発送物ではないスマートフォンは施設に放置された状態で置かれないため、当該発送物を落とし物であると考える利用者３は、携帯機器４を用いて落とし物であるスマートフォンの画像を撮影する。このとき、携帯機器４は、現在の位置を撮影位置情報として取得する。利用者３は、携帯機器４を通じて、撮影した画像を表す画像データを、画像解析装置７などを通じて画像管理装置８に送信する。画像データは、撮影位置情報を含む。取得部１０は、被写体にスマートフォンなどの落とし物を含む画像を表し、１３階のトイレエリアの情報を携帯機器４の撮影位置情報として含む画像データを取得する。このとき、判断部１３は、例えば判断モデルなどに基づいて、提供すべきサービスの種類を、落とし物を対象物として回収し管理人室に集める遺失物収集サービスであると判断する。出力部１４は、当該判断結果に基づいて、出力するサービス情報を生成する。サービス情報は、撮影時に対象物が置かれていた場所に対応する撮影位置情報を、サービスの実施場所として含む。出力部１４は、サービス情報に基づいて、出力先の自律移動体２を選択する。出力部１４は、例えば、遺失物回収サービスを実施可能な自律移動体２を選択する。出力部１４は、選択した自律移動体２に、サービス情報を出力する。サービス情報を受け付けた自律移動体２は、サービスの実施場所である１３階のトイレエリアに移動し、対象物である遺失物を回収する。その後、自律移動体２は、回収した遺失物を管理人室まで搬送する。

【0042】

例えば、施設の５階に設けられた飲食エリアにおいて飲み物をこぼした利用者３は、携帯機器４を用いてこぼれた飲み物の画像を撮影する。このとき、携帯機器４は、現在の位置を撮影位置情報として取得する。利用者３は、携帯機器４を通じて、撮影した画像を表す画像データを、画像解析装置７などを通じて画像管理装置８に送信する。画像データは、撮影位置情報を含む。取得部１０は、被写体にこぼれた飲み物を含む画像を表し、５階の飲食エリアの情報を携帯機器４の撮影位置情報として含む画像データを取得する。このとき、判断部１３は、例えば判断モデルなどに基づいて、提供すべきサービスの種類を、こぼれた飲み物による汚れを対象物として除去する清掃サービスであると判断する。出力部１４は、当該判断結果に基づいて、出力するサービス情報を生成する。サービス情報は、撮影時に対象物が置かれていた場所に対応する撮影位置情報を、サービスの実施場所として含む。出力部１４は、サービス情報に基づいて、出力先の自律移動体２を選択する。出力部１４は、例えば、清掃サービスを実施可能な自律移動体２を選択する。出力部１４は、選択した自律移動体２に、サービス情報を出力する。サービス情報を受け付けた自律移動体２は、サービスの実施場所である５階の飲食エリアに移動し、対象物である汚れを除去する。

【0043】

続いて、図４および図５を用いて、管理システム１の動作の例を説明する。
図４および図５は、実施の形態１に係る管理システム１の動作の例を示すフローチャートである。

【0044】

図４において、判断モデルなどの学習の際の動作の例が示される。図４に示される動作は、管理システム１の運用を開始する前に予め行われるものであってもよいし、運用と並行して行われるものであってもよいし、運用中に定期的に行われるものであってもよい。

【0045】

ステップＳ１０１において、利用者３または管理人などが所持する携帯機器４は、入力される操作に応じて、サービスの対象物を被写体とする画像を撮影する。その後、ステップＳ１０２において、携帯機器４は、入力される操作に応じて、施設に設けられた無線通信器５、位置検出装置６、および画像解析装置７などを通じて、撮影された対象物の画像を画像管理装置８に送信する。その後、ステップＳ１０３において、位置検出装置６は、当該画像を撮影する際の携帯機器４の撮影位置情報および撮影方向情報を当該画像の画像データに付加する。

【0046】

その後、ステップＳ１０４において、サービス判断装置９の取得部１０は、画像管理装置８から画像データを取得する。取得部１０は、例えば管理人などが所持する携帯機器４またはその他の情報処理機器から、画像の被写体の検出情報および当該被写体を対象物とするサービスの種類の判断結果などの情報を取得する。このとき、取得部１０は、利用者３によるサービスの種類の訂正の有無、および訂正がある場合の訂正されたサービスの種類などの情報を、利用者３が所持する携帯機器４から取得してもよい。その後、管理システム１の処理は、ステップＳ１０５に進む。

【0047】

ステップＳ１０５において、学習部１１は、サービスの種類などの判断結果と、撮影位置情報および撮影方向情報を含む画像データとを組み合わせて、訓練データとして訓練データセットに蓄積する。その後、管理システム１の処理は、ステップＳ１０６に進む。

【0048】

ステップＳ１０６において、学習部１１は、訓練データセットとして蓄積されたデータが十分であるかを判定する。学習部１１は、例えば、訓練データセットのデータ量に基づいてこの判定を行ってもよいし、訓練データセットのデータの網羅性などに基づいてこの判定を行ってもよい。蓄積されたデータが十分であると判定する場合に、管理システム１の処理は、ステップＳ１０７に進む。一方、蓄積されたデータが十分でないと判定する場合に、管理システム１は、訓練データの収集を継続する。その後、ステップＳ１０１からの処理が繰り返される。

【0049】

ステップＳ１０７において、学習部１１は、蓄積された訓練データセットおよび学習エンジンを用いて、判断モデルを出力する。記憶部１２は、出力される判断モデルを記憶する。その後、判断モデルなどの学習についての管理システム１の処理は、終了する。

【0050】

図５において、管理システム１の運用の際の動作の例が示される。この例において、自律移動体２は、例えばカメラなどの画像を撮影する機能を有する機器を搭載する。また、自律移動体２が画像を撮影するときの撮影位置情報および撮影方向情報は、例えば携帯機器４が画像を撮影するときの撮影位置情報および撮影方向情報と同様に取得される。

【0051】

ステップＳ２０１において、利用者３が所持する携帯機器４は、利用者３の操作に応じて、サービスの対象物を被写体とする画像を撮影する。その後、ステップＳ２０２において、携帯機器４は、利用者３の操作に応じて、施設に設けられた無線通信器５、位置検出装置６、および画像解析装置７などを通じて、撮影された対象物の画像を画像管理装置８に送信する。その後、ステップＳ２０３において、位置検出装置６は、当該画像を撮影する際の携帯機器４の撮影位置情報および撮影方向情報を当該画像の画像データに付加する。

【0052】

その後、ステップＳ２０４において、サービス判断装置９の取得部１０は、画像管理装置８から画像データを取得する。その後、管理システム１の処理は、ステップＳ２０５に進む。

【0053】

ステップＳ２０５において、判断部１３は、記憶部１２が記憶する判断モデルに、撮影位置情報および撮影方向情報を含む画像データを入力することで得られる出力によって、サービスの種類を判断する。その後、管理システム１の処理は、ステップＳ２０６に進む。

【0054】

ステップＳ２０６において、出力部１４は、判断部１３が判断するサービスの種類の情報を含むサービス情報の出力先を判定する。この例において、出力部１４は、サービスの種類に基づいて、施設において稼働するいずれかの自律移動体２を出力先として選択する。出力部１４は、選択した自律移動体２にサービス情報を出力する。その後、管理システム１の処理は、ステップＳ２０７に進む。

【0055】

ステップＳ２０７において、サービス情報を受け付けた自律移動体２は、サービスの実施場所まで移動する。自律移動体２は、サービスの実施場所において、サービス情報において指定された対象物を撮影する。自律移動体２は、撮影した対象物の画像を表す画像データを、サービス判断装置９に送信する。このとき送信される画像データは、自律移動体２が当該画像を撮影するときの撮影位置情報および撮影方向情報を含む。当該画像データは、第２画像データの例である。その後、管理システム１の処理は、ステップＳ２０８に進む。

【0056】

ステップＳ２０８において、サービス判断装置９の取得部１０は、自律移動体２が撮影した画像を表す画像データを取得する。出力部１４は、自律移動体２が撮影した画像の被写体が、サービスの種類を判定した対象物と合致するかを判定する。このとき、出力部１４は、画像解析などによって対象物との合致を判定してもよい。また、出力部１４は、携帯機器４が撮影した画像データの撮影位置情報および撮影方向情報と、自律移動体２が撮影した画像データの撮影位置情報および撮影方向情報とを用いて、対象物との合致を判定してもよい。出力部１４は、例えば、これらの撮影位置情報または撮影方向情報が予め設定された範囲内で一致しない場合に、撮影された画像自体が類似していたとしても、自律移動体２が撮影した画像の被写体はサービスの対象物と合致しないと判定する。自律移動体２が撮影した画像の被写体はサービスの対象物と合致しないと判定する場合に、運用の際のサービスの提供についての管理システム１の処理は、終了する。このとき、出力部１４は、サービス提供を中止させる情報を自律移動体２に出力してもよい。一方、自律移動体２が撮影した画像の被写体はサービスの対象物と合致すると判定する場合に、管理システム１の処理は、ステップＳ２０９に進む。

【0057】

ステップＳ２０９において、出力部１４は、サービス提供を実行させる情報を自律移動体２に出力する。当該情報を受け付けた自律移動体２は、対象物を対象としたサービスの提供を実行する。サービスの提供が完了した後に、運用の際のサービスの提供についての管理システム１の処理は、終了する。

【0058】

以上に説明したように、実施の形態１に係るサービス判断装置９は、取得部１０と、判断部１３と、出力部１４と、を備える。取得部１０は、携帯機器４などの撮像装置が対象物を撮影して得られる画像を表す画像データを取得する。判断部１３は、複数の種類のサービスのうちから、取得部１０が取得する画像データに基づいて、当該対象物を対象とするサービスの種類を判断する。出力部１４は、判断部１３が判断するサービスの種類の情報を含むサービス情報をサービスの提供者に出力する。このような構成により、利用者３は、携帯機器４を用いて対象物の画像を撮影して送信するだけで、当該対象物を対象とする適切なサービスを利用できるようになる。また、サービスの提供者は、提供すべきサービスの種類が自動判断された状態でサービス情報を得ることができるので、サービス提供の際の業務などがより効率化されるようになる。

【0059】

また、判断部１３は、対象物を撮影したときの携帯機器４の位置を撮影位置情報として、撮影位置情報に基づいてサービスの実施場所を判断する。出力部１４は、実施場所の情報をサービス情報に含めて出力する。このような構成により、サービスを提供すべき実施場所において速やかにサービスが提供されるようになる。例えば、自律移動体２がサービスを提供する場合に、自律移動体２を実施場所に移動させることで、速やかなサービスの提供が可能になる。また、サービス業者のスタッフがサービスを提供する場合に、当該スタッフに実施場所を連絡することで、速やかなサービスの提供が可能になる。なお、サービス情報は、必ずしもサービスの実施場所の情報を含まなくてもよい。例えば、サービスの種類などから実施すべきサービスの内容または実施場所が明確である場合、またはサービスの種類が例えば施設全体を対象とするものである場合などに、サービス情報は、サービスの実施場所の情報を含まなくてもよい。

【0060】

また、判断部１３は、画像データおよび撮影位置情報に基づいて、対象物を対象とするサービスの種類を判断する。このような構成により、例えば梱包体などの同一の対象物に対しても、置かれた場所に応じて適切なサービスが提供されるようになる。例えば、段ボールなどの梱包体が執務エリアにある場合には集荷サービスを提供すべきと判断され、段ボールなどの梱包体がトイレエリアにある場合には遺失物回収サービスを提供すべきと判断される、などのように、適切なサービスが提供されるようになる。なお、判断部１３は、撮影位置情報などを用いずにサービスの種類を判断してもよい。例えば、画像の被写体などから実施すべきサービスの内容が明確である場合などに、判断部１３は、撮影位置情報などを用いずにサービスの種類を判断してもよい。判断部１３は、例えば、こぼれた飲み物などを被写体とする画像に対して、清掃サービスを提供すべきと判断してもよい。

【0061】

また、出力部１４は、サービスを提供する自律移動体２にサービス情報を出力する。出力部１４は、サービス情報に含まれるサービスの種類に基づいて選択した自律移動体２に、サービス情報を出力する。このような構成により、対象物を対象とするサービスに適した自律移動体２が選択され、利用者３へのサービスの提供が行われるようになる。これにより、利用者３の利便性がより高められる。

【0062】

また、取得部１０は、サービス情報の出力を受けた自律移動体２が撮影して得られる画像を表す画像データを取得する。出力部１４は、当該画像の被写体がサービスの対象物と合致する場合に、サービスを提供させる情報を当該自律移動体２に出力する。一方、当該画像の被写体がサービスの対象物と合致しない場合に、サービスを提供させる情報を自律移動体２に出力しない。このとき、出力部１４は、サービスの提供を中止させる情報を自律移動体２に出力してもよい。このような構成により、自律移動体２がサービスの対象物に相対していることを確認した上で、サービスの提供が行われるようになる。これにより、自律移動体２が誤った対象物に対してサービスを実行することが抑制される。

【0063】

また、自律移動体２が撮影する画像の被写体がサービスの対象物に合致するか否かの判定は、携帯機器４が撮影する画像を表す画像データの撮影位置情報または撮影方向情報、および自律移動体２が撮影する画像を表す画像データの撮影位置情報または撮影方向情報に基づいて行われる。ここで、当該判定において、撮影位置情報および撮影方向情報の一方または両方が用いられてもよい。このような構成により、自律移動体２が誤った対象物に対してサービスを実行することがより確実に抑制される。例えば撮影位置情報および撮影方向情報によって被写体の位置が特定されるため、対象物と外観上似た類似物が対象物の近傍に置かれている場合においても、類似物および対象物がより確実に判別される。なお、自律移動体２が撮影する画像の被写体がサービスの対象物に合致するか否かの判定は、撮影位置情報または撮影方向情報を用いずに行われてもよい。

【0064】

また、サービス判断装置９は、記憶部１２を備える。記憶部１２は、判断モデルを記憶する。判断モデルは、画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする学習済みモデルである。判断部１３は、画像データを入力として判断モデルを用いることで、対象物を対象とするサービスの種類を判断する。このような構成により、機械学習などの手法によってサービスの種類の判断が可能になるので、施設の実情などにより適合した判断が行われるようになる。

【0065】

なお、撮像装置は、携帯機器４でなくてもよい。撮像装置は、例えば、施設に設置された監視カメラなどであってもよい。このとき、管理システム１において、当該監視カメラが設置された位置の情報が撮影位置情報として取り扱われてもよい。なお、撮像装置が監視カメラである場合などに、撮像装置自体の位置と被写体の位置との間に距離がある可能性がある。このとき、判断部１３は、画像データおよび環境地図情報の比較によって算出される位置を、画像データの撮影位置情報としてもよい。環境地図情報は、例えば、施設内の壁、床、天井、柱、および梁などの建築構造物の位置および外観の情報、または施設内に設けられた設備および家具などの配置物の位置および外観の情報などであってもよい。環境地図情報は、例えば建築構造物または配置物の写真データなどであってもよい。判断部１３は、例えば、撮像装置が撮影した画像の背景と環境地図情報との比較によって、対象物の位置を取得してもよい。

【0066】

続いて、図６を用いて、管理システム１のハードウェア構成の例について説明する。
図６は、実施の形態１に係る管理システム１の主要部のハードウェア構成図である。

【0067】

管理システム１の各機能は、処理回路により実現し得る。処理回路は、少なくとも１つのプロセッサ１００ａと少なくとも１つのメモリ１００ｂとを備える。処理回路は、プロセッサ１００ａおよびメモリ１００ｂと共に、あるいはそれらの代用として、少なくとも１つの専用ハードウェア２００を備えてもよい。

【0068】

処理回路がプロセッサ１００ａとメモリ１００ｂとを備える場合、管理システム１の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせで実現される。ソフトウェアおよびファームウェアの少なくとも一方は、プログラムとして記述される。そのプログラムはメモリ１００ｂに格納される。プロセッサ１００ａは、メモリ１００ｂに記憶されたプログラムを読み出して実行することにより、管理システム１の各機能を実現する。

【0069】

プロセッサ１００ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰともいう。メモリ１００ｂは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの、不揮発性または揮発性の半導体メモリなどにより構成される。

【0070】

処理回路が専用ハードウェア２００を備える場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらの組み合わせで実現される。

【0071】

管理システム１の各機能は、それぞれ処理回路で実現することができる。あるいは、管理システム１の各機能は、まとめて処理回路で実現することもできる。管理システム１の各機能について、一部を専用ハードウェア２００で実現し、他部をソフトウェアまたはファームウェアで実現してもよい。このように、処理回路は、専用ハードウェア２００、ソフトウェア、ファームウェア、またはこれらの組み合わせで管理システム１の各機能を実現する。

【0072】

以上の説明をまとめると、本開示に係る技術の取りうる構成は、以下に付記として示す各構成などを含む。
（付記１）
撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得する取得部と、
複数の種類のサービスのうちから、前記取得部が取得する前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断する判断部と、
前記判断部が判断するサービスの種類の情報を含むサービス情報をサービスの提供者に出力する出力部と、
を備える、サービス判断装置。
（付記２）
前記判断部は、前記対象物を撮影したときの前記撮像装置の位置を前記第１画像データの撮影位置情報として、前記撮影位置情報に基づいてサービスの実施場所を判断し、
前記出力部は、前記実施場所の情報を前記サービス情報に含めて出力する、
付記１に記載のサービス判断装置。
（付記３）
前記判断部は、前記第１画像データおよび環境地図情報の比較によって算出される位置を前記第１画像データの撮影位置情報として、前記撮影位置情報に基づいてサービスの実施場所を判断し、
前記出力部は、前記実施場所の情報を前記サービス情報に含めて出力する、
付記１に記載のサービス判断装置。
（付記４）
前記判断部は、前記第１画像データおよび前記第１画像データの前記撮影位置情報に基づいて、前記対象物を対象とするサービスの種類を判断する、
付記２または付記３に記載のサービス判断装置。
（付記５）
前記出力部は、前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体に前記サービス情報を出力する、
付記１から付記４のいずれか一項に記載のサービス判断装置。
（付記６）
前記出力部は、前記複数の種類のサービスのうちの少なくともいずれかを各々が提供する複数の自律移動体のうち、前記サービス情報に含まれるサービスの種類に基づいて選択した自律移動体に、前記サービス情報を出力する、
付記５に記載のサービス判断装置。
（付記７）
前記取得部は、前記サービス情報の出力を前記出力部から受けた自律移動体が撮影して得られる画像を表す第２画像データを取得し、
前記出力部は、前記第２画像データの画像の被写体が前記対象物と合致する場合に、前記対象物を対象として前記サービスを提供させる情報を当該自律移動体に出力し、前記第２画像データの画像の被写体が前記対象物と合致しない場合に、前記サービスを提供させる情報を当該自律移動体に出力しない、
付記５または付記６に記載のサービス判断装置。
（付記８）
前記第２画像データの画像の被写体が前記対象物に合致するか否かの判定は、前記第１画像データの画像を撮影したときの前記撮像装置の向きを表す前記第１画像データの撮影方向情報および前記第２画像データの画像を撮影したときの前記自律移動体の向きを表す前記第２画像データの撮影方向情報に基づいて行われる、
付記７に記載のサービス判断装置。
（付記９）
画像を表す画像データおよび当該画像の被写体を対象とするサービスの種類の組によって予め学習された、画像データを入力としてサービスの種類を出力とする判断モデルを記憶する記憶部
を備え、
前記判断部は、前記第１画像データを入力として前記判断モデルを用いることで、前記対象物を対象とするサービスの種類を判断する、
付記１から付記８のいずれか一項に記載のサービス判断装置。
（付記１０）
画像を撮影する撮像装置と、
前記撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得する取得部と、
複数の種類のサービスのうちから、前記取得部が取得する前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断する判断部と、
前記判断部が判断するサービスの種類の情報を含むサービス情報をサービスの提供者に出力する出力部と、
を備える、サービス判断システム。
（付記１１）
撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得する取得部と、
複数の種類のサービスのうちから、前記取得部が取得する前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断する判断部と、
前記複数の種類のサービスのうちの少なくともいずれかを提供する自律移動体と、
前記判断部が判断するサービスの種類の情報を含むサービス情報を前記自律移動体に出力する出力部と、
を備える、移動体システム。
（付記１２）
コンピュータが、
撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得することと、
複数の種類のサービスのうちから、取得した前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断することと、
前記対象物を対象とするサービスの種類として判断したサービスの種類の情報を含むサービス情報をサービスの提供者に出力することと、
を実行する、サービス判断方法。
（付記１３）
コンピュータに、
撮像装置が対象物を撮影して得られる画像を表す第１画像データを取得することと、
複数の種類のサービスのうちから、取得した前記第１画像データに基づいて、前記対象物を対象とするサービスの種類を判断することと、
前記対象物を対象とするサービスの種類として判断したサービスの種類の情報を含むサービス情報をサービスの提供者に出力することと、
を実行させる、サービス判断プログラム。

【符号の説明】

【0073】

１ 管理システム、 ２ 自律移動体、 ３ 利用者、 ４ 携帯機器、 ５ 無線通信器、 ６ 位置検出装置、 ７ 画像解析装置、 ８ 画像管理装置、 ９ サービス判断装置、 １０ 取得部、 １１ 学習部、 １２ 記憶部、 １３ 判断部、 １４ 出力部、 １００ａ プロセッサ、 １００ｂ メモリ、 ２００ 専用ハードウェア

【要約】      （修正有）

【課題】対象物を対象とするサービスの利用者が適切なサービスをより少ない手間で利用できるようにする、サービス判断装置、サービス判断システム、移動体システム、サービス判断方法およびサービス判断プログラムを提供する。
【解決手段】管理システム１において、サービス判断装置９は、取得部１０と、判断部１３と、出力部１４と、を備える。取得部１０は、携帯機器４などの撮像装置が対象物を撮影して得られる画像を表す画像データを取得する。判断部１３は、複数の種類のサービスのうちから、取得部１０が取得する画像データに基づいて、当該対象物を対象とするサービスの種類を判断する。出力部１４は、判断部１３が判断するサービスの種類の情報を含むサービス情報をサービスの提供者に出力する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】