特許 7428673 危険度検出システム、危険度検出装置、危険度検出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】危険度検出システム、危険度検出装置、危険度検出方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240130BHJP

【ＦＩ】

G06T7/00 Z

【請求項の数】 10

(21)【出願番号】P 2021018077

(22)【出願日】2021-02-08

(65)【公開番号】P2022120980

(43)【公開日】2022-08-19

【審査請求日】2022-03-01

【前置審査】

(73)【特許権者】

【識別番号】306029774

【氏名又は名称】ビッグローブ株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(74)【復代理人】

【識別番号】100187230

【弁理士】

【氏名又は名称】佐藤 晶司

(72)【発明者】

【氏名】芳賀 康平

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１３－１８２２７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

撮影手段と、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識手段と、
物体についてウイルスまたは菌またはダニまたはハウスダストまたは花粉または黄砂が付着している危険性を示す危険度に関するデータが物体毎に登録されたデータベースと、
前記データベースに登録されたデータに基づいて、前記認識手段にて認識された物体の危険度を判定する判定手段と、
前記判定手段にて判定された危険度を表示する表示手段とを有する、危険度検出システム。

【請求項2】

撮影手段と、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識手段と、
物体についてウイルスまたは菌またはダニまたはハウスダストまたは花粉または黄砂が付着している危険性を示す危険度に関するデータが物体毎に登録されたデータベースと、
前記データベースに登録されたデータに基づいて、前記認識手段にて認識された物体の危険度を判定する判定手段と、
前記判定手段にて判定された危険度を表示する表示手段とを有し、
前記データベースには、前記撮影手段にて撮影されて前記認識手段にて認識された旨を示す履歴情報が、前記危険度に関するデータとして物体毎に登録されており、
前記判定手段は、前記認識手段にて認識された物体の前記履歴情報に基づいて当該物体の危険度を判定する、危険度検出システム。

【請求項3】

請求項２に記載の危険度検出システムにおいて、
前記判定手段は、前記認識手段にて物体が認識された場合、前記履歴情報に基づいて、当該物体が前記認識手段にて前回認識されたタイミングからの経過時間に応じた危険度を、当該物体の危険度として判定する、危険度検出システム。

【請求項4】

撮影手段と、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識手段と、
物体についてウイルスまたは菌またはダニまたはハウスダストまたは花粉または黄砂が付着している危険性を示す危険度に関するデータが物体毎に登録されたデータベースと、
前記データベースに登録されたデータに基づいて、前記認識手段にて認識された物体の危険度を判定する判定手段と、
前記判定手段にて判定された危険度を表示する表示手段とを有し、
前記データベースには、物体の使用状況が前記危険度に関するデータとして物体毎に登録されており、
前記判定手段は、前記認識手段にて認識された物体の使用状況に基づいて当該物体の危険度を判定する、危険度検出システム。

【請求項5】

請求項１乃至４のいずれか１項に記載の危険度検出システムにおいて、
前記データベースには、物体の材質または用途に応じた危険度が前記データとして物体毎に登録されている、危険度検出システム。

【請求項6】

請求項１乃至５のいずれか１項に記載の危険度検出システムにおいて、
前記データベースには、前記危険度が判定された場合の対処方法が物体毎に登録されており、
前記認識手段にて認識された物体について前記判定手段にて危険度が判定された場合の対処方法を前記データベースから抽出する対処方法抽出手段を有し、
前記表示手段は、前記対処方法抽出手段にて抽出された対処方法を表示する、危険度検出システム。

【請求項7】

請求項１乃至６のいずれか１項に記載の危険度検出システムにおいて、
前記データベースには、屋内空間に置かれる物体についての危険性を示す危険度に関するデータが物体毎に登録されており、
前記判定手段は、前記認識手段にて過去に認識された物体を基に、前記屋内空間に存在する既存の物体ではない物が含まれているか、または、過去に認識された物体の位置を基に、前記屋内空間の存在する位置以外に物体が存在しているか、または、過去に認識された物体の形状を基に、前記屋内空間に存在する物体が異なる形状になっているかを、当該物体の危険度として判定を行う、危険度検出システム。

【請求項8】

撮影手段にて撮影された画像に含まれる物体の危険度を、物体についてウイルスまたは菌またはダニまたはハウスダストまたは花粉または黄砂が付着している危険性を示す危険度に関するデータが物体毎に登録されたデータベースを参照して検出する危険度検出装置であって、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識手段と、
前記データベースに登録されたデータに基づいて、前記認識手段にて認識された物体の危険度を判定する判定手段とを有する、危険度検出装置。

【請求項9】

撮影手段にて撮影された画像に含まれる物体の危険度を、物体についてウイルスまたは菌またはダニまたはハウスダストまたは花粉または黄砂が付着している危険性を示す危険度に関するデータが物体毎に登録されたデータベースを参照して検出する危険度検出方法であって、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識ステップと、
前記データベースに登録されたデータに基づいて、前記認識ステップにて認識された物体の危険度を判定する判定ステップとを有する、危険度検出方法。

【請求項10】

撮影手段にて撮影された画像に含まれる物体の危険度を、物体についてウイルスまたは菌またはダニまたはハウスダストまたは花粉または黄砂が付着している危険性を示す危険度に関するデータが物体毎に登録されたデータベースを参照して検出するコンピュータに実行させるプログラムであって、
コンピュータに、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識手順と、
前記データベースに登録されたデータに基づいて、前記認識手順にて認識された物体の危険度を判定する判定手順とを実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影された画像に含まれる物体の危険度を検出する技術に関する。

【背景技術】

【0002】

従来より、地球上では感染症の元となる様々な菌やウィルスが発生しており、それに応じた様々な対策がなされている。近年では、感染力が強いウィルスが発生、蔓延する場合もある。菌だけでなく、感染力が強いウィルスは、感染者が触れた物体に何時間も生きたまま付着しているため、その後、非感染者がその物体に触れた場合、菌やウィルスに感染してしまう確率が高くなってしまう。

【0003】

そのため、従来は、ドアノブ等の多くの人が触れる箇所については、多くの人は、それ以前に誰が触れたかを気にせず触れていたものの、近年では、人が触れる箇所から、他人に感染を拡大させる要因となってしまうことがある。

【0004】

特許文献１～３には、自車の走行状態や位置情報と物体の位置情報とに基づいて危険度を検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１４－１０８００号公報

【文献】特開２００６－２１９０７７号公報

【文献】特開平５－５２６０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したような物体を介しての菌やウィルスの感染は、その物体の材質や用途あるいは使用頻度等によってその確率が異なる。しかしながら、特許文献１～３に開示された技術は、自車の走行状態や位置情報と物体の位置情報とに基づいて危険度を検出するものであるため、物体そのものについて菌やウィルスの付着等といった外的要因によって生じる危険性を示す危険度を検出することができないという問題点がある。

【0007】

本発明は、上述したような従来の技術が有する問題点に鑑みてなされたものであって、物体そのものについて菌やウィルスの付着等といった外的要因によって生じる危険性を示す危険度を検出することができる、危険度検出システム、危険度検出装置、危険度検出方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために本発明の危険度検出システムは、
撮影手段と、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識手段と、
物体についての危険性を示す危険度に関するデータが物体毎に登録されたデータベースと、
前記データベースに登録されたデータに基づいて、前記認識手段にて認識された物体の危険度を判定する判定手段と、
前記判定手段にて判定された危険度を表示する表示手段とを有する。

【0009】

また、本発明の危険度検出装置は、
撮影手段にて撮影された画像に含まれる物体の危険度を、物体についての危険性を示す危険度に関するデータが物体毎に登録されたデータベースを参照して検出する危険度検出装置であって、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識手段と、
前記データベースに登録されたデータに基づいて、前記認識手段にて認識された物体の危険度を判定する判定手段とを有する。

【0010】

また、本発明の危険度検出方法は、
撮影手段にて撮影された画像に含まれる物体の危険度を、物体についての危険性を示す危険度に関するデータが物体毎に登録されたデータベースを参照して検出する危険度検出方法であって、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識ステップと、
前記データベースに登録されたデータに基づいて、前記認識ステップにて認識された物体の危険度を判定する判定ステップとを有する。

【0011】

また、本発明のプログラムは、
撮影手段にて撮影された画像に含まれる物体の危険度を、物体についての危険性を示す危険度に関するデータが物体毎に登録されたデータベースを参照して検出するコンピュータに実行させるプログラムであって、
コンピュータに、
前記撮影手段にて撮影された画像に含まれる物体を認識する認識手順と、
前記データベースに登録されたデータに基づいて、前記認識手順にて認識された物体の危険度を判定する判定手順とを実行させる。

【発明の効果】

【0012】

本発明によれば、物体そのものについて菌やウィルスの付着等といった外的要因によって生じる危険性を示す危険度を検出することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の危険度検出システムの第１の実施の形態を示す図である。

【図2】図１に示したスマートフォンの構成を示す図である。

【図3】図１に示した危険度検出サーバーの構成を示す図である。

【図4】図１～図３に示した危険度検出システムにおける基本的な処理を説明するためのフローチャートである。

【図5】図１に示したデータベースに登録された危険度データの一構成例を示す図である。

【図6】図１に示した危険度検出システムにおいて危険度検出サーバーから送信された表示データを基に、スマートフォンにて表示される危険度表示画面の例を示す図である。

【図7】図１に示したデータベースに登録された危険度データの他の例を示す図である。

【図8】図１～図３に示した危険度検出システムにおいてデータベースに登録された物体の履歴情報に基づいてその物体の危険度を判定する処理を説明するためのフローチャートである。

【図9】図１に示したデータベースに登録された対処方法データの例を示す図である。

【図10】図１～図３に示した危険度検出システムにおいてスマートフォンの表示部に危険度が表示された物体に対する対処方法を表示する処理を説明するためのフローチャートである。

【図11】本発明の危険度検出システムの第２の実施の形態を示す図である。

【図12】図１１に示した危険度検出システムにおける処理を説明するためのフローチャートである。

【図13】図１１に示したデータベースに登録されたデータの一構成例を示す図である。

【図14】図１１に示した危険度検出システムにおいて危険度検出サーバーから送信されてパソコンにて表示される危険度を示す図である。

【発明を実施するための形態】

【0014】

以下に、本発明の実施の形態について図面を参照して説明する。

【0015】

（第１の実施の形態）
図１は、本発明の危険度検出システムの第１の実施の形態を示す図である。図２は、図１に示したスマートフォン１０の構成を示す図である。図３は、図１に示した危険度検出サーバー３０の構成を示す図である。

【0016】

本形態による危険度検出システムは図１に示すように、スマートフォン１０と、危険度検出サーバー３０と、データベース４０とを有している。

【0017】

スマートフォン１０は、利用者が所持する携帯端末である。スマートフォン１０は、屋内空間である部屋１内にいる利用者が、部屋１内を撮影し、部屋１内に置かれた物体についての危険度を表示する。なお、「部屋１内に置かれた物体」には、部屋１に備え付けられた物体や部屋１の壁に掛けられた物体、部屋１の天井に吊るされた物体、部屋１を構成する天井もしくは壁、床など一部品も含まれる。また、物体には、液体も含まれてもよい。

【0018】

スマートフォン１０は図２に示すように、通信部１１と、撮影部１２と、表示部１３と、操作部１４と、記憶部１５と、制御部１６とを有している。

【0019】

通信部１１は、例えば、４ＧやＬＴＥ、５Ｇ、無線ＬＡＮ等の通信方式によってアクセスポイント２０にアクセスし、通信回線５０を介して危険度検出サーバー３０と通信を行う。なお、アクセスポイント２０は、部屋１外に設置された基地局等でもよいし、部屋１内に設置された無線ＬＡＮルーター等でもよい。通信部１１は、例えば、各通信方式のネットワークインターフェースカードまたはネットワークインターフェースコントローラー等から構成されている。

【0020】

撮影部１２は、利用者の操作によって部屋１内を撮影するためのものである。撮影部１２は、例えば、レンズやイメージセンサー、画像処理回路等から構成されている。

【0021】

表示部１３は、例えば、液晶パネルまたは有機ＥＬパネル等から構成されている。表示部１３は、記憶部１５にインストールされたアプリケーションプログラムによる情報や操作ボタン、さらには、撮影部１２にて撮影された画像や危険度検出サーバー３０から送信されてきた危険度を含む情報を表示する。

【0022】

操作部１４は、例えば、表示部１３上に積層されたタッチパネル等から構成されており、利用者からの指示が入力される。

【0023】

記憶部１５は、例えば、ＲＡＭまたはフラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）等から構成されている。記憶部１５は、事前にインストールされた各種ＯＳやアプリケーションプログラム、データを記憶する。

【0024】

制御部１６は、例えば、ＣＰＵまたはＳｏＣ等から構成されている。制御部１６は、通信部１１、撮影部１２、表示部１３、操作部１４及び記憶部１５に対する信号のやりとりを制御することで、スマートフォン１０全体の動作を制御する。

【0025】

データベース４０には、物体についての危険性を示す危険度に関するデータが物体毎に登録されており、その詳細は後述する。

【0026】

危険度検出サーバー３０は、本願発明における危険度検出装置となるものである。危険度検出サーバー３０は、スマートフォン１０にて撮影された画像に含まれる物体を認識し、データベース４０を参照することでその物体についての危険性を示す危険度を判定し、スマートフォン１０に送信する。

【0027】

危険度検出サーバー３０は図３に示すように、通信部３１と、記憶部３２と、データベースアクセス部３３と、認識部３４と、判定部３５と、対処方法抽出部３６と、制御部３７とを有している。

【0028】

通信部３１は、例えば、各種ネットワークインターフェースカード、またはネットワークインターフェースコントローラー等から構成されている。通信部３１は、スマートフォン１０と通信回線５０を介して通信し、スマートフォン１０から送信されてきた画像を受信する。また、通信部３１は、データベース４０を参照して判定された物体の危険度を通信回線７０を介してスマートフォン１０に送信する。

【0029】

記憶部３２は、例えば、ハードディスクまたはＲＡＭ、ソリッドステートドライブ（ＳＳＤ）等から構成されており、インストールされた各種ＯＳやソフトウェアプログラム、データを記憶する。

【0030】

データベースアクセス部３３は、例えば、外部バスインターフェースコントローラーまたはネットワークインターフェースコントローラー等から構成され、データベース４０とケーブルやＬＡＮ等を介して接続されている。

【0031】

認識部３４は、スマートフォン１０から送信されてきた画像に含まれる物体を認識する。

【0032】

判定部３５は、データベース４０に登録されたデータに基づいて、認識部３４にて認識された物体の危険度を判定する。

【0033】

対処方法抽出部３６は、認識部３４にて認識された物体がスマートフォン１０にて指定された場合、その物体についての対処方法をデータベースアクセス部３３を介してデータベース４０から抽出する。認識部３４や判定部３５、対処方法抽出部３６は、例えば、記憶部３２に記憶されたソフトウェアプログラムが制御部３７によって、実行されたプログラム等から構成されている。

【0034】

制御部３７は、例えば、ＣＰＵまたはＳｏＣ等から構成されている。制御部３７は、通信部３１、記憶部３２、データベースアクセス部３３、認識部３４、判定部３５及び対処方法抽出部３６に対する信号のやりとりを制御することで、危険度検出サーバー３０全体の動作を制御する。

【0035】

以下に、上記のように構成された危険度検出システムにおける処理について説明する。

【0036】

図４は、図１～図３に示した危険度検出システムにおける基本的な処理を説明するためのフローチャートである。

【0037】

まず、スマートフォン１０の利用者が、部屋１にて操作部１４を操作することで、スマートフォン１０の制御部１６は、撮影部１２を起動させて部屋１内を撮影し（ステップＳ１）、撮影した画像を通信部１１を介して危険度検出サーバー３０に送信する（ステップＳ２）。なお、撮影部１２における撮影と通信部１１における画像の送信は、例えば、専用のアプリケーションプログラムをスマートフォン１０にインストールしておき、操作部１４への操作を検出した制御部１６が、このアプリケーションプログラムを起動させ、更に、アプリケーションプログラムにより表示部１３に表示されたシャッターボタンへの操作を検出することで撮影部１２にて撮影した画像を通信部１１を介して危険度検出サーバー３０に送信する。または、スマートフォン１０が、予めインストールされたＷＥＢブラウザにて危険度検出サーバー３０の所定のＵＲＬに対応するＷｅｂページにアクセスすることにより、危険度検出サーバー３０は、画像を受け付ける画像受付領域を含むＷＥＢページをスマートフォン１０に送信し、スマートフォン１０は、受信した画像受付領域を含むＷＥＢページを表示部１３に表示し、制御部１６が、その画像受付領域に対して、撮影部１２にて事前に撮影して記憶部１５に保存された画像をそのＷｅｂページの画面領域にドラッグ＆ドロップする操作を検出した際に、画像を通信部１１を介して危険度検出サーバー３０に送信する様にしてもよい。さらには、スマートフォン１０制御部１６が、撮影部１２にて予め撮影して記憶部１５に保存された画像をメールに添付し、危険度検出サーバー３０の所定のメールアドレスに送信する操作部１４への操作を検出した際に、通信部１１を介してその画像を危険度検出サーバー３０にメール送信する様にしてもよい。

【0038】

スマートフォン１０から送信された画像は、通信回線５０を介して危険度検出サーバー３０の通信部３１にて受信される（ステップＳ３）。

【0039】

すると、危険度検出サーバー３０においてはまず、認識部３４において、スマートフォン１０から送信されてきた画像に含まれる物体とその画像内における位置を認識する（ステップＳ４）。認識される物体は、例えば、テーブルやドアノブ等の部屋１や店舗などの屋内空間に置かれるものであり、危険度が検出されるものとして予めその色や形状データ等とそれに対応する物体を特定する識別子（本実施形態では、物体毎に付与され、その物体を一意に特定するＩＤを識別子として説明するが、識別子として物体の名称などを使用する場合は、ＩＤは無くてもよい。）に対応づけられ物体データとして、データベース４０に登録されており、認識部３４においては、データベースアクセス部３３を介してデータベース４０にアクセスし、スマートフォン１０から送信されてきた画像中に、物体データに登録された物体が存在するかどうかを、例えば、周知の画像認識技術を用いて判断し、物体を認識することになる。また、認識部３４における画像認識にＡＩを用いれば、認識される物体としてその形状が登録されていないものであっても、学習データを用いることで物体を認識することができるようになる。なお、認識される物体は、ソファーの肘掛けなどの物体を構成する一部であってもよい。画像内における位置は、例えば、画像内の物体の輪郭線または物体の中心点などが画像内でどの位置にあるかを示す位置情報として認識される。また、物体の認識は、スマートフォン１０による撮影場所が特定されている場合は、画像内の物体の配置位置を予め登録しておき、その位置を認識することで行ってもよい。また、撮影部１２にて撮影された画像に含まれる物体を危険度検出サーバー３０にて認識するのではなく、スマートフォン１０にて認識してもよい。その場合、認識部３４は、スマートフォン１０が有しているが、認識するためのデータも、ネットワーク経由で接続可能なデータベース４０に記憶されていても、スマートフォン１０が記憶していてもよい。なお、ここでは認識部３４にて認識された物体として、物体を特定するＩＤが出力される。

【0040】

次に、判定部３５が、データベースアクセス部３３を介してデータベース４０にアクセスし、データベース４０に登録された危険度データに基づいて、認識部３４にて認識された物体のＩＤに対応する危険度を判定する（ステップＳ５）。

【0041】

図５は、図１に示したデータベース４０に登録された危険度データの一構成例を示す図である。

【0042】

図５に示すように図１に示したデータベース４０には、部屋１などの居室や店舗などの屋内空間に置かれ、認識部３４にて認識される物体のそれぞれを特定するための識別子として予め付与されたＩＤと、その物体の名称と、その危険性を示す危険度とが危険度データとして登録されている。ここでは、物体の識別子としてＩＤが使用され、物体の名称も危険度データに登録されているが、ＩＤと物体の名称の対応関係が危険度データとは別のデータとしてデータベース４０に登録されている場合は、危険度データに物体の名称は無くてもよい。以下の説明で出てくる表形式のデータでも同様であるが、説明のわかりやすさのため各表のデータにＩＤとともに物体の名称も記載している。また、物体の識別子として物体の名称が使用されている場合は、ＩＤは無くてもよいのも同様である。この危険度は、物体の材質や用途に応じて予め設定されている。例えば、テーブルについては、人が話をする時に飛沫が付着する可能性が高いと考えられるものであるため、危険度が“高”に設定されている。また、リビングのドアノブについては、人が頻繁に触れやすいものであるため、危険度が“高”に設定されている。また、ハンガーかけは、人がそれほど頻繁に触れるものではないと考えられるため、危険度が“中”に設定されている。また、ソファーは、その材質がウィルスが長時間生存しにくいものであると考えられるため、危険度が“低”に設定されている。なお、危険度は、低から高までの３段階以外の度合いを持たせてもよい。ただ、危険度は、複数の度合いがあることが好ましい。物体の材質も認識可能な場合は、材質別に物体を細分化してデータベース４０に記憶しておいてもよい。また、本実施形態の説明では、危険度の対象をウィルスを例にして説明しているが、危険度の対象は、菌やダニ、ハウスダスト、花粉、黄砂などでもよく、危険度の対象毎に危険度を細分化して、データベース４０に記憶しておいてもよい。

【0043】

判定部３５は、上記のようなデータベース４０を参照し、認識部３４にて認識された物体のそれぞれのＩＤについて対応する危険度を判定し、危険度を示す表示データを生成する。表示データは、部屋を撮影した画像にて認識された物体の位置に対応させて危険度を表示するためのデータである。判定部３５は、認識部３４において認識された物体の画像内における位置を示す位置情報と危険度とを対応付けて表示データを作成する。なお、危険度検出サーバー３０が、部屋撮影した画像に、認識された物体の位置に対応させて危険度が表示されるように合成した表示データを作成（表示データに部屋を撮影した画像が含まれる）してもよいし、部屋を撮影した画像は表示データに含めずに、スマートフォン１０の表示部１３に表示されている部屋撮影した画像に、認識された物体の位置に対応させて危険度が合成されて、表示部１３に表示されるようにした表示データを作成（スマートフォン１０側で危険度が合成される）してもよい。また、表示データに、認識された物体のＩＤや物体の名称も物体の位置と危険度に対応付けて作成してもよい。

【0044】

制御部３７は、判定部３５にて判定された危険度を含む表示データを通信部３１からスマートフォン１０へ送信する（ステップＳ６）。スマートフォン１０は、通信回線５０を介して表示データを通信部１１にて受信する（ステップＳ７）。

【0045】

その後、スマートフォン１０の制御部１６は、危険度検出サーバー３０から送信されて通信部１１にて受信された表示データを基にした危険度が表示された危険度表示画面をスマートフォン１０の表示部１３に表示する（ステップＳ８）。

【0046】

図６は、図１に示した危険度検出システムにおいて危険度検出サーバー３０から送信された表示データを基に、スマートフォン１０にて表示される危険度表示画面の例を示す図である。なお、図６においては、スマートフォン１０にて実際に表示される危険度表示画面をイラストとして記載している。

【0047】

危険度検出サーバー３０から送信されて通信部１１にて受信された表示データは、スマートフォン１０の表示部１３に危険度表示画面として表示されることになるが、その際、上述したように、表示データには、その物体の画像内における位置を示す位置情報が危険度に対応づけられているため、図６に示すように、危険度検出サーバー３０から送信されて通信部１１にて受信された表示データに含まれる危険度が、撮影部１２にて撮影された画像上にて、その危険度が判定された物体の位置に合成して表示し、更に、例えば、認識された物体の位置を示すために認識された物体を赤枠で囲む等して強調表示する。認識された物体の位置は、この他に、認識された物体の中心に点や矢印で示したり、認識された物体の輪郭線を示したりしてもよい。また、危険度検出サーバー３０にて、危険度に対応させて認識された物体の名称を表示データに含めて作成することにより、画像上の物体の位置に危険度とともに物体の名称をスマートフォン１０で表示してもよい。これにより、スマートフォン１０の利用者とって、撮影部１２にて撮影した部屋１内に置かれた物体のそれぞれの危険度がわかりやすくなる。ここで、表示データに撮影された画像が含まれない場合は、撮影部１２にて撮影され続ける現在の動画像にて、危険度が判定された物体の位置が変わっても、その認識された物体の位置に合わせて、危険度を追従させて表示させる位置を変更して表示するようにしてもよい。その際は、表示データにスマートフォン１０が画像から物体を認識するための色や形状の特徴データも含まれることが望ましい。また、表示データに撮影された画像が含まれる場合でも、スマートフォン１０が部屋を撮影した画像を危険度検出サーバー３０に送信し、危険度検出サーバー３０が、危険度が表示されるように部屋を撮影した画像に合成した画像をスマートフォン１０に送信するということを高速に処理すれば、同様のことはできる。

【0048】

このように、本形態においては、スマートフォン１０の撮影部１２にて部屋１内を撮影した場合、撮影された画像に含まれる物体が危険度検出サーバー３０の認識部３４にて認識され、危険度検出サーバー３０の判定部３５において、データベース４０が参照されて認識部３４にて認識された物体の危険度が判定され、その後、スマートフォン１０の表示部１３において、判定部３５にて判定された危険度が表示されるので、物体そのものについて菌やウィルスの付着等といった外的要因によって生じる危険性を示す危険度を検出することができる。

【0049】

図１～図３に示した危険度検出システムにおいては、上述したように、データベース４０に、物体の材質または用途に応じた危険度が物体毎に登録されており、これに基づいて、認識部３４にて認識された物体の危険度を判定するだけではなく、データベース４０に登録された物体の履歴情報に基づいてその物体の危険度を判定することもできる。

【0050】

図７は、図１に示したデータベース４０に登録された危険度データの他の例を示す図である。

【0051】

図７に示すように図１に示したデータベース４０において、さらに、認識部３４にて認識され、ＩＤが付与された物体のそれぞれについて、危険度の代わりに履歴情報として、スマートフォン１０の撮影部１２にて撮影されて危険度検出サーバー３０の認識部３４にて認識された前回の時刻が登録された構成も考えられる。

【0052】

図８は、図１～図３に示した危険度検出システムにおいてデータベース４０に登録された物体の履歴情報に基づいてその物体の危険度を判定する処理を説明するためのフローチャートである。

【0053】

図４に示したステップＳ１～Ｓ４における処理と同様に、撮影部１２にて部屋１内が撮影され、撮影された画像に含まれる物体が認識部３４にて認識された後（ステップＳ１１～Ｓ１４）、判定部３５においてはまず、データベースアクセス部３３を介してデータベース４０にアクセスし、認識部３４にて認識された物体について、スマートフォン１０の撮影部１２にて撮影されて危険度検出サーバー３０の認識部３４にて認識された前回の時刻を確認する（ステップＳ１５）。そして、判定部３５において、前回の時刻によるタイミングから今回認識した時刻までの経過時間に応じた危険度を、その物体の危険度として判定する（ステップＳ１６）。これは、前回、撮影部１２にて撮影され、認識部３４にて認識された物体については、その際に利用者によって清掃等の処理が行われたものと推定することができるためである。そのため例えば、前回、撮影部１２にて撮影されて認識部３４にて認識されたタイミングからの経過時間が短ければ危険度が低いと判定され、撮影部１２にて撮影されて認識部３４にて認識されたタイミングからの経過時間が長ければ危険度が高いと判定されることになる。また、清掃等の処理を行うべき間隔を、その物体毎にその材質や用途に応じて有する危険度によって予め設定しておき、撮影部１２にて撮影されて認識部３４にて認識されたタイミングからの経過時間を、認識された物体毎に、この設定された間隔と比較することで危険度を判定してもよい。その場合、撮影部１２にて撮影されて認識部３４にて認識されたタイミングからの経過時間がその物体について設定された間隔よりも短い場合は、危険度が低いと判定され、撮影部１２にて撮影されて認識部３４にて認識されたタイミングからの経過時間がその物体について設定された間隔と同じ場合は、危険度があると判定され、撮影部１２にて撮影されて認識部３４にて認識されたタイミングからの経過時間がその物体について設定された間隔よりも長い場合は、危険度が高いと判定されることが考えられる。例えば、使用回数や使用人数が多い物体は、短い間隔が設定され、使用回数や使用人数が少ない物体は、長い間隔が設定される。

【0054】

その後、データベース４０が登録された物体の前回の時刻を今回認識した時刻に更新し、判定部３５にて判定された危険度は、図４に示したステップＳ６～Ｓ８における処理と同様に、表示データとして通信部３１から送信され、スマートフォン１０の表示部１３に表示されることになる（ステップＳ１７～Ｓ１９）。

【0055】

これにより、物体の清掃等の処理が行われた間隔に応じてその危険度を検出することができる。なお、清掃ではなく、利用者によって使用されたものと推定することにした場合の変形例として、データベース４０において、ＩＤが付与された物体のそれぞれについて、履歴情報として、スマートフォン１０の撮影部１２にて撮影されて危険度検出サーバー３０の認識部３４にて認識された回数が登録された構成も考えられる。認識部３４にて認識された際に、データベース４０が認識した物体に対応する回数を１つ増やして更新し、判定部３５において、その回数に応じた危険度を、その物体の危険度として判定する（ステップＳ１６）。この変形例では、撮影部１２にて撮影されて認識部３４にて認識された回数は、使用回数と推測されるため、例えば、判定部３５は、この回数が予め設定した回数より少なければ危険度が低いと判定され、この回数が予め設定した回数より多ければ危険度が高いと判定することになる。上記と同様に、設定回数は、認識された物体毎に設けてもよい。

【0056】

図１～図３に示した危険度検出システムにおいては、さらに、スマートフォン１０の表示部１３に危険度が表示された物体に対する対処方法を表示部１３に表示する構成とすることもできる。

【0057】

図９は、図１に示したデータベース４０に登録された対処方法データの例を示す図である。図９に示す例では、データベース４０に登録された危険度データとＩＤと物体の名称で紐づけられた対処方法が別のテーブルとなった対処方法データの例を示しているが、危険度データのテーブルに対処方法の項目が追加されたデータであってもよい。

【0058】

図９に示すように図１に示したデータベース４０において、さらに、認識部３４にて認識され、ＩＤが付与された物体のそれぞれについて、判定部３５にて危険度が判定された場合の対処方法が登録された構成も考えられる。対処方法は、例えば、その物体に合わせた掃除や汚染防止、感染防止などの仕方やそれらに使用する商品の紹介などのうち、少なくとも１つである。なお、商品の紹介の他、その商品を購入できるＥＣサイトへのリンクやスマートフォン１０のＧＰＳ機能を用いてその商品を取り扱っている近隣の店舗を示す地図を表示部１３に表示してもよい。

【0059】

図１０は、図１～図３に示した危険度検出システムにおいてスマートフォン１０の表示部１３に危険度が表示された物体に対する対処方法を表示する処理を説明するためのフローチャートである。なお、ここでは、危険度検出サーバー３０は、その物体に付与されたＩＤを危険度と位置情報に対応付けて表示データを作成したとして説明している。

【0060】

上述したようにスマートフォン１０の表示部１３に物体の危険度が表示された状態（例えば、図４に示したステップＳ８）において、所望の物体またはその物体の危険度がタッチ等によって指定されると（ステップＳ２１）、指定された物体の位置情報またはその物体の危険度に対応付けられた物体のＩＤが通信部１１から危険度検出サーバー３０に送信される（ステップＳ２２）。ここで、上述したように、判定部３５にて判定された危険度の表示データが危険度検出サーバー３０にて作成される際、認識部３４において認識された物体の画像内における位置を示す位置情報と、危険度ともに、認識された物体のＩＤとが対応づけられて表示データが作成され、その表示データが危険度検出サーバー３０からスマートフォン１０に送信されているため、スマートフォン１０においては、表示部１３に表示された物体またはその物体の危険度が指定された場合、その物体に付与されたＩＤを認識することができる。

【0061】

スマートフォン１０の通信部１１から送信されたＩＤが通信回線５０を介して危険度検出サーバー３０の通知部３１にて受信されると（ステップＳ２３）、危険度検出サーバー３０の対処方法抽出部３６が、データベースアクセス部３３を介してデータベース４０にアクセスし、通信部３１にて受信されたＩＤが付与された物体に対する対処方法をデータベース４０の対処方法データから抽出する（ステップＳ２４）。

【0062】

対処方法抽出部３６にてデータベース４０から抽出された対処方法は、通信部３１から送信され（ステップＳ２５）、通信回線５０を介してスマートフォン１０の通信部１１にて受信される（ステップＳ２６）。

【0063】

その後、危険度検出サーバー３０から送信されて通信部１１にて受信された対処方法がスマートフォン１０の表示部１３に表示される（ステップＳ２７）。なお、認識された物体のＩＤが表示データに含まれていない場合でも、スマートフォン１０は、指定された物体の画像内での位置情報を危険度検出サーバー３０に送信することで、危険度検出サーバー３０は、認識部３４において認識された物体の画像内における位置を示す位置情報は把握しているので、対処方法抽出部３６が受信した位置情報を基に対応する物体のＩＤを判別することはできる。この場合、認識された物体のＩＤは表示データに無くてもよい。

【0064】

これにより、利用者は、スマートフォン１０で撮影した部屋１内に置かれた物体のそれぞれについて、危険度：高などの気になる危険度が検出された場合にそれに対する対処方法を知ることができる。

【0065】

（第２の実施の形態）
図１１は、本発明の危険度検出システムの第２の実施の形態を示す図である。

【0066】

本形態による危険度検出システムは図１１に示すように、図１に示したものに対して、スマートフォン１０を用いて部屋１内に置かれた物体の危険度を検出するのではなく、カメラ６０とパソコン７０とを用いて、屋内空間である店舗１０１内に置かれた物体の危険度を検出するものである。

【0067】

カメラ６０は、本願発明における撮影手段であって、店舗１０１内に設置されている。カメラ６０は、店舗１０１内の画像を撮影する、いわゆる防犯カメラのような機能を有する。カメラ６０は、撮影した画像を通信回線５０を介して危険度検出サーバー３０またはパソコン７０に送信する。カメラ６０は、図２に示したスマートフォン１０の撮影部１２と同様の役割を果たす。また、カメラ６０は、撮影した画像を、パソコン７０を経由して危険度検出サーバー３０に送信しても、パソコン７０を経由せずに、直接、危険度検出サーバー３０に送信してもよい。または、パソコン７０と危険度検出サーバー３０の両方に送信するようにしてもよい。なお、カメラ６０とパソコン７０が無線ＬＡＮ等の店舗内の通信回線により通信可能な構成でもよく、その場合、通信回線５０は、無線ＬＡＮ等の店舗内の通信回線と、４ＧやＬＴＥ、５Ｇ、光回線等の店舗外の通信回線などの複数の通信回線で構成されている。

【0068】

パソコン７０は、本願発明における表示手段となるディスプレイを有するものであって店舗１０１内あるいは店舗１０１を管理するエリアに設置されている。パソコン７０は、カメラ６０が撮影した画像と、危険度検出サーバー３０が判定し危険度とを通信回線５０を介して受信し、カメラ６０で撮影された画像に、危険度検出サーバー３０が判定した危険度を重ねて表示する。パソコン７０は、図２に示したスマートフォン１０の撮影部１２以外と同様の役割を果たす。つまり、カメラ６０とパソコン７０にて、図２に示したスマートフォン１０と同様を果たす。そのため、危険度検出サーバー３０も含めて、第１の実施の形態で説明した同様の点は、省略して説明する。

【0069】

危険度検出サーバー３０及びデータベース４０の構成は、図３に示したものと同様である。

【0070】

以下に、上記のように構成された危険度検出システムにおける処理について説明する。

【0071】

図１２は、図１１に示した危険度検出システムにおける処理を説明するためのフローチャートである。

【0072】

店舗１０１内において、カメラ６０によって店舗１０１内の画像が撮影されており、撮影された画像は通信回線５０を介してパソコン７０または危険度検出サーバー３０に送信される。撮影は、常時もしくは既定の時間帯で動画として撮影しても、既定の間隔や既定のタイミング（例：センサーで動きを感知した時など）で静止画として撮影してもよい。また、撮影された画像に変化が起きた際に送信されるようにしてもよい。

【0073】

ここで、カメラ６０で撮影された画像をパソコン７０経由で、危険度検出サーバー３０に送信する場合、パソコン７０は、カメラ６０から撮影された画像を受信すると、図１～図３に示したスマートフォン１０と同様に、通信回線５０を介して危険度検出サーバー３０に送信する。

【0074】

危険度検出サーバー３０においては、カメラ６０又はパソコン７０から、カメラ６０で撮影された画像が、通信回線５０を介して通信部３１にて受信されると、図１～図３に示したものと同様に、認識部３４において、カメラ６０から送信されてきた画像に含まれる物体とその画像内における位置を認識する。

【0075】

また、認識部３４は、認識した物体について、カメラ６０で撮影された画像に基づいて、その使用状況も認識し、使用状況となる使用回数をデータベース４０に登録していく。

【0076】

図１３は、図１１に示したデータベース４０に登録されたデータの一構成例を示す図である。

【0077】

図１３に示すように図１１に示したデータベース４０には、認識部３４にて認識した物体のそれぞれについて、その使用回数が登録されている。この使用回数は、例えば、テーブルについては、ある時点の画像で、店舗１０１に来店した客が席に座ってテーブルを使用したことを認識し、その後の画像で、席から出ていったことを認識部３４が認識した場合に、テーブルについての使用回数が１回加算されるようにして登録されていく。ドアノブやトイレなどのように、小さくて判別しにくい物体や隠れて不明確な物体などの使用状況は、ドアなどの出入りした人数を認識して、使用回数を推定してもよい。

【0078】

このように、認識部３４にて認識される物体のそれぞれについて、その使用回数がデータベース４０に登録されていく状態において、危険度検出サーバー３０の判定部３５は、データベース４０を参照し、データベース４０に登録されていく使用回数をカウントする（ステップＳ３１）。

【0079】

そして、使用回数が予め決められた回数である基準となる基準回数以上となった場合（ステップＳ３２）、その物体について、危険性が高いと判定し、例えば清掃が必要等といった危険度を示す情報を表示データとして作成し、その表示データが通信部３１から送信され（ステップＳ３３）、データベース４０に登録されている使用回数を０にリセットする。その後、表示データが、通信回線５０を介してパソコン７０にて受信される（ステップＳ３４）。表示データは、図１に示したものと同様に、危険度が送信される物体の画像内における位置を示す位置情報と、危険度とが対応づけられて危険度検出サーバー３０で作成される。なお、危険度を判定する基準回数は、物体毎に予め設定され、データベース４０に登録されている。それにより、例えば、テーブルは、使用回数が１回ごとに、危険度を表示し、ドアノブは、数回ごとに危険度を表示することができる。また、基準回数は、危険度が低い状態から高い状態まで、複数の段階が設定されており、その段階に応じた危険度を示す情報がデータベース４０に登録されており、認識部３４にて認識される物体のそれぞれについての危険度を含む表示データを作成してもよい。なお、カメラ６０から、直接、危険度検出サーバー３０に撮影された画像を受信する（カメラ６０からパソコンに撮影された画像が送信されない）場合は、危険度検出サーバー３０は、撮影された画像に危険度を合成した表示データを作成する。また、パソコン７０経由で、危険度検出サーバー３０が撮影された画像を受信する場合は、危険度検出サーバー３０は、表示データに撮影された画像を含めても含めなくてもよい。また、第１の実施の形態で説明した処理のために、表示データに物体の名称やＩＤを含めて作成してもよい。

【0080】

その後、危険度検出サーバー３０から送信されて通信部１１にて受信された危険度を含む表示データを基に、危険度表示画面がパソコン７０のディスプレイに表示される（ステップＳ３５）。

【0081】

図１４は、図１１に示した危険度検出システムにおいて危険度検出サーバー３０から送信されてパソコン７０にて表示される危険度を示す図である。なお、図１４においては、パソコン７０にて実際に危険度を表示する画面をイラストとして記載している。

【0082】

危険度検出サーバー３０から送信されてパソコン７０にて受信された危険度は、パソコン７０のディスプレイに表示されることになるが、その際、上述したように、表示データには、その物体の画像内における位置を示す位置情報が、その物体の危険度とともに含まれているため、図１４に示すように、危険度検出サーバー３０から送信されてパソコン７０にて受信された表示データに含まれる危険度が、カメラ６０で撮影された画像上にて、その危険度が判定された物体の位置に合成されて表示され、更に、例えば、認識された物体の位置を表すために、認識された物体を赤枠で囲む等して強調表示する。パソコン７０は、第１の実施の形態と同様に、表示データにカメラ６０で撮影された画像が含まれて、既に危険度が合成されている場合は、その画像を表示し、表示データにカメラ６０で撮影された画像が含まれていない場合は、カメラ６０から受信した画像に、危険度を位置情報を用いて合成して表示する。なお、カメラ６０で撮影された画像をパソコン７０と危険度検出サーバー３０の両方に送信する場合は、危険度検出サーバー３０で、危険度にカメラ６０から受信した画像を特定する受信日時等の情報も対応付けて表示データを作成しておき、パソコン７０は、カメラ６０から受信した画像と、危険度検出サーバー３０から受信した危険度とを受信日時等の情報を用いて同期をとり、合成して表示する。

【0083】

これにより、店舗１０１内にて撮影された画像に含まれる物体それぞれの使用回数に応じた危険度を知ることができる。

【0084】

また、判定部３５は、認識部３４にて認識された物体の危険度に関するデータがデータベース４０に登録されていない場合、例えば、カメラ６０から送信されてきた画像内に、過去に認識された物体を基に、通常は店舗１０１内に存在する既存の物体ではない物が含まれていると認識した場合や、過去に認識された物体の位置を基に、通常は店舗１０１内の存在する位置以外に物体が存在していると認識した場合、過去に認識された物体の形状を基に、店舗１０１内の存在する物体が通常とは異なる形状になっている（つまり、壊れている）と認識した場合、図１４に示すように、その物体の危険度として、判定部３５が物体の確認を促す判定を行い、その旨がパソコン７０のディスプレイに表示されることになる。なお、既存の物体ではない物としては、テーブルや床のごみ汚れ、拭き残し、落とし物、忘れ物、複数の候補が抽出された物体、名称が登録されていない物体等が挙げられる。また、既存の物体ではない物が含まれていると認識された場合に、危険度検出サーバー３０は、その物体についての名称や危険度などの情報を入力する入力画面をパソコン７０のディスプレイに表示させ、入力画面に入力されたその物体についての情報を随時データベースに登録していくことで、ＡＩを用いて既存の物体ではない物についても危険度を設定していくことも考えられる。入力画面を表示する画面データは、予め表示データに含まれていても、その物体またはその物体の危険度がクリック等によって指定された場合に危険度検出サーバー３０がパソコン７０に送信してもよい。

【0085】

なお、上述した実施の形態においては、屋内空間として部屋や店舗を例に挙げて説明したが、屋内空間としては、自宅の居室、キッチン、バスルーム、トイレ、玄関等、あるいは、ホテルや旅館等の部屋、オフィスや会議室、店舗等、様々な空間を採用することができ、旅先やワーケーション、シェアオフィスにも活用することが考えられる。

【0086】

また、上述した実施の形態にて示した構成及び処理は、組み合わせて使用することもできる。

【0087】

また、本発明の危険度検出サーバー３０にて行われる方法は、コンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。

【符号の説明】

【0088】

１ 部屋
１０ スマートフォン
１１，３１ 通信部
１２ 撮影部
１３ 表示部
１４ 操作部
１５，３２ 記憶部
１６，３７ 制御部
２０ アクセスポイント
３３ データベースアクセス部
３４ 認識部
３５ 判定部
３６ 対処方法抽出部
４０ データベース
５０ 通信回線
６０ カメラ
７０ パソコン
１０１ 店舗

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】