(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024058962
(43)【公開日】2024-04-30
(54)【発明の名称】監視システム、計算装置、監視方法、およびセンサユニット
(51)【国際特許分類】
G01S 17/08 20060101AFI20240422BHJP
G08C 15/00 20060101ALI20240422BHJP
B65F 1/00 20060101ALI20240422BHJP
【FI】
G01S17/08
G08C15/00 D
B65F1/00 A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022166411
(22)【出願日】2022-10-17
(71)【出願人】
【識別番号】000002174
【氏名又は名称】積水化学工業株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】増市 幹雄
(72)【発明者】
【氏名】蒲谷 隆史
【テーマコード(参考)】
2F073
3E023
5J084
【Fターム(参考)】
2F073AA01
2F073AB01
2F073AB02
2F073BB07
2F073BC01
2F073CC03
2F073CD11
2F073CD17
2F073DD07
2F073FG01
2F073FG02
2F073FG11
2F073GG01
2F073GG08
2F073GG09
3E023AA14
5J084AA05
5J084AB17
5J084AD03
5J084BA34
5J084CA22
5J084EA08
5J084EA28
5J084EA29
(57)【要約】
【課題】通信量や消費電力量を抑えつつ、対象物を適切に監視する。
【解決手段】監視システム(100)は、収容容器内の対象物と対向するように配置されるCMOSセンサ(1)と、光源(2)からの光が対象物の表面で反射した反射光を受光したCMOSセンサ(3)の一部の撮像素子から出力される出力値を距離に換算した換算距離を算出する計算装置(4)と、換算距離を示す距離情報を送信する通信装置(5)と、送信された距離情報を受信して対象物の量を監視する監視装置(6)と、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
収容容器内の対象物と対向するように配置されるCMOS(Complementary Metal Oxide Semiconductor)センサと、
光源が前記対象物に向けて発した光が当該対象物の表面で反射した反射光を受光した前記CMOSセンサの一部の撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を前記CMOSセンサから前記対象物までの距離に換算した換算距離を算出するか、または、複数の前記撮像素子から出力される各出力値を距離に換算した上で当該距離の代表値である代表距離を算出する計算装置と、
前記換算距離または前記代表距離を示す距離情報を送信する通信装置と、
前記通信装置が送信する前記距離情報を受信して、前記収容容器内の前記対象物の量を監視する監視装置と、を含む監視システム。
【請求項2】
前記通信装置は、所定の条件を満たす場合に、前記距離情報の代わりにまたは当該距離情報と共に、前記出力値を用いて生成される画像データを前記監視装置に送信する、請求項1に記載の監視システム。
【請求項3】
前記所定の条件には、
前記距離が所定の下限値に達したこと、
前記距離の変化量が正常範囲を超えたこと、および
前記収容容器内に配置された、前記対象物を収容する内袋が当該収容容器の内部側にふくらんでいることを前記出力値が示していること、
の少なくとも何れかが含まれる、請求項2に記載の監視システム。
【請求項4】
前記収容容器内の状態を検知するための状態検知センサを含み、
前記所定の条件には、前記状態検知センサの出力値が、前記収容容器内に異常が発生していることを示していることが含まれる、請求項2または3に記載の監視システム。
【請求項5】
前記距離を検知する距離センサを含み、
前記計算装置または前記監視装置は、前記距離センサの出力値を用いて前記CMOSセンサの出力値または前記換算距離を較正する、請求項1から3の何れか1項に記載の監視システム。
【請求項6】
前記通信装置は、前記画像データの代わりに、当該画像データに対してデータ量を減らす処理が施された減量化データを送信する、請求項2または3に記載の監視システム。
【請求項7】
前記監視装置は、前記画像データを受信したときには、当該画像データを用いて前記収容容器内の前記対象物の量を特定する、請求項2または3に記載の監視システム。
【請求項8】
収容容器内の対象物と対向するように配置されるCMOSセンサと、
光源が前記対象物に向けて発した光が当該対象物の表面で反射した反射光を受光した前記CMOSセンサの一部の撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を送信する通信装置と、
前記通信装置が送信する前記出力値または前記代表値を受信し、当該出力値または当該代表値を、前記CMOSセンサから前記対象物までの距離に換算し、該換算の結果に基づいて前記収容容器内の前記対象物の量を監視する監視装置と、を含む監視システム。
【請求項9】
光源が発した光が対象物の表面で反射した反射光を受光したCMOSセンサの撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を取得するデータ取得部と、
前記出力値または前記代表値を前記CMOSセンサから前記対象物までの距離に換算する換算部と、を備える計算装置。
【請求項10】
少なくとも1つの計算装置が実行する、対象物の監視方法であって、
光源が発した光が前記対象物の表面で反射した反射光を受光したCMOSセンサの撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を取得するデータ取得ステップと、
前記出力値または前記代表値を前記CMOSセンサから前記対象物までの距離に換算する換算ステップと、を含む監視方法。
【請求項11】
収容容器内の対象物と対向するように配置されるCMOSセンサと、
光源が前記対象物に向けて発した光が当該対象物の表面で反射した反射光を受光した前記CMOSセンサの一部の撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を前記CMOSセンサから前記対象物までの距離に換算した換算距離を算出するか、または、複数の前記撮像素子から出力される各出力値を距離に換算した上で当該距離の代表値である代表距離を算出する計算装置と、を含むセンサユニット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、収容容器内の対象物の量を監視する監視システムに関する。
【背景技術】
【0002】
下記の非特許文献1には、レストランなどの事業者が使用するダンプスターと呼ばれる大型の金属製のごみ箱に画像センサデバイスを取り付けて、その画像センサデバイスで撮影した画像を、携帯電話ネットワークを通じて確認できるようにするシステムが開示されている。このシステムでは、赤外線センサのようなより単純なセンサを適用する代わりに、画像センサデバイスを適用することにより、ダンプスターの形状や容積の違いやごみの積み重なり方の状況の違いに対しても柔軟に対処できるようにしている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】市瀬龍太郎ら著、「人工知能・機械学習・ディープラーニング関連技術とその活用」、株式会社情報機構発行、2016年6月27日、p.47-49
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のような従来技術では、確認者がごみの量を確認する際には必ず、ごみ箱に取り付けられた画像センサデバイスと、確認者が使用する装置との間で画像の送受信を行う必要がある。このため、上述のような従来技術には、赤外線センサ等を適用する場合と比べて通信量や消費電力量が嵩んでしまう、という問題がある。また、通信量や消費電力量を抑えるため、赤外線センサ等を適用した場合には、ごみの量を適切に把握できないことが想定される。これらの問題点は、ごみ箱に限られず、任意の対象物を収容する任意の収容容器について、その収容量を監視する際に共通して生じる問題点である。
【0005】
本発明の一態様は、通信量や消費電力量を抑えつつ、対象物を適切に監視することが可能な監視システム等を実現することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る監視システムは、収容容器内の対象物と対向するように配置されるCMOS(Complementary Metal Oxide Semiconductor)センサと、光源が前記対象物に向けて発した光が当該対象物の表面で反射した反射光を受光した前記CMOSセンサの一部の撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を前記CMOSセンサから前記対象物までの距離に換算した換算距離を算出するか、または、複数の前記撮像素子から出力される各出力値を距離に換算した上で当該距離の代表値である代表距離を算出する計算装置と、前記換算距離または前記代表距離を示す距離情報を送信する通信装置と、前記通信装置が送信する前記距離情報を受信して、前記収容容器内の前記対象物の量を監視する監視装置と、を含む。
【0007】
また、上記の課題を解決するために、本発明の他の態様に係る監視システムは、収容容器内の対象物と対向するように配置されるCMOSセンサと、光源が前記対象物に向けて発した光が当該対象物の表面で反射した反射光を受光した前記CMOSセンサの一部の撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を送信する通信装置と、前記通信装置が送信する前記出力値または前記代表値を受信し、当該出力値または当該代表値を、前記CMOSセンサから前記対象物までの距離に換算し、該換算の結果に基づいて前記収容容器内の前記対象物の量を監視する監視装置と、を含む。
【0008】
また、上記の課題を解決するために、本発明の一態様に係る計算装置は、光源が発した光が対象物の表面で反射した反射光を受光したCMOSセンサの撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を取得するデータ取得部と、前記出力値または前記代表値を前記CMOSセンサから前記対象物までの距離に換算する換算部と、を備える。
【0009】
また、上記の課題を解決するために、本発明の一態様に係る監視方法は、少なくとも1つの計算装置が実行する、対象物の監視方法であって、光源が発した光が前記対象物の表面で反射した反射光を受光したCMOSセンサの撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を取得するデータ取得ステップと、前記出力値または前記代表値を前記CMOSセンサから前記対象物までの距離に換算する換算ステップと、を含む。
【0010】
また、上記の課題を解決するために、本発明の一態様に係るセンサユニットは、収容容器内の対象物と対向するように配置されるCMOSセンサと、光源が前記対象物に向けて発した光が当該対象物の表面で反射した反射光を受光した前記CMOSセンサの一部の撮像素子から出力される出力値、または複数の前記撮像素子から出力される各出力値を代表する代表値を前記CMOSセンサから前記対象物までの距離に換算した換算距離を算出するか、または、複数の前記撮像素子から出力される各出力値を距離に換算した上で当該距離の代表値である代表距離を算出する計算装置と、を含む。
【発明の効果】
【0011】
本発明の一態様によれば、通信量や消費電力量を抑えつつ、対象物を適切に監視することが可能になる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施形態1に係る監視システムの概要を示す図である。
【
図2】本発明の実施形態1に係る計算装置の要部構成の一例を示すブロック図である。
【
図3】CMOSセンサが出力するデータの例を示す図である。
【
図4】CMOSセンサの出力値とCMOSセンサから対象物までの距離との関係を調べた実験の概要とその結果を示す図である。
【
図5】本発明の実施形態1に係る監視装置の要部構成の一例を示すブロック図である。
【
図6】本発明の実施形態1に係る計算装置が実行する処理(監視方法)の一例を示すフローチャートである。
【
図7】本発明の実施形態1に係る監視装置が実行する処理の一例を示すフローチャートである。
【
図8】本発明の実施形態2に係る監視システムの概要を示す図である。
【
図9】本発明の実施形態3に係る監視システムの概要を示す図である。
【
図10】本発明の実施形態4に係る監視システムの概要を示す図である。
【発明を実施するための形態】
【0013】
〔実施形態1〕
(システム構成)
本発明の一実施形態に係る監視システム100の概要を
図1に基づいて説明する。
図1は、監視システム100の概要を示す図である。監視システム100は、収容容器Aに収容される対象物Bの量を監視するシステムである。
図1には、対象物Bがペットボトルであり、収容容器Aがペットボトルのリサイクル回収ボックスである例を示している。なお、収容容器Aは任意の対象物を収容するものであればよく、この例に限られない。また、ここで「監視」とは、収容容器Aに収容されている対象物Bの量の検知を継続的に行うことを意味する。監視システム100は、検知した量に基づいて対象物Bの回収を所定の対象者に要請する等の処理についても行ってもよい。
【0014】
監視システム100にはセンサユニット1と監視装置6とが含まれている。また、センサユニット1には、光源2と、CMOSセンサ3と、計算装置4と、通信装置5とが含まれている。なお、図示していないが、センサユニット1には、センサユニット1に含まれる各構成要素に給電する1または複数の電池が含まれていてもよい。また、光源2とCMOSセンサ3と計算装置4と通信装置5は、必ずしも1つのセンサユニット1としてまとめられている必要はない。つまり、光源2、計算装置4、および通信装置5の少なくとも一部がセンサユニット1外に設けられていてもよい。
【0015】
光源2は、収容容器A内の対象物Bに光を照射する。光源2は、少なくともCMOSセンサ3の撮像範囲内に対して均等に光を照射するものであればよい。例えば、光源2としてLED(Light Emitting Diode)ライトやハロゲンライト等を適用することもできる。また、光源2は計算装置4と接続されており、光源2のON/OFFは、計算装置4により切り替えができるようになっている。
【0016】
CMOSセンサ3は、対象物Bの撮像と、CMOSセンサ3から対象物Bまでの距離の推定に用いられるセンサである。CMOSセンサ3は、収容容器A内の対象物Bと対向するように配置される。なお、CMOSセンサには、TOF(Time-of-flight)距離画像センサと呼ばれる、TOF法により距離計測を行うものも存在するが、CMOSセンサ3としてはTOF距離画像センサではなく、画像の撮影等に一般的に使用されるCMOSセンサを用いる。また、CMOSセンサ3は、対象物Bの監視に足る程度の画素(撮像素子)数のものであればよく、例えば1万画素以下のものを用いてもよい。
【0017】
計算装置4は、CMOSセンサ3の出力値を、CMOSセンサ3から対象物Bまでの距離に換算して換算距離を算出する。より詳細には、計算装置4は、光源2が対象物Bに向けて発した光が対象物Bの表面で反射した反射光を受光したCMOSセンサ3の一部の撮像素子から出力される出力値を距離に換算する。
【0018】
また、通信装置5は、計算装置4が算出した換算距離を示す距離情報を監視装置6に送信する。そして、監視装置6は、通信装置5が送信する距離情報を用いて収容容器A内の対象物Bの量を監視する。
【0019】
以上のように、監視システム100は、収容容器A内の対象物と対向するように配置されるCMOSセンサ3と、光源2が対象物Bに向けて発した光が対象物Bの表面で反射した反射光を受光したCMOSセンサ3の一部の撮像素子から出力される出力値をCMOSセンサ3から対象物Bまでの距離に換算した換算距離を算出する計算装置4と、計算装置4が算出した換算距離を示す距離情報を監視装置6に送信する通信装置5と、通信装置5が送信する距離情報を用いて収容容器A内の対象物Bの量を監視する監視装置6と、を含む。
【0020】
上記の距離情報は、CMOSセンサ3の出力値を用いて生成される画像データよりもデータ量が少ない。このため、上記の構成によれば、画像データを送信する場合と比べて通信量や消費電力量を抑えつつ、収容容器内の対象物の量を適切に監視することが可能になる。
【0021】
なお、計算装置4は、CMOSセンサ3の複数の撮像素子から出力される各出力値を代表する代表値を距離に換算してもよい。また、計算装置4は、複数の撮像素子から出力される各出力値を距離に換算した上で当該距離の代表値である代表距離を算出してもよい。これらの構成であっても上記と同様の効果が得られる。
【0022】
また、以上のように、センサユニット1は、収容容器内の対象物と対向するように配置されるCMOSセンサ3と、光源2が対象物に向けて発した光が当該対象物の表面で反射した反射光を受光したCMOSセンサ3の一部の撮像素子から出力される出力値、または複数の撮像素子から出力される各出力値を代表する代表値をCMOSセンサ3から対象物までの距離に換算した換算距離を算出するか、または、複数の撮像素子から出力される各出力値を距離に換算した上で当該距離の代表値である代表距離を算出する計算装置4と、を含む。監視システム100は、このセンサユニット1を含むことにより、通信量や消費電力量を抑えつつ、対象物を適切に監視することが可能になる。
【0023】
なお、CMOSセンサ3の出力値から生成される画像データの解析についてもセンサユニット1が備える計算装置4で行うようにしてもよい。この場合、計算装置4は、基本的には換算距離または代表距離を用いた簡易な解析を行い、必要に応じて画像データを解析し、当該解析の結果を、通信装置5を介して監視装置6に通知すればよい。このような構成であっても、計算装置4の計算処理量や消費電力量を抑えつつ、対象物を適切に監視することが可能になる。
【0024】
(計算装置の構成)
図2に基づいて計算装置4の構成を説明する。
図2は、計算装置4の要部構成の一例を示すブロック図である。図示のように、計算装置4は、計算装置4の各部を統括して制御する制御部40と、計算装置4が使用する各種データを記憶する記憶部41を備えている。また、制御部40には、発光制御部401、データ取得部402、代表値算出部403、換算部404、充足判定部405、減量化データ生成部406、および送信制御部407が含まれている。
【0025】
発光制御部401は、光源2のON/OFFを制御する。そして、データ取得部402は、発光制御部401の制御により光源2が発した光が対象物の表面で反射した反射光を受光したCMOSセンサ3の撮像素子から出力される出力値を取得する。このように、発光制御部401による光源2の発光制御と、データ取得部402による出力値の取得は連動して行われる。
【0026】
代表値算出部403は、データ取得部402が取得する出力値、つまり、光源2が発した光が対象物の表面で反射した反射光を受光したCMOSセンサ3の各撮像素子から出力される出力値の代表値を算出する。代表値は、各出力値を代表する値であればよく、例えば平均値であってもよいし、最頻値であってもよいし、中央値であってもよく、これら以外の値であってもよい。
【0027】
なお、代表値は他の装置で計算させるようにしてもよい。この場合、代表値算出部403は省略し、データ取得部402は、他の装置が計算した代表値を通信装置5経由で取得すればよい。
【0028】
換算部404は、代表値算出部403が算出する代表値をCMOSセンサから対象物までの距離に換算する。また、換算部404は、光源2が発した光が対象物の表面で反射した反射光を受光したCMOSセンサ3の撮像素子から出力される出力値を距離に換算してもよい。具体的な換算方法は後記「換算について」の項目で説明する。
【0029】
充足判定部405は、CMOSセンサ3の出力値を用いて生成される画像データを監視装置6に送信する条件が充足されているか否かを判定する。当該条件は適宜設定しておけばよく、どのような条件を設定するかは特に限定されない。
【0030】
例えば、当該条件には、換算部404が算出した距離が所定の下限値に達したこと、当該距離の変化量が正常範囲を超えたこと、および収容容器内に配置された、対象物を収容する内袋が当該収容容器の内部側にふくらんでいることを、CMOSセンサ3の出力値が示していること、の少なくとも何れかが含まれていてもよい。
【0031】
CMOSセンサ3から対象物までの距離が所定の下限値に達したタイミングは、対象物の量がある程度まで多くなったタイミングであるから、当該距離が妥当なものであるかを確認するのに好適なタイミングである。また、距離の変化量が正常範囲を超えたときには、収容容器内の状況が急変した可能性や、出力値または換算により算出された距離が妥当ではない可能性があり、収容容器内の状態を確認するのに好適なタイミングである。また、内袋が収容容器の内部側にふくらんでいるときには、CMOSセンサ3からそのふくらみ部分までの距離が算出されている可能性があり、算出された距離が妥当であるかを確認するのに好適なタイミングである。
【0032】
このように、上記の構成によれば、収容容器内の状態確認等を行うことが好ましいタイミングで監視装置6に画像データを送信するから、当該画像データを用いた収容容器内の状態確認等の処理を適切なタイミングで監視装置6に行わせることが可能になる。
【0033】
なお、内袋が当該収容容器の内部側にふくらんでいる状態においては、CMOSセンサ3の各撮像素子の出力値がその状態に応じたパターン(撮像素子が配列する二次元平面上におけるパターン)を示す。このため、充足判定部405は、CMOSセンサ3の出力値から生成される画像データから当該パターンが検出されたときに、条件が充足されたと判定してもよい。上記パターンとしては、例えば、収容容器の外縁部から中央部にかけて出力値が大きくなっている等が挙げられる。また、例えば、充足判定部405は、内袋が膨らんでいるときの収容容器内を撮像した画像データを教師データとして機械学習することにより生成された学習済みモデルを用いて、上記状態に該当するか否かを判定してもよい。
【0034】
無論、上述の各条件は一例に過ぎない。例えば、監視装置6を操作する監視者が、監視装置6に対して画像データまたは減量化データの送信を求める入力操作を行ったことを上述の条件としてもよい。これにより、監視者が必要と判断したときに画像データまたは減量化データを用いた収容容器内の状態の確認を行うことが可能になる。なお、上記の入力操作が行われたときに、その旨の通知を通信装置5経由で計算装置4に送信するようにしておけば、充足判定部405は、当該入力操作が行われたか否かを判定することができる。
【0035】
減量化データ生成部406は、CMOSセンサ3の出力値を用いて生成される画像データに対してデータ量を減らす処理を施して減量化データを生成する。減量化データの生成方法は特に限定されない。例えば、減量化データ生成部406は、上記画像データにおける隣接する複数の画素を統合して1つの画素にした画像データを生成してもよい。この場合、減量化データ生成部406は、統合の対象となる複数の画素の画素値の代表値(例えば平均値等)を統合後の画素の画素値とすればよい。また、減量化データ生成部406は、画像データから画素を間引いて減量化データを生成してもよい。
【0036】
送信制御部407は、通信装置5を制御してデータの送信を行わせる。具体的には、送信制御部407は、通信装置5を制御して、換算部404の換算により算出された換算距離を示す距離情報を監視装置6に送信させる。また、送信制御部407は、換算部404が複数の出力値をそれぞれ換算して複数の換算距離を算出した場合には、それらの換算距離の代表値である代表距離を示す距離情報を監視装置6に送信させてもよい。代表距離の算出は、代表値算出部403に行わせればよい。
【0037】
また、送信制御部407は、距離情報の代わりにまたは当該情報と共に、CMOSセンサ3の撮像素子から出力される各出力値を用いて生成される画像データを監視装置6に送信させてもよい。なお、この画像データは、減量化データ生成部406が生成する減量化データであってもよい。
【0038】
以上のように、計算装置4は、光源2が発した光が対象物の表面で反射した反射光を受光したCMOSセンサ3の撮像素子から出力される出力値、または複数の撮像素子から出力される各出力値を代表する代表値を取得するデータ取得部402と、取得された出力値または代表値をCMOSセンサ3から対象物までの距離に換算する換算部404と、を備える。
【0039】
上記の構成によれば、CMOSセンサ3を用いて対象物までの距離の換算値を算出することができる。また、CMOSセンサ3の出力値を用いれば、対象物の画像データを生成することも可能である。よって、上記の構成によれば、画像データを用いる必要がないときには換算値を送受信することにして通信量や消費電力量を抑えつつ、対象物を適切に監視することが可能になる。
【0040】
また、計算装置4を収容容器内の対象物までの距離の測定に用いることにより、通信量や消費電力量を抑えつつ、収容容器内の対象物の量を適切に監視することが可能な監視システム100を構築することができる。
【0041】
また、以上のように、計算装置4は、充足判定部405と送信制御部407を備えている。これにより、通信装置5は、所定の条件を満たす場合に、距離情報の代わりにまたは距離情報と共に、CMOSセンサ3の出力値を用いて生成される画像データを監視装置6に送信する。
【0042】
この構成によれば、所定の条件を満たさない場合には通信量や消費電力量を抑えつつ、所定の条件を満たす場合には監視装置6において画像データを用いた詳細な分析とその分析結果に基づく適切な監視を行うことが可能になる。
【0043】
また、以上のように、計算装置4は、減量化データ生成部406と送信制御部407を備えている。これにより、通信装置5は、画像データの代わりに、当該画像データに対してデータ量を減らす処理が施された減量化データを監視装置6に送信する。よって、画像データを送信する場合よりも通信量や消費電力量を抑えつつ、監視装置6において減量化データを用いた詳細な分析とその分析結果に基づく適切な監視を行うことが可能になる。
【0044】
(CMOSセンサが出力するデータについて)
図3に基づいてCMOSセンサ3が出力するデータについて説明する。
図3は、CMOSセンサ3が出力するデータの例を示す図である。図示のように、CMOSセンサ3が出力するデータD1は、CMOSセンサ3が備える、平面上に縦横に配列した複数の撮像素子のそれぞれが出力する出力値を含んでいる。例えば、D1の左上端は、CMOSセンサ3において左上端に位置する撮像素子に対応しており、その出力値は23となっている。なお、CMOSセンサ3の出力値は、各撮像素子に含まれるフォトダイオードが蓄積した電荷を電圧値に変換したものである。CMOSセンサ3については、使用前にキャリブレーションを行い、撮像素子ごとの出力値のばらつきを解消しておくことが好ましい。
【0045】
CMOSセンサ3が出力するデータD1からは画像データを生成することができる。例えば、データD1を0~255までの数値範囲でスケーリングすれば256階調の画像データを生成することができる。なお、データD1を画像データとして監視装置6に送信するようにしてもよい。画像データを用いれば、
図3に示すD2のような画像を表示させることもできる。画像を表示させることにより、収容容器内の様子を一目で認識させることができる。また、画像データを画像解析することにより収容容器内の状態を判定することもできる。
【0046】
なお、データ取得部402は、距離の換算に用いる出力値を取得する場合には、CMOSセンサ3が備える撮像素子の全ての出力値を取得する必要はない。例えば、データ取得部402は、
図3に示す領域AR1に含まれる出力値のみを取得してもよい。CMOSセンサ3であれば、読み出し対象とする撮像素子を指定して出力値を取得することができる。領域AR1は、収容容器の収容空間の中央付近に対応しているから、領域AR1内の出力値を取得することにより、対象物までの的確な距離を算出することができる。
【0047】
なお、データ取得部402は、少なくとも1つの撮像素子の出力値を取得すればよい。例えば、データ取得部402は、収容容器内を上方から見下ろしたときの中心位置に対応する1つの撮像素子から出力される出力値を取得してもよい。また、例えば、データ取得部402は、例えば、収容容器の収容空間の中央付近と端部付近等の複数の領域の撮像素子から出力される出力値を取得してもよい。
【0048】
また、データ取得部402は、CMOSセンサ3が備える撮像素子のうちの一部からの出力値の読み出しをスキップするサブサンプリングを行ってもよい。これにより、出力値の読み出しに要する時間を短縮することができる。
【0049】
減量化データ生成部406は、このようなデータD1あるいはデータD1から生成された画像データに対してデータ量を減らす処理を施して減量化データを生成する。例えば、減量化データ生成部406は、データD1を、隣接する複数の出力値からなる複数のセルに分割し、各セルの値を、当該セルに含まれる各出力値の代表値としたものを減量化データとしてもよい。縦24個×横24個の出力値を1つのセルとした場合、生成される減量化データのデータ量は、元のデータD1の1/24×24となる。代表値は、例えば平均値や中央値としてもよい。なお、データ量を減らす手法としては上述した手法以外にも様々な手法を適用可能である。例えば、減量化データ生成部406は、公知の画像圧縮技術を使用して減量化データを生成してもよい。
【0050】
(換算について)
図4は、CMOSセンサの出力値とCMOSセンサから対象物までの距離との関係を調べた実験の概要とその結果を示す図である。この実験では、光源から対象物に対して光を照射し、その反射光をCMOSセンサで受光してCMOSセンサからの出力値を記録することを、CMOSセンサから対象物までの距離を段階的に変更しながら行った。使用したCMOSセンサの有効画素(撮像素子)数は1920×1200であり、これら画素の一部の出力値の平均値を「出力値」とした。なお、光源はハロゲンライトである。
【0051】
同図のグラフが上記実験の結果を示している。このグラフに示されるように、CMOSセンサから対象物までの距離が離れるほど、CMOSセンサの出力値は小さくなることが分かった。この実験は複数回行ったが、各実験における結果はよく一致していた。また、外光の影響の有無を調べるため、室内の照明をOFFにした状態でも実験を行ったが、室内の照明をONにした状態で行った実験の結果と有意な差はみられなかった。
【0052】
以上のように、本願の発明者らの実験の結果、CMOSセンサの出力値とCMOSセンサから対象物までの距離との間には明確な相関があることが分かった。このため、例えば、CMOSセンサ3の出力値とCMOSセンサ3から対象物までの距離との関係を示す近似式を予め作成しておけば、換算部404は、この近似式を用いて、CMOSセンサ3の出力値を距離に換算することができる。
【0053】
(監視装置の構成)
図5に基づいて監視装置6の構成を説明する。
図5は、監視装置6の要部構成の一例を示すブロック図である。図示のように、監視装置6は、監視装置6の各部を統括して制御する制御部60と、監視装置6が使用する各種データを記憶する記憶部61を備えている。また、監視装置6は、監視装置6が他の装置と通信するための通信部62、監視装置6に対する各種データの入力を受け付ける入力部63、および監視装置6が各種データを出力するための出力部64を備えている。また、制御部60には、データ取得部601、収容量特定部602、回収要否判定部603、および回収要請部604が含まれている。
【0054】
データ取得部601は、監視装置6が通信装置5から受信したデータを取得する。通信装置5から受信するデータは、計算装置4により算出された換算距離または代表距離を示す距離情報と、計算装置4により生成される減量化データとの何れかまたは両方である。また、監視装置6が減量化データの代わりに減量化されていない画像データを受信した場合には、データ取得部601は当該画像データを取得する。
【0055】
収容量特定部602は、データ取得部601が取得する減量化データまたは画像データを用いて回収容器内の対象物の量を特定する。対象物の量を特定する方法としては、種々の画像解析の手法を適用することができる。例えば、収容量特定部602は、様々な量の対象物が写る画像データを教師データとして機械学習を行うことにより生成された学習済みモデルを用いて、データ取得部601が取得する減量化データまたは画像データに応じた対象物の量を特定してもよい。
【0056】
このように、監視装置6は、通信装置5から画像データ(減量化データであってもよい)を受信したときには、当該画像データを用いて収容容器内の対象物の量を特定してもよい。これにより、対象物の量を正確に特定して妥当な監視を行うことができる。
【0057】
回収要否判定部603は、収容容器から対象物を回収することの要否を判定する。具体的には、回収要否判定部603は、データ取得部601が距離情報を取得した場合には距離情報を用いて回収要否を判定する。例えば、回収要否判定部603は、距離情報に示される距離が所定の下限値に達している場合に回収要と判定してもよい。
【0058】
また、回収要否判定部603は、距離情報に示される距離を用いて収容容器における対象物の充填率を算出し、算出した充填率が所定の閾値以上である場合に回収要と判定してもよい。充填率は、例えば、収容容器が対象物で満杯になっているときのセンサユニット1から対象物までの距離を、センサユニット1から収容容器の底部までの距離(例えば対象物を収容していないときに計測した距離)で割った値としてもよい。
【0059】
また、回収要否判定部603は、データ取得部601が減量化データまたは画像データを取得した場合には、収容量特定部602が特定した対象物の量を用いて回収要否を判定する。例えば、回収要否判定部603は、収容量特定部602が特定した対象物の量が、所定の閾値以上である場合に回収要と判定してもよい。
【0060】
なお、データ取得部601が減量化データまたは画像データと共に距離情報も取得した場合には、回収要否判定部603は、距離情報についても用いて回収要否を判定してもよい。例えば、回収要否判定部603は、(1)収容量特定部602が特定した対象物の量が所定の閾値以上であり、かつ、(2)距離情報に示される距離が所定の下限値に達している場合に回収要と判定してもよい。また、回収要否判定部603は、上記(1)(2)の少なくとも何れかの条件が充足された場合に回収要と判定してもよい。
【0061】
回収要請部604は、回収要否判定部603が回収要と判定した場合に、所定の対象者に対して対象物の回収を要請する。例えば、回収要請部604は、出力部64に回収を促す情報を出力させてもよい。この情報には、例えば距離情報に示される距離や充填率が含まれていてもよい。また、例えば、回収要請部604は、回収作業を行う者が所持または使用する端末装置に対し、回収容器の識別情報と共に当該回収容器から対象物を回収することを要請する通知を送信してもよい。当該通知にも距離情報に示される距離や充填率が含まれていてもよい。
【0062】
(計算装置が実行する処理の流れ)
計算装置4が実行する処理の流れを
図6に基づいて説明する。
図6は、計算装置4が実行する処理(監視方法)の一例を示すフローチャートである。なお、
図6の処理は、収容容器の監視期間中に所定時間おきに繰り返し行われる。
【0063】
S11では、発光制御部401が光源2を発光させる。続いて、S12(データ取得ステップ)では、データ取得部402が、S11の制御により光源2が発した光が収容容器内の対象物の表面で反射した反射光を受光したCMOSセンサ3の出力値を取得する。そして、S13では、代表値算出部403が、S12で取得された出力値の代表値を算出する。
【0064】
S14(換算ステップ)では、換算部404が、S13で算出された代表値をCMOSセンサ3から対象物までの距離に換算する。なお、S13の処理は省略してもよく、その場合、S14では、換算部404は、S12で取得された出力値を距離に換算する。また、代表値算出部403は、S14で複数の出力値のそれぞれについて距離への換算が行われた場合には、それらの換算距離の代表値を算出してもよい。
【0065】
S15では、充足判定部405が、画像データを監視装置6に送信する条件が充足されているか否かを判定する。例えば、充足判定部405は、S14で算出された距離が所定の下限値に達している場合に、条件が充足されていると判定してもよい。S15で条件が充足されている(S15でYES)と判定された場合にはS17の処理に進み、S15で条件が充足されていない(S15でNO)と判定された場合にはS16の処理に進む。
【0066】
S16では、送信制御部407が、通信装置5を制御して、S14で算出された距離を示す距離情報を監視装置6に送信させる。これにより、
図6の処理は終了する。
【0067】
S17では、減量化データ生成部406が、S12で取得された出力値を用いて生成される画像データから減量化データを生成する。そして、S18では、送信制御部407が、通信装置5を制御して、S17で生成された減量化データを監視装置6に送信させる。これにより、
図6の処理は終了する。
【0068】
なお、S18において、送信制御部407は、減量化データと共に距離情報も送信させてもよい。また、S17の処理は省略してもよく、この場合、送信制御部407は、S18において、S12で取得された出力値を用いて生成された画像データを送信させる。
【0069】
(監視装置が実行する処理の流れ)
監視装置6が実行する処理の流れを
図7に基づいて説明する。
図7は、監視装置6が実行する処理の一例を示すフローチャートである。なお、
図7の処理は、監視装置6が通信装置5からデータを受信する毎に行われる。
【0070】
S21では、データ取得部601が、通信装置5から受信したデータを取得する。通信装置5から受信するデータは、
図6のS16の処理により送信される距離情報か、S18の処理により送信される減量化データである。なお、上述のように、S18の処理では距離情報と減量化データの両方が送信される場合もある。また、S18の処理では減量化データではなく画像データが送信される場合もある。このため、以下の説明における「減量化データ」は「画像データ」と読み替えることができる。
【0071】
S22では、データ取得部601は、S21で取得されたデータに減量化データが含まれているか否かを判定する。減量化データが含まれている場合(S22でYES)にはS23の処理に進み、減量化データが含まれていない場合(S22でNO)にはS24の処理に進む。
【0072】
S23では、収容量特定部602が、S21で取得された減量化データを用いて回収容器内の対象物の量を特定する。
【0073】
S24では、回収要否判定部603が、収容容器から対象物を回収することの要否を判定する。具体的には、S22から遷移したS24では、回収要否判定部603は、S21で取得された距離情報を用いて回収要否を判定する。一方、S23から遷移したS24では、回収要否判定部603は、S23で特定された量を用いて回収要否を判定する。なお、S23から遷移したS24では距離情報も用いて回収要否を判定してもよい。
【0074】
S24で回収要と判定された場合(S24でYESの場合)にはS25に進み、S25では、回収要請部604が、対象物の回収を要請する。回収の要請後、
図7の処理は終了する。一方、S24で回収不要と判定された場合(S24でNOの場合)には、回収を要請することなく処理を終了する。
【0075】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは、実施形態3においても同様である。
【0076】
図8は、本実施形態に係る監視システム100Aの概要を示す図である。図示のように監視システム100Aは、センサユニット1Aと監視装置6Aとを含み、センサユニット1Aは、光源2とCMOSセンサ3と制御装置4Aと通信装置5とを含む。
【0077】
センサユニット1Aと、実施形態1のセンサユニット1との主な相違点は、センサユニット1Aは計算装置4の代わりに制御装置4Aを備えている点である。制御装置4Aは、光源2の制御と通信装置5の制御とを行うと共に、CMOSセンサ3から出力値を取得する装置である。このため、制御装置4Aは、計算装置4の制御部40に含まれる構成(
図2参照)のうち、発光制御部401と、データ取得部402と、充足判定部405と、送信制御部407とを備える。なお、図示を省略しているが、これらの構成要素は制御装置4Aが備える制御部に含まれている。
【0078】
また、監視装置6Aと実施形態1の監視装置6との主な相違点は、監視装置6Aが換算を行う点である。このため、監視装置6Aは、監視装置6の制御部60に含まれる各構成(
図5参照)に加えて、換算部404を備えている。なお、図示を省略しているが、これらの構成要素は監視装置6Aが備える制御部に含まれている。
【0079】
監視システム100Aでは、制御装置4Aの発光制御部401が光源2を発光させ、データ取得部402が、光源2が発した光が収容容器内の対象物の表面で反射した反射光を受光したCMOSセンサ3の出力値を取得する。そして、制御装置4Aの送信制御部が通信装置5を制御して、CMOSセンサ3の一部の撮像素子から出力される出力値を監視装置6Aに送信させる。
【0080】
なお、制御装置4Aは、実施形態1の計算装置4が備える代表値算出部403を備えていてもよい。この場合、制御装置4Aは、通信装置5を制御して、代表値算出部403が算出する代表値を監視装置6Aに送信させる。
【0081】
また、制御装置4Aは、充足判定部405を備えている。このため、制御装置4Aによれば、実施形態1の計算装置4と同様に、所定の条件を満たす場合には、CMOSセンサ3の一部の撮像素子から出力される出力値あるいは代表値の代わりに、またはこれらのデータと共に、画像データを監視装置6Aに送信させることもできる。
【0082】
監視装置6Aのデータ取得部601は、以上のようにして送信される出力値または代表値を受信し、換算部404が当該出力値または当該代表値を、CMOSセンサ3から対象物までの距離に換算する。そして、このような換算を行った後は、監視装置6Aは、実施形態1の監視装置6と同様に、換算の結果に基づいて収容容器内の対象物の量を監視する。
【0083】
以上のように、監視システム100Aは、収容容器内の対象物と対向するように配置されるCMOSセンサ3と、光源2が対象物に向けて発した光が当該対象物の表面で反射した反射光を受光したCMOSセンサ3の一部の撮像素子から出力される出力値、または複数の撮像素子から出力される各出力値を代表する代表値を送信する通信装置5と、通信装置5が送信する出力値または代表値を受信し、当該出力値または当該代表値を、CMOSセンサ3から対象物までの距離に換算し、該換算の結果に基づいて収容容器内の対象物の量を監視する監視装置6Aと、を含む。
【0084】
上記の構成によれば、通信装置5から監視装置6Aに送信されるデータは、一部の撮像素子から出力される出力値、または複数の撮像素子から出力される各出力値を代表する代表値である。これらの値は、何れもCMOSセンサ3の出力値を用いて生成される画像データよりもデータ量が少ない。また、監視装置6Aがこれらの値を換算することにより対象物までの距離が算出される。
【0085】
よって、上記の構成によれば、画像データを送信する場合と比べて通信量や消費電力量を抑えつつ、収容容器内の対象物の量を適切に監視することが可能になる。
【0086】
〔実施形態3〕
図9は、本実施形態に係る監視システム100Bの概要を示す図である。監視システム100Bに含まれるセンサユニット1Bは、実施形態1のセンサユニット1と比べて、計算装置4が計算装置4Bに代わっている点、および距離センサ7Bが含まれている点で相違している。
【0087】
距離センサ7Bは、距離センサ7Bから対象物までの距離を検知する。距離の検知方法は特に限定されない。例えば、距離センサ7Bとして、赤外線等により距離を検知する光センサを適用してもよいし、超音波により距離を検知する超音波センサを適用してもよい。
【0088】
計算装置4Bは、較正部41Bを備えている点で計算装置4と相違する。なお、図示を省略しているが、較正部41Bは計算装置4Bが備える制御部に含まれている。較正部41Bは、距離センサ7Bが検知する距離を用いて、換算部404が換算により算出した換算距離を較正する。より詳細には、較正部41Bは、換算距離と距離センサ7Bが検知する距離とを比較し、換算距離が、距離センサ7Bが検知する距離に一致するように較正する。
【0089】
例えば、距離センサ7Bが検知した距離が33cmであり、換算部404が換算により算出した換算距離が30cmであったとする。この場合、較正部41Bは、較正倍率を1.1倍と定め、換算距離を1.1倍する。これにより、換算距離を妥当な値に較正することができる。
【0090】
なお、較正部41Bは、CMOSセンサ3の出力値を較正してもよい。この場合、較正部41Bは、CMOSセンサ3の出力値の絶対値と、距離センサ7Bが検知した距離とを比較し、その比較結果に基づいて較正を行えばよい。また、換算距離またはCMOSセンサ3の出力値の較正は、監視装置6で行うようにしてもよい。この場合、監視装置6の制御部に較正部41Bを含めておき、通信装置5を介して監視装置6に距離センサ7Bの検知結果と、換算距離またはCMOSセンサ3の出力値を送信するようにすればよい。
【0091】
以上のように、監視システム100Bは、対象物までの距離を検知する距離センサ7Bを含み、計算装置4Bは距離センサ7Bの出力値を用いてCMOSセンサ3の出力値または換算距離を較正する。これにより、手動での較正を行うことなく、CMOSセンサ3の出力値に基づいた妥当な距離を算出することができる。なお、上述のように較正は監視装置6が行うようにしてもよく、この場合も同様の効果が得られる。
【0092】
〔実施形態4〕
図10は、本実施形態に係る監視システム100Cの概要を示す図である。監視システム100Cに含まれるセンサユニット1Cは、実施形態1のセンサユニット1と比べて、計算装置4が計算装置4Cに代わっている点、および状態検知センサ8Cが含まれている点で相違している。
【0093】
状態検知センサ8Cは、収容容器内の状態を検知するためのセンサである。検知対象の状態は、収容容器の監視者が関心のある状態であればよい。例えば、状態検知センサ8Cは、収容容器内の温度を検知する温度センサであってもよい。この他にも、例えば状態検知センサ8Cとして、湿度センサ、音センサ、照度センサ、重量センサ、あるいはにおいセンサ等を用いることもできる。また、状態検知センサ8Cとして距離センサや近接センサを用いてもよい。なお、状態検知センサ8Cは複数設けてもよく、その場合、各状態検知センサ8Cの検知対象は同じであってもよいし異なっていてもよい。
【0094】
計算装置4Cは、計算装置4と同様の構成(
図2参照)を備えている。計算装置4との相違点は、計算装置4C(より詳細には充足判定部405)は、状態検知センサ8Cの出力値が、収容容器内に異常が発生していることを示しているか否かを判定する点である。そして、収容容器内に異常が発生していると判定された場合には、送信制御部407が、通信装置5を制御して、CMOSセンサ3の出力値を用いて生成された画像データを監視装置6に送信させる。なお、送信させる画像データは減量化データであってもよい。また、上述の実施形態で例示した他の条件(例えば、換算された距離が所定の下限値に達している等)を充足したときにも画像データを送信させるようにしてもよい。
【0095】
以上のように、監視システム100Cには、収容容器内の状態を検知するための状態検知センサ8Cが含まれている。そして、充足判定部405による判定に用いられる条件には、状態検知センサ8Cの出力値が、収容容器内に異常が発生していることを示していることが含まれている。これにより、収容容器内に異常が発生している可能性が高いときに、画像データを用いた収容容器内の状態確認等の処理を監視装置6に行わせることが可能になる。
【0096】
例えば、状態検知センサ8Cを温度センサとすれば、収容容器内の温度が異常に高くなっているときに、監視装置6に画像データを用いた収容容器内の状態確認を行わせることができる。また、例えば、状態検知センサ8Cを音センサとすれば、収容容器内で異常な音が検知されたときに、監視装置6に画像データを用いた収容容器内の状態確認を行わせることができる。
【0097】
〔変形例〕
上述の実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の情報処理装置(プロセッサということもできる)により、計算装置4、4B、4C、および、監視装置6、6Aの機能を実現することができる。例えば、
図6および
図7のフローチャートに記載されている各処理を複数の情報処理装置に分担させることもできる。つまり、上述の実施形態における監視方法の実行主体は、1つの情報処理装置であってもよいし、複数の情報処理装置であってもよい。
【0098】
〔ソフトウェアによる実現例〕
計算装置4、4B、4C、制御装置4A、および、監視装置6、6A(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御部40、60等に含まれる各部)としてコンピュータを機能させるためのプログラム(監視プログラム)により実現することができる。
【0099】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0100】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0101】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0102】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0103】
100 監視システム
1 センサユニット
2 光源
3 CMOSセンサ
4 計算装置
402 データ取得部
404 換算部
5 通信装置
6 監視装置
100A 監視システム
1A センサユニット
6A 監視装置(計算装置)
100B 監視システム
1B センサユニット
4B 計算装置
7B 距離センサ
100C 監視システム
1C センサユニット
4C 計算装置
8C 状態検知センサ