▶ ＪＸ日鉱日石エネルギー株式会社の特許一覧 ▶ トキコテクノ株式会社の特許一覧 ▶ 株式会社日立国際電気の特許一覧
特許7582946セルフ給油許可システム、セルフ給油許可システムの制御方法、及び、セルフ給油ステーション
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】セルフ給油許可システム、セルフ給油許可システムの制御方法、及び、セルフ給油ステーション
(51)【国際特許分類】
G08B 25/00 20060101AFI20241106BHJP
B67D 7/32 20100101ALI20241106BHJP
【ＦＩ】
G08B25/00 510M
B67D7/32 A
B67D7/32 Z
【請求項の数】
6
(21)【出願番号】P 2021534081
(86)(22)【出願日】2020-07-22
(86)【国際出願番号】 JP2020028510
(87)【国際公開番号】W WO2021015256
(87)【国際公開日】2021-01-28
【審査請求日】2023-07-11
(31)【優先権主張番号】P 2019137169
(32)【優先日】2019-07-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004444
【氏名又は名称】ＥＮＥＯＳ株式会社
(73)【特許権者】
【識別番号】000110099
【氏名又は名称】トキコシステムソリューションズ株式会社
(73)【特許権者】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100152423
【弁理士】
【氏名又は名称】小島 一真
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(72)【発明者】
【氏名】西野 圭太
(72)【発明者】
【氏名】清水 陽一郎
(72)【発明者】
【氏名】桜井 崇広
(72)【発明者】
【氏名】与安 光晴
(72)【発明者】
【氏名】野澤 健太郎
(72)【発明者】
【氏名】戸田 一浩
(72)【発明者】
【氏名】安井 理
【審査官】村山 禎恒
(56)【参考文献】
【文献】特開２００２－１９３３９９（ＪＰ，Ａ）
【文献】特開２００８－２３４５５１（ＪＰ，Ａ）
【文献】国際公開第２０１６／１５２４２６（ＷＯ，Ａ１）
【文献】特開昭６２－２８７８９７（ＪＰ，Ａ）
【文献】特開昭６１－１９０４９６（ＪＰ，Ａ）
【文献】特開２００３－３１２７９８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｂ ２５／００－３１／００
Ｇ０６Ｑ ３０／０６
Ｂ６７Ｄ ７／３２
(57)【特許請求の範囲】
【請求項1】
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、
少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可するものであり、
前記監視装置により前記利用者が異常行動していると判定した後、前記監視員により前記管理端末又は前記制御装置が操作された場合には、前記監視装置が、前記利用者の異常行動が解消されているか否かを判定する
ことを特徴とするセルフ給油許可システム。
【請求項2】
前記管理端末と前記制御装置の少なくとも一方は、所定の情報を表示する表示部を備える、
ことを特徴とする請求項１に記載のセルフ給油許可システム。
【請求項3】
前記監視装置が、給油開始後に前記利用者が異常行動をしていると判定した場合に、前記表示部を備える前記管理端末と制御装置との少なくとも一方は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタン及び停止ボタンを前記表示部に表示させる
ことを特徴とする請求項２に記載のセルフ給油許可システム。
【請求項4】
給油開始前に、前記監視員により前記表示部に表示された確認ボタンが操作された場合には、前記監視装置が、前記利用者の異常行動が解消されているか否かを判定する
ことを特徴とする請求項３に記載のセルフ給油許可システム。
【請求項5】
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備えたセルフ給油許可システムの制御方法であって、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可するものであり、
前記監視装置により前記利用者が異常行動していると判定した後、前記監視員により前記管理端末又は前記制御装置が操作された場合には、前記監視装置が、前記利用者の異常行動が解消されているか否かを判定する
ことを特徴とするセルフ給油許可システムの制御方法。
【請求項6】
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムが適用される、セルフ給油ステーションにおいて、
前記セルフ給油許可システムは、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、 少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可するものであり、
前記監視装置により前記利用者が異常行動していると判定した後、前記監視員により前記管理端末又は前記制御装置が操作された場合には、前記監視装置が、前記利用者の異常行動が解消されているか否かを判定する
ことを特徴とするセルフ給油ステーション。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、セルフ給油許可システム、セルフ給油許可システムの制御方法、及び、セルフ給油ステーションに関する。
【背景技術】
【0002】
図８は、従来のセルフ給油ステーションにおける給油システム１００Ａの構成の一例を示す図である。
【0003】
従来のセルフ給油ステーションでは、例えば、図８に示すように、セルフ給油ステーションの建屋の制御室にて監視員が給油を行う利用者を目視、あるいは監視モニターで利用者の給油行動、安全性、危険行動を監視し、制御装置により給油許可を出していた。
【0004】
また、給油時にディスペンサの異常、利用者に不審者等を監視カメラ画像で発見した場合は、監視員がセルフ給油ステーションまで出向き、再確認を実施する対応を行なっていた。
【0005】
ここで、例えば、特許文献１には、給油機に監視カメラを設けて、監視モニターでその画像情報から給油の許可/禁止する制御技術が開示されている。
【0006】
この特許文献１では、監視カメラにより撮像されて事務所内の監視モニターでセルフ給油ステーションの監視員によって監視されており、この監視により利用者が給油操作を間違えないようにすると共に異常行動の発見も可能となっている。
【0007】
また、例えば、特許文献２には、複数の燃料供給装置を含むその周辺を撮像し撮像内容を出力する監視カメラと、通信手段により、設定器による設定操作が完了した燃料供給装置に燃料供給開始の許可を与える管理装置と、管理装置に接続されたモニターと、を有し、インタホンの通話スイッチがオンになると、設定器のディスプレイに表示された画像データと同じ画像データをモニターに表示する技術が開示されている。
【0008】
なお、この特許文献２では、監視員が監視モニターに表示された各燃料の供給装置の状態を確認し、異常がない場合は、給液許可釦をオンに操作して燃料装置に対して給液許可信号を返信する旨の開示がある。
【0009】
そして、この特許文献２では、計量機はこの計量制御装置による制御下で、利用者の操作が予め定められた所定手順に従っているか否かを確認しながら、車両等の燃料タンクに対する給液を行う旨の開示がある。
【0010】
そして、この特許文献２では、人間と機械が異なる着眼点で監視し、最後に人間が給液許可を判断した技術が開示されている。
【0011】
また、例えば、特許文献３では、遠隔の監視施設にて監視員がセルフ充填機付近の利用者を画像により監視する技術が開示されている。
【0012】
この特許文献３では、監視員と利用者との間で双方向の通話が可能な通話装置を設ける。そして、監視施設での監視員の操作に基づいてセルフ充填機による充填の許可又は禁止ができる。また、画像監視は、水素火炎を可視化できるカメラと、これによる可視化画像に基づいて水素火炎を検知することができ、水素火炎検知信号に基づいて自動的にセルフ充填機による充填の禁止を行うようになっている。
【0013】
なお、この特許文献３では、充填許可/禁止指令装置は、火炎検知部からの火炎検知信号に基づいて自動的に充填機が充填を禁止できる構成であると良い旨が開示されている。
【先行技術文献】
【特許文献】
【0014】
【文献】特開2000-238899号公報
【文献】特開2009-67457号公報
【文献】特開2017-3086号公報
【発明の概要】
【発明が解決しようとする課題】
【0015】
既述のように、従来のセルフ給油ステーションでは、制御室にて監視員が給油を行う利用者を目視、あるいは監視モニターで利用者の給油行動、安全性、危険行動を監視し、制御装置により給油許可を出していた。そして、複数の利用者が連続して給油すると、監視員は常時制御室にいて、監視を継続する必要があり、休憩時の交替、有事対応などで制御室を離れるためには監視員が複数必要であった。
【0016】
また、監視員が監視モニターで監視する場合、人間では判断が困難な異常行動等で利用者の異常行動を見落とす場合も考えられる。
【0017】
そこで、本発明は、上記問題に鑑みてなされたものであり、少なくとも監視装置（ＡＩロボット）が利用者の異常行動を判定し、制御を行うことで、省力化、より正確な給油許可の判断、及び、人員の有効利用を可能にするセルフ給油許可システム、セルフ給油許可システムの制御方法、及び、セルフ給油ステーションを提供することを目的とする。
【課題を解決するための手段】
【0018】
本発明の一態様に係るセルフ給油許可システムは、
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、 少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とする。
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、 少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とする。
【0019】
前記セルフ給油許可システムにおいて、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合、又は、前記監視装置が、前記利用者が正常行動をしていると判定する場合の少なくとも何れか一方である
ことを特徴とする。
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合、又は、前記監視装置が、前記利用者が正常行動をしていると判定する場合の少なくとも何れか一方である
ことを特徴とする。
【0020】
前記セルフ給油許可システムにおいて、
前記制御装置は、
前記利用者による給油の許可を指示する前記管理端末への前記監視員の操作入力に応じて、前記ディスペンサを用いた前記車両への給油を実行し、
一方、前記利用者による給油の禁止を指示する前記管理端末への前記監視員の操作入力に応じて、前記ディスペンサを用いた前記車両への給油を禁止する
ことを特徴とする。
前記制御装置は、
前記利用者による給油の許可を指示する前記管理端末への前記監視員の操作入力に応じて、前記ディスペンサを用いた前記車両への給油を実行し、
一方、前記利用者による給油の禁止を指示する前記管理端末への前記監視員の操作入力に応じて、前記ディスペンサを用いた前記車両への給油を禁止する
ことを特徴とする。
【0021】
前記セルフ給油許可システムにおいて、
前記監視装置は、
過去に取得された過去の利用者の操作による前記ディスペンサを用いた車両への給油の行動の画像に関する行動画像データを前記過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、今回の利用者が異常行動をしているか否かを判定する
ことを特徴とする。
前記監視装置は、
過去に取得された過去の利用者の操作による前記ディスペンサを用いた車両への給油の行動の画像に関する行動画像データを前記過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、今回の利用者が異常行動をしているか否かを判定する
ことを特徴とする。
【0022】
前記セルフ給油許可システムにおいて、
前記監視装置は、
今回取得した今回の利用者の操作によるディスペンサを用いた車両への給油の行動画像に関する行動画像データと、前記分類別データのうち異常行動と判定された行動画像データとの近似度を計算し、この計算結果に基づいて、前記利用者が異常行動をしているか否かを判定する
ことを特徴とする。
前記監視装置は、
今回取得した今回の利用者の操作によるディスペンサを用いた車両への給油の行動画像に関する行動画像データと、前記分類別データのうち異常行動と判定された行動画像データとの近似度を計算し、この計算結果に基づいて、前記利用者が異常行動をしているか否かを判定する
ことを特徴とする。
【0023】
前記セルフ給油許可システムにおいて、
前記監視装置が、前記利用者が給油のための正常行動をしていると判定した場合には、前記監視員の代わりに前記制御装置により前記利用者による給油が許可され、
前記監視装置が、前記利用者が異常行動をしていると判定した場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可し、
前記監視装置が、前記利用者の行動を判定できない場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可する
ことを特徴とする。
前記監視装置が、前記利用者が給油のための正常行動をしていると判定した場合には、前記監視員の代わりに前記制御装置により前記利用者による給油が許可され、
前記監視装置が、前記利用者が異常行動をしていると判定した場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可し、
前記監視装置が、前記利用者の行動を判定できない場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可する
ことを特徴とする。
【0024】
前記セルフ給油許可システムにおいて、
前記監視装置が、前記利用者が給油のための正常行動をしていると判定した場合には、前記監視員の代わりに前記制御装置により前記利用者による給油が許可され、
前記監視装置が、前記利用者が異常行動をしていると判定した場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可し、
前記監視装置が、前記利用者の行動を判定できない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を許可する
ことを特徴とする。
前記監視装置が、前記利用者が給油のための正常行動をしていると判定した場合には、前記監視員の代わりに前記制御装置により前記利用者による給油が許可され、
前記監視装置が、前記利用者が異常行動をしていると判定した場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可し、
前記監視装置が、前記利用者の行動を判定できない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を許可する
ことを特徴とする。
【0025】
前記セルフ給油許可システムにおいて、
少なくとも前記利用者の操作による給油の行動を撮像し、撮像して得られた画像データを前記監視装置に出力する監視カメラをさらに備える
ことを特徴とする。
少なくとも前記利用者の操作による給油の行動を撮像し、撮像して得られた画像データを前記監視装置に出力する監視カメラをさらに備える
ことを特徴とする。
【0026】
前記セルフ給油許可システムにおいて、
前記監視カメラは、
少なくとも前記ディスペンサの周辺を撮像して画像データを取得するディスペンサ用カメラと、
少なくとも前記ディスペンサにより給油される車両が停止する停止エリアを撮像して画像データを取得する停止エリア用カメラと、を含む
ことを特徴とする。
前記監視カメラは、
少なくとも前記ディスペンサの周辺を撮像して画像データを取得するディスペンサ用カメラと、
少なくとも前記ディスペンサにより給油される車両が停止する停止エリアを撮像して画像データを取得する停止エリア用カメラと、を含む
ことを特徴とする。
【0027】
前記セルフ給油許可システムにおいて、
前記利用者の操作による給油にともなって発生する、音声、温度、臭い、光、又は、油漏洩の少なくとも何れかを検知して、検知結果を前記監視装置に出力するセンサーをさらに備え、
前記監視装置は、前記画像データを分析した分析結果及び前記センサーが検知した検知結果に基づいて、前記利用者が異常行動をしているか否かを判定する
ことを特徴とする。
前記利用者の操作による給油にともなって発生する、音声、温度、臭い、光、又は、油漏洩の少なくとも何れかを検知して、検知結果を前記監視装置に出力するセンサーをさらに備え、
前記監視装置は、前記画像データを分析した分析結果及び前記センサーが検知した検知結果に基づいて、前記利用者が異常行動をしているか否かを判定する
ことを特徴とする。
【0028】
前記セルフ給油許可システムにおいて、
前記センサーは、前記ディスペンサの周辺、及び／又は、前記ディスペンサにより給油される車両が停止する停止エリアに設置されている
ことを特徴とする。
前記センサーは、前記ディスペンサの周辺、及び／又は、前記ディスペンサにより給油される車両が停止する停止エリアに設置されている
ことを特徴とする。
【0029】
前記セルフ給油許可システムにおいて、
前記監視装置は、前記センサーで過去に取得した信号データを用いて、過去の利用者の異常行動のデータとの比較に基づいて、今回の利用者に異常行動が有るか否かを判定する ことを特徴とする。
前記監視装置は、前記センサーで過去に取得した信号データを用いて、過去の利用者の異常行動のデータとの比較に基づいて、今回の利用者に異常行動が有るか否かを判定する ことを特徴とする。
【0030】
前記セルフ給油許可システムにおいて、
前記管理端末は、無線通信又は有線通信により、前記判定結果を含む情報を前記監視装置から受信するとともに、前記監視員の操作に応じた情報を前記監視装置に送信する
ことを特徴とする。
前記管理端末は、無線通信又は有線通信により、前記判定結果を含む情報を前記監視装置から受信するとともに、前記監視員の操作に応じた情報を前記監視装置に送信する
ことを特徴とする。
【0031】
前記セルフ給油許可システムにおいて、
前記監視装置は、セルフ給油ステーション内の建屋に配置され、
前記管理端末は、前記監視装置と無線通信又は有線通信で接続された遠隔地で前記監視員が操作するようになっている
ことを特徴とする。
前記監視装置は、セルフ給油ステーション内の建屋に配置され、
前記管理端末は、前記監視装置と無線通信又は有線通信で接続された遠隔地で前記監視員が操作するようになっている
ことを特徴とする。
【0032】
前記セルフ給油許可システムにおいて、
前記監視装置は、前記ディスペンサ及び前記制御装置とは離間して設置されていることを特徴とする。
前記監視装置は、前記ディスペンサ及び前記制御装置とは離間して設置されていることを特徴とする。
【0033】
前記セルフ給油許可システムにおいて、
前記監視装置は、
前記監視カメラにより取得した少なくとも給油開始前及び／又は給油開始後の前記利用者の行動の画像の情報を分析し、前記利用者が異常行動をしているか否かを判定する画像分析装置と、
少なくとも前記管理端末と無線通信するための無線装置と、
前記監視カメラ、前記センサー、前記制御装置、前記画像分析装置、及び、前記無線装置の間に介在するインターフェースと、を備える
ことを特徴とする。
前記監視装置は、
前記監視カメラにより取得した少なくとも給油開始前及び／又は給油開始後の前記利用者の行動の画像の情報を分析し、前記利用者が異常行動をしているか否かを判定する画像分析装置と、
少なくとも前記管理端末と無線通信するための無線装置と、
前記監視カメラ、前記センサー、前記制御装置、前記画像分析装置、及び、前記無線装置の間に介在するインターフェースと、を備える
ことを特徴とする。
【0034】
前記セルフ給油許可システムにおいて、
前記管理端末は、
前記監視員が操作入力するための操作部と、
所定の情報を表示する表示部と、
前記監視装置及び／又は制御装置と無線通信又は有線通信するための通信部と、
コンピュータにより構成され、前記管理端末の必要な処理を実行する制御部と、を備える
ことを特徴とする。
前記管理端末は、
前記監視員が操作入力するための操作部と、
所定の情報を表示する表示部と、
前記監視装置及び／又は制御装置と無線通信又は有線通信するための通信部と、
コンピュータにより構成され、前記管理端末の必要な処理を実行する制御部と、を備える
ことを特徴とする。
【0035】
前記セルフ給油許可システムにおいて、
前記管理端末は、前記監視員に所持されて持ち運びされる携帯端末であることを特徴とする。
前記管理端末は、前記監視員に所持されて持ち運びされる携帯端末であることを特徴とする。
【0036】
前記セルフ給油許可システムにおいて、
前記異常行動とは、前記利用者の火器の所持、又は、前記利用者のタバコの喫煙である ことを特徴とする。
前記異常行動とは、前記利用者の火器の所持、又は、前記利用者のタバコの喫煙である ことを特徴とする。
【0037】
本発明の一態様に係るセルフ給油許可システムの制御方法は、
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備えたセルフ給油許可システムの制御方法であって、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とする。
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備えたセルフ給油許可システムの制御方法であって、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とする。
【0038】
本発明の一態様に係るセルフ給油許可ステーションは、
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムが適用される、セルフ給油ステーションにおいて、
前記セルフ給油許可システムは、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、 少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とする。
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムが適用される、セルフ給油ステーションにおいて、
前記セルフ給油許可システムは、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、 少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とする。
【0039】
前記セルフ給油許可システムにおいて、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合である
ことを特徴とする。
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合である
ことを特徴とする。
【0040】
前記セルフ給油許可システムにおいて、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が正常行動をしていると判定する場合である
ことを特徴とする。
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が正常行動をしていると判定する場合である
ことを特徴とする。
【0041】
前記セルフ給油許可システムにおいて、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合と、前記監視装置が、前記利用者が正常行動をしていると判定する場合と、が含まれる
ことを特徴とする。
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合と、前記監視装置が、前記利用者が正常行動をしていると判定する場合と、が含まれる
ことを特徴とする。
【0042】
前記セルフ給油許可システムにおいて、
前記管理端末又は前記制御装置は、それぞれ所定の情報を表示する表示部を備え、
前記監視装置が、給油開始後に前記利用者が異常行動をしていると判定した場合に、前記管理端末又は制御装置は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタン及び停止ボタンをそれぞれの前記管理端末又は前記制御装置の前記表示部に表示させる
ことを特徴とする。
前記管理端末又は前記制御装置は、それぞれ所定の情報を表示する表示部を備え、
前記監視装置が、給油開始後に前記利用者が異常行動をしていると判定した場合に、前記管理端末又は制御装置は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタン及び停止ボタンをそれぞれの前記管理端末又は前記制御装置の前記表示部に表示させる
ことを特徴とする。
【0043】
前記セルフ給油許可システムにおいて、
給油開始前に、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された確認ボタンが操作された場合には、前記監視装置が、前記利用者の異常行動が解消されているか否かを判定する
ことを特徴とする。
給油開始前に、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された確認ボタンが操作された場合には、前記監視装置が、前記利用者の異常行動が解消されているか否かを判定する
ことを特徴とする。
【0044】
前記セルフ給油許可システムにおいて、
給油開始前に、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された確認ボタンが操作された際、前記監視装置が、前記利用者の異常行動が解消されていると判定した場合には、前記管理端末及び前記制御装置は、前記利用者の異常行動が解消された旨を報知する
ことを特徴とする。
給油開始前に、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された確認ボタンが操作された際、前記監視装置が、前記利用者の異常行動が解消されていると判定した場合には、前記管理端末及び前記制御装置は、前記利用者の異常行動が解消された旨を報知する
ことを特徴とする。
【0045】
前記セルフ給油許可システムにおいて、
前記監視装置が、給油開始前に前記利用者が異常行動をしていると判定した場合に、前記管理端末又は前記制御装置は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタンをそれぞれの前記管理端末又は前記制御装置の前記表示部に表示させ、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された前記確認ボタンが操作されることで、前記制御装置が前記ディスペンサのポンプを駆動させる
ことを特徴とする。
前記監視装置が、給油開始前に前記利用者が異常行動をしていると判定した場合に、前記管理端末又は前記制御装置は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタンをそれぞれの前記管理端末又は前記制御装置の前記表示部に表示させ、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された前記確認ボタンが操作されることで、前記制御装置が前記ディスペンサのポンプを駆動させる
ことを特徴とする。
【0046】
前記セルフ給油許可システムにおいて、
前記センサーは、熱源の温度をサーマル画像として検出することが可能なサーマルカメラを備え、
前記サーマルカメラは、
前記監視カメラが撮影する領域と重なる領域の温度に基づいたサーマル画像を取得し、
取得した前記サーマル画像において、予め設定された閾値以上の温度である領域を熱源の座標として熱源座標を取得し、取得した前記熱源座標に対応する熱源座標データを前記監視装置に出力し、
前記監視カメラは、
前記利用者の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに基づいて、前記利用者がタバコを所持していると判別できた場合には、前記利用者が異常行動をしていると判定し、
一方、前記行動画像データに基づいて、前記利用者がタバコを所持していると判別できない場合には、前記行動画像データの判別結果と前記サーマルカメラが出力した前記熱源座標データとを照合し、
前記行動画像データに対応する行動画像におけるタバコと疑われる画像の領域の判定座標と前記熱源座標データに対応する前記サーマル画像の前記熱源座標とが重なる場合には、前記利用者が異常行動をしていると判定し、
一方、前記判定座標と前記熱源座標とが重ならない場合には、前記利用者が正常行動をしていると判定する
ことを特徴とする。
前記センサーは、熱源の温度をサーマル画像として検出することが可能なサーマルカメラを備え、
前記サーマルカメラは、
前記監視カメラが撮影する領域と重なる領域の温度に基づいたサーマル画像を取得し、
取得した前記サーマル画像において、予め設定された閾値以上の温度である領域を熱源の座標として熱源座標を取得し、取得した前記熱源座標に対応する熱源座標データを前記監視装置に出力し、
前記監視カメラは、
前記利用者の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに基づいて、前記利用者がタバコを所持していると判別できた場合には、前記利用者が異常行動をしていると判定し、
一方、前記行動画像データに基づいて、前記利用者がタバコを所持していると判別できない場合には、前記行動画像データの判別結果と前記サーマルカメラが出力した前記熱源座標データとを照合し、
前記行動画像データに対応する行動画像におけるタバコと疑われる画像の領域の判定座標と前記熱源座標データに対応する前記サーマル画像の前記熱源座標とが重なる場合には、前記利用者が異常行動をしていると判定し、
一方、前記判定座標と前記熱源座標とが重ならない場合には、前記利用者が正常行動をしていると判定する
ことを特徴とする。
【0047】
前記セルフ給油許可システムにおいて、
前記監視装置は、
取得された前記行動画像データを利用者の異常行動又は正常行動として前記熱源座標データを用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次の利用者が異常行動をしているか否かを判定する
ことを特徴とする。
前記監視装置は、
取得された前記行動画像データを利用者の異常行動又は正常行動として前記熱源座標データを用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次の利用者が異常行動をしているか否かを判定する
ことを特徴とする。
【0048】
前記セルフ給油許可システムにおいて、
前記監視カメラは、
前記利用者又は前記監視員である人物の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに対応する前記行動画像において、携行缶が無いと判別した場合には、前記人物が異常行動をしていないと判定し、
一方、前記行動画像データに対応する前記行動画像において、前記携行缶が存在すると判別した場合には、前記人物が前記監視員であるか否かを判断し、
前記人物が前記監視員であると判別した場合には、前記人物が正常行動をしていると判定し、
一方、前記人物が前記監視員ではないと判別した場合には、前記人物が異常行動をしていると判定する
ことを特徴とする。
前記監視カメラは、
前記利用者又は前記監視員である人物の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに対応する前記行動画像において、携行缶が無いと判別した場合には、前記人物が異常行動をしていないと判定し、
一方、前記行動画像データに対応する前記行動画像において、前記携行缶が存在すると判別した場合には、前記人物が前記監視員であるか否かを判断し、
前記人物が前記監視員であると判別した場合には、前記人物が正常行動をしていると判定し、
一方、前記人物が前記監視員ではないと判別した場合には、前記人物が異常行動をしていると判定する
ことを特徴とする。
【0049】
前記セルフ給油許可システムにおいて、
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物が予め設定された外観を有する場合には、前記人物が前記監視員であると判別する
ことを特徴とする。
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物が予め設定された外観を有する場合には、前記人物が前記監視員であると判別する
ことを特徴とする。
【0050】
前記セルフ給油許可システムにおいて、
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物が前記管理端末を所持している場合には、前記人物が前記監視員であると判別する
ことを特徴とする。
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物が前記管理端末を所持している場合には、前記人物が前記監視員であると判別する
ことを特徴とする。
【0051】
前記セルフ給油許可システムにおいて、
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物により前記管理端末が操作されて前記管理端末から所定の信号を受信した場合には、前記人物が前記監視員であると判別する
ことを特徴とする。
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物により前記管理端末が操作されて前記管理端末から所定の信号を受信した場合には、前記人物が前記監視員であると判別する
ことを特徴とする。
【0052】
前記セルフ給油許可システムにおいて、
前記監視装置は、
取得された前記行動画像データを利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次の利用者が異常行動をしているか否かを判定することを特徴とする。
前記監視装置は、
取得された前記行動画像データを利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次の利用者が異常行動をしているか否かを判定することを特徴とする。
【0053】
前記セルフ給油許可システムにおいて、
前記監視カメラは、
前記利用者の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに対応する前記行動画像において、前記ディスペンサのノズルが存在すると判別できた場合には、前記ノズルが検出されていると判定し、
一方、前記行動画像において、前記ディスペンサの前記ノズルが存在すると判別できない場合には、前記行動画像データの判別結果と、前記行動画像における前記ノズルのマーク座標とを照合し、
前記行動画像データに対応する行動画像における前記ノズルと疑われる画像の判定座標と、前記ノズルの前記マーク座標とが重なる場合には、前記ノズルが検出されていると判定し、
一方、前記判定座標と前記マーク座標とが重ならない場合には、前記ノズルが検出されていないと判定する
ことを特徴とする。
前記監視カメラは、
前記利用者の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに対応する前記行動画像において、前記ディスペンサのノズルが存在すると判別できた場合には、前記ノズルが検出されていると判定し、
一方、前記行動画像において、前記ディスペンサの前記ノズルが存在すると判別できない場合には、前記行動画像データの判別結果と、前記行動画像における前記ノズルのマーク座標とを照合し、
前記行動画像データに対応する行動画像における前記ノズルと疑われる画像の判定座標と、前記ノズルの前記マーク座標とが重なる場合には、前記ノズルが検出されていると判定し、
一方、前記判定座標と前記マーク座標とが重ならない場合には、前記ノズルが検出されていないと判定する
ことを特徴とする。
【0054】
前記セルフ給油許可システムにおいて、
前記ディスペンサの前記ノズルの表面には、予め設定された判別用マークが付加されており、
前記監視装置は、
前記行動画像データに対応する行動画像において前記判別用マークを判別することで、前記行動画像における前記判別用マークの座標を前記マーク座標として取得する
ことを特徴とする。
前記ディスペンサの前記ノズルの表面には、予め設定された判別用マークが付加されており、
前記監視装置は、
前記行動画像データに対応する行動画像において前記判別用マークを判別することで、前記行動画像における前記判別用マークの座標を前記マーク座標として取得する
ことを特徴とする。
【0055】
前記セルフ給油許可システムにおいて、
前記センサーは、前記ディスペンサのノズルから出力されるマーク信号を検出して、前記ディスペンサのノズルの位置に関する位置情報データを前記監視装置に出力し、
前記監視装置は、
前記センサーから出力された前記位置情報データに基づいて、前記マーク信号が検出された位置を前記行動画像における前記マーク座標として取得する
ことを特徴とする。
前記センサーは、前記ディスペンサのノズルから出力されるマーク信号を検出して、前記ディスペンサのノズルの位置に関する位置情報データを前記監視装置に出力し、
前記監視装置は、
前記センサーから出力された前記位置情報データに基づいて、前記マーク信号が検出された位置を前記行動画像における前記マーク座標として取得する
ことを特徴とする。
【0056】
前記セルフ給油許可システムにおいて、
前記監視装置は、
今回の給油時における前記ディスペンサのノズルの判別に関して前記マーク座標を用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次回の給油時における前記ディスペンサのノズルの判別を実行する
ことを特徴とする。
前記監視装置は、
今回の給油時における前記ディスペンサのノズルの判別に関して前記マーク座標を用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次回の給油時における前記ディスペンサのノズルの判別を実行する
ことを特徴とする。
【発明の効果】
【0057】
本発明に係るセルフ給油許可システム、セルフ給油許可システムの制御方法、及び、セルフ給油ステーションによれば、監視装置が利用者の異常行動を判定し、制御を行うことで、省力化、より正確な給油許可の判断、及び、人員の有効利用を可能にすることができる。
【図面の簡単な説明】
【0058】
【発明を実施するための形態】
【0059】
以下、本開示の実施形態に係るセルフ給油許可システム、セルフ給油許可システムの制御方法、及び、セルフ給油ステーションについて、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は本開示の実施形態の一例であって、本開示はこれらの実施形態に限定して解釈されるものではない。また、本明細書において用いる、形状や幾何学的条件並びにそれらの程度を特定する、用語や長さや角度の値等については、厳密な意味に縛られることなく、同様の機能また、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
【0060】
［セルフ給油許可システム］
ここで、図１は、本実施形態に係るセルフ給油ステーションにおけるセルフ給油許可システム１００の構成の一例を示す図である。
ここで、図１は、本実施形態に係るセルフ給油ステーションにおけるセルフ給油許可システム１００の構成の一例を示す図である。
【0061】
この図１に示すセルフ給油許可システム１００は、例えば、利用者（給油者）ＭＷの操作によるディスペンサＤを用いた車両Ｗへの給油を許可して、給油を実施するようになっている。なお、当該セルフ給油ステーションにおいて給油される油種は、ガソリン、軽油や灯油等の油である。
【0062】
そして、このセルフ給油許可システム１００は、例えば、図１に示すように、監視装置Ｙと、管理端末（携帯端末）Ｘと、制御装置ＳＳＣと、監視カメラＣと、センサーＳと、ディスペンサＤと、サーバーＺと、を備える。なお、各図及び以下の記載では、管理端末の一態様として、監視員ＭＸに所持されて持ち運びされるタブレット等の携帯端末Ｘの例を説明するが、当該管理端末が所定の位置に設置（固定）された端末である場合も、同様に説明される。
【0063】
［監視カメラ］
また、監視カメラＣは、例えば、図１に示すように、少なくとも利用者ＭＷの操作による給油の行動を撮像し、撮像して得られた画像データを監視装置Ｙに出力するようになっている。
また、監視カメラＣは、例えば、図１に示すように、少なくとも利用者ＭＷの操作による給油の行動を撮像し、撮像して得られた画像データを監視装置Ｙに出力するようになっている。
【0064】
そして、この監視カメラＣは、例えば、少なくともディスペンサＤの周辺を撮像して画像データを取得するディスペンサＤ用カメラと、少なくともディスペンサＤにより給油される車両Ｗが停止する停止エリアを撮像して画像データを取得する停止エリア用カメラと、を含む。
【0065】
なお、ここでは、上記「ディスペンサの周辺」とは、ディスペンサ本体を監視することのできる範囲を意味する。
【0066】
［センサー］
また、センサーＳは、例えば、図１に示すように、利用者ＭＷの操作による給油や行動にともなって発生する、音声、温度、臭い、光、又は、油漏洩の少なくとも何れかを検知して、検知結果を監視装置Ｙに出力するようになっている。
そして、このセンサーＳは、例えば、ディスペンサＤの周辺、及び／又は、ディスペンサＤにより給油される車両Ｗが停止する停止エリアに設置されている。
また、センサーＳは、例えば、図１に示すように、利用者ＭＷの操作による給油や行動にともなって発生する、音声、温度、臭い、光、又は、油漏洩の少なくとも何れかを検知して、検知結果を監視装置Ｙに出力するようになっている。
そして、このセンサーＳは、例えば、ディスペンサＤの周辺、及び／又は、ディスペンサＤにより給油される車両Ｗが停止する停止エリアに設置されている。
【0067】
なお、ここでは、上記「停止エリア」とは、給油のために車両が停止するエリアを意味しており、撮像は車両全体及び通常利用者が給油のために動く範囲を含むものである。
【0068】
［監視装置］
また、監視装置Ｙは、例えば、図１に示すように、ディスペンサＤ及び制御装置ＳＳＣとは離間して設置されている。特に、監視装置Ｙは、例えば、当該セルフ給油ステーション内の建屋に配置されている。
また、監視装置Ｙは、例えば、図１に示すように、ディスペンサＤ及び制御装置ＳＳＣとは離間して設置されている。特に、監視装置Ｙは、例えば、当該セルフ給油ステーション内の建屋に配置されている。
【0069】
そして、この監視装置Ｙは、利用者ＭＷの操作によるディスペンサＤを用いた車両Ｗへの給油を、監視し、少なくとも利用者ＭＷの行動を撮像して得られた画像データを分析した分析結果に基づいて、利用者ＭＷが後述の異常行動をしているか否かを判定するようになっている。
【0070】
また、この監視装置Ｙは、例えば、過去に取得された過去の利用者の操作によるディスペンサＤを用いた車両Ｗへの給油の行動の画像に関する行動画像データを過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、今回の利用者ＭＷが異常行動をしているか否かを判定するようになっている。
【0071】
特に、監視装置Ｙは、例えば、今回取得した今回の利用者ＭＷの操作によるディスペンサＤを用いた車両Ｗへの給油の行動画像に関する行動画像データと、既述の分類別データのうち異常行動と判定された行動画像データとの近似度を計算し、この計算結果に基づいて、利用者ＭＷが異常行動をしているか否かを判定するようになっている。
【0072】
なお、上記「近似度」の計算は公知の方法を任意に使用することができる。例えば、特許第4701100号の公報に記載されているように、実行することができる。具体的には、映像から静止部分を除去し、映像の動作部分から立体高次局所自己相関特徴を利用し、特徴ベクトルを算出する。あるいは、特徴ベクトルはオプティカルフローを用いて算出してもよい。こうした特徴ベクトルを統計処理し、特徴量として表示する。そして、その特徴量を正常行動の特徴量と対比し、数値が近いほど近似度が高いとする方法がある。そして、数値の差にいくつかの閾値を設け、この範囲であれば正常、この範囲であれば不明、この範囲外であれば異常と判断することができる。また、特開2019-96179号公報に記載のように多層式ニューラルネットワークを使用して、利用者の行動を判定してもよい。
【0073】
さらに、監視装置Ｙは、例えば、図１に示すように、画像データを分析した分析結果及びセンサーＳが検知した検知結果に基づいて、利用者ＭＷが異常行動をしているか否かを判定するようになっている。
【0074】
そして、この監視装置Ｙは、例えば、センサーＳで過去に取得した信号データ（ビッグデータ）を用いて、過去の利用者の異常行動のデータとの比較に基づいて、今回の利用者ＭＷに異常行動が有るか否かを判定するようになっている。
【0075】
この監視装置Ｙは、例えば、図１に示すように、画像分析装置Ｙ１と、インターフェースＹ２と、無線装置Ｙ３と、を備える。
【0076】
そして、画像分析装置Ｙ１は、例えば、図１に示すように、監視カメラＣにより取得した少なくとも給油開始前及び／又は給油開始後の利用者ＭＷの行動の画像の情報を分析し、この利用者ＭＷが異常行動をしているか否かを判定するようになっている。
【0077】
より詳しくは、この画像分析装置Ｙ１は、ＡＩロボット（人工知能）を備えており、過去に取得された過去の利用者の操作によるディスペンサＤを用いた車両Ｗへの給油の行動の画像に関する行動画像データを過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、今回の利用者ＭＷが異常行動をしているか否かを判定するようになっている。
【0078】
また、無線装置Ｙ３は、例えば、図１に示すように、少なくとも携帯端末Ｘと無線通信するようになっている。
【0079】
また、インターフェースＹ２は、例えば、図１に示すように、監視カメラ、センサーＳ、制御装置ＳＳＣ、画像分析装置Ｙ１、及び、無線装置Ｙ３の間に介在している。
【0080】
［サーバー］
また、サーバーＺは、例えば、図１に示すように、監視装置Ｙにより過去に取得された過去の利用者の操作によるディスペンサＤを用いた車両Ｗへの給油の行動の画像に関する行動画像データを過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習するようになっている。そして、このサーバーＺは、既述の判定モデルのプログラムを更新するようになっている。
また、サーバーＺは、例えば、図１に示すように、監視装置Ｙにより過去に取得された過去の利用者の操作によるディスペンサＤを用いた車両Ｗへの給油の行動の画像に関する行動画像データを過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習するようになっている。そして、このサーバーＺは、既述の判定モデルのプログラムを更新するようになっている。
【0081】
このサーバーＺは、例えば、図１に示すように、画像データベースＺ１と、画像認識及び機械学習部Ｚ２と、を備える。
【0082】
そして、画像データベースＺ１は、監視装置Ｙにより過去に取得された過去の利用者の操作によるディスペンサＤを用いた車両Ｗへの給油の行動の画像に関する行動画像データを、記憶するようになっている。
【0083】
また、画像認識及び機械学習部Ｚ２は、既述の行動画像データを過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習し、既述の判定モデルのプログラムを更新するようになっている。
［管理端末（携帯端末）］
既述のように、本実施形態では、管理端末の一態様として、監視員ＭＸに所持されて持ち運びされるタブレット等の携帯端末Ｘの例を説明するが、当該管理端末が所定の位置に設置（固定）された端末である場合も、同様に説明される。
［管理端末（携帯端末）］
既述のように、本実施形態では、管理端末の一態様として、監視員ＭＸに所持されて持ち運びされるタブレット等の携帯端末Ｘの例を説明するが、当該管理端末が所定の位置に設置（固定）された端末である場合も、同様に説明される。
【0084】
管理端末である携帯端末Ｘは、例えば、図１に示すように、監視装置Ｙが取得した情報（監視カメラＣから取得した画像データやセンサーＳの検知結果等）及び監視装置Ｙの判定結果を、監視装置Ｙから取得して出力するとともに、車両Ｗへの給油を監視する監視員ＭＸにより操作されるようになっている。
【0085】
この携帯端末Ｘは、例えば、無線通信により、判定結果を含む情報を監視装置Ｙから受信するとともに、監視員ＭＸの操作に応じた情報（指示）を監視装置Ｙに送信するようになっている。なお、この携帯端末Ｘは、有線通信により、判定結果を含む情報を監視装置Ｙから受信するとともに、監視員ＭＸの操作に応じた情報（指示）を監視装置Ｙに送信するようにしてもよい。
【0086】
なお、この携帯端末Ｘは、必要に応じて、監視員ＭＸの操作に応じた情報（指示）を制御装置ＳＳＣに送信するようにしてもよい。
【0087】
特に、この携帯端末Ｘは、例えば、図１に示すように、監視装置Ｙ及び制御装置ＳＳＣとは別に設けられている。特に、この携帯端末Ｘは、監視装置Ｙと無線通信又は無線通信で接続された遠隔地で監視員ＭＸが操作するようになっている。
【0088】
ここで、この携帯端末Ｘは、例えば、図１に示すように、表示部Ｈと、操作部Ａと、通信部Ｔと、制御部ＣＮＴと、を備える。
【0089】
そして、表示部Ｈは、例えば、既述の監視装置Ｙが取得した情報及び監視装置Ｙの判定結果等の所定の情報を表示するようになっている。この表示部Ｈは、例えば、タッチパネルである。なお、携帯端末Ｘの表示部Ｈには、後述の制御装置ＳＳＣの表示部Ｇ１に表示される内容と同様の内容が表示されるようにしてもよい。
【0090】
また、操作部Ａは、監視員ＭＸが操作入力するためのものである。この操作部Ａは、例えば、監視員ＭＸが操作するための「確認ボタン」、「許可ボタン」や「停止ボタン」等の各種の操作や選択のためのボタン等を表示するタッチパネルの部分であり、この場合、当該タッチパネルは、上述のように、表示部Ｈとしても機能することとなる。
【0091】
また、通信部Ｔは、監視装置Ｙ及び／又は制御装置ＳＳＣと無線通信又は無線通信して、所定の情報や指令等のデータを送受信するようになっている。
【0092】
また、制御部ＣＮＴは、例えば、ＣＰＵ等のコンピュータにより構成され、表示部Ｈ、操作部Ａ、及び、通信部Ｔの動作を制御して、携帯端末Ｘの必要な処理を実行するようになっている。
【0093】
［制御装置］
また、制御装置ＳＳＣは、例えば、図１に示すように、少なくとも監視装置Ｙの判定結果及び監視員ＭＸによる携帯端末Ｘの操作に応じて、利用者ＭＷの操作によるディスペンサＤを用いた車両Ｗへの給油を制御するようになっている。
また、制御装置ＳＳＣは、例えば、図１に示すように、少なくとも監視装置Ｙの判定結果及び監視員ＭＸによる携帯端末Ｘの操作に応じて、利用者ＭＷの操作によるディスペンサＤを用いた車両Ｗへの給油を制御するようになっている。
【0094】
例えば、制御装置ＳＳＣは、利用者ＭＷによる給油の許可を指示する携帯端末Ｘへの監視員ＭＸの操作入力に応じて、ディスペンサＤを用いた車両Ｗへの給油を実行するようになっている。
【0095】
一方、制御装置ＳＳＣは、監視装置Ｙの判定結果や、利用者ＭＷによる給油の禁止を指示する携帯端末Ｘへの監視員ＭＸの操作入力に応じて、ディスペンサＤを用いた車両Ｗへの給油を中断（禁止）するようになっている。
【0096】
特に、制御装置ＳＳＣは、監視装置Ｙが、利用者ＭＷが異常行動をしていると判定しない場合には、監視員ＭＸによる携帯端末Ｘへの操作入力に基づいて、ディスペンサＤを用いた車両Ｗへの給油を禁止又は許可するようになっている。
【0097】
ここで、監視装置Ｙが、利用者ＭＷが異常行動をしていると判定しない場合とは、監視装置Ｙが、利用者ＭＷが異常行動をしているとの判定が不可能である場合、又は、監視装置Ｙが、利用者ＭＷが正常行動をしていると判定する場合の少なくとも何れか一方である。
【0098】
なお、既述の利用者ＭＷの「異常行動」とは、例えば、利用者ＭＷの火器の所持、又は、利用者ＭＷのタバコの喫煙や、その他の給油に際しての異常（危険）な行動（静電気除去がされていない状態での給油等）である。
【0099】
また、既述の利用者ＭＷの「正常行動」とは、例えば、利用者ＭＷの給油の注文、利用者ＭＷの静電気の除去、又は、利用者ＭＷの車両Ｗの給油口へのディスペンサＤのノズルの挿入や、その他の給油のために必要な正常な行動である。
【0100】
なお、監視装置Ｙの判定結果、携帯端末Ｘの操作入力の情報、及び、その他の情報（監視カメラＣが撮像した画像データやセンサーＳの検知結果等）は、監視装置ＹのインターフェースＹ２を介して、この制御装置ＳＳＣに送信されるようになっているが、例えば、携帯端末Ｘから、この制御装置ＳＳＣに必要な情報が送信されるようにしてもよい。
【0101】
ここで、この制御装置ＳＳＣは、例えば、図１に示すように、表示部Ｇ１と、操作部Ｇ２と、制御部Ｇ３と、を備える。
【0102】
そして、表示部Ｇ１は、例えば、既述の監視装置Ｙが取得した情報及び監視装置Ｙの判定結果等の所定の情報を表示するようになっている。この表示部Ｇ１は、例えば、タッチパネルである。
【0103】
また、操作部Ｇ２は、監視員ＭＸが操作入力するためのものである。この操作部Ｇ２は、例えば、監視員ＭＸが操作するための「確認ボタン」、「許可ボタン」や「停止ボタン」等の各種の操作や選択のためのボタン等を表示するタッチパネルの部分であり、この場合、当該タッチパネルは、上述のように、表示部Ｇ１としても機能することとなる。
【0104】
また、制御部Ｇ３は、例えば、ＣＰＵ等のコンピュータにより構成され、表示部Ｇ１、及び、操作部Ｇ２の動作を制御して、制御装置ＳＳＣの必要な処理を実行するようになっている。
【0105】
［セルフ給油許可システムの全体的なセルフ給油における制御方法のフローの概念］
ここで、既述のような構成及び機能を有するセルフ給油許可システム１００の制御方法の全体的なセルフ給油における制御方法のフローの概念の一例について説明する。
ここで、既述のような構成及び機能を有するセルフ給油許可システム１００の制御方法の全体的なセルフ給油における制御方法のフローの概念の一例について説明する。
【0106】
【0107】
先ず、例えば、この図２に示すように、利用者ＭＷが当該セルフ給油ステーションに車両Ｗに乗車して来店し、ディスペンサＤが近接する停止エリアに車両Ｗを停車させて、降車後、給油のための行動を開始する（ステップＳ１）。
【0108】
このとき、監視カメラＣは、少なくとも利用者ＭＷの操作による給油の行動の撮像を開始し、撮像して得られた画像データを監視装置Ｙに出力する。さらに、センサーＳは、利用者ＭＷの操作による給油や行動にともなって発生する、音声、温度、臭い、光、又は、油漏洩の少なくとも何れかの検知を開始して、この検知結果を監視装置Ｙに出力する。
【0109】
そして、監視装置Ｙは、監視カメラＣが利用者ＭＷの行動を撮像して得られた画像データを分析した分析結果及びセンサーＳの検知結果に基づいて、利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ２）。
【0110】
そして、監視装置Ｙが、ステップＳ２において、利用者ＭＷが給油のための正常行動をしていると判定した場合には、この判定結果に基づいて制御装置ＳＳＣにより利用者ＭＷによる給油が許可され（ステップＳ３）、利用者ＭＷによる給油が完了する（ステップＳ４）。
【0111】
一方、監視装置Ｙが、ステップＳ２において、利用者ＭＷが異常行動をしていると判定した場合には、この判定結果に基づいて制御装置ＳＳＣにより利用者ＭＷによる給油が禁止され（ステップＳ５）、その後、監視員ＭＸによる携帯端末Ｘ（若しくは制御装置ＳＳＣ）への操作入力に基づいて、制御装置ＳＳＣはディスペンサＤを用いた車両Ｗへの給油が再度禁止又は許可される（ステップＳ６）。
【0112】
また、監視装置Ｙが、ステップＳ２において、利用者ＭＷの行動を判定できない場合には、この判定結果に基づいて制御装置ＳＳＣにより利用者ＭＷによる給油が禁止され（ステップＳ７）、その後、監視員ＭＸによる携帯端末Ｘ（若しくは制御装置ＳＳＣ）への操作入力に基づいて、制御装置ＳＳＣはディスペンサＤを用いた車両Ｗへの給油を再度禁止又は許可され（ステップＳ８）、利用者ＭＷによる給油が完了する。
【0113】
また、図３は、図１に示すセルフ給油許可システム１００の全体的なセルフ給油における制御方法のフローの概念の他の例を示す概念図である。なお、この図３に示すステップＳ１～Ｓ６のフローは、既述の図２に示すステップＳ１～Ｓ６のフローと同様であり、ステップＳ１１～Ｓ１３が既述の図２に示すステップと異なる。
【0114】
すなわち、例えば、この図３に示すように、利用者ＭＷが当該セルフ給油ステーションに車両Ｗに乗車して来店し、ディスペンサＤが近接する停止エリアに車両Ｗを停車させて、降車後、給油のための行動を開始する（ステップＳ１）。
【0115】
このとき、監視カメラＣは、少なくとも利用者ＭＷの操作による給油の行動の撮像を開始し、撮像して得られた画像データを監視装置Ｙに出力する。さらに、センサーＳは、利用者ＭＷの操作による給油にともなって発生する、音声、温度、臭い、光、又は、油漏洩の少なくとも何れかの検知を開始して、検知結果を監視装置Ｙに出力する。
【0116】
そして、監視装置Ｙは、監視カメラＣが利用者ＭＷの行動を撮像して得られた画像データを分析した分析結果及びセンサーＳの検知結果に基づいて、利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ２）。
【0117】
そして、監視装置Ｙが、ステップＳ２において、利用者ＭＷが給油のための正常行動をしていると判定した場合には、この判定結果に基づいて制御装置ＳＳＣにより利用者ＭＷによる給油が許可され（ステップＳ３）、利用者ＭＷによる給油が完了する（ステップＳ４）。
【0118】
一方、監視装置Ｙが、ステップＳ２において、利用者ＭＷが異常行動をしていると判定した場合には、この判定結果に基づいて制御装置ＳＳＣにより利用者ＭＷによる給油が禁止され（ステップＳ５）、その後、監視員ＭＸによる携帯端末Ｘ（若しくは制御装置ＳＳＣ）への操作入力に基づいて、制御装置ＳＳＣはディスペンサＤを用いた車両Ｗへの給油が再度禁止又は許可される（ステップＳ６）。
【0119】
また、監視装置Ｙが、ステップＳ２において、利用者ＭＷの行動を判定できない場合には、監視員ＭＸが、携帯端末Ｘの表示部Ｈに表示される利用者ＭＷの操作による給油の行動の画像データや目視に基づいて、利用者ＭＷが異常行動をしているか否かを判定して（ステップＳ１１）、監視員ＭＸによる携帯端末Ｘ（若しくは制御装置ＳＳＣ）への操作入力に基づいて、制御装置ＳＳＣはディスペンサＤを用いた車両Ｗへの給油を許可し（ステップＳ１２）、利用者ＭＷによる給油が完了する（ステップＳ１３）。
【0120】
このように、上述の図２や図３に示すセルフ給油許可システム１００の制御フローによれば、監視装置（ＡＩロボット）Ｙが利用者ＭＷの異常行動を判定し、制御を行うとともに、必要に応じて監視員ＭＸが利用者ＭＷの異常行動を判定し、制御することで、省力化、及び、人員の有効利用を可能にすることができる。
【0121】
特に、監視装置Ｙが、利用者ＭＷが給油のための正常行動をしていると判定した場合には、この判定結果に基づいて制御装置ＳＳＣにより利用者ＭＷによる給油が許可され、監視員ＭＸに代わって、利用者ＭＷによる給油を完了させることができる（ステップＳ２～Ｓ４）。
【0122】
特に、監視装置（ＡＩロボット）Ｙが利用者ＭＷの異常行動を判定することで、監視員が気づかない危険因子が削減され、より安全なセルフ給油ステーションの運用が可能となる。
【0123】
また、監視員が充填箇所を目視出来る箇所に待機が必要であると言う消防法による規制を満足する形態で監視員の配置の許容範囲が拡大する効果を奏している。
【0124】
［セルフ給油許可システム１００の給油時の具体的なフロー］
次に、既述の図２や図３に示すセルフ給油許可システム１００の制御フローの概念を具体的に実施する、セルフ給油許可システム１００の給油時の具体的なフローの一例について説明する。
次に、既述の図２や図３に示すセルフ給油許可システム１００の制御フローの概念を具体的に実施する、セルフ給油許可システム１００の給油時の具体的なフローの一例について説明する。
【0125】
【0126】
先ず、例えば、図４に示すように、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ１０１）。
【0127】
そして、監視装置Ｙが、ステップＳ１０１において給油開始前に利用者ＭＷが異常行動をしていると判定した場合に、携帯端末Ｘ及び制御装置ＳＳＣは、利用者ＭＷの異常行動と判定された画像、及び、監視員ＭＸが操作するための確認ボタンをそれぞれの表示部Ｈ、Ｇ１（タッチパネル）に表示させる（ステップＳ１０２）。
【0128】
その後、監視員ＭＸが、目視または携帯端末Ｘの表示部Ｈの画像から利用者ＭＷの行動を確認する（ステップＳ１０３）。
【0129】
その後、監視員ＭＸが、給油開始前に利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ１０４）。
【0130】
そして、監視員ＭＸが、ステップＳ１０４において給油開始前に利用者ＭＷが異常行動をしていると判定した場合に、音声ガイド又は監視員ＭＸにより利用者ＭＷに注意喚起する（ステップＳ１０５）。
【0131】
その後、利用者ＭＷが、注意喚起に応じて、異常行動を止める（ステップＳ１０６）。
【0132】
ここで、監視員ＭＸが、ステップＳ１０４において給油開始前に利用者ＭＷが異常行動をしていないと判定した後、又はステップＳ１０６において利用者ＭＷの異常行動がやめられていると判定した後、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押される（操作される）（ステップＳ１０７）。
【0133】
そして、監視装置Ｙが既述のステップＳ１０１において給油開始前に利用者ＭＷが異常行動をしていないと判定し、若しくは、ステップＳ１０７において給油開始前に監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）後、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押される（操作される）（ステップＳ１０８）。
【0134】
そして、許可ボタンが押される（操作される）ことで、制御装置ＳＳＣがディスペンサＤのポンプを駆動させる（ステップＳ１０９）。
【0135】
その後、利用者ＭＷによるディスペンサＤを用いた車両Ｗへの給油が開始される（ステップＳ１１０）。
【0136】
そして、監視装置Ｙが、給油開始後に利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ１１１）。
【0137】
そして、監視装置Ｙが、ステップＳ１１１において給油開始後に利用者ＭＷが異常行動をしていないと判定した場合に、利用者ＭＷによるディスペンサＤを用いた車両Ｗへの給油を継続させて、給油を完了させる（ステップＳ１１７）。
【0138】
一方、監視装置Ｙが、ステップＳ１１１において給油開始後に利用者ＭＷが異常行動をしていると判定した場合に、携帯端末Ｘ及び制御装置ＳＳＣは、利用者ＭＷの異常行動と判定された画像、及び、監視員ＭＸが操作するための確認ボタン及び停止ボタンをそれぞれの表示部Ｈ、Ｇ１に表示させる（ステップＳ１１２）。
【0139】
その後、監視員ＭＸが目視または携帯端末Ｘの表示部Ｈの画像から利用者ＭＷの行動を確認する（ステップＳ１１３）。
【0140】
その後、監視員ＭＸが、給油開始後に利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ１１４）。
【0141】
そして、監視員ＭＸが、ステップＳ１１４において給油開始後に利用者ＭＷが異常行動をしていると判定した場合に、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された停止ボタンが押される（操作される）（ステップＳ１１５）。
【0142】
その後、ステップＳ１１５において監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された停止ボタンが押される（操作される）ことで、制御装置ＳＳＣがディスペンサＤのポンプを停止させて、給油が完了（終了）する（ステップＳ１１６）。
【0143】
一方、既述のステップＳ１１４において、監視員ＭＸが、給油開始後に利用者ＭＷが異常行動をしていると判定しない場合に、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押される（操作される）（ステップＳ１１８）。
【0144】
そして、ステップＳ１１８において監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押される（操作される）ことで、利用者ＭＷによるディスペンサＤを用いた車両Ｗへの給油を継続させて、給油を完了させる（ステップＳ１１９）。
【0145】
なお、既述のステップＳ１１４において、監視員ＭＸが、給油開始後に利用者ＭＷが異常行動をしていると判定しない場合に、監視装置Ｙにより制御装置ＳＳＣの表示部Ｇ１に表示された停止ボタンが操作される（監視装置Ｙが、停止ボタンを作動させるように、給油停止の指令を制御装置ＳＳＣに出力する）ようにしてもよい（ステップＳ１２０）。
【0146】
そして、このステップＳ１１４において監視装置Ｙにより制御装置ＳＳＣの表示部Ｇ１に表示された停止ボタンが操作される（停止ボタンを作動させる）ことで、制御装置ＳＳＣがディスペンサＤのポンプを停止させて、給油が完了（終了）するようにしてもよい（ステップＳ１２１）。
【0147】
このように、監視装置（ＡＩロボット）Ｙが利用者ＭＷの異常行動を判定し、制御を行うとともに、必要に応じて監視員ＭＸが利用者ＭＷの異常行動を判定し、制御することで、省力化、及び、人員の有効利用を可能にすることができる。
【0148】
特に、監視装置（ＡＩロボット）Ｙが利用者ＭＷの異常行動を判定することで、監視員が気づかない危険因子が削減され、より安全なセルフ給油ステーションの運用が可能となる。
【0149】
また、監視員が充填箇所を目視出来る箇所に待機が必要であると言う消防法による規制を満足する形態で監視員の配置の許容範囲が拡大する効果を奏している。
【0150】
［第１の変形例］
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第１の変形例について説明する。
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第１の変形例について説明する。
【0151】
【0152】
先ず、図５に示すように、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしているか否かを判定する第１（ステップＳ２０１）。
【0153】
そして、監視装置Ｙが、ステップＳ２０１において給油開始前に利用者ＭＷが異常行動をしていると判定した場合に、携帯端末Ｘ及び制御装置ＳＳＣは、異常を報知するとともに、利用者ＭＷの異常行動と判定された画像、及び、監視員ＭＸが操作するための確認ボタンをそれぞれの表示部Ｈ、Ｇ１に表示させる（ステップＳ２０２）。
【0154】
その後、給油開始前に監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）か否かを確認する（ステップＳ２０３）。
【0155】
そして、ステップＳ２０３において給油開始前に確認ボタンが押されていないことを確認後、異常が報知されてから予め設定された所定期間経過（ステップＳ２０４）していない場合には、確認ボタンが押された（操作された）か否かを確認するするステップＳ２０３に戻り、一方、確認ボタンが、所定期間、押されていない（操作されていない）場合には、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしているか否かを判定するステップＳ２０１に戻る。
【0156】
一方、既述のステップＳ２０１において、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしていると判定しない場合、若しくは、ステップＳ２０３において、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）場合に、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押された（操作された）か否かを判定する（ステップＳ２０５）。
【0157】
そして、ステップＳ２０５において、給油開始前に、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押された（操作された）場合には、制御装置ＳＳＣがディスペンサＤのポンプを駆動させる（ステップＳ２０６）。
【0158】
そして、制御装置ＳＳＣは、ステップＳ２０６においてディスペンサＤのポンプを駆動させて給油を開始した後、ディスペンサＤのノズルがノズル掛けに掛けられることで、給油が完了したか否かを確認する（ステップＳ２０７）。
【0159】
そして、ディスペンサＤのノズルがノズル掛けに掛けられていることを確認できる場合には、給油が終了する。
【0160】
一方、ステップＳ２０７において、制御装置SSCが、給油開始後、ディスペンサＤのノズルがノズル掛けに掛けられていることが確認できない場合には、監視装置Ｙが、給油開始後に利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ２０８）。
【0161】
そして、ステップＳ２０８において、監視装置Ｙが、給油開始後に利用者ＭＷが異常行動をしていると判定した場合には、制御装置ＳＳＣがディスペンサＤのポンプを停止させる（ステップＳ２０９）。
【0162】
その後、制御装置ＳＳＣがディスペンサＤのポンプを停止させた後、携帯端末Ｘ及び制御装置ＳＳＣは、異常を報知するとともに、利用者ＭＷの異常行動と判定された画像、及び、監視員ＭＸが操作するための確認ボタンをそれぞれの表示部Ｈ、Ｇ１に表示させる（ステップＳ２１０）。
【0163】
そして、監視装置Ｙは、制御装置ＳＳＣがディスペンサＤのポンプを停止させた後、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）か否かを確認する（ステップＳ２１１）。
【0164】
そして、監視装置Ｙは、ステップＳ２１１において監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）ことが確認された場合には、ステップＳ２０５に戻り、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押された（操作された）と判定されれば、その後、ステップＳ２０６において、ポンプが駆動されて、給油が再開される。
【0165】
一方、監視装置Ｙは、給油開始後に確認ボタンが押されていないことを確認後、異常が報知されてから予め設定された所定期間経過していない場合には、確認ボタンが押された（操作された）か否かを確認するするステップＳ２１１に戻り、一方、確認ボタンが、所定期間、押されていない（操作されていない）場合には、給油が終了する（ステップＳ２１２）。
【0166】
このように、本第１の変形例においても、給油中に監視装置（ＡＩロボット）Ｙが利用者ＭＷの異常行動を判定することで、監視員が気づかない危険因子が削減され、より安全なセルフ給油ステーションの運用が可能となる。
【0167】
また、監視員が充填箇所を目視出来る箇所に待機が必要であると言う消防法による規制を満足する形態で監視員の配置の許容範囲が拡大する効果を奏している。
【0168】
［第２の変形例］
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第２の変形例について説明する。
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第２の変形例について説明する。
【0169】
【0170】
先ず、図６に示すように、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしているか否かを判定する第１（ステップＳ３０１）。
【0171】
そして、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしていると判定した場合に、携帯端末Ｘ及び制御装置ＳＳＣは、異常を報知するとともに、利用者ＭＷの異常行動と判定された画像、及び、監視員ＭＸが操作するための確認ボタンをそれぞれの表示部Ｈ、Ｇ１に表示させる（ステップＳ３０２）。
【0172】
そして、監視装置Ｙは、給油開始前に監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）か否かを確認する（ステップＳ３０３）。
【0173】
そして、監視装置Ｙは、ステップＳ３０３において給油開始前に確認ボタンが押されていないことを確認後、異常が報知されてから予め設定された所定期間経過していない場合には、確認ボタンが押された（操作された）か否かを確認するするステップＳ３０２に戻り、一方、確認ボタンが、所定期間、押されていない（操作されていない）場合には、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしているか否かを判定するステップＳ３０１に戻る（ステップＳ３０４）。
【0174】
一方、ステップＳ３０１において、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしていると判定しない場合、若しくは、ステップＳ３０３において監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）場合に、監視装置Ｙは、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押された（操作された）か否かを判定する（ステップＳ３０５）。
【0175】
そして、ステップＳ３０５において、給油開始前に、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押された（操作された）場合には、制御装置ＳＳＣがディスペンサＤのポンプを駆動させる（ステップＳ３０６）。
【0176】
そして、制御装置SSCは、ディスペンサＤのポンプを駆動させて給油を開始した後、ディスペンサＤのノズルがノズル掛けに掛けられることで、給油が完了したか否かを確認する（ステップＳ３０７）。
【0177】
そして、制御装置SSCは、ディスペンサＤのノズルがノズル掛けに掛けられていることを確認できる場合には、給油が終了する。
【0178】
一方、ステップＳ３０７において、制御装置SSCは、給油開始後、ディスペンサＤのノズルがノズル掛けに掛けられていることが確認できない場合には、監視装置Ｙが、給油開始後に利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ３０８）。
【0179】
そして、ステップＳ３０８において、監視装置Ｙが、給油開始後に利用者ＭＷが異常行動をしていると判定した場合には、携帯端末Ｘ及び制御装置ＳＳＣは、異常を報知するとともに、利用者ＭＷの異常行動と判定された画像、及び、監視員ＭＸが操作するための確認ボタンをそれぞれの表示部Ｈ、Ｇ１に表示させる（ステップＳ３０９）。
【0180】
そして、監視装置Ｙが、給油開始後に監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）か否かを確認し、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）場合には、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押された（操作された）か否かを判定するステップＳ３０５に戻る（ステップＳ３１０）。
【0181】
そして、ステップＳ３１０において、給油開始後に監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが、予め設定された所定期間、押されない場合には、制御装置ＳＳＣがディスペンサＤのポンプを停止させて、給油を完了する（ステップＳ３１１）。
【0182】
このように、本第２の変形例においても、給油中に監視装置（ＡＩロボット）Ｙが利用者ＭＷの異常行動を判定することで、監視員が気づかない危険因子が削減され、より安全なセルフ給油ステーションの運用が可能となる。
【0183】
また、監視員が充填箇所を目視出来る箇所に待機が必要であると言う消防法による規制を満足する形態で監視員の配置の許容範囲が拡大する効果を奏している。
【0184】
［第３の変形例］
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第３の変形例について説明する。
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第３の変形例について説明する。
【0185】
【0186】
先ず、図７に示すように、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ４０１）。
【0187】
そして、ステップＳ４０１において、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしていると判定した場合に、携帯端末Ｘ及び制御装置ＳＳＣは、異常を報知するとともに、利用者ＭＷの異常行動と判定された画像、及び、監視員ＭＸが操作するための確認ボタンをそれぞれの表示部Ｈ、Ｇ１に表示させる（ステップＳ４０２）。
【0188】
その後、給油開始前に監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）か否かを確認する（ステップＳ４０３）。
【0189】
そして、監視装置Ｙは、給油開始前に確認ボタンが押されていないことを確認後、異常が報知されてから予め設定された所定期間経過していない場合には、確認ボタンが押された（操作された）か否かを確認するステップＳ４０３に戻り、一方、確認ボタンが、所定期間、押されていない（操作されていない）場合には、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしているか否かを判定するステップＳ４０１に戻る（ステップＳ４０４）。
【0190】
一方、ステップＳ４０３において、給油開始前に、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）場合には、監視装置Ｙが、利用者ＭＷの異常行動が解消されている（異常行動をしていない）か否かを判定する（ステップＳ４０５）。
【0191】
そして、ステップＳ４０５において、監視装置Ｙが、利用者ＭＷの異常行動が解消されていない（異常行動を継続している）と判定した場合には、携帯端末Ｘ及び制御装置ＳＳＣは、再度、利用者ＭＷの給油の確認を要請する旨を報知するとともに、利用者ＭＷの異常行動と判定された画像を表示させ且つ監視員ＭＸが操作するための確認ボタンをそれぞれの表示部Ｈ、Ｇ１に表示させる（ステップＳ４０６）。
【0192】
一方、ステップＳ４０５において、監視装置Ｙが、利用者ＭＷの異常行動が解消されている（異常行動をしていない）と判定した場合には、携帯端末Ｘ及び制御装置ＳＳＣは、利用者ＭＷの異常行動が解消された旨を報知する（ステップＳ４０７）。
【0193】
そして、既述のステップＳ４０１において、監視装置Ｙが、給油開始前に利用者ＭＷが異常行動をしていると判定しない場合、若しくは、ステップＳ４０７において、携帯端末Ｘ及び制御装置ＳＳＣが、利用者ＭＷの異常行動が解消された旨を報知した場合に、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押された（操作された）か否かを判定する（ステップＳ４０８）。
【0194】
そして、ステップＳ４０８において、給油開始前に、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された許可ボタンが押された（操作された）場合には、制御装置ＳＳＣがディスペンサＤのポンプを駆動させる（ステップＳ４０９）。
【0195】
そして、監視装置Ｙは、ステップＳ４０９においてディスペンサＤのポンプを駆動させて給油を開始した後、ディスペンサＤのノズルがノズル掛けに掛けられることで、給油が完了したか否かを確認する（ステップＳ４１０）。
【0196】
そして、監視装置Ｙは、ディスペンサＤのノズルがノズル掛けに掛けられていることを確認できる場合には、給油が終了する。
【0197】
そして、監視装置Ｙが、給油開始後、ディスペンサＤのノズルがノズル掛けに掛けられていることが確認できない場合には、監視装置Ｙが、給油開始後に利用者ＭＷが異常行動をしているか否かを判定する（ステップＳ４１１）。
【0198】
そして、ステップＳ４１１において、監視装置Ｙが、給油開始後に利用者ＭＷが異常行動をしていると判定した場合には、制御装置ＳＳＣがディスペンサＤのポンプを停止させる（ステップＳ４１２）。
【0199】
そして、ステップＳ４１２において、制御装置ＳＳＣがディスペンサＤのポンプを停止させた後、携帯端末Ｘ及び制御装置ＳＳＣは、異常を報知するとともに、利用者ＭＷの異常行動と判定された画像を表示させ且つ監視員ＭＸが操作するための確認ボタンをそれぞれの表示部Ｈ、Ｇ１（タッチパネル）に表示させる（ステップＳ４１３）。
【0200】
そして、監視装置Ｙは、制御装置ＳＳＣがディスペンサＤのポンプを停止させた後、監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）か否かを確認する（ステップＳ４１４）。
【0201】
そして、ステップＳ４１４において監視員ＭＸにより携帯端末Ｘ又は制御装置ＳＳＣの表示部Ｈ、Ｇ１に表示された確認ボタンが押された（操作された）ことが監視装置Ｙにより確認された場合には、ステップＳ４０９に戻り、ポンプが駆動されて、給油が再開される。
【0202】
一方、監視装置Ｙは、ステップＳ４１４において給油開始後に確認ボタンが押されていないことを確認後、異常が報知されてから予め設定された所定期間経過していない場合には、確認ボタンが押された（操作された）か否かを確認するするステップＳ４１４に戻る。そして、監視装置Ｙは、確認ボタンが、所定期間、押されていない（操作されていない）場合には、給油を終了する（ステップＳ４１５）。
【0203】
このように、本第３の変形例においても、給油中に監視装置（ＡＩロボット）Ｙが利用者ＭＷの異常行動を判定することで、監視員が気づかない危険因子が削減され、より安全なセルフ給油ステーションの運用が可能となる。
【0204】
また、監視員が充填箇所を目視出来る箇所に待機が必要であると言う消防法による規制を満足する形態で監視員の配置の許容範囲が拡大する効果を奏している。
【0205】
以上のように、本発明の一態様に係るセルフ給油許可システムは、利用者の操作によるディスペンサを用いた車両への給油を、監視し、少なくとも利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、利用者が異常行動をしているか否かを判定する監視装置と、監視装置が取得した情報及び監視装置の判定結果を、監視装置から取得して出力するとともに、車両への給油を監視する監視員により操作される携帯端末と、少なくとも監視装置の判定結果及び監視員による携帯端末の操作に応じて、利用者の操作によるディスペンサを用いた車両への給油を制御する制御装置と、備える。
【0206】
そして、携帯端末は、監視装置及び制御装置とは別に設けられており、監視装置が、利用者が異常行動をしていると判定しない場合には、監視員による携帯端末への操作入力に基づいて、制御装置は、ディスペンサを用いた車両への給油を禁止又は許可する。
【0207】
これにより、本発明の一態様に係るセルフ給油許可システムによれば、監視装置（ＡＩロボット）が利用者ＭＷの異常行動を判定し、制御を行うとともに、必要に応じて監視員が利用者の異常行動を判定し、制御することで、省力化、より正確な給油許可の判断、及び、人員の有効利用を可能にすることができる。
【0208】
特に、監視装置（ＡＩロボット）が利用者の異常行動を判定することで、監視員が気づかない危険因子が削減され、より安全なセルフ給油ステーションの運用が可能となる。
【0209】
また、監視員が充填箇所を目視出来る箇所に待機が必要であると言う消防法による規制を満足する形態で監視員の配置の許容範囲が拡大する効果を奏している。
【0210】
［第４の変形例］
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第４の変形例について説明する。ここでは、特に、図１に示すセルフ給油許可システム１００において、利用者がタバコを所持しているか否かを判別することで、当該利用者が異常行動をしているか否かを判定するフローの一例について説明する。
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第４の変形例について説明する。ここでは、特に、図１に示すセルフ給油許可システム１００において、利用者がタバコを所持しているか否かを判別することで、当該利用者が異常行動をしているか否かを判定するフローの一例について説明する。
【0211】
【0212】
この図９に示す例では、センサーＳ（図１のセンサーＳに対応する）は、点火したタバコ等の熱源の温度をサーマル画像として検出（熱源の輝度を検出する場合も含む）することが可能なサーマルカメラＳを備えているものとする。
【0213】
【0214】
そして、監視装置Ｙの画像分析装置Ｙ１は、インターフェースＹ２を介して、監視カメラＣから行動画像データを取得する。
【0215】
そして、監視装置Ｙの画像分析装置Ｙ１は、監視カメラCが出力した行動画像データを分析する（ステップＳ９０２）。
【0216】
そして、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに基づいて、利用者ＭＷがタバコを所持していると予め設定された信頼度以上で判別できた場合には、利用者ＭＷが異常行動をしていると判定する（ステップＳ９０３ ＹＥＳ）。
【0217】
一方、サーマルカメラＳは、監視カメラＣが撮影する領域と重なる領域の温度に基づいたサーマル画像を取得する（ステップＳ９０４）。
【0218】
そして、サーマルカメラＳは、取得したサーマル画像において、予め設定された閾値以上の温度である領域を熱源の座標として熱源座標を取得し（ステップＳ９０５）、取得した当該熱源座標に対応する熱源座標データを監視装置Ｙに出力する。
【0219】
そして、監視装置Ｙの画像分析装置Ｙ１は、インターフェースＹ２を介して、サーマルカメラＳから熱源座標データを取得する。
【0220】
ここで、監視装置Ｙの画像分析装置Ｙ１は、既述のステップＳ９０３において、当該行動画像データに基づいて、利用者ＭＷがタバコを所持していると既述の予め設定された信頼度以上で判別できない場合（ステップＳ９０３ ＮＯ）には、当該行動画像データの判別結果とサーマルカメラＳが出力した熱源座標データとを照合する（ステップＳ９０６）。
【0221】
そして、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像におけるタバコと疑われる画像の領域の判定座標と熱源座標データに対応するサーマル画像の熱源座標とが予め設定された基準割合以上で重なる場合（ステップＳ９０７ ＹＥＳ）には、利用者ＭＷが異常行動をしていると判定する。
【0222】
一方、監視装置Ｙの画像分析装置Ｙ１は、当該判定座標と熱源座標とが既述の基準割合以上で重ならない場合（ステップＳ９０７ ＮＯ）には、利用者ＭＷが正常行動をしている（異常行動をしていない）と判定する。
【0223】
ここで、例えば、監視装置Ｙの画像分析装置Ｙ１は、取得された行動画像データを今回の利用者ＭＷの異常行動又は正常行動として熱源座標データを用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次回の利用者ＭＷが異常行動をしているか否かを判定するようにしてもよい。
【0224】
以上のようにして、図１に示すセルフ給油許可システム１００において、利用者がタバコを所持しているか否かを判別することで、当該利用者が異常行動をしているか否かを判定することができる。
【0225】
［第５の変形例］
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第５の変形例について説明する。ここでは、特に、図１に示すセルフ給油許可システム１００において、給油が法令（消防法）上許可されている携行缶の有無を判別することで、当該利用者が異常行動をしているか否かを判定するフローの一例について説明する。
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第５の変形例について説明する。ここでは、特に、図１に示すセルフ給油許可システム１００において、給油が法令（消防法）上許可されている携行缶の有無を判別することで、当該利用者が異常行動をしているか否かを判定するフローの一例について説明する。
【0226】
【0227】
先ず、図１０に示すように、監視カメラＣ（図１の監視カメラＣに対応）は、利用者ＭＷ又は監視員ＭＸである人物の操作による給油の行動を撮像し、撮像して得られた行動画像データを監視装置Ｙに出力する（ステップＳ１００１）。
【0228】
そして、監視装置Ｙの画像分析装置Ｙ１は、インターフェースＹ２を介して、監視カメラＣから行動画像データを取得する。
【0229】
そして、監視装置Ｙの画像分析装置Ｙ１は、監視カメラＣが出力した当該行動画像データを分析する（ステップＳ１００２）。
【0230】
そして、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像において、給油を法令上許可された携行缶（容器）が無い（例えば、人物が携行缶を所持していない）と判別した場合には、当該人物が異常行動をしていないと判定する（ステップＳ１００３ ＹＥＳ）。
【0231】
一方、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像から利用者ＭＷ又は監視員ＭＸである人物を検出する（ステップＳ１００４）。そして、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像において、携行缶が存在すると判別した場合（ステップＳ１００３ ＮＯ）には、当該人物が監視員ＭＸであるか否かを判断する（ステップＳ１００５）。
【0232】
そして、監視装置Ｙの画像分析装置Ｙ１は、当該人物が監視員ＭＸであると判別した場合（ステップＳ１００５ ＹＥＳ）には、当該人物が正常行動をしている（異常行動をしていない）と判定する。
【0233】
一方、監視装置Ｙの画像分析装置Ｙ１は、当該人物が監視員ＭＸではない（利用者ＭＷである）と判別した場合（ステップＳ１００５ ＮＯ）には、当該人物（すなわち、利用者ＭＷ）が異常行動をしていると判定する。
【0234】
なお、例えば、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像から人物を検出し、検出された当該人物が予め設定された外観（制服等の着用）を有する場合には、当該人物が監視員ＭＸであると判別する。
【0235】
また、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像から人物を検出し、検出された当該人物が管理端末Ｘを所持している場合には、当該人物が監視員ＭＸであると判別するようにしてもよい。
【0236】
また、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像から人物を検出し、検出された当該人物により管理端末Ｘが操作されて管理端末Ｘから所定の信号を受信した場合には、当該人物が監視員ＭＸであると判別するようにしてもよい。
【0237】
ここで、例えば、監視装置Ｙの画像分析装置Ｙ１は、取得された行動画像データを今回の利用者ＭＷの異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次回の利用者ＭＷが異常行動をしているか否かを判定するようにしてもよい。
【0238】
以上のようにして、図１に示すセルフ給油許可システム１００において、給油が法令上許可されている携行缶の有無を判別することで、当該利用者が異常行動をしているか否かを判定することができる。
【0239】
［第６の変形例］
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第６の変形例について説明する。ここでは、特に、図１に示すセルフ給油許可システム１００において、ディスペンサのノズルの有無を検出するフローの一例について説明する。
次に、図１に示すセルフ給油許可システム１００の給油時の具体的なフローの第６の変形例について説明する。ここでは、特に、図１に示すセルフ給油許可システム１００において、ディスペンサのノズルの有無を検出するフローの一例について説明する。
【0240】
【0241】
なお、図１１に示す例では、ディスペンサＤのノズルの表面には、ディスペンサＤのノズルを画像処理により判別するための、予め設定された判別用マークが付加されているものとする。
【0242】
【0243】
そして、監視装置Ｙの画像分析装置Ｙ１は、インターフェースＹ２を介して、監視カメラＣから行動画像データを取得する。
【0244】
そして、監視装置Ｙの画像分析装置Ｙ１は、監視カメラが出力した当該行動画像データを分析する（ステップＳ１１０２）。
【0245】
そして、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像において、ディスペンサＤのノズルが存在する（例えば、利用者ＭＷがディスペンサＤのノズルを所持している）か否か判別する（ステップＳ１１０３）。
【0246】
そして、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像において、ディスペンサＤのノズルが存在すると予め設定された信頼度以上で判別できた場合（ステップＳ１１０３ ＹＥＳ）には、当該ノズルが検出されていると判定する。
【0247】
一方、監視装置Ｙの画像分析装置Ｙ１は、行動画像データに対応する行動画像においてディスペンサＤのノズルの表面に付加された判別用マークを判別することで、行動画像における当該判別用マークの座標をマーク座標として取得する（ステップＳ１１０４）。
【0248】
そして、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像において、ディスペンサＤのノズルが存在すると既述の予め設定された信頼度以上で判別できない場合（ステップＳ１１０３ ＮＯ）には、当該行動画像データの判別結果と、当該行動画像におけるノズルの表面に付加された判別用マークのマーク座標とを照合する（ステップＳ１１０５）。
【0249】
そして、監視装置Ｙの画像分析装置Ｙ１は、当該行動画像データに対応する行動画像におけるノズルと疑われる画像の判定座標と、ノズルの表面に付加された判別用マークのマーク座標とが重なる場合には、当該ノズルが検出されていると判定する（ステップＳ１１０６）。
【0250】
一方、監視装置Ｙの画像分析装置Ｙ１は、判定座標とマーク座標とが重ならない場合（ステップＳ１１０６ ＮＯ）には、当該ノズルが検出されていないと判定する。
【0251】
なお、既述のように、図１１に示す例では、ディスペンサＤのノズルの表面には、予め設定された判別用マークが付加されているようにしている。
【0252】
そして、この場合、監視装置Ｙの画像分析装置Ｙ１は、行動画像データに対応する行動画像においてディスペンサＤのノズルの表面に付加された判別用マークを判別することで、行動画像における判別用マークの座標をマーク座標として取得する。
【0253】
しかしながら、センサーＳは、ディスペンサのノズルから出力されるマーク信号を検出して、ディスペンサDのノズルの位置に関する位置情報データを監視装置Ｙに出力するようにしてもよい。
【0254】
この場合、監視装置Ｙの画像分析装置Ｙ１は、インターフェースＹ２を介して、センサーＣから位置情報データを取得する。そして、監視装置Ｙの画像分析装置Ｙ１は、センサーＳから出力された当該位置情報データに基づいて、マーク信号が検出された位置を行動画像におけるマーク座標として取得するようにしてもよい。
【0255】
ここで、例えば、監視装置Ｙは、今回の給油時におけるディスペンサＤのノズルの判別に関してマーク座標を用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次回の給油時におけるディスペンサＤのノズルの判別を実行するようにしてもよい。
【0256】
以上のようにして、図１に示すセルフ給油許可システム１００において、ディスペンサのノズルの有無（利用者がノズルを所持しているか否か）を検出することができる。すなわち、例えば、給油中（ノズルから吐出中）にノズルが車両の注油口から外された場合に、利用者が異常行動していると判定することができる。
なお、上記実施形態では、ノズルの有無の検出を可能としているが、ノズルの注油口への挿入有無も検出することも可能である。具体的には、給油許可（許可ボタンの操作）後、判定座標とマーク座標とが重なることで検出されたノズルの位置が所定の位置（注油口）にある場合や、判定座標を用いてノズルは検出されるがマーク座標が車両の注油口のカバーやノズルが注油口に挿入されたことに起因して検出されない場合等に、ノズルの注油口への挿入が検出されるものとしてもよい。
なお、上記実施形態では、ノズルの有無の検出を可能としているが、ノズルの注油口への挿入有無も検出することも可能である。具体的には、給油許可（許可ボタンの操作）後、判定座標とマーク座標とが重なることで検出されたノズルの位置が所定の位置（注油口）にある場合や、判定座標を用いてノズルは検出されるがマーク座標が車両の注油口のカバーやノズルが注油口に挿入されたことに起因して検出されない場合等に、ノズルの注油口への挿入が検出されるものとしてもよい。
【0257】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
［付記］
［付記］
【0258】
本発明の実施形態の例として、下記のような態様が想定される。
［請求項１］
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、
少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とするセルフ給油許可システム。
［請求項２］
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合、又は、前記監視装置が、前記利用者が正常行動をしていると判定する場合の少なくとも何れか一方である
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項３］
前記制御装置は、
前記利用者による給油の許可を指示する前記管理端末への前記監視員の操作入力に応じて、前記ディスペンサを用いた前記車両への給油を実行し、
一方、前記利用者による給油の禁止を指示する前記管理端末への前記監視員の操作入力に応じて、前記ディスペンサを用いた前記車両への給油を禁止する
ことを特徴とする請求項１又は２に記載のセルフ給油許可システム。
［請求項４］
前記監視装置は、
過去に取得された過去の利用者の操作による前記ディスペンサを用いた車両への給油の行動の画像に関する行動画像データを前記過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、今回の利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項１ないし３のいずれか一項に記載のセルフ給油許可システム。
［請求項５］
前記監視装置は、
今回取得した今回の利用者の操作によるディスペンサを用いた車両への給油の行動画像に関する行動画像データと、前記分類別データのうち異常行動と判定された行動画像データとの近似度を計算し、この計算結果に基づいて、前記利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項４に記載のセルフ給油許可システム。
［請求項６］
前記監視装置が、前記利用者が給油のための正常行動をしていると判定した場合には、前記監視員の代わりに前記制御装置により前記利用者による給油が許可され、
前記監視装置が、前記利用者が異常行動をしていると判定した場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可し、
前記監視装置が、前記利用者の行動を判定できない場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可する
ことを特徴とする請求項１ないし５のいずれか一項に記載のセルフ給油許可システム。
［請求項７］
前記監視装置が、前記利用者が給油のための正常行動をしていると判定した場合には、前記監視員の代わりに前記制御装置により前記利用者による給油が許可され、
前記監視装置が、前記利用者が異常行動をしていると判定した場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可し、
前記監視装置が、前記利用者の行動を判定できない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を許可する
ことを特徴とする請求項１ないし５のいずれか一項に記載のセルフ給油許可システム。
［請求項８］
少なくとも前記利用者の操作による給油の行動を撮像し、撮像して得られた画像データを前記監視装置に出力する監視カメラをさらに備える
ことを特徴とする請求項１ないし７のいずれか一項に記載のセルフ給油許可システム。
［請求項９］
前記監視カメラは、
少なくとも前記ディスペンサの周辺を撮像して画像データを取得するディスペンサ用カメラと、
少なくとも前記ディスペンサにより給油される車両が停止する停止エリアを撮像して画像データを取得する停止エリア用カメラと、を含む
ことを特徴とする請求項８に記載のセルフ給油許可システム。
［請求項１０］
前記利用者の操作による給油にともなって発生する、音声、温度、臭い、光、又は、油漏洩の少なくとも何れかを検知して、検知結果を前記監視装置に出力するセンサーをさらに備え、
前記監視装置は、前記画像データを分析した分析結果及び前記センサーが検知した検知結果に基づいて、前記利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項９に記載のセルフ給油許可システム。
［請求項１１］
前記センサーは、前記ディスペンサの周辺、及び／又は、前記ディスペンサにより給油される車両が停止する停止エリアに設置されている
ことを特徴とする請求項１０に記載のセルフ給油許可システム。
［請求項１２］
前記監視装置は、前記センサーで過去に取得した信号データを用いて、過去の利用者の異常行動のデータとの比較に基づいて、今回の利用者に異常行動が有るか否かを判定する
ことを特徴とする請求項１１に記載のセルフ給油許可システム。
［請求項１３］
前記管理端末は、無線通信又は有線通信により、前記判定結果を含む情報を前記監視装置から受信するとともに、前記監視員の操作に応じた情報を前記監視装置に送信する
ことを特徴とする請求項１２に記載のセルフ給油許可システム。
［請求項１４］
前記監視装置は、セルフ給油ステーション内の建屋に配置され、
前記管理端末は、前記監視装置と無線通信又は有線通信で接続された遠隔地で前記監視員が操作するようになっていることを特徴とする請求項１３に記載のセルフ給油許可システム。
［請求項１５］
前記監視装置は、前記ディスペンサ及び前記制御装置とは離間して設置されていることを特徴とする請求項１４に記載のセルフ給油許可システム。
［請求項１６］
前記監視装置は、
前記監視カメラにより取得した少なくとも給油開始前及び／又は給油開始後の前記利用者の行動の画像の情報を分析し、前記利用者が異常行動をしているか否かを判定する画像分析装置と、
少なくとも前記管理端末と無線通信するための無線装置と、
前記監視カメラ、前記センサー、前記制御装置、前記画像分析装置、及び、前記無線装置の間に介在するインターフェースと、を備える
ことを特徴とする請求項１５に記載のセルフ給油許可システム。
［請求項１７］
前記管理端末は、
前記監視員が操作入力するための操作部と、
所定の情報を表示する表示部と、
前記監視装置及び／又は制御装置と無線通信するための通信部と、
コンピュータにより構成され、前記管理端末の必要な処理を実行する制御部と、を備える
ことを特徴とする請求項１ないし１６のいずれか一項に記載のセルフ給油許可システム。
［請求項１８］
前記管理端末は、前記監視員に所持されて持ち運びされる携帯端末であることを特徴とする請求項１ないし１７のいずれか一項に記載のセルフ給油許可システム。
［請求項１９］
前記異常行動とは、前記利用者の火器の所持、又は、前記利用者のタバコの喫煙である
ことを特徴とする請求項２に記載のセルフ給油許可システム。
［請求項２０］
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備えたセルフ給油許可システムの制御方法であって、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とするセルフ給油許可システムの制御方法。
［請求項２１］
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムが適用される、セルフ給油ステーションにおいて、
前記セルフ給油許可システムは、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、 少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とするセルフ給油ステーション。
［請求項２２］
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合である
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項２３］
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が正常行動をしていると判定する場合である
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項２４］
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合と、前記監視装置が、前記利用者が正常行動をしていると判定する場合と、が含まれる
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項２５］
前記管理端末又は前記制御装置は、それぞれ所定の情報を表示する表示部を備え、
前記監視装置が、給油開始後に前記利用者が異常行動をしていると判定した場合に、前記管理端末又は制御装置は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタン及び停止ボタンをそれぞれの前記管理端末又は前記制御装置の前記表示部に表示させる
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項２６］
給油開始前に、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された確認ボタンが操作された場合には、前記監視装置が、前記利用者の異常行動が解消されているか否かを判定する
ことを特徴とする請求項２５に記載のセルフ給油許可システム。
［請求項２７］
給油開始前に、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された確認ボタンが操作された際、前記監視装置が、前記利用者の異常行動が解消されていると判定した場合には、前記管理端末及び前記制御装置は、前記利用者の異常行動が解消された旨を報知する
ことを特徴とする請求項２５に記載のセルフ給油許可システム。
［請求項２８］
前記監視装置が、給油開始前に前記利用者が異常行動をしていると判定した場合に、前記管理端末又は前記制御装置は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタンをそれぞれの前記管理端末又は前記制御装置の前記表示部に表示させ、
前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された前記確認ボタンが操作されることで、前記制御装置が前記ディスペンサのポンプを駆動させる
ことを特徴とする請求項２６に記載のセルフ給油許可システム。
［請求項２９］
前記センサーは、熱源の温度をサーマル画像として検出することが可能なサーマルカメラを備え、
前記サーマルカメラは、
前記監視カメラが撮影する領域と重なる領域の温度に基づいたサーマル画像を取得し、
取得した前記サーマル画像において、予め設定された閾値以上の温度である領域を熱源の座標として熱源座標を取得し、取得した前記熱源座標に対応する熱源座標データを前記監視装置に出力し、
前記監視カメラは、
前記利用者の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに基づいて、前記利用者がタバコを所持していると判別できた場合には、前記利用者が異常行動をしていると判定し、
一方、前記行動画像データに基づいて、前記利用者がタバコを所持していると判別できない場合には、前記行動画像データの判別結果と前記サーマルカメラが出力した前記熱源座標データとを照合し、
前記行動画像データに対応する行動画像におけるタバコと疑われる画像の領域の判定座標と前記熱源座標データに対応する前記サーマル画像の前記熱源座標とが重なる場合には、前記利用者が異常行動をしていると判定し、
一方、前記判定座標と前記熱源座標とが重ならない場合には、前記利用者が正常行動をしていると判定する
ことを特徴とする請求項１０に記載のセルフ給油許可システム。
［請求項３０］
前記監視装置は、
取得された前記行動画像データを利用者の異常行動又は正常行動として前記熱源座標データを用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次の利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項２９に記載のセルフ給油許可システム。
［請求項３１］
前記監視カメラは、
前記利用者又は前記監視員である人物の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに対応する前記行動画像において、携行缶が無いと判別した場合には、前記人物が異常行動をしていないと判定し、
一方、前記行動画像データに対応する前記行動画像において、前記携行缶が存在すると判別した場合には、前記人物が前記監視員であるか否かを判断し、
前記人物が前記監視員であると判別した場合には、前記人物が正常行動をしていると判定し、
一方、前記人物が前記監視員ではないと判別した場合には、前記人物が異常行動をしていると判定する
ことを特徴とする請求項１０に記載のセルフ給油許可システム。
［請求項３２］
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物が予め設定された外観を有する場合には、前記人物が前記監視員であると判別する
ことを特徴とする請求項３１に記載のセルフ給油許可システム。
［請求項３３］
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物が前記管理端末を所持している場合には、前記人物が前記監視員であると判別する
ことを特徴とする請求項３１に記載のセルフ給油許可システム。
［請求項３４］
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物により前記管理端末が操作されて前記管理端末から所定の信号を受信した場合には、前記人物が前記監視員であると判別する
ことを特徴とする請求項３１に記載のセルフ給油許可システム。
［請求項３５］
前記監視装置は、
取得された前記行動画像データを利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次の利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項３１に記載のセルフ給油許可システム。
［請求項３６］
前記監視カメラは、
前記利用者の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに対応する前記行動画像において、前記ディスペンサのノズルが存在すると判別できた場合には、前記ノズルが検出されていると判定し、
一方、前記行動画像において、前記ディスペンサの前記ノズルが存在すると判別できない場合には、前記行動画像データの判別結果と、前記行動画像における前記ノズルのマーク座標とを照合し、
前記行動画像データに対応する行動画像における前記ノズルと疑われる画像の判定座標と、前記ノズルの前記マーク座標とが重なる場合には、前記ノズルが検出されていると判定し、
一方、前記判定座標と前記マーク座標とが重ならない場合には、前記ノズルが検出されていないと判定する
ことを特徴とする請求項１０に記載のセルフ給油許可システム。
［請求項３７］
前記ディスペンサの前記ノズルの表面には、予め設定された判別用マークが付加されており、
前記監視装置は、
前記行動画像データに対応する行動画像において前記判別用マークを判別することで、前記行動画像における前記判別用マークの座標を前記マーク座標として取得する
ことを特徴とする請求項３６に記載のセルフ給油許可システム。
［請求項３８］
前記センサーは、前記ディスペンサのノズルから出力されるマーク信号を検出して、前記ディスペンサのノズルの位置に関する位置情報データを前記監視装置に出力し、
前記監視装置は、
前記センサーから出力された前記位置情報データに基づいて、前記マーク信号が検出された位置を前記行動画像における前記マーク座標として取得する
ことを特徴とする請求項３６に記載のセルフ給油許可システム。
［請求項３９］
前記監視装置は、
今回の給油時における前記ディスペンサのノズルの判別に関して前記マーク座標を用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次回の給油時における前記ディスペンサのノズルの判別を実行する
ことを特徴とする請求項３６に記載のセルフ給油許可システム。
［請求項１］
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、
少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とするセルフ給油許可システム。
［請求項２］
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合、又は、前記監視装置が、前記利用者が正常行動をしていると判定する場合の少なくとも何れか一方である
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項３］
前記制御装置は、
前記利用者による給油の許可を指示する前記管理端末への前記監視員の操作入力に応じて、前記ディスペンサを用いた前記車両への給油を実行し、
一方、前記利用者による給油の禁止を指示する前記管理端末への前記監視員の操作入力に応じて、前記ディスペンサを用いた前記車両への給油を禁止する
ことを特徴とする請求項１又は２に記載のセルフ給油許可システム。
［請求項４］
前記監視装置は、
過去に取得された過去の利用者の操作による前記ディスペンサを用いた車両への給油の行動の画像に関する行動画像データを前記過去の利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、今回の利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項１ないし３のいずれか一項に記載のセルフ給油許可システム。
［請求項５］
前記監視装置は、
今回取得した今回の利用者の操作によるディスペンサを用いた車両への給油の行動画像に関する行動画像データと、前記分類別データのうち異常行動と判定された行動画像データとの近似度を計算し、この計算結果に基づいて、前記利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項４に記載のセルフ給油許可システム。
［請求項６］
前記監視装置が、前記利用者が給油のための正常行動をしていると判定した場合には、前記監視員の代わりに前記制御装置により前記利用者による給油が許可され、
前記監視装置が、前記利用者が異常行動をしていると判定した場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可し、
前記監視装置が、前記利用者の行動を判定できない場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可する
ことを特徴とする請求項１ないし５のいずれか一項に記載のセルフ給油許可システム。
［請求項７］
前記監視装置が、前記利用者が給油のための正常行動をしていると判定した場合には、前記監視員の代わりに前記制御装置により前記利用者による給油が許可され、
前記監視装置が、前記利用者が異常行動をしていると判定した場合には、前記制御装置により前記利用者による給油が禁止され、その後、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を再度禁止又は許可し、
前記監視装置が、前記利用者の行動を判定できない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は前記ディスペンサを用いた前記車両への給油を許可する
ことを特徴とする請求項１ないし５のいずれか一項に記載のセルフ給油許可システム。
［請求項８］
少なくとも前記利用者の操作による給油の行動を撮像し、撮像して得られた画像データを前記監視装置に出力する監視カメラをさらに備える
ことを特徴とする請求項１ないし７のいずれか一項に記載のセルフ給油許可システム。
［請求項９］
前記監視カメラは、
少なくとも前記ディスペンサの周辺を撮像して画像データを取得するディスペンサ用カメラと、
少なくとも前記ディスペンサにより給油される車両が停止する停止エリアを撮像して画像データを取得する停止エリア用カメラと、を含む
ことを特徴とする請求項８に記載のセルフ給油許可システム。
［請求項１０］
前記利用者の操作による給油にともなって発生する、音声、温度、臭い、光、又は、油漏洩の少なくとも何れかを検知して、検知結果を前記監視装置に出力するセンサーをさらに備え、
前記監視装置は、前記画像データを分析した分析結果及び前記センサーが検知した検知結果に基づいて、前記利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項９に記載のセルフ給油許可システム。
［請求項１１］
前記センサーは、前記ディスペンサの周辺、及び／又は、前記ディスペンサにより給油される車両が停止する停止エリアに設置されている
ことを特徴とする請求項１０に記載のセルフ給油許可システム。
［請求項１２］
前記監視装置は、前記センサーで過去に取得した信号データを用いて、過去の利用者の異常行動のデータとの比較に基づいて、今回の利用者に異常行動が有るか否かを判定する
ことを特徴とする請求項１１に記載のセルフ給油許可システム。
［請求項１３］
前記管理端末は、無線通信又は有線通信により、前記判定結果を含む情報を前記監視装置から受信するとともに、前記監視員の操作に応じた情報を前記監視装置に送信する
ことを特徴とする請求項１２に記載のセルフ給油許可システム。
［請求項１４］
前記監視装置は、セルフ給油ステーション内の建屋に配置され、
前記管理端末は、前記監視装置と無線通信又は有線通信で接続された遠隔地で前記監視員が操作するようになっていることを特徴とする請求項１３に記載のセルフ給油許可システム。
［請求項１５］
前記監視装置は、前記ディスペンサ及び前記制御装置とは離間して設置されていることを特徴とする請求項１４に記載のセルフ給油許可システム。
［請求項１６］
前記監視装置は、
前記監視カメラにより取得した少なくとも給油開始前及び／又は給油開始後の前記利用者の行動の画像の情報を分析し、前記利用者が異常行動をしているか否かを判定する画像分析装置と、
少なくとも前記管理端末と無線通信するための無線装置と、
前記監視カメラ、前記センサー、前記制御装置、前記画像分析装置、及び、前記無線装置の間に介在するインターフェースと、を備える
ことを特徴とする請求項１５に記載のセルフ給油許可システム。
［請求項１７］
前記管理端末は、
前記監視員が操作入力するための操作部と、
所定の情報を表示する表示部と、
前記監視装置及び／又は制御装置と無線通信するための通信部と、
コンピュータにより構成され、前記管理端末の必要な処理を実行する制御部と、を備える
ことを特徴とする請求項１ないし１６のいずれか一項に記載のセルフ給油許可システム。
［請求項１８］
前記管理端末は、前記監視員に所持されて持ち運びされる携帯端末であることを特徴とする請求項１ないし１７のいずれか一項に記載のセルフ給油許可システム。
［請求項１９］
前記異常行動とは、前記利用者の火器の所持、又は、前記利用者のタバコの喫煙である
ことを特徴とする請求項２に記載のセルフ給油許可システム。
［請求項２０］
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムにおいて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備えたセルフ給油許可システムの制御方法であって、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とするセルフ給油許可システムの制御方法。
［請求項２１］
利用者の操作によるディスペンサを用いた車両への給油を許可するセルフ給油許可システムが適用される、セルフ給油ステーションにおいて、
前記セルフ給油許可システムは、
前記利用者の操作による前記ディスペンサを用いた前記車両への給油を、監視し、少なくとも前記利用者の行動を撮像して得られた画像データを分析した分析結果に基づいて、前記利用者が異常行動をしているか否かを判定する監視装置と、
前記監視装置が取得した情報及び前記監視装置の判定結果を、前記監視装置から取得して出力するとともに、前記車両への給油を監視する監視員により操作される管理端末と、 少なくとも前記監視装置の判定結果及び前記監視員による前記管理端末の操作に応じて、前記利用者の操作による前記ディスペンサを用いた前記車両への給油を制御する制御装置と、備え、
前記管理端末は、前記監視装置及び前記制御装置とは別に設けられており、
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視員による前記管理端末への操作入力に基づいて、前記制御装置は、前記ディスペンサを用いた前記車両への給油を禁止又は許可する
ことを特徴とするセルフ給油ステーション。
［請求項２２］
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合である
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項２３］
前記監視装置が、前記利用者が異常行動をしていると判定しない場合とは、前記監視装置が、前記利用者が正常行動をしていると判定する場合である
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項２４］
前記監視装置が、前記利用者が異常行動をしていると判定しない場合には、前記監視装置が、前記利用者が異常行動をしているとの判定が不可能である場合と、前記監視装置が、前記利用者が正常行動をしていると判定する場合と、が含まれる
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項２５］
前記管理端末又は前記制御装置は、それぞれ所定の情報を表示する表示部を備え、
前記監視装置が、給油開始後に前記利用者が異常行動をしていると判定した場合に、前記管理端末又は制御装置は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタン及び停止ボタンをそれぞれの前記管理端末又は前記制御装置の前記表示部に表示させる
ことを特徴とする請求項１に記載のセルフ給油許可システム。
［請求項２６］
給油開始前に、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された確認ボタンが操作された場合には、前記監視装置が、前記利用者の異常行動が解消されているか否かを判定する
ことを特徴とする請求項２５に記載のセルフ給油許可システム。
［請求項２７］
給油開始前に、前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された確認ボタンが操作された際、前記監視装置が、前記利用者の異常行動が解消されていると判定した場合には、前記管理端末及び前記制御装置は、前記利用者の異常行動が解消された旨を報知する
ことを特徴とする請求項２５に記載のセルフ給油許可システム。
［請求項２８］
前記監視装置が、給油開始前に前記利用者が異常行動をしていると判定した場合に、前記管理端末又は前記制御装置は、前記利用者の異常行動と判定された画像、及び、前記監視員が操作するための確認ボタンをそれぞれの前記管理端末又は前記制御装置の前記表示部に表示させ、
前記監視員により前記管理端末又は前記制御装置の前記表示部に表示された前記確認ボタンが操作されることで、前記制御装置が前記ディスペンサのポンプを駆動させる
ことを特徴とする請求項２６に記載のセルフ給油許可システム。
［請求項２９］
前記センサーは、熱源の温度をサーマル画像として検出することが可能なサーマルカメラを備え、
前記サーマルカメラは、
前記監視カメラが撮影する領域と重なる領域の温度に基づいたサーマル画像を取得し、
取得した前記サーマル画像において、予め設定された閾値以上の温度である領域を熱源の座標として熱源座標を取得し、取得した前記熱源座標に対応する熱源座標データを前記監視装置に出力し、
前記監視カメラは、
前記利用者の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに基づいて、前記利用者がタバコを所持していると判別できた場合には、前記利用者が異常行動をしていると判定し、
一方、前記行動画像データに基づいて、前記利用者がタバコを所持していると判別できない場合には、前記行動画像データの判別結果と前記サーマルカメラが出力した前記熱源座標データとを照合し、
前記行動画像データに対応する行動画像におけるタバコと疑われる画像の領域の判定座標と前記熱源座標データに対応する前記サーマル画像の前記熱源座標とが重なる場合には、前記利用者が異常行動をしていると判定し、
一方、前記判定座標と前記熱源座標とが重ならない場合には、前記利用者が正常行動をしていると判定する
ことを特徴とする請求項１０に記載のセルフ給油許可システム。
［請求項３０］
前記監視装置は、
取得された前記行動画像データを利用者の異常行動又は正常行動として前記熱源座標データを用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次の利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項２９に記載のセルフ給油許可システム。
［請求項３１］
前記監視カメラは、
前記利用者又は前記監視員である人物の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに対応する前記行動画像において、携行缶が無いと判別した場合には、前記人物が異常行動をしていないと判定し、
一方、前記行動画像データに対応する前記行動画像において、前記携行缶が存在すると判別した場合には、前記人物が前記監視員であるか否かを判断し、
前記人物が前記監視員であると判別した場合には、前記人物が正常行動をしていると判定し、
一方、前記人物が前記監視員ではないと判別した場合には、前記人物が異常行動をしていると判定する
ことを特徴とする請求項１０に記載のセルフ給油許可システム。
［請求項３２］
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物が予め設定された外観を有する場合には、前記人物が前記監視員であると判別する
ことを特徴とする請求項３１に記載のセルフ給油許可システム。
［請求項３３］
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物が前記管理端末を所持している場合には、前記人物が前記監視員であると判別する
ことを特徴とする請求項３１に記載のセルフ給油許可システム。
［請求項３４］
前記監視装置は、
前記行動画像データに対応する行動画像から前記人物を検出し、
検出された前記人物により前記管理端末が操作されて前記管理端末から所定の信号を受信した場合には、前記人物が前記監視員であると判別する
ことを特徴とする請求項３１に記載のセルフ給油許可システム。
［請求項３５］
前記監視装置は、
取得された前記行動画像データを利用者の異常行動又は正常行動として判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次の利用者が異常行動をしているか否かを判定する
ことを特徴とする請求項３１に記載のセルフ給油許可システム。
［請求項３６］
前記監視カメラは、
前記利用者の操作による給油の行動を撮像し、撮像して得られた行動画像データを前記監視装置に出力し、
前記監視装置は、
前記監視カメラが出力した前記行動画像データを分析し、
前記行動画像データに対応する前記行動画像において、前記ディスペンサのノズルが存在すると判別できた場合には、前記ノズルが検出されていると判定し、
一方、前記行動画像において、前記ディスペンサの前記ノズルが存在すると判別できない場合には、前記行動画像データの判別結果と、前記行動画像における前記ノズルのマーク座標とを照合し、
前記行動画像データに対応する行動画像における前記ノズルと疑われる画像の判定座標と、前記ノズルの前記マーク座標とが重なる場合には、前記ノズルが検出されていると判定し、
一方、前記判定座標と前記マーク座標とが重ならない場合には、前記ノズルが検出されていないと判定する
ことを特徴とする請求項１０に記載のセルフ給油許可システム。
［請求項３７］
前記ディスペンサの前記ノズルの表面には、予め設定された判別用マークが付加されており、
前記監視装置は、
前記行動画像データに対応する行動画像において前記判別用マークを判別することで、前記行動画像における前記判別用マークの座標を前記マーク座標として取得する
ことを特徴とする請求項３６に記載のセルフ給油許可システム。
［請求項３８］
前記センサーは、前記ディスペンサのノズルから出力されるマーク信号を検出して、前記ディスペンサのノズルの位置に関する位置情報データを前記監視装置に出力し、
前記監視装置は、
前記センサーから出力された前記位置情報データに基づいて、前記マーク信号が検出された位置を前記行動画像における前記マーク座標として取得する
ことを特徴とする請求項３６に記載のセルフ給油許可システム。
［請求項３９］
前記監視装置は、
今回の給油時における前記ディスペンサのノズルの判別に関して前記マーク座標を用いて判定して分類別された分類別データを、教師データとして機械学習された判定モデルを用いて、次回の給油時における前記ディスペンサのノズルの判別を実行する
ことを特徴とする請求項３６に記載のセルフ給油許可システム。
【符号の説明】
【0259】
１００ セルフ給油許可システム
Ｙ 監視装置
Ｙ１ 画像分析装置
Ｙ２ インターフェース
Ｙ３ 無線装置
Ｘ 携帯端末
ＭＸ 監視員
Ｈ 表示部
Ａ 操作部
Ｔ 通信部
ＣＮＴ 制御部
Ｃ 監視カメラ
Ｓ センサー
Ｄ ディスペンサ
Ｚ サーバー
ＳＳＣ 制御装置
Ｇ１ 表示部
Ｇ２ 操作部
Ｇ３ 制御部
Ｗ 車両
ＭＷ 利用者（給油者）
Ｙ 監視装置
Ｙ１ 画像分析装置
Ｙ２ インターフェース
Ｙ３ 無線装置
Ｘ 携帯端末
ＭＸ 監視員
Ｈ 表示部
Ａ 操作部
Ｔ 通信部
ＣＮＴ 制御部
Ｃ 監視カメラ
Ｓ センサー
Ｄ ディスペンサ
Ｚ サーバー
ＳＳＣ 制御装置
Ｇ１ 表示部
Ｇ２ 操作部
Ｇ３ 制御部
Ｗ 車両
ＭＷ 利用者（給油者）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】