特開 2023-109766 セルフ給油監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023109766

(43)【公開日】2023-08-08

(54)【発明の名称】セルフ給油監視システム

(51)【国際特許分類】

   B67D 7/32 20100101AFI20230801BHJP

   G08B 25/00 20060101ALI20230801BHJP

   G06T 7/00 20170101ALI20230801BHJP

   G06V 10/778 20220101ALI20230801BHJP

   G06V 10/776 20220101ALI20230801BHJP

【ＦＩ】

B67D7/32 E

G08B25/00 510M

G06T7/00 660B

G06T7/00 350B

G06V10/778

G06V10/776

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023073122

(22)【出願日】2023-04-27

(62)【分割の表示】P 2021110868の分割

【原出願日】2021-07-02

(71)【出願人】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(71)【出願人】

【識別番号】000004444

【氏名又は名称】ＥＮＥＯＳ株式会社

(71)【出願人】

【識別番号】000110099

【氏名又は名称】トキコシステムソリューションズ株式会社

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】門馬 康太郎

(72)【発明者】

【氏名】富樫 純一

(72)【発明者】

【氏名】渡邊 崇雅

(72)【発明者】

【氏名】清水 陽一郎

(72)【発明者】

【氏名】門脇 正天

(72)【発明者】

【氏名】野澤 健太郎

(72)【発明者】

【氏名】増田 彰

(57)【要約】

【課題】セルフ給油の監視に使用される学習モデルを再学習するための学習データを効率的に収集できるようにする。
【解決手段】
本発明の一実施形態に係るセルフ給油監視システムでは、監視装置１１０は、給油者の所定の行動を学習した学習モデルを用いて、映像データから所定の行動を検知し、給油の許否に関して判定すると、給油を許可する操作を受け付ける端末装置１２０と、監視装置１１０による給油の許否に関する判定結果と、端末装置１２０に対する操作内容とが一致しない場合、映像データに正常行動をタグ付けする学習装置２１０とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

給油者の所定の行動を学習した学習モデルを用いて、映像データから前記所定の行動を検知し、給油の許否に関して判定する監視装置と、
給油を許可する操作を受け付ける端末装置と、
前記監視装置による給油の許否に関する判定結果と、前記端末装置に対する操作内容とが一致しない場合、前記映像データに正常行動をタグ付けする学習装置とを備えたことを特徴とするセルフ給油監視システム。

【請求項2】

前記端末装置は、前記映像データから切り出す領域を指定する操作を受け付け、
前記学習装置は、前記映像データから切り出された領域に対し、正常行動をタグ付けする、請求項１のセルフ給油監視システム。

【請求項3】

給油者の所定の行動を学習した学習モデルを用いて、映像データから前記所定の行動を検知する監視装置と、
異常行動の種類を指定する操作を受け付ける端末装置と、
前記監視装置による検知結果と、前記端末装置が受け付けた操作内容に対応する異常行動とが一致しない場合、前記映像データに前記操作内容に対応する異常行動をタグ付けする学習装置とを備えたことを特徴とするセルフ給油監視システム。

【請求項4】

前記端末装置は、前記映像データから切り出す領域を指定する操作を受け付け、
前記学習装置は、前記映像データから切り出された領域に対し、異常行動をタグ付けする、請求項３のセルフ給油監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、給油所においてセルフ給油の監視を行うシステムに関する。

【背景技術】

【0002】

従来の給油所では、給油所の建屋内にて監視員（従業員）がセルフ給油を行う利用者（給油者）の行動を目視、あるいは監視モニターで監視し、制御装置を操作して給油許可を出していた。近年、監視カメラの映像をＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）により監視するシステムの開発が進んでおり、セルフ給油の監視にも適用されつつある。

【0003】

ここで、本発明に係る技術分野の従来技術としては、以下のようなものがある。例えば、特許文献１には、監視装置がカメラ映像の分析により利用者の異常行動を判定し、利用者の操作による車両への給油を制御する発明が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２１／０１５２５６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

カメラ映像を所定の学習モデルに基づいて分析し、給油許可の判定を行うシステムの開発が進んでいるが、判定精度が周囲の環境変化や経年によって劣化していくという問題がある。このため、判定精度を維持するためには、判定の成否を人の目で検証し、判定に失敗したカメラ映像を学習データとして収集し、定期的に機械学習を実行し直して学習モデルを更新することが必要となる。しかしながら、給油所毎に判定の成否を検証し、判定に失敗した映像を選別して学習データとして収集することは、その作業を行う者にとって非常な負担となる。

【0006】

本発明は、上記のような従来の事情に鑑みて為されたものであり、セルフ給油の監視に使用される学習モデルを再学習するための学習データを効率的に収集できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、本発明は、以下のように構成される。
すなわち、本発明の一態様に係るセルフ給油監視システムは、給油者の所定の行動を学習した学習モデルを用いて、映像データから所定の行動を検知し、給油の許否に関して判定する監視装置と、給油を許可する操作を受け付ける端末装置と、監視装置による給油の許否に関する判定結果と、端末装置に対する操作内容とが一致しない場合、映像データに正常行動をタグ付けする学習装置とを備えたことを特徴とする。

【0008】

ここで、端末装置は、映像データから切り出す領域を指定する操作を受け付け、学習装置は、映像データから切り出された領域に対し、正常行動をタグ付けするように構成され得る。

【0009】

また、本発明の別の態様に係るセルフ給油監視システムは、給油者の所定の行動を学習した学習モデルを用いて、映像データから所定の行動を検知する監視装置と、異常行動の種類を指定する操作を受け付ける端末装置と、監視装置による検知結果と、端末装置が受け付けた操作内容に対応する異常行動とが一致しない場合、映像データに操作内容に対応する異常行動をタグ付けする学習装置とを備えたことを特徴とする。

【0010】

ここで、端末装置は、映像データから切り出す領域を指定する操作を受け付け、学習装置は、映像データから切り出された領域に対し、異常行動をタグ付けするように構成され得る。

【発明の効果】

【0011】

本発明によれば、セルフ給油の監視に使用される学習モデルを再学習するための学習データを効率的に収集できるようになる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係るセルフ給油監視システムが有するセルフ給油許可システムの構成例を示す図である。

【図2】本発明の一実施形態に係るセルフ給油監視システムが有する判定精度維持システムの構成例を示す図である。

【図3】図１のセルフ給油許可システムの端末装置の表示例を示す図である。

【図4】第１実施例に係る学習データ収集の処理フロー例を示す図である。

【図5】第２実施例に係る学習データ収集の処理フロー例を示す図である。

【図6A】第３実施例に係る学習データ収集の処理フロー例を示す図である。

【図6B】第３実施例に係る学習データ収集の処理フロー例を示す図である。

【図7】第４実施例に係る学習データ収集の処理フロー例を示す図である。

【図8】第５実施例に係る学習データ収集の処理フロー例を示す図である。

【図9】図２の判定精度維持システムによる処理フロー例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態に係るセルフ給油監視システムについて、図面を参照しながら説明する。本発明の一実施形態に係るセルフ給油監視システムは、図１に例示するような構成のセルフ給油許可システム１００と、図２に例示するような構成の判定精度維持システム２００の２種類のサブシステムを有する。

【0014】

セルフ給油許可システム１００は、カメラ映像に基づいてセルフ給油を許可するか否かを判定するシステムであり、給油所毎に設置されている。セルフ給油許可システム１００は、監視装置１１０と、端末装置１２０と、制御装置１３０と、監視カメラ１４０と、センサー１５０と、サーバー１６０とを備える。

【0015】

監視カメラ１４０は、給油者（利用者）によるセルフ給油の様子を撮影し、撮影データ（カメラ映像）を監視装置１１０に出力する。監視カメラ１４０は、セルフ給油を行う際の給油者の行動を撮影できるように設置されていればよく、例えば、計量機と車両の間の領域を含むエリアを上方から見下ろすような姿勢で設置される。

【0016】

センサー１５０は、セルフ給油の際の給油者の行動によって発生する音声、熱、臭い、光、又は油漏洩などを検知し、検知結果を監視装置１１０に出力する。センサー１５０としては、計量機から給油ノズルが外されたことを検出するものも含まれる。センサー１５０は、計量機又はその近辺（例えば、給油対象の車両を停車させる停車エリアなど）に設置される。

【0017】

監視装置１１０は、計量機とは離間した場所（例えば、給油所の建屋内）に設置される。監視装置１１０は、画像分析装置１１１と、インターフェース１１２と、無線装置１１３とを有する。画像分析装置１１１は、予め設定された学習モデルを用いた分析プログラムによりカメラ映像を分析し、給油者が行う可能性がある所定の行動を検知してセルフ給油の許否（許可／不許可）に関する判定を行う。無線装置１１３は、端末装置１２０との間で無線通信を行う。インターフェース１１２は、監視カメラ１４０、センサー１５０、制御装置１３０、画像分析装置１１１、及び無線装置１１３の間に介在する。監視装置１１０は、例えば、プロセッサやメモリなどのハードウェア資源を備えたコンピュータであり、本発明に係る各機能に関するプログラムをプロセッサが実行するように構成される。

【0018】

端末装置１２０は、セルフ給油の際に監視員（従業員）からセルフ給油の許否に関する操作を受け付ける装置である。端末装置１２０は、制御部１２１と、通信部１２２と、表示部１２３と、操作部１２４とを有する。制御部１２１は、端末装置１２０が有する各部の動作を統括的に制御する。通信部１２２は、監視装置１１０との間で無線通信を行う。表示部１２３は、監視装置１１０による判定結果を含む各種の情報を表示する。操作部１２４は、セルフ給油の許否に関する操作を含む各種の操作を受け付ける。表示部１２３及び操作部１２４は、タッチパネルとして一体的に構成されてもよい。端末装置１２０は、例えば、プロセッサやメモリなどのハードウェア資源を備えたコンピュータであり、本発明に係る各機能に関するプログラムをプロセッサが実行するように構成される。

【0019】

端末装置１２０は、監視装置１１０から所定の行動の検知結果や給油許否の判定結果を受信して表示する。監視員は、端末装置１２０に表示された所定の行動の検知結果や給油許否の判定結果を参考にした上で、給油を許可するか禁止（不許可）するかを判断し、セルフ給油の許否に関する操作を入力する。ここで、例えば、給油を許可する操作が入力されると、端末装置１２０より、計量機へ給油許可信号が送信され、それにより計量機内部のポンプが駆動され、給油が可能となる。ここでは、端末装置１２０として、監視員（従業員）が持ち運び可能なタブレット等の携帯型端末を用いる場合を例にして説明するが、所定の位置に設置（固定）された据置型端末であってもよい。

【0020】

図３には、端末装置１２０に表示される監視画面の例を示してある。図３の監視画面３００は、レーン状態表示部３１０と、ライブ映像表示部３２０と、検知履歴表示部３３０と、検知映像表示部３４０と、異常行動確認ボタン３５１～３５４と、給油許可ボタン３６０とを有している。

【0021】

レーン状態表示部３１０には、給油所の給油レーンそれぞれの状態（給油待ち、給油中など）、給油の油種、給油量、その他の注文内容などが表示される。ライブ映像表示部３２０には、給油者が訪れているアクティブな給油レーン（アクティブな給油レーンが複数ある場合には、その中から選択された給油レーン）の様子を撮影したライブ（リアルタイム）のカメラ映像が表示される。検知履歴表示部３３０には、アクティブな給油レーンのカメラ映像から検知された給油者の行動の履歴が表示される。検知映像表示部３４０には、給油者の行動が検知された時点のカメラ映像（つまり、給油者の行動を映したカメラ映像）が表示される。

【0022】

異常行動確認ボタン３５１～３５４は、給油者が行うべきでない異常行動を監視者がカメラ映像又は目視により確認した場合に操作されるボタンであり、異常行動の種類毎に設けられている。本例では、異常行動検知ボタンとして、給油者によるタバコの所持が確認された場合に操作されるタバコ所持確認ボタン３５１と、携行缶の持ち込みが確認された場合に操作される携行缶確認ボタン３５２と、給油者による危険行動（例えば、複数人での給油）が確認された場合に操作される危険行動確認ボタン３５３と、給油口に対する給油ノズルの半挿入が確認された場合に操作されるノズル半挿入確認ボタン３５４とが設けられている。なお、本実施例では、給油ノズルの半挿入は、給油ノズルの挿し込みが甘く、給油者の行動として異常と判定すべき行動を示す。給油許可ボタン３６０は、セルフ給油を許可してよいと監視者がカメラ映像又は目視により確認した場合に操作されるボタンである。

【0023】

制御装置１３０は、例えば、計量機の近傍に設置され、端末装置１２０の操作に応じて監視装置１１０から送信される制御信号に基づいて、計量機の動作を制御する。例えば、端末装置１２０が給油を許可する操作を監視員から受け付けた場合に、給油者の操作によって給油を実行するように計量機を制御する。また、端末装置１２０が給油を禁止（不許可）する操作を監視員から受け付けた場合に、給油を禁止（中断）するように計量機を制御する。なお、端末装置１２０の操作に応じた制御信号は、監視装置１１０から制御装置１３０に送信される構成に限定されず、端末装置１２０から制御装置１３０に送信されるように構成されてもよい。

【0024】

サーバー１６０は、監視装置１１０と同様に、計量機とは離間した場所（例えば、給油所の建屋内やクラウド上）に設置される。サーバー１６０は、画像データベース１６１と、学習モデル管理部１６２と、通信部１６３とを有する。画像データベース１６１は、カメラ映像から所定の行動を検知する学習モデルを再学習するための学習データを蓄積する。画像データベース１６１に蓄積された学習データは、判定精度維持システム２００に送信される。学習モデル管理部１６２は、判定精度維持システム２００から配信される学習モデルに基づいて、監視装置１１０の画像分析装置１１１で使用される分析プログラムを更新する。通信部１６３は、判定精度維持システム２００との通信を行う。サーバー１６０は、例えば、プロセッサやメモリなどのハードウェア資源を備えたコンピュータにより実現され、本発明に係る各機能を実現するためのプログラムをプロセッサが実行するように構成される。

【0025】

判定精度維持システム２００は、セルフ給油許可システム１００の判定精度を維持するためのものであり、各給油所とネットワーク回線を通じて接続された拠点（例えば、管理センター）に設置される。なお、判定精度維持システム２００の設置位置は、遠隔地の拠点ではなく、給油所の建屋内でも良い。判定精度維持システム２００は、各給油所のセルフ給油許可システム１００で使用される学習モデルを再学習する学習装置２１０を備える。

【0026】

学習装置２１０は、通信部２１１と、画像データベース２１２と、機械学習部２１３と、制御部２１４とを有する。通信部２１１は、各給油所のセルフ給油許可システム１００との通信を行う。画像データベース２１２は、各給油所のセルフ給油許可システム１００から収集した学習データを蓄積する。機械学習部２１３は、画像データベース２１２に蓄積された学習データに基づいて機械学習（再学習）を行い、各給油所のセルフ給油許可システム１００で使用される学習モデルを生成し直す。制御部２１４は、機械学習部２１３による再学習を制御する。機械学習部２１３によって生成された学習モデルは、各給油所のセルフ給油許可システム１００に配信される。学習装置２１０は、例えば、プロセッサやメモリなどのハードウェア資源を備えたコンピュータにより実現され、本発明に係る各機能を実現するためのプログラムをプロセッサが実行するように構成される。

【0027】

なお、学習モデルは、複数の給油所で共通に使用される汎用的な学習モデルでもよく、特定の給油所でのみ使用される専用的な学習モデルでもよい。汎用的な学習モデルは、それを使用する複数の給油所のセルフ給油許可システム１００から収集した学習データに基づいて生成することができる。専用的な学習モデルは、それを使用する特定の給油所のセルフ給油許可システム１００から収集した学習データに基づいて生成することができる。これら学習モデルは、検知対象となる行動の種類毎に別々に設けられてもよく、１つの学習モデルが複数種類の行動を検知できるように構成されてもよい。

【0028】

本例のセルフ給油監視システムの主な特徴は、セルフ給油の際に給油者が行う可能性がある所定の行動を学習した学習モデルを用いて、セルフ給油の様子を撮影したカメラ映像から所定の行動を検知する監視装置１１０と、セルフ給油の際に監視員からセルフ給油の許否に関する操作を受け付ける端末装置１２０と、監視装置１１０による所定の行動の検知結果と端末装置１２０に対する操作内容との比較によって所定の行動の検知漏れ又は誤検知と判定された場合のカメラ映像を、所定の行動の学習モデルを再学習するための学習データとして記憶する画像データベース２１２を有する学習装置２１０とを備えたことである。

【0029】

つまり、本例のセルフ給油監視システムは、監視装置１１０による所定の行動の検知結果と端末装置１２０に対する操作内容との比較によって、所定の行動の検知漏れ又は誤検知が生じたことを自動的に認識し、所定の行動の検知漏れ又は誤検知と判定された場合のカメラ映像を再学習用の学習データとして画像データベース２１２に蓄積するように構成されている。このように、監視員が通常業務の一環として行う操作（セルフ給油の許否に関する操作）を基準にして、所定の行動の検知漏れ又は誤検知が生じた際のカメラ映像を再学習用の学習データとして収集することができる。その結果、セルフ給油の監視に使用される学習モデルを効率的に再学習できるようになる。また、各給油所の監視員の判断が学習データの収集に反映されるので、給油所毎に学習モデルを用意する場合にも、その給油所に適した学習モデルを容易に再学習できるようになる。

【0030】

以下、学習データを収集する際の動作について、幾つかの実施例を挙げつつ説明する。
［学習データ収集の第１実施例］
図４には、第１実施例に係る学習データ収集の処理フロー例を示してある。セルフ給油を行おうとする利用者（給油者）が車両に乗車して給油所に来店し、計量機に近接する停止エリアに車両を停車させ、降車後、給油のための行動を開始する。このとき、監視カメラ１４０は、セルフ給油を行う際の給油者の行動を撮影し、そのカメラ映像を監視装置１１０に送信する。監視装置１１０は、予め設定された学習モデルに基づく分析プログラムを使用してカメラ映像を分析し、給油者が行う可能性がある所定の行動を検知する。

【0031】

例えば、監視装置１１０は、給油者によるタバコの所持を検知するための学習モデルを用いてカメラ映像の分析を実行する（ステップＳ１０１）。また、携行缶が持ち込まれたことを検知するための学習モデルを用いた画像分析を実行する（ステップＳ１０２）。また、給油者による危険行動（例えば、複数人での給油）を検知するための学習モデルを用いた画像分析を実行する（ステップＳ１０３）。また、給油口に対する給油ノズルの挿入状態（全挿入／半挿入）を検知するための学習モデルを用いた画像分析を実行する（ステップＳ１０４）。

【0032】

次に、監視装置１１０は、上記の検知処理（ステップＳ１０１～Ｓ１０４）の結果に基づいて、給油の許否（許可／不許可）に関する判定を行う（ステップＳ１０５）。例えば、タバコ所持、携行缶持ち込み、危険行動のいずれも検知されず、且つ、給油ノズルの全挿入が検知された場合に、給油を許可してよいと判定される。また、例えば、タバコ所持、携行缶、危険行動、給油ノズルの半挿入のいずれかが検知された場合、又は、給油ノズルの全挿入が検知されなかった場合に、給油を許可しないと判定される。上記の検知処理の結果及び判定処理の結果のデータは、端末装置１２０に送信される。

【0033】

端末装置１２０は、監視装置１１０から受信したデータを表示に反映し、監視員（従業員）から給油の許否に関する操作を受け付ける。例えば、監視員が給油を許可すると判断した場合には、図３の監視画面３００の給油許可ボタン３６０が操作される。一方、監視員がいずれかの異常行動を確認して給油を許可しないと判断した場合には、図３の監視画面３００の異常行動確認ボタン３５１～３５４のいずれかが操作される。

【0034】

次に、監視装置１１０は、自身の給油許否判定の結果と監視員による給油許否判定の結果（給油の許否に関する操作）とを比較し、これらが一致するか否かを判定する（ステップＳ１０６）。監視装置１１０による給油許可判定の結果と監視員による給油許可判定の結果が一致した場合（ステップＳ１０６：Ｙｅｓ）には、監視装置１１０は、検知成功である旨を記録した比較結果データをサーバー１６０へ送信する（ステップＳ１０７）。

【0035】

一方、監視装置１１０による給油許可判定の結果と監視員による給油許可判定の結果が一致しない場合（ステップＳ１０６：Ｎｏ）には、監視装置１１０は、判定誤りの画像分析結果を特定して「検知漏れ」又は「誤検知」に分類し（ステップＳ１０８）、検知失敗である旨を記録した比較結果データを判定誤りの映像及び分類結果と共にサーバー１６０へ送信する（ステップＳ１０９）。

【0036】

サーバー１６０は、監視装置１１０から受信したデータを画像データベース１６１に蓄積し、随時又は定期的に、判定精度維持システム２００の学習装置２１０へ送信する。学習装置２１０は、サーバー１６０から受信したデータを画像データベース２１２に蓄積し、所定の条件を満たしたことに応じて、学習モデルの再学習を実行する。

【0037】

このように、第１実施例では、所定の行動の検知結果と端末装置１２０に対する操作内容とを比較して、所定の行動の検知漏れ又は誤検知が生じたことを自動的に認識し、所定の行動の検知漏れ又は誤検知と判定された場合のカメラ映像を特定している。これにより、所定の行動の検知漏れ又は誤検知が生じた際のカメラ映像を効率的に収集して再学習することが可能となる。なお、上記の説明では、映像分析による行動検知を給油許可の前段階として行っているが、給油を許可した後にも行動検知を実行し、タバコ所持、携行缶持ち込み、危険行動などの異常行動の検知に応じて給油を停止させるようにしてもよい。

【0038】

［学習データ収集の第２実施例］
図５には、第２実施例に係る学習データ収集の処理フロー例を示してある。第２実施例では、給油口に対する給油ノズルの挿入状態（全挿入／半挿入）を検知するための学習モデルに着目して説明する。監視装置１１０は、計量機から給油ノズルが外されたことがセンサー１５０によって検知されるまで待機する（ステップＳ２０１）。計量機から給油ノズルが外されたことが検知されると、監視装置１１０は、学習モデルに基づいてカメラ映像を分析し、給油口に対する給油ノズルの挿入状態を判定する（ステップＳ２０２）。

【0039】

給油ノズルが外されたことを検知してから一定時間が経過しても、給油口に対する給油ノズルの全挿入又は半挿入が検知されない場合（ステップＳ２０２：未検知）には、監視装置１１０は、その旨を端末装置１２０に表示させて監視員に通知し、監視員に給油ノズルの挿入状態を確認させる（ステップＳ２０３）。その後、給油ノズルの全挿入が確認されたことを示す操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ２０４：ＯＫ）には、監視装置１１０は、ノズル全挿入の検知漏れと判断し、そのときのカメラ映像をノズル全挿入のポジティブ用学習データとして記憶する（ステップＳ２０５）。一方、給油ノズルの半挿入が確認されたことを示す操作（例えば、ノズル半挿入確認ボタン３５４の押下）を端末装置１２０が受け付けた場合（ステップＳ２０４：ＮＧ）には、監視装置１１０は、ノズル半挿入の検知漏れと判断し、そのときのカメラ映像をノズル全挿入のポジティブ用学習データとして記憶する（ステップＳ２０５）。

【0040】

また、給油ノズルが外されたことを検知してから一定時間内に、給油口に対する給油ノズルの全挿入が検知された場合（ステップＳ２０２：ノズル全挿入）には、監視装置１１０は、その旨を端末装置１２０に表示させて監視員に通知し、監視員に給油ノズルの挿入状態を確認させる（ステップＳ２０７）。その後、給油ノズルの全挿入が確認されたことを示す操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ２０７：ＯＫ）には、監視装置１１０は、ノズル全挿入を正確に検知できたと判断する。一方、給油ノズルの半挿入が確認されたことを示す操作（例えば、ノズル半挿入確認ボタン３５４の押下）を端末装置１２０が受け付けた場合（ステップＳ２０４：ＮＧ（半挿入））には、監視装置１１０は、ノズル全挿入の誤検知であると共にノズル半挿入の検知漏れと判断し、そのときのカメラ映像をノズル半挿入のポジティブ用学習データとして記憶する（ステップＳ２０５）。また、別の状態（例えば、給油ノズルの未挿入）が確認されたことを示す操作を端末装置１２０が受け付けた場合（ステップＳ２０７：ＮＧ（別の物））には、監視装置１１０は、ノズル全挿入及びノズル半挿入の誤検知であると判断し、そのときのカメラ映像をノズル全挿入のネガティブ用学習データ及びノズル半挿入のネガティブ用学習データとして記憶する（ステップＳ２０８）。

【0041】

また、給油ノズルが外されたことを検知してから一定時間内に、給油口に対する給油ノズルの半挿入が検知された場合（ステップＳ２０２：ノズル半挿入）には、監視装置１１０は、その旨を端末装置１２０に表示させて監視員に通知し、監視員に給油ノズルの挿入状態を確認させる（ステップＳ２０９）。その後、給油ノズルの半挿入が確認されたことを示す操作（例えば、ノズル半挿入確認ボタン３５４の押下）を端末装置１２０が受け付けた場合（ステップＳ２０９：ＯＫ）には、監視装置１１０は、ノズル半挿入を正確に検知できたと判断する。一方、給油ノズルの全挿入が確認されたことを示す操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ２０９：ＮＧ（全挿入））には、監視装置１１０は、ノズル半挿入の誤検知であると共にノズル全挿入の検知漏れと判断し、そのときのカメラ映像をノズル全挿入のポジティブ用学習データとして記憶する（ステップＳ２１０）。また、別の状態（例えば、給油ノズルの未挿入）が確認されたことを示す操作を端末装置１２０が受け付けた場合（ステップＳ２０９：ＮＧ（別の物））には、監視装置１１０は、ノズル全挿入及びノズル半挿入の誤検知であると判断し、そのときのカメラ映像をノズル全挿入のネガティブ用学習データ及びノズル半挿入のネガティブ用学習データとして記憶する（ステップＳ２１０）。

【0042】

上記のようにして監視装置１１０によって収集された給油ノズルの挿入状態のポジティブ用学習データ及びネガティブ用学習データは、サーバー１６０に蓄積され、随時又は定期的に、判定精度維持システム２００の学習装置２１０へと送信される。学習装置２１０は、サーバー１６０から受信した給油ノズルの挿入状態のポジティブ用学習データ及びネガティブ用学習データを画像データベース２１２に蓄積し、所定の条件を満たしたことに応じて、給油ノズルの挿入状態を検知するための学習モデルの再学習を実行する。

【0043】

このように、第２実施例では、検知漏れの際のカメラ映像と誤検知の際のカメラ映像を区別して収集させるように構成されている。すなわち、所定の行動（本例では、給油ノズルの全挿入又は半挿入）の検知漏れと判定された場合のカメラ映像については、所定の行動の正解時の様子を示すポジティブ用学習データとして記憶する。また、所定の行動の誤検知と判定された場合のカメラ映像については、所定の行動の不正解時の様子を示すネガティブ用学習データとして記憶する。このように、検知漏れの際のカメラ映像と誤検知の際のカメラ映像を区別して蓄積しておくことで、より高精度に所定の行動を検出することが可能な学習モデルを再学習することが可能となる。

【0044】

［学習データ収集の第３実施例］
図６Ａ、図６Ｂには、第３実施例に係る学習データ収集の処理フロー例を示してある。図６Ａの処理フロー例は、給油者が行うべきでない異常行動を検知するための学習モデルに関する学習データ収集に関するものである。図６Ｂの処理フロー例は、給油者が行うべき正常行動を検知するための学習モデルに関する学習データ収集に関するものである。異常行動としては、例えば、タバコ所持、携行缶、危険行動、給油ノズルの半挿入が挙げられる。また、正常行動としては、例えば、給油ノズルの全挿入が挙げられる。

【0045】

まず、図６Ａを参照して、異常行動を検知するための学習モデルに関する学習データ収集について説明する。
監視装置１１０は、学習モデルに基づくカメラ映像の分析を行って、異常行動の有無を判定する（ステップＳ３０１）。異常行動が検知されない場合（ステップＳ３０１：Ｎｏ）には、監視装置１１０は、監視員に給油の許否に関する操作を促す。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ３０２：ＯＫ）には、監視装置１１０は、異常行動の未検知が適切であったと判断する。一方、給油を許可する操作を端末装置１２０が受け付けずに他の操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を受け付けた場合（ステップＳ３０２：ＮＧ）には、監視装置１１０は、異常行動の検知漏れと判断し、そのときのカメラ映像を異常行動のポジティブ用学習データとして記憶する（ステップＳ３０３）。

【0046】

また、学習モデルに基づく画像分析によって異常行動が検知された場合（ステップＳ３０１：Ｙｅｓ）には、監視装置１１０は、その旨を端末装置１２０に表示させて監視員に通知し、監視員に給油の許否に関する操作を促す（ステップＳ３０４）。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ３０５：ＯＫ）には、監視装置１１０は、異常行動の誤検知と判断し、そのときのカメラ映像を異常行動のネガティブ用学習データとして記憶する（ステップＳ３０６）。一方、給油を許可する操作を端末装置１２０が受け付けずに他の操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を受け付けた場合（ステップＳ３０５：ＮＧ）には、監視装置１１０は、異常行動の検知が適切であったと判断する。

【0047】

次に、図６Ｂを参照して、正常行動を検知するための学習モデルに関する学習データ収集について説明する。
監視装置１１０は、学習モデルに基づくカメラ映像の分析を行って、正常行動の有無を判定する（ステップＳ４０１）。正常行動が検知された場合（ステップＳ４０１：Ｙｅｓ）には、監視装置１１０は、監視員に給油の許否に関する操作を促す。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ４０２：ＯＫ）には、監視装置１１０は、正常行動の検知が適切であったと判断する。一方、給油を許可する操作を端末装置１２０が受け付けずに他の操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を受け付けた場合（ステップＳ４０２：ＮＧ）には、監視装置１１０は、正常行動の誤検知と判断し、そのときのカメラ映像を正常行動のネガティブ用学習データとして記憶する（ステップＳ４０３）。

【0048】

また、学習モデルに基づく画像分析によって正常行動が検知されなかった場合（ステップＳ４０１：Ｎｏ）には、監視装置１１０は、その旨を端末装置１２０に表示させて監視員に通知し、監視員に給油の許否に関する操作を促す（ステップＳ４０４）。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ４０５：ＯＫ）には、監視装置１１０は、正常行動の検知漏れと判断し、そのときのカメラ映像を正常行動のポジティブ用学習データとして記憶する（ステップＳ４０６）。一方、給油を許可する操作を端末装置１２０が受け付けずに他の操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を受け付けた場合（ステップＳ４０５：ＮＧ）には、監視装置１１０は、正常行動の未検知が適切であったと判断する。

【0049】

上記のようにして監視装置１１０によって収集された正常行動及び異常行動のそれぞれの学習データは、サーバー１６０に蓄積され、随時又は定期的に、判定精度維持システム２００の学習装置２１０へと送信される。学習装置２１０は、サーバー１６０から受信した正常行動及び異常行動のそれぞれの学習データを画像データベース２１２に蓄積し、所定の条件を満たしたことに応じて、正常行動を検知するための学習モデル及び異常行動を検知するための学習モデルの再学習を実行する。

【0050】

このように、第３実施例では、正常行動の学習データと異常行動の学習データを、それぞれ別の基準に従って収集するように構成されている。これにより、正常行動をより高精度に検出する学習モデル、及び、異常行動をより高精度に検出する学習モデルを再学習することが可能となる。

【0051】

［学習データ収集の第４実施例］
図７には、第４実施例に係る学習データ収集の処理フロー例を示してある。図７の処理フロー例は、給油者が行うべきでない複数種類の異常行動を学習した学習モデルに対する学習データ収集に関するものである。複数種類の異常行動としては、例えば、タバコ所持、携行缶、危険行動、給油ノズルの半挿入が挙げられる。

【0052】

監視装置１１０は、学習モデルに基づくカメラ映像の分析を行って、複数種類の異常行動のそれぞれの有無を判定する（ステップＳ５０１）。複数種類の異常行動のいずれも検知されない場合（ステップＳ５０１：Ｎｏ）には、監視装置１１０は、監視員に給油の許否に関する操作を促す。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ５０２：ＯＫ）には、監視装置１１０は、異常行動の未検知が適切であったと判断する。一方、監視員が複数種類の異常行動のいずれかを確認したために給油を許可しない場合（ステップＳ５０２：ＮＧ）、確認された異常行動の種類を指定する操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を端末装置１２０が受け付ける（ステップＳ５０３）。このとき、監視装置１１０は、監視員に指定された異常行動の種類についての検知漏れと判断し、そのときのカメラ映像を当該異常行動の種類についてのポジティブ用学習データとして記憶する（ステップＳ５０４）。

【0053】

また、学習モデルに基づく画像分析によって複数種類の異常行動のいずかが検知された場合（ステップＳ５０１：Ｙｅｓ）には、検知した異常行動の種類を端末装置１２０に表示させて監視員に通知し、監視員に給油の許否に関する操作を促す（ステップＳ５０５）。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ５０６：ＯＫ）には、監視装置１１０は、検知した異常行動の種類についての誤検知と判断し、そのときのカメラ映像を当該異常行動の種類についてのネガティブ用学習データとして記憶する（ステップＳ５０７）。

【0054】

一方、監視員が複数種類の異常行動のいずれかを確認したために給油を許可しない場合（ステップＳ５０６：ＮＧ）には、確認された異常行動の種類を指定する操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を端末装置１２０が受け付ける（ステップＳ５０８）。その結果、検知された異常行動の種類と指定された異常行動の種類とが一致しない場合（ステップＳ５０９：Ｎｏ）には、監視装置１１０は、指定された異常行動の種類についての検知漏れと判断し、そのときのカメラ映像を当該異常行動の種類についてのポジティブ用学習データとして記憶する（ステップＳ５１０）。一方、検知された異常行動の種類と指定された異常行動の種類とが一致した場合（ステップＳ５０９：Ｙｅｓ）には、監視装置１１０は、検知された異常行動の種類が適切であったと判断する。

【0055】

上記のようにして監視装置１１０によって収集された複数種類の異常行動のそれぞれの学習データは、サーバー１６０に蓄積され、随時又は定期的に、判定精度維持システム２００の学習装置２１０へと送信される。学習装置２１０は、サーバー１６０から受信した複数種類の異常行動のそれぞれの学習データを画像データベース２１２に蓄積し、所定の条件を満たしたことに応じて、複数種類の異常行動のそれぞれを検知するための学習モデルの再学習を実行する。

【0056】

このように、第４実施例では、複数種類の異常行動のそれぞれを区別して学習データを収集するように構成されている。これにより、複数種類の異常行動のそれぞれをより高精度に検出する学習モデルを再学習することが可能となる。

【0057】

なお、第４実施例では、１つの学習モデルが複数の異常行動を検知する構成となっているが、複数の学習モデルがそれぞれ異なる異常行動を検知する構成としてもよい。この場合、Ｓ５０４では、Ｓ５０３で監視員が指定した異常行動の学習モデルのポジティブ用学習データとして記憶する。Ｓ５０７では、Ｓ５０５で検知した異常行動の学習モデルのネガティブ用学習データとして記憶する。Ｓ５１０では、Ｓ５０５で検知した異常行動の誤検知であるため、Ｓ５０５で検知した異常行動の学習モデルのネガティブ用学習データとして記憶する。また、Ｓ５０８で監視員が指定した異常行動の検知漏れでもあるため、Ｓ５０８で監視員が指定した異常行動の学習モデルのポジティブ用学習データとして記憶する。

【0058】

［学習データ収集の第５実施例］
図８には、第５実施例に係る学習データ収集の処理フロー例を示してある。図８の処理フロー例は、給油者が行うべき正常行動と給油者が行うべきでない異常行動を学習した学習モデルに対する学習データ収集に関するものである。このような学習モデルとしては、例えば、正常行動としてノズルの全挿入を検出し、異常行動としてノズルの半挿入を検出する学習モデルが挙げられる。

【0059】

監視装置１１０は、学習モデルに基づくカメラ映像の分析を行って、正常行動又は異常行動の有無を判定する（ステップＳ６０１）。正常行動又は異常行動のいずれも検知されない場合（ステップＳ６０１：未検知）には、監視装置１１０は、監視員に給油の許否に関する操作を促す（ステップＳ６０２）。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けずに他の操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を受け付けた場合（ステップＳ６０３：ＮＧ）には、監視装置１１０は、異常行動の検知漏れと判断し、そのときのカメラ映像を異常行動のポジティブ用画像データとして記憶する（ステップＳ６０４）。一方、給油を許可する操作を端末装置１２０が受け付けた場合（ステップＳ６０３：ＮＧ）には、監視装置１１０は、正常行動の検知漏れと判断し、そのときのカメラ映像を正常行動のポジティブ用画像データとして記憶する（ステップＳ６０５）。

【0060】

また、学習モデルに基づく画像分析によって異常行動が検知された場合（ステップＳ６０１：異常行動）には、監視装置１１０は、その旨を端末装置１２０に表示させて監視員に通知し、監視員に給油の許否に関する操作を促す（ステップＳ６０６）。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ６０７：ＯＫ）には、監視装置１１０は、正常行動の検知漏れであると共に異常行動の誤検知と判断し、そのときのカメラ映像を正常行動のポジティブ用画像データとして記憶する（ステップＳ６０８）。一方、給油を許可する操作を端末装置１２０が受け付けずに他の操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を受け付けた場合（ステップＳ６０７：ＮＧ）には、監視装置１１０は、異常行動の検知が適切であったと判断する。

【0061】

また、学習モデルに基づく画像分析によって正常行動が検知された場合（ステップＳ６０１：正常行動）には、監視装置１１０は、監視員に給油の許否に関する操作を促す。その後、給油を許可する操作（例えば、給油許可ボタン３６０の押下）を端末装置１２０が受け付けた場合（ステップＳ６０９：ＯＫ）には、監視装置１１０は、正常行動の検知が適切であったと判断する。一方、給油を許可する操作を端末装置１２０が受け付けずに他の操作（例えば、異常行動確認ボタン３５１～３５４のいずれかの押下）を受け付けた場合（ステップＳ６０９：ＮＧ）には、監視装置１１０は、正常行動の誤検知であると共に異常行動の検知漏れと判断し、そのときのカメラ映像を異常行動のポジティブ用画像データとして記憶する（ステップＳ６１０）。

【0062】

上記のようにして監視装置１１０によって収集された正常行動及び異常行動のそれぞれの学習データは、サーバー１６０に蓄積され、随時又は定期的に、判定精度維持システム２００の学習装置２１０へと送信される。学習装置２１０は、サーバー１６０から受信した正常行動及び異常行動のそれぞれの学習データを画像データベース２１２に蓄積し、所定の条件を満たしたことに応じて、正常行動及び異常行動のそれぞれを検知するための学習モデルの再学習を実行する。

【0063】

このように、第５実施例では、正常行動の学習データと異常行動の学習データを、それぞれ別の基準に従って収集するように構成されている。これにより、正常行動及び異常行動をより高精度に検出する学習モデルを再学習することが可能となる。

【0064】

図９には、図２の判定精度維持システム２００の学習装置２１０による処理フロー例を示してある。図９の処理フロー例は、学習モデルの再学習の実行時に着目したものであり、図４～図８に示したような方法で学習データ収集を行った後に実行される。以下では、図４に示した処理フロー（第１実施例）に後続して処理する場合を例にして説明する。

【0065】

学習装置２１０は、各給油所のサーバー１６０から受信した比較結果データ（検知成功／検知失敗）、判定誤りの映像及び分類結果（検知漏れ／誤検知）を画像データベース２１２に蓄積する（ステップＳ７０１）。学習装置２１０の制御部２１４は、画像データベース２１２に蓄積されたデータを集計し、再学習の開始条件を満たしたか否かを判定する。本例では、再学習の開始条件として、［条件１］検知漏れ率（＝検知漏れ数／比較結果総数）が第１閾値以上であること（ステップＳ７０２）、［条件２］誤検知率（＝誤検知数／比較結果総数）が第２閾値以上であること（ステップＳ７０３）、［条件３］管理者から再学習の開始を指示する操作を受け付けたこと（ステップＳ７０４）、［条件４］前回の学習から所定時間が経過したこと（ステップＳ７０５）がある。制御部２１４は、［条件１］～［条件４］のいずれかが満たされた場合に、学習モデルの再学習を機械学習部２１３に開始させる（ステップＳ７０６）。一方、［条件１］～［条件４］のいずれも満たされない場合には、学習モデルの再学習は開始されない。

【0066】

機械学習部２１３は、画像データベース２１２に蓄積された学習データに基づいて機械学習（再学習）を行い、各給油所のセルフ給油許可システム１００で使用される学習モデルを生成し直す。学習データは、ポジティブ用学習データとして記憶された映像データと、ネガティブ用学習データとして記憶された映像データと、を作業者が目視で確認しながら、タグ付けすることで作成される。または、監視員が図３の異常行動確認ボタン３５１～３５４や給油許可ボタン３６０の押下により、対応する異常行動や正常行動をタグ付けすることで、学習データを生成してもよい。これにより、アノテーションに要する時間を省くことができる。機械学習部２１３によって生成された学習モデルは、通信部２１１を通じて各給油所のセルフ給油許可システム１００に配信される。各給油所のセルフ給油許可システム１００のサーバー１６０は、判定精度維持システム２００の学習装置２１０から配信された受信した学習モデルを学習モデル管理部１６２に提供する。学習モデル管理部１６２は、配信された学習モデルに基づいて、監視装置１１０の画像分析装置１１１の分析プログラムを更新する。以上のようにして、セルフ給油の監視に使用される学習モデルを更新することで、周囲の環境変化や経年によって判定精度が劣化していくことを抑制することができる。

【0067】

ここで、これまでの説明では、監視装置１１０が、所定の行動の検知結果と端末装置１２０に対する操作内容との比較によって行動の検知漏れ又は誤検知と判定された場合のカメラ映像を特定する処理を実行しているが、他の装置（例えば、端末装置１２０、サーバー１６０など）がその処理を実行してもよく、処理主体は問わない。ただし、各給油所の内部ネットワークとは別の場所にある装置（例えば、判定精度維持システム２００側の装置）で上記の処理を行おうとすると、ネットワーク負担の増大が懸念されるため、各給油所の内部ネットワークにある装置が上記の処理を行うことが好ましい。

【0068】

また、学習モデルは全ての給油所で共通であってもよいし、給油所毎に専用の学習モデルを用意してもよい。また、例えば、標準的なレイアウトやカメラ配置の給油所では共通の学習モデルを使用し、レイアウトやカメラ配置が特殊な給油所では専用の学習モデルを使用するようにしてもよい。

【0069】

また、タグ付けする画像データは、監視員が図３の監視画面を通して指定できるようにしてもよい。例えば、監視員は、ライブ映像３２０から切り出す領域を指定し、異常行動確認ボタン３５１～３５４、給油許可ボタン３６０のいずれかを押下する。この監視員の操作により、切り出された領域の画像データに対し、押下されたボタンに対応する異常行動または正常行動がタグ付けされる。

【0070】

以上、本発明の実施形態について説明したが、これら実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、その他の様々な実施形態をとることが可能であると共に、本発明の要旨を逸脱しない範囲で、省略や置換等の種々の変形を行うことができる。これら実施形態及びその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0071】

また、本発明は、上記の説明で挙げたような装置や、これら装置で構成されたシステムとして提供することが可能なだけでなく、これら装置により実行される方法、これら装置の機能をプロセッサにより実現させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0072】

本発明は、給油所においてセルフ給油の監視を行うシステムに利用することが可能である。

【符号の説明】

【0073】

１００：セルフ給油許可システム、 １１０：監視装置、 １１１：画像分析装置、 １１２：インターフェース、 １１３：無線装置、 １２０：端末装置、 １２１：制御部、 １２２：通信部、 １２３：表示部、 １２４：操作部、 １３０：制御装置、 １４０：監視カメラ、 １５０：センサー、 １６０：サーバー、 １６１：画像データベース、 １６２：学習モデル管理部、 １６３：通信部、 ２００：判定精度維持システム、 ２１０：学習装置、 ２１１：通信部、 ２１２：画像データベース、 ２１３：機械学習部、 ２１４：制御部、 ３００：監視画面、 ３１０：レーン状態表示部、 ３２０：ライブ映像表示部、 ３３０：検知履歴表示部、 ３４０：検知映像表示部、 ３５１～３５４：異常行動確認ボタン、 ３６０：給油許可ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】