特許 7372038 画像解析システムおよび画像解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】画像解析システムおよび画像解析方法

(51)【国際特許分類】

   G08B 25/00 20060101AFI20231024BHJP

   G06T 7/00 20170101ALI20231024BHJP

   B67D 7/32 20100101ALI20231024BHJP

   B67D 7/34 20100101ALI20231024BHJP

【ＦＩ】

G08B25/00 510M

G06T7/00 350C

B67D7/32 E

B67D7/34

B67D7/32 Z

B67D7/32 A

【請求項の数】 15

(21)【出願番号】P 2019033102

(22)【出願日】2019-02-26

(65)【公開番号】P2020140236

(43)【公開日】2020-09-03

【審査請求日】2022-02-01

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】武田 隆史

【審査官】山岸 登

(56)【参考文献】

【文献】特開２０２０－０８３４２２（ＪＰ，Ａ）

【文献】特開２０２０－１３２１６２（ＪＰ，Ａ）

【文献】特開２０１９－２１８０９５（ＪＰ，Ａ）

【文献】特開２０１４－１１８１５３（ＪＰ，Ａ）

【文献】特開２００９－２４１９６２（ＪＰ，Ａ）

【文献】特開平０９－２９５６９６（ＪＰ，Ａ）

【文献】特開２０１８－１５４４０１（ＪＰ，Ａ）

【文献】特開２００２－１９３３９９（ＪＰ，Ａ）

【文献】特開２０１８－０９７４８７（ＪＰ，Ａ）

【文献】特開２０１７－０２７３７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６７Ｄ７／００－９９／００

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ０８Ｂ１９／００－３１／００

(57)【特許請求の範囲】

【請求項1】

給油スペースを撮像した映像を取得する映像取得部と、
前記給油スペースの映像群について不正行為を機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について前記不正行為を検知する検知部と、
前記不正行為の検知結果に基づいて給油可否に関する情報を生成する判定部と、
を備え、
前記検知部は、車体の塗装パターンや屋上灯、ロゴマークや会社名、車検シールの位置や配置の違い、車体とタイヤホイールの組み合わせ、車体に付けたコード、車体の損傷、のいずれかを含む車両の特徴を検知する
ことを特徴とする画像解析システム。

【請求項2】

請求項１記載の画像解析システムにおいて、
前記検知部は、
前記給油スペースの映像群について車両が給油位置に停止しているか否かを機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、車両が給油位置に停止しない不正行為を検知する
ことを特徴とする画像解析システム。

【請求項3】

請求項１～２のいずれか１項記載の画像解析システムにおいて、
前記検知部は、
前記給油スペースの映像群について給油者が静電気除去行動をしたか否かを機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、給油者が静電気除去行動をしない不正行為を検知する
ことを特徴とする画像解析システム。

【請求項4】

請求項１～３のいずれか１項記載の画像解析システムにおいて、
前記検知部は、
前記給油スペースの映像群について給油ノズルが給油先に正しく挿置されたか否かを機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、給油ノズルの挿置についての不正行為を検知する
ことを特徴とする画像解析システム。

【請求項5】

請求項１～４のいずれか１項記載の画像解析システムにおいて、
前記検知部は、
前記給油スペースの映像群について給油スペースの人数を機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、給油スペースの人数が所定数を超える不正行為を検知する
ことを特徴とする画像解析システム。

【請求項6】

請求項１～５のいずれか１項記載の画像解析システムにおいて、
前記検知部は、
前記給油スペースの映像群について給油先が車両か否かを機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、車両以外に給油する不正行為を検知する
ことを特徴とする画像解析システム。

【請求項7】

請求項１～６のいずれか１項記載の画像解析システムにおいて、
前記検知部は、
前記給油スペースの映像群について、
火気使用、たばこ、ライター、マッチ、喫煙具、喫煙、発火、スパーク発生、高温物、引火物、可燃物、爆発物、危険物、携行缶、灯油タンク、通話や画面注視、携帯電話、モバイル機器、車外の子供、よそ見、会話、転倒、争い、騒乱、給油キャップの紛失や閉め忘れ、異常行動、不注意行動、および危険行動からなる群の少なくとも一つ以上の要注意状況について機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、前記要注意状況を不正行為として検知する
ことを特徴とする画像解析システム。

【請求項8】

請求項１～７のいずれか１項記載の画像解析システムにおいて、
前記検知部は、
給油対象の車両について、車番または前記特徴を検知し、
前記判定部は、
前記検知部が検知した前記車番または前記特徴を給油履歴に照合し、給油が２回目以降であって過去と同じ油種の給油が選択されない場合は給油不可と判定する
ことを特徴とする画像解析システム。

【請求項9】

請求項１～８のいずれか１項記載の画像解析システムにおいて、
前記検知部は、
給油対象の車両について、車番または前記特徴を検知し、
前記判定部は、
車番または特徴に関連付けて油種または車種が登録された登録データベースに対して、前記検知部が読み取った前記車番または前記特徴を照会して油種または車種を情報取得し、情報取得した油種または車種に適合する油種が選択されない場合は給油不可と判定する
ことを特徴とする画像解析システム。

【請求項10】

請求項１～９のいずれか１項記載の画像解析システムにおいて、
前記検知部は、
給油対象の車両について、車番を検知し、
前記判定部は、
前記検知部の検知した車番がレンタカーの車番と一致すると、油種間違いのおそれ有りと判定する
ことを特徴とする画像解析システム。

【請求項11】

給油資格を有する車両の車番または特徴を登録するための登録部と、
給油対象の車両から車番または特徴を検知する検知部と、
前記検知部が検知した車両の車番または特徴が、前記登録部に登録されていない場合、無資格給油の不正行為と判定する判定部と、
を備え、
前記検知部は、車体の塗装パターンや屋上灯、ロゴマークや会社名、車検シールの位置や配置の違い、車体とタイヤホイールの組み合わせ、車体に付けたコード、車体の損傷、のいずれかを含む車両の特徴を検知する
ことを特徴とする画像解析システム。

【請求項12】

給油スペースを撮像した映像を取得する映像取得ステップと、
前記給油スペースの映像群について不正行為を機械学習させた学習モデルを用いて、前記映像取得ステップが取得した映像について前記不正行為を検知する検知ステップと、
前記不正行為の検知結果に基づいて給油可否に関する情報を生成する判定ステップと、
を備え、
前記検知ステップは、車体の塗装パターンや屋上灯、ロゴマークや会社名、車検シールの位置や配置の違い、車体とタイヤホイールの組み合わせ、車体に付けたコード、車体の損傷、のいずれかを含む車両の特徴を検知する
ことを特徴とする画像解析方法。

【請求項13】

給油資格を有する車両の車番または特徴を登録するための登録ステップと、
給油対象の車両から車番または特徴を検知する検知ステップと、
前記検知ステップが検知した車両の車番または特徴が、前記登録ステップにおいて登録されていない場合、無資格給油の不正行為と判定する判定ステップと、
を備え、
前記検知ステップは、車体の塗装パターンや屋上灯、ロゴマークや会社名、車検シールの位置や配置の違い、車体とタイヤホイールの組み合わせ、車体に付けたコード、車体の損傷、のいずれかを含む車両の特徴を検知する
ことを特徴とする画像解析方法。

【請求項14】

請求項１～１１のいずれか１項記載の画像解析システムにおいて、
前記検知部は、資格者の専用給油所において、車両の前記特徴を検知する
ことを特徴とする画像解析システム。

【請求項15】

請求項１２～１３のいずれか１項記載の画像解析方法において、
前記検知ステップは、資格者の専用給油所において、車両の前記特徴を検知する
ことを特徴とする画像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析システムおよび画像解析方法に関する。

【背景技術】

【0002】

従来、セルフサービスによって給油を行うガソリンスタンドが知られている。このようなガソリンスタンドには、法令によって危険物取扱者の資格を有する監視者が常駐する。監視者は、ガソリンスタンドの事務室から給油スペースのライブ画像を通して給油者の給油動作を確認しながら、給油の可否をリモート操作する。

【0003】

また、特許文献１には、「車両の給油口付近を撮像して給油ノズルの色調を識別し、識別された給油ノズルの色調に基づいて、給油ノズルの油種が車両の油種に合致していないと判別された場合には、油種不適の警告を行う」旨の技術が開示される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－１７９１０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１には、「給油ノズルの色調に基づく油種不適」以外の警告については、開示がない。

【0006】

しかしながら、監視者が給油可否を判断する上で、判断すべき不正行為（安全または誤り防止の規範から外れる行為）は他にも存在する。
一般に、監視者は、給油スペースのライブ映像を常時注視しながら様々な不正行為に対して同時に注意を払わなければならない。そのため、監視者の負担が大きいという問題が有った。

【0007】

そこで、本発明は、給油可否を判定するための画像解析技術を提供する。

【課題を解決するための手段】

【0008】

上記課題を解決するために、代表的な本発明の画像解析システムの一つは、給油スペースを撮像した映像を取得する映像取得部と、給油スペースの映像群について不正行為を機械学習した学習モデルを用いて、映像取得部が取得した映像について不正行為を検知する検知部と、不正行為の検知結果に基づいて給油可否に関する情報を生成する判定部とを備える。

【発明の効果】

【0009】

本発明により、給油可否を判定する画像解析が可能になる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】セルフサービス式のガソリンスタンドＧＳを示す図である。

【図2】画像解析システム１００のブロック図である。

【図3】学習モデルの基本構成を示す図である。

【図4】映像情報の前処理例を説明する図である。

【図5】給油位置の学習用データセットを示す図である。

【図6】静電気除去行動の学習用データセットを示す図である。

【図7】ノズル挿置の学習用データセットを示す図である。

【図8】滞在人数の学習用データセットを示す図である。

【図9】車両以外への給油の学習用データセットを示す図である。

【図10】要注意状況の学習用データセットを示す図である。

【図11】車番の領域区分のための学習用データセットを示す図である。

【図12】画像解析システム１００の動作を示す流れ図（１／２）である。

【図13】画像解析システム１００の動作を示す流れ図（２／２）である。

【図14】車両の給油位置の検知例を説明する図である。

【図15】静電気除去行動の検知例を説明する図である。

【図16】給油ノズルの挿置状況の検知例を説明する図である。

【図17】滞在人数の検知例を説明する図である。

【図18】車両外給油、危険・不安全行為などの検知例を説明する図である。

【図19】監視パソコンや手持ち端末の表示画面を示す図である。

【図20】給油許可後の画像解析を説明する図である。

【図21】画像解析システム５００の要部を示す図である。

【図22】画像解析システム５００の動作を示す流れ図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について図面を用いて説明する。

【実施例1】

【0012】

［実施例１の構成説明］
図１は、セルフサービス式のガソリンスタンドＧＳを示す図である。
同図において、ガソリンスタンドＧＳには、複数の給油レーン（Ｎｏ１～ＮｏＸ）が設置される。これらの給油レーンには、給油装置１０がそれぞれ配置される。給油装置１０には、３つの油種（レギュラー、ハイオク、および軽油）に対応して、３系統の給油ノズルが設けられる。これら３系統の給油ノズルは、給油者が油種を区別しやすいように、色分けされる。

【0013】

例えば、レギュラーガソリンを給油する給油ノズルは「赤色」に色分けされる。ハイオクガソリンを給油する給油ノズルは「黄色」に色分けされる。軽油を給油する給油ノズルは「緑色」に色分けされる。

【0014】

一方、給油レーンそれぞれには、給油スペースの映像をなるべく死角なく取得するように、映像取得部１１が設置される。例えば、映像取得部１１は、給油者の行動を俯瞰位置や鳥瞰位置から撮影するカメラＡ１（行動解析用）と、車両のナンバープレートを斜め横方向から撮影するカメラＢ１（車番解析用）とから構成される。

【0015】

図２は、給油監視用の画像解析システム１００のブロック図である。
同図において、画像解析システム１００は、映像取得部１１、検知部１２（学習モデル２００～２６０を含む）、判定部１３、給油履歴１４、監視パソコン１５、警報器１６、警報器１６ａ、手持ち端末１７、無線ＬＡＮ１８、インターフェース部１９、給油制御装置２０、およびネットワークスイッチ２１を備えて構成される。

【0016】

ここで、検知部１２、判定部１３、および給油履歴１４は、ＡＩ学習機能付きの画像処理サーバ２２の機能によって実現される。

【0017】

この画像処理サーバ２２は、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータとして構成される。このハードウェアの一部または全部については、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などで代替してもよい。また、ハードウェアの一部または全部をネットワーク上のサーバに集中または分散してクラウド配置してもよい。

【0018】

次に、画像解析システム１００内の信号の流れについて説明する。
映像取得部１１は、ＬＡＮケーブル（ＰｏＥ給電）を介して、ネットワークスイッチ２１に接続される。映像取得部１１は、ネットワークスイッチ２１側からＬＡＮケーブルを介して電源供給を受ける。また、映像取得部１１から出力された映像情報は、ＬＡＮケーブルを介して、ネットワークスイッチ２１に供給される。

【0019】

ネットワークスイッチ２１は、給油レーンごとの映像取得部１１から供給される映像情報（ライブ映像）を給油レーンごとに切り替えて、検知部１２に出力する。

【0020】

検知部１２は、映像情報を学習モデル２００～２６０を使用して解析し、給油スペースの不正行為などを検知する。判定部１３は、不正行為の検知結果に基づいて給油可否に関する情報を生成する。

【0021】

判定部１３で生成された給油可否に関する情報は、ネットワークスイッチ２１を介して、ガソリンスタンドＧＳの事務室内の監視パソコン１５へ伝達される。監視パソコン１５は、この給油可否に関する情報に基づいて、常駐する監視者への注意喚起をモニタ画面や警報器１６を通して実施する。

【0022】

また、給油レーンそれぞれには、警報器１６ａも設置される。これらの警報器１６ａは、ネットワークスイッチ２１を介して、監視パソコン１５に接続される。監視パソコン１５は、警報器１６ａを介して、給油者への音声ガイドや注意喚起を実施する。

【0023】

さらに、監視パソコン１５は、ネットワークスイッチ２１、インターフェース部１９を介して、給油制御装置２０に接続される。

【0024】

給油制御装置２０は、給油レーンごとに給油装置１０内の給油バルブや給油圧力を制御することにより、給油装置１０の給油の停止や給油量や吐出量を制御する。

【0025】

この給油装置１０は、ネットワークスイッチ２１を介して監視パソコン１５や画像処理サーバ２２とも通信を行い、給油時の課金決済や、選択された油種・給油量などの情報を伝達する。給油履歴１４は、給油に係る履歴を情報記録する。

【0026】

なお、監視者は、タブレットなどの手持ち端末１７を介して、監視パソコン１５と同様の給油監視や給油制御を行うことができる。この手持ち端末１７がガソリンスタンドＧＳの敷地内での通信をカバーするように、複数の無線ＬＡＮ１８が分散して配置される。

【0027】

なお、検知部１２に含まれる学習モデル２００～２６０は、次の不正行為や車番認識などの画像解析に使用される。
・学習モデル２００：給油位置に正しく停止しない不正行為
・学習モデル２１０：静電気除去をしない不正行為
・学習モデル２２０：給油ノズルを正しく挿置しない不正行為
・学習モデル２３０：不必要な人数が滞在する不正行為
・学習モデル２４０：車両以外へ給油する不正行為
・学習モデル２５０：要注意状況に関する不正行為
・学習モデル２６０：車番の認識
なお、これら学習モデル２００～２６０の機械学習および使用については後述する。

【0028】

［学習モデル２００～２６０の基本構成］
まず、学習モデル２００～２６０に共通する基本構成について説明する。

【0029】

図３は、学習モデル２００～２６０の基本構成を示す図である。
同図において、給油スペースの映像情報は、前処理部３１に入力される。前処理部３１は、画像解析の解析内容に合わせた前処理を映像情報に実施する。

【0030】

例えば、前処理部３１は、解析領域設定（クロップ、リサイズ、鳥瞰変換、視点変換、歪み補正、畳み込み前のパディングなど）や、差分比較（背景差分、輪郭抽出など）や、ベクトル解析（動きベクトル検出、動き追跡）や、信号処理（特徴抽出、形状抽出、輪郭強調、階調補正、ダイナミックレンジの拡大縮小、レベル正規化、ノイズ抑制、モアレ除去、ホワイトバランス調整、色処理、減色処理、モノクロ化など）や、その他の前処理を実施する。

【0031】

例えば、図４［Ａ］に示す「物体有無の画像解析」を行う学習モデルでは、前処理部３１は、差分比較や、物体の形状抽出、物体の特徴抽出、物体の存在し得る対象エリアのクロップなどの画像処理を実施する。

【0032】

また、図４［Ｂ］に示す「給油ノズルや給油先などに関する画像解析」を行う学習モデルでは、前処理部３１は、給油ノズルの色と給油装置１０の前面収納位置から給油種別の油種を判定する。また、前処理部３１は、給油ノズル（または給油者の手）の動きをベクトル解析することによって給油ノズルや給油先の対象エリアを検出し、その対象エリアをクロップする。

【0033】

さらに、図４［Ｃ］に示す「車番に関する画像解析」を行う学習モデルでは、前処理部３１は、ナンバープレートを差分比較や形状抽出によってナンバープレートの対象エリアを検出し、その対象エリアをクロップする。また、必要であればナンバープレートに台形補正などを加えたり、ナンバープレートの地色を除く減色処理などを実施してもよい。

【0034】

また、図４［Ｄ］に示す「人間の行動に関する画像解析」を行う種類の学習モデルでは、前処理部３１は、手の動き、形状、差分比較により喫煙や電話通話中やモバイル機器の利用中などの対象エリアを検出し、その対象エリアをクロップする。

【0035】

前処理部３１において前処理された映像情報は、学習モデル２００～２６０内の入力層３２に入力される。入力層３２の映像情報は、畳み込み層・活性化関数３３およびプーリング層３４を介して処理され、画像空間の局所的な特徴に応じて活性化するニューロンからなる特徴マップに変換される。この畳み込み層・活性化関数３３およびプーリング層３４は、画像解析に適した層数だけ多層化される。

【0036】

多層化された畳み込み層・活性化関数３３およびプーリング層３４を経由した特徴マップのニューロンの値はシリアル化された後、ニューラルネットワーク３５に入力される。ニューラルネットワーク３５は画像解析に適する層数でニューロンを結合（例えば全結合）して構成される。ニューラルネットワーク３５の最終端の出力層３６からは、画像解析の結果（尤度など）を示す値が出力される。

【0037】

［学習モデル２００～２６０の機械学習］
上述した畳み込み層・活性化関数３３やニューラルネットワーク３５内のニューロンは、重み配列ｗやバイアスｂを有する。これらの重み配列ｗやバイアスｂは、学習用データセットを用いた機械学習（誤差逆伝搬法など）を繰り返すことにより逐次更新され、学習した教師データに沿った判定結果を出力するようになる。

【0038】

この機械学習は、システムの運用開始前に準備として行われる。また、システムの運用開始後には、実際の監視映像を訓練画像として自動収集しつつ、その監視映像に対する監視者の判断を教師データとすることで、現実に即した機械学習が行われる。

【0039】

図５～図１１は、このような機械学習に使用する学習用データセット（訓練画像と教師データのセット群）の例を、画像解析の種類別に示す図である。以下、これらの学習用データセットについてそれぞれ説明する。

【0040】

・学習モデル２００に対する「給油位置に正しく停止しない不正行為」の機械学習
図５には、給油時の車両の正しい停止位置（以下「給油位置」という）について機械学習を行うための学習用データセット２００Ａ～Ｃが示される。この学習用データセット２００Ａ～Ｃの訓練画像は、学習モデル２００の前処理部３１の前処理（給油位置付近を対象エリアとしてクロップする処理、好ましくは鳥瞰変換により停止枠を長方形に変換する処理）がすでに実施された映像情報である。

【0041】

同図において、学習用データセット２００Ａの訓練画像の群は、給油スペースの停止枠からはみ出さずに車両が停止し、かつ車両の給油口が給油装置１０の方向に有る状態の映像情報である。これら訓練画像の群に対しては、「給油位置ＯＫ」の教師データが付与される。

【0042】

一方、学習用データセット２００Ｂの訓練画像の群は、給油スペースの停止枠からはみ出して車両が停止した状態の映像情報である。これら訓練画像の群に対しては、「給油位置ＮＧ」の教師データが付与される。

【0043】

さらに、学習用データセット２００Ｃの訓練画像の群は、車両の給油口が給油装置１０と反対側に有る状態の映像情報である。これら訓練画像の群に対しては、「給油位置ＮＧ（または給油口逆向きＮＧ）」の教師データが付与される。

【0044】

図５に示す学習用データセット２００Ａ～Ｃにより、車両が給油位置に停止しているか否かを機械学習させることにより、車両が給油位置に停止しない不正行為（さらには、給油口が給油装置１０と反対側にある不正行為）を検知する学習モデル２００が得られる。

【0045】

・学習モデル２１０に対する「静電気除去しない不正行為」の機械学習
図６には、静電気除去しない不正行為について機械学習を行うための学習用データセット２１０Ａ～Ｃが示される。この学習用データセット２１０Ａ～Ｃの訓練画像は、学習モデル２１０の前処理部３１の前処理（静電気除去シート付近を対象エリアとしてクロップする処理）を実施済みの映像情報である。

【0046】

同図において、学習用データセット２１０Ａの訓練画像の群は、給油者が静電気除去シートに素手（手袋など非着用）で接触している状態の映像情報である。これら訓練画像の群に対しては、「静電気除去ＯＫ」の教師データが付与される。

【0047】

一方、学習用データセット２１０Ｂの訓練画像の群は、給油者が静電気除去シートに接触していない状態の映像情報である。これら訓練画像の群に対しては、「静電気除去ＮＧ」の教師データが付与される。

【0048】

さらに、学習用データセット２１０Ｃの訓練画像の群は、給油者が静電気除去シートに手袋やハンカチなどを介して接触（放電不十分）した状態の映像情報である。これら訓練画像の群に対しては、「静電気除去ＮＧ（または手袋着用ＮＧ）」の教師データが付与される。

【0049】

図６に示す学習用データセット２１０Ａ～Ｃにより、給油者が静電気除去行動をしたか否かを機械学習させることにより、給油者が静電気除去行動をしない不正行為（さらには、手袋などをつけて静電気除去を行った不正行為）を検知する学習モデル２１０が得られる。

【0050】

・学習モデル２２０に対する「給油ノズルを正しく挿置しない不正行為」の機械学習
図７には、給油ノズルの挿置に関する不正行為を機械学習するための学習用データセット２２０Ａ～Ｃが示される。この学習用データセット２２０Ａ～Ｃの訓練画像は、学習モデル２２０の前処理部３１の前処理（給油ノズルの移動ベクトルにより検出した給油口付近を対象エリアとしてクロップする処理）を実施済みの映像情報である。

【0051】

同図において、学習用データセット２２０Ａの訓練画像の群は、給油ノズルが給油口に正しく挿置された状態の映像情報である。これら訓練画像の群に対しては、「ノズル挿置ＯＫ」の教師データが付与される。

【0052】

一方、学習用データセット２２０Ｂの訓練画像の群は、給油ノズルが給油口に挿置されない状態の映像情報である。これら訓練画像の群に対しては、「ノズル挿置ＮＧ」の教師データが付与される。

【0053】

さらに、学習用データセット２２０Ｃの訓練画像の群は、給油ノズルが給油口の奥まで挿置されずに浮いたり傾いたりした状態の映像情報である。これら訓練画像の群に対しては、「ノズル挿置ＮＧ」の教師データが付与される。

【0054】

図７に示す学習用データセット２２０Ａ～Ｃにより、給油ノズルが給油口に正しく挿置されたか否かを機械学習させることにより、給油ノズルが給油口に正しく挿置されない不正行為を検知する学習モデル２２０が得られる。

【0055】

・学習モデル２３０に対する「不必要な人数が滞在する不正行為」の機械学習
図８には、滞在人数に関する不正行為を機械学習するための学習用データセット２３０Ａ～Ｃが示される。この学習用データセット２３０Ａ～Ｃの訓練画像は、学習モデル２３０の前処理部３１の前処理（車両の周辺を対象エリアとしてクロップする処理、好ましくは鳥瞰変換により停止枠を長方形に変換する処理）を実施済みの映像情報である。

【0056】

同図において、学習用データセット２３０Ａの訓練画像の群は、滞在人数が給油に必要な人数（例えば給油者一人）の状態の映像情報である。これら訓練画像の群に対しては、「滞在人数ＯＫ」の教師データが付与される。

【0057】

一方、学習用データセット２３０Ｂの訓練画像の群も、滞在人数が給油に必要な人数（例えば給油者とアドバイス者の二人程度）の状態の映像情報である。これら訓練画像の群に対しては、「滞在人数ＯＫ」の教師データが付与される。

【0058】

さらに、学習用データセット２３０Ｃの訓練画像の群は、滞在人数が給油に必要な所定数を超える状態の映像情報である。これら訓練画像の群に対しては、「滞在人数ＮＧ」の教師データが付与される。

【0059】

図８に示す学習用データセット２３０Ａ～Ｃにより、給油スペースの滞在人数を機械学習させることにより、給油スペースの人数が所定数を超える不正行為を検知する学習モデル２３０が得られる。

【0060】

・学習モデル２４０に対する「車両以外へ給油する不正行為」の機械学習
図９には、車両以外へ給油する不正行為を機械学習するための学習用データセット２４０Ａ～Ｃが示される。この学習用データセット２４０Ａ～Ｃの訓練画像は、学習モデル２４０の前処理部３１の前処理（給油ノズルの挿置先や届く範囲を対象エリアとしてクロップする処理）を実施済みの映像情報である。

【0061】

同図において、学習用データセット２４０Ａの訓練画像の群は、車両に給油している状態の映像情報である。これら訓練画像の群に対しては、「車両への給油ＯＫ」の教師データが付与される。

【0062】

一方、学習用データセット２４０Ｂの訓練画像の群は、車両以外（灯油タンク、ポリタンク、携行缶など）に給油している状態の映像情報である。これら訓練画像の群に対しては、「車両以外への給油ＮＧ」の教師データが付与される。

【0063】

さらに、学習用データセット２４０Ｃの訓練画像の群は、車両トランクなどに搭載した（灯油タンク、ポリタンク、携行缶など）に給油している状態の映像情報である。これら訓練画像の群に対しては、「車両以外への給油ＮＧ」の教師データが付与される。

【0064】

図９に示す学習用データセット２４０Ａ～Ｃにより、給油先が車両か否かを機械学習させることにより、車両以外に給油する不正行為を検知する学習モデル２４０が得られる。

【0065】

・学習モデル２５０に対する「要注意状況に関する不正行為」の機械学習
図１０には、要注意状況に関する不正行為を機械学習するための学習用データセット２５０Ａ～Ｃが示される。この学習用データセット２５０Ａ～Ｃの訓練画像は、学習モデル２５０の前処理部３１の前処理（要注意状況が生じる範囲を対象エリアとしてクロップする処理）を実施済みの映像情報である。

【0066】

同図において、学習用データセット２５０Ａ，２５０Ｂの訓練画像の群は、次のいずれか１種類の要注意状況（または複数種類の要注意状況の組み合わせ）が発生した状態の映像情報である。

【0067】

（１）火気使用、（２）たばこ、（３）ライター、（４）マッチ、（５）喫煙具、（６）喫煙、（７）発火、（８）スパーク発生、（９）高温物、（１０）引火物、（１１）可燃物、（１２）爆発物、（１３）危険物、（１４）携行缶、（１５）灯油タンク、（１６）通話や画面注視の不注意状態、（１７）携帯電話による不注意状態、（１８）モバイル機器による不注意状態、（１９）車外の子供の存在、（２０）給油中のよそ見、（２１）給油中の会話、（２２）給油者などの転倒、（２３）給油者などの争い、（２４）給油スペースでの騒乱、（２５）給油キャップの紛失や閉め忘れ、（２６）酔っ払い、倒れ込む、しゃがみ込む、何かを隠すなどの異常行動、（２７）不注意行動、（２８）危険行動
これら訓練画像の群に対しては、「要注意状況ＮＧ」の教師データが付与される。

【0068】

一方、学習用データセット２５０Ｃの訓練画像の群は、学習用データセット２５０Ａ，２５０Ｂの訓練画像から『要注意状況』を取り除いた状態の映像情報である。これら訓練画像の群に対しては、「要注意状況なしＯＫ」の教師データが付与される。

【0069】

図１０に示す学習用データセット２５０Ａ～Ｃにより、要注意状況に関する不正行為を機械学習させることにより、要注意状況に関する不正行為をそれぞれ検知する複数個の学習モデル２５０が得られる。

【0070】

・学習モデル２６０に対する「車番認識」の機械学習
図１１には、車番の領域区分のための学習用データセット２６０Ａが示される。この学習用データセット２６０Ａの訓練画像は、学習モデル２６０の前処理部３１の前処理（ナンバープレートの領域をクロップする処理、好ましくはナンバープレートを長方形に変換し、ナンバープレートの画像サイズを正規化する処理）を実施済みの映像情報である。

【0071】

これら訓練画像の群に対しては、訓練画像をコード種類別に領域区分するための領域ラベル（陸上コード、車種コード、用途コード、一連指定番号コードなど）が付与される。ここでの領域ラベルは、画像解析システム１００の使用国または使用地域のナンバープレートの表示法令などに従った領域ラベルを付与する。

【0072】

このような学習用データセット２６０Ａにより機械学習を行うことにより、ナンバープレートの車番をコード種類別の画像領域に領域区分する学習モデル２６０が得られる。

【0073】

さらに、この学習モデル２６０は、領域区分された画像領域を、文字認識用の学習器で処理することにより、車番の各コードを文字や数字や記号として読み取る。

【0074】

［画像解析システム１００の動作説明］
続いて、機械学習済みの学習モデル２００～２６０を用いて行われる画像解析システム１００の動作を説明する。

【0075】

図１２～図１３は、画像解析システム１００の動作を示す流れ図である。
図１４～図１８は、画像解析の様子を説明するための図である。
図１９は、監視パソコン１５や手持ち端末１７の表示画面を示す図である。
以下、図１２～図１３に示すステップ番号の順に、画像解析の動作を説明する。

【0076】

ステップＳ１１： 給油レーン別に配置されたカメラＡ１，Ｂ１（映像取得部１１）は、給油スペースの映像情報（動画）を出力する。この映像情報は、ネットワークスイッチ２１を介して画像処理サーバ２２内の検知部１２に入力される。

【0077】

ステップＳ１２： 検知部１２は、学習モデル２００に映像情報を出力する。学習モデル２００内の前処理部３１は、この映像情報に対して前処理（車両の給油位置付近を対象エリアとしてクロップする処理、好ましくは鳥瞰変換により停止枠を長方形に変換する処理）を実施する。前処理された映像情報は、車両が給油位置に正しく停止しているか否かを機械学習した学習モデル２００を介して処理される。学習モデル２００は、車両が給油位置に停止しない不正行為の尤度を出力する。または、車両方向が逆向きで給油口が給油装置１０側に存在しない不正行為の尤度を出力する。

【0078】

図１４は、車両の給油位置の検知例を示す図である。
車両が正しい位置および向きに停止するほど、不正行為の尤度は低くなる。逆に、車両が正しい給油位置から外れたり、車両が逆向きになるほど、不正行為の尤度は高くなる。

【0079】

ステップＳ１３： 判定部１３は、学習モデル２００が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部１３はステップＳ１４に動作を移行する。それ以外の場合、判定部１３はステップＳ１５に動作を移行する。

【0080】

ステップＳ１４： 判定部１３は、給油不可に関する情報を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「車両が給油位置に停止しない不正行為」や「車両方向が逆向きで給油口が給油装置１０側に存在しない不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「車両が給油位置に停止しない不正行為」や「車両方向が逆向きで給油口が給油装置１０側に存在しない不正行為」を報知する。これらの報知動作の後、判定部１３はステップＳ１２に動作を戻す。

【0081】

ステップＳ１５： 検知部１２は、学習モデル２１０に映像情報を出力する。学習モデル２１０内の前処理部３１は、この映像情報に対して前処理（静電気除去シート付近を対象エリアとしてクロップする処理）を実施する。前処理された映像情報は、静電気除去をしたか否かを機械学習した学習モデル２１０を介して処理される。学習モデル２１０は、静電気除去をしない不正行為の尤度を出力する。

【0082】

図１５は、静電気除去行動の検知例を示す図である。
静電気除去シートに一瞬でも給油者の手が触れることによって、不正行為の尤度は低くなる。ただし、肌色と異なる色の手袋やハンカチなどの介在物を検知すると、不正行為の尤度は高くなる。

【0083】

ステップＳ１６： 判定部１３は、学習モデル２１０が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部１３はステップＳ１７に動作を移行する。それ以外の場合、判定部１３はステップＳ１８に動作を移行する。

【0084】

ステップＳ１７： 判定部１３は、給油不可に関する情報を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「静電気除去をしない不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「静電気除去をしない不正行為」を報知する。これらの報知動作の後、判定部１３はステップＳ１５に動作を戻す。

【0085】

ステップＳ１８： 検知部１２は、学習モデル２２０に映像情報を出力する。学習モデル２２０内の前処理部３１は、この映像情報に対して前処理（給油ノズルのベクトル追跡により検出した給油口付近を対象エリアとしてクロップする処理）を実施する。前処理された映像情報は、給油ノズルが給油口に正しく挿置されたか否かを機械学習した学習モデル２２０を介して処理される。学習モデル２２０は、給油ノズルを正しく挿置しない不正行為の尤度を出力する。

【0086】

図１６は、給油ノズルの挿置状況の検知例を示す図である。
給油ノズルが給油口に正しく挿置されるほど、不正行為の尤度は低くなる。給油ノズルが浮いたり傾いたりするほど、不正行為の尤度は高くなる。

【0087】

ステップＳ１９： 判定部１３は、学習モデル２２０が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部１３はステップＳ２０に動作を移行する。それ以外の場合、判定部１３はステップＳ２１に動作を移行する。

【0088】

ステップＳ２０： 判定部１３は、給油不可に関する情報を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「給油ノズルを給油口に正しく挿置しない不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「給油ノズルを給油口に正しく挿置しない不正行為」を報知する。これらの報知動作の後、判定部１３はステップＳ１８に動作を戻す。

【0089】

ステップＳ２１： 検知部１２は、学習モデル２３０に映像情報を出力する。学習モデル２３０内の前処理部３１は、この映像情報に対して前処理（車両の周辺を対象エリアとしてクロップする処理、好ましくは鳥瞰変換により停止枠を長方形に変換する処理）を実施する。前処理された映像情報は、給油に不必要な人数を機械学習した学習モデル２３０を介して処理される。学習モデル２３０は、人数が所定数を超えて給油スペースに不必要な人数が滞在する不正行為の尤度を出力する。

【0090】

図１７は、給油者以外の人物の検知例を示す図である。
給油に必要な人数であれば、不正行為の尤度は低くなる。給油者以外の人数が増えるほど、不正行為の尤度は高くなる。

【0091】

ステップＳ２２： 判定部１３は、学習モデル２３０が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部１３はステップＳ２３に動作を移行する。それ以外の場合、判定部１３はステップＳ２４に動作を移行する。

【0092】

ステップＳ２３： 判定部１３は、給油不可に関する情報を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「給油に不必要な人数が滞在する不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「給油に不必要な人数が滞在する不正行為」を報知する。これらの報知動作の後、判定部１３はステップＳ２１に動作を戻す。

【0093】

ステップＳ２４： 検知部１２は、学習モデル２４０に映像情報を出力する。学習モデル２４０内の前処理部３１は、この映像情報に対して前処理（給油ノズルの届く範囲を対象エリアとしてクロップする処理）を実施する。前処理された映像情報は、給油先が車両（バイク含む）か否かを機械学習した学習モデル２４０を介して処理される。学習モデル２４０は、車両以外を給油先とする不正行為の尤度を出力する。

【0094】

図１８は、車両以外への給油などの検知例を示す図である。

【0095】

車両への正常な給油であれば、不正行為の尤度は低くなる。車両以外に給油先が検知されると、不正行為の尤度は高くなる。

【0096】

ステップＳ２５： 判定部１３は、学習モデル２４０が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部１３はステップＳ２６に動作を移行する。それ以外の場合、判定部１３はステップＳ２７に動作を移行する。

【0097】

ステップＳ２６： 判定部１３は、給油不可に関する情報を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「車両以外を給油先とする不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「車両以外を給油先とする不正行為」を報知する。これらの報知動作の後、判定部１３はステップＳ２４に動作を戻す。

【0098】

ステップＳ２７： 検知部１２は、学習モデル２５０に映像情報を出力する。学習モデル２５０内の前処理部３１は、この映像情報に対して前処理（要注意状況が生じる範囲を対象エリアとしてクロップする処理など）を実施する。前処理された映像情報は、要注意状況について機械学習した学習モデル２５０を介して処理される。学習モデル２５０は、要注意状況に関する不正行為の尤度を出力する。

【0099】

ステップＳ２８： 判定部１３は、学習モデル２５０が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部１３はステップＳ２９に動作を移行する。それ以外の場合、判定部１３はステップＳ３０に動作を移行する。

【0100】

ステップＳ２９： 判定部１３は、給油不可に関する情報を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「要注意状況に関する不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「要注意状況に関する不正行為」を報知する。これらの報知動作の後、判定部１３はステップＳ２７に動作を戻す。

【0101】

ステップＳ３０： 検知部１２は、学習モデル２６０に映像情報を出力する。学習モデル２６０内の前処理部３１は、この映像情報に対して前処理（ナンバープレートの領域をクロップする処理、好ましくはナンバープレートを長方形に変換し、ナンバープレートの画像サイズを正規化する処理）を実施する。前処理された映像情報は、車番の読み取りについて機械学習した学習モデル２６０を介して処理される。学習モデル２６０は、車番の読み取り結果を出力する。

【0102】

ステップＳ３１： 検知部１２は、給油スペースの映像情報に基づいて、給油に使用される給油ノズルの色を判別し、給油する油種を情報取得する。なお、給油装置１０で購入選択された油種を給油する油種として、給油装置１０などから情報取得してもよい。

【0103】

ステップＳ３２： 判定部１３は、ステップＳ３０で読み取った車番を給油履歴１４に照合する。給油履歴１４に同一の車番が見つかった場合、判定部１３は、過去に給油された油種を給油履歴１４から取得する。

【0104】

ステップＳ３３： 判定部１３は、ステップＳ３１で情報取得した油種が、過去に同一車両に給油された油種と異なる場合、ステップＳ３４に動作を移行する。一方、過去と同一の油種を給油する場合や、給油履歴１４に車番が見つからない場合は、判定部１３は、ステップＳ３５に動作を移行する。

【0105】

ステップＳ３４： 判定部１３は、油種不適に関する情報を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「油種不適による給油不可」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「油種不適による給油不可」を報知する。これらの報知動作の後、判定部１３はステップＳ３１に動作を戻す。

【0106】

ステップＳ３５： 判定部１３は、ステップＳ３０で読み取った車番を、インターネットなどのネットワークを介して外部などの登録データベースに照会し、油種や車種の登録情報を取得する。（固定客など許可が事前に得られる場合、可能ならば自動車検査登録情報提供サービスなどから油種や車種の登録情報を取得する。）

【0107】

ステップＳ３６： ステップＳ３１で情報取得した油種が登録情報と適合しない場合、判定部１３は、ステップＳ３７に動作を移行する。一方、登録情報と適合する油種を給油する場合や、登録データベースに車番が見つからない場合は、判定部１３は、ステップＳ３８に動作を移行する。

【0108】

ステップＳ３７： 判定部１３は、油種不適に関する情報を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「油種不適による給油不可」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「油種不適による給油不可」を報知する。これらの報知動作の後、判定部１３はステップＳ３１に動作を戻す。

【0109】

ステップＳ３８： 判定部１３は、ステップＳ３０で読み取った車番について、レンタカー（カーシェアを含む）の車番か否か（例えば、日本では車番の用途コードが「わ」または「れ」は、レンタカーの車番である）を判定する。

【0110】

ステップＳ３９： レンタカーの場合、給油者にとって一時的な車両利用であるために、給油者が油種を間違う確率が高くなる。そこで、判定部１３は、レンタカーの車番を検知すると、「油種間違いのおそれ有り」と判定し、ステップＳ４０に動作を移行する。レンタカーの車番でない場合、判定部１３はステップＳ４１に動作を移行する。

【0111】

ステップＳ４０： 判定部１３は、油種間違いの可能性を、監視パソコン１５や手持ち端末１７や警報器１６ａに転送する。監視パソコン１５や手持ち端末１７や警報器１６は、「油種間違いのおそれ有り」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器１６ａも音声通知や警報点灯を行い、給油者に対して「油種間違いのおそれ有り」を報知する。これらの報知動作の後、判定部１３はステップＳ４１に動作を戻す。

【0112】

ステップＳ４１： バイクのように給油タンクの小さな車両の場合、ノズルの差し込みが傾いたり浅くなるため、給油ノズルによる満タン検出（給油ストッパー動作）が不正確になり得る。そこで、判定部１３は、バイクのように給油タンクの小さな車両の車番を検知すると、給油の吐出量や給油量を抑制して燃料の吹きこぼれを回避する。

【0113】

ステップＳ４２： セルフサービス式のガソリンスタンドＧＳでは、法令などに従い、危険物取扱者である監視者が、給油者が行う給油を監視し、給油の許可を行う。
図１９は、この監視者が使用する監視パソコン１５や手持ち端末１７の画面表示を示す図である。
同図において、画面表示は、ライブ表示域３０１、情報欄３０２、解析表示域３０３、確認要ボタン３０４、および操作域３０５などのマルチウィンドウから構成される。
ライブ表示域３０１には、映像取得部１１により撮影される給油レーンごとのライブ映像がマルチ画面で同時に表示される。
情報欄３０２には、ステップＳ３０で検知された車番、ステップＳ３５で照会された登録情報、ステップＳ３２で照会された給油履歴１４のデータ、顧客の課金決裁の情報、当該車両や給油者における過去の不正行為などが一覧表示される。

【0114】

解析表示域３０３には、上述した学習モデル２００～２６０による解析結果として、給油不可に係る重要部分の画像や、解析内容の状況説明や、不正行為に対する対処方策が表示される。
この解析表示域３０３には、監視者がライブ表示域３０１の画面選択により選択した給油レーンについて解析結果を表示してもよい。
また、複数の給油レーンごとの解析結果を所定間隔おきに自動的に切替え表示してもよい。
さらに、給油者の存在する給油レーンの解析結果を優先的に表示してもよい。
また、不正行為が発生中の給油レーンの解析結果を自動選択して表示してもよい。

【0115】

解析表示域３０３の表示の内、保安上の問題が生じ得る解析結果については、監視者に確認を促すために、確認要ボタン３０４が点灯ないし点滅表示する。監視者は、解析内容の状況説明を確認した上で確認要ボタン３０４を操作（クリックまたはタップ）する。この確認要ボタン３０４の操作結果は、不正行為の内容やライブ映像や日時情報と共に監視パソコン１５内の監視ログファイルに逐次記録される。

【0116】

操作域３０５には、給油レーンの選択ボタンと、選択された給油レーンの給油可否を制御するための操作ボタン（ＯＫボタン、ＮＧボタン）が表示される。監視者は、ＯＫボタンを操作することにより、給油者の給油を許可する。また、監視者は、ＮＧボタンを操作することにより、給油者の給油を禁止（または一時停止）する。

【0117】

ステップＳ４３： 判定部１３は、車番、給油した油種、給油量、日時、不正行為の内容、および給油可否に関する情報を給油履歴１４に記録する。

【0118】

以上の一連の監視支援が給油許可まで随時に繰り返されることにより、監視者は少ない負担で給油許可を慎重かつ安全に行うことが可能になる。

【0119】

［画像解析システム１００の給油許可後の動作］
図２０は、給油許可の後も検知する不正行為の項目を示す図である。
以下、同図に示す項目別に、給油許可の後の動作について説明する。

【0120】

・「給油ノズルを正しく挿置しない不正行為」
給油直前や給油中において、給油ノズルを給油口から浮かして給油ノズルによる液面検出を遅らせ、給油口ぎりぎりまで給油を行う行為（以下「追加給油行為」という）が知られている。この追加給油行為では、給油の自動停止機能が十分に機能せず、給油口から燃料が吹きこぼれる可能性が有る。

【0121】

そこで、画像解析システム１００は、給油許可の後も、給油ノズルの挿置状況について継続して検知を行う。その結果、給油直前や給油中に給油ノズルを給油口から浮かせる追加給油行為を検知することが可能になる。

【0122】

給油直前に追加給油行為が検知された場合、画像解析システム１００は、給油許可を給油不可に一旦変更する。この状態で、警報器１６ａによる給油者への注意喚起と、監視パソコン１５などによる監視者への不正行為の報知がなされる。監視者は給油ノズルが正しく挿置されたことを確認した上で、監視パソコン１５などを操作して給油不可を給油許可に切り替える。

【0123】

また、給油中に追加給油行為が検知された場合、画像解析システム１００は、給油許可を給油不可に一旦変更すると共に、安全のために給油を一時停止する制御を行う。この状態で、警報器１６ａによる給油者への注意喚起と、監視パソコン１５などによる監視者への不正行為の報知がなされる。監視者は給油ノズルが正しく挿置されたことを確認した上で、監視パソコン１５などを操作して給油不可を給油許可に切替え、給油の一時停止を解除する。

【0124】

・「給油位置に正しく停止しない不正行為」
運転者が給油者と別人の場合、給油時に運転者が誤って車両を発進させる場合が有る。この場合、給油が正常に行えないばかりか、給油中のエンジン始動による不測の事態や、車体の揺れによって給油口から燃料がこぼれるなどの可能性も有る。

【0125】

そこで、画像解析システム１００は、給油許可の後も、車両の給油位置について継続して検知を行う。その結果、給油直前や給油中の車両移動を検知することが可能になる。

【0126】

給油直前に車両移動が検知された場合、画像解析システム１００は、給油許可を給油不可に一旦変更する。この状態で、警報器１６ａによる運転者への注意喚起と、監視パソコン１５などによる監視者への不正行為の報知がなされる。監視者は車両が正しい給油位置に戻ったことを確認した上で、監視パソコン１５などを操作して給油不可を給油許可に切り替える。

【0127】

また、給油中に車両移動が検知された場合、画像解析システム１００は、給油許可を給油不可に一旦変更すると共に、安全のために給油を一時停止する制御を行う。この状態で、警報器１６ａによる運転者への注意喚起と、監視パソコン１５などによる監視者への不正行為の報知がなされる。監視者は車両が正しい給油位置に戻ったことを確認した上で、監視パソコン１５などを操作して給油不可を給油許可に切替え、給油の一時停止を解除する。

【0128】

・「要注意状況に関する不正行為」
下記のような要注意状況は、給油許可の後も同様に注意すべき状況である。

【0129】

（１）火気使用、（２）たばこ、（３）ライター、（４）マッチ、（５）喫煙具、（６）喫煙、（７）発火、（８）スパーク発生、（９）高温物、（１０）引火物、（１１）可燃物、（１２）爆発物、（１３）危険物、（１４）携行缶、（１５）灯油タンク、（１６）通話や画面注視の不注意状態、（１７）携帯電話による不注意状態、（１８）モバイル機器による不注意状態、（１９）車外の子供の存在、（２０）給油中のよそ見、（２１）給油中の会話、（２２）給油者などの転倒、（２３）給油者などの争い、（２４）給油スペースでの騒乱、（２５）給油キャップの紛失や閉め忘れ、（２６）酔っ払い、倒れ込む、しゃがみ込む、何かを隠すなどの異常行動、（２７）不注意行動、（２８）危険行動
そこで、画像解析システム１００は、給油許可の後も、要注意状況について継続して検知を行う。

【0130】

給油直前に要注意状況が検知された場合、画像解析システム１００は、給油許可を給油不可に一旦変更する。この状態で、警報器１６ａによる給油者への注意喚起と、監視パソコン１５などによる監視者への要注意状況の報知がなされる。監視者は要注意状況が解消されたことを確認した上で、監視パソコン１５などを操作して給油不可を給油許可に切り替える。

【0131】

また、給油中に要注意状況が検知された場合、画像解析システム１００は、給油許可を給油不可に一旦変更すると共に、安全のために給油を一時停止する制御を行う。この状態で、警報器１６ａによる給油者への注意喚起と、監視パソコン１５などによる監視者への不正行為の報知がなされる。監視者は要注意状況の解消を確認した上で、監視パソコン１５などを操作して給油不可を給油許可に切替え、給油の一時停止を解除する。

【0132】

・「不必要な人数が滞在する不正行為」
給油直前や給油中に不必要な人数が集まる行為は、不測の事態ともなり得る。そこで、画像解析システム１００は、給油許可の後も、給油スペースの滞在人数を検知する。

【0133】

給油直前に「不必要な人数が滞在する不正行為」が検知された場合、画像解析システム１００は、給油許可を給油不可に一旦変更する。この状態で、警報器１６ａによる滞在者への注意喚起と、監視パソコン１５などによる監視者への要注意状況の報知がなされる。監視者は状況の安全を確認した上で、監視パソコン１５などを操作して給油不可を給油許可に切り替える。

【0134】

また、給油中に「不必要な人数が滞在する不正行為」が検知された場合、画像解析システム１００は、給油許可を給油不可に一旦変更すると共に、安全のために給油を一時停止する制御を行う。この状態で、警報器１６ａによる滞在者への注意喚起と、監視パソコン１５などによる監視者への不正行為の報知がなされる。監視者は状況の安全を確認した上で、監視パソコン１５などを操作して給油不可を給油許可に切替え、給油の一時停止を解除する。
［実施例１の効果］

【0135】

（１）実施例１では、給油スペースの映像群について不正行為を機械学習させた学習モデルを使用する。このような機械学習では、監視者が危険や誤りとして感じる不正行為に反応する学習モデルが得られる。そのため、監視者を補って（または監視者に代わって）給油スペースの不正行為を検知することが可能になる。

【0136】

（２）実施例１では、給油スペースの映像群について車両が給油位置に停止しているか否かを機械学習させた学習モデル２００を使用する。そのため、監視者を補って（または監視者に代わって）、車両が給油位置に停止しない不正行為を検知することが可能になる。

【0137】

（３）実施例１では、給油スペースの映像群について給油者が静電気除去行動をしたか否かを機械学習させた学習モデル２１０を使用する。そのため、監視者を補って（または監視者に代わって）、給油者が静電気除去行動をしない不正行為を検知することが可能になる。

【0138】

（４）実施例１では、給油スペースの映像群について給油ノズルが給油先に正しく挿置されたか否かを機械学習させた学習モデル２２０を使用する。そのため、監視者を補って（または監視者に代わって）、給油ノズルの挿置についての不正行為を検知することが可能になる。

【0139】

（５）実施例１では、給油スペースの映像群について給油スペースの人数を機械学習させた学習モデル２３０を使用する。そのため、監視者を補って（または監視者に代わって）、給油スペースの人数が所定数を超える不正行為を検知することが可能になる。

【0140】

（６）実施例１では、給油スペースの映像群について給油先が車両か否かを機械学習させた学習モデル２４０を使用する。そのため、監視者を補って（または監視者に代わって）、車両以外に給油する不正行為を検知することが可能になる。

【0141】

（７）実施例１では、給油スペースの映像群について、火気使用、たばこ、ライター、マッチ、喫煙具、喫煙、発火、スパーク発生、高温物、引火物、可燃物、爆発物、危険物、携行缶、灯油タンク、通話や画面注視、携帯電話、モバイル機器、車外の子供、よそ見、会話、転倒、争い、騒乱、給油キャップの紛失や閉め忘れ、酔っ払い、倒れ込む、しゃがみ込む、何かを隠すなどの異常行動、不注意行動、および危険行動からなる群の少なくとも一つ以上の要注意状況について機械学習させた学習モデル２５０を使用する。そのため、監視者を補って（または監視者に代わって）、これらの要注意状況を不正行為として検知することが可能になる。

【0142】

（８）実施例１では、給油対象の車両について車番を検知する。車番は車両全てにおいて異なるため、車両の個体識別が可能になる。その車番を過去の給油履歴１４に照合することにより、給油が２回目以降であって過去と同じ油種の給油が選択されない場合は給油不可と判定することができる。

【0143】

（９）さらに、実施例１では、車番に関連付けて油種（または油種を特定可能な車種）が登録された登録データベースに、給油対象の車両の車番を照会する。登録済みの車両であれば、照会結果と適合する油種が選択されない場合は給油不可と判定することができる。

【0144】

（１０）実施例１では、給油対象の車番がレンタカー（カーシェアを含む）の車番（日本の場合は用途コードが「わ」または「れ」）と一致すると、「油種間違いのおそれ有り」と判定する。一般に、給油者にとってレンタカーは一時的な利用のため、給油者は油種を間違えやすくなる。そのため、レンタカーを検知して注意喚起を行うことにより、「油種間違い」を高い確率で防止することが可能になる。

【0145】

（１１）実施例１では、事務室内の監視パソコン１５の画面（図１９参照）において、不正行為の検知と給油可否の決定を一元的に操作することが可能になる。

【0146】

（１２）実施例１では、手持ち端末１７を介して、監視パソコン１５と同様の一元的な操作が可能である。そのため、監視者が給油レーンに向かうために事務室から離れても、手持ち端末１７を用いて、不正行為の検知と給油可否の決定を一元的に操作することが可能になる。

【実施例2】

【0147】

続いて、実施例２について説明する。
従来、タクシー会社や運輸会社のように所定数の車両を運用する会社では、社有駐車場の一角に専用給油所を設けることがある。このような専用給油所では、会社の営業車や社用車などの車両（以下「資格車」という）に限って会社の経費負担で給油が行われる。

【0148】

通常、専用給油所では、資格車の運転者に対して、給油資格を示すＩＤカードを貸与することで、資格車か否かを判断する。しかしながら、ＩＤカードを不正使用して無資格車が無料で給油を行う行為（以下「無資格給油の不正行為」という）を防ぐことが困難であった。

【0149】

［実施例２の構成説明］
図２１は、専用給油所の給油監視に好適な画像解析システム５００の要部を示す図である。

【0150】

同図において、専用給油所ＧＳ２には、画像解析システム５００、および給油装置５１０が設置される。
画像解析システム５００は、一体型カメラユニット５２０と、検知部５３０と、判定部５４０と、資格車の車番を予め登録した登録部５５０と、監視パソコン５６０とを備えて構成される。
ここで、検知部５３０、および判定部５４０は、画像処理サーバ５７０の機能によって実現される。

【0151】

一体型カメラユニット５２０は、ナンバープレートを撮影する高感度カメラ５２１と、暗部を照明する赤外線照明装備５２２と、曇りや雨滴や内部結露を除去するためのヒーターガラス装備５２３と、駐車場の入口ゲートや給油スペースにカメラを設置するための設置柱５２４と、不正行為を警告するための警報器５２５とを備えて構成される。

【0152】

その他、実施例２の画像解析システム５００は、実施例１の画像解析システム１００と同一の構成（図１，図２参照）を備える。

【0153】

［実施例２の動作説明］
図２２は、画像解析システム５００の動作を説明する図である。
以下、同図に示すステップ番号に沿って説明する。

【0154】

ステップＳ１１１： 検知部５３０は、高感度カメラ５２１から給油対象の車両のナンバープレートの映像情報を取得する。

【0155】

ステップＳ１１２： 検知部５３０は、実施例１と同様にして、ナンバープレートの映像情報から車番を検知する。

【0156】

ステップＳ１１３： 判定部５４０は、検知された車番を、給油資格を有する資格車の車番を登録した登録部５５０に照会する。

【0157】

ステップＳ１１４： 判定部５４０は、車番が登録部５５０に登録されていない場合、無資格給油の不正行為と判定し、ステップＳ１１５に動作を移行する。一方、車番が登録部５５０に登録されていた場合、専用給油所ＧＳ２において給油資格有りと判定し、実施例１（図１２）のステップＳ１１に動作を移行する。これ以降は、実施例１と同じ動作が行われる。

【0158】

ステップＳ１１５： 判定部５４０は、無資格給油の不正行為と判定し、給油装置５１０に対して給油禁止信号を出力して給油を停止し、無資格給油を未然に防止する。

【0159】

ステップＳ１１６： 判定部５４０は、監視パソコン５６０および警報器５２５に対して、無資格給油の不正行為を情報伝達する。監視パソコン５６０は、監視者に対して無資格給油の警報を出力し、注意喚起を行う。警報器５２５は、給油者に対して警報を発して、無資格給油の事情を音声ガイドで説明する。監視パソコン５６０は、無資格給油の未遂としてナンバープレートの映像と車番などを記録保存する。

【0160】

［実施例２の効果］
実施例２は、実施例１の効果に加えて、さらに次の効果を奏する。
（１）実施例２では、給油対象の車両について車番を検知する。車番は車両全てにおいて異なるため、車両の個体識別が可能になる。その車番を登録部５５０に照会することにより、無資格給油の不正行為を判定することが可能になる。

【0161】

＜実施形態の補足＞
上述した実施例１，２では、車両の識別に車番を使用する。しかしながら、本発明はこれに限定されるものではない。車番の代わりに、車体の特徴を使用しても、車両の識別を行うことができる。
例えば、タクシーなどの営業車であれば、車体の塗装パターンや屋上灯によってタクシー会社の車両の識別（給油資格を有するか否かなど）が可能である。
また、運輸会社の車両であれば、車体のロゴマークや会社名や塗装パターンによって運輸会社の車両の識別（給油資格を有するか否かなど）が可能である。
さらに、一般車であっても、車体に貼られた車検シールの位置や配置の違いや、車体とタイヤホイールの組み合わせや、車体に付けたＱＲコードなどのコード、車体の損傷などの固有の特徴や、それら２つ以上の組み合わせにより、車両の個体識別が可能である。

【0162】

また、上述した実施例１，２では、車番を映像情報から読み取っている。しかしながら、本発明はこれに限定されない。車番は、映像情報から読み取るだけではなく、車両に搭載された無線タグや無線装置などを通じた情報通信により取得してもよい。

【0163】

さらに、上述した実施例１，２では、監視者が給油許可の最終判断を行っている。しかしながら、本発明はこれに限定されない。法令などに反しない場合は、判定部が給油装置の給油可否を直接的に制御してもよい。

【0164】

また、上述した実施例１，２では、学習モデル２００～２６０として、畳込みニューラルネットワーク（図３参照）を使用した。しかしながら、本発明はこれに限定されない。例えば、このような学習モデルとしては、決定木学習、相関ルール学習、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、主成分分析、エクストリーム・ラーニング・マシン、およびその他の機械学習技法の少なくとも一つの技法に基づく学習モデルを採用してもよい。

【0165】

さらに、上述した実施例１，２では、ガソリンや軽油の給油について説明した。しかしながら、本発明の給油はこれに限定されない。例えば、灯油を給油する装置であれば、ガソリン車やディーゼル車への給油を不正行為として検知すればよい。

【0166】

また、上述した実施例１，２では、ガソリンスタンドＧＳや専用給油所ＧＳ２の単位で実施している。しかしながら、本発明はこれに限定されない。クラウドネットワーク上に画像解析システムの一部または全部を設置して、個々の給油装置とネットワーク接続することによって、地域単位やガソリン供給会社単位などの広域を単位にして、発明を実施することが可能になる。

【0167】

さらに、上述した実施例１，２では、給油履歴を油種不適の発見に使用している。しかしながら、本発明はこれに限定されない。画像解析システムは、給油履歴として蓄積される過去の不正行為から、不正行為の常習者（常習車両）を抽出して要注意リストを作成してもよい。画像解析システムは、この要注意リストに入店者（入店車両）を照会することにより、不正行為を行う前に常習者（常習車両）を予防的に検知することが可能になる。その結果、画像解析システムは、常習者に対する事前の注意を監視者に促すことができる。また、画像解析システムは、常習者に対する不正行為の検知処理を優先することが可能になる。

【0168】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、有る実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、有る実施例の構成に他の実施例の構成を加えることも可能である。
さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0169】

ＧＳ…ガソリンスタンド、１０…給油装置、１１…映像取得部、１２…検知部、１３…判定部、１４…給油履歴、１５…監視パソコン、１６…警報器、１６ａ…警報器、１７…手持ち端末、１８…無線ＬＡＮ、１９…インターフェース部、２０…給油制御装置、２１…ネットワークスイッチ、２２…画像処理サーバ、３１…前処理部、３２…入力層、３３…畳み込み層・活性化関数、３４…プーリング層、３５…ニューラルネットワーク、１００…画像解析システム、２００…学習モデル、２１０…学習モデル、２２０…学習モデル、２３０…学習モデル、２４０…学習モデル、２５０…学習モデル、２６０…学習モデル、３０１…ライブ表示域、３０２…情報欄、３０３…解析表示域、３０４…確認要ボタン、３０５…操作域、ＧＳ２…専用給油所、５００…画像解析システム、５１０…給油装置、５２０…一体型カメラユニット、５２１…高感度カメラ、５２２…赤外線照明装備、５２３…ヒーターガラス装備、５２４…設置柱、５２５…警報器、５３０…検知部、５４０…判定部、５５０…登録部、５６０…監視パソコン、５７０…画像処理サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】