知財求人 - 知財ポータルサイト「IP Force」
▶ コスモ石油マーケティング株式会社の特許一覧 ▶ 株式会社タツノの特許一覧 ▶ 株式会社Ｌｉｑｕｉｄの特許一覧
特許7648314給油システム、情報処理装置、給油制御方法及び給油制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-10
(45)【発行日】2025-03-18
(54)【発明の名称】給油システム、情報処理装置、給油制御方法及び給油制御プログラム
(51)【国際特許分類】
B67D 7/32 20100101AFI20250311BHJP
【ＦＩ】
B67D7/32 A
【請求項の数】
14
(21)【出願番号】P 2023211568
(22)【出願日】2023-12-14
【審査請求日】2024-07-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】515320123
【氏名又は名称】コスモ石油マーケティング株式会社
(73)【特許権者】
【識別番号】000151346
【氏名又は名称】株式会社タツノ
(73)【特許権者】
【識別番号】516063278
【氏名又は名称】株式会社ＥＬＥＭＥＮＴＳ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】木村 仁
(72)【発明者】
【氏名】北見 圭司
(72)【発明者】
【氏名】辻 弘行
(72)【発明者】
【氏名】中村 賢司
【審査官】高吉 統久
(56)【参考文献】
【文献】特開２０２１－０９１４６０（ＪＰ，Ａ）
【文献】特開２０２０－１４０２３６（ＪＰ，Ａ）
【文献】特開２０２０－０８３３７７（ＪＰ，Ａ）
【文献】特開２０２２－１２０５６３（ＪＰ，Ａ）
【文献】特開２０００－０７９９９７（ＪＰ，Ａ）
【文献】特開２０２３－１１１１５３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０２４２８５５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６７Ｄ ７／３２
(57)【特許請求の範囲】
【請求項1】
給油機と、前記給油機を含む領域を撮影するカメラと、
情報処理装置と、を有する給油システムであって、
前記情報処理装置は、
前記給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定し、
給油者の給油行為が、給油開始前の第１区間、給油中の第２区間、給油終了後の第３区間のうちのいずれの１区間に含まれるかに応じた判定ロジックに基づいて、または、いずれの連続する２区間に含まれるかに応じた判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止し、
前記第１区間に応じた第１判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
所定の不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定し、
他の不許可条件を一定時間充足した場合、給油不許可と判定し、
前記第２区間に応じた第２判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
不許可条件を一定時間充足した場合、警告を出力し、
警告を出力した後も不許可条件を一定時間充足した場合に、給油不許可と判定し、
警告を出力した後に許可条件を一定時間充足した場合には、給油許可と判定し、
前記第３区間に応じた第３判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定する、
給油システム。
【請求項2】
前記給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定する状態判定部を更に有し、前記状態判定部により、給油ノズルがノズル掛けから取り外されたと判定された場合に、前記第１区間が開始したと判定し、
前記第１区間に応じた判定ロジックに基づいて、給油許可であると判定され、前記状態判定部により、給油が開始されたと判定された場合に、前記第２区間に移行したと判定し、
前記状態判定部により、所定時間、給油がなされていないと判定された場合に、前記第３区間に移行したと判定し、前記状態判定部により、給油ノズルがノズル掛けに戻されたと判定された場合に、前記第３区間が終了したと判定する、
請求項１に記載の給油システム。
【請求項3】
給油種がガソリンまたは軽油の場合、前記判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われ、
車両が認識されたとする認識結果、
給油ノズルを適切な姿勢で把持する給油者が認識されたとする認識結果、
給油ノズルを適切な姿勢で把持していない給油者が認識されたとする認識結果、
が出力された場合、当該認識結果に基づいて、給油許否を判定する、請求項１に記載の給油システム。
【請求項4】
前記判定ロジックは、更に、前記カメラにより撮影された画像データに対して認識処理が行われ、所定の容器が認識されたとする認識結果が出力された場合に、給油不許可と判定する処理を含む、請求項３に記載の給油システム。
【請求項5】
サーマルセンサを更に有し、前記判定ロジックは、更に、
前記サーマルセンサにより測定された温度が、所定の閾値以上であるか否かを判定し、所定の閾値以上であると判定した場合に、給油不許可と判定する、請求項１に記載の給油システム。
【請求項6】
前記カメラにより撮影された画像データの一部である第１領域において、車両が認識されたとする認識結果が出力され、前記カメラにより撮影された画像データの一部であって、第１領域とは異なる第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識されたとする認識結果が出力される、
請求項３に記載の給油システム。
【請求項7】
サーマルセンサを更に有し、前記判定ロジックは、
前記第１領域を含まない領域において、前記サーマルセンサにより測定された温度が所定の閾値以上であるか否かを判定する、請求項６に記載の給油システム。
【請求項8】
給油種が灯油の場合、前記判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われ、
所定の容器が認識されたとする認識結果、
給油ノズルを適切な姿勢で把持する給油者が認識されたとする認識結果、
給油ノズルを適切な姿勢で把持していない給油者が認識されたとする認識結果、
が出力された場合、当該認識結果に基づいて、給油許否を判定する、請求項１に記載の給油システム。
【請求項9】
サーマルセンサを更に有し、前記判定ロジックは、更に、
前記サーマルセンサにより測定された温度が、所定の閾値以上であるか否かを判定し、所定の閾値以上であると判定した場合に、給油不許可と判定する、請求項８に記載の給油システム。
【請求項10】
給油ポンプを停止することで、または、給油配管に設置された給油バルブを閉動作させることで、給油を禁止または停止する、請求項１に記載の給油システム。
【請求項11】
前記情報処理装置と通信する給油制御器を更に有し、前記給油制御器は、
前記判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止する、請求項１乃至１０のいずれか１項に記載の給油システム。
【請求項12】
給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定し、給油者の給油行為が、給油開始前の第１区間、給油中の第２区間、給油終了後の第３区間のうちのいずれの１区間に含まれるかに応じた判定ロジックに基づいて、または、いずれの連続する２区間に含まれるかに応じた判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止し、
前記第１区間に応じた第１判定ロジックは、前記給油機を含む領域を撮影するカメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
所定の不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定し、
他の不許可条件を一定時間充足した場合、給油不許可と判定し、
前記第２区間に応じた第２判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
不許可条件を一定時間充足した場合、警告を出力し、
警告を出力した後も不許可条件を一定時間充足した場合に、給油不許可と判定し、
警告を出力した後に許可条件を一定時間充足した場合には、給油許可と判定し、
前記第３区間に応じた第３判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定する、
情報処理装置。
【請求項13】
給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定し、給油者の給油行為が、給油開始前の第１区間、給油中の第２区間、給油終了後の第３区間のうちのいずれの１区間に含まれるかに応じた判定ロジックに基づいて、または、いずれの連続する２区間に含まれるかに応じた判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止する処理をコンピュータが実行し、
前記第１区間に応じた第１判定ロジックは、前記給油機を含む領域を撮影するカメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
所定の不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定し、
他の不許可条件を一定時間充足した場合、給油不許可と判定し、
前記第２区間に応じた第２判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
不許可条件を一定時間充足した場合、警告を出力し、
警告を出力した後も不許可条件を一定時間充足した場合に、給油不許可と判定し、
警告を出力した後に許可条件を一定時間充足した場合には、給油許可と判定し、
前記第３区間に応じた第３判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定する、
給油制御方法。
【請求項14】
給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定し、給油者の給油行為が、給油開始前の第１区間、給油中の第２区間、給油終了後の第３区間のうちのいずれの１区間に含まれるかに応じた判定ロジックに基づいて、または、いずれの連続する２区間に含まれるかに応じた判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止する処理をコンピュータに実行させ、
前記第１区間に応じた第１判定ロジックは、前記給油機を含む領域を撮影するカメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
所定の不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定し、
他の不許可条件を一定時間充足した場合、給油不許可と判定し、
前記第２区間に応じた第２判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
不許可条件を一定時間充足した場合、警告を出力し、
警告を出力した後も不許可条件を一定時間充足した場合に、給油不許可と判定し、
警告を出力した後に許可条件を一定時間充足した場合には、給油許可と判定し、
前記第３区間に応じた第３判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定する、
給油制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、給油システム、情報処理装置、給油制御方法及び給油制御プログラムに関する。
【背景技術】
【0002】
サービスステーション向けの給油システムとして、給油者である顧客の給油行為を監視し、ＡＩ等を活用することで給油許否を判定する給油システムの開発が進められている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２０－８３３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、サービスステーションにおける給油シーンは様々であり、給油システムの開発にあたっては、給油シーンに応じて、給油許否の判定方法や判定結果の出力方法等を変更する構成とすることが望まれる。
【0005】
一つの側面では、給油シーンに応じた処理を実行可能な給油システムを提供することを目的としている。
【課題を解決するための手段】
【0006】
一態様によれば、給油システムは、
給油機と、
前記給油機を含む領域を撮影するカメラと、
情報処理装置と、を有する給油システムであって、
前記情報処理装置は、
前記給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定し、
給油者の給油行為が、給油開始前の第１区間、給油中の第２区間、給油終了後の第３区間のうちのいずれの１区間に含まれるかに応じた判定ロジックに基づいて、または、いずれの連続する２区間に含まれるかに応じた判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止し、
前記第１区間に応じた第１判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
所定の不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定し、
他の不許可条件を一定時間充足した場合、給油不許可と判定、し、
前記第２区間に応じた第２判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
不許可条件を一定時間充足した場合、警告を出力し、
警告を出力した後も不許可条件を一定時間充足した場合に、給油不許可と判定し、
警告を出力した後に許可条件を一定時間充足した場合には、給油許可と判定し、
前記第３区間に応じた第３判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定する。
給油機と、
前記給油機を含む領域を撮影するカメラと、
情報処理装置と、を有する給油システムであって、
前記情報処理装置は、
前記給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定し、
給油者の給油行為が、給油開始前の第１区間、給油中の第２区間、給油終了後の第３区間のうちのいずれの１区間に含まれるかに応じた判定ロジックに基づいて、または、いずれの連続する２区間に含まれるかに応じた判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止し、
前記第１区間に応じた第１判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
所定の不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定し、
他の不許可条件を一定時間充足した場合、給油不許可と判定、し、
前記第２区間に応じた第２判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
不許可条件を一定時間充足した場合、警告を出力し、
警告を出力した後も不許可条件を一定時間充足した場合に、給油不許可と判定し、
警告を出力した後に許可条件を一定時間充足した場合には、給油許可と判定し、
前記第３区間に応じた第３判定ロジックは、前記カメラにより撮影された画像データに対して認識処理が行われた際の認識結果が、
許可条件を一定時間充足した場合、給油許可と判定し、
不許可条件を一定時間充足した場合、給油不許可と判定し、その後、許可条件を一定時間充足した場合には、給油許可と判定する。
【発明の効果】
【0007】
給油シーンに応じた処理を実行可能な給油システムを提供することができる。
【図面の簡単な説明】
【0008】
【図1】第１の実施形態に係る給油システムを構築するための学習の流れを示す図である。
【図2A】サービスステーションにおける給油シーンの一例を示す第１の図である。
【図2B】サービスステーションにおける給油シーンの一例を示す第２の図である。
【図3A】第１学習用データを生成するまでの処理の概要を示す図である。
【図3B】第２学習用データを生成するまでの処理の概要を示す図である。
【図4】学習装置のハードウェア構成の一例を示す図である。
【図5】学習装置の機能構成の一例を示す図である。
【図6】第１学習用データの具体例を示す図である。
【図7】第２学習用データの具体例を示す図である。
【図8】学習処理の流れを示すフローチャートの一例である。
【図9】情報処理装置のハードウェア構成の一例を示す図である。
【図10】情報処理装置の機能構成の一例を示す図である。
【図11】情報処理装置の区間判定部の機能構成の一例を示す図である。
【図12】情報処理装置の区間判定部による処理の具体例を示す図である。
【図13】情報処理装置の画像認識部の機能構成の一例を示す図である。
【図14A】情報処理装置の画像認識部による処理の具体例を示す第１の図である。
【図14B】情報処理装置の画像認識部による処理の具体例を示す第２の図である。
【図15A】情報処理装置の第１給油監視部の機能構成の一例を示す図である。
【図15B】情報処理装置の第２給油監視部の機能構成の一例を示す図である。
【図16A】第１給油監視部の第１判定ロジックを用いた処理の流れを示す第１のフローチャートの一例である。
【図16B】第１給油監視部の第１判定ロジックを用いた処理の流れを示す第２のフローチャートの一例である。
【図17A】第１給油監視部の第２判定ロジックを用いた処理の流れを示す第１のフローチャートの一例である。
【図17B】第１給油監視部の第２判定ロジックを用いた処理の流れを示す第２のフローチャートの一例である。
【図17C】第１給油監視部の第２判定ロジックを用いた処理の流れを示す第３のフローチャートの一例である。
【図17D】第１給油監視部の第２判定ロジックを用いた処理の流れを示す第４のフローチャートの一例である。
【図18A】第１給油監視部の第３判定ロジックを用いた処理の流れを示す第１のフローチャートの一例である。
【図18B】第１給油監視部の第３判定ロジックを用いた処理の流れを示す第２のフローチャートの一例である。
【図19】第１給油監視部のポリタンク判定部を用いた処理、及び、火気判定部を用いた処理の流れを示すフローチャートの一例である。
【図20A】第２給油監視部の第１判定ロジックを用いた処理の流れを示す第１のフローチャートの一例である。
【図20B】第２給油監視部の第１判定ロジックを用いた処理の流れを示す第２のフローチャートの一例である。
【図21A】第２給油監視部の第２判定ロジックを用いた処理の流れを示す第１のフローチャートの一例である。
【図21B】第２給油監視部の第２判定ロジックを用いた処理の流れを示す第２のフローチャートの一例である。
【図21C】第２給油監視部の第２判定ロジックを用いた処理の流れを示す第３のフローチャートの一例である。
【図21D】第２給油監視部の第２判定ロジックを用いた処理の流れを示す第４のフローチャートの一例である。
【図22A】第２給油監視部の第３判定ロジックを用いた処理の流れを示す第１のフローチャートの一例である。
【図22B】第２給油監視部の第３判定ロジックを用いた処理の流れを示す第２のフローチャートの一例である。
【図23】第２給油監視部の火気判定部を用いた処理の流れを示すフローチャートの一例である。
【図24】情報処理装置の出力制御部の機能構成の一例を示す図である。
【図25】出力情報の一例を示す図である。
【図26】第１の実施形態に係る給油システムによる給油制御処理の流れを示すフローチャートの一例である。
【図27】情報処理装置の機能構成の他の一例を示す図である。
【図28A】情報処理装置の第１給油監視部の機能構成の他の一例を示す図である。
【図28B】情報処理装置の第２給油監視部の機能構成の他の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0010】
［第１の実施形態］
＜学習の流れ＞
はじめに、第１の実施形態に係る給油システムを構築するための学習の流れについて説明する。図１は、第１の実施形態に係る給油システムを構築するための学習の流れを示す図である。図１に示すように、第１の実施形態に係る給油システムを構築するにあたっては、複数のサービスステーション（例えば、サービスステーション１１０、１１１、・・・）において収集された画像データを用いる。また、１つのサービスステーションにおいて、異なる給油種を給油可能な場合には、それぞれの給油種について収集された画像データを用いる。なお、ここでいう異なる給油種とは、ガソリン、軽油等のように車両用の燃料油（以下では、「第１給油種」の燃料油と称す）と、灯油等のように車両以外を用途とする燃料油（以下、「第２給油種」の燃料油と称す）とを指すものとする。
＜学習の流れ＞
はじめに、第１の実施形態に係る給油システムを構築するための学習の流れについて説明する。図１は、第１の実施形態に係る給油システムを構築するための学習の流れを示す図である。図１に示すように、第１の実施形態に係る給油システムを構築するにあたっては、複数のサービスステーション（例えば、サービスステーション１１０、１１１、・・・）において収集された画像データを用いる。また、１つのサービスステーションにおいて、異なる給油種を給油可能な場合には、それぞれの給油種について収集された画像データを用いる。なお、ここでいう異なる給油種とは、ガソリン、軽油等のように車両用の燃料油（以下では、「第１給油種」の燃料油と称す）と、灯油等のように車両以外を用途とする燃料油（以下、「第２給油種」の燃料油と称す）とを指すものとする。
【0011】
図１の例は、サービスステーション１１０が、第１給油種と第２給油種の両方の燃料油を給油可能である場合を示している。このため、図１の例では、第１給油種についての給油シーン１１０＿１を撮影した画像データと、第２給油種についての給油シーン１１０＿２を撮影した画像データとが収集される。
【0012】
第１給油種についての給油シーン１１０＿１には、不図示の給油者による給油行為が含まれる。第１給油機１２０＿１を含む領域を動画として撮影するカメラ１３０＿１が、第１給油機１２０＿１と給油者による給油行為とを撮影することで、所定のフレーム周期の画像データが、画像データ収集装置１４０によって収集される。
【0013】
なお、図１に示すように、第１給油機１２０＿１には給油ノズル１２１＿１が接続されており、タンク１２６＿１に格納された第１給油種の燃料油が、給油ポンプ１２５＿１により、給油配管を介して、給油ノズル１２１＿１に供給されるように構成されている。また、図１に示すように、給油配管には、給油バルブ１２４＿１が設置されている。また、第１給油機１２０＿１には、報知装置として、音声出力装置１２２＿１及び給油データ表示器１２３＿１（給油データや、情報処理装置１６０からのメッセージを表示する機器）が設置されている。
【0014】
なお、図１においては図示していないが、第２給油種についての給油シーン１１０＿２についても同様の画像データが、画像データ収集装置１４０によって収集される。
【0015】
画像データ収集装置１４０は、画像データを収集する際、給油ノズル１２１＿１の第１給油機１２０＿１からの取り外し及び給油ノズル１２１＿１の第１給油機１２０＿１への戻しを示す信号（給油ノズルの状態を示す信号）を合わせて収集する。
【0016】
画像データ収集装置１４０により収集された画像データ、及び、給油ノズルの状態を示す信号は、ネットワーク１８０を介して学習装置１５０に送信され、学習装置１５０において、学習用データが生成される。なお、学習用データは、複数のサービスステーション（例えば、サービスステーション１１０、１１１、・・・）において収集された画像データ、及び、給油ノズルの状態を示す信号に基づいて生成される。ただし、学習用データは、第１給油種と第２給油種とで分けて生成されるものとする。
【0017】
学習装置１５０は、複数のサービスステーション（例えば、サービスステーション１１０、１１１、・・・）とは、異なる場所（例えば、クラウド上のサーバ）に設置される。学習装置１５０は、第１給油種の学習用データ（第１学習用データと称す）を用いて、第１モデルの学習を行い、第１学習済みモデルを生成する。また、学習装置１５０は、第２給油種の学習用データ（第２学習用データと称す）を用いて、第２モデルの学習を行い、第２学習済みモデルを生成する。
【0018】
学習装置１５０により生成された第１学習済みモデル及び第２学習済みモデルは、ネットワーク１８０を介して複数のサービスステーション（例えば、サービスステーション１１０'、１１１'、・・・）に送信される。これにより、各サービスステーションの情報処理装置（例えば、サービスステーション１１０'の情報処理装置１６０）に格納される。
【0019】
図１に示すように、サービスステーション１１０'に適用される第１の実施形態に係る給油システム１１０Ｓ'は、第１給油種用として、
・カメラ１３０＿１、
・第１給油機１２０＿１、
・サーマルセンサ１７０＿１、
を有する。なお、第１給油機１２０＿１には、タンク１２６＿１に格納された第１給油種の燃料油が、給油ポンプ１２５＿１により、給油配管を介して供給される給油ノズル１２１＿１が接続されている。また、給油配管には、給油バルブ１２４＿１が設置されている。更に、第１給油機１２０＿１には、報知装置として、音声出力装置１２２＿１及び給油データ表示器１２３＿１が設置されている。
・カメラ１３０＿１、
・第１給油機１２０＿１、
・サーマルセンサ１７０＿１、
を有する。なお、第１給油機１２０＿１には、タンク１２６＿１に格納された第１給油種の燃料油が、給油ポンプ１２５＿１により、給油配管を介して供給される給油ノズル１２１＿１が接続されている。また、給油配管には、給油バルブ１２４＿１が設置されている。更に、第１給油機１２０＿１には、報知装置として、音声出力装置１２２＿１及び給油データ表示器１２３＿１が設置されている。
【0020】
また、サービスステーション１１０'に適用される第１の実施形態に係る給油システム１１０Ｓ'は、第２給油種用として、同様の構成を有する。ただし、サーマルセンサ１７０＿１の測定領域が、第１給油種の給油シーン１１０＿１と、第２給油種の給油シーン１１０＿２の両方を含む場合には、サーマルセンサ１７０＿１は、第１給油種用及び第２給油種用の両方に用いられてもよい。
【0021】
更に、図１に示すように、サービスステーション１１０'に適用される第１の実施形態に係る給油システム１１０Ｓ'は、情報処理装置１６０を有する。情報処理装置１６０は、
・第１給油種用及び第２給油種用のカメラ（カメラ１３０＿１、１３０＿２）、
・給油機（第１給油機１２０＿１、第２給油機１２０＿２）、
・サーマルセンサ（サーマルセンサ１７０＿１、１７０＿２）、
・給油ポンプ（給油ポンプ１２５＿１、１２５＿２）、
と、通信可能に接続される。
・第１給油種用及び第２給油種用のカメラ（カメラ１３０＿１、１３０＿２）、
・給油機（第１給油機１２０＿１、第２給油機１２０＿２）、
・サーマルセンサ（サーマルセンサ１７０＿１、１７０＿２）、
・給油ポンプ（給油ポンプ１２５＿１、１２５＿２）、
と、通信可能に接続される。
【0022】
なお、図１の例では、第１の実施形態に係る給油システム１１０Ｓ'が、サービスステーション１１０'に適用される場合を示したが、他のサービスステーション（例えば、サービスステーション１１１'、・・・）に適用された場合も同様の構成となる。
【0023】
【0024】
このうち、図２Ａは、サービスステーション１１０における、第１給油種についての給油シーンの一例を示している。図２Ａに示すように、サービスステーション１１０には、車両２１１が停車する第１領域２１０と、第１給油種の給油を行うための第１給油機１２０＿１が設置された領域であって、給油者２２１による給油行為が行われる第２領域２２０とが含まれる。
【0025】
図２Ａに示す給油シーンの場合、給油者２２１は、車両２１１を第１領域２１０に停止させた状態で、第１給油機１２０＿１のノズル掛けから、給油ノズル１２１＿１を取り外し、車両２１１の給油口に、給油ノズル１２１＿１を挿入する。また、給油者２２１は、給油ノズル１２１＿１のレバーを操作することで給油を開始させ、所望の給油量に達するまで給油を継続する。そして、所望の給油量に達したら、給油者２２１は、給油ノズル１２１＿１のレバーを戻すことで給油を停止させ、給油ノズル１２１＿１を給油口から取り外した後、第１給油機１２０＿１のノズル掛けに戻すことで、給油行為を終了する。
【0026】
一方、図２Ｂは、サービスステーション１１０における、第２給油種についての給油シーンの一例を示している。図２Ｂに示すように、サービスステーション１１０には、容器２３１（ポリタンク）が載置される領域と、第２給油種の給油を行うための第２給油機１２０＿２が設置された領域であって、給油者２４１による給油行為が行われる領域とが含まれる。
【0027】
図２Ｂに示す給油シーンの場合、給油者２４１は、容器２３１を載置した状態で、第２給油機１２０＿２のノズル掛けから、給油ノズル１２１＿２を取り外し、容器２３１の給油口に、給油ノズル１２１＿２を挿入する。また、給油者２４１は、給油ノズル１２１＿２のレバーを操作することで給油を開始させ、所望の給油量に達するまで給油を継続する。そして、所望の給油量に達したら、給油者２４１は、給油ノズル１２１＿２のレバーを戻すことで給油を停止させ、給油ノズル１２１＿２を給油口から取り外した後、第２給油機１２０＿２のノズル掛けに戻すことで、給油行為を終了する。
【0028】
＜学習用データを生成するための処理＞
次に、カメラ１３０＿１が第１領域２１０及び第２領域２２０を含む領域を動画として撮影してから、学習装置１５０が当該動画に基づき第１学習用データを生成するまでの処理の概要について説明する。図３Ａは、第１学習用データを生成するための処理の流れを示す図である。
次に、カメラ１３０＿１が第１領域２１０及び第２領域２２０を含む領域を動画として撮影してから、学習装置１５０が当該動画に基づき第１学習用データを生成するまでの処理の概要について説明する。図３Ａは、第１学習用データを生成するための処理の流れを示す図である。
【0029】
画像データ収集装置１４０は、図３Ａに示すように、カメラ１３０＿１により動画として撮影された、所定のフレーム周期の画像データを収集する。また、画像データ収集装置１４０は、図３Ａに示すように、第１給油機１２０＿１より給油ノズル１２１＿１の状態を示す信号を収集する。
【0030】
学習装置１５０は、画像データ収集装置１４０により収集された画像データのうち、給油ノズル１２１＿１が、第１給油機１２０＿１のノズル掛けから取り外されてからノズル掛けに戻されるまでの間の画像データを抽出する。
【0031】
また、学習装置１５０は、抽出した画像データに対して画像認識処理を行い、抽出した画像データに含まれる認識対象（車両、容器、給油者、給油ノズル等）をそれぞれ認識する。更に、学習装置１５０は、認識された認識対象（車両、容器、給油者、給油ノズル等）に対して、アノテーションを付与する。
【0032】
具体的には、画像データにおいて車両が認識された場合であって、当該車両が画像データの一部である第１領域２１０内において認識された場合には、当該車両の外接矩形（バウンディングボックス）に対して、車両であることを示すアノテーションが付与される。
【0033】
また、画像データにおいて容器が認識された場合には、当該容器の外接矩形（バウンディングボックス）に対して、容器であることを示すアノテーションが付与される。
【0034】
また、画像データにおいて給油者が認識された場合であって、
・当該給油者が第２領域２２０内において認識され、かつ、
・給油ノズルを適切な姿勢で把持していた、
場合には、当該給油者の外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーションが付与される。
・当該給油者が第２領域２２０内において認識され、かつ、
・給油ノズルを適切な姿勢で把持していた、
場合には、当該給油者の外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーションが付与される。
【0035】
また、画像データにおいて給油者が認識された場合であって、
・当該給油者が第２領域２２０内において認識され、かつ、
・把持している給油ノズルが認識されなかった、
場合には、当該給油者の外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油ノズル認識不可）が付与される。
・当該給油者が第２領域２２０内において認識され、かつ、
・把持している給油ノズルが認識されなかった、
場合には、当該給油者の外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油ノズル認識不可）が付与される。
【0036】
また、画像データにおいて給油者が第２領域２２０内において認識されなかった場合であって、
・例えば、給油口に挿入された状態の給油ノズルが認識された、
場合には、当該認識された給油ノズルの外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油者認識不可）が付与される。
・例えば、給油口に挿入された状態の給油ノズルが認識された、
場合には、当該認識された給油ノズルの外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油者認識不可）が付与される。
【0037】
学習装置１５０は、抽出した画像データのうち、いずれかのアノテーションを付与した画像データを用いて、第１学習用データを生成する。
【0038】
続いて、第２給油機１２０＿２を含む領域を動画として撮影するカメラ１３０＿２が、第２給油機１２０＿２及び載置された容器を撮影してから、学習装置１５０が当該動画に基づき第２学習用データを生成するまでの処理の概要について説明する。図３Ｂは、第２学習用データを生成するための処理の流れを示す図である。
【0039】
画像データ収集装置１４０は、図３Ｂに示すように、カメラ１３０＿２により動画として撮影された、所定のフレーム周期の画像データを収集する。また、画像データ収集装置１４０は、図３Ｂに示すように、第２給油機１２０＿２より給油ノズル１２１＿２の状態を示す信号を収集する。
【0040】
学習装置１５０は、画像データ収集装置１４０により収集された画像データのうち、給油ノズル１２１＿２が、第２給油機１２０＿２のノズル掛けから取り外されてからノズル掛けに戻されるまでの間の画像データを抽出する。
【0041】
また、学習装置１５０は、抽出した画像データに対して画像認識処理を行い、抽出した画像データに含まれる認識対象（容器、給油者、給油ノズル等）をそれぞれ認識する。更に、学習装置１５０は、認識された認識対象（容器、給油者、給油ノズル等）に対して、アノテーションを付与する。
【0042】
具体的には、画像データにおいて容器が認識された場合には、当該認識された容器の外接矩形（バウンディングボックス）に対して、容器であることを示すアノテーションが付与される。
【0043】
また、画像データにおいて給油者が認識された場合であって、
・当該給油者が給油ノズルを適切な姿勢で把持していた、
場合には、当該給油者の外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーションが付与される。
・当該給油者が給油ノズルを適切な姿勢で把持していた、
場合には、当該給油者の外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーションが付与される。
【0044】
また、画像データにおいて給油者が認識された場合であって、
・当該給油者が把持している給油ノズルを認識できなかった、
場合には、当該給油者の外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油ノズル認識不可）が付与される。
・当該給油者が把持している給油ノズルを認識できなかった、
場合には、当該給油者の外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油ノズル認識不可）が付与される。
【0045】
また、画像データにおいて給油者が認識されなかった場合であって、
・例えば、給油口に挿入された状態の給油ノズルが認識された、
場合には、当該給油ノズルの外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持してない給油者であることを示すアノテーション（給油者認識不可）が付与される。
・例えば、給油口に挿入された状態の給油ノズルが認識された、
場合には、当該給油ノズルの外接矩形（バウンディングボックス）に対して、給油ノズルを適切な姿勢で把持してない給油者であることを示すアノテーション（給油者認識不可）が付与される。
【0046】
学習装置１５０は、抽出した画像データのうち、いずれかのアノテーションを付与した画像データを用いて、第２学習用データを生成する。
【0047】
＜学習装置のハードウェア構成＞
次に、学習装置１５０のハードウェア構成について説明する。図４は、学習装置のハードウェア構成の一例を示す図である。
次に、学習装置１５０のハードウェア構成について説明する。図４は、学習装置のハードウェア構成の一例を示す図である。
【0048】
図４に示すように、学習装置１５０は、プロセッサ４０１、メモリ４０２、補助記憶装置４０３、Ｉ／Ｆ（Interface）装置４０４、通信装置４０５、ドライブ装置４０６を有する。なお、学習装置１５０のプロセッサ４０１、メモリ４０２、補助記憶装置４０３、Ｉ／Ｆ装置４０４、通信装置４０５、ドライブ装置４０６は、バス４０７を介して相互に接続されている。
【0049】
プロセッサ４０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ４０１は、各種プログラム（例えば、学習プログラム等）をメモリ４０２上に読み出して実行する。
【0050】
メモリ４０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ４０１とメモリ４０２とは、いわゆるコンピュータを形成し、プロセッサ４０１が、メモリ４０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0051】
補助記憶装置４０３は、各種プログラムや、各種プログラムがプロセッサ４０１によって実行される際に用いられる各種情報を格納する。
【0052】
Ｉ／Ｆ装置４０４は、外部装置の一例である操作装置４１１、表示装置４１２と、学習装置１５０とを接続するための接続デバイスである。
【0053】
通信装置４０５は、ネットワークを介して画像データ収集装置１４０等、または、情報処理装置１６０等と通信するための通信デバイスである。
【0054】
ドライブ装置４０６は記録媒体４１３をセットするためのデバイスである。ここでいう記録媒体４１３には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４１３には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0055】
なお、補助記憶装置４０３にインストールされる各種プログラムは、例えば、配布された記録媒体４１３がドライブ装置４０６にセットされ、該記録媒体４１３に記録された各種プログラムが読み出されることでインストールされる。あるいは、補助記憶装置４０３にインストールされる各種プログラムは、通信装置４０５を介してネットワークからダウンロードされることで、インストールされてもよい。
【0056】
＜学習装置の機能構成＞
次に、学習装置１５０の機能構成について説明する。図５は、学習装置の機能構成の一例を示す図である。上述したように、学習装置１５０には学習プログラムがインストールされており、当該プログラムが実行されることで、学習装置１５０は、学習用データ生成部５００Ａ及び学習部５００Ｂとして機能する。
次に、学習装置１５０の機能構成について説明する。図５は、学習装置の機能構成の一例を示す図である。上述したように、学習装置１５０には学習プログラムがインストールされており、当該プログラムが実行されることで、学習装置１５０は、学習用データ生成部５００Ａ及び学習部５００Ｂとして機能する。
【0057】
図５に示すように、学習用データ生成部５００Ａは、更に、収集データ取得部５１０、画像認識部５２０、アノテーション付与部５３０、学習用データ生成部５４０を有する。
【0058】
収集データ取得部５１０は、画像データ収集装置１４０から、カメラ１３０＿１により撮影された画像データと、給油ノズル１２１＿１の状態を示す信号とを取得する。また、収集データ取得部５１０は、画像データ収集装置１４０から、カメラ１３０＿２により撮影された画像データと、給油ノズル１２１＿２の状態を示す信号とを取得する。
【0059】
画像認識部５２０は、カメラ１３０＿１により撮影された画像データのうち、給油ノズル１２１＿１が第１給油機１２０＿１のノズル掛けから取り外されてから、第１給油機１２０＿１のノズル掛けに戻されるまでの間の画像データを抽出する。また、画像認識部５２０は、抽出した画像データに対して画像認識処理を行う。これにより、画像認識部５２０は、認識対象（車両、容器、給油者、給油ノズル等）を認識する。
【0060】
また、画像認識部５２０は、カメラ１３０＿２により撮影された画像データのうち、給油ノズル１２１＿２が第２給油機１２０＿２のノズル掛けから取り外されてから、第２給油機１２０＿２のノズル掛けに戻されるまでの間の画像データを抽出する。また、画像認識部５２０は、抽出した画像データに対して画像認識処理を行う。これにより、画像認識部５２０は、認識対象（容器、給油者、給油ノズル等）を認識する。
【0061】
アノテーション付与部５３０は、画像認識部５２０により認識された認識対象のバウンディングボックスに、アノテーションを付与する。なお、アノテーションの付与方法は、図３Ａ及び図３Ｂを用いて説明済みであるため、ここでは説明を割愛する。
【0062】
学習用データ生成部５４０は、アノテーション付与部５３０によりアノテーションが付与された画像データを入力データ、付与されたアノテーションを正解データとする第１学習用データ及び第２学習用データを生成する。学習用データ生成部５４０は、生成した第１学習用データ及び第２学習用データを、学習用データ格納部５００Ｃに格納する。
【0063】
また、図５に示すように、学習部５００Ｂは、更に、学習用データ読み出し部５５０、第１モデル５６０＿１、比較／変更部５７０＿１、第２モデル５６０＿２、比較／変更部５７０＿２を有する。
【0064】
学習用データ読み出し部５５０は、学習用データ格納部５００Ｃより第１学習用データを読み出し、第１学習用データに含まれる入力データを、第１モデル５６０＿１に入力するとともに、正解データを、比較／変更部５７０＿１に入力する。
【0065】
また、学習用データ読み出し部５５０は、学習用データ格納部５００Ｃより第２学習用データを読み出し、第２学習用データに含まれる入力データを、第２モデル５６０＿２に入力するとともに、正解データを、比較／変更部５７０＿２に入力する。
【0066】
第１モデル５６０＿１は、画像認識処理を行う機械学習モデルであり、第１学習用データに含まれる入力データが入力されることで、画像認識処理を行い、認識結果を出力する。
【0067】
比較／変更部５７０＿１は、第１モデル５６０＿１より出力された認識結果と、学習用データ読み出し部５５０により入力された正解データとを比較する。また、比較／変更部５７０＿１は、第１モデル５６０＿１より出力された認識結果が正解データに一致するように、第１モデル５６０＿１のモデルパラメータを更新する。このようにして、第１モデル５６０＿１に対する学習処理が行われ、第１学習済みモデルが生成される。
【0068】
第２モデル５６０＿２は、画像認識処理を行う機械学習モデルであり、第２学習用データに含まれる入力データが入力されることで、画像認識処理を行い、認識結果を出力する。
【0069】
比較／変更部５７０＿２は、第２モデル５６０＿２より出力された認識結果と、学習用データ読み出し部５５０により入力された正解データとを比較する。また、比較／変更部５７０＿２は、第２モデル５６０＿２より出力された認識結果が正解データに一致するように、第２モデル５６０＿２のモデルパラメータを更新する。このようにして、第２モデル５６０＿２に対する学習処理が行われ、第２学習済みモデルが生成される。
【0070】
なお、学習部５００Ｂにより生成された第１学習済みモデル及び第２学習済みモデルは、情報処理装置１６０等に送信される。
【0071】
＜学習用データの具体例＞
次に、学習装置１５０の学習用データ生成部５００Ａにより生成される学習用データの具体例について説明する。
次に、学習装置１５０の学習用データ生成部５００Ａにより生成される学習用データの具体例について説明する。
【0072】
（１）第１学習用データの具体例
図６は、第１学習用データの具体例を示す図である。図６に示すように、第１学習用データ６００には、情報の項目として、"入力データ"と"正解データ"とが含まれる。また、"入力データ"には、更に、"画像データＩＤ"が含まれる。
図６は、第１学習用データの具体例を示す図である。図６に示すように、第１学習用データ６００には、情報の項目として、"入力データ"と"正解データ"とが含まれる。また、"入力データ"には、更に、"画像データＩＤ"が含まれる。
【0073】
"画像データＩＤ"には、アノテーション付与部５３０によりアノテーションが付与された画像データを識別するための識別子が格納される。図６の例において、画像データ６１０は、画像データＩＤ＝ＩＤ００１の画像データであり、画像データ６２０は、画像データＩＤ＝ＩＤ００Ｌの画像データである。また、画像データ６３０は、画像データＩＤ＝ＩＤ００Ｍの画像データであり、画像データ６４０は、画像データＩＤ＝ＩＤ００Ｎの画像データである。
【0074】
"正解データ"には、更に、"領域"と"アノテーションデータ"とが含まれる。"領域"には、第１領域２１０及び第２領域２２０が格納され、"アノテーションデータ"には、対応する領域において認識された認識対象のバウンディングボックスに付与されたアノテーションデータが格納される。
【0075】
図６の例は、画像データ６１０の一部である第１領域２１０において認識された車両のバウンディングボックス６１１に対して、
"車両であることを示すアノテーションデータ"
が付与されたことを示している。また、図６の例は、画像データ６１０の一部である第２領域２２０において認識された給油者のバウンディングボックス６１２に対して、
"給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーション"
が付与されたことを示している。
"車両であることを示すアノテーションデータ"
が付与されたことを示している。また、図６の例は、画像データ６１０の一部である第２領域２２０において認識された給油者のバウンディングボックス６１２に対して、
"給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーション"
が付与されたことを示している。
【0076】
同様に、図６の例は、画像データ６２０の一部である第１領域２１０において認識された車両のバウンディングボックス６２１に対して、
"車両であることを示すアノテーションデータ"
が付与されたことを示している。また、図６の例は、画像データ６２０の一部である第２領域２２０において認識された給油者のバウンディングボックス６２２に対して、
"給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油ノズル認識不可）"
が付与されたことを示している。
"車両であることを示すアノテーションデータ"
が付与されたことを示している。また、図６の例は、画像データ６２０の一部である第２領域２２０において認識された給油者のバウンディングボックス６２２に対して、
"給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油ノズル認識不可）"
が付与されたことを示している。
【0077】
同様に、図６の例は、画像データ６３０の一部である第１領域２１０において認識された車両のバウンディングボックス６３１に対して、
"車両であることを示すアノテーションデータ"
が付与されたことを示している。また、図６の例は、画像データ６３０の一部である第２領域２２０において認識された給油ノズルのバウンディングボックス６３２に対して、
"給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油者認識不可）"
が付与されたことを示している。
"車両であることを示すアノテーションデータ"
が付与されたことを示している。また、図６の例は、画像データ６３０の一部である第２領域２２０において認識された給油ノズルのバウンディングボックス６３２に対して、
"給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油者認識不可）"
が付与されたことを示している。
【0078】
同様に、図６の例は、画像データ６４０の一部である第１領域２１０において認識された容器のバウンディングボックス６４１に対して、
"容器であることを示すアノテーションデータ"
が付与されたことを示している。また、図６の例は、画像データ６４０の一部である第２領域２２０において認識された給油者のバウンディングボックス６４２に対して、
"給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーション"
が付与されたことを示している。
"容器であることを示すアノテーションデータ"
が付与されたことを示している。また、図６の例は、画像データ６４０の一部である第２領域２２０において認識された給油者のバウンディングボックス６４２に対して、
"給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーション"
が付与されたことを示している。
【0079】
（２）第２学習用データの具体例
図７は、第２学習用データの具体例を示す図である。図７に示すように、第２学習用データ７００には、情報の項目として、"入力データ"と"正解データ"とが含まれる。また、"入力データ"には、更に、"画像データＩＤ"が含まれる。
図７は、第２学習用データの具体例を示す図である。図７に示すように、第２学習用データ７００には、情報の項目として、"入力データ"と"正解データ"とが含まれる。また、"入力データ"には、更に、"画像データＩＤ"が含まれる。
【0080】
"画像データＩＤ"には、アノテーション付与部５３０によりアノテーションが付与された画像データを識別するための識別子が格納される。図７の例において、画像データ７１０は、画像データＩＤ＝ＩＤ１０１の画像データであり、画像データ７２０は、画像データＩＤ＝ＩＤ１０Ｌの画像データである。また、画像データ７３０は、画像データＩＤ＝ＩＤ１０Ｍの画像データであり、画像データ７４０は、画像データＩＤ＝ＩＤ１０Ｎの画像データである。
【0081】
"正解データ"には、更に、"アノテーションデータ"が含まれる。"アノテーションデータ"には、認識された認識対象のバウンディングボックスに付与されたアノテーションデータが格納される。
【0082】
図７の例は、画像データ７１０において認識された容器のバウンディングボックス７１１に対して、
"容器であることを示すアノテーションデータ"
が付与されたことを示している。また、図７の例は、画像データ７１０において認識された給油者のバウンディングボックス７１２に対して、
"給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーション"
が付与されたことを示している。
"容器であることを示すアノテーションデータ"
が付与されたことを示している。また、図７の例は、画像データ７１０において認識された給油者のバウンディングボックス７１２に対して、
"給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーション"
が付与されたことを示している。
【0083】
同様に、図７の例は、画像データ７２０において認識された容器のバウンディングボックス７２１に対して、
"容器であることを示すアノテーションデータ"
が付与されたことを示している。また、図７の例は、画像データ７２０において認識された給油者のバウンディングボックス７２２に対して、
"給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油ノズル認識不可）"
が付与されたことを示している。
"容器であることを示すアノテーションデータ"
が付与されたことを示している。また、図７の例は、画像データ７２０において認識された給油者のバウンディングボックス７２２に対して、
"給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油ノズル認識不可）"
が付与されたことを示している。
【0084】
同様に、図７の例は、画像データ７３０において認識された容器のバウンディングボックス７３１に対して、
"容器であることを示すアノテーションデータ"
が付与されたことを示している。また、図７の例は、画像データ７３０において認識された給油ノズルのバウンディングボックス７３２に対して、
"給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油者認識不可）"
が付与されたことを示している。
"容器であることを示すアノテーションデータ"
が付与されたことを示している。また、図７の例は、画像データ７３０において認識された給油ノズルのバウンディングボックス７３２に対して、
"給油ノズルを適切な姿勢で把持していない給油者であることを示すアノテーション（給油者認識不可）"
が付与されたことを示している。
【0085】
同様に、図７の例は、画像データ７４０において認識された給油者のバウンディングボックス７４２に対して、
"給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーション"
が付与されたことを示している。
"給油ノズルを適切な姿勢で把持する給油者であることを示すアノテーション"
が付与されたことを示している。
【0086】
＜学習装置による学習処理の流れ＞
次に、学習装置１５０による学習処理の流れについて説明する。図８は、学習処理の流れを示すフローチャートの一例である。
次に、学習装置１５０による学習処理の流れについて説明する。図８は、学習処理の流れを示すフローチャートの一例である。
【0087】
ステップＳ８０１において、学習装置１５０は、画像データ収集装置１４０より、画像データ及び給油ノズルの状態を示す信号を取得する。
【0088】
ステップＳ８０２において、学習装置１５０は、給油ノズルがノズル掛けから取り外されてからノズル掛けに戻されるまでの間の画像データを抽出し、抽出した画像データに対して、画像認識処理を行う。
【0089】
ステップＳ８０３において、学習装置１５０は、画像認識処理を行った画像データのうち、第１学習用データの生成に用いられる画像データにおいて、第１領域及び第２領域を特定する。
【0090】
ステップＳ８０４において、学習装置１５０は、第１学習用データの生成に用いられる画像データに対してアノテーションを付与する。具体的には、学習装置１５０は、特定した第１領域に含まれる認識対象のバウンディングボックスにアノテーションを付与するとともに、特定した第２領域に含まれる認識対象のバウンディングボックスにアノテーションを付与する。
【0091】
また、学習装置１５０は、第２学習用データの生成に用いられる画像データに対してアノテーションを付与する。具体的には、学習装置１５０は、認識対象のバウンディングボックスにアノテーションを付与する。
【0092】
ステップＳ８０５において、学習装置１５０は、アノテーションが付与された画像データに基づき、第１給油種について第１学習用データを生成し、第２給油種について第２学習用データを生成する。
【0093】
ステップＳ８０６において、学習装置１５０は、第１学習用データを用いて第１モデルに対して学習処理を行い、第１学習済みモデルを生成する。また、学習装置１５０は、第２学習用データを用いて第２モデルに対して学習処理を行い、第２学習済みモデルを生成する。
【0094】
ステップＳ８０７において、学習装置１５０は、生成した第１学習済みモデル及び第２学習済みモデルを情報処理装置１６０等に送信し、情報処理装置１６０等に格納する。
【0095】
＜情報処理装置のハードウェア構成＞
次に、情報処理装置１６０のハードウェア構成について説明する。図９は、情報処理装置のハードウェア構成の一例を示す図である。
次に、情報処理装置１６０のハードウェア構成について説明する。図９は、情報処理装置のハードウェア構成の一例を示す図である。
【0096】
図９に示すように、情報処理装置１６０は、プロセッサ９０１、メモリ９０２、補助記憶装置９０３、接続装置９０４、Ｉ／Ｆ装置９０５、通信装置９０６、ドライブ装置９０７を有する。なお、情報処理装置１６０のプロセッサ９０１、メモリ９０２、補助記憶装置９０３、接続装置９０４、Ｉ／Ｆ装置９０５、通信装置９０６、ドライブ装置９０７は、バス９０８を介して相互に接続されている。
【0097】
プロセッサ９０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ９０１は、各種プログラム（例えば、給油制御プログラム等）をメモリ９０２上に読み出して実行する。
【0098】
メモリ９０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ９０１とメモリ９０２とは、いわゆるコンピュータを形成し、プロセッサ９０１が、メモリ９０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0099】
補助記憶装置９０３は、各種プログラムや、各種プログラムがプロセッサ９０１によって実行される際に用いられる各種情報を格納する。
【0100】
接続装置９０４は、第１給油機１２０＿１、第２給油機１２０＿２と情報処理装置１６０とを接続するための接続デバイスである。接続装置９０４は、第１給油機１２０＿１、第２給油機１２０＿２から、給油ノズルの状態を示す信号、給油量を示す信号等を受信する。給油ノズルの状態を示す信号、給油量を示す信号等は、第１給油用センサ９２１＿１、第２給油用センサ９２１＿２により測定される。また、接続装置９０４は、第１給油機１２０＿１、第２給油機１２０＿２に対して、音声出力装置１２２＿１、１２２＿２を介して音声出力するメッセージを送信する。また、接続装置９０４は、第１給油機１２０＿１、第２給油機１２０＿２に対して、給油データ表示器１２３＿１、１２３＿２を介して表示する表示情報を送信する。また、接続装置９０４は、第１給油機１２０＿１、第２給油機１２０＿２に対して、給油バルブ１２４＿１、１２４＿２の開閉動作を指示する信号を送信する。更に、接続装置９０４は、給油ポンプ１２５＿１、１２５＿２に対して駆動開始／駆動停止を指示する信号を送信する。
【0101】
また、接続装置９０４は、サーマルセンサ１７０＿１、１７０＿２から、サーマルセンサデータを受信する。
【0102】
Ｉ／Ｆ装置９０５は、外部装置の一例である操作装置９１１、表示装置９１２と、情報処理装置１６０とを接続するための接続デバイスである。なお、操作装置９１１は、例えば、サービスステーション１１０'のスタッフが操作し、表示装置９１２は、例えば、サービスステーション１１０'のスタッフ向けに表示する。
【0103】
通信装置９０６は、ネットワークを介してカメラ１３０＿１、１３０＿２と通信し、画像データを受信する。また、通信装置９０６は、学習装置１５０と通信し、第１学習済みモデル及び第２学習済みモデルを受信する。
【0104】
ドライブ装置９０７は記録媒体９１３をセットするためのデバイスである。ここでいう記録媒体９１３には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体９１３には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0105】
なお、補助記憶装置９０３にインストールされる各種プログラムは、例えば、配布された記録媒体９１３がドライブ装置９０７にセットされ、該記録媒体９１３に記録された各種プログラムが読み出されることでインストールされる。あるいは、補助記憶装置９０３にインストールされる各種プログラムは、通信装置９０６を介してネットワークからダウンロードされることで、インストールされてもよい。
【0106】
＜情報処理装置の機能構成＞
次に、情報処理装置１６０の機能構成について説明する。図１０は、情報処理装置の機能構成の一例を示す図である。上述したように、情報処理装置１６０には給油制御プログラムがインストールされており、当該プログラムが実行されることで、情報処理装置１６０は、
・第１給油種画像データ取得部１００１、第２給油種画像データ取得部１００２、
・第１給油用センサデータ取得部１００３、第２給油用センサデータ取得部１００４、
・画像認識部１００５、
・区間判定部１００６、区間判定部１００７、
・サーマルセンサデータ取得部１００８、
・第１給油監視部１００９＿１、第２給油監視部１００９＿２、
・出力制御部１０１０、
を有する。
次に、情報処理装置１６０の機能構成について説明する。図１０は、情報処理装置の機能構成の一例を示す図である。上述したように、情報処理装置１６０には給油制御プログラムがインストールされており、当該プログラムが実行されることで、情報処理装置１６０は、
・第１給油種画像データ取得部１００１、第２給油種画像データ取得部１００２、
・第１給油用センサデータ取得部１００３、第２給油用センサデータ取得部１００４、
・画像認識部１００５、
・区間判定部１００６、区間判定部１００７、
・サーマルセンサデータ取得部１００８、
・第１給油監視部１００９＿１、第２給油監視部１００９＿２、
・出力制御部１０１０、
を有する。
【0107】
第１給油種画像データ取得部１００１は、カメラ１３０＿１により撮影された画像データを取得し、画像認識部１００５に通知する。
【0108】
第２給油種画像データ取得部１００２は、カメラ１３０＿２により撮影された画像データを取得し、画像認識部１００５に通知する。
【0109】
第１給油用センサデータ取得部１００３は、第１給油用センサ９２１＿１からの信号を取得し、区間判定部１００６に通知する。
【0110】
第２給油用センサデータ取得部１００４は、第２給油用センサ９２１＿２からの信号を取得し、区間判定部１００７に通知する。
【0111】
区間判定部１００６は、第１給油用センサ９２１＿１からの信号に基づいて、給油ノズル１２１＿１が、第１給油機１２０＿１のノズル掛けから取り外されてからノズル掛けに戻されるまでの区間を、３つの区間に分類する。なお、３つの区間のうち、給油開始前の区間を第１区間、給油中の区間を第２区間、給油終了後の区間を第３区間と称す。
【0112】
区間判定部１００７は、第２給油用センサ９２１＿２からの信号に基づいて、給油ノズル１２１＿２が、第２給油機１２０＿２のノズル掛けから取り外されてからノズル掛けに戻されるまでの区間を、３つの区間に分類する。なお、第２給油種についても、第１給油種同様、３つの区間のうち、給油開始前の区間を第１区間、給油中の区間を第２区間、給油終了後の区間を第３区間と称す。
【0113】
画像認識部１００５は、第１給油種画像データ取得部１００１から通知された画像データのうち、第１～第３区間のいずれかの区間に含まれる画像データを抽出する。また、画像認識部１００５は、抽出した画像データに対して、第１学習済みモデルを用いて画像認識処理を行い、認識結果を第１給油監視部１００９＿１に通知する。
【0114】
また、画像認識部１００５は、第２給油種画像データ取得部１００２から通知された画像データのうち、第１～第３区間のいずれかの区間に含まれる画像データを抽出する。また、画像認識部１００５は、抽出した画像データに対して、第２学習済みモデルを用いて画像認識処理を行い、認識結果を第２給油監視部１００９＿２に通知する。
【0115】
サーマルセンサデータ取得部１００８は、サーマルセンサ１７０＿１により測定されたサーマルセンサデータを取得し、第１給油監視部１００９＿１に通知する。また、サーマルセンサデータ取得部１００８は、サーマルセンサ１７０＿２により測定されたサーマルセンサデータを取得し、第２給油監視部１００９＿２に通知する。
【0116】
第１給油監視部１００９＿１は、
・画像認識部１００５より通知された認識結果と、
・区間判定部１００６より通知された区間判定結果と、
・サーマルセンサデータ取得部１００８より通知されたサーマルセンサ１７０＿１のサーマルセンサデータと、
を用いて、第１給油種についての給油許否を判定する。また、第１給油監視部１００９＿１は、給油許否の判定結果に基づいて、第１給油種についての給油を制御する。具体的には、第１給油監視部１００９＿１は、給油バルブ１２４＿１または給油ポンプ１２５＿１を制御することで、第１給油種についての給油を制御する。
・画像認識部１００５より通知された認識結果と、
・区間判定部１００６より通知された区間判定結果と、
・サーマルセンサデータ取得部１００８より通知されたサーマルセンサ１７０＿１のサーマルセンサデータと、
を用いて、第１給油種についての給油許否を判定する。また、第１給油監視部１００９＿１は、給油許否の判定結果に基づいて、第１給油種についての給油を制御する。具体的には、第１給油監視部１００９＿１は、給油バルブ１２４＿１または給油ポンプ１２５＿１を制御することで、第１給油種についての給油を制御する。
【0117】
また、第１給油監視部１００９＿１は、給油許否の判定結果を出力制御部１０１０に通知する。なお、第１給油監視部１００９＿１は、給油不許可の判定を行った場合にあっては、給油不許可の原因を示す情報をあわせて出力制御部１０１０に通知する。
【0118】
第２給油監視部１００９＿２は、
・画像認識部１００５より通知された認識結果と、
・区間判定部１００７より通知された区間判定結果と、
・サーマルセンサデータ取得部１００８より通知されたサーマルセンサ１７０＿２のサーマルセンサデータと、
を用いて、第２給油種についての給油許否を判定する。また、第２給油監視部１００９＿２は、給油許否の判定結果に基づいて、第２給油種についての給油を制御する。具体的には、第２給油監視部１００９＿２は、給油バルブ１２４＿２または給油ポンプ１２５＿２を制御することで、第２給油種についての給油を制御する。
・画像認識部１００５より通知された認識結果と、
・区間判定部１００７より通知された区間判定結果と、
・サーマルセンサデータ取得部１００８より通知されたサーマルセンサ１７０＿２のサーマルセンサデータと、
を用いて、第２給油種についての給油許否を判定する。また、第２給油監視部１００９＿２は、給油許否の判定結果に基づいて、第２給油種についての給油を制御する。具体的には、第２給油監視部１００９＿２は、給油バルブ１２４＿２または給油ポンプ１２５＿２を制御することで、第２給油種についての給油を制御する。
【0119】
また、第２給油監視部１００９＿２は、給油許否の判定結果を出力制御部１０１０に通知する。なお、第２給油監視部１００９＿２は、給油不許可の判定を行った場合にあっては、給油不許可の原因を示す情報をあわせて出力制御部１０１０に通知する。
【0120】
出力制御部１０１０は、第１給油監視部１００９＿１より給油不許可の原因を示す情報が通知された場合には、
・当該原因を示す情報に応じたメッセージが、音声出力装置１２２＿１を介して音声出力されるよう制御し、
・当該原因を示す情報に応じた表示情報が、第１給油機１２０＿１の給油データ表示器１２３＿１に表示出力されるよう制御し、
・当該原因を示す情報が、情報処理装置１６０の表示装置９１２に表示出力されるよう制御する。
・当該原因を示す情報に応じたメッセージが、音声出力装置１２２＿１を介して音声出力されるよう制御し、
・当該原因を示す情報に応じた表示情報が、第１給油機１２０＿１の給油データ表示器１２３＿１に表示出力されるよう制御し、
・当該原因を示す情報が、情報処理装置１６０の表示装置９１２に表示出力されるよう制御する。
【0121】
また、出力制御部１０１０は、第２給油監視部１００９＿２より給油不許可の原因を示す情報が通知された場合には、
・当該原因を示す情報に応じたメッセージが、音声出力装置１２２＿２を介して音声出力されるよう制御し、
・当該原因を示す情報に応じた表示情報が、第２給油機１２０＿２の給油データ表示器１２３＿２に表示出力されるよう制御し、
・当該原因を示す情報が、情報処理装置１６０の表示装置９１２に表示出力されるよう制御する。
・当該原因を示す情報に応じたメッセージが、音声出力装置１２２＿２を介して音声出力されるよう制御し、
・当該原因を示す情報に応じた表示情報が、第２給油機１２０＿２の給油データ表示器１２３＿２に表示出力されるよう制御し、
・当該原因を示す情報が、情報処理装置１６０の表示装置９１２に表示出力されるよう制御する。
【0122】
＜情報処理装置の各部の詳細＞
次に、情報処理装置１６０が有する各部（ここでは、区間判定部１００６、１００７、画像認識部１００５、第１給油監視部１００９＿１、第２給油監視部１００９＿２、出力制御部１０１０）の詳細について説明する。
次に、情報処理装置１６０が有する各部（ここでは、区間判定部１００６、１００７、画像認識部１００５、第１給油監視部１００９＿１、第２給油監視部１００９＿２、出力制御部１０１０）の詳細について説明する。
【0123】
（１）区間判定部１００６、１００７の詳細
はじめに、区間判定部１００６、１００７の詳細として、区間判定部１００６、１００７の機能構成と、区間判定部１００６、１００７の処理の具体例とについて説明する。
はじめに、区間判定部１００６、１００７の詳細として、区間判定部１００６、１００７の機能構成と、区間判定部１００６、１００７の処理の具体例とについて説明する。
【0124】
（１－１）区間判定部１００６、１００７の機能構成の詳細
図１１は、情報処理装置の区間判定部の機能構成の一例を示す図である。なお、区間判定部１００６の機能構成と、区間判定部１００７の機能構成とは同じであるため、図１１を用いてまとめて説明する。
図１１は、情報処理装置の区間判定部の機能構成の一例を示す図である。なお、区間判定部１００６の機能構成と、区間判定部１００７の機能構成とは同じであるため、図１１を用いてまとめて説明する。
【0125】
図１１に示すように、区間判定部１００６、１００７は、
・ノズル状態判定部１１０１、
・給油量判定部１１０２、
・第１区間開始判定部１１０３、第２区間移行判定部１１０４、第３区間移行判定部１１０５、第３区間終了判定部１１０６、
・区間判定結果出力部１１０７、
を有する。
・ノズル状態判定部１１０１、
・給油量判定部１１０２、
・第１区間開始判定部１１０３、第２区間移行判定部１１０４、第３区間移行判定部１１０５、第３区間終了判定部１１０６、
・区間判定結果出力部１１０７、
を有する。
【0126】
ノズル状態判定部１１０１は、第１給油用センサデータ取得部１００３（または第２給油用センサデータ取得部１００４）より、給油ノズル１２１＿１（または１２１＿２）の状態を示す信号を取得する。
【0127】
ノズル状態判定部１１０１は、給油ノズル１２１＿１（または１２１＿２）が第１給油機１２０＿１（または第２給油機１２０＿２）のノズル掛けから取り外されたことを示す信号を受信した場合には、第１区間開始判定部１１０３に通知する。
【0128】
また、ノズル状態判定部１１０１は、給油ノズル１２１＿１（または１２１＿２）が第１給油機１２０＿１（または第２給油機１２０＿２）のノズル掛けに戻されたことを示す信号を受信した場合には、第３区間終了判定部１１０６に通知する。
【0129】
給油量判定部１１０２は、第１給油用センサデータ取得部１００３（または第２給油用センサデータ取得部１００４）より、給油量を示す信号を取得する。
【0130】
給油量判定部１１０２は、第１給油用センサデータ取得部１００３（または第２給油用センサデータ取得部１００４）より取得した給油量を示す信号が、ゼロから所定の閾値以上へと変移した場合には、第２区間移行判定部１１０４に通知する。
【0131】
また、給油量判定部１１０２は、第１給油用センサデータ取得部１００３（または第２給油用センサデータ取得部１００４）より取得した給油量を示す信号が、所定の閾値以上からゼロへと変移した場合には、第３区間移行判定部１１０５に通知する。
【0132】
第１区間開始判定部１１０３は、ノズル状態判定部１１０１から、給油ノズル１２１＿１（または１２１＿２）が取り外されたことを示す信号が通知された場合に、第１区間が開始されたと判定する。また、第１区間開始判定部１１０３は、第１区間が開始されたことを、第２区間移行判定部１１０４及び区間判定結果出力部１１０７に通知する。
【0133】
第２区間移行判定部１１０４は、第１区間が開始されたことが通知された後に、給油量判定部１１０２から、給油量がゼロから所定の閾値以上へと変移したことが通知された場合に、第１区間から第２区間に移行したと判定する。また、第２区間移行判定部１１０４は、第１区間から第２区間に移行したことを、第３区間移行判定部１１０５及び区間判定結果出力部１１０７に通知する。
【0134】
第３区間移行判定部１１０５は、第２区間に移行したことが通知された後に、給油量判定部１１０２から、給油量が所定の閾値以上からゼロへと変移したことが通知された場合に、第２区間から第３区間に移行したと判定する。また、第３区間移行判定部１１０５は、第２区間から第３区間に移行したことを、第３区間終了判定部１１０６及び区間判定結果出力部１１０７に通知する。
【0135】
第３区間終了判定部１１０６は、第３区間に移行したことが通知された後に、ノズル状態判定部１１０１から、給油ノズル１２１＿１（または１２１＿２）が戻されたことを示す信号が通知された場合に、第３区間が終了したと判定する。また、第３区間終了判定部１１０６は、第３区間が終了したことを、区間判定結果出力部１１０７に通知する。
【0136】
区間判定結果出力部１１０７は、第１区間開始判定部１１０３から、第１区間が開始されたことが通知されると、第１区間中であることを示す情報の出力を開始する。また、区間判定結果出力部１１０７は、第２区間移行判定部１１０４から、第２区間に移行したことが通知されると、第１区間中であることを示す情報の出力を停止し、第２区間中であることを示す情報の出力を開始する。また、区間判定結果出力部１１０７は、第３区間移行判定部１１０５から、第３区間に移行したことが通知されると、第２区間中であることを示す情報の出力を停止し、第３区間中であることを示す情報の出力を開始する。更に、区間判定結果出力部１１０７は、第３区間終了判定部１１０６から、第３区間が終了したことが通知されると、第３区間中であることを示す情報の出力を停止する。
【0137】
（１－２）区間判定部１００６、１００７の処理の具体例
図１２は、情報処理装置の区間判定部による処理の具体例を示す図である。図１２（ａ）に示すように、給油ノズル１２１＿１の状態を示す信号として、給油ノズル１２１＿１がノズル掛けから取り外されたことを示す信号を取得すると、区間判定部１００６は、第１区間中であることを示す情報の出力を開始する。また、第１給油機１２０＿１の給油量を示す信号が、ゼロから所定の閾値以上へと変移したことを示す信号を取得すると、区間判定部１００６は、第２区間中であることを示す情報の出力を開始する。また、第１給油機１２０＿１の給油量を示す信号が、所定の閾値以上からゼロへと変移したことを示す信号を取得すると、区間判定部１００６は、第３区間中であることを示す情報の出力を開始する。更に、給油ノズル１２１＿１の状態を示す信号として、給油ノズル１２１＿１をノズル掛けに戻したことを示す信号を取得すると、区間判定部１００６は、第３区間中であることを示す情報の出力を停止する。
図１２は、情報処理装置の区間判定部による処理の具体例を示す図である。図１２（ａ）に示すように、給油ノズル１２１＿１の状態を示す信号として、給油ノズル１２１＿１がノズル掛けから取り外されたことを示す信号を取得すると、区間判定部１００６は、第１区間中であることを示す情報の出力を開始する。また、第１給油機１２０＿１の給油量を示す信号が、ゼロから所定の閾値以上へと変移したことを示す信号を取得すると、区間判定部１００６は、第２区間中であることを示す情報の出力を開始する。また、第１給油機１２０＿１の給油量を示す信号が、所定の閾値以上からゼロへと変移したことを示す信号を取得すると、区間判定部１００６は、第３区間中であることを示す情報の出力を開始する。更に、給油ノズル１２１＿１の状態を示す信号として、給油ノズル１２１＿１をノズル掛けに戻したことを示す信号を取得すると、区間判定部１００６は、第３区間中であることを示す情報の出力を停止する。
【0138】
同様に、図１２（ｂ）に示すように、給油ノズル１２１＿２の状態を示す信号として、給油ノズル１２１＿２がノズル掛けから取り外されたことを示す信号を取得すると、区間判定部１００７は、第１区間中であることを示す情報の出力を開始する。また、第２給油機１２０＿２の給油量を示す信号が、ゼロから所定の閾値以上へと変移したことを示す信号を取得すると、区間判定部１００７は、第２区間中であることを示す情報の出力を開始する。また、第２給油機１２０＿２の給油量を示す信号が、所定の閾値以上からゼロへと変移したことを示す信号を取得すると、区間判定部１００７は、第３区間中であることを示す情報の出力を開始する。更に、給油ノズル１２１＿２の状態を示す信号として、給油ノズル１２１＿２をノズル掛けに戻したことを示す信号を取得すると、区間判定部１００７は、第３区間中であることを示す情報の出力を停止する。
【0139】
（２）画像認識部１００５の詳細
次に、画像認識部１００５の詳細として、画像認識部１００５の機能構成と、画像認識部１００５の処理の具体例とについて説明する。
次に、画像認識部１００５の詳細として、画像認識部１００５の機能構成と、画像認識部１００５の処理の具体例とについて説明する。
【0140】
（２－１）画像認識部１００５の機能構成の詳細
図１３は、情報処理装置の画像認識部の機能構成の一例を示す図である。図１３に示すように、画像認識部１００５は、認識区間取得部１３０１、第１学習済みモデル１３０２、領域判定部１３０３を有する。また、画像認識部１００５は、認識区間取得部１３１１、第２学習済みモデル１３１２を有する。
図１３は、情報処理装置の画像認識部の機能構成の一例を示す図である。図１３に示すように、画像認識部１００５は、認識区間取得部１３０１、第１学習済みモデル１３０２、領域判定部１３０３を有する。また、画像認識部１００５は、認識区間取得部１３１１、第２学習済みモデル１３１２を有する。
【0141】
認識区間取得部１３０１は、第１給油種画像データ取得部１００１より通知された画像データのうち、区間判定部１００６より通知された第１～第３区間のいずれかに含まれる画像データを抽出し、抽出した画像データを第１学習済みモデル１３０２に入力する。
【0142】
第１学習済みモデル１３０２は、学習装置１５０において生成された第１学習済みモデルであり、画像データが入力されることで、画像データに含まれる認識対象を認識し、認識結果を出力する。
【0143】
領域判定部１３０３は、第１学習済みモデル１３０２により出力された認識結果が、第１領域２１０または第２領域２２０に含まれるか否かを判定する。また、領域判定部１３０３は、第１領域２１０または第２領域２２０に含まれると判定した認識結果について、第１給油監視部１００９＿１に出力する。
【0144】
認識区間取得部１３１１は、第２給油種画像データ取得部１００２より通知された画像データのうち、区間判定部１００７より通知された第１～第３区間のいずれかに含まれる画像データを抽出し、抽出した画像データを第２学習済みモデル１３１２に入力する。
【0145】
第２学習済みモデル１３１２は、学習装置１５０において生成された第２学習済みモデルであり、画像データが入力されることで、画像データに含まれる認識対象を認識し、認識結果を第２給油監視部１００９＿２に出力する。
【0146】
（２－２）画像認識部１００５の処理の具体例（第１給油種の場合）
図１４Ａは、情報処理装置の画像認識部による処理の具体例を示す第１の図である。図１４Ａに示すように、画像認識部１００５は、カメラ１３０＿１により撮影された画像データのうち、給油ノズル１２１＿１がノズル掛けから取り外されてから戻されるまでの区間（第１～第３区間）に含まれる画像データを抽出する。
図１４Ａは、情報処理装置の画像認識部による処理の具体例を示す第１の図である。図１４Ａに示すように、画像認識部１００５は、カメラ１３０＿１により撮影された画像データのうち、給油ノズル１２１＿１がノズル掛けから取り外されてから戻されるまでの区間（第１～第３区間）に含まれる画像データを抽出する。
【0147】
また、図１４Ａに示すように、画像認識部１００５は、抽出した画像データに対して、第１学習済みモデル１３０２を用いて画像認識処理を行い、認識対象（車両、容器、給油者、給油ノズル等）を認識することで、
・車両、
・容器、
・給油ノズルを適切な姿勢で把持する給油者、
・給油ノズルを適切な姿勢で把持していない給油者（給油ノズル認識不可）、
・給油ノズルを適切な姿勢で把持していない給油者（給油者認識不可）、
を認識結果として出力する。
・車両、
・容器、
・給油ノズルを適切な姿勢で把持する給油者、
・給油ノズルを適切な姿勢で把持していない給油者（給油ノズル認識不可）、
・給油ノズルを適切な姿勢で把持していない給油者（給油者認識不可）、
を認識結果として出力する。
【0148】
また、画像認識部１００５は、第１領域２１０または第２領域２２０に含まれると判定した認識結果を出力する。図１４Ａの認識結果１４０１～１４０４は認識結果の出力例を示している。
【0149】
なお、図１４Ａの例において、画像認識部１００５により出力された認識結果１４０１は、
・第１領域２１０において、車両が認識されたバウンディングボックス、
・第２領域２２０において、給油ノズルを適切な姿勢で把持する給油者が認識されたバウンディングボックス、
を示している。
・第１領域２１０において、車両が認識されたバウンディングボックス、
・第２領域２２０において、給油ノズルを適切な姿勢で把持する給油者が認識されたバウンディングボックス、
を示している。
【0150】
また、図１４Ａの例において、画像認識部１００５により出力された認識結果１４０２は、
・第１領域２１０において、車両が認識されたバウンディングボックス、
・第２領域２２０において、給油ノズルを適切な姿勢で把持していない給油者が認識されたバウンディングボックス（給油ノズル認識不可）、
を示している。
・第１領域２１０において、車両が認識されたバウンディングボックス、
・第２領域２２０において、給油ノズルを適切な姿勢で把持していない給油者が認識されたバウンディングボックス（給油ノズル認識不可）、
を示している。
【0151】
また、図１４Ａの例において、画像認識部１００５により出力された認識結果１４０３は、
・第１領域２１０において、車両が認識されたバウンディングボックス、
・第２領域２２０において、給油ノズルを適切な姿勢で把持していない給油者が認識されたバウンディングボックス（給油者認識不可）、
を示している。
・第１領域２１０において、車両が認識されたバウンディングボックス、
・第２領域２２０において、給油ノズルを適切な姿勢で把持していない給油者が認識されたバウンディングボックス（給油者認識不可）、
を示している。
【0152】
更に、図１４Ａの例において、画像認識部１００５により出力された認識結果１４０４は、
・第１領域２１０において、容器が認識されたバウンディングボックス、
・第２領域２２０において、給油ノズルを適切な姿勢で把持する給油者が認識されたバウンディングボックス、
を示している。
・第１領域２１０において、容器が認識されたバウンディングボックス、
・第２領域２２０において、給油ノズルを適切な姿勢で把持する給油者が認識されたバウンディングボックス、
を示している。
【0153】
（２－３）画像認識部１００５の処理の具体例（第２給油種の場合）
図１４Ｂは、情報処理装置の画像認識部による処理の具体例を示す第２の図である。図１４Ｂに示すように、画像認識部１００５は、カメラ１３０＿２により撮影された画像データのうち、給油ノズル１２１＿２がノズル掛けから取り外されてから戻されるまでの区間（第１～第３区間）に含まれる画像データを抽出する。
図１４Ｂは、情報処理装置の画像認識部による処理の具体例を示す第２の図である。図１４Ｂに示すように、画像認識部１００５は、カメラ１３０＿２により撮影された画像データのうち、給油ノズル１２１＿２がノズル掛けから取り外されてから戻されるまでの区間（第１～第３区間）に含まれる画像データを抽出する。
【0154】
また、図１４Ｂに示すように、画像認識部１００５は、抽出した画像データに対して、第２学習済みモデル１３１２を用いて画像認識処理を行い、認識対象（容器、給油者、給油ノズル等）を認識することで、
・容器、
・給油ノズルを適切な姿勢で把持する給油者、
・給油ノズルを適切な姿勢で把持していない給油者（給油ノズル認識不可）、
・給油ノズルを適切な姿勢で把持していない給油者（給油者認識不可）、
を認識結果として出力する。図１４Ｂの認識結果１４１１～１４１４は、認識結果の出力例を示している。
・容器、
・給油ノズルを適切な姿勢で把持する給油者、
・給油ノズルを適切な姿勢で把持していない給油者（給油ノズル認識不可）、
・給油ノズルを適切な姿勢で把持していない給油者（給油者認識不可）、
を認識結果として出力する。図１４Ｂの認識結果１４１１～１４１４は、認識結果の出力例を示している。
【0155】
なお、図１４Ｂの例において、画像認識部１００５により出力された認識結果１４１１は、
・容器が認識されたバウンディングボックス、
・給油ノズルを適切な姿勢で把持する給油者が認識されたバウンディングボックス、
を示している。
・容器が認識されたバウンディングボックス、
・給油ノズルを適切な姿勢で把持する給油者が認識されたバウンディングボックス、
を示している。
【0156】
また、図１４Ｂの例において、画像認識部１００５により出力された認識結果１４１２は、
・容器が認識されたバウンディングボックス、
・給油ノズルを適切な姿勢で把持していない給油者が認識されたバウンディングボックス（給油ノズル認識不可）、
を示している。
・容器が認識されたバウンディングボックス、
・給油ノズルを適切な姿勢で把持していない給油者が認識されたバウンディングボックス（給油ノズル認識不可）、
を示している。
【0157】
また、図１４Ｂの例において、画像認識部１００５により出力された認識結果１４１３は、
・容器が認識されたバウンディングボックス、
・給油ノズルを適切な姿勢で把持していない給油者が認識されたバウンディングボックス（給油者認識不可）、
を示している。
・容器が認識されたバウンディングボックス、
・給油ノズルを適切な姿勢で把持していない給油者が認識されたバウンディングボックス（給油者認識不可）、
を示している。
【0158】
【0159】
（３）第１給油監視部１００９＿１、第２給油監視部１００９＿２の詳細
次に、第１給油監視部１００９＿１、第２給油監視部１００９＿２の詳細として、第１給油監視部１００９＿１の機能構成及び処理の流れと、第２給油監視部１００９＿２の機能構成及び処理の流れとについて説明する。
次に、第１給油監視部１００９＿１、第２給油監視部１００９＿２の詳細として、第１給油監視部１００９＿１の機能構成及び処理の流れと、第２給油監視部１００９＿２の機能構成及び処理の流れとについて説明する。
【0160】
（３－１）第１給油監視部１００９＿１、第２給油監視部１００９＿２の機能構成の詳細
図１５Ａは、情報処理装置の第１給油監視部の機能構成の一例を示す図である。図１５Ａに示すように、第１給油監視部１００９＿１は、認識結果取得部１５０１、判定ロジック切替部１５０２、ポリタンク判定部１５０６、第１判定ロジック１５０３、第２判定ロジック１５０４、第３判定ロジック１５０５、火気判定部１５０７を有する。また、第１給油監視部１００９＿１は、給油制御部１５０８、原因情報取得部１５０９を有する。なお、第１判定ロジック１５０３～第３判定ロジック１５０５、ポリタンク判定部１５０６、火気判定部１５０７をまとめて、第１判定部と称す。
図１５Ａは、情報処理装置の第１給油監視部の機能構成の一例を示す図である。図１５Ａに示すように、第１給油監視部１００９＿１は、認識結果取得部１５０１、判定ロジック切替部１５０２、ポリタンク判定部１５０６、第１判定ロジック１５０３、第２判定ロジック１５０４、第３判定ロジック１５０５、火気判定部１５０７を有する。また、第１給油監視部１００９＿１は、給油制御部１５０８、原因情報取得部１５０９を有する。なお、第１判定ロジック１５０３～第３判定ロジック１５０５、ポリタンク判定部１５０６、火気判定部１５０７をまとめて、第１判定部と称す。
【0161】
認識結果取得部１５０１は、画像認識部１００５から、第１区間～第３区間に含まれる画像データそれぞれについての認識結果を取得する。認識結果取得部１５０１は、取得した認識結果を、判定ロジック切替部１５０２及びポリタンク判定部１５０６に通知する。
【0162】
判定ロジック切替部１５０２は、認識結果取得部１５０１から通知された認識結果を、第１判定ロジック１５０３～第３判定ロジック１５０５のいずれかに入力する。第１判定ロジック１５０３～第３判定ロジック１５０５のいずれに入力するかは、区間判定部１００６から、第１～第３区間のいずれの区間中であることを示す情報が通知されたかにより決定する。例えば、判定ロジック切替部１５０２は、第１区間中であることを示す情報が通知されている間は、認識結果を、第１判定ロジック１５０３に入力する。また、判定ロジック切替部１５０２は、第２区間中であることを示す情報が通知されている間は、認識結果を、第２判定ロジック１５０４に入力する。また、判定ロジック切替部１５０２は、第３区間中であることを示す情報が通知されている間は、認識結果を、第３判定ロジック１５０５に入力する。
【0163】
また、判定ロジック切替部１５０２は、第１～第３区間のいずれかの区間中であることを示す情報を、ポリタンク判定部１５０６、火気判定部１５０７に通知する。
【0164】
ポリタンク判定部１５０６は、第１～第３区間のいずれかの区間中であることを示す情報が通知されている場合において、認識結果取得部１５０１から認識結果が通知されると、通知された認識結果に、容器が含まれているか否かを判定する。ポリタンク判定部１５０６は、容器が含まれていると判定した場合には、給油制御部１５０８に対して、給油不許可を通知する。
【0165】
第１判定ロジック１５０３は、第１区間中の認識結果に基づいて、給油許否を判定する。また、第１判定ロジック１５０３は、第１区間中の給油許否の判定結果を、給油制御部１５０８に通知する。なお、第１判定ロジック１５０３は、給油不許可と判定した場合にあっては、判定結果を給油制御部１５０８に通知する際、あわせて、給油不許可と判定した原因を示す情報を通知する。
【0166】
第２判定ロジック１５０４は、第２区間中の認識結果に基づいて、給油許否を判定する。また、第２判定ロジック１５０４は、第２区間中の給油許否の判定結果を、給油制御部１５０８に通知する。なお、第２判定ロジック１５０４は、給油不許可と判定した場合にあっては、判定結果を給油制御部１５０８に通知する際、あわせて、給油不許可と判定した原因を示す情報を通知する。
【0167】
第３判定ロジック１５０５は、第３区間中の認識結果に基づいて、給油許否を判定する。また、第３判定ロジック１５０５は、第３区間中の給油許否の判定結果を、給油制御部１５０８に通知する。なお、第３判定ロジック１５０５は、給油不許可と判定した場合にあっては、判定結果を給油制御部１５０８に通知する際、あわせて、給油不許可と判定した原因を示す情報を通知する。
【0168】
火気判定部１５０７は、サーマルセンサデータ取得部１００８から、サーマルセンサ１７０＿１により測定されたサーマルセンサデータを取得する。また、火気判定部１５０７は、第１～第３区間のいずれかの区間中であることを示す情報が通知されている場合において、所定の閾値以上の温度領域が含まれるか否かを判定する。火気判定部１５０７は、所定の閾値以上の温度領域が含まれると判定した場合には、給油制御部１５０８に対して、給油不許可を通知する。
【0169】
給油制御部１５０８は、給油許可、給油不許可に基づいて、給油バルブ１２４＿１または給油ポンプ１２５＿１を制御することで、第１給油種についての給油を制御する。例えば、給油制御部１５０８は、給油許可が通知された場合、給油ポンプ１２５＿１を駆動させて給油バルブ１２４＿１を開動作させる。また、給油制御部１５０８は、
・ポリタンク判定部１５０６から給油許可の通知があった場合、給油ポンプ１２５＿１を駆動させて給油バルブ１２４＿１を開動作させる、更に、
・第１判定ロジック１５０３～第３判定ロジック１５０５のいずれかから給油不許可の通知があった場合、または、
・火気判定部１５０７から給油不許可の通知があった場合、
には、給油ポンプ１２５＿１の駆動を停止させることで、給油を停止させる、あるいは、給油ポンプ１２５＿１の駆動を停止させるとともに、給油バルブ１２４＿１を閉動作させることで、給油を禁止させる。なお、ここでいう給油の停止の定義及び給油の禁止の定義は一例にすぎず、給油の停止及び給油の禁止は、他の定義により規定されてもよい。あるいは、給油の停止と給油の禁止とを区別することなく、給油することができない状態にすること全般を、給油の停止または禁止と称してもよい。
・ポリタンク判定部１５０６から給油許可の通知があった場合、給油ポンプ１２５＿１を駆動させて給油バルブ１２４＿１を開動作させる、更に、
・第１判定ロジック１５０３～第３判定ロジック１５０５のいずれかから給油不許可の通知があった場合、または、
・火気判定部１５０７から給油不許可の通知があった場合、
には、給油ポンプ１２５＿１の駆動を停止させることで、給油を停止させる、あるいは、給油ポンプ１２５＿１の駆動を停止させるとともに、給油バルブ１２４＿１を閉動作させることで、給油を禁止させる。なお、ここでいう給油の停止の定義及び給油の禁止の定義は一例にすぎず、給油の停止及び給油の禁止は、他の定義により規定されてもよい。あるいは、給油の停止と給油の禁止とを区別することなく、給油することができない状態にすること全般を、給油の停止または禁止と称してもよい。
【0170】
また、給油制御部１５０８は、給油許可、給油不許可を原因情報取得部１５０９に通知する。給油制御部１５０８は、給油不許可を通知する場合にあっては、給油不許可と判定した原因を示す情報を、あわせて原因情報取得部１５０９に通知する。
【0171】
原因情報取得部１５０９は、給油許可、給油不許可を出力制御部１０１０に出力する。また、原因情報取得部１５０９は、給油不許可を出力する場合にあっては、給油制御部１５０８から通知された、給油不許可の原因を示す情報等（第１～第４情報、警告情報、確認要求情報）を、あわせて出力制御部１０１０に出力する。
【0172】
図１５Ｂは、情報処理装置の第２給油監視部の機能構成の一例を示す図である。図１５Ａに示した、第１給油監視部１００９＿１の機能構成との相違点は、第２給油監視部１００９＿２の機能構成には、ポリタンク判定部１５０６に対応する機能部が含まれていない点である。第２給油監視部１００９＿２のその他の機能部は、第１給油監視部１００９＿１の各機能部と同様であるため、ここでは説明を割愛する。
【0173】
なお、第１給油監視部１００９＿１では第１判定部と称したところ、第２給油監視部１００９＿２では、第１判定ロジック１５１３～第３判定ロジック１５１５、火気判定部１５１７をまとめて、第２判定部と称す。
【0174】
（３－２）第１給油監視部１００９＿１の第１判定ロジック１５０３を用いた処理の流れ
次に、第１給油監視部１００９＿１の第１判定ロジック１５０３を用いた処理の流れについて、図１６Ａ、図１６Ｂを用いて説明する。図１６Ａ及び図１６Ｂは、第１給油監視部の第１判定ロジックを用いた処理の流れを示す第１及び第２のフローチャートの一例である。
次に、第１給油監視部１００９＿１の第１判定ロジック１５０３を用いた処理の流れについて、図１６Ａ、図１６Ｂを用いて説明する。図１６Ａ及び図１６Ｂは、第１給油監視部の第１判定ロジックを用いた処理の流れを示す第１及び第２のフローチャートの一例である。
【0175】
ステップＳ１６０１において、第１判定ロジック１５０３は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0176】
ステップＳ１６０１において、給油許可と判定される認識結果であると判定した場合には（ステップＳ１６０１においてＹＥＳの場合には）、ステップＳ１６０２に進む。
【0177】
ステップＳ１６０２において、第１判定ロジック１５０３は、給油許可と判定される認識結果が、所定時間Ｔ１、継続したか否か（所定の許可条件を一定時間充足したか否か）を判定する。ステップＳ１６０２において、所定時間Ｔ１、継続したと判定した場合には（ステップＳ１６０２においてＹＥＳの場合には）、ステップＳ１６０３に進む。
【0178】
ステップＳ１６０３において、第１判定ロジック１５０３は、給油許可と判定し、図１６ＢのステップＳ１６１４に進む。
【0179】
一方、ステップＳ１６０１において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ１６０１においてＮＯの場合には）、ステップＳ１６０４に進む。または、ステップＳ１６０２において、所定時間Ｔ１、継続していないと判定した場合には（ステップＳ１６０２においてＮＯの場合には）、ステップＳ１６０４に進む。
【0180】
ステップＳ１６０４において、第１判定ロジック１５０３は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ２、継続したか否かを判定する（ただし、Ｔ２＞Ｔ１）。
【0181】
ステップＳ１６０４において、所定時間Ｔ２、継続していないと判定した場合には（ステップＳ１６０４においてＮＯの場合には）、ステップＳ１６０１に戻る。一方、ステップＳ１６０４において、所定時間Ｔ２、継続したと判定した場合には（ステップＳ１６０４においてＹＥＳの場合には）、ステップＳ１６０５に進む。
【0182】
ステップＳ１６０５において、第１判定ロジック１５０３は、現在、入力されている認識結果が、給油不許可と判定される認識結果であるか否か（所定の不許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持していない給油者が認識されているか（給油ノズル認識不可か）否かを判定する。
【0183】
ステップＳ１６０５において、給油不許可と判定される認識結果であると判定した場合には（ステップＳ１６０５においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、ステップＳ１６０６に進む。
【0184】
ステップＳ１６０６において、第１判定ロジック１５０３は、給油不許可と判定し、第１情報を取得した後、図１６ＢのステップＳ１６１１に進む。
【0185】
一方、ステップＳ１６０５において、給油不許可と判定される他の認識結果であると判定した場合には（ステップＳ１６０５においてＮＯの場合には）、図１６ＢのステップＳ１６１７に進む。
【0186】
ステップＳ１６１１において、第１判定ロジック１５０３は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0187】
ステップＳ１６１１において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ１６１１においてＮＯの場合には）、第１給油監視部１００９＿１は、第１判定ロジック１５０３を用いた処理を終了する。
【0188】
一方、ステップＳ１６１１において、給油許可と判定される認識結果であると判定した場合には（ステップＳ１６１１においてＹＥＳの場合には）、ステップＳ１６１２に進む。
【0189】
ステップＳ１６１２において、第１判定ロジック１５０３は、給油許可と判定される認識結果が、所定時間Ｔ１、継続したか否か（所定の許可条件を一定時間充足したか否か）を判定する。ステップＳ１６１２において、所定時間Ｔ１、継続したと判定した場合には（ステップＳ１６１２においてＹＥＳの場合には）、ステップＳ１６１３に進む。
【0190】
ステップＳ１６１３において、第１判定ロジック１５０３は、給油許可と判定し、ステップＳ１６１４に進む。
【0191】
ステップＳ１６１４において、判定ロジック切替部１５０２は、第１区間中であるか否かを判定する。ステップＳ１６１４において、第１区間中であると判定した場合には、第１判定ロジック１５０３による処理を終了しないと判定し（ステップＳ１６１４においてＮＯと判定し）、図１６ＡのステップＳ１６０１に戻る。
【0192】
一方、ステップＳ１６１４において、第１区間中でないと判定した場合には、第１判定ロジック１５０３による処理を終了すると判定する（ステップＳ１６１４においてＹＥＳと判定する）。そして、第１給油監視部１００９＿１は、第１判定ロジック１５０３を用いた処理を終了する。
【0193】
一方、ステップＳ１６１２において、所定時間Ｔ１、継続していないと判定した場合には（ステップＳ１６１２においてＮＯの場合には）、ステップＳ１６１５に進む。
【0194】
ステップＳ１６１５において、第１判定ロジック１５０３は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ３、継続したか否かを判定する（ただし、Ｔ３＞Ｔ１）。
【0195】
ステップＳ１６１５において、所定時間Ｔ３、継続していないと判定した場合には（ステップＳ１６１５においてＮＯの場合には）、ステップＳ１６１１に戻る。一方、ステップＳ１６１５において、所定時間Ｔ３、継続したと判定した場合には（ステップＳ１６１５においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、ステップＳ１６１６に進む。
【0196】
ステップＳ１６１６において、第１判定ロジック１５０３は、給油不許可と判定し、第１情報を取得する。その後、第１給油監視部１００９＿１は、第１判定ロジック１５０３を用いた処理を終了する。
【0197】
一方、図１６ＡのステップＳ１６０５から図１６ＢのステップＳ１６１７に進んだ場合、第１判定ロジック１５０３は、所定の不許可条件を一定時間充足したと判定する。具体的には、第１判定ロジック１５０３は、第１領域２１０において車両が認識されなかったと判定する。あるいは、第１判定ロジック１５０３は、第２領域２２０において、給油ノズルを適切な姿勢で把持していない給油者が認識された（給油者認識不可）と判定する。
【0198】
ステップＳ１６１８において、第１判定ロジック１５０３は、給油不許可と判定し、第２情報を取得した後、第１給油監視部１００９＿１は、第１判定ロジック１５０３を用いた処理を終了する。
【0199】
（３－３）第１給油監視部１００９＿１の第２判定ロジック１５０４を用いた処理の流れ
次に、第１給油監視部１００９＿１の第２判定ロジック１５０４を用いた処理の流れについて、図１７Ａ～図１７Ｄを用いて説明する。図１７Ａ～図１７Ｄは、第１給油監視部の第２判定ロジックを用いた処理の流れを示す第１～第４のフローチャートの一例である。
次に、第１給油監視部１００９＿１の第２判定ロジック１５０４を用いた処理の流れについて、図１７Ａ～図１７Ｄを用いて説明する。図１７Ａ～図１７Ｄは、第１給油監視部の第２判定ロジックを用いた処理の流れを示す第１～第４のフローチャートの一例である。
【0200】
ステップＳ１７０１において、第２判定ロジック１５０４は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0201】
ステップ１７０１において、給油許可と判定される認識結果であると判定した場合には（ステップＳ１７０１においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ１７０２に進む。
【0202】
ステップＳ１７０２において、第２判定ロジック１５０４は、給油許可と判定し、図１７ＤのステップＳ１７３４に進む。
【0203】
一方、ステップＳ１７０１において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ１７０１においてＮＯの場合には）、ステップＳ１７０３に進む。
【0204】
ステップＳ１７０３において、第２判定ロジック１５０４は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ４、継続したか否かを判定する。
【0205】
ステップＳ１７０３において、所定時間Ｔ４、継続していないと判定した場合には（ステップＳ１７０３においてＮＯの場合には）、ステップＳ１７０１に戻る。一方、ステップＳ１７０３において、所定時間Ｔ４、継続したと判定した場合には（ステップＳ１７０３においてＹＥＳの場合には）、ステップＳ１７０４に進む。
【0206】
ステップＳ１７０４において、第２判定ロジック１５０４は、現在、入力されている認識結果が、給油不許可と判定される認識結果であるか否か（所定の不許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持していない給油者が認識されているか（給油ノズル認識不可か）否かを判定する。
【0207】
ステップＳ１７０４において、給油不許可と判定される他の認識結果であると判定した場合には（ステップＳ１７０４においてＮＯの場合には）、図１７ＣのステップＳ１７２１に進む。
【0208】
一方、ステップＳ１７０４において、給油不許可と判定される認識結果であると判定した場合には（ステップＳ１７０４においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、ステップＳ１７０５に進む。
【0209】
ステップＳ１７０５において、第２判定ロジック１５０４は、警告情報を取得する。
【0210】
ステップＳ１７０６において、第２判定ロジック１５０４は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0211】
ステップＳ１７０６において、給油許可と判定される認識結果であると判定した場合には（ステップＳ１７０６においてＹＥＳの場合には）、ステップＳ１７０７に進む。
【0212】
ステップＳ１７０７において、第２判定ロジック１５０４は、給油許可と判定される認識結果が、所定時間Ｔ１、継続したか否かを判定する。ステップＳ１７０７において、所定時間Ｔ１、継続したと判定した場合には（ステップＳ１７０７においてＹＥＳの場合には）、所定の許可条件を一定時間充足したと判定し、ステップＳ１７０８に進む。
【0213】
ステップＳ１７０８において、第２判定ロジック１５０４は、給油許可と判定し、図１７ＤのステップＳ１７３４に進む。
【0214】
一方、ステップＳ１７０６において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ１７０６においてＮＯの場合には）、ステップＳ１７０９に進む。または、ステップＳ１７０７において、所定時間Ｔ１、継続していないと判定した場合には（ステップＳ１７０７においてＮＯの場合には）、ステップＳ１７０９に進む。
【0215】
ステップＳ１７０９において、第２判定ロジック１５０４は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ２、継続したか否かを判定する（ただし、Ｔ２＞Ｔ１）。
【0216】
ステップＳ１７０９において、所定時間Ｔ２、継続していないと判定した場合には（ステップＳ１７０９においてＮＯの場合には）、ステップＳ１７０６に戻る。一方、ステップＳ１７０９において、所定時間Ｔ２、継続したと判定した場合には（ステップＳ１７０９においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、図１７ＢのステップＳ１７１１に進む。
【0217】
ステップＳ１７１１において、第２判定ロジック１５０４は、給油不許可と判定し、第１情報を取得した後、ステップＳ１７１２に進む。
【0218】
ステップＳ１７１２において、第２判定ロジック１５０４は、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったか否か（所定の許可条件を充足したか否か）を判定する。具体的には、所定時間Ｔ２内に、第１領域２１０において車両が認識され、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識された状態になったか否かを判定する。
【0219】
ステップＳ１７１２において、所定時間Ｔ２内に、現在、入力された認識結果が、給油許可と判定される認識結果になったと判定した場合には（ステップＳ１７１２においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ１７１３に進む。
【0220】
ステップＳ１７１３において、第２判定ロジック１５０４は、給油許可と判定し、図１７ＤのステップＳ１７３４に進む。
【0221】
一方、ステップＳ１７１２において、所定時間Ｔ２内に、給油許可と判定される認識結果にならなかったと判定した場合（ステップＳ１７１２においてＮＯの場合）、第１給油監視部１００９＿１は、第２判定ロジック１５０４を用いた処理を終了する。
【0222】
一方、ステップＳ１７０４から図１７ＣのステップＳ１７２１に進んだ場合、第２判定ロジック１５０４は、所定の不許可条件を一定時間充足したと判定する。具体的には、第２判定ロジック１５０４は、第１領域２１０において車両が認識されなかったと判定する。あるいは、第２判定ロジック１５０４は、第２領域２２０において、給油ノズルを適切な姿勢で把持していない給油者が認識された（給油者認識不可）と判定する。
【0223】
ステップＳ１７２２において、第２判定ロジック１５０４は、警告情報を取得する。
【0224】
ステップＳ１７２３において、第２判定ロジック１５０４は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0225】
ステップＳ１７２３において、給油許可と判定される認識結果であると判定した場合には（ステップＳ１７２３においてＹＥＳの場合には）、ステップＳ１７２４に進む。
【0226】
ステップＳ１７２４において、第２判定ロジック１５０４は、給油許可と判定される認識結果が、所定時間Ｔ１、継続したか否かを判定する。ステップＳ１７２４において、所定時間Ｔ１、継続したと判定した場合には（ステップＳ１７２４においてＹＥＳの場合には）、所定の許可条件を一定時間充足したと判定し、ステップＳ１７２５に進む。
【0227】
ステップＳ１７２５において、第２判定ロジック１５０４は、給油許可と判定し、図１７ＤのステップＳ１７３４に進む。
【0228】
一方、ステップＳ１７２３において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ１７２３においてＮＯの場合には）、ステップＳ１７２６に進む。または、ステップＳ１７２４において、所定時間Ｔ１、継続していないと判定した場合には（ステップＳ１７２４においてＮＯの場合には）、ステップＳ１７２６に進む。
【0229】
ステップＳ１７２６において、第２判定ロジック１５０４は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ２、継続したか否かを判定する（ただし、Ｔ２＞Ｔ１）。
【0230】
ステップＳ１７２６において、所定時間Ｔ２、継続していないと判定した場合には（ステップＳ１７２６においてＮＯの場合には）、ステップＳ１７２３に戻る。一方、ステップＳ１７２６において、所定時間Ｔ２、継続したと判定した場合には（ステップＳ１７２６においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、図１７ＤのステップＳ１７３１に進む。
【0231】
ステップＳ１７３１において、第２判定ロジック１５０４は、給油不許可と判定し、第２情報を取得した後、ステップＳ１７３２に進む。
【0232】
ステップＳ１７３２において、第２判定ロジック１５０４は、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったか否か（所定の許可条件を充足したか否か）を判定する。具体的には、所定時間Ｔ２内に、第１領域２１０において車両が認識され、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識された状態になったか否かを判定する。
【0233】
ステップＳ１７３２において、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったと判定した場合には（ステップＳ１７３２においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ１７３３に進む。
【0234】
ステップＳ１７３３において、第２判定ロジック１５０４は、給油許可と判定し、ステップＳ１７３４に進む。
【0235】
ステップＳ１７３４において、判定ロジック切替部１５０２は、第２区間中であるか否かを判定する。ステップＳ１７３４において、第２区間中であると判定した場合には、第２判定ロジック１５０４による処理を終了しないと判定し（ステップＳ１７３４においてＮＯと判定し）、図１７ＡのステップＳ１７０１に戻る。
【0236】
一方、ステップＳ１７３４において、第２区間中でないと判定した場合には、第２判定ロジック１５０４による処理を終了すると判定する（ステップＳ１７３４においてＹＥＳと判定する）。そして、第１給油監視部１００９＿１は、第２判定ロジック１５０４を用いた処理を終了する。
【0237】
また、ステップＳ１７３２において、所定時間Ｔ２内に、給油許可と判定される認識結果になったと判定されなかった場合には（ステップＳ１７３２においてＮＯの場合には）、第１給油監視部１００９＿１は、第２判定ロジック１５０４を用いた処理を終了する。
【0238】
（３－４）第１給油監視部１００９＿１の第３判定ロジック１５０５を用いた処理の流れ
次に、第１給油監視部１００９＿１の第３判定ロジック１５０５を用いた処理の流れについて、図１８Ａ及び図１８Ｂを用いて説明する。図１８Ａ及び図１８Ｂは、第１給油監視部の第３判定ロジックを用いた処理の流れを示す第１及び第２のフローチャートの一例である。
次に、第１給油監視部１００９＿１の第３判定ロジック１５０５を用いた処理の流れについて、図１８Ａ及び図１８Ｂを用いて説明する。図１８Ａ及び図１８Ｂは、第１給油監視部の第３判定ロジックを用いた処理の流れを示す第１及び第２のフローチャートの一例である。
【0239】
ステップＳ１８０１において、第３判定ロジック１５０５は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0240】
ステップ１８０１において、給油許可と判定される認識結果であると判定した場合には（ステップＳ１８０１においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ１８０２に進む。
【0241】
ステップＳ１８０２において、第３判定ロジック１５０５は、給油許可と判定し、図１８ＢのステップＳ１８１３に進む。
【0242】
一方、ステップＳ１８０１において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ１８０１においてＮＯの場合には）、ステップＳ１８０３に進む。
【0243】
ステップＳ１８０３において、第３判定ロジック１５０５は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ５、継続したか否かを判定する。
【0244】
ステップＳ１８０３において、所定時間Ｔ５、継続していないと判定した場合には（ステップＳ１８０３においてＮＯの場合には）、ステップＳ１８０１に戻る。一方、ステップＳ１８０３において、所定時間Ｔ５、継続したと判定した場合には（ステップＳ１８０３においてＹＥＳの場合には）、ステップＳ１８０４に進む。
【0245】
ステップＳ１８０４において、第３判定ロジック１５０５は、現在、入力されている認識結果が、給油不許可と判定される認識結果であるか否か（所定の不許可条件を充足するか否か）を判定する。具体的には、第１領域２１０において車両が認識されており、かつ、第２領域において、給油ノズルを適切な姿勢で把持していない給油者が認識されているか（給油ノズル認識不可か）否かを判定する。
【0246】
ステップＳ１８０４において、給油不許可と判定される他の認識結果であると判定した場合には（ステップＳ１８０４においてＮＯの場合には）、ステップＳ１８０６に進む。
【0247】
ステップＳ１８０６において、第３判定ロジック１５０５は、所定の不許可条件を一定時間充足したと判定する。具体的には、第３判定ロジック１５０５は、第１領域２１０において車両が認識されなかったと判定する。あるいは、第３判定ロジック１５０５は、第２領域２２０において、給油ノズルを適切な姿勢で把持していない給油者が認識された（給油者認識不可）と判定する。
【0248】
ステップＳ１８０７において、第３判定ロジック１５０５は、給油不許可と判定し、第２情報を取得した後、図１８ＢのステップＳ１８１１に進む。
【0249】
一方、ステップＳ１８０４において、給油不許可と判定される認識結果であると判定した場合には（ステップＳ１８０４においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、ステップＳ１８０５に進む。
【0250】
ステップＳ１８０５において、第３判定ロジック１５０５は、給油不許可と判定し、第１情報を取得した後、図１８ＢのステップＳ１８１１に進む。
【0251】
ステップＳ１８１１において、第３判定ロジック１５０５は、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったか否か（所定の許可条件を充足したか否か）を判定する。具体的には、所定時間Ｔ２内に、第１領域２１０において車両が認識され、かつ、第２領域において、給油ノズルを適切な姿勢で把持する給油者が認識された状態になったか否かを判定する。
【0252】
ステップＳ１８１１において、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったと判定した場合には（ステップＳ１８１１においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ１８１２に進む。
【0253】
ステップＳ１８１２において、第３判定ロジック１５０５は、給油許可と判定し、ステップＳ１８１３に進む。
【0254】
ステップＳ１８１３において、判定ロジック切替部１５０２は、第３区間中であるか否かを判定する。ステップＳ１８１３において、第３区間中であると判定した場合には、第３判定ロジック１５０５による処理を終了しないと判定し（ステップＳ１８１３においてＮＯと判定し）、図１８ＡのステップＳ１８０１に戻る。
【0255】
一方、ステップＳ１８１３において、第３区間中でないと判定した場合には、第３判定ロジック１５０５による処理を終了すると判定する（ステップＳ１８１３においてＹＥＳと判定する）。そして、第１給油監視部１００９＿１は、第３判定ロジック１５０５を用いた処理を終了する。
【0256】
一方、ステップＳ１８１１において、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果にならなかったと判定された場合には（ステップＳ１８１１においてＮＯの場合には）、ステップＳ１８１４に進む。
【0257】
ステップＳ１８１４において、第３判定ロジック１５０５は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ６、継続したか否かを判定する。ステップＳ１８１４において、給油許可と判定される認識結果ではない状態が、所定時間Ｔ６、継続していないと判定した場合には（ステップＳ１８１４においてＮＯの場合には）、所定時間Ｔ６、継続するまで待機する。
【0258】
一方、ステップＳ１８１４において、給油許可と判定される認識結果ではない状態が、所定時間Ｔ６、継続したと判定した場合には（ステップＳ１８１４においてＹＥＳの場合には）、ステップＳ１８１５に進む。
【0259】
ステップＳ１８１５において、第３判定ロジック１５０５は、確認要求情報を取得し、第１給油監視部１００９＿１は、第３判定ロジック１５０５を用いた処理を終了する。
【0260】
（３－５）第１給油監視部１００９＿１の他の判定ロジックを用いた処理の流れ
次に、第１給油監視部１００９＿１の他の判定ロジックを用いた処理（ポリタンク判定部１５０６を用いた処理、火気判定部１５０７を用いた処理）の流れについて、図１９を用いて説明する。図１９は、第１給油監視部のポリタンク判定部を用いた処理、及び、火気判定部を用いた処理の流れを示すフローチャートの一例である。
次に、第１給油監視部１００９＿１の他の判定ロジックを用いた処理（ポリタンク判定部１５０６を用いた処理、火気判定部１５０７を用いた処理）の流れについて、図１９を用いて説明する。図１９は、第１給油監視部のポリタンク判定部を用いた処理、及び、火気判定部を用いた処理の流れを示すフローチャートの一例である。
【0261】
はじめに、第１給油監視部１００９＿１のポリタンク判定部１５０６を用いた処理の流れについて説明する。
【0262】
図１９（ａ）のステップＳ１９０１において、ポリタンク判定部１５０６は、現在、入力された認識結果において、容器が含まれるか否か（所定の不許可条件を充足するか否か）を判定する。ステップＳ１９０１において、容器が含まれると判定した場合には（ステップＳ１９０１においてＹＥＳの場合には）、所定の不許可条件を充足したと判定し、ステップＳ１９０２に進む。
【0263】
ステップＳ１９０２において、ポリタンク判定部１５０６は、給油不許可と判定し、第３情報を取得した後、ステップＳ１９０３に進む。
【0264】
一方、ステップＳ１９０１において、容器が含まれないと判定した場合には（ステップＳ１９０１においてＮＯの場合には）、直接、ステップＳ１９０３に進む。
【0265】
ステップＳ１９０３において、ポリタンク判定部１５０６は、処理を終了するか否かを判定する。第１区間～第３区間のいずれかに該当する場合、ステップＳ１９０３において、ポリタンク判定部１５０６は、処理を継続すると判定し（ステップＳ１９０３においてＮＯと判定し）、ステップＳ１９０１に戻る。
【0266】
一方、第１区間～第３区間のいずれにも該当しない場合、ステップＳ１９０３において、第１給油監視部１００９＿１は、ポリタンク判定部１５０６を用いた処理を終了する。
【0267】
続いて、第２給油監視部１００９＿２のポリタンク判定部１５０６を用いた処理の流れについて説明する。
【0268】
図１９（ｂ）のステップＳ１９１１において、火気判定部１５０７は、現在、入力されているサーマルセンサデータについて、第１領域２１０以外の領域において、所定閾値以上の温度が測定されたか否か（所定の不許可条件を充足するか否か）を判定する。なお、第１領域２１０以外の領域としたのは、第１領域２１０に含まれる車両のボンネットは、高温になっていることがあり、火気検知と誤判定することを回避するためである。
【0269】
ステップＳ１９１１において、所定閾値以上の温度が測定されたと判定した場合には（ステップＳ１９１１においてＹＥＳの場合には）、所定の不許可条件を充足したと判定し、ステップＳ１９１２に進む。
【0270】
ステップＳ１９１２において、火気判定部１５０７は、給油不許可と判定し、第４情報を取得した後、ステップＳ１９１３に進む。
【0271】
一方、ステップＳ１９１１において、所定閾値以上の温度が測定されていないと判定した場合には（ステップＳ１９１１においてＮＯの場合には）、直接、ステップＳ１９１３に進む。
【0272】
ステップＳ１９１３において、火気判定部１５０７は、処理を終了するか否かを判定する。第１区間～第３区間のいずれかに該当する場合、ステップＳ１９１３において、火気判定部１５０７は、処理を継続すると判定し（ステップＳ１９１３においてＮＯと判定し）、ステップＳ１９１１に戻る。
【0273】
一方、第１区間～第３区間のいずれにも該当しない場合、ステップＳ１９１３において、第１給油監視部１００９＿１は、火気判定部１５０７を用いた処理を終了する。
【0274】
（３－６）第２給油監視部１００９＿２の第１判定ロジック１５１３を用いた処理の流れ
次に、第２給油監視部１００９＿２の第１判定ロジック１５１３を用いた処理の流れについて、図２０Ａ、図２０Ｂを用いて説明する。図２０Ａ及び図２０Ｂは、第２給油監視部の第１判定ロジックを用いた処理の流れを示す第１及び第２のフローチャートの一例である。
次に、第２給油監視部１００９＿２の第１判定ロジック１５１３を用いた処理の流れについて、図２０Ａ、図２０Ｂを用いて説明する。図２０Ａ及び図２０Ｂは、第２給油監視部の第１判定ロジックを用いた処理の流れを示す第１及び第２のフローチャートの一例である。
【0275】
ステップＳ２００１において、第１判定ロジック１５１３は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0276】
ステップＳ２００１において、給油許可と判定される認識結果であると判定した場合には（ステップＳ２００１においてＹＥＳの場合には）、ステップＳ２００２に進む。
【0277】
ステップＳ２００２において、第１判定ロジック１５１３は、給油許可と判定される認識結果が、所定時間Ｔ１、継続したか否か（所定の許可条件を一定時間充足したか否か）を判定する。ステップＳ２００２において、所定時間Ｔ１、継続したと判定した場合には（ステップＳ２００２においてＹＥＳの場合には）、ステップＳ２００３に進む。
【0278】
ステップＳ２００３において、第１判定ロジック１５１３は、給油許可と判定し、図２０ＢのステップＳ２０１４に進む。
【0279】
一方、ステップＳ２００１において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ２００１においてＮＯの場合には）、ステップＳ２００４に進む。または、ステップＳ２００２において、所定時間Ｔ１、継続していないと判定した場合には（ステップＳ２００２においてＮＯの場合には）、ステップＳ２００４に進む。
【0280】
ステップＳ２００４において、第１判定ロジック１５１３は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ２、継続したか否かを判定する（ただし、Ｔ２＞Ｔ１）。
【0281】
ステップＳ２００４において、所定時間Ｔ２、継続していないと判定した場合には（ステップＳ２００４においてＮＯの場合には）、ステップＳ２００１に戻る。一方、ステップＳ２００４において、所定時間Ｔ２、継続したと判定した場合には（ステップＳ２００４においてＹＥＳの場合には）、ステップＳ２００５に進む。
【0282】
ステップＳ２００５において、第１判定ロジック１５１３は、現在、入力されている認識結果が、給油不許可と判定される認識結果であるか否か（所定の不許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持していない給油者が認識されているか（給油ノズル認識不可か）否かを判定する。
【0283】
ステップＳ２００５において、給油不許可と判定される認識結果であると判定した場合には（ステップＳ２００５においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、ステップＳ２００６に進む。
【0284】
ステップＳ２００６において、第１判定ロジック１５１３は、給油不許可と判定し、第１情報を取得した後、図２０ＢのステップＳ２０１１に進む。
【0285】
一方、ステップＳ２００５において、給油不許可と判定される他の認識結果であると判定した場合には（ステップＳ２００５においてＮＯの場合には）、図２０ＢのステップＳ２０１７に進む。
【0286】
ステップＳ２０１１において、第１判定ロジック１５１３は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0287】
ステップＳ２０１１において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ２０１１においてＮＯの場合には）、ステップＳ２０１７に進む。
【0288】
一方、ステップＳ２０１１において、給油許可と判定される認識結果であると判定した場合（ステップＳ２０１１においてＹＥＳの場合）、第２給油監視部１００９＿２は、第１判定ロジック１５１３を用いた処理を終了する。
【0289】
ステップＳ２０１２において、第１判定ロジック１５１３は、給油許可と判定される認識結果が、所定時間Ｔ１、継続したか否か（所定の許可条件を一定時間充足したか否か）を判定する。ステップＳ２０１２において、所定時間Ｔ１、継続したと判定した場合には（ステップＳ２０１２においてＹＥＳの場合には）、ステップＳ２０１３に進む。
【0290】
ステップＳ２０１３において、第１判定ロジック１５１３は、給油許可と判定し、ステップＳ２０１４に進む。
【0291】
ステップＳ２０１４において、判定ロジック切替部１５１２は、第１区間中であるか否かを判定する。ステップＳ２０１４において、第１区間中であると判定した場合には、第１判定ロジック１５１３による処理を終了しないと判定し（ステップＳ２０１４においてＮＯと判定し）、図２０ＡのステップＳ２００１に戻る。
【0292】
一方、ステップＳ２０１４において、第１区間中でないと判定した場合には、第１判定ロジック１５１３による処理を終了すると判定する（ステップＳ２０１４においてＹＥＳと判定する）。そして、第２給油監視部１００９＿２は、第１判定ロジック１５１３を用いた処理を終了する。
【0293】
一方、ステップＳ２０１２において、所定時間Ｔ１、継続していないと判定した場合には（ステップＳ２０１２においてＮＯの場合には）、ステップＳ２０１５に進む。
【0294】
ステップＳ２０１５において、第１判定ロジック１５１３は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ３、継続したか否かを判定する（ただし、Ｔ３＞Ｔ１）。
【0295】
ステップＳ２０１５において、所定時間Ｔ３、継続していないと判定した場合には（ステップＳ２０１５においてＮＯの場合には）、ステップＳ２０１１に戻る。一方、ステップＳ２０１５において、所定時間Ｔ３、継続したと判定した場合には（ステップＳ２０１５においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定する。そして、第２給油監視部１００９＿２は、第１判定ロジック１５１３を用いた処理を終了する。
【0296】
一方、図２０ＡのステップＳ２００５から図２０ＢのステップＳ２０１７に進んだ場合、第１判定ロジック１５１３は、所定の不許可条件を一定時間充足したと判定する。具体的には、第１判定ロジック１５１３は、容器が認識されなかったと判定する。あるいは、第１判定ロジック１５１３は、給油ノズルを適切な姿勢で把持していない給油者が認識された（給油者認識不可）と判定する。
【0297】
ステップＳ２０１８において、第１判定ロジック１５１３は、給油不許可と判定し、第２情報を取得し、第２給油監視部１００９＿２は、第１判定ロジック１５１３を用いた処理を終了する。
【0298】
（３－７）第２給油監視部１００９＿２の第２判定ロジック１５１４を用いた処理の流れ
次に、第２給油監視部１００９＿２の第２判定ロジック１５１４を用いた処理の流れについて、図２１Ａ～図２１Ｄを用いて説明する。図２１Ａ～図２１Ｄは、第２給油監視部の第２判定ロジックを用いた処理の流れを示す第１～第４のフローチャートの一例である。
次に、第２給油監視部１００９＿２の第２判定ロジック１５１４を用いた処理の流れについて、図２１Ａ～図２１Ｄを用いて説明する。図２１Ａ～図２１Ｄは、第２給油監視部の第２判定ロジックを用いた処理の流れを示す第１～第４のフローチャートの一例である。
【0299】
ステップＳ２１０１において、第２判定ロジック１５１４は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0300】
ステップ２１０１において、給油許可と判定される認識結果であると判定した場合には（ステップＳ２１０１においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ２１０２に進む。
【0301】
ステップＳ２１０２において、第２判定ロジック１５１４は、給油許可と判定し、図２１ＤのステップＳ２１３４に進む。
【0302】
一方、ステップＳ２１０１において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ２１０１においてＮＯの場合には）、ステップＳ２１０３に進む。
【0303】
ステップＳ２１０３において、第２判定ロジック１５１４は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ４、継続したか否かを判定する。
【0304】
ステップＳ２１０３において、所定時間Ｔ４、継続していないと判定した場合には（ステップＳ２１０３においてＮＯの場合には）、ステップＳ２１０１に戻る。一方、ステップＳ２１０３において、所定時間Ｔ４、継続したと判定した場合には（ステップＳ２１０３においてＹＥＳの場合には）、ステップＳ２１０４に進む。
【0305】
ステップＳ２１０４において、第２判定ロジック１５１４は、現在、入力されている認識結果が、給油不許可と判定される認識結果であるか否か（所定の不許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持していない給油者が認識されているか（給油ノズル認識不可か）否かを判定する。
【0306】
ステップＳ２１０４において、給油不許可と判定される他の認識結果であると判定した場合には（ステップＳ２１０４においてＮＯの場合には）、図２１ＣのステップＳ２１２１に進む。
【0307】
一方、ステップＳ２１０４において、給油不許可と判定される認識結果であると判定した場合には（ステップＳ２１０４においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、ステップＳ２１０５に進む。
【0308】
ステップＳ２１０５において、第２判定ロジック１５１４は、警告情報を取得する。
【0309】
ステップＳ２１０６において、第２判定ロジック１５１４は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0310】
ステップＳ２１０６において、給油許可と判定される認識結果であると判定した場合には（ステップＳ２１０６においてＹＥＳの場合には）、ステップＳ２１０７に進む。
【0311】
ステップＳ２１０７において、第２判定ロジック１５１４は、給油許可と判定される認識結果が、所定時間Ｔ１、継続したか否かを判定する。ステップＳ２１０７において、所定時間Ｔ１、継続したと判定した場合には（ステップＳ２１０７においてＹＥＳの場合には）、所定の許可条件を一定時間充足したと判定し、ステップＳ２１０８に進む。
【0312】
ステップＳ２１０８において、第２判定ロジック１５１４は、給油許可と判定し、図２１ＤのステップＳ２１３４に進む。
【0313】
一方、ステップＳ２１０６において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ２１０６においてＮＯの場合には）、ステップＳ２１０９に進む。または、ステップＳ２１０７において、所定時間Ｔ１、継続していないと判定した場合には（ステップＳ２１０７においてＮＯの場合には）、ステップＳ２１０９に進む。
【0314】
ステップＳ２１０９において、第２判定ロジック１５１４は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ２、継続したか否かを判定する（ただし、Ｔ２＞Ｔ１）。
【0315】
ステップＳ２１０９において、所定時間Ｔ２、継続していないと判定した場合には（ステップＳ２１０９においてＮＯの場合には）、ステップＳ２１０６に戻る。一方、ステップＳ２１０９において、所定時間Ｔ２、継続したと判定した場合には（ステップＳ２１０９においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、図２１ＢのステップＳ２１１１に進む。
【0316】
ステップＳ２１１１において、第２判定ロジック１５１４は、給油不許可と判定し、第１情報を取得した後、ステップＳ２１１２に進む。
【0317】
ステップＳ２１１２において、第２判定ロジック１５１４は、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったか否か（所定の許可条件を充足したか否か）を判定する。具体的には、所定時間Ｔ２内に、容器が認識され、かつ、給油ノズルを適切な姿勢で把持する給油者が認識された状態になったか否かを判定する。
【0318】
ステップＳ２１１２において、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったと判定した場合には（ステップＳ２１１２においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ２１１３に進む。
【0319】
ステップＳ２１１３において、第２判定ロジック１５１４は、給油許可と判定し、図２１ＤのステップＳ２１３４に進む。
【0320】
一方、ステップＳ２１１２において、所定時間Ｔ２内に、給油許可と判定される認識結果にならなかったと判定した場合（ステップＳ２１１２においてＮＯの場合）、第２給油監視部１００９＿２は、第２判定ロジック１５１４を用いた処理を終了する。
【0321】
一方、ステップＳ２１０４から図２１ＣのステップＳ２１２１に進んだ場合、第２判定ロジック１５１４は、所定の不許可条件を一定時間充足したと判定する。具体的には、第２判定ロジック１５１４は、容器が認識されなかったと判定する。あるいは、第２判定ロジック１５１４は、給油ノズルを適切な姿勢で把持していない給油者が認識された（給油者認識不可）と判定する。
【0322】
ステップＳ２１２２において、第２判定ロジック１５０４は、警告情報を取得する。
【0323】
ステップＳ２１２３において、第２判定ロジック１５１４は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0324】
ステップＳ２１２３において、給油許可と判定される認識結果であると判定した場合には（ステップＳ２１２３においてＹＥＳの場合には）、ステップＳ２１２４に進む。
【0325】
ステップＳ２１２４において、第２判定ロジック１５１４は、給油許可と判定される認識結果が、所定時間Ｔ１、継続したか否かを判定する。ステップＳ２１２４において、所定時間Ｔ１、継続したと判定した場合には（ステップＳ２１２４においてＹＥＳの場合には）、所定の許可条件を一定時間充足したと判定し、ステップＳ２１２５に進む。
【0326】
ステップＳ２１２５において、第２判定ロジック１５１４は、給油許可と判定し、図２１ＤのステップＳ２１３４に進む。
【0327】
一方、ステップＳ２１２３において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ２１２３においてＮＯの場合には）、ステップＳ２１２６に進む。または、ステップＳ２１２４において、所定時間Ｔ１、継続していないと判定した場合には（ステップＳ２１２４においてＮＯの場合には）、ステップＳ２１２６に進む。
【0328】
ステップＳ２１２６において、第２判定ロジック１５１４は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ２、継続したか否かを判定する（ただし、Ｔ２＞Ｔ１）。
【0329】
ステップＳ２１２６において、所定時間Ｔ２、継続していないと判定した場合には（ステップＳ２１２６においてＮＯの場合には）、ステップＳ２１２３に戻る。一方、ステップＳ２１２６において、所定時間Ｔ２、継続したと判定した場合には（ステップＳ２１２６においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、図２１ＤのステップＳ２１３１に進む。
【0330】
ステップＳ２１３１において、第２判定ロジック１５１４は、給油不許可と判定し、第２情報を取得した後、ステップＳ２１３２に進む。
【0331】
ステップＳ２１３２において、第２判定ロジック１５１４は、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったか否か（所定の許可条件を充足したか否か）を判定する。具体的には、所定時間Ｔ２内に、容器が認識され、かつ、給油ノズルを適切な姿勢で把持する給油者が認識された状態になったか否かを判定する。
【0332】
ステップＳ２１３２において、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったと判定した場合には（ステップＳ２１３２においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ２１３３に進む。
【0333】
ステップＳ２１３３において、第２判定ロジック１５１４は、給油許可と判定し、ステップＳ２１３４に進む。
【0334】
ステップＳ２１３４において、判定ロジック切替部１５１２は、第２区間中であるか否かを判定する。ステップＳ２１３４において、第２区間中であると判定した場合には、第２判定ロジック１５１４による処理を終了しないと判定し（ステップＳ２１３４においてＮＯと判定し）、図２１ＡのステップＳ２１０１に戻る。
【0335】
一方、ステップＳ２１３４において、第２区間中でないと判定した場合には、第２判定ロジック１５１４による処理を終了すると判定する（ステップＳ２１３４においてＹＥＳと判定する）。そして、第２給油監視部１００９＿２は、第２判定ロジック１５１４を用いた処理を終了する。
【0336】
また、ステップＳ２１３２において、所定時間Ｔ２内に、給油許可と判定される認識結果になったと判定されなかった場合（ステップＳ２１３２においてＮＯの場合）、第２給油監視部１００９＿２は、第２判定ロジック１５１４を用いた処理を終了する。
【0337】
（３－８）第２給油監視部１００９＿２の第３判定ロジック１５１５を用いた処理の流れ
次に、第２給油監視部１００９＿２の第３判定ロジック１５１５を用いた処理の流れについて、図２２Ａ及び図２２Ｂを用いて説明する。図２２Ａ及び図２２Ｂは、第２給油監視部の第３判定ロジックを用いた処理の流れを示す第１及び第２のフローチャートの一例である。
次に、第２給油監視部１００９＿２の第３判定ロジック１５１５を用いた処理の流れについて、図２２Ａ及び図２２Ｂを用いて説明する。図２２Ａ及び図２２Ｂは、第２給油監視部の第３判定ロジックを用いた処理の流れを示す第１及び第２のフローチャートの一例である。
【0338】
ステップＳ２２０１において、第３判定ロジック１５１５は、現在、入力されている認識結果が、給油許可と判定される認識結果であるか否か（所定の許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持する給油者が認識されているか否かを判定する。
【0339】
ステップ２２０１において、給油許可と判定される認識結果であると判定した場合には（ステップＳ２２０１においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ２２０２に進む。
【0340】
ステップＳ２２０２において、第３判定ロジック１５１５は、給油許可と判定し、図２２ＢのステップＳ２２１３に進む。
【0341】
一方、ステップＳ２２０１において、給油許可と判定される認識結果ではないと判定した場合には（ステップＳ２２０１においてＮＯの場合には）、ステップＳ２２０３に進む。
【0342】
ステップＳ２２０３において、第３判定ロジック１５１５は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ５、継続したか否かを判定する。
【0343】
ステップＳ２２０３において、所定時間Ｔ５、継続していないと判定した場合には（ステップＳ２２０３においてＮＯの場合には）、ステップＳ２２０１に戻る。一方、ステップＳ２２０３において、所定時間Ｔ５、継続したと判定した場合には（ステップＳ２２０３においてＹＥＳの場合には）、ステップＳ２２０４に進む。
【0344】
ステップＳ２２０４において、第３判定ロジック１５１５は、現在、入力されている認識結果が、給油不許可と判定される認識結果であるか否か（所定の不許可条件を充足するか否か）を判定する。具体的には、容器が認識されており、かつ、給油ノズルを適切な姿勢で把持していない給油者が認識されているか（給油ノズル認識不可か）否かを判定する。
【0345】
ステップＳ２２０４において、給油不許可と判定される他の認識結果であると判定した場合には（ステップＳ２２０４においてＮＯの場合には）、ステップＳ２２０６に進む。
【0346】
ステップＳ２２０６において、第３判定ロジック１５１５は、所定の不許可条件を一定時間充足したと判定する。具体的には、第３判定ロジック１５１５は、容器が認識されなかったと判定する。あるいは、第３判定ロジック１５１５は、給油ノズルを適切な姿勢で把持していない給油者が認識された（給油者認識不可）と判定する。
【0347】
ステップＳ２２０７において、第３判定ロジック１５１５は、給油不許可と判定し、第２情報を取得した後、図２２ＢのステップＳ２２１１に進む。
【0348】
一方、ステップＳ２２０４において、給油不許可と判定される認識結果であると判定した場合には（ステップＳ２２０４においてＹＥＳの場合には）、所定の不許可条件を一定時間充足したと判定し、ステップＳ２２０５に進む。
【0349】
ステップＳ２２０５において、第３判定ロジック１５１５は、給油不許可と判定し、第１情報を取得した後、図２２ＢのステップＳ２２１１に進む。
【0350】
ステップＳ２２１１において、第３判定ロジック１５１５は、所定時間Ｔ２内に、現在入力されている認識結果が、給油許可と判定される認識結果になったか否か（所定の許可条件を充足したか否か）を判定する。具体的には、所定時間Ｔ２内に、容器が認識され、かつ、給油ノズルを適切な姿勢で把持する給油者が認識された状態になったか否かを判定する。
【0351】
ステップＳ２２１１において、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果になったと判定した場合には（ステップＳ２２１１においてＹＥＳの場合には）、所定の許可条件を充足したと判定し、ステップＳ２２１２に進む。
【0352】
ステップＳ２２１２において、第３判定ロジック１５１５は、給油許可と判定し、ステップＳ２２１３に進む。
【0353】
ステップＳ２２１３において、判定ロジック切替部１５１２は、第３区間中であるか否かを判定する。ステップＳ２２１３において、第３区間中であると判定した場合には、第３判定ロジック１５１５による処理を終了しないと判定し（ステップＳ２２１３においてＮＯと判定し）、図２２ＡのステップＳ２２０１に戻る。
【0354】
一方、ステップＳ２２１３において、第３区間中でないと判定した場合には、第３判定ロジック１５１５による処理を終了すると判定する（ステップＳ２２１３においてＹＥＳと判定する）。そして、第２給油監視部１００９＿２は、第３判定ロジック１５１５を用いた処理を終了する。
【0355】
一方、ステップＳ２２１１において、所定時間Ｔ２内に、現在、入力されている認識結果が、給油許可と判定される認識結果にならなかったと判定された場合には（ステップＳ２２１１においてＮＯの場合には）、ステップＳ２２１４に進む。
【0356】
ステップＳ２２１４において、第３判定ロジック１５１５は、給油許可と判定される認識結果ではない状態が、所定時間Ｔ６、継続したか否かを判定する。ステップＳ２２１４において、給油許可と判定される認識結果ではない状態が、所定時間Ｔ６、継続していないと判定した場合には（ステップＳ２２１４においてＮＯの場合には）、所定時間Ｔ６、継続するまで待機する。
【0357】
一方、ステップＳ２２１４において、給油許可と判定される認識結果ではない状態が、所定時間Ｔ６、継続したと判定した場合には（ステップＳ２２１４においてＹＥＳの場合には）、ステップＳ２２１５に進む。
【0358】
ステップＳ２２１５において、第３判定ロジック１５１５は、確認要求情報を取得し、第２給油監視部１００９＿２は、第３判定ロジック１５１５を用いた処理を終了する。
【0359】
（３－９）第２給油監視部１００９＿２の他の判定ロジックを用いた処理の流れ
次に、第２給油監視部１００９＿２の他の判定ロジックを用いた処理（火気判定部１５１７を用いた処理）の流れについて、図２３を用いて説明する。図２３は、第２給油監視部の火気判定部を用いた処理の流れを示すフローチャートの一例である。
次に、第２給油監視部１００９＿２の他の判定ロジックを用いた処理（火気判定部１５１７を用いた処理）の流れについて、図２３を用いて説明する。図２３は、第２給油監視部の火気判定部を用いた処理の流れを示すフローチャートの一例である。
【0360】
ステップＳ２３０１において、火気判定部１５１７は、現在、入力されているサーマルセンサデータについて、所定閾値以上の温度が測定されたか否か（所定の不許可条件を充足するか否か）を判定する。
【0361】
ステップＳ２３０１において、所定閾値以上の温度が測定されたと判定した場合には（ステップＳ２３０１においてＹＥＳの場合には）、所定の不許可条件を充足したと判定し、ステップＳ２３０２に進む。
【0362】
ステップＳ２３０２において、火気判定部１５１７は、給油不許可と判定し、第４情報を取得した後、ステップＳ２３０３に進む。
【0363】
一方、ステップＳ２３０１において、所定閾値以上の温度が測定されていないと判定した場合には（ステップＳ２３０１においてＮＯの場合には）、直接、ステップＳ２３０３に進む。
【0364】
ステップＳ２３０３において、火気判定部１５１７は、処理を終了するか否かを判定する。第１区間～第３区間のいずれかに該当する場合、ステップＳ２３０３において、火気判定部１５１７は、処理を継続すると判定し（ステップＳ２３０３においてＮＯと判定し）、ステップＳ２３０１に戻る。
【0365】
一方、第１区間～第３区間のいずれにも該当しない場合、ステップＳ２３０３において、第２給油監視部１００９＿２は、火気判定部１５１７を用いた処理を終了する。
【0366】
（４）出力制御部１０１０の詳細
次に、出力制御部１０１０の詳細として、出力制御部１０１０の機能構成及び処理の具体例について説明する。
次に、出力制御部１０１０の詳細として、出力制御部１０１０の機能構成及び処理の具体例について説明する。
【0367】
（４－１）出力制御部１０１０の機能構成の詳細
図２４は、情報処理装置の出力制御部の機能構成の一例を示す図である。図２４に示すように、出力制御部１０１０は、出力情報取得部２４０１、送信部２４０２を有する。
図２４は、情報処理装置の出力制御部の機能構成の一例を示す図である。図２４に示すように、出力制御部１０１０は、出力情報取得部２４０１、送信部２４０２を有する。
【0368】
出力情報取得部２４０１は、第１給油監視部１００９＿１から、
・給油許可を示す情報、
・給油不許可を示す情報及び第１情報～第４情報、
・警告情報、
・確認要求情報、
を取得する。
・給油許可を示す情報、
・給油不許可を示す情報及び第１情報～第４情報、
・警告情報、
・確認要求情報、
を取得する。
【0369】
また、出力情報取得部２４０１は、第２給油監視部１００９＿２から、
・給油許可を示す情報、
・給油不許可を示す情報及び第１情報、第２情報、第４情報、
・警告情報、
・確認要求情報、
を取得する。
・給油許可を示す情報、
・給油不許可を示す情報及び第１情報、第２情報、第４情報、
・警告情報、
・確認要求情報、
を取得する。
【0370】
また、出力情報取得部２４０１は、第１給油監視部１００９＿１から取得した情報を、送信部２４０２に通知する。このとき、出力情報取得部２４０１は、出力情報格納部２４０３を参照し、
・第１情報～第４情報に対応する原因情報（給油不許可の原因を示す情報）と、
・第１情報～第４情報に対応するメッセージと、
・第１情報～第４情報に対応する表示情報と、
・警告情報に対応するメッセージと、
・警告情報に対応する表示情報と、
・確認要求情報に対応する原因情報と、
・確認要求情報に対応するメッセージと、
・確認要求情報に対応する表示情報と、
を取得する。そして、出力情報取得部２４０１は、第１情報～第４情報、警告情報、確認要求情報を、対応する原因情報、メッセージ、表示情報に変換したうえで、送信部２４０２に通知する。
・第１情報～第４情報に対応する原因情報（給油不許可の原因を示す情報）と、
・第１情報～第４情報に対応するメッセージと、
・第１情報～第４情報に対応する表示情報と、
・警告情報に対応するメッセージと、
・警告情報に対応する表示情報と、
・確認要求情報に対応する原因情報と、
・確認要求情報に対応するメッセージと、
・確認要求情報に対応する表示情報と、
を取得する。そして、出力情報取得部２４０１は、第１情報～第４情報、警告情報、確認要求情報を、対応する原因情報、メッセージ、表示情報に変換したうえで、送信部２４０２に通知する。
【0371】
同様に、出力情報取得部２４０１は、第２給油監視部１００９＿２から取得した情報を、送信部２４０２に通知する。このとき、出力情報取得部２４０１は、出力情報格納部２４０３を参照し、
・第１情報、第２情報、第４情報に対応する原因情報（給油不許可の原因を示す情報）と、
・第１情報、第２情報、第４情報に対応するメッセージと、
・第１情報、第２情報、第４情報に対応する表示情報と、
・警告情報に対応するメッセージと、
・警告情報に対応する表示情報と、
・確認要求情報に対応する原因情報と、
・確認要求情報に対応するメッセージと、
・確認要求情報に対応する表示情報と、
を取得する。そして、出力情報取得部２４０１は、第１情報、第２情報、第４情報、警告情報、確認要求情報を、対応する原因情報、メッセージ、表示情報に変換したうえで、送信部２４０２に通知する。
・第１情報、第２情報、第４情報に対応する原因情報（給油不許可の原因を示す情報）と、
・第１情報、第２情報、第４情報に対応するメッセージと、
・第１情報、第２情報、第４情報に対応する表示情報と、
・警告情報に対応するメッセージと、
・警告情報に対応する表示情報と、
・確認要求情報に対応する原因情報と、
・確認要求情報に対応するメッセージと、
・確認要求情報に対応する表示情報と、
を取得する。そして、出力情報取得部２４０１は、第１情報、第２情報、第４情報、警告情報、確認要求情報を、対応する原因情報、メッセージ、表示情報に変換したうえで、送信部２４０２に通知する。
【0372】
送信部２４０２は、出力情報取得部２４０１から通知された情報を、
・サービスステーション１１０'のスタッフ向けの表示装置である表示装置９１２、
・第１給油機１２０＿１の音声出力装置１２２＿１または第２給油機１２０＿２の音声出力装置１２２＿２、
・第１給油機１２０＿１の給油データ表示器１２３＿１または第２給油機１２０＿２の給油データ表示器１２３＿２、
に送信する。
・サービスステーション１１０'のスタッフ向けの表示装置である表示装置９１２、
・第１給油機１２０＿１の音声出力装置１２２＿１または第２給油機１２０＿２の音声出力装置１２２＿２、
・第１給油機１２０＿１の給油データ表示器１２３＿１または第２給油機１２０＿２の給油データ表示器１２３＿２、
に送信する。
【0373】
具体的には、送信部２４０２は、第１給油監視部１００９＿１から取得した、
・給油許可を示す情報、給油不許可を示す情報、原因情報、確認要求情報が、表示装置９１２に表示されるよう制御し、
・メッセージが、第１給油機１２０＿１の音声出力装置１２２＿１にて音声出力されるよう制御し、
・表示情報が、第１給油機１２０＿１の給油データ表示器１２３＿１に表示されるよう制御する。
・給油許可を示す情報、給油不許可を示す情報、原因情報、確認要求情報が、表示装置９１２に表示されるよう制御し、
・メッセージが、第１給油機１２０＿１の音声出力装置１２２＿１にて音声出力されるよう制御し、
・表示情報が、第１給油機１２０＿１の給油データ表示器１２３＿１に表示されるよう制御する。
【0374】
同様に、送信部２４０２は、第２給油監視部１００９＿２から取得した、
・給油許可を示す情報、給油不許可を示す情報、原因情報、確認要求情報が、表示装置９１２に表示されるよう制御し、
・メッセージが、第２給油機１２０＿２の音声出力装置１２２＿２にて音声出力されるよう制御し、
・表示情報が、第２給油機１２０＿２の給油データ表示器１２３＿２に表示されるよう制御する。
・給油許可を示す情報、給油不許可を示す情報、原因情報、確認要求情報が、表示装置９１２に表示されるよう制御し、
・メッセージが、第２給油機１２０＿２の音声出力装置１２２＿２にて音声出力されるよう制御し、
・表示情報が、第２給油機１２０＿２の給油データ表示器１２３＿２に表示されるよう制御する。
【0375】
（４－２）出力制御部１０１０の処理の具体例
次に、出力制御部１０１０の処理の具体例として、出力制御部１０１０により変換された原因情報、メッセージ、表示情報の具体例について説明する。図２５は、出力情報の一例を示す図である。
次に、出力制御部１０１０の処理の具体例として、出力制御部１０１０により変換された原因情報、メッセージ、表示情報の具体例について説明する。図２５は、出力情報の一例を示す図である。
【0376】
図２５において、出力情報２５００は、第１給油監視部１００９＿１から取得した第１情報～第４情報、警告情報、確認要求情報に対応する原因情報、メッセージ、表示情報を含む。また、出力情報２５１０は、第２給油監視部１００９＿２から取得した第１情報、第２情報、第４情報、警告情報、確認要求情報に対応する原因情報、メッセージ、表示情報を含む。
【0377】
図２５に示すように、出力情報２５００、２５１０は、情報の項目として、"情報種類"、"原因情報"、"顧客に出力されるメッセージ"、"給油機の給油データ表示器の表示情報"を含む。
【0378】
"情報種類"には、出力情報２５００の場合、第１情報～第４情報のいずれかが格納され、出力情報２５１０の場合、第１情報、第２情報、第４情報のいずれかが格納される。
【0379】
"原因情報"には、出力情報２５００の場合、「ノズル不定」、「判定不可」、「車両外給油」、「火気検知」のいずれかが格納され、出力情報２５１０の場合、「ノズル不定」、「判定不可」、「火気検知」のいずれかが格納される。
【0380】
"顧客に出力されるメッセージ"には、出力情報２５００の場合、音声出力装置１２２＿１から音声出力される、第１情報～第４情報それぞれに対応するメッセージが格納される。また、出力情報２５１０の場合、音声出力装置１２２＿２から音声出力される、第１情報、第２情報、第４情報それぞれに対応するメッセージが格納される。
【0381】
"給油機の給油データ表示器の表示情報"には、出力情報２５００の場合、第１給油機１２０＿１の給油データ表示器１２３＿１に表示される、第１情報～第４情報それぞれに対応する表示情報が格納される。また、出力情報２５１０の場合、第２給油機１２０＿２の給油データ表示器１２３＿２に表示される、第１情報、第２情報、第４情報それぞれに対応する表示情報が格納される。
【0382】
＜情報処理装置による給油制御処理の流れ＞
次に、第１の実施形態に係る給油システム１１０Ｓ'による給油制御処理の流れについて説明する。図２６は、第１の実施形態に係る給油システムによる給油制御処理の流れを示すフローチャートの一例である。
次に、第１の実施形態に係る給油システム１１０Ｓ'による給油制御処理の流れについて説明する。図２６は、第１の実施形態に係る給油システムによる給油制御処理の流れを示すフローチャートの一例である。
【0383】
ステップＳ２６０１において、情報処理装置１６０は、カメラ１３０＿１及びカメラ１３０＿２により撮影された画像データを取得する。
【0384】
ステップＳ２６０２において、情報処理装置１６０は、第１給油用センサ９２１＿１及び第２給油用センサ９２１＿２からの信号を取得する。
【0385】
ステップＳ２６０３において、情報処理装置１６０は、サーマルセンサ１７０＿１及びサーマルセンサ１７０＿２により測定されたサーマルセンサデータを取得する。
【0386】
ステップＳ２６０４において、情報処理装置１６０は、第１区間から第３区間のいずれに該当するかを判定する。
【0387】
ステップＳ２６０５において、情報処理装置１６０は給油許否を判定するか否かを判定する。ステップＳ２６０５において、第１区間から第３区間のいずれにも該当しないと判定した場合には、給油許否を判定しないと判定し（ステップＳ２６０５においてＮＯと判定し）、ステップＳ２６１０に進む。
【0388】
一方、ステップ２６０５において、第１区間から第３区間のいずれかに該当すると判定した場合には、給油許否を判定すると判定し（ステップＳ２６０５においてＹＥＳと判定し）、ステップＳ２６０６に進む。
【0389】
ステップＳ２６０６において、情報処理装置１６０は、第１学習済みモデルまたは第２学習済みモデルを用いて、画像データに対して画像認識処理を行う。
【0390】
ステップＳ２６０７において、情報処理装置１６０は、判定した区間に応じた判定ロジックを用いて、認識結果から給油許否を判定する。
【0391】
ステップＳ２６０８において、情報処理装置１６０は、給油許否の判定結果に基づいて、第１給油機１２０＿１及び第２給油機１２０＿２の給油を制御する。なお、情報処理装置１６０は、判定結果が給油不許可の場合、給油不許可の原因情報に応じて、第１給油機１２０＿１または第２給油機１２０＿２による給油の禁止または停止を制御する。
【0392】
ステップＳ２６０９において、情報処理装置１６０は、給油許否の判定結果を出力する。また、情報処理装置１６０は、判定結果が給油不許可であった場合、給油不許可の原因情報等を出力する。
【0393】
ステップＳ２６１０において、情報処理装置１６０は、給油制御処理を終了するか否かを判定する。ステップＳ２６１０において、給油制御処理を継続すると判定した場合には（ステップＳ２６１０においてＮＯの場合には）、ステップＳ２６０１に戻る。一方、ステップＳ２６１０において、給油制御処理を終了すると判定した場合には（ステップＳ２６１０においてＹＥＳの場合には）、給油制御処理を終了する。
【0394】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る給油システム１１０Ｓ'は、給油ノズルがノズル掛けから取り外されてからノズル掛けに戻されるまでの間を、３つの区間に分け、それぞれの区間に応じた判定ロジックを用いて、給油許否を判定する構成とした。これにより、第１の実施形態によれば、給油シーンに応じた処理を実行可能な給油システムを提供することが可能になる。
以上の説明から明らかなように、第１の実施形態に係る給油システム１１０Ｓ'は、給油ノズルがノズル掛けから取り外されてからノズル掛けに戻されるまでの間を、３つの区間に分け、それぞれの区間に応じた判定ロジックを用いて、給油許否を判定する構成とした。これにより、第１の実施形態によれば、給油シーンに応じた処理を実行可能な給油システムを提供することが可能になる。
【0395】
また、第１の実施形態に係る給油システム１１０Ｓ'は、認識対象についての認識結果に基づいて、給油不許可と判定する際、給油不許可の原因情報を取得し、原因情報に応じたメッセージを音声出力する構成とした。これにより、第１の実施形態によれば、給油シーンに応じた処理を実行可能な給油システムを提供することが可能になる。
【0396】
また、第１の実施形態に係る給油システム１１０Ｓ'は、認識対象について画像認識処理を行う際、給油種に応じた学習済みモデルを用いる構成とした。これにより、第１の実施形態によれば、給油シーンに応じた処理を実行可能な給油システムを提供することが可能になる。
【0397】
［第２の実施形態］
上記第１の実施形態では、情報処理装置１６０が第１給油機１２０＿１、第２給油機１２０＿２等の給油制御を行うものとして説明した。しかしながら、第１給油機１２０＿１、第２給油機１２０＿２等の給油制御は、情報処理装置１６０とは別体の装置（例えば、サービスステーションに備えられているセルフサービスコンソール等の給油制御器）が行うように構成してもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
上記第１の実施形態では、情報処理装置１６０が第１給油機１２０＿１、第２給油機１２０＿２等の給油制御を行うものとして説明した。しかしながら、第１給油機１２０＿１、第２給油機１２０＿２等の給油制御は、情報処理装置１６０とは別体の装置（例えば、サービスステーションに備えられているセルフサービスコンソール等の給油制御器）が行うように構成してもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0398】
＜情報処理装置の機能構成＞
図２７は、情報処理装置の機能構成の他の一例を示す図である。図１０に示した情報処理装置１６０の機能構成との相違点は、図２７に示す情報処理装置１６０'の場合、第１給油監視部１００９＿１'、第２給油監視部１００９＿２'の機能が、第１給油監視部１００９＿１、第２給油監視部１００９＿２の機能とは異なる点である。また、図１０に示した情報処理装置１６０の機能構成との相違点は、図２７に示す情報処理装置１６０'の場合、第１給油監視部１００９＿１'、第２給油監視部１００９＿２'が給油制御器２７１０に通信可能に接続されている点である。
図２７は、情報処理装置の機能構成の他の一例を示す図である。図１０に示した情報処理装置１６０の機能構成との相違点は、図２７に示す情報処理装置１６０'の場合、第１給油監視部１００９＿１'、第２給油監視部１００９＿２'の機能が、第１給油監視部１００９＿１、第２給油監視部１００９＿２の機能とは異なる点である。また、図１０に示した情報処理装置１６０の機能構成との相違点は、図２７に示す情報処理装置１６０'の場合、第１給油監視部１００９＿１'、第２給油監視部１００９＿２'が給油制御器２７１０に通信可能に接続されている点である。
【0399】
給油制御器２７１０は、セルフサービスコンソール（ＳＳＣ：Self Service Console）であり、第１給油監視部１００９＿１'から送信された給油許否の判定結果に基づいて、第１給油機１２０＿１の給油を制御する。また、給油制御器２７１０は、第２給油監視部１００９＿２'から送信された給油許否の判定結果に基づいて、第２給油機１２０＿２の給油を制御する。
【0400】
＜第１給油監視部、第２給油監視部の詳細＞
次に、第１給油監視部１００９＿１'、第２給油監視部１００９＿２'の詳細について説明する。図２８Ａは、情報処理装置の第１給油監視部の機能構成の他の一例を示す図である。上記第１の実施形態において、図１５Ａを用いて説明した情報処理装置１６０の第１給油監視部１００９＿１の機能構成との相違点は、図２８Ａの情報処理装置１６０'の第１給油監視部１００９＿１'の場合、送信部２８０１を有する点である。また、図２８Ａの情報処理装置１６０'の第１給油監視部１００９＿１'の場合、送信部２８０１が給油制御器２７１０と通信可能に接続されている点である。
次に、第１給油監視部１００９＿１'、第２給油監視部１００９＿２'の詳細について説明する。図２８Ａは、情報処理装置の第１給油監視部の機能構成の他の一例を示す図である。上記第１の実施形態において、図１５Ａを用いて説明した情報処理装置１６０の第１給油監視部１００９＿１の機能構成との相違点は、図２８Ａの情報処理装置１６０'の第１給油監視部１００９＿１'の場合、送信部２８０１を有する点である。また、図２８Ａの情報処理装置１６０'の第１給油監視部１００９＿１'の場合、送信部２８０１が給油制御器２７１０と通信可能に接続されている点である。
【0401】
送信部２８０１は、給油許可、給油不許可の判定結果を給油制御器２７１０に送信する。これにより、給油制御器２７１０は、給油バルブ１２４＿１または給油ポンプ１２５＿１を制御することで、第１給油種についての給油を制御する。
【0402】
例えば、給油制御器２７１０は、送信部２８０１から給油許可が送信された場合、給油ポンプ１２５＿１を駆動させて給油バルブ１２４＿１を開動作させる。また、給油制御器２７１０は、
・ポリタンク判定部１５０６からの給油許可が、送信部２８０１から送信された場合、給油ポンプ１２５＿１を駆動させて給油バルブ１２４＿１を開動作させる。更に、
・第１判定ロジック１５０３～第３判定ロジック１５０５のいずれかからの給油不許可が、送信部２８０１から送信された場合、または、
・火気判定部１５０７からの給油不許可が、送信部２８０１から送信された場合、
には、給油ポンプ１２５＿１の駆動を停止させることで、給油を停止させる、あるいは、給油ポンプ１２５＿１の駆動を停止させるとともに、給油バルブ１２４＿１を閉動作させることで、給油を禁止させる。なお、ここでいう給油の停止の定義及び給油の禁止の定義は一例にすぎず、給油の停止及び給油の禁止は、他の定義により規定されてもよい。あるいは、給油の停止と給油の禁止とを区別することなく、給油することができない状態にすること全般を、給油の停止または禁止と称してもよい。
・ポリタンク判定部１５０６からの給油許可が、送信部２８０１から送信された場合、給油ポンプ１２５＿１を駆動させて給油バルブ１２４＿１を開動作させる。更に、
・第１判定ロジック１５０３～第３判定ロジック１５０５のいずれかからの給油不許可が、送信部２８０１から送信された場合、または、
・火気判定部１５０７からの給油不許可が、送信部２８０１から送信された場合、
には、給油ポンプ１２５＿１の駆動を停止させることで、給油を停止させる、あるいは、給油ポンプ１２５＿１の駆動を停止させるとともに、給油バルブ１２４＿１を閉動作させることで、給油を禁止させる。なお、ここでいう給油の停止の定義及び給油の禁止の定義は一例にすぎず、給油の停止及び給油の禁止は、他の定義により規定されてもよい。あるいは、給油の停止と給油の禁止とを区別することなく、給油することができない状態にすること全般を、給油の停止または禁止と称してもよい。
【0403】
また、送信部２８０１は、給油許可、給油不許可の判定結果を原因情報取得部１５０９に通知する。送信部２８０１は、給油不許可を通知する場合にあっては、給油不許可と判定した原因を示す情報を、あわせて原因情報取得部１５０９に通知する。
【0404】
なお、送信部２８０１は、第１判定ロジック１５０３～第３判定ロジック１５０５のいずれかが、給油許否の判定を行うことができなかった場合にあっては、原因情報取得部１５０９に対して「判定不可」を出力するように構成してもよい。送信部２８０１から「判定不可」が出力された場合、原因情報取得部１５０９は、例えば、サービスステーション１１０'のスタッフ向けの表示装置である表示装置９１２に「判定不可」を表示してもよい。かかる構成によれば、給油許否の判定を行うことができなかった場合でも、サービスステーション１１０'のスタッフが、給油制御器２７１０を操作し、給油を制御することができる。
【0405】
また、送信部２８０１は、給油制御器２７１０との間の通信状況を監視し、通信の不具合が発生した場合にあっては、原因情報取得部１５０９に対して「通信異常」を出力するように構成してもよい。送信部２８０１から「通信異常」が出力された場合、原因情報取得部１５０９は、例えば、サービスステーション１１０'のスタッフ向けの表示装置である表示装置９１２に「通信異常」を表示してもよい。かかる構成によれば、給油許否の判定結果を給油制御器２７１０に送信することができなかった場合でも、サービスステーション１１０'のスタッフが、給油制御器２７１０を操作し、給油を制御することができる。
【0406】
図２８Ｂは、情報処理装置の第２給油監視部の機能構成の一例を示す図である。なお、図２８Ｂに示した第２給油監視部１００９＿２'の機能構成は、図２８Ａに示した、第１給油監視部１００９＿１'の機能構成と同様であるため、ここでは詳細な説明は割愛する。
【0407】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態では、上記第１の実施形態の情報処理装置１６０の機能を、情報処理装置１６０'と給油制御器２７１０とで実現する構成とした。このように、情報処理装置１６０'と給油制御器２７１０とを別体として構成した場合であっても、第２の実施形態によれば、上記第１の実施形態と同様の効果を享受することができる。
以上の説明から明らかなように、第２の実施形態では、上記第１の実施形態の情報処理装置１６０の機能を、情報処理装置１６０'と給油制御器２７１０とで実現する構成とした。このように、情報処理装置１６０'と給油制御器２７１０とを別体として構成した場合であっても、第２の実施形態によれば、上記第１の実施形態と同様の効果を享受することができる。
【0408】
［第３の実施形態］
上記第１の実施形態では、給油ノズルがノズル掛けから取り外されてからノズル掛けに戻されるまでの間を、３つの区間に分ける場合について説明した。しかしながら、分ける区間の数は３つに限定されず、４つ以上であってもよい。
上記第１の実施形態では、給油ノズルがノズル掛けから取り外されてからノズル掛けに戻されるまでの間を、３つの区間に分ける場合について説明した。しかしながら、分ける区間の数は３つに限定されず、４つ以上であってもよい。
【0409】
また、上記第１の実施形態では、１区間ごとに、１判定ロジックが対応付けられているものとして説明した。しかしながら、区間の数と判定ロジックの数との関係はこれに限定されず、例えば、連続する２区間に対して、１判定ロジックが対応付けられていてもよい。
【0410】
また、上記第１の実施形態では、給油種が２つの場合について説明したが、給油種は３つ以上であってもよい。なお、給油種が３つ以上の場合、学習済みモデルも３つ以上生成されるものとする。
【0411】
また、上記第１の実施形態では、認識対象として、第１給油種については、車両、容器、給油者、給油ノズル等とした。しかしながら、第１給油種についての認識対象は、これらに限定されない。
【0412】
同様に、第１の実施形態では、認識対象として、第２給油種については、容器、給油者、給油ノズル等とした。しかしながら、第２給油種についての認識対象は、これらに限定されない。
【0413】
【0414】
【0415】
また、上記第１の実施形態では、サービスステーション１１０'のスタッフ向けの表示装置である表示装置９１２に、例えば、原因情報を表示した後の処理について言及しなかったが、原因情報を表示した後は、スタッフによる手動操作に切り替えてもよい。
【0416】
また、上記第１の実施形態では、学習処理の実行回数について言及しなかったが、学習処理は複数回実行されてもよい。例えば、１回目の学習処理により生成された第１学習済みモデル及び第２学習済みモデルによる画像認識処理において、十分な認識精度が得られなかった場合、あるいは、認識精度が低下した場合には、追加の学習処理が行われるように構成してもよい。
【0417】
例えば、学習装置１５０は、複数のサービスステーションから、再度、画像データ及び給油ノズルの状態を示す信号を収集し、学習用データを生成することで、追加の学習処理を行うように構成されてもよい。
【0418】
なお、学習装置１５０は、複数のサービスステーションから、任意のタイミングで、画像データ及び給油ノズルの状態を示す信号を収集できるように構成されてもよい。また、ネットワーク１８０には、認識精度を監視し、認識精度が低下した場合に、原因を解析し、学習装置１５０に通知する装置が接続されていてもよい。
【0419】
また、上記第１の実施形態では、学習装置１５０と情報処理装置１６０とを別体として構成したが、学習装置１５０と情報処理装置１６０とは一体として構成してもよい。
【0420】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0421】
１１０、１１１ ：サービスステーション
１１０Ｓ' ：給油システム
１２０＿１ ：第１給油機
１２０＿２ ：第２給油機
１２１＿１、１２１＿２ ：給油ノズル
１２２＿１、１２２＿２ ：音声出力装置
１２３＿１、１２３＿３ ：給油データ表示器
１２４＿１、１２４＿２ ：給油バルブ
１２５＿１、１２５＿２ ：給油ポンプ
１３０＿１、１３０＿２ ：カメラ
１７０＿１、１７０＿２ ：サーマルセンサ
１５０ ：学習装置
１６０ ：情報処理装置
１６０' ：情報処理装置
２１０ ：第１領域
２２０ ：第２領域
２１１ ：車両
２２１ ：給油者
２３１ ：容器
２４１ ：給油者
５００Ａ ：学習用データ生成部
５００Ｂ ：学習部
６００ ：第１学習用データ
７００ ：第２学習用データ
９１２ ：表示装置
９２１＿１ ：第１給油用センサ
９２１＿２ ：第２給油用センサ
１００１ ：第１給油種画像データ取得部
１００２ ：第２給油種画像データ取得部
１００３ ：第１給油用センサデータ取得部
１００４ ：第２給油用センサデータ取得部
１００５ ：画像認識部
１００６、１００７ ：区間判定部
１００９＿１ ：第１給油監視部
１００９＿１' ：第１給油監視部
１００９＿２ ：第２給油監視部
１００９＿２' ：第２給油監視部
１０１０ ：出力制御部
１３０２ ：第１学習済みモデル
１３１２ ：第２学習済みモデル
１５０３、１５１３ ：第１判定ロジック
１５０４、１５１４ ：第２判定ロジック
１５０５、１５１５ ：第３判定ロジック
２７１０ ：給油制御器
２８０１、２８１１ ：送信部
１１０Ｓ' ：給油システム
１２０＿１ ：第１給油機
１２０＿２ ：第２給油機
１２１＿１、１２１＿２ ：給油ノズル
１２２＿１、１２２＿２ ：音声出力装置
１２３＿１、１２３＿３ ：給油データ表示器
１２４＿１、１２４＿２ ：給油バルブ
１２５＿１、１２５＿２ ：給油ポンプ
１３０＿１、１３０＿２ ：カメラ
１７０＿１、１７０＿２ ：サーマルセンサ
１５０ ：学習装置
１６０ ：情報処理装置
１６０' ：情報処理装置
２１０ ：第１領域
２２０ ：第２領域
２１１ ：車両
２２１ ：給油者
２３１ ：容器
２４１ ：給油者
５００Ａ ：学習用データ生成部
５００Ｂ ：学習部
６００ ：第１学習用データ
７００ ：第２学習用データ
９１２ ：表示装置
９２１＿１ ：第１給油用センサ
９２１＿２ ：第２給油用センサ
１００１ ：第１給油種画像データ取得部
１００２ ：第２給油種画像データ取得部
１００３ ：第１給油用センサデータ取得部
１００４ ：第２給油用センサデータ取得部
１００５ ：画像認識部
１００６、１００７ ：区間判定部
１００９＿１ ：第１給油監視部
１００９＿１' ：第１給油監視部
１００９＿２ ：第２給油監視部
１００９＿２' ：第２給油監視部
１０１０ ：出力制御部
１３０２ ：第１学習済みモデル
１３１２ ：第２学習済みモデル
１５０３、１５１３ ：第１判定ロジック
１５０４、１５１４ ：第２判定ロジック
１５０５、１５１５ ：第３判定ロジック
２７１０ ：給油制御器
２８０１、２８１１ ：送信部
【要約】
【課題】給油シーンに応じた処理を実行可能な給油システムを提供する。
【解決手段】給油機と、情報処理装置と、を有する給油システムであって、前記情報処理装置は、前記給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定し、給油者の給油行為が、給油開始前の第１区間、給油中の第２区間、給油終了後の第３区間のうちのいずれの１区間に含まれるかに応じた判定ロジックに基づいて、または、いずれの連続する２区間に含まれるかに応じた判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止する。
【選択図】図１０
【解決手段】給油機と、情報処理装置と、を有する給油システムであって、前記情報処理装置は、前記給油機からの通知に基づき、給油ノズルの状態及び給油の状態を判定し、給油者の給油行為が、給油開始前の第１区間、給油中の第２区間、給油終了後の第３区間のうちのいずれの１区間に含まれるかに応じた判定ロジックに基づいて、または、いずれの連続する２区間に含まれるかに応じた判定ロジックに基づいて、給油不許可であると判定された場合、前記給油機による給油を禁止または停止する。
【選択図】図１０
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16A】
【図16B】
【図17A】
【図17B】
【図17C】
【図17D】
【図18A】
【図18B】
【図19】
【図20A】
【図20B】
【図21A】
【図21B】
【図21C】
【図21D】
【図22A】
【図22B】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28A】
【図28B】