知財求人 - 知財ポータルサイト「IP Force」
特開2024-40906物体学習装置、場面推定装置、物体学習方法、および場面推定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040906
(43)【公開日】2024-03-26
(54)【発明の名称】物体学習装置、場面推定装置、物体学習方法、および場面推定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240318BHJP
G06V 10/82 20220101ALI20240318BHJP
G06N 3/08 20230101ALI20240318BHJP
G06N 3/04 20230101ALI20240318BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06N3/08
G06N3/04
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022145561
(22)【出願日】2022-09-13
(71)【出願人】
【識別番号】000206211
【氏名又は名称】大成建設株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】野村 価生
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA02
5L096FA09
5L096FA69
5L096GA34
5L096GA40
5L096GA55
5L096HA11
5L096JA11
5L096KA04
5L096MA07
(57)【要約】
【課題】画像から場面を精度よく判定することを低コストで実現可能にする。
【解決手段】物体学習装置は、画像を入力することによって前記画像に写る物体に関する物体情報を出力する推論モデル８を生成する深層学習部を備えており、前記深層学習部は、第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、推論モデル８の基礎となる基礎モデル５０を生成する第１の学習部１３Ａと、基礎モデル５０に含まれる特徴抽出伝播層を用いて再学習を行い、基礎モデル５０に含まれる第１の分類層とは異なる第２の分類層６６を生成する第２の学習部１３Ｂとを有する。第２の学習部１３Ｂは、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行い、推論モデル８は、第２の分類層６６の後段に基礎モデル５０を結合したものである。
【選択図】図４
【解決手段】物体学習装置は、画像を入力することによって前記画像に写る物体に関する物体情報を出力する推論モデル８を生成する深層学習部を備えており、前記深層学習部は、第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、推論モデル８の基礎となる基礎モデル５０を生成する第１の学習部１３Ａと、基礎モデル５０に含まれる特徴抽出伝播層を用いて再学習を行い、基礎モデル５０に含まれる第１の分類層とは異なる第２の分類層６６を生成する第２の学習部１３Ｂとを有する。第２の学習部１３Ｂは、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行い、推論モデル８は、第２の分類層６６の後段に基礎モデル５０を結合したものである。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像を入力することによって前記画像に写る物体に関する物体情報を出力する推論モデルを生成する深層学習部と、
生成した前記推論モデルを記憶する記憶部と、を備えており、
前記深層学習部は、
第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、前記推論モデルの基礎となる基礎モデルを生成する第１の学習部と、
前記基礎モデルに含まれる特徴抽出伝播層を用いて再学習を行い、前記基礎モデルに含まれる第１の分類層とは異なる第２の分類層を生成する第２の学習部と、を有し、
前記第２の学習部は、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行い、
前記推論モデルは、前記第２の分類層の後段に前記基礎モデルを結合したものである、
ことを特徴とする物体学習装置。
生成した前記推論モデルを記憶する記憶部と、を備えており、
前記深層学習部は、
第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、前記推論モデルの基礎となる基礎モデルを生成する第１の学習部と、
前記基礎モデルに含まれる特徴抽出伝播層を用いて再学習を行い、前記基礎モデルに含まれる第１の分類層とは異なる第２の分類層を生成する第２の学習部と、を有し、
前記第２の学習部は、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行い、
前記推論モデルは、前記第２の分類層の後段に前記基礎モデルを結合したものである、
ことを特徴とする物体学習装置。
【請求項2】
請求項１に記載の物体学習装置が学習した前記推論モデルを用いて画像に写る場面を推定する場面推定装置であって、
推定画像の入力を受け付ける推定画像入力部と、
前記推定画像から前記推論モデルを用いて前記物体情報を取得する推定部と、
取得した前記物体情報に基づいて場面を判定する場面判定部と、を備える、
ことを特徴とする場面推定装置。
推定画像の入力を受け付ける推定画像入力部と、
前記推定画像から前記推論モデルを用いて前記物体情報を取得する推定部と、
取得した前記物体情報に基づいて場面を判定する場面判定部と、を備える、
ことを特徴とする場面推定装置。
【請求項3】
画像を入力することによって前記画像に写る物体に関する物体情報を出力する推論モデルを生成する深層学習工程と、
生成した前記推論モデルを記憶する記憶工程と、を備えており、
前記深層学習工程は、
第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、前記推論モデルの基礎となる基礎モデルを生成する第１の学習工程と、
前記基礎モデルに含まれる特徴抽出伝播層を用いて再学習を行い、前記基礎モデルに含まれる第１の分類層とは異なる第２の分類層を生成する第２の学習工程と、を有し、
前記第２の学習工程では、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行い、
前記推論モデルは、前記第２の分類層の後段に前記基礎モデルを結合したものである、
ことを特徴とする物体学習方法。
生成した前記推論モデルを記憶する記憶工程と、を備えており、
前記深層学習工程は、
第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、前記推論モデルの基礎となる基礎モデルを生成する第１の学習工程と、
前記基礎モデルに含まれる特徴抽出伝播層を用いて再学習を行い、前記基礎モデルに含まれる第１の分類層とは異なる第２の分類層を生成する第２の学習工程と、を有し、
前記第２の学習工程では、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行い、
前記推論モデルは、前記第２の分類層の後段に前記基礎モデルを結合したものである、
ことを特徴とする物体学習方法。
【請求項4】
請求項３に記載の物体学習方法で学習した前記推論モデルを用いて画像に写る場面を推定する場面推定方法であって、
推定画像の入力を受け付ける推定画像入力工程と、
前記推定画像から前記推論モデルを用いて前記物体情報を取得する推定工程と、
取得した前記物体情報に基づいて場面を判定する場面判定工程と、を備える、
ことを特徴とする場面推定方法。
推定画像の入力を受け付ける推定画像入力工程と、
前記推定画像から前記推論モデルを用いて前記物体情報を取得する推定工程と、
取得した前記物体情報に基づいて場面を判定する場面判定工程と、を備える、
ことを特徴とする場面推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体学習装置、場面推定装置、物体学習方法、および場面推定方法に関する。
【背景技術】
【0002】
建設現場において、作業内容の進捗を判定できれば、判定した情報に基づいて品質管理や作業効率を容易に求めることができるので有用である。これに関連して、トンネル施工におけるトンネル施工工程を記録する技術が知られている（特許文献１参照）。特許文献１に記載される技術では、複数の機器に電力を供給する分電盤等の電源から、電気使用状態のＯＮ／ＯＦＦや電力量等の電気使用情報を取得し、その取得した電気使用情報の分析により、対応するトンネル施工工程を判定する。
【0003】
また、ＡＩ（Artificial Intelligence）技術を利用して、建設現場で作業員や建設機械を撮影画像から物体検出することが行われている。撮影画像からの物体検出には、畳み込みネットワーク（CNN：Convolutional Neural Network）を検出器として用いることが有効である。
非特許文献１には、検出器として、学習が容易で検出が速いYOLO（You Only Look Once）が記載されている。
非特許文献２には、検出器として、SSD（Single Shot MultiBox Detector）、Faster R-CNN（Regional Convolution Neural Network）、Fast R-CNN、R-CNN等が記載されている。
非特許文献１には、検出器として、学習が容易で検出が速いYOLO（You Only Look Once）が記載されている。
非特許文献２には、検出器として、SSD（Single Shot MultiBox Detector）、Faster R-CNN（Regional Convolution Neural Network）、Fast R-CNN、R-CNN等が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－０２７０９７号公報
【非特許文献】
【0005】
【非特許文献1】Kiana Ehsani, Hessam Bagherinezhad, Joseph Redmon, Roozbeh Mottaghi, and Ali Farhadi, "You only look once: Unified, real-time object detection.",CVPR2016.
【非特許文献2】Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu,Alexander C. Berg, "SSD: Single shot multibox detector. ", ECCV2016.
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来のＡＩ技術では、撮影画像から撮影された場面（シーン）を認識することが難しかった。例えば、撮影画像の特定部分に写る物体の物体認識を行い、その結果から撮影された場面を判定する方法では、物体を撮影する条件によっては物体の細かい分類（例えば、バックボウとホイールローダ、吹付け機とバックホウなど）を認識することが難しいという問題があり、トンネル工事等の場面を判定することが難しかった。ここでの物体を撮影する条件とは、例えば物体の特徴的でない部分のみしか撮影できない場合であり、トンネル工事において切羽付近で作業する建設機械の後部のみしか撮影できない場合などを想定している。また、撮影画像に写る場面自体を学習させ、撮影画像から場面を推定する方法では、学習が収束しなかったり、学習コスト（学習に要する計算コスト）が非常に高くなるという問題があり、市販されている汎用的なＰＣ（Personal Computer）を用いることを想定した場合に現実的ではなかった。
このような観点から、本発明は、画像から場面を精度よく判定することを低コストで実現可能にする物体学習装置、場面推定装置、物体学習方法、および場面推定方法を提供する。
このような観点から、本発明は、画像から場面を精度よく判定することを低コストで実現可能にする物体学習装置、場面推定装置、物体学習方法、および場面推定方法を提供する。
【課題を解決するための手段】
【0007】
本発明に係る物体学習装置は、画像を入力することによって前記画像に写る物体に関する物体情報を出力する推論モデルを生成する深層学習部と、生成した前記推論モデルを記憶する記憶部とを備え、前記深層学習部は、第１の学習部と、第２の学習部とを有する。
第１の学習部は、第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、前記推論モデルの基礎となる基礎モデルを生成する。第２の学習部は、前記基礎モデルに含まれる特徴抽出伝播層を用いて再学習を行い、前記基礎モデルに含まれる第１の分類層とは異なる第２の分類層を生成する。第２の学習部は、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行う。前記推論モデルは、前記第２の分類層の後段に前記基礎モデルを結合したものである。
本発明に係る物体学習装置においては、画像に写る場面を判定した場面情報を用いて学習を行うので、第２の分類層には画像に写る場面が反映されている。そのため、第２の分類層を含んだ推論モデルを用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。その結果、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。なお、第２の学習部では、画像全体を学習させているものの、画像から場面を推定できるまで学習させなくてよいので、学習が収束しなかったり、学習コストが非常に高くなるといった問題が発生し難い。
第１の学習部は、第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、前記推論モデルの基礎となる基礎モデルを生成する。第２の学習部は、前記基礎モデルに含まれる特徴抽出伝播層を用いて再学習を行い、前記基礎モデルに含まれる第１の分類層とは異なる第２の分類層を生成する。第２の学習部は、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行う。前記推論モデルは、前記第２の分類層の後段に前記基礎モデルを結合したものである。
本発明に係る物体学習装置においては、画像に写る場面を判定した場面情報を用いて学習を行うので、第２の分類層には画像に写る場面が反映されている。そのため、第２の分類層を含んだ推論モデルを用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。その結果、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。なお、第２の学習部では、画像全体を学習させているものの、画像から場面を推定できるまで学習させなくてよいので、学習が収束しなかったり、学習コストが非常に高くなるといった問題が発生し難い。
【0008】
本発明に係る場面推定装置は、上記の物体学習装置が学習した前記推論モデルを用いて画像に写る場面を推定する場面推定装置である。この場面推定装置は、推定画像の入力を受け付ける推定画像入力部と、前記推定画像から前記推論モデルを用いて前記物体情報を取得する推定部と、取得した前記物体情報に基づいて場面を判定する場面判定部とを備える。
本発明に係る場面推定装置においては、第２の分類層を含んだ推論モデルを用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。そのため、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。
本発明に係る場面推定装置においては、第２の分類層を含んだ推論モデルを用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。そのため、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。
【0009】
本発明に係る物体学習方法は、画像を入力することによって前記画像に写る物体に関する物体情報を出力する推論モデルを生成する深層学習工程と、生成した前記推論モデルを記憶する記憶工程とを備え、前記深層学習工程は、第１の学習工程と、第２の学習工程とを有する。
第１の学習工程は、第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、前記推論モデルの基礎となる基礎モデルを生成する。第２の学習工程は、前記基礎モデルに含まれる特徴抽出伝播層を用いて再学習を行い、前記基礎モデルに含まれる第１の分類層とは異なる第２の分類層を生成する。前記第２の学習工程では、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行う。前記推論モデルは、前記第２の分類層の後段に前記基礎モデルを結合したものである。
本発明に係る物体学習方法においては、画像に写る場面を判定した場面情報を用いて学習を行うので、第２の分類層には画像に写る場面が反映されている。そのため、第２の分類層を含んだ推論モデルを用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。その結果、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。なお、第２の学習部では、画像全体を学習させているものの、画像から場面を推定できるまで学習させなくてよいので、学習が収束しなかったり、学習コストが非常に高くなるといった問題が発生し難い。
第１の学習工程は、第１の学習画像の特定部分と前記特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させ、前記推論モデルの基礎となる基礎モデルを生成する。第２の学習工程は、前記基礎モデルに含まれる特徴抽出伝播層を用いて再学習を行い、前記基礎モデルに含まれる第１の分類層とは異なる第２の分類層を生成する。前記第２の学習工程では、第２の学習画像と前記第２の学習画像に写る場面を判定した場面情報との組合せを用いて再学習を行う。前記推論モデルは、前記第２の分類層の後段に前記基礎モデルを結合したものである。
本発明に係る物体学習方法においては、画像に写る場面を判定した場面情報を用いて学習を行うので、第２の分類層には画像に写る場面が反映されている。そのため、第２の分類層を含んだ推論モデルを用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。その結果、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。なお、第２の学習部では、画像全体を学習させているものの、画像から場面を推定できるまで学習させなくてよいので、学習が収束しなかったり、学習コストが非常に高くなるといった問題が発生し難い。
【0010】
本発明に係る場面推定方法は、上記の物体学習方法で学習した前記推論モデルを用いて画像に写る場面を推定する場面推定方法である。この場面推定方法は、推定画像の入力を受け付ける推定画像入力工程と、前記推定画像から前記推論モデルを用いて前記物体情報を取得する推定工程と、取得した前記物体情報に基づいて場面を判定する場面判定工程とを備える。
本発明に係る場面推定方法においては、第２の分類層を含んだ推論モデルを用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。そのため、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。
本発明に係る場面推定方法においては、第２の分類層を含んだ推論モデルを用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。そのため、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。
【発明の効果】
【0011】
本発明によれば、画像から場面を精度よく判定することを低コストで実現可能にする。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態に係る場面認識システムの概略構成図である。
【図2】場面判定画像のイメージ図である。
【図3】推論モデルのイメージ図である。
【図4】推論モデルの学習方法を説明するための図である。
【図5】本発明の実施形態に係る場面認識システムの動作を示すフローチャートの一例である。
【図6】比較例として、YOLOに基づく処理を示すフローチャートである。
【図7】比較例として、SSDに基づく処理を示すフローチャートである。
【図8】比較例での物体認識結果のイメージ図である。
【図9】本発明の実施形態に係る推論モデルでの物体認識結果のイメージ図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0014】
＜実施形態に係る場面認識システムの構成について＞
図１を参照して、実施形態に係る場面認識システム９の構成について説明する。図１は、実施形態に係る場面認識システム９の概略構成図である。
場面認識システム９は、撮影画像に基づいて撮影された場面（シーン）を認識するシステムである。場面認識システム９は、場面の認識を必要とする様々な場面で使用することができ、認識の対象となる場面は、業種、用途などを限定されない。例えば、場面認識システム９をトンネル工事に用いることで、撮影画像からトンネル施工工程（例えば、発破作業、ズリ出し作業、コンクリートの吹付け作業など）を認識できる。
図１を参照して、実施形態に係る場面認識システム９の構成について説明する。図１は、実施形態に係る場面認識システム９の概略構成図である。
場面認識システム９は、撮影画像に基づいて撮影された場面（シーン）を認識するシステムである。場面認識システム９は、場面の認識を必要とする様々な場面で使用することができ、認識の対象となる場面は、業種、用途などを限定されない。例えば、場面認識システム９をトンネル工事に用いることで、撮影画像からトンネル施工工程（例えば、発破作業、ズリ出し作業、コンクリートの吹付け作業など）を認識できる。
【0015】
図１に示すように、場面認識システム９は、カメラ１，２と、物体学習装置１０と、場面推定装置２０とを有する。
カメラ１は、撮影した学習用映像を物体学習装置１０に出力する。カメラ２は、撮影した推定用映像を場面推定装置２０に出力する。カメラ１，２は、例えば、デジタル画像を取得可能なビデオカメラである。カメラ１，２は同じカメラでもよい。
カメラ１は、撮影した学習用映像を物体学習装置１０に出力する。カメラ２は、撮影した推定用映像を場面推定装置２０に出力する。カメラ１，２は、例えば、デジタル画像を取得可能なビデオカメラである。カメラ１，２は同じカメラでもよい。
【0016】
物体学習装置１０は、画像に写る物体と当該物体に関する物体情報との関係を学習する装置である。物体情報は、物体を分類や特定するための情報であり、例えば物体の種類である。物体学習装置１０は、学習用映像入力部１１と、教師データ生成部１２と、深層学習部１３と、記憶部１４とを有する。
【0017】
学習用映像入力部１１は、カメラ１から入力された学習用映像に対して、事前に指定された抽出レートで学習対象となる学習画像を抽出し、その学習画像を教師データ生成部１２に出力する。例えば、学習用映像が「60フレーム/秒」で撮影され、抽出レートが「10フレーム/秒」の場合、１秒の学習用映像から「10枚」の学習画像が抽出され、その他の「50枚」の画像は抽出されずに破棄される。なお、映像を入力する学習用映像入力部１１に代えて、静止画像を入力する学習画像入力部（図示せず）を備える構成であってもよい。学習用映像入力部１１は、学習画像入力部の一例である。また、カメラ１から学習用映像や学習画像を直接入力せず、学習用映像や学習画像を記憶する記憶手段（例えば、ファイルサーバ）から学習用映像や学習画像を入力してもよい。つまり、学習用映像や学習画像の入力方法は限定されない。
【0018】
教師データ生成部１２は、学習用映像入力部１１が抽出した学習画像を表示装置（図示省略）でユーザに閲覧させ、そのユーザから教師データとしてのタグの入力を受け付ける。タグとは、学習画像内のどの位置に何が写っているかを示す物体の情報である。そして、教師データ生成部１２は、学習画像とタグとの組み合わせを深層学習部１３に出力する。教師データ生成部１２は、通常、学習画像とタグの組を複数組セットにした学習用データセットを生成し、この学習用データセットを深層学習部１３に出力するが、学習画像とタグの組を１組ずつ深層学習部１３に出力してもよい。
【0019】
深層学習部１３は、学習用データセットから推論モデルを生成する装置である。推論モデルは、画像を入力することによって当該画像に写る物体に関する物体情報を出力するプログラムである。深層学習部１３は、学習前のＣＮＮなどの学習モデル（「初期モデル」と称する）に対して、学習画像とタグとの組み合わせを入力することにより、初期モデルの学習（パラメータの調整等）を行い、その結果としての学習済の推論モデルを記憶部１４に書き出す。
記憶部１４は、深層学習部１３により生成された推論モデルを受け取り、要求に応じて受け渡し可能な状態で推論モデルを記憶する。
記憶部１４は、深層学習部１３により生成された推論モデルを受け取り、要求に応じて受け渡し可能な状態で推論モデルを記憶する。
【0020】
場面推定装置２０は、画像に写る場面を推定する装置である。場面推定装置２０は、物体学習装置１０が学習した推論モデルを用いて場面を推定する。場面推定装置２０は、推定用映像入力部２１と、推定部２２と、推定結果記憶部２３とを有する。
推定用映像入力部２１は、カメラ２から入力された推定用映像に対して、事前に指定された抽出レートで推定対象となる推定画像を抽出し、その推定画像を推定部２２に出力する。なお、映像を入力する推定用映像入力部２１に代えて、静止画像を入力する推定画像入力部（図示せず）を備える構成であってもよい。推定用映像入力部２１は、推定画像入力部の一例である。また、カメラ２から推定用映像や推定画像を直接入力せず、推定用映像や推定画像を記憶する記憶手段（例えば、ファイルサーバ）から推定用映像や推定画像を入力してもよい。つまり、推定用映像や推定画像の入力方法は限定されない。
推定用映像入力部２１は、カメラ２から入力された推定用映像に対して、事前に指定された抽出レートで推定対象となる推定画像を抽出し、その推定画像を推定部２２に出力する。なお、映像を入力する推定用映像入力部２１に代えて、静止画像を入力する推定画像入力部（図示せず）を備える構成であってもよい。推定用映像入力部２１は、推定画像入力部の一例である。また、カメラ２から推定用映像や推定画像を直接入力せず、推定用映像や推定画像を記憶する記憶手段（例えば、ファイルサーバ）から推定用映像や推定画像を入力してもよい。つまり、推定用映像や推定画像の入力方法は限定されない。
【0021】
推定部２２は、推論モデルを用いて推定画像から物体情報を取得する。例えば、推定部２２は、学習済の推論モデルを記憶部１４から読み出し、その推論モデルに対して推定画像を入力することにより、推定画像に対応するタグを推論モデルから取得する。推定部２２は、推定画像と推論モデルから取得したタグ（推定画像のどこに何が映っているか）とを推定結果記憶部２３に書き出す。
【0022】
場面判定部２４は、推定部２２で取得した物体情報に基づいて推定画像の場面を判定する。例えば、場面判定部２４は、推定画像のタグを推定結果記憶部２３から読み出して、画像に写る物体の種類に基づいて推定画像の場面を判定する。場面判定部２４は、例えば、物体の種類と場面との関係を示すテーブルを有しており、そのテーブルに基づいて場面を判定する。場面判定部２４は、画像における物体の位置と種類とを把握し、物体の位置と種類との関係から推定画像の場面を判定してもよい。
場面判定部２４は、推定画像と判定した場面の情報（場面情報）とを対応付けて表示装置（図示せず）に出力する。場面判定部２４は、例えば、推定画像の一部に場面情報を付加した状態の場面判定画像９０（図２参照）を表示装置に出力する。図２に示す場面判定画像９０には、左上の角部分に場面情報「shotcrete（吹付けコンクリート）」が付加されており、当該画像を見たユーザは「コンクリートの吹付け作業」を行っていることが一目で理解できる。場面判定画像９０の切羽付近には、コンクリート吹付機９１が写っており、「コンクリートの吹付け作業」の場面判定は正しいことが分かる。
場面判定部２４は、推定画像と判定した場面の情報（場面情報）とを対応付けて表示装置（図示せず）に出力する。場面判定部２４は、例えば、推定画像の一部に場面情報を付加した状態の場面判定画像９０（図２参照）を表示装置に出力する。図２に示す場面判定画像９０には、左上の角部分に場面情報「shotcrete（吹付けコンクリート）」が付加されており、当該画像を見たユーザは「コンクリートの吹付け作業」を行っていることが一目で理解できる。場面判定画像９０の切羽付近には、コンクリート吹付機９１が写っており、「コンクリートの吹付け作業」の場面判定は正しいことが分かる。
【0023】
図３および図４を参照して（適宜、図１および図２を参照）、推論モデル８について説明する。図３は、推論モデル８のイメージ図である。図４は、推論モデル８の学習方法を説明するための図である。図３に示すように、推論モデル８は、推論モデルの基礎となる基礎モデル５０と、基礎モデル５０の前工程の処理を行う前処理部６０とを備える。
図３に示す前処理部６０は、第２の分類層６６を有する。第２の分類層６６は、図４に示す第２の学習工程（ステップＳ２０）によって生成される。第２の分類層６６は、推定画像を受け、基礎モデル５０の入力層５１に処理後のデータを渡す。つまり、第２の分類層６６の後段に基礎モデル５０が結合される。
図３に示す前処理部６０は、第２の分類層６６を有する。第２の分類層６６は、図４に示す第２の学習工程（ステップＳ２０）によって生成される。第２の分類層６６は、推定画像を受け、基礎モデル５０の入力層５１に処理後のデータを渡す。つまり、第２の分類層６６の後段に基礎モデル５０が結合される。
【0024】
図３に示すように、基礎モデル５０は、入力層５１、特徴抽出伝播層５９、第１の分類層５６、出力層５７の順に接続されて構成される。基礎モデル５０は、画像から物体検出可能な学習モデルであり、例えば、YOLO、SSD等の学習モデルである。基礎モデル５０は、図４に示す第１の学習工程（ステップＳ１０）によって生成される。
入力層５１は、第２の分類層６６の出力結果を受け、特徴抽出伝播層５９に伝搬する。
特徴抽出伝播層５９は、入力層５１の出力結果から物体情報の推定に用いられる特徴点（特徴量）を抽出し、抽出した情報を次層へ伝播させる（例えば、抽出した情報をそのまま直列で次層へ伝播させる）層である。特徴抽出伝播層５９は、画像内から特定のパターンを抽出するフィルタとして機能する畳み込み層５２，５４と、画像サイズを集約して後段の層に扱いやすくするためのプーリング層５３，５５とを接続して構成される。なお、図３では、（２層の畳み込み層５２，５４）＋（２層のプーリング層５３，５５）＝合計４層から構成される特徴抽出伝播層５９を例示したが、各層の数は任意である。
第１の分類層５６は、特徴抽出伝播層５９の出力結果を受け、特徴抽出伝播層５９の特徴量に基づく分類を行う層である。第１の分類層５６は、特徴抽出伝播層５９（末尾の第１の分類層５６）と全結合される。本実施形態での第１の分類層５６は、全結合されている全結合層（Fully Connected Layer）である。なお、第１の分類層５６は、全結合されるものでなくてもよい。
出力層５７は、第１の分類層５６の出力結果を受け、物体情報を出力する層である。
入力層５１は、第２の分類層６６の出力結果を受け、特徴抽出伝播層５９に伝搬する。
特徴抽出伝播層５９は、入力層５１の出力結果から物体情報の推定に用いられる特徴点（特徴量）を抽出し、抽出した情報を次層へ伝播させる（例えば、抽出した情報をそのまま直列で次層へ伝播させる）層である。特徴抽出伝播層５９は、画像内から特定のパターンを抽出するフィルタとして機能する畳み込み層５２，５４と、画像サイズを集約して後段の層に扱いやすくするためのプーリング層５３，５５とを接続して構成される。なお、図３では、（２層の畳み込み層５２，５４）＋（２層のプーリング層５３，５５）＝合計４層から構成される特徴抽出伝播層５９を例示したが、各層の数は任意である。
第１の分類層５６は、特徴抽出伝播層５９の出力結果を受け、特徴抽出伝播層５９の特徴量に基づく分類を行う層である。第１の分類層５６は、特徴抽出伝播層５９（末尾の第１の分類層５６）と全結合される。本実施形態での第１の分類層５６は、全結合されている全結合層（Fully Connected Layer）である。なお、第１の分類層５６は、全結合されるものでなくてもよい。
出力層５７は、第１の分類層５６の出力結果を受け、物体情報を出力する層である。
【0025】
図４に示すように、推論モデル８（図３参照）の学習工程は、「第１の学習工程（ステップＳ１０）」と、「第２の学習工程（ステップＳ２０）」と、「結合工程（ステップＳ３０）」と、を有する。深層学習部１３（図１参照）は、図４に示す第１の学習部１３Ａおよび第２の学習部１３Ｂを有する。第１の学習部１３Ａは、第１の学習工程（ステップＳ１０）の処理を実施し、また、第２の学習部１３Ｂは、第２の学習工程（ステップＳ２０）の処理を実施する。
【0026】
＜第１の学習工程（ステップＳ１０）＞
図４に示す第１の学習工程（ステップＳ１０）は、基礎モデル５０を生成する工程である。基礎モデル５０は、画像から物体認識可能なもの（例えばYOLOモデル、SSDモデル等）である。第１の学習部１３Ａは、学習画像の特定部分と当該特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させて基礎モデル５０を生成する。基礎モデル５０の学習方法は限定されず、様々な学習方法を用いることが可能である。
学習前の初期モデルを用意し、学習画像とタグ（学習画像のどこに何が映っているか）の組を複数組セットにした学習用データセットを第１の学習部１３Ａに渡すことによって第１の学習工程（ステップＳ１０）の処理が開始される。
図４に示す第１の学習工程（ステップＳ１０）は、基礎モデル５０を生成する工程である。基礎モデル５０は、画像から物体認識可能なもの（例えばYOLOモデル、SSDモデル等）である。第１の学習部１３Ａは、学習画像の特定部分と当該特定部分に写る物体に関する物体情報との組合せを用いて初期モデルを学習させて基礎モデル５０を生成する。基礎モデル５０の学習方法は限定されず、様々な学習方法を用いることが可能である。
学習前の初期モデルを用意し、学習画像とタグ（学習画像のどこに何が映っているか）の組を複数組セットにした学習用データセットを第１の学習部１３Ａに渡すことによって第１の学習工程（ステップＳ１０）の処理が開始される。
【0027】
第１の学習部１３Ａは、初期モデルの入力層に学習画像を入力し（ステップＳ１１）、特徴抽出伝播層の処理を行う（ステップＳ１２）。ステップＳ１２では、所定の方法（例えば、誤差更新方法）により特徴抽出伝播層を学習する。ステップＳ１２では、畳み込み層による畳み込み処理およびプーリング層によるプーリング処理を任意の回数繰り返し実行する（ステップＳ１２Ａ）。これにより、各々の畳み込み層（各フィルタ）によって特徴が分割される。また、初期モデルの分類層による特徴量に基づく分類処理を実行する（ステップＳ１２Ｂ）。これにより、画像から物体認識可能な基礎モデル５０が生成される。図３に示すように、基礎モデル５０は、第１の学習工程で学習された第１の分類層５６を有する。第１の学習部１３Ａは、生成した基礎モデル５０を深層学習部１３に出力する（ステップＳ１３）。
【0028】
＜第２の学習工程（ステップＳ２０）＞
図４に示す第２の学習工程（ステップＳ２０）は、基礎モデル５０に含まれる特徴抽出伝播層５９を用いて再学習を行い、基礎モデル５０に含まれる第１の分類層５６とは異なる第２の分類層６６（図３参照）を生成する工程である。そのため、第２の学習工程（ステップＳ２０）は、第１の学習工程（ステップＳ１０）の後で実施される。
第２の学習工程（ステップＳ２０）では、学習画像がどのような場面であるかの情報（場面情報）をタグとして用いて学習を行う。第２の学習工程（ステップＳ２０）で使用する学習画像は、第１の学習工程（ステップＳ１０）で使用したものと同じ画像であってよく、本実施形態でも同じ画像を使用することを想定して説明する。ただし、第１の学習工程（ステップＳ１０）と第２の学習工程（ステップＳ２０）とで同じ学習画像を用いないことも可能である。第１の学習工程（ステップＳ１０）で使用する学習画像を「第１の学習画像」と呼び、また、第２の学習工程（ステップＳ２０）で使用する学習画像を「第２の学習画像」と呼ぶ場合がある。なお、第２の学習工程（ステップＳ２０）では、第１の学習工程（ステップＳ１０）とは異なり、撮影画像から場面を正確に推定できるまで学習させなくてよい（例えば、推定の精度が低いものであってよい）。例えば、認識率が更新されなくなるまで学習を行うのがよく、ケースによっては学習を収束させなくてもよい場合もある。
第１の学習工程（ステップＳ１０）で生成した基礎モデル５０を用意し、学習画像とタグ（学習画像がどのような場面であるか）の組を複数組セットにした学習用データセットを第２の学習部１３Ｂに渡すことによって第２の学習工程（ステップＳ２０）の処理が開始される。
図４に示す第２の学習工程（ステップＳ２０）は、基礎モデル５０に含まれる特徴抽出伝播層５９を用いて再学習を行い、基礎モデル５０に含まれる第１の分類層５６とは異なる第２の分類層６６（図３参照）を生成する工程である。そのため、第２の学習工程（ステップＳ２０）は、第１の学習工程（ステップＳ１０）の後で実施される。
第２の学習工程（ステップＳ２０）では、学習画像がどのような場面であるかの情報（場面情報）をタグとして用いて学習を行う。第２の学習工程（ステップＳ２０）で使用する学習画像は、第１の学習工程（ステップＳ１０）で使用したものと同じ画像であってよく、本実施形態でも同じ画像を使用することを想定して説明する。ただし、第１の学習工程（ステップＳ１０）と第２の学習工程（ステップＳ２０）とで同じ学習画像を用いないことも可能である。第１の学習工程（ステップＳ１０）で使用する学習画像を「第１の学習画像」と呼び、また、第２の学習工程（ステップＳ２０）で使用する学習画像を「第２の学習画像」と呼ぶ場合がある。なお、第２の学習工程（ステップＳ２０）では、第１の学習工程（ステップＳ１０）とは異なり、撮影画像から場面を正確に推定できるまで学習させなくてよい（例えば、推定の精度が低いものであってよい）。例えば、認識率が更新されなくなるまで学習を行うのがよく、ケースによっては学習を収束させなくてもよい場合もある。
第１の学習工程（ステップＳ１０）で生成した基礎モデル５０を用意し、学習画像とタグ（学習画像がどのような場面であるか）の組を複数組セットにした学習用データセットを第２の学習部１３Ｂに渡すことによって第２の学習工程（ステップＳ２０）の処理が開始される。
【0029】
第２の学習部１３Ｂは、基礎モデル５０の入力層に学習画像を入力し（ステップＳ２１）、特徴抽出伝播層の処理を行う（ステップＳ２２）。ここで、畳み込み層およびプーリング層は、第１の学習工程（ステップＳ１０）で既に学習が実施されたものであるが、第１の学習工程（ステップＳ１０）とはパラメータを変更してある。つまり、第２の学習工程（ステップＳ２０）では、畳み込み層およびプーリング層のパラメータを第１の学習工程（ステップＳ１０）とは異なる任意の値に変更して再学習を行う。ステップＳ２２では、所定の方法（例えば、誤差更新方法）により特徴抽出伝播層を学習する。ステップＳ２２では、畳み込み層による畳み込み処理およびプーリング層によるプーリング処理を任意の回数繰り返し実行する（ステップＳ２２Ａ）。これにより、各々の畳み込み層（各フィルタ）によって特徴が分割される。また、新たに分類層による特徴量に基づく分類処理を実行する（ステップＳ２２Ｂ）。これにより、基礎モデル５０に含まれる第１の分類層５６とは異なる第２の分類層６６（図３参照）が生成される。第２の学習部１３Ｂは、生成した第２の分類層６６を深層学習部１３に出力する（ステップＳ２３）。本実施形態での第２の分類層６６は、全結合されている全結合層（Fully Connected Layer）である。なお、第２の分類層６６は、全結合されるものでなくてもよい。
【0030】
＜結合工程（ステップＳ３０）＞
図４に示す結合工程（ステップＳ３０）は、第１の学習工程（ステップＳ１０）で生成した基礎モデル５０と、第２の学習工程（ステップＳ２０）で生成した第２の分類層６６とを結合し、推論モデル８を生成する工程である。第２の分類層６６と基礎モデル５０との結合は、データの受け渡しが可能であればよく、データの受け渡し方法は限定されない。図４に示すように、第２の分類層６６は、基礎モデル５０の前工程として結合される。例えば、第２の分類層６６と基礎モデル５０とを別々のプログラムとして作成し、第２の分類層６６の処理の後で基礎モデル５０をラップして処理するようにする。第２の分類層６６と基礎モデル５０とが結合されて生成された推論モデル８は、推定画像を入力することによって物体情報を出力する（図３参照）。
図４に示す結合工程（ステップＳ３０）は、第１の学習工程（ステップＳ１０）で生成した基礎モデル５０と、第２の学習工程（ステップＳ２０）で生成した第２の分類層６６とを結合し、推論モデル８を生成する工程である。第２の分類層６６と基礎モデル５０との結合は、データの受け渡しが可能であればよく、データの受け渡し方法は限定されない。図４に示すように、第２の分類層６６は、基礎モデル５０の前工程として結合される。例えば、第２の分類層６６と基礎モデル５０とを別々のプログラムとして作成し、第２の分類層６６の処理の後で基礎モデル５０をラップして処理するようにする。第２の分類層６６と基礎モデル５０とが結合されて生成された推論モデル８は、推定画像を入力することによって物体情報を出力する（図３参照）。
【0031】
＜実施形態に係る場面認識システムの動作について＞
図５を参照して（適宜、図１ないし図４を参照）、実施形態に係る場面認識システム９の動作について説明する。図５は、実施形態に係る場面認識システム９の動作を示すフローチャートの一例である。場面認識システム９の動作は、「学習工程」と「推定工程」とを有する。
図５を参照して（適宜、図１ないし図４を参照）、実施形態に係る場面認識システム９の動作について説明する。図５は、実施形態に係る場面認識システム９の動作を示すフローチャートの一例である。場面認識システム９の動作は、「学習工程」と「推定工程」とを有する。
【0032】
［学習工程］
学習する前の初期モデル（例えば、YOLOモデルやSSDモデルなど）の入力層（サイズ＝W×H×RGB）に、全学習素材を入力する（ステップＳ１１）。サイズ「W×H×RGB」は、画像サイズ「W（横の要素数）×H（縦の要素数）」と、色情報数「RGB(Red,Green,Blue)」との組み合わせである。サイズ「W×H×RGB」の積は、学習モデルの入力層に含まれるニューロンの数を意味する。例えば、サイズ「416×416×3」の学習画像を入力層に入力する。次に、入力層から特徴抽出伝播層（例えば、16個の畳み込み層）に学習素材を伝搬することで、初期モデルを畳み込み学習する（ステップＳ１２）。第１の学習部１３Ａは、入力された全学習素材について最後まで学習を実行し、基礎モデル５０を生成する（ステップＳ３０）。
学習する前の初期モデル（例えば、YOLOモデルやSSDモデルなど）の入力層（サイズ＝W×H×RGB）に、全学習素材を入力する（ステップＳ１１）。サイズ「W×H×RGB」は、画像サイズ「W（横の要素数）×H（縦の要素数）」と、色情報数「RGB(Red,Green,Blue)」との組み合わせである。サイズ「W×H×RGB」の積は、学習モデルの入力層に含まれるニューロンの数を意味する。例えば、サイズ「416×416×3」の学習画像を入力層に入力する。次に、入力層から特徴抽出伝播層（例えば、16個の畳み込み層）に学習素材を伝搬することで、初期モデルを畳み込み学習する（ステップＳ１２）。第１の学習部１３Ａは、入力された全学習素材について最後まで学習を実行し、基礎モデル５０を生成する（ステップＳ３０）。
【0033】
続いて、第２の学習部１３Ｂは、生成した基礎モデル５０のレイヤーのみを別パラメータを用いて別途再学習する（ステップＳ２０）。例えば、「Weights」「Dense」「Dropout」「Activation」の四つを変更して再学習を行う。パラメータの変更は、種々の最適化ツールを用いて行うことも可能であり、モデル解析を実行しその結果に基づいてレイヤーの並びを入れ替えたり増減させたりしてもよい。次に、深層学習部１３は、基礎モデル５０と再学習した第２の分類層６６（Fully Connected Layer）とを結合する（ステップＳ３０）。このとき、第２の分類層６６の下流側に基礎モデル５０を結合させる。第２の分類層６６のサイズは、例えば「1024×1024×3」であり、入力層よりも大きくなっている。これにより、推論モデル８が生成され、学習工程が完了する。
【0034】
［推定工程］
推定部２２は、学習工程で生成した推論モデル８を用いて、対象のフレームを演算処理する（ステップＳ４０）。推定部２２は、第２の分類層６６、基礎モデル５０の順番で対象のフレームを読み込ませて処理を行う。次に、場面判定部２４は、例えばフレームの一部に場面情報を付加した状態の場面判定画像９０（図２参照）を推定結果として表示装置に出力する（ステップＳ５０）。
推定部２２は、学習工程で生成した推論モデル８を用いて、対象のフレームを演算処理する（ステップＳ４０）。推定部２２は、第２の分類層６６、基礎モデル５０の順番で対象のフレームを読み込ませて処理を行う。次に、場面判定部２４は、例えばフレームの一部に場面情報を付加した状態の場面判定画像９０（図２参照）を推定結果として表示装置に出力する（ステップＳ５０）。
【0035】
以上のように、実施形態に係る場面認識システム９においては、画像に写る場面を判定した場面情報を用いて学習を行うので、第２の分類層６６には画像に写る場面が反映されている。そのため、第２の分類層６６を含んだ推論モデル８を用いることによって画像の場面を考慮した物体の認識ができるので、画像に写る物体のより細かい分類が高い精度で可能となる。その結果、物体の認識結果に基づいて画像に写る場面の判定を行うことができる。なお、第２の学習部１３Ｂでは、画像全体を学習させているものの、画像から場面を推定できるまで学習させなくてよいので、学習が収束しなかったり、学習コストが非常に高くなるといった問題が発生し難い。
【0036】
以上、図１ないし図５を参照して、本実施形態の場面認識システム９を説明した。以下の図６ないし図９では、比較例（非特許文献１のYOLO、非特許文献２のSSD）と比較することで、場面認識システム９の効果を説明する。
【0037】
図６は、比較例として、YOLOに基づく処理を示すフローチャートである。
比較例に係る学習装置は、YOLOモデルの入力層（サイズ＝416×416×3）に、全学習素材を入力する（Ｓ４０１）。
この学習装置は、Ｓ４０１の入力層から53個の畳み込み層に学習素材を伝搬することで、YOLOモデルを学習する（Ｓ４０２）。
学習装置は、学習素材の特徴点を集約する層（サイズ＝7×7×30）をＳ４０２の畳み込み層に追加することで、学習モデルを生成する（Ｓ４０３）。なお、層のサイズや層の数は、デフォルト値であるが、別の値を用いてもよい。
比較例に係る学習装置は、YOLOモデルの入力層（サイズ＝416×416×3）に、全学習素材を入力する（Ｓ４０１）。
この学習装置は、Ｓ４０１の入力層から53個の畳み込み層に学習素材を伝搬することで、YOLOモデルを学習する（Ｓ４０２）。
学習装置は、学習素材の特徴点を集約する層（サイズ＝7×7×30）をＳ４０２の畳み込み層に追加することで、学習モデルを生成する（Ｓ４０３）。なお、層のサイズや層の数は、デフォルト値であるが、別の値を用いてもよい。
【0038】
図７は、比較例として、SSDに基づく処理を示すフローチャートである。
比較例に係る学習装置は、SSDモデル入力層（サイズ＝224×224×3）に、全学習素材を入力する（Ｓ５０１）。
学習装置は、Ｓ５０１の入力層から16個の畳み込み層に学習素材を伝搬することで、SSDモデルを学習する（Ｓ５０２）。
学習装置は、学習素材の特徴点を集約する層（サイズ＝19×19×1024）をＳ５０２の畳み込み層に追加することで、学習モデルを生成する（Ｓ５０３）。なお、層のサイズや層の数は、デフォルト値であるが、別の値を用いてもよい。
学習装置は、Ｓ５０１の学習素材とは別の学習素材で学習済の任意の補助モデル（例えばVGG-16）の後に、Ｓ５０３の学習モデルを結合した結合モデルを生成する（Ｓ５０４）。
学習装置は、学習素材の特徴点を集約する層（サイズ＝13×13×256）をＳ５０４の結合モデルに追加することで、学習モデルを生成する（Ｓ５０５）。
比較例に係る学習装置は、SSDモデル入力層（サイズ＝224×224×3）に、全学習素材を入力する（Ｓ５０１）。
学習装置は、Ｓ５０１の入力層から16個の畳み込み層に学習素材を伝搬することで、SSDモデルを学習する（Ｓ５０２）。
学習装置は、学習素材の特徴点を集約する層（サイズ＝19×19×1024）をＳ５０２の畳み込み層に追加することで、学習モデルを生成する（Ｓ５０３）。なお、層のサイズや層の数は、デフォルト値であるが、別の値を用いてもよい。
学習装置は、Ｓ５０１の学習素材とは別の学習素材で学習済の任意の補助モデル（例えばVGG-16）の後に、Ｓ５０３の学習モデルを結合した結合モデルを生成する（Ｓ５０４）。
学習装置は、学習素材の特徴点を集約する層（サイズ＝13×13×256）をＳ５０４の結合モデルに追加することで、学習モデルを生成する（Ｓ５０５）。
【0039】
図８に比較例による物体認識結果を示す。図８に示す画像１９０では、切羽付近にある建設機械９１が「掘削機」であると誤認識している（正しくは「コンクリート吹付機」である）。これは、建設機械９１の後部のみしか撮影できておらず、特徴的な前部を撮影できていないことが主な原因である。
これに対して、本発明の推論モデル８による物体認識結果を図９に示す。図９に画像２９０では、建設機械９１の後部からでも当該建設機械９１が「コンクリート吹付機」であると正しく認識できている。そのため、本実施形態に係る場面認識システム９においては、図９に示す認識結果に基づいて、「コンクリートの吹付け作業」の場面判定を行うことが可能である（図２参照）。
これに対して、本発明の推論モデル８による物体認識結果を図９に示す。図９に画像２９０では、建設機械９１の後部からでも当該建設機械９１が「コンクリート吹付機」であると正しく認識できている。そのため、本実施形態に係る場面認識システム９においては、図９に示す認識結果に基づいて、「コンクリートの吹付け作業」の場面判定を行うことが可能である（図２参照）。
【0040】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
例えば、本実施形態ではトンネル施工工程（例えば、発破作業、ズリ出し作業、コンクリートの吹付け作業など）を認識する場合を説明したが、他の分野（例えば防犯分野）にも適用可能である。
例えば、本実施形態ではトンネル施工工程（例えば、発破作業、ズリ出し作業、コンクリートの吹付け作業など）を認識する場合を説明したが、他の分野（例えば防犯分野）にも適用可能である。
【符号の説明】
【0041】
１，２ カメラ
８ 推論モデル
９ 場面認識システム
１０ 物体学習装置
１１ 学習用映像入力部（学習画像入力部）
１２ 教師データ生成部
１３ 深層学習部
１３Ａ 第１の学習部
１３Ｂ 第２の学習部
１４ 記憶部
２０ 場面推定装置
２１ 推定用映像入力部（推定画像入力部）
２２ 推定部
２３ 推定結果記憶部
２４ 場面判定部
５０ 基礎モデル
５１ 入力層
５２，５４ 畳み込み層
５３，５５ プーリング層
５６ 第１の分類層
５７ 出力層
５９ 特徴抽出伝播層
６０ 前処理部
６６ 第２の分類層
８ 推論モデル
９ 場面認識システム
１０ 物体学習装置
１１ 学習用映像入力部（学習画像入力部）
１２ 教師データ生成部
１３ 深層学習部
１３Ａ 第１の学習部
１３Ｂ 第２の学習部
１４ 記憶部
２０ 場面推定装置
２１ 推定用映像入力部（推定画像入力部）
２２ 推定部
２３ 推定結果記憶部
２４ 場面判定部
５０ 基礎モデル
５１ 入力層
５２，５４ 畳み込み層
５３，５５ プーリング層
５６ 第１の分類層
５７ 出力層
５９ 特徴抽出伝播層
６０ 前処理部
６６ 第２の分類層
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】