特開 2024-9835 映像処理システム、映像処理方法及び映像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024009835

(43)【公開日】2024-01-23

(54)【発明の名称】映像処理システム、映像処理方法及び映像処理プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240116BHJP

   G06T 7/00 20170101ALI20240116BHJP

   G06F 3/0482 20130101ALI20240116BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G06T7/00 350B

G06T7/00 U

G06F3/0482

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023168332

(22)【出願日】2023-09-28

(62)【分割の表示】P 2022032816の分割

【原出願日】2014-06-25

(31)【優先権主張番号】P 2013136953

(32)【優先日】2013-06-28

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(72)【発明者】

【氏名】久田 大地

(72)【発明者】

【氏名】森部 岳志

(57)【要約】      （修正有）

【課題】挙動解析システムの実運用中に解析精度を向上させる映像処理システム、方法及びプログラムを提供する。
【解決手段】映像処理システムにおいて、映像処理装置は、監視カメラ１０２で撮影された映像と共に、映像に含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段１２３と、カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリを、映像に含まれる画像と共に学習用データとして蓄積する学習用データ蓄積手段１４０と、映像に基づいて、特定のカテゴリの事象を検出し、その検出結果を出力する検出手段と、カテゴリ設定画面において、映像に関連するカテゴリであって、設定済みのカテゴリとは異なる新たなカテゴリの事象を検出するために必要な情報の入力をオペレータ１８０から受け付ける入力手段と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラで撮影された映像から検出された物体のカテゴリを設定する設定手段と、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段と、
前記カテゴリ設定画面における前記異なるカテゴリの名称の入力を、オペレータの操作により受け付ける第１入力手段と、
前記映像上におけるオペレータの操作により、前記物体の一部分を示し前記異なるカテゴリに対応する領域を指定する矩形の枠の入力を受け付ける第２入力手段と、
学習のために前記異なるカテゴリの名称と前記映像における前記矩形の位置とを蓄積するデータ蓄積手段と、
を備えた映像処理システム。

【請求項2】

前記領域は、車両の一部分である、請求項１に記載の映像処理システム。

【請求項3】

さらに、前記異なるカテゴリの名称と前記映像における前記矩形の位置とを学習した結果を用いて検出を実行する検出手段を備えた請求項１または２に記載の映像処理システム。

【請求項4】

カメラで撮影された映像から検出された物体のカテゴリを設定し、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させ、
前記カテゴリ設定画面における前記異なるカテゴリの名称の入力を、オペレータの操作により受け付け、
前記映像上におけるオペレータの操作により、前記物体の一部分を示し前記異なるカテゴリに対応する領域を指定する矩形の枠の入力を受け付け、
学習のために前記異なるカテゴリの名称と前記映像における前記矩形の位置とを蓄積する、
映像処理方法。

【請求項5】

前記領域は、車両の一部分である、請求項４に記載の映像処理方法。

【請求項6】

さらに、前記異なるカテゴリの名称と前記映像における前記矩形の位置とを学習した結果を用いて検出を実行する、請求項４または５に記載の映像処理方法。

【請求項7】

カメラで撮影された映像から検出された物体のカテゴリを設定する処理、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる処理、
前記カテゴリ設定画面における前記異なるカテゴリの名称の入力を、オペレータの操作により受け付ける処理、
前記映像上におけるオペレータの操作により、前記物体の一部分を示し前記異なるカテゴリに対応する領域を指定する矩形の枠の入力を受け付ける処理、及び
学習のために前記異なるカテゴリの名称と前記映像における前記矩形の位置とを蓄積する処理、
をコンピュータに実行させるプログラム。

【請求項8】

前記領域は、車両の一部分である、請求項７に記載のプログラム。

【請求項9】

さらに、前記異なるカテゴリの名称と前記映像における前記矩形の位置とを学習した結果を用いて検出を実行する処理、をコンピュータに実行させる請求項７または８に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視カメラからの映像を解析する技術に関する。

【背景技術】

【0002】

上記技術分野において、特許文献１には、リアルタイム学習により、挙動認識システムの事前知識、事前学習を不要とする技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】ＷＯ２００８／０９８１８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の技術では、挙動認識を機械学習することにより、類似の物体の過去の観測に基づいて、一定の挙動を正常または異常と特徴付けている。これでは、システム運用者が積極的に介在、支援しないため、運用過程での識別器学習ができない。つまり、挙動解析システムの実運用中に解析精度を向上させることができない。

【0005】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る映像処理システムは、
カメラで撮影された映像に基づいて特定カテゴリの物体を検出し、検出の結果を出力する検出手段と、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段と、
前記映像上においてオペレータの操作により表示される矩形枠であって、前記異なるカテゴリに対応する前記物体の一部分を示す領域を指定するための領域指定用グラフィックオブジェクトの入力を受け付ける第１入力手段と、
前記領域指定用グラフィックオブジェクトにより指定される注目領域と、前記カテゴリ設定画面における前記異なるカテゴリの名称との入力を、オペレータの操作により受け付ける第２入力手段と、
前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する学習用データ蓄積手段と、 を備える。。

【0007】

上記目的を達成するため、本発明に係る映像処理方法は、
カメラで撮影された映像に基づいて特定カテゴリの物体を検出し、検出の結果を出力する検出ステップと、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御ステップと、
前記映像上においてオペレータの操作により表示される矩形枠であって、前記異なるカテゴリに対応する前記物体の一部分を示す領域を指定するための領域指定用グラフィックオブジェクトの入力を受け付ける第１入力ステップと、
前記領域指定用グラフィックオブジェクトにより指定される注目領域と、前記カテゴリ設定画面における前記異なるカテゴリの名称との入力を、オペレータの操作により受け付ける第２入力ステップと、
前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する学習用データ蓄積ステップと、 を含む。

【0008】

上記目的を達成するため、本発明に係る映像処理プログラムは、
カメラで撮影された映像に基づいて特定カテゴリの物体を検出し、検出の結果を出力する検出ステップと、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御ステップと、
前記映像上においてオペレータの操作により表示される矩形枠であって、前記異なるカテゴリに対応する前記物体の一部分を示す領域を指定するための領域指定用グラフィックオブジェクトの入力を受け付ける第１入力ステップと、
前記領域指定用グラフィックオブジェクトにより指定される注目領域と、前記カテゴリ設定画面における前記異なるカテゴリの名称との入力を、オペレータの操作により受け付ける第２入力ステップと、
前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する学習用データ蓄積ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、監視システムの実運用中に効果的かつ効率的に映像解析精度を高めることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。

【図2A】本発明の前提技術に係る映像監視システムの構成を示すブロック図である。

【図2B】本発明の前提技術に係る映像監視システムの構成を示すブロック図である。

【図3】本発明の前提技術に係る映像監視システムの処理の流れを示すフローチャートである。

【図4】本発明の前提技術に係る映像監視システムの学習処理の流れを示すフローチャートである。

【図5】本発明の第２実施形態に係る映像監視システムの構成を示すブロック図である。

【図6A】本発明の第２実施形態に係る映像監視システムで用いられるカテゴリテーブルの構成を示す図である。

【図6B】本発明の第２実施形態に係る映像監視システムで用いられるカテゴリテーブルの構成を示す図である。

【図6C】本発明の第２実施形態に係る映像監視システムにおいて映像監視操作端末群から学習用映像抽出部に送られるカテゴリ情報の内容を示す。

【図7A】本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。

【図7B】本発明の第２実施形態に係る映像監視システムに格納されるカメラごとの発生事象テーブルの例を示す図である。

【図8】本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。

【図9A】本発明の第２実施形態に係る映像監視システムの学習処理の流れを示すフローチャートである。

【図9B】本発明の第２実施形態に係る映像監視システムの学習処理の流れを示すフローチャートである。

【図10】本発明の第３実施形態に係る映像監視システムの構成を示すブロック図である。

【図11】本発明の第３実施形態に係る映像監視システムのインセンティブテーブルの内容を示すブロック図である。

【図12】本発明の第３実施形態に係る映像監視システムの学習処理の流れを示すフローチャートである。

【図13】本発明の第４実施形態に係る映像監視システムの表示画像例を示す図である。

【図14】本発明の第４実施形態に係る映像監視システムの学習処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

【0012】

［第１実施形態］
本発明の第１実施形態としての映像処理装置１０１について、図１を用いて説明する。図１に示すように、映像処理装置１０１は、映像データ蓄積部１２１と映像解析部１１１と表示制御部１２３と学習用データ蓄積部１４０とを含む。

【0013】

映像データ蓄積部１２１は、監視カメラ１０２で撮影された映像データを蓄積する。映像解析部１１１は、映像データ蓄積部１２１に蓄積された映像データを解析して、特定のカテゴリ情報に属する事象を検出し、その検出結果を出力する。また、表示制御部１２３は、映像データ蓄積部１２１に蓄積された映像データの映像と共に、映像に含まれる事象のカテゴリ情報を設定するためのカテゴリ情報設定画面を表示させる。学習用データ蓄積部１４０は、カテゴリ情報設定画面に対するオペレータ１８０の操作に応じて設定されたカテゴリ情報とそのカテゴリ情報が設定された映像データとを学習用データとして蓄積する。そして、映像解析部１１１は学習用データ蓄積部１４０に蓄積された学習用データを用いて、学習処理を行なう。

【0014】

本実施形態によれば、監視システムの実運用中に効果的かつ効率的に映像解析精度を高めることができる。

【0015】

［第２実施形態］
本発明の第２実施形態は、映像検知エンジンの検知対象の学習用映像をカテゴリ別に収集し、収集した学習用映像を新規モジュール作成、既定モジュールの精度向上に活用する技術に関するものである。なお、以下の説明中「映像」という用語は、動画のみを意味する概念ではなく、静止画をも含む概念として用いている。

【0016】

（前提技術）
まず、本発明の第２実施形態に係る映像監視システムの前提技術について、図２Ａ～図４を用いて説明する。図２Ａ、図２Ｂは、本実施形態の前提技術としての映像監視システム２００を説明するための図である。

【0017】

図２Ａに示すように、映像監視システム２００は、データセンタ２０１と監視カメラ群２０２とを含む。データセンタ２０１は、映像解析プラットフォーム２１０と映像監視プラットフォーム２２０とを含み、さらに、複数の映像監視操作端末群２３２を含んでいる。この図では、複数の映像監視操作端末群２３２を備えた映像監視室２３０の様子を示している。映像監視室２３０では、オペレータ２４０が、映像監視操作端末群２３２のそれぞれの端末が備える２画面のモニタを見ながら、監視対象映像をチェックしている。ここでは、左画面において１６画面分割表示を行ない、右画面において１画面拡大表示を行なった場合の例を示している。しかし、本発明はこれに限定されるものではなく、どのような表示でもよい。例えば左右が逆でもよいし、それぞれの画面での分割数も任意の数である。映像監視室２３０の前方の壁には、複数の大型モニタ２３１が設けられ、問題のある映像または静止画面が表示される。このような映像監視室２３０では、例えば、２００人のオペレータ２４０が、交代しながら、一人あたり１６カメラの映像を監視し、全２０００カメラの映像を２４時間３６０日間監視し続ける。そして、オペレータ２４０は、割り当てられた１６台の監視カメラの映像を見つつ、暴走車、銃やナイフなどの危険物、窃盗、ひったくり、家出、傷害事件、殺人、麻薬取引、不法侵入といった問題行為、それらに準ずる物および行為（例えば不審者や群衆の動き）などといった検出すべき事象を見つけ出し、スーパバイザに報告する。スーパバイザは、映像を再確認して、必要に応じて警察や病院に連絡し、被害者の救助および犯罪者の逮捕に協力する。

【0018】

映像監視プラットフォーム２２０は、ＶＭＳ(Video Management System)と呼ばれ、監視カメラ群２０２から取得した映像データの保存、および映像監視操作端末群２３２に対する配信を行なう。その結果、映像監視操作端末群２３２では、所定の割り当てルールに応じて、映像データのリアルタイム表示を行なう。映像監視プラットフォーム２２０は、映像監視操作端末群２３２を操作するオペレータ２４０からのリクエストに応じて、監視カメラ群２０２のいずれかを選択し、ＰＴＺ（パン・チルト・ズーム）操作指示を送る。

【0019】

映像解析プラットフォーム２１０は、映像監視プラットフォーム２２０において保存された映像データに対して解析処理を施し、条件に合った映像データが存在した場合、対象となる映像データを指定したカテゴリ情報を映像監視プラットフォーム２２０へ送信する。映像監視プラットフォーム２２０は、映像解析プラットフォーム２１０から受け取ったカテゴリ情報に応じて、アラート画面を生成し、映像監視操作端末群２３２の所定端末に対して通知する。場合によっては、問題映像の強制拡大表示、大型モニタ２３１への表示を行なう。

【0020】

図２Ｂは、映像監視システム２００の詳しい構成を示すブロック図である。図２Ｂに示すとおり、映像監視プラットフォーム２２０は、監視カメラ群２０２から映像データ２５０を収集して、採取時刻、カメラ位置、カメラＩＤ、その他の情報を付加して映像ストレージ２２１に蓄積する。また、カメラ選択操作部２２２は、オペレータ２４０による映像監視操作端末群２３２を介した、カメラの指定およびＰＴＺ（パン・チルト・ズーム）操作指示を受け取り、指定された監視カメラを操作する。

【0021】

映像監視プラットフォーム２２０は、映像監視操作端末群２３２に対してアラートを表示させる表示制御部２２３と、映像監視操作端末群２３２からの指示に応じて、映像ストレージ２２１に保存された過去映像の再生／編集を行なう映像読出処理部２２４とを含む。

【0022】

映像解析プラットフォーム２１０は、既定映像解析モジュール２１１を備えている。各映像解析モジュールは、それぞれ別々の種類の問題映像を検出するためのアルゴリズムおよび/またはパラメータで構成されている。これらの既定映像解析モジュール２１１は、あらかじめ用意されたアルゴリズムおよびパラメータを用いて、あらかじめ設定された事象を含む映像検出を行ない、検出した映像データに対して、あらかじめ用意されたカテゴリ情報を映像監視プラットフォーム２２０に送信する。

【0023】

図３は、データセンタ２０１での処理の流れを説明するためのフローチャートである。ステップＳ３０１において、映像監視プラットフォーム２２０は、監視カメラ群２０２から、映像データ２５０を受信する。

【0024】

次に、ステップＳ３０２において、映像監視プラットフォーム２２０は受信した映像データ２５０を映像ストレージ２２１へ保存し、映像監視操作端末群２３２および映像解析プラットフォーム２１０へ送信する。

【0025】

次に、ステップＳ３０３において、カメラ選択操作部２２２は、映像監視操作端末群２３２を介してオペレータ２４０からカメラ選択情報とカメラ操作情報とを受信し、選択された監視カメラに対して操作コマンドを送信する。

【0026】

一方、ステップＳ３０４では、映像解析プラットフォーム２１０が、既定映像解析モジュール２１１を用いて、映像監視プラットフォーム２２０から受信した映像データの解析処理を行なう。

【0027】

そして、ステップＳ３０５において、既定映像解析モジュール２１１は、あらかじめ定められた条件を満たす映像を検出した場合に、ステップＳ３０７に進み、カテゴリ情報を映像監視プラットフォーム２２０へ送信する。条件を満たす映像を検出しない場合でも、ステップＳ３１０へ進み、「カテゴリ情報無し」というカテゴリ情報を映像監視プラットフォーム２２０へ送信する。

【0028】

さらにステップＳ３０８では、映像監視プラットフォーム２２０の表示制御部２２３にてアラート画面を生成し、対象監視カメラの映像と共に映像監視操作端末群２３２に送信する。

【0029】

ステップＳ３０９では、アラート画面に対するオペレータ２４０の操作（スーパーバイザや警察への報告操作）を受け付ける。

【0030】

図４は、既定映像解析モジュール２１１を生成する際の処理の流れを説明するためのフローチャートである。ここでの映像解析モジュール生成処理は、データセンタ２０１を現地に構築する前に行なう。まずステップＳ４０１では、膨大な過去映像の中から検出すべき事象を含む映像を人間の目で大量に抽出する。あるいは、ステップＳ４０２において、実運用環境と類似の環境において、検出すべき事象と類似する事象を意図的に発生させ、撮影を実施し、サンプル映像を抽出する。ステップＳ４０３では、抽出／収集された大量の映像データの一つ一つに対してマニュアルで付加情報を付与し、学習用映像を作成する。さらに、ステップＳ４０４では、対象となるオブジェクト、事象、動作に対して最適なアルゴリズムを研究者／エンジニアが選択し、学習用映像データを学習させて既定映像解析モジュール２１１を生成する。

【0031】

（前提技術の課題）
上記前提技術では既定映像解析モジュールを作成する際、収集と正解付けに莫大な工数と期間を必要としていた。例えば、顔認証では２０００枚の画像、ディープラーニングでの特定事象検知では１００万枚の画像が必要であり、導入までのハードルが高かった。つまり、学習用映像からの映像解析モジュール（識別器）作成はマニュアルで実施され、その過程の中で映像解析モジュールの動作検証も個別に実施しており、個別に環境を整備していた為、工数と期間を必要としていた。

【0032】

これに対し、近年、犯罪や事故の種別が多様化する中で、検出できる事象の追加処理に対する運用顧客の需要は高まっている。また、監視環境とは異なる環境で収集をした学習用映像のみを適用した既定映像解析モジュールでは、実際の映像監視環境によっては問題映像の検出精度が大きく落ちてしまう場合があった。そして、実際の監視環境にフィットさせるためには、多くの工数と長い期間を必要としていた。

【0033】

（本実施形態の構成）
図５は、本実施形態に係る監視情報処理システムの一例としての映像監視システム５００の構成を示すブロック図である。前提技術と同様の構成には同じ符号を付して説明を省略する。図２Ｂに示した前提技術と異なり、本実施形態に係る映像処理装置の一例としてのデータセンタ５０１は、学習用データベース５４０と、映像監視操作端末５７０とを備える。学習用データベース５４０は、オペレータ２４０が選択したカテゴリ情報５６１を付加された学習用映像データ５６０を蓄積する。また、映像監視操作端末５７０は、スーパバイザ５８０がカテゴリ情報指定を行なうための端末である。映像解析プラットフォーム５１０は、新規に作成される新規映像解析モジュール５１１とカテゴリ情報追加部５１５と新規映像解析モジュール生成部５１６とを備える。一方、映像監視プラットフォーム５２０は、新たに学習用映像抽出部５２５を備える。

【0034】

カテゴリ情報とは映像中に検知したいオブジェクト、動作の分類を示す情報である。カテゴリ情報としては、例えば"拳銃"、"ナイフ"、"喧嘩"、"暴走"、"バイクの二人乗り"、"麻薬取引"等がある。映像解析プラットフォーム５１０は、カテゴリ情報テーブル５１７、５１８を備えており、各種のカテゴリ情報とその属性が対応付けて保存されている。

【0035】

図６Ａ、図６Ｂは、既定カテゴリ情報テーブル５１７と新規カテゴリ情報テーブル５１８の内容を示す図である。カテゴリ情報テーブル５１７、５１８は、カテゴリ情報名に対応付けて、カテゴリ情報種別、形状、軌跡情報、大きさの閾値などを記憶している。これらを参照することにより、映像解析モジュール２１１、５１１は、映像データに含まれる事象のカテゴリを決定することができる。

【0036】

図６Ｃに、映像監視操作端末群２３２から学習用映像抽出部５２５に送られるカテゴリ情報５３１の内容を示す。図６Ｃに示すように、カテゴリ情報５３１としては、「カテゴリ」、「カメラＩＤ」、「映像撮影時刻」、「事象領域」、「オペレータ情報」、「カテゴリ種別」を登録する。ここで、「カテゴリ」とは、検知したいオブジェクト名、動作の分類のことである。「カメラＩＤ」とは、監視カメラを特定するための識別子である。「映像撮影時刻」とは、そのカテゴリ情報を追加すべき映像データが撮影された年月日と時刻を示す情報である。特定の期間（採取開始～終了）を表す場合もある。「事象領域」とは、映像における"対象となる形"、"映像背景差分"、"背景差分の全体映像の中の位置"を表す情報である。事象領域は矩形領域だけでなく、マスク映像、背景差分映像、多角形映像等、様々な種類を用意する。「オペレータ情報」とは、カテゴリ情報を追加したオペレータの情報を示し、オペレータＩＤや名前などを含む。カテゴリ種別とは、検知対象物/事象のタイプのことである。例えばカテゴリ情報"銃"については、対象となる銃の「形状」を学習用映像データとして蓄積するカテゴリ種別である。また、カテゴリ"暴走"であれば、指定領域の背景差分の起点から終点までの軌跡を「動作」として学習用映像データを蓄積するカテゴリ情報種別である。さらに、カテゴリ情報"麻薬取引"であれば、映像全体における背景差分の軌跡を「動作」として学習用映像データを蓄積するカテゴリ情報種別である。

【0037】

図５に戻ると、カテゴリ追加部５１５は、既に存在する映像解析モジュール２１１、５１１において、パラメータの調整または追加によって、新たに検出しようとする事象のカテゴリを増やすことができる場合、それらの映像解析モジュール２１１、５１１に対してパラメータの調整または追加を行なう。一方、既に存在する映像解析モジュール２１１、５１１のパラメータの調整または追加では、新たに検出しようとする事象カテゴリを増やすことができないと判断した場合、新規映像解析モジュール生成部５１６を用いて、新規映像解析モジュール５１１を生成する。また、学習用データベース５４０に蓄積された学習用映像データ５６０を、カテゴリ情報５６１に基づいて選択した映像解析モジュール２１１、５１１に振り分け、それぞれの映像解析モジュールに学習処理を行なわせる。

【0038】

表示制御部５２３は、図７Ａに示すようなカテゴリ情報選択画面７０１を生成して、映像監視操作端末群２３２に送る。カテゴリ情報選択画面７０１には、あらかじめ用意されたカテゴリ情報（例えば「ヘルメット無し」「バイク二人乗り」「スピード超過」「拳銃」「ナイフ」「麻薬取引」「喧嘩」など）とは別に、カテゴリ情報の選択肢として「その他」７１１が含まれている。ここで、オペレータ２４０によるカテゴリ情報選択のモチベーションを下げないように、図７Ｂに示すカメラ事象テーブル７０２を参照することによりあらかじめ予測した一部のカテゴリ情報候補（例えば５個）のみをカテゴリ情報選択画面７０１に表示することが好ましい。カメラ事象テーブル７０２は、カメラＩＤ７２１ごとに、そのカメラで撮影される映像に含まれる可能性の高い事象のカテゴリ情報を蓄積したものである。すなわち、発生した事象のカテゴリ７２２とその発生率７２３とを、発生率の高いものから順次記憶する。選択されたカテゴリ情報に関するカテゴリ情報はカテゴリ情報が選択された映像データと共に学習用データベース５４０に蓄積される。

【0039】

学習用映像抽出部５２５は、「その他」７１１が選択された映像データについては、スーパバイザ５８０が適宜、映像監視操作端末５７０を介して具体的なカテゴリ情報を入力できるように、別途、学習用データベース５４０に蓄積する。また、「その他」が選択された際、その時点での映像データを示す映像識別情報と共に、カテゴリ情報入力要求が、スーパバイザ５８０用の映像監視操作端末５７０に送信される。オペレータ２４０が映像監視操作端末群２３２を通じて映像監視中にカテゴリ情報選択操作を実施すると、映像識別情報とカテゴリとのセット５３１を、映像監視プラットフォーム５２０を介して学習用データベース５４０に蓄積する。一方、表示制御部５２３は、スーパバイザ５８０による新規カテゴリ情報生成処理を促すための、新規カテゴリ情報生成画面を映像監視操作端末５７０に送信する。

【0040】

図８は、このような新規カテゴリ情報設定画面８０１の具体例を示す図である。この新規カテゴリ情報設定画面８０１では、例として、カテゴリ情報名入力欄８１１とカテゴリ情報種別選択欄８１３の他に、そのカテゴリ情報に含まれる映像を検出するために注目すべき領域を指定する領域指定用グラフィックオブジェクト８１２が用意されている。図８に示す新規カテゴリ情報設定画面８０１に加えて、「その他」カテゴリ情報を選択したオペレータ、映像を取得した場所、時間などを特定する情報を表示してもよい。映像解析により「その他」としてカテゴライズされた映像が、どのカテゴリ情報の映像に近いのかを判定し、スーパバイザ５８０に提示してもよい。

【0041】

新規映像解析モジュール生成部５１６は、新たなカテゴリ情報にフィットする既存アルゴリズムを選択し、そのアルゴリズムに従ったニューラルネットワーク等により、新たな映像解析モジュールを作成する。そしてさらに、蓄積された学習用映像データを用いて、学習させる。学習、適用処理としては、カテゴリ情報に合わせてバッチ処理かオンザフライ処理かを選択可能である。

【0042】

カテゴリ情報追加部５１５は、バッチ処理、もしくはリアルタイム処理を施し、追加されたカテゴリ情報に関する情報をカテゴリ情報テーブル５１８に登録し、既定映像解析モジュール２１１もしくは新規映像解析モジュール５１１が、そのカテゴリ情報テーブル５１７、５１８における参照すべきカテゴリ情報を指定する。

【0043】

既定映像解析モジュール２１１、新規映像解析モジュール５１１は、指定されたカテゴリ情報に基づいてそれぞれの学習用映像データを用いて学習処理を行なう。これにより、既定映像解析モジュール２１１の映像解析精度が向上し、新規映像解析モジュール５１１は新たな映像解析モジュールとして完成する。

【0044】

新規映像解析モジュール生成部５１６は、新たなカテゴリにフィットする既存アルゴリズムがない場合には、新たなアルゴリズム（例えば、人の前を複数の人が通過しても、後ろの人をまだ人として認識する）を自動生成してもよい。

【0045】

（処理の流れ）
図９Ａ、図９Ｂは、映像監視システム５００による処理の流れを説明するためのフローチャートである。ステップＳ３０１からステップＳ３０９までは、図３において説明した前提技術の処理と同様であるため、ここでは説明を省略し、ステップＳ３０９以降のステップＳ９００～Ｓ９１１について説明する。

【0046】

ステップＳ３０９において、学習用映像抽出部５２５が映像を精査し、検出すべき事象を含む映像であるというアラートが発生すると、ステップＳ９００に進み、表示制御部５２３は、映像監視操作端末群２３２において図７Ａに示すようなカテゴリ情報選択画面７０１を表示する。

【0047】

ステップＳ９０１では、オペレータ２４０がカテゴリ情報を選択する。ここで選択したカテゴリ情報が、特定のカテゴリ情報の場合には、ステップＳ９０２に進み、学習用映像抽出部５２５において、カテゴリ情報を生成して、映像データに付与し、学習用映像データを生成する。

【0048】

次にステップＳ９０３では、学習用映像抽出部５２５が、生成した学習用映像データを学習用データベース５４０蓄積し、さらにステップＳ９０４において、既定の映像解析モジュール２１１で学習処理を行なう。

【0049】

一方、ステップＳ９０１において、オペレータ２４０が、「その他」カテゴリ情報を選択した場合には、ステップＳ９０５に進み、学習用映像抽出部５２５にてカテゴリ情報名を"その他"、カテゴリ情報種別を"NULL"としたカテゴリ情報を生成し、学習用映像データに付与する。

【0050】

次にステップＳ９０６では、学習用映像抽出部５２５が、カテゴリ情報「その他」を付加した学習用映像データを学習用データベース５４０に格納すると同時に、表示制御部５２３が、スーパバイザ５８０の映像監視操作端末５７０に対し学習用映像データおよび新規カテゴリ情報設定画面８０１を送る。

【0051】

ステップＳ９０７において、カテゴリ追加部５１５は、スーパバイザ５８０の指示を受けて新たなカテゴリ情報を設定し、蓄積された学習用映像データとの紐付けを行なう。

【0052】

ステップＳ９０８に進むと、カテゴリ情報追加部５１５が、設定された新たなカテゴリ情報にフィットする既定の映像解析モジュール２１１があるか否かを判定する。設定された新たなカテゴリ情報にフィットする既定の映像解析モジュール２１１がある場合には、ステップＳ９０９に進み、対象の既定映像解析モジュール２１１の新たなカテゴリ情報として設定し、さらにステップＳ９０４において、新たなカテゴリ情報を付された学習用映像データを用いて学習を行なう。

【0053】

一方、ステップＳ９０８において、設定された新たなカテゴリ情報にフィットする既定の映像解析モジュール２１１が存在していなければ、ステップＳ９１１に進み、新規映像解析モジュール５１１を生成し、学習用映像して学習させる。

【0054】

図９Ｂは、ステップＳ９１１の新規映像解析モジュール生成処理の詳細な流れを示すフローチャートである。ステップＳ９２１では、不図示のアルゴリズムデータベースを参照する。ステップＳ９２３では、スーパバイザによって指定されたカテゴリ情報種別に応じたアルゴリズム（例えば特徴ベクトルを抽出するアルゴリズム、ブロブ（小さな画像領域）の集合からなるクラスタとそのクラスタの境界を抽出するアルゴリズムなど）を選択し、映像解析プログラムモジュールの骨組みを生成する。次に、ステップＳ９２５では、スーパバイザによって指定された判定領域を用いて、映像解析モジュールが解析対象とする映像領域を設定する。さらにステップＳ９２７において、複数の学習用映像データを用いて、検出対象となる物の形状、大きさや、検出対象となる動きの方向、距離などの閾値を決定する。このとき、学習用映像データ中の検出対象となる物やその動作の特徴ベクトルを抽出しその特徴量を閾値として設定してもよい。ブロブの集合からなるクラスタとそのクラスタの境界を特徴量として抽出する場合、その特徴量を閾値として設定してもよい。

【0055】

以上、本実施形態によれば、運用者が実運用中、簡易に学習用映像を蓄積し、同時にカテゴリも付随させることができる。これにより、半自動的な学習用映像収集とカテゴリとの関連付けを実現でき、環境へのローカライズや、新規映像解析モジュール生成の工数と期間を抑制することができる。

【0056】

また、運用環境の映像が学習できる為、より精度の高い映像解析モジュールを構築することが可能となる。このような技術は、映像監視や警備等のセキュリティ分野に適用可能である。また、映像による店舗や公共エリアでの顧客指向分析にも適用可能である。

【0057】

［第３実施形態］
次に、本発明の第３実施形態に係る映像監視システムについて説明する。本実施形態に係る映像監視システムは、上記第２実施形態と比べると、オペレータに対するインセンティブを考慮する点で異なる。その他の構成および動作については、上記第２実施形態と同様であるため、同じ構成については同じ符号を付してここでは詳しい説明を省略する。

【0058】

図１０は、本実施形態に係る映像監視システム１０００の構成を示すブロック図である。映像監視システム１０００に含まれる映像監視プラットフォーム１０２０は、第２実施形態と異なり、インセンティブテーブル１０２６を備えている。インセンティブテーブル１０２６、オペレータごとに、学習用データベース５４０に蓄積した学習用映像数に関して統計を取り、インセンティブをつけることにより、収集効率を向上させるものである。

【0059】

インセンティブテーブル１０２６の一例を図１１に示す。インセンティブテーブル１０２６は、オペレータＩＤ１１０１に紐付けて、学習用映像数１１０２と新規カテゴリ数１１０３とポイント１１０４とを保存、管理している。学習用映像数１１０２は、そのオペレータがカテゴリを選択、付与した学習用映像データの数を表わしている。新規カテゴリ数１１０３は、そのオペレータがカテゴリとして「その他」を選択し，最終的にスーパバイザにより新規のカテゴリとして生成されたカテゴリの数を示す。これらの学習用映像数や新規カテゴリ数は、オペレータによる監視業務の貢献値として評価できるため、これらの値に応じてポイント１１０４を算出し、やはりオペレータＩＤに紐付けて保存、更新する。オペレータが発見し、カテゴリを付与した映像の重要度を、ポイント１１０４の算出の際に考慮して重み付けを行なってもよい。

【0060】

オペレータの時給や給料などを、このポイント１１０４の値に応じて定めることにより、オペレータの監視業務に対するモチベーションを喚起することができる。インセンティブテーブル１０２６には、オペレータを評価する値として、ポイント以外に、カテゴリ付与の正確さを表わす値を用いてもよい。例えば、正解となるカテゴリを付与されたテスト映像データを複数のオペレータに見せて、それぞれのオペレータの検出スピード、検出精度、カテゴリ正解確率を検証し、それらを用いてオペレータ評価値を算出してもよい。

【0061】

図１２は、映像監視システム１０００の処理の流れを説明するフローチャートである。カテゴリ選択やカテゴリ生成によって、既定映像解析モジュールに学習させ、または新規映像解析モジュールを生成すると、ステップＳ１２１１に進みポイントを付与する。つまり、例えば、オペレータが発見した事象のカテゴリに応じたインセンティブ（ポイント）をカテゴリ付けを行なったオペレータＩＤに紐付けて保存する。

【0062】

本実施形態によれば、オペレータの監視モチベーションを刺激することが可能となる。

【0063】

［第４実施形態］
本手法の実施例として、監視情報システムの前提技術である図２Ｂのオペレータからのカテゴリ情報追加・修正を可能にしたシステムを説明する。

【0064】

表示制御部５２３は、図１３に示すようなカテゴリ情報選択画面１３０１を生成して、映像監視操作端末群２３２に送る。カテゴリ情報選択画面１３０１には、映像の表示画面１３０３とアラートの発生状況を表すカテゴリ情報バー１３０２と映像制御用部品１３０４（例えば、「再生」「停止」「一時停止」「巻き戻し」「早送り」など）と映像の再生状況を表すプログレスバー１３０７とカテゴリ情報設定用ボタン１３０５が含まれている。カテゴリ情報設定用ボタン１３０５にはあらかじめ用意されたカテゴリ情報とは別に、カテゴリ情報の選択肢として「その他」１３０６が含まれている。オペレータ２４０は映像制御用部品１３０４を使用して映像を確認する。オペレータ２４０は表示画面１３０３に表示されている映像データのカテゴリ情報をカテゴリ情報設定用ボタン７０５により修正・追加する。オペレータ２４０が設定したカテゴリ情報に関するカテゴリ情報は映像データと共に学習用データベース５４０に蓄積される。

【0065】

図１４は、映像監視システム５００による処理の流れを説明するためのフローチャートである。ステップＳ３０１からステップＳ３０９までは、図３において説明した前提技術の処理と同様であるため、ここでは説明を省略し、ステップＳ３０９以降のステップＳ９００～Ｓ９１０について説明する。また、ステップＳ９００、ステップＳ９０２からステップＳ９１０までも、図９Ａにおいて説明した処理と同様であるため、ここでは説明を省略し、ステップＳ１４０１について説明する。
ステップＳ３０９において、学習用映像抽出部５２５が映像を精査し、検出すべき事象を含む映像であるというアラートが発生すると、ステップＳ９００に進み、表示制御部５２３は、映像監視操作端末群２３２において図１３に示すようなカテゴリ情報選択画面１３０１を表示する。

【0066】

カテゴリ情報選択画面１３０１では、映像とそのカテゴリ情報が表示部１３０３とカテゴリ情報バー１３０２に表示される。また、映像制御用部品１３０４を用いることにより再生・巻き戻し・早送りしてカテゴリ情報と映像を確認できる。カテゴリ情報バー１３０２はカテゴリ情報選択画面１３０１に表示された映像に対して発生したカテゴリ情報とオペレータ２４０が修正・追加した正しいカテゴリ情報を色で表示している。例えば、"ヘルメット無し"のアラートが発生した区間は青で表示し、何もアラートが発生していない区間や、カテゴリ情報が無い区間１３１０は黒で表示し、"バイク二人乗り"のアラートが発生した区間は赤で表示する。また、オペレータ２４０がカテゴリ情報設定用ボタン１３０５を用いて修正・追加した正しいカテゴリ情報も同様に表示する。

【0067】

ステップＳ１４０１において、オペレータ２４０は、カテゴリ情報選択画面１３０１を用いてアラートが発生した映像とそのカテゴリ情報を確認し、カテゴリ情報の修正や追加が必要な区間に対してカテゴリ情報の修正・追加を行う。

【0068】

カテゴリ情報修正・追加の際には、映像の一部を再生しながら特定のカテゴリ情報に対応するカテゴリ情報設定用ボタン１３０５を押す。例えば"ヘルメット無し"のアラートが発生している区間を"２人乗りバイク"のアラートに修正することを考える。ここで、"ヘルメット無し"のカテゴリ情報に属している区間はカテゴリ情報バー１３０２では青で表示されている。カテゴリ情報選択画面１３０１の映像制御用部品１３０４を使用して、映像を表示部１３０３上で再生しながら、該当の映像データが表示部１３０３に表示されたらカテゴリ情報設定用ボタン１３０５の「バイク二人乗り」ボタンを押し、"バイク二人乗り"のカテゴリへ修正する。この時、オペレータ２４０によりカテゴリ情報が設定された区間に対応するカテゴリ情報バー１３０２の色が「青」から「赤」に変化する。

【0069】

映像制御用部品１３０４を用いて、同じ区間に対して複数種類のカテゴリ情報を追加することも出来る。このとき複数のカテゴリ情報が追加されている区間のカテゴリ情報バー１３０２は複数の色で層状に表示する。例えば、「ヘルメット無し」と「バイク二人乗り」を追加した場合、カテゴリ情報バー１３０９のように青と赤を層状に表示する。

【0070】

また、カテゴリ情報を削除したい場合は映像制御用部品１３０４を使用してカテゴリ情報を削除したい区間の映像を再生しながら、「カテゴリ情報無し」ボタン１３０８を押せばよい。これは、カテゴリ情報に「カテゴリ情報無し」へ修正することと同じである。「カテゴリ情報無し」へ修正された区間のカテゴリ情報バー１３１０はアラートが発生していない区間と同様に黒で表示する。

【0071】

ここで、連続したある一定区間の映像のカテゴリ情報を修正・追加する場合は、該当の区間の映像を再生している間にカテゴリ情報設定用ボタン１３０５の特定のボタンを押し続ければよい。更に、カテゴリ情報修正・追加をしたい区間が長い場合は、カテゴリ情報設定用ボタン１３０５の切り替えをトグル式にしてカテゴリ情報修正・追加をしたい区間の最初と最後のみにボタンを押すようにしてもよい。

【0072】

ステップＳ１４０１において、オペレータが正しいカテゴリ情報を修正・追加していた場合は、映像解析モジュール２１１が出力すべきアラートを学習することが出来る。

【0073】

ここで修正・追加したカテゴリ情報が、特定のカテゴリ情報の場合には、ステップＳ９０２に進み、学習用映像抽出部５２５において、カテゴリ情報を映像データに追加し、学習用映像データを生成する。

【0074】

映像と監視情報システムからのカテゴリ情報をオペレータが確認し、オペレータが正しいカテゴリ情報を設定することにより、新しいオブジェクト、動作を検出する監視情報システムを構築することが出来る。また、カテゴリ情報をオペレータが修正することにより監視情報システムの精度を向上させることが出来る。

【0075】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0076】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【0077】

この出願は、２０１３年６月２８日に出願された日本出願特願２０１３－１３６９５３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-09-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

カメラで撮影された映像から検出された物体のカテゴリを設定する設定手段と、
前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリの名称の入力を、オペレータの操作により受け付ける第１入力手段と、
前記映像上におけるオペレータの操作により、前記異なるカテゴリに対応する領域を指定する図形の枠の入力を受け付ける第２入力手段と、
学習のために前記異なるカテゴリの名称と前記映像における前記図形の位置とを蓄積するデータ蓄積手段と、
を備えた映像処理システム。

【請求項2】

前記領域は車両を含む、請求項１に記載の映像処理システム。

【請求項3】

前記異なるカテゴリに対応する領域に存在する物体は、前記設定手段においてカテゴリが設定された物体とは異なる、請求項１または２に記載の映像処理システム。

【請求項4】

さらに、前記異なるカテゴリの名称と前記映像における前記図形の位置とを学習した結果を用いて検出を実行する検出手段を備える、
請求項１から３のいずれか１項に記載の映像処理システム。

【請求項5】

前記図形は矩形である、請求項１から４のいずれか１項に記載の映像処理システム。

【請求項6】

前記図形は多角形である、請求項１から４のいずれか１項に記載の映像処理システム。

【請求項7】

カメラで撮影された映像から検出された物体のカテゴリを設定し、
前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリの名称の入力を、オペレータの操作により受け付け、
前記映像上におけるオペレータの操作により、前記異なるカテゴリに対応する領域を指定する図形の枠の入力を受け付け、
学習のために前記異なるカテゴリの名称と前記映像における前記図形の位置とを蓄積する、
映像処理方法。

【請求項8】

前記領域は車両を含む、請求項７に記載の映像処理方法。

【請求項9】

前記異なるカテゴリに対応する領域に存在する物体は、前記設定済みのカテゴリに対応する物体とは異なる、請求項７または８に記載の映像処理方法。

【請求項10】

さらに、前記異なるカテゴリの名称と前記映像における前記図形の位置とを学習した結果を用いて検出を実行する、請求項７から９のいずれか１項に記載の映像処理方法。

【請求項11】

前記図形は矩形である、請求項７から１０のいずれか１項に記載の映像処理システム。

【請求項12】

前記図形は多角形である、請求項７から１０のいずれか１項に記載の映像処理システム。

【請求項13】

カメラで撮影された映像から検出された物体のカテゴリを設定する処理、
前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリの名称の入力を、オペレータの操作により受け付ける処理、
前記映像上におけるオペレータの操作により、前記異なるカテゴリに対応する領域を指定する図形の枠の入力を受け付ける処理、
学習のために前記異なるカテゴリの名称と前記映像における前記図形の位置とを蓄積する処理、
をコンピュータに実行させるプログラム。

【請求項14】

前記領域は車両を含む、請求項１３に記載のプログラム。

【請求項15】

前記異なるカテゴリに対応する領域に存在する物体は、前記設定済みのカテゴリに対応する物体とは異なる、請求項１３または１４に記載のプログラム。

【請求項16】

さらに、前記異なるカテゴリの名称と前記映像における前記図形の位置とを学習した結果を用いて検出を実行する処理、をコンピュータに実行させる請求項１３から１５のいずれか１項に記載のプログラム。

【請求項17】

前記図形とは矩形である、請求項１３から１６のいずれか１項に記載の映像処理システム。

【請求項18】

前記図形とは多角形である、請求項１３から１６のいずれか１項に記載の映像処理システム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

上記目的を達成するため、本発明に係る映像処理システムは、
カメラで撮影された映像から検出された物体のカテゴリを設定する設定手段と、
前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリの名称の入力を、オペレータの操作により受け付ける第１入力手段と、
前記映像上におけるオペレータの操作により、前記異なるカテゴリに対応する領域を指定する図形の枠の入力を受け付ける第２入力手段と、
学習のために前記異なるカテゴリの名称と前記映像における前記図形の位置とを蓄積するデータ蓄積手段と、
を備えた。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

上記目的を達成するため、本発明に係る映像処理方法は、
カメラで撮影された映像から検出された物体のカテゴリを設定し、
前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリの名称の入力を、オペレータの操作により受け付け、
前記映像上におけるオペレータの操作により、前記異なるカテゴリに対応する領域を指定する図形の枠の入力を受け付け、
学習のために前記異なるカテゴリの名称と前記映像における前記図形の位置とを蓄積する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

上記目的を達成するため、本発明に係る映像処理プログラムは、
カメラで撮影された映像から検出された物体のカテゴリを設定する処理、
前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリの名称の入力を、オペレータの操作により受け付ける処理、
前記映像上におけるオペレータの操作により、前記異なるカテゴリに対応する領域を指定する図形の枠の入力を受け付ける処理、
学習のために前記異なるカテゴリの名称と前記映像における前記図形の位置とを蓄積する処理、
をコンピュータに実行させる。