特開 2022-64719 情報処理装置、情報処理システムおよび情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022064719

(43)【公開日】2022-04-26

(54)【発明の名称】情報処理装置、情報処理システムおよび情報処理プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220419BHJP

【ＦＩ】

G06T7/20 300

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020173514

(22)【出願日】2020-10-14

(71)【出願人】

【識別番号】518133201

【氏名又は名称】富士通クライアントコンピューティング株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】呉 逸斯

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA02

5L096DA04

5L096FA69

5L096GA34

5L096HA02

5L096HA08

5L096HA11

5L096JA11

(57)【要約】

【課題】情報処理装置と対象検出装置との間でのデータの入出力の負荷を低減する。
【解決手段】本開示の第１態様にかかる情報処理装置は、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する対象検出装置に出力するデータ付加部と、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力部と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、前記識別データが付加された前記複数のフレーム画像を、前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを前記対象画像の前記識別データとともに出力する対象検出装置に出力するデータ付加部と、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加部により前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力部と、
を備える、情報処理装置。

【請求項2】

前記データ付加部は、前記複数のフレーム画像が一連の映像データを構成する場合、前記識別データとして、前記複数のフレーム画像の各々の前記映像データ内での時系列を示すデータを、前記複数のフレーム画像に付加する、
請求項１に記載の情報処理装置。

【請求項3】

前記データ付加部は、前記画像出力装置が複数存在する場合、前記識別データとして、さらに、前記画像出力装置を識別するためのデータを、前記複数のフレーム画像に付加する、
請求項２に記載の情報処理装置。

【請求項4】

前記出力部は、前記データ付加部により前記識別データが付加された前記複数のフレーム画像から、前記対象検出装置から取得した前記識別データが付加された前記対象画像を抽出し、抽出した前記対象画像に、前記対象検出装置から取得した前記位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された前記対象画像を出力する、
請求項１～３のうちいずれか１項に記載の情報処理装置。

【請求項5】

複数のフレーム画像を出力する画像出力装置と、
前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを当該複数のフレーム画像の各々を識別するための識別データのうち前記対象画像に対応した前記識別データとともに出力する対象検出装置と、
前記画像出力装置と前記対象検出装置との間に設けられる情報処理装置と、
を備え、
前記情報処理装置は、
前記画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための前記識別データを付加し、前記識別データが付加された前記複数のフレーム画像を前記対象検出装置に出力するデータ付加部と、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加部により前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力部と、
を含む、
情報処理システム。

【請求項6】

画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、前記識別データが付加された前記複数のフレーム画像を、前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを前記対象画像の前記識別データとともに出力する対象検出装置に出力するデータ付加ステップと、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加ステップにより前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力ステップと、
をコンピュータに実行させるための、情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システムおよび情報処理プログラムに関する。

【背景技術】

【0002】

従来、複数のプラットフォームを用いてフレーム画像から検出対象を検出する技術が知られている。このような技術では、たとえば、複数のプラットフォームのうちの少なくとも１つが、検出対象を検出する機能を有した対象検出装置として構成され、複数のプラットフォームのうちの他の１つが、フレーム画像を対象検出装置に受け渡すとともに当該対象検出装置から検出対象の検出の結果を受け取る機能を有した情報処理装置として構成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７５４０８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような従来の技術では、対象検出装置による検出の結果が、データ量が大きいフレーム画像とともに情報処理装置に出力されることが通常であるため、情報処理装置と対象検出装置との間でのデータの入出力の負荷が増大しやすい。

【0005】

そこで、本開示の課題の一つは、情報処理装置と対象検出装置との間でのデータの入出力の負荷を低減することが可能な情報処理装置、情報処理システムおよび情報処理プログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示の第１態様にかかる情報処理装置は、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する対象検出装置に出力するデータ付加部と、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力部と、を備える。

【0007】

本開示の第２態様にかかる情報処理システムは、複数のフレーム画像を出力する画像出力装置と、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを当該複数のフレーム画像の各々を識別するための識別データのうち対象画像に対応した識別データとともに出力する対象検出装置と、画像出力装置と対象検出装置との間に設けられる情報処理装置と、を備え、情報処理装置は、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を対象検出装置に出力するデータ付加部と、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力部と、を含む。

【0008】

本開示の第３態様にかかる情報処理プログラムは、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する対象検出装置に出力するデータ付加ステップと、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加ステップにより識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力ステップと、をコンピュータに実行させる。

【発明の効果】

【0009】

本開示の情報処理装置、情報処理システムおよび情報処理プログラムによれば、情報処理装置と対象検出装置との間でのデータの入出力の負荷を低減することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態にかかる情報処理システムの構成を示した例示的かつ模式的なブロック図である。

【図2】図２は、実施形態にかかる情報処理装置および対象検出装置の機能モジュール間で入出力されるデータの流れを示した例示的かつ模式的なブロック図である。

【図3】図３は、実施形態にかかる識別データの構成を示した例示的かつ模式的な図である。

【図4】図４は、実施形態にかかる情報処理装置により出力される画像の一例を示した例示的かつ模式的な図である。

【図5】図５は、実施形態にかかる情報処理システムが実行する一連の処理の流れを示した例示的かつ模式的なシーケンス図である。

【図6】図６は、実施形態にかかる情報処理装置を構成するコンピュータのハードウェア構成を示した例示的かつ模式的な図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

【0012】

図１は、実施形態にかかる情報処理システムの構成を示した例示的かつ模式的なブロック図である。

【0013】

図１に示されるように、実施形態にかかる情報処理システムは、画像出力装置１１０と、情報処理装置１２０と、対象検出装置１３０と、を備えている。図１に示される例では、簡単化のため、画像出力装置１１０と情報処理装置１２０とが１対１の関係で設けられているとともに情報処理装置１２０と対象検出装置１３０とが１対１の関係で設けられているが、実施形態では、画像出力装置１１０と情報処理装置１２０とが多対１の関係で設けられていてもよいし、情報処理装置１２０と対象検出装置１３０とが１対多の関係で設けられていてもよい。

【0014】

画像出力装置１１０は、一連の映像データを構成する複数のフレーム画像を情報処理装置１２０に出力する。たとえば、画像出力装置１１０は、各種の施設のリアルタイムでの監視用に設けられる監視カメラ、またはテレビ番組などの映像コンテンツを記録する映像記録装置などとして構成される。

【0015】

情報処理装置１２０および対象検出装置１３０は、いわゆるエッジコンピュータとして構成される。情報処理装置１２０は、サブボードとして構成された対象検出装置１３０の処理の結果の解析などを実施するメインボードとして構成される。より具体的に、情報処理装置１２０は、画像出力装置１１０から複数のフレーム画像を取得し、当該複数のフレーム画像に検出対象が映っているか否かの検出を対象検出装置１３０に実行させる。そして、情報処理装置１２０は、検出対象の検出の結果を対象検出装置１３０から取得し、取得した情報を出力する。なお、実施形態では、情報処理装置１２０と対象検出装置１３０との間に、両者間の通信を中継するブリッジコントローラとしての中継装置が設けられうる。

【0016】

情報処理装置１２０は、データ付加部１２１と、出力部１２２と、を備えており、対象検出装置１３０は、推論器１３１Ａを含む検出処理部１３１を備えている。これらの機能モジュール間では、次の図２に示されるような流れでデータの入出力（送受信）が実行される。

【0017】

図２は、実施形態にかかる情報処理装置１２０および対象検出装置１３０の機能モジュール間で入出力されるデータの流れを示した例示的かつ模式的なブロック図である。

【0018】

図２に示されるように、情報処理装置１２０のデータ付加部１２１は、画像出力装置１１０から取得された複数のフレーム画像からなるデータ２０１に、当該複数のフレーム画像の各々を識別するための識別データを付加し、フレーム画像と識別データとの組み合わせからなるデータ２０２を生成する。識別データは、次の図３に示されるような構成を有している。

【0019】

図３は、実施形態にかかる識別データの構成を示した例示的かつ模式的な図である。図３に示されるように、実施形態にかかる識別データは、フレーム画像の出力元の画像出力装置１１０を識別するためのデータである装置ＩＤと、フレーム画像の映像データ内での時系列を示すデータであるタイムスタンプと、により構成される。

【0020】

図２に戻り、データ付加部１２１により生成されたデータ２０２は、対象検出装置１３０の検出処理部１３１に入力される。そして、検出処理部１３１は、推論器１３１Ａを用いて、データ２０２に含まれるフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する。すなわち、検出処理部１３１は、推論器１３１Ａを用いて、識別データとフレーム画像との組み合わせからなるデータ２０２から、識別データと位置データとの組み合わせからなるデータ２０３を生成する。推論器１３１Ａとは、たとえば、フレーム画像の入力に応じて当該フレーム画像に映っている検出対象の位置を示す位置データを出力するように機械学習により予めトレーニングされたニューラルネットワークである。

【0021】

そして、検出処理部１３１により生成されたデータ２０３は、情報処理装置１２０の出力部１２２に入力される。なお、出力部１２２には、データ付加部１２１により生成されたデータ２０２も入力される。そして、出力部１２２は、検出処理部１３１により生成されたデータ２０３と、データ付加部１２１により生成されたデータ２０２と、に基づいて、位置データとフレーム画像との組み合わせからなるデータ２０４を生成する。すなわち、出力部１２２は、検出処理部１３１により生成されたデータ２０３と、データ付加部１２１により生成されたデータ２０２と、の識別データを比較し、同一の識別データが対応付けられた位置データおよびフレーム画像を関連付けて、位置データとフレーム画像との組み合わせからなるデータ２０４を生成する。

【0022】

そして、出力部１２２は、位置データとフレーム画像との組み合わせからなるデータ２０４に基づいて、検出対象が映っている対象画像としてのフレームデータに、位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された対象画像を出力する。これにより、実施形態では、次の図４に示されるような画像４００がディスプレイ（不図示）に出力される。

【0023】

図４は、実施形態にかかる情報処理装置１２０により出力される画像の一例を示した例示的かつ模式的な図である。図４に示されるように、実施形態にかかる情報処理装置１２０は、たとえば対象検出装置１３０が検出対象として人４０１を検出した場合、人４０１を囲む枠４０２が上記のマーカとして重畳された画像４００を出力しうる。なお、図４に示される画像４００は、あくまで一例である。実施形態では、人４０１以外の物体が検出対象となる場合もある。また、実施形態では、１つの画像内に複数の検出対象が存在する場合、１つの画像に複数のマーカが重畳される場合がある。

【0024】

以上の構成に基づき、実施形態にかかる情報処理システムは、次の図５に示されるような流れで一連の処理を実行する。

【0025】

図５は、実施形態にかかる情報処理システムが実行する一連の処理の流れを示した例示的かつ模式的なシーケンス図である。

【0026】

図５に示されるように、実施形態では、まず、Ｓ５０１において、情報処理装置１２０のデータ付加部１２１は、画像出力装置１１０から複数のフレーム画像を取得する。

【0027】

そして、Ｓ５０２において、データ付加部１２１は、Ｓ５０１で取得された複数のフレーム画像に、当該複数のフレーム画像の各々を識別するための前述した識別データを付加する。

【0028】

そして、Ｓ５０３において、データ付加部１２１は、識別データが付加されたフレーム画像を対象検出装置１３０に出力する。

【0029】

そして、Ｓ５０４において、対象検出装置１３０の検出処理部１３１は、Ｓ５０３でデータ付加部１２１から出力されたデータを取得し、推論器１３１Ａを用いて、フレーム画像に映っている可能性がある検出対象の検出を実行する。

【0030】

そして、Ｓ５０５において、検出処理部１３１は、Ｓ５０４での検出の結果に基づいて、検出対象の位置を示す位置データと、検出対象が映っている対象画像としてのフレーム画像の識別データと、を関連付けて情報処理装置１２０に出力する。

【0031】

そして、Ｓ５０６において、情報処理装置１２０の出力部１２２は、Ｓ５０５で検出処理部１３１から出力されたデータと、Ｓ５０２でデータ付加部１２１により生成されたデータと、を取得し、両者の識別データの一致性に基づいて、位置データとフレーム画像とを関連付ける。より具体的に、出力部１２２は、データ付加部１２１により識別データが付加された複数のフレーム画像から、検出処理部１３１から取得された識別データが付加されたフレーム画像を、検出対象が映っている対象画像として抽出する。そして、出力部１２２は、対象画像と当該対象画像内で検出対象が映っている位置を示す位置データとを関連付ける。

【0032】

そして、Ｓ５０７において、出力部１２２は、Ｓ５０６で関連付けられた位置データおよびフレーム画像に基づいて、対象画像として抽出されたフレーム画像に、位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳されたフレーム画像を出力する。そして、処理が終了する。

【0033】

以上説明したように、実施形態にかかる声掛けシステムは、画像出力装置１１０と、情報処理装置１２０と、対象検出装置１３０と、を備えている。画像出力装置１１０は、複数のフレーム画像を出力する。対象検出装置１３０は、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に、当該検出対象の対象画像内での位置を示す位置データを、当該複数のフレーム画像の各々を識別するための識別データのうち対象画像に対応した識別データとともに出力する。

【0034】

ここで、情報処理装置１２０は、データ付加部１２１と、出力部１２２と、を備えている。データ付加部１２１は、画像出力装置１１０から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を対象検出装置１３０に出力する。出力部１１２２は、対象検出装置１３０から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部１２１により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する。

【0035】

上記のような構成によれば、対象検出装置１３０から情報処理装置１２０に出力されるデータがフレーム画像を含まずに位置データおよび識別データのみとなるので、情報処理装置１２０と対象検出装置１３０との間で入出力されるデータの量を低減することができる。これにより、情報処理装置１２０と対象検出装置１３０との間でのデータの入出力の負荷を低減することができる。

【0036】

また、実施形態において、複数のフレーム画像は、一連の映像データを構成している。そして、データ付加部１２１は、識別データとして、複数のフレーム画像の各々の映像データ内での時系列を示すデータを、複数のフレーム画像に付加する。このような構成によれば、時系列を示すデータを用いて識別データの付加を簡単に行うことができる。

【0037】

さらに、実施形態において、データ付加部１２１は、画像出力装置１１０が複数存在する場合、識別データとして、画像出力装置１２１を識別するためのデータを、複数のフレーム画像に付加する。このような構成によれば、画像出力装置１１０の違いも考慮して識別データの付加を行うことができる。

【0038】

なお、実施形態において、出力部１２２は、データ付加部１２１により識別データが付加された複数のフレーム画像から、対象検出装置１３０から取得した識別データが付加された対象画像を抽出し、抽出した対象画像に、対象検出装置１３０から取得した位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された対象画像を出力する（図４参照）。このような構成によれば、対象検出装置１３０による検出の結果をユーザが視覚的に容易に識別可能な態様で提供することができる。

【0039】

最後に、実施形態にかかる情報処理装置１２０のハードウェア構成について説明する。実施形態にかかる情報処理装置１２０は、たとえば次の図６に示されるようなハードウェア構成を有するコンピュータ６００として構成される。

【0040】

図６は、第１～第３実施形態にかかる情報処理装置１２０を構成するコンピュータ６００のハードウェア構成を示した例示的かつ模式的なブロック図である。

【0041】

図６に示されるように、コンピュータ６００は、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェース（Ｉ／Ｆ）６４０と、通信インターフェース（Ｉ／Ｆ）６５０と、を備えている。これらのハードウェアは、バス６６０に接続されている。

【0042】

プロセッサ６１０は、たとえばＣＰＵ（Central Processing Unit）として構成され、コンピュータ６００の各部の動作を統括的に制御する。

【0043】

メモリ６２０は、たとえばＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含み、プロセッサ６１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ６１０がプログラムを実行するための作業領域の提供などを実現する。

【0044】

ストレージ６３０は、たとえばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）を含み、各種のデータを不揮発的に記憶する。

【0045】

入出力インターフェース６４０は、たとえばキーボードおよびマウス（いずれも不図示）のような入力装置からコンピュータ６００へのデータの入力と、たとえばコンピュータ６００からディスプレイおよびスピーカ（いずれも不図示）のような出力装置へのデータの出力と、を制御する。

【0046】

通信インターフェース６５０は、コンピュータ６００が他の装置と通信を実行することを可能にする。

【0047】

実施形態において、実施形態にかかる情報処理装置１２０が有する図１に示される機能モジュール群は、プロセッサ６１０がメモリ６２０またはストレージ６３０などに記憶された情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュールとして実現される。ただし、実施形態では、図１に示される機能モジュール群のうち少なくとも一部が、専用のハードウェアのみによって実現されてもよい。

【0048】

なお、上述した情報処理プログラムは、必ずしもメモリ６２０またはストレージ６３０に予め記憶されている必要はない。たとえば、上述した情報処理プログラムは、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Digital Versatile Disk）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

【0049】

また、上述した情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述した情報処理プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

【0050】

以上、本開示の実施形態を説明したが、上述した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上述した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0051】

１１０ 画像出力装置
１２０ 情報処理装置
１２１ データ付加部
１２２ 出力部
１３０ 対象検出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】