(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022064719
(43)【公開日】2022-04-26
(54)【発明の名称】情報処理装置、情報処理システムおよび情報処理プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20220419BHJP
【FI】
G06T7/20 300
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2020173514
(22)【出願日】2020-10-14
(71)【出願人】
【識別番号】518133201
【氏名又は名称】富士通クライアントコンピューティング株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】呉 逸斯
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA02
5L096CA02
5L096DA04
5L096FA69
5L096GA34
5L096HA02
5L096HA08
5L096HA11
5L096JA11
(57)【要約】
【課題】情報処理装置と対象検出装置との間でのデータの入出力の負荷を低減する。
【解決手段】本開示の第1態様にかかる情報処理装置は、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する対象検出装置に出力するデータ付加部と、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力部と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、前記識別データが付加された前記複数のフレーム画像を、前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを前記対象画像の前記識別データとともに出力する対象検出装置に出力するデータ付加部と、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加部により前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力部と、
を備える、情報処理装置。
【請求項2】
前記データ付加部は、前記複数のフレーム画像が一連の映像データを構成する場合、前記識別データとして、前記複数のフレーム画像の各々の前記映像データ内での時系列を示すデータを、前記複数のフレーム画像に付加する、
請求項1に記載の情報処理装置。
【請求項3】
前記データ付加部は、前記画像出力装置が複数存在する場合、前記識別データとして、さらに、前記画像出力装置を識別するためのデータを、前記複数のフレーム画像に付加する、
請求項2に記載の情報処理装置。
【請求項4】
前記出力部は、前記データ付加部により前記識別データが付加された前記複数のフレーム画像から、前記対象検出装置から取得した前記識別データが付加された前記対象画像を抽出し、抽出した前記対象画像に、前記対象検出装置から取得した前記位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された前記対象画像を出力する、
請求項1~3のうちいずれか1項に記載の情報処理装置。
【請求項5】
複数のフレーム画像を出力する画像出力装置と、
前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを当該複数のフレーム画像の各々を識別するための識別データのうち前記対象画像に対応した前記識別データとともに出力する対象検出装置と、
前記画像出力装置と前記対象検出装置との間に設けられる情報処理装置と、
を備え、
前記情報処理装置は、
前記画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための前記識別データを付加し、前記識別データが付加された前記複数のフレーム画像を前記対象検出装置に出力するデータ付加部と、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加部により前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力部と、
を含む、
情報処理システム。
【請求項6】
画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、前記識別データが付加された前記複数のフレーム画像を、前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを前記対象画像の前記識別データとともに出力する対象検出装置に出力するデータ付加ステップと、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加ステップにより前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力ステップと、
をコンピュータに実行させるための、情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理システムおよび情報処理プログラムに関する。
【背景技術】
【0002】
従来、複数のプラットフォームを用いてフレーム画像から検出対象を検出する技術が知られている。このような技術では、たとえば、複数のプラットフォームのうちの少なくとも1つが、検出対象を検出する機能を有した対象検出装置として構成され、複数のプラットフォームのうちの他の1つが、フレーム画像を対象検出装置に受け渡すとともに当該対象検出装置から検出対象の検出の結果を受け取る機能を有した情報処理装置として構成される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のような従来の技術では、対象検出装置による検出の結果が、データ量が大きいフレーム画像とともに情報処理装置に出力されることが通常であるため、情報処理装置と対象検出装置との間でのデータの入出力の負荷が増大しやすい。
【0005】
そこで、本開示の課題の一つは、情報処理装置と対象検出装置との間でのデータの入出力の負荷を低減することが可能な情報処理装置、情報処理システムおよび情報処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の第1態様にかかる情報処理装置は、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する対象検出装置に出力するデータ付加部と、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力部と、を備える。
【0007】
本開示の第2態様にかかる情報処理システムは、複数のフレーム画像を出力する画像出力装置と、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを当該複数のフレーム画像の各々を識別するための識別データのうち対象画像に対応した識別データとともに出力する対象検出装置と、画像出力装置と対象検出装置との間に設けられる情報処理装置と、を備え、情報処理装置は、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を対象検出装置に出力するデータ付加部と、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力部と、を含む。
【0008】
本開示の第3態様にかかる情報処理プログラムは、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する対象検出装置に出力するデータ付加ステップと、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加ステップにより識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力ステップと、をコンピュータに実行させる。
【発明の効果】
【0009】
本開示の情報処理装置、情報処理システムおよび情報処理プログラムによれば、情報処理装置と対象検出装置との間でのデータの入出力の負荷を低減することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施形態にかかる情報処理システムの構成を示した例示的かつ模式的なブロック図である。
【
図2】
図2は、実施形態にかかる情報処理装置および対象検出装置の機能モジュール間で入出力されるデータの流れを示した例示的かつ模式的なブロック図である。
【
図3】
図3は、実施形態にかかる識別データの構成を示した例示的かつ模式的な図である。
【
図4】
図4は、実施形態にかかる情報処理装置により出力される画像の一例を示した例示的かつ模式的な図である。
【
図5】
図5は、実施形態にかかる情報処理システムが実行する一連の処理の流れを示した例示的かつ模式的なシーケンス図である。
【
図6】
図6は、実施形態にかかる情報処理装置を構成するコンピュータのハードウェア構成を示した例示的かつ模式的な図である。
【発明を実施するための形態】
【0011】
以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。
【0012】
図1は、実施形態にかかる情報処理システムの構成を示した例示的かつ模式的なブロック図である。
【0013】
図1に示されるように、実施形態にかかる情報処理システムは、画像出力装置110と、情報処理装置120と、対象検出装置130と、を備えている。
図1に示される例では、簡単化のため、画像出力装置110と情報処理装置120とが1対1の関係で設けられているとともに情報処理装置120と対象検出装置130とが1対1の関係で設けられているが、実施形態では、画像出力装置110と情報処理装置120とが多対1の関係で設けられていてもよいし、情報処理装置120と対象検出装置130とが1対多の関係で設けられていてもよい。
【0014】
画像出力装置110は、一連の映像データを構成する複数のフレーム画像を情報処理装置120に出力する。たとえば、画像出力装置110は、各種の施設のリアルタイムでの監視用に設けられる監視カメラ、またはテレビ番組などの映像コンテンツを記録する映像記録装置などとして構成される。
【0015】
情報処理装置120および対象検出装置130は、いわゆるエッジコンピュータとして構成される。情報処理装置120は、サブボードとして構成された対象検出装置130の処理の結果の解析などを実施するメインボードとして構成される。より具体的に、情報処理装置120は、画像出力装置110から複数のフレーム画像を取得し、当該複数のフレーム画像に検出対象が映っているか否かの検出を対象検出装置130に実行させる。そして、情報処理装置120は、検出対象の検出の結果を対象検出装置130から取得し、取得した情報を出力する。なお、実施形態では、情報処理装置120と対象検出装置130との間に、両者間の通信を中継するブリッジコントローラとしての中継装置が設けられうる。
【0016】
情報処理装置120は、データ付加部121と、出力部122と、を備えており、対象検出装置130は、推論器131Aを含む検出処理部131を備えている。これらの機能モジュール間では、次の
図2に示されるような流れでデータの入出力(送受信)が実行される。
【0017】
図2は、実施形態にかかる情報処理装置120および対象検出装置130の機能モジュール間で入出力されるデータの流れを示した例示的かつ模式的なブロック図である。
【0018】
図2に示されるように、情報処理装置120のデータ付加部121は、画像出力装置110から取得された複数のフレーム画像からなるデータ201に、当該複数のフレーム画像の各々を識別するための識別データを付加し、フレーム画像と識別データとの組み合わせからなるデータ202を生成する。識別データは、次の
図3に示されるような構成を有している。
【0019】
図3は、実施形態にかかる識別データの構成を示した例示的かつ模式的な図である。
図3に示されるように、実施形態にかかる識別データは、フレーム画像の出力元の画像出力装置110を識別するためのデータである装置IDと、フレーム画像の映像データ内での時系列を示すデータであるタイムスタンプと、により構成される。
【0020】
図2に戻り、データ付加部121により生成されたデータ202は、対象検出装置130の検出処理部131に入力される。そして、検出処理部131は、推論器131Aを用いて、データ202に含まれるフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する。すなわち、検出処理部131は、推論器131Aを用いて、識別データとフレーム画像との組み合わせからなるデータ202から、識別データと位置データとの組み合わせからなるデータ203を生成する。推論器131Aとは、たとえば、フレーム画像の入力に応じて当該フレーム画像に映っている検出対象の位置を示す位置データを出力するように機械学習により予めトレーニングされたニューラルネットワークである。
【0021】
そして、検出処理部131により生成されたデータ203は、情報処理装置120の出力部122に入力される。なお、出力部122には、データ付加部121により生成されたデータ202も入力される。そして、出力部122は、検出処理部131により生成されたデータ203と、データ付加部121により生成されたデータ202と、に基づいて、位置データとフレーム画像との組み合わせからなるデータ204を生成する。すなわち、出力部122は、検出処理部131により生成されたデータ203と、データ付加部121により生成されたデータ202と、の識別データを比較し、同一の識別データが対応付けられた位置データおよびフレーム画像を関連付けて、位置データとフレーム画像との組み合わせからなるデータ204を生成する。
【0022】
そして、出力部122は、位置データとフレーム画像との組み合わせからなるデータ204に基づいて、検出対象が映っている対象画像としてのフレームデータに、位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された対象画像を出力する。これにより、実施形態では、次の
図4に示されるような画像400がディスプレイ(不図示)に出力される。
【0023】
図4は、実施形態にかかる情報処理装置120により出力される画像の一例を示した例示的かつ模式的な図である。
図4に示されるように、実施形態にかかる情報処理装置120は、たとえば対象検出装置130が検出対象として人401を検出した場合、人401を囲む枠402が上記のマーカとして重畳された画像400を出力しうる。なお、
図4に示される画像400は、あくまで一例である。実施形態では、人401以外の物体が検出対象となる場合もある。また、実施形態では、1つの画像内に複数の検出対象が存在する場合、1つの画像に複数のマーカが重畳される場合がある。
【0024】
以上の構成に基づき、実施形態にかかる情報処理システムは、次の
図5に示されるような流れで一連の処理を実行する。
【0025】
図5は、実施形態にかかる情報処理システムが実行する一連の処理の流れを示した例示的かつ模式的なシーケンス図である。
【0026】
図5に示されるように、実施形態では、まず、S501において、情報処理装置120のデータ付加部121は、画像出力装置110から複数のフレーム画像を取得する。
【0027】
そして、S502において、データ付加部121は、S501で取得された複数のフレーム画像に、当該複数のフレーム画像の各々を識別するための前述した識別データを付加する。
【0028】
そして、S503において、データ付加部121は、識別データが付加されたフレーム画像を対象検出装置130に出力する。
【0029】
そして、S504において、対象検出装置130の検出処理部131は、S503でデータ付加部121から出力されたデータを取得し、推論器131Aを用いて、フレーム画像に映っている可能性がある検出対象の検出を実行する。
【0030】
そして、S505において、検出処理部131は、S504での検出の結果に基づいて、検出対象の位置を示す位置データと、検出対象が映っている対象画像としてのフレーム画像の識別データと、を関連付けて情報処理装置120に出力する。
【0031】
そして、S506において、情報処理装置120の出力部122は、S505で検出処理部131から出力されたデータと、S502でデータ付加部121により生成されたデータと、を取得し、両者の識別データの一致性に基づいて、位置データとフレーム画像とを関連付ける。より具体的に、出力部122は、データ付加部121により識別データが付加された複数のフレーム画像から、検出処理部131から取得された識別データが付加されたフレーム画像を、検出対象が映っている対象画像として抽出する。そして、出力部122は、対象画像と当該対象画像内で検出対象が映っている位置を示す位置データとを関連付ける。
【0032】
そして、S507において、出力部122は、S506で関連付けられた位置データおよびフレーム画像に基づいて、対象画像として抽出されたフレーム画像に、位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳されたフレーム画像を出力する。そして、処理が終了する。
【0033】
以上説明したように、実施形態にかかる声掛けシステムは、画像出力装置110と、情報処理装置120と、対象検出装置130と、を備えている。画像出力装置110は、複数のフレーム画像を出力する。対象検出装置130は、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に、当該検出対象の対象画像内での位置を示す位置データを、当該複数のフレーム画像の各々を識別するための識別データのうち対象画像に対応した識別データとともに出力する。
【0034】
ここで、情報処理装置120は、データ付加部121と、出力部122と、を備えている。データ付加部121は、画像出力装置110から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を対象検出装置130に出力する。出力部1122は、対象検出装置130から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部121により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する。
【0035】
上記のような構成によれば、対象検出装置130から情報処理装置120に出力されるデータがフレーム画像を含まずに位置データおよび識別データのみとなるので、情報処理装置120と対象検出装置130との間で入出力されるデータの量を低減することができる。これにより、情報処理装置120と対象検出装置130との間でのデータの入出力の負荷を低減することができる。
【0036】
また、実施形態において、複数のフレーム画像は、一連の映像データを構成している。そして、データ付加部121は、識別データとして、複数のフレーム画像の各々の映像データ内での時系列を示すデータを、複数のフレーム画像に付加する。このような構成によれば、時系列を示すデータを用いて識別データの付加を簡単に行うことができる。
【0037】
さらに、実施形態において、データ付加部121は、画像出力装置110が複数存在する場合、識別データとして、画像出力装置121を識別するためのデータを、複数のフレーム画像に付加する。このような構成によれば、画像出力装置110の違いも考慮して識別データの付加を行うことができる。
【0038】
なお、実施形態において、出力部122は、データ付加部121により識別データが付加された複数のフレーム画像から、対象検出装置130から取得した識別データが付加された対象画像を抽出し、抽出した対象画像に、対象検出装置130から取得した位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された対象画像を出力する(
図4参照)。このような構成によれば、対象検出装置130による検出の結果をユーザが視覚的に容易に識別可能な態様で提供することができる。
【0039】
最後に、実施形態にかかる情報処理装置120のハードウェア構成について説明する。実施形態にかかる情報処理装置120は、たとえば次の
図6に示されるようなハードウェア構成を有するコンピュータ600として構成される。
【0040】
図6は、第1~第3実施形態にかかる情報処理装置120を構成するコンピュータ600のハードウェア構成を示した例示的かつ模式的なブロック図である。
【0041】
図6に示されるように、コンピュータ600は、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェース(I/F)640と、通信インターフェース(I/F)650と、を備えている。これらのハードウェアは、バス660に接続されている。
【0042】
プロセッサ610は、たとえばCPU(Central Processing Unit)として構成され、コンピュータ600の各部の動作を統括的に制御する。
【0043】
メモリ620は、たとえばROM(Read Only Memory)およびRAM(Random Access Memory)を含み、プロセッサ610により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ610がプログラムを実行するための作業領域の提供などを実現する。
【0044】
ストレージ630は、たとえばHDD(Hard Disk Drive)またはSSD(Solid State Drive)を含み、各種のデータを不揮発的に記憶する。
【0045】
入出力インターフェース640は、たとえばキーボードおよびマウス(いずれも不図示)のような入力装置からコンピュータ600へのデータの入力と、たとえばコンピュータ600からディスプレイおよびスピーカ(いずれも不図示)のような出力装置へのデータの出力と、を制御する。
【0046】
通信インターフェース650は、コンピュータ600が他の装置と通信を実行することを可能にする。
【0047】
実施形態において、実施形態にかかる情報処理装置120が有する
図1に示される機能モジュール群は、プロセッサ610がメモリ620またはストレージ630などに記憶された情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュールとして実現される。ただし、実施形態では、
図1に示される機能モジュール群のうち少なくとも一部が、専用のハードウェアのみによって実現されてもよい。
【0048】
なお、上述した情報処理プログラムは、必ずしもメモリ620またはストレージ630に予め記憶されている必要はない。たとえば、上述した情報処理プログラムは、フレキシブルディスク(FD)のような各種の磁気ディスク、またはDVD(Digital Versatile Disk)のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。
【0049】
また、上述した情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述した情報処理プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。
【0050】
以上、本開示の実施形態を説明したが、上述した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上述した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0051】
110 画像出力装置
120 情報処理装置
121 データ付加部
122 出力部
130 対象検出装置