(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040536
(43)【公開日】2024-03-26
(54)【発明の名称】画像処理装置、画像処理方法、プログラム及び画像配信システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240318BHJP
H04N 21/234 20110101ALI20240318BHJP
G06T 7/00 20170101ALI20240318BHJP
【FI】
H04N5/232 290
H04N5/232 300
H04N21/234
G06T7/00 300
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022144941
(22)【出願日】2022-09-13
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】近藤 麻央
(72)【発明者】
【氏名】加藤 芳幸
(72)【発明者】
【氏名】岡本 直也
【テーマコード(参考)】
5C122
5C164
5L096
【Fターム(参考)】
5C122EA47
5C122FH10
5C122FH11
5C122FH14
5C122FH18
5C122FK37
5C122FK38
5C122FK40
5C122FK41
5C122GC52
5C122HA13
5C122HA35
5C122HB01
5C122HB05
5C122HB06
5C122HB09
5C164MC04S
5C164SA25S
5C164SB01P
5C164SB29S
5L096DA01
5L096FA72
5L096JA22
5L096MA03
(57)【要約】
【課題】或る条件を満たすか否かについて判定がなされた物体を含む画像を表示する際に、当該判定の結果を分かり易くする。
【解決手段】カメラ装置2は、撮像された画像(例えば、画像Im1;
図5参照)に含まれる物体が或る条件を満たすか否かを判定し、上記の条件を満たすと判定された物体の少なくとも一部を含む部分画像(例えば、画像Im2;
図8参照)を、上記の画像から新たに生成し、生成された部分画像と、当該部分画像の生成元となる画像と、を合成することにより合成画像(例えば、画像Im3;
図9参照)を生成する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
撮像された画像に含まれる物体が或る条件を満たすか否かを判定する判定手段と、
前記判定手段により前記条件を満たすと判定された物体の少なくとも一部を含む部分画像を、前記画像から新たに生成する生成手段と、
前記生成手段により生成された前記部分画像と、当該部分画像の生成元となる前記画像と、を合成することにより合成画像を生成する画像合成手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記画像合成手段は、前記部分画像と、前記画像と、を互いに重ならない位置関係で合成することにより前記合成画像を生成する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記条件は、前記画像に含まれる物体が予め登録されている物体と一致することである、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
撮像手段により撮像された前記画像に含まれる人物以外の物体を認識するための認識手段を更に備え、
前記画像合成手段は、前記合成画像を生成する際に、前記部分画像と合成する前記画像として、前記認識手段により認識された物体の一般名称が前記画像内の物体に付された状態の画像を用いる、
ことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
撮像手段により撮像された前記画像に含まれる人物を認識するための認識手段を更に備え、
前記判定手段は、前記認識手段により認識された人物が予め登録されている特定の人物と一致するか否かを判定し、
前記生成手段は、前記判定手段により前記特定の人物と一致すると判定された前記人物の顔画像を前記部分画像として生成する、
ことを特徴とする請求項3に記載の画像処理装置。
【請求項6】
前記生成手段は、前記顔画像を生成する際に、前記判定手段により前記特定の人物と一致すると判定された前記人物に関する情報を、当該顔画像と合成する、
ことを特徴とする請求項5に記載の画像処理装置。
【請求項7】
撮像手段により撮像された前記画像に含まれる或る検査品を認識するための認識手段を更に備え、
前記判定手段は、前記認識手段により認識された前記検査品が不良品であるか否かを判定し、
前記生成手段は、前記判定手段により不良品であると判定された前記不良品の少なくとも一部を含む部分画像を、前記画像から新たに生成する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記画像合成手段は、前記合成画像を生成する際に、前記画像と合成する前記部分画像が複数ある場合、当該複数の前記部分画像のそれぞれに設定されている優先順位に従って当該複数の前記部分画像を並べた状態で、当該複数の前記部分画像と、前記画像と、を合成する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記優先順位は、前記部分画像の生成対象となる前記物体の状態に応じて変更される、
ことを特徴とする請求項8に記載の画像処理装置。
【請求項10】
撮像手段と、
前記撮像手段により撮像された画像に含まれる物体を認識するための認識手段と、
を更に備える、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項11】
前記画像合成手段により生成された前記合成画像を、当該合成画像を要求する端末装置に送信するための送信制御手段を備える、
ことを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記送信制御手段は、前記合成画像を前記端末装置に送信する際に、前記認識手段により認識された前記物体に係る認識結果を併せて送信する、
ことを特徴とする請求項11に記載の画像処理装置。
【請求項13】
撮像された画像に含まれる物体が或る条件を満たすか否かを判定する判定工程と、
前記判定工程により前記条件を満たすと判定された物体の少なくとも一部を含む部分画像を、前記画像から新たに生成する生成工程と、
前記生成工程により生成された前記部分画像と、当該部分画像の生成元となる前記画像と、を合成することにより合成画像を生成する画像合成工程と、
を含むことを特徴とする画像処理方法。
【請求項14】
画像処理装置のコンピュータを、
撮像された画像に含まれる物体が或る条件を満たすか否かを判定する判定手段、
前記判定手段により前記条件を満たすと判定された物体の少なくとも一部を含む部分画像を、前記画像から新たに生成する生成手段、
前記生成手段により生成された前記部分画像と、当該部分画像の生成元となる前記画像と、を合成することにより合成画像を生成する画像合成手段、
として機能させることを特徴とするプログラム。
【請求項15】
撮像手段により撮像された画像を画像処理装置より端末装置に対して配信する画像配信システムであって、
前記画像処理装置は、
撮像された画像に含まれる物体が或る条件を満たすか否かを判定する判定手段と、
前記判定手段により前記条件を満たすと判定された物体の少なくとも一部を含む部分画像を、前記画像から新たに生成する生成手段と、
前記生成手段により生成された前記部分画像と、当該部分画像の生成元となる前記画像と、を合成することにより合成画像を生成する画像合成手段と、
前記画像合成手段により生成された前記合成画像を、当該合成画像を要求する前記端末装置に送信するための送信制御手段と、
を備え、
前記端末装置は、
前記画像処理装置より送信された前記合成画像を取得する取得手段と、
前記取得手段により取得された前記合成画像を表示部に表示させる表示制御手段と、
を備える、
ことを特徴とする画像配信システム。
【請求項16】
前記画像処理装置は、
前記画像に含まれる物体を認識するための認識手段を更に備え、
前記送信制御手段によって、前記合成画像を前記端末装置に送信する際に、前記認識手段により認識された前記物体に係る認識結果を併せて送信し、
前記端末装置は、
前記取得手段によって、前記画像処理装置より送信された前記合成画像及び前記認識結果を取得し、
前記表示制御手段によって、前記取得手段により取得された前記合成画像及び前記認識結果を前記表示部に表示させる、
ことを特徴とする請求項15に記載の画像配信システム。
【請求項17】
前記表示制御手段は、前記合成画像及び前記認識結果を前記表示部に表示させる際に、当該認識結果を、当該合成画像内に予め設けられている認識結果表示用の領域に重畳して表示させる、
ことを特徴とする請求項16に記載の画像配信システム。
【請求項18】
前記表示制御手段は、ユーザ操作に基づいて、前記認識結果表示用の領域に表示された前記認識結果の表示態様を切り替え可能である、
ことを特徴とする請求項17に記載の画像配信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム及び画像配信システムに関する。
【背景技術】
【0002】
従来、情報処理装置が、撮像装置により撮像された一以上のプレイヤを含むプレイヤ画像を取得し、画像表示装置に特定の画像が出力されている間に前記プレイヤ画像の中の特定の領域における前記一以上のプレイヤの状態を解析し、解析した状態が特定の条件を満たすか否かを判定し、判定の結果を、前記画像表示装置に出力するゲーム提供システムが開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に開示されているゲーム提供システムでは、判定の結果を解析対象のプレイヤ画像に重畳して表示しているだけなので、判定の結果が分かり難いという問題がある。
【0005】
本発明は、このような問題に鑑みてなされたものであり、或る条件を満たすか否かについて判定がなされた物体を含む画像を表示する際に、当該判定の結果を分かり易くすることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る画像処理装置は、
撮像された画像に含まれる物体が或る条件を満たすか否かを判定する判定手段と、
前記判定手段により前記条件を満たすと判定された物体の少なくとも一部を含む部分画像を、前記画像から新たに生成する生成手段と、
前記生成手段により生成された前記部分画像と、当該部分画像の生成元となる前記画像と、を合成することにより合成画像を生成する画像合成手段と、
を備えることを特徴とする。
【0007】
また、上記課題を解決するため、本発明に係る画像処理方法は、
撮像された画像に含まれる物体が或る条件を満たすか否かを判定する判定工程と、
前記判定工程により前記条件を満たすと判定された物体の少なくとも一部を含む部分画像を、前記画像から新たに生成する生成工程と、
前記生成工程により生成された前記部分画像と、当該部分画像の生成元となる前記画像と、を合成することにより合成画像を生成する画像合成工程と、
を含むことを特徴とする。
【0008】
また、上記課題を解決するため、本発明に係るプログラムは、
画像処理装置のコンピュータを、
撮像された画像に含まれる物体が或る条件を満たすか否かを判定する判定手段、
前記判定手段により前記条件を満たすと判定された物体の少なくとも一部を含む部分画像を、前記画像から新たに生成する生成手段、
前記生成手段により生成された前記部分画像と、当該部分画像の生成元となる前記画像と、を合成することにより合成画像を生成する画像合成手段、
として機能させることを特徴とする。
【0009】
また、上記課題を解決するため、本発明に係る画像配信システムは、
撮像手段により撮像された画像を画像処理装置より端末装置に対して配信する画像配信システムであって、
前記画像処理装置は、
撮像された画像に含まれる物体が或る条件を満たすか否かを判定する判定手段と、
前記判定手段により前記条件を満たすと判定された物体の少なくとも一部を含む部分画像を、前記画像から新たに生成する生成手段と、
前記生成手段により生成された前記部分画像と、当該部分画像の生成元となる前記画像と、を合成することにより合成画像を生成する画像合成手段と、
前記画像合成手段により生成された前記合成画像を、当該合成画像を要求する前記端末装置に送信するための送信制御手段と、
を備え、
前記端末装置は、
前記画像処理装置より送信された前記合成画像を取得する取得手段と、
前記取得手段により取得された前記合成画像を表示部に表示させる表示制御手段と、
を備える、
ことを特徴とする。
【発明の効果】
【0010】
本発明によれば、或る条件を満たすか否かについて判定がなされた物体を含む画像を表示する際に、当該判定の結果を分かり易くすることができる。
【図面の簡単な説明】
【0011】
【
図1】本実施形態の画像配信システムの概略構成図である。
【
図2】カメラ装置の機能構成を示すブロック図である。
【
図3】クライアント端末の機能構成を示すブロック図である。
【
図4】画像配信処理の制御手順を示すフローチャートである。
【
図5】カメラ装置の撮像部で撮像された画像の例を示す図である。
【
図6】物体の認識結果が重畳された画像の例を示す図である。
【
図7】画像内に含まれる物体のうちの特定の物体を示す図である。
【
図10】合成画像と認識結果に関する情報とをクライアント端末に送信する際のデータの構造例を示す図である。
【
図12】カメラ装置より配信された画像がクライアント端末の表示部に表示された際の画面の例を示す図である。
【
図13】カメラ装置より配信された画像がクライアント端末の表示部に表示された際の画面の例を示す図である。
【
図14】物体の認識結果が重畳された画像の例を示す図である。
【
図15】認識結果が重畳された画像と当該認識結果に関する情報とをクライアント端末に送信する際のデータの構造例を示す図である。
【
図17】カメラ装置より配信された画像がクライアント端末の表示部に表示された際の画面の例を示す図である。
【
図18】変形例の画像配信処理の制御手順を示すフローチャートである。
【
図19】カメラ装置の撮像部で撮像された画像の例を示す図である。
【
図20】(a)及び(b)は部分画像の例を示す図である。
【
図22】カメラ装置より配信された画像がクライアント端末の表示部に表示された際の画面の例を示す図である。
【
図23】カメラ装置の撮像部で撮像された画像の例を示す図である。
【
図24】カメラ装置より配信された画像がクライアント端末の表示部に表示された際の画面の例を示す図である。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【0013】
<画像配信システム1の構成>
まず、
図1を参照して、本実施形態の構成を説明する。
図1は、本実施形態の画像配信システム1の概略構成図である。
【0014】
図1に示すように、画像配信システム1は、カメラ装置(画像処理装置)2と、クライアント端末(端末装置)3と、を備えている。カメラ装置2とクライアント端末3とは通信ネットワークNを介して情報通信可能に接続される。
【0015】
カメラ装置2は、AI(Artificial Intelligence)機能を搭載したカメラ装置である。カメラ装置2は、モニタリングの対象となる場所に設置されている。
【0016】
クライアント端末3は、カメラ装置2によるモニタリングを依頼したユーザが管理する端末装置である。クライアント端末3としては、例えば、デスクトップPC(Personal Computer)、ノートPC等が挙げられる。なお、これらに限定されず、スマートフォンや、タブレットPC等であってもよい。
【0017】
通信ネットワークNは、例えば、インターネットであるものとするが、LAN(Local Area Network)等、他のネットワークとしてもよい。
【0018】
<カメラ装置2の構成>
次に、
図2を参照して、カメラ装置2の機能構成について説明する。
図2は、カメラ装置2の機能構成を示すブロック図である。
【0019】
図2に示すように、カメラ装置2は、CPU(Central Processing Unit)21と、RAM(Random Access Memory)22と、記憶部23と、撮像部(撮像手段)24と、通信部25と、バス26などを備えている。カメラ装置2の各部は、バス26を介して接続されている。
【0020】
少なくとも1つのプロセッサとしてのCPU(判定手段、生成手段、画像合成手段、認識手段、送信制御手段)21は、カメラ装置2の各部を制御するプロセッサである。CPU21は、記憶部23に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してRAM22に展開し、当該プログラムに従って各種処理を実行する。なお、
図2では単一のCPU21が図示されているが、これに限られない。CPU等のプロセッサが2以上設けられていてもよく、本実施形態のCPU21が実行する処理を、これらの2以上のプロセッサが分担して実行してもよい。
【0021】
RAM22は、例えば、揮発性のメモリであり、CPU21により読み出された各種のプログラムやデータを一時的に格納するワークエリアを有する。
【0022】
記憶部23は、HDD(Hard Disk Drive)、SSD(Solid State Drive)といった、データの書き込み及び読み出しが可能な記憶装置を備え、各種のプログラムやデータ等を記憶する。
【0023】
撮像部24は、撮像レンズやこの撮像レンズを通して入射した光をデジタル信号に変換する撮像素子等を含み、クライアント端末3よりなされる画像配信の開始指示のタイミングで撮像を開始し、撮像画像の画像データをCPU21に出力する。また、撮像部24は、クライアント端末3よりなされる画像配信の終了指示のタイミングで撮像を終了する。撮像部24は、上記の開始指示のタイミングから終了指示のタイミングまでの間、所定のフレームレート(例えば、30fps)で撮像を行う。
【0024】
通信部25は、ネットワークカード等により構成されている。通信部25は、通信ネットワークNに通信接続されて、通信ネットワークN上のクライアント端末3等との通信を行う。
【0025】
<クライアント端末3の構成>
次に、
図3を参照して、クライアント端末3の機能構成について説明する。
図3は、クライアント端末3の機能構成を示すブロック図である。
【0026】
図3に示すように、クライアント端末3は、CPU31と、RAM32と、記憶部33と、操作部34と、表示部35と、通信部36と、バス37などを備えている。クライアント端末3の各部は、バス37を介して接続されている。
【0027】
CPU(取得手段、表示制御手段)31は、クライアント端末3の各部を制御するプロセッサである。CPU31は、記憶部33に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してRAM32に展開し、当該プログラムに従って各種処理を実行する。
【0028】
RAM32は、例えば、揮発性のメモリであり、CPU31により読み出された各種のプログラムやデータを一時的に格納するワークエリアを有する。
【0029】
記憶部33は、HDD、SSDといった、データの書き込み及び読み出しが可能な記憶装置を備え、各種のプログラムやデータを含むファイル等を記憶する。
【0030】
操作部34は、キーボード等のキー入力部と、マウス等のポインティングデバイスとを有し、ユーザからのキー操作入力及び位置操作入力を受け付け、その操作情報を、CPU31に出力する。CPU31は、操作部34から送信された情報に基づいて、ユーザの入力操作を受け付ける。
【0031】
表示部35は、LCD(Liquid Crystal Display)、EL(Electro Luminescence)ディスプレイ等で構成され、CPU31から指示された表示情報に従い各種表示を行う。
【0032】
通信部36は、ネットワークカード等により構成されている。通信部36は、通信ネットワークNに通信接続されて、通信ネットワークN上のカメラ装置2等との通信を行う。
【0033】
<画像配信システム1の動作>
次に、カメラ装置2によって行われる画像配信処理を説明する。
図4は、画像配信処理の制御手順を示すフローチャートである。画像配信処理は、例えば、カメラ装置2が、クライアント端末3から送信された画像配信の開始を指示する情報を受信したことを契機として開始されるようになっている。
【0034】
図4に示すように、画像配信処理が開始されると、カメラ装置2のCPU21は、先ず、撮像部24で撮像された画像(撮像画像)を取得する(ステップS1)。
【0035】
次いで、CPU21は、ステップS1で取得された画像内に含まれる物体を認識する(ステップS2)。具体的には、CPU21は、画像内に含まれる物体のカテゴリを分類する一般物体認識を行う。例えば、ステップS1において、
図5の画像Im1が取得された場合、CPU21は、画像Im1内に含まれる物体のカテゴリ(例えば、PENCIL、ERASER、CUP)を分類する。ここで、一般物体認識の対象は、人物以外の物(object)であるものとする。なお、一般物体認識の方法は、公知であるため説明は省略する。
【0036】
次いで、CPU21は、ステップS2で行われた認識(一般物体認識)の結果を、ステップS1で取得された画像に重畳する(ステップS3)。例えば、
図5に示す画像Im1内の物体について認識が行われた場合、CPU21は、
図6に示すように、上記の認識の結果として、画像Im1内に含まれる各物体(PENCIL、ERASER、CUP)を検出した際の検出枠Wを当該各物体の周囲に重畳するとともに、当該各物体のカテゴリを示すラベルLbを検出枠W内の左上部に重畳する。
【0037】
次いで、CPU21は、ステップS2で認識された物体のなかに特定の物体が含まれているか否かを判定する(ステップS4)。具体的には、CPU21は、クライアント端末3のユーザが捜している消しゴム(Eraser)の画像データが予め登録されているデータベース(記憶部23)を用いて、ステップS2で認識された物体の画像と照合することにより、当該ステップS2で認識された物体のなかに上記ユーザが捜している消しゴム(特定の物体)が含まれているか否かを判定する。
【0038】
ステップS4において、ステップS2で認識された物体のなかに特定の物体が含まれていると判定された場合(ステップS4;YES)、CPU21は、当該特定の物体を含む部分画像を、ステップS1で取得された画像から新たに生成する(ステップS5)。例えば、
図7に示す画像Im1内の実線で囲まれた物体(ERASER)が特定の物体である、すなわち上記ユーザが捜している消しゴムであると判定された場合、CPU21は、
図8に示すように、当該物体(ERASER)を含む部分画像Im2を、画像Im1から新たに生成する。
【0039】
次いで、CPU21は、ステップS5で生成された部分画像(例えば、部分画像Im2;
図8参照)と、ステップS1で取得された画像であって、ステップS3で認識結果が重畳された画像(例えば、画像Im1;
図7参照)と、を合成することにより合成画像(例えば、合成画像Im3;
図9参照)を生成する(ステップS6)。合成画像を生成する際のレイアウトについて、
図9の合成画像Im3を例に挙げて説明すると、部分画像Im2と画像Im1とのそれぞれの上端が揃うようにするとともに、部分画像Im2の右端と画像Im1の左端とが互いに接するようにして、部分画像Im2と画像Im1とを合成する。なお、
図9に示されている破線の枠(
図11、
図14、
図16も同様)は、クライアント端末3の表示部35において上記の合成画像Im3等が表示される際に用いられるフレームF1(
図12等参照)に相当する。
【0040】
次いで、CPU21は、通信部25を介して、ステップS6で生成された合成画像と、ステップS2で画像内の物体が認識された際の認識結果に関する情報と、をクライアント端末3に送信する(ステップS7)。
【0041】
図10は、ステップS6で生成された合成画像Im3(
図9参照)と、ステップS2で画像Im1内の物体が認識された際の認識結果に関する情報と、をクライアント端末3に送信する際のデータD1の構造例を示す図である。
図10に示すように、上記のデータD1は、例えば、合成画像Im3の画像データ(JPEG形式)と、認識結果に関する情報である「状態情報」、「認識結果情報1」~「認識結果情報3」に関する各データと、で構成されている。「状態情報」は、対象の画像内にクライアント端末3のユーザが捜している消しゴムが含まれているか否かを示す情報であり、データD1では「状態情報」に関するデータ“捜し物あり(対象の画像内にクライアント端末3のユーザが捜している消しゴムが含まれている)”が設定されている。「認識結果情報1」~「認識結果情報3」は、対象の画像内に含まれる各物体(Pencil、Eraser、Cup)の数を示す情報であり、データD1では「認識結果情報1」に関するデータ“Pencil[3]”、「認識結果情報2」に関するデータ“Eraser[3]”、「認識結果情報3」に関するデータ“Cup[1]”がそれぞれ設定されている。ここで、「認識結果情報1」に関するデータ“Pencil[3]”は、Pencilの数が3(本)であることを示している。「認識結果情報2」に関するデータ“Eraser[3]”は、Eraserの数が3(個)であることを示している。「認識結果情報3」に関するデータ“Cup[1]”は、Cupの数が1(個)であることを示している。
【0042】
図4の画像配信処理の説明に戻り、ステップS7において、ステップS6で生成された合成画像と、ステップS2で画像内の物体が認識された際の認識結果に関する情報と、がクライアント端末3に送信されると、当該クライアント端末3は、当該合成画像等を表示部35に表示させるための表示制御処理を行う。例えば、クライアント端末3がカメラ装置2より上記のデータD1(
図10参照)を受信した場合、クライアント端末3のCPU31は、「状態情報」に関するデータに基づいて“捜し物あり”の見出しId1を生成するとともに、「認識結果情報1」~「認識結果情報3」に関する各データに基づいて、画像Im1内に含まれる各物体(Pencil、Eraser、Cup)の数を示す表Tb1を生成する。そして、CPU31は、
図11に示すように、見出しId1が、合成画像Im3(
図9参照)と合成されたときに部分画像Im2の表示枠内の左上部に配置されるとともに、表Tb1が、合成画像Im3(
図9参照)と合成されたときに部分画像Im2の下方に配置されるように調整した認識結果画像Im11を生成する。そして、CPU31は、合成画像Im3と認識結果画像Im11とを、所定のWebブラウザ上で合成し、
図12に示すように、合成された画像Im12を表示部35に表示されたフレームF1内に表示する。なお、表示部35に表示された上記の表Tb1は、操作部34を介して行われるユーザ操作に基づいて、
図13に示すように、画像Im1内に含まれる各物体(Pencil、Eraser、Cup)の数を示す表の表示態様を変更(例えば、積み上げ棒グラフの表Tb2に変更)できるようにしてもよい。
【0043】
また、ステップS4において、ステップS2で認識された物体のなかに特定の物体が含まれていないと判定された場合(ステップS4;NO)、CPU21は、通信部25を介して、ステップS3で認識結果が重畳された画像(例えば、画像Im4;
図14参照)と、ステップS2で画像内の物体が認識された際の認識結果に関する情報と、をクライアント端末3に送信する(ステップS8)。
【0044】
図15は、ステップS3で認識結果が重畳された画像Im4(
図14参照)と、ステップS2で画像内の物体が認識された際の認識結果に関する情報と、をクライアント端末3に送信する際のデータD2の構造例を示す図である。
図15に示すように、上記のデータD2は、例えば、上記の画像Im4の画像データ(JPEG形式)と、認識結果に関する情報である「状態情報」、「認識結果情報1」に関する各データと、で構成されている。「状態情報」は、対象の画像内にクライアント端末3のユーザが捜している消しゴムが含まれているか否かを示す情報であり、データD2では「状態情報」に関するデータ“捜し物なし(対象の画像内にクライアント端末3のユーザが捜している消しゴムが含まれていない)”が設定されている。「認識結果情報1」は、対象の画像内に含まれる物体(Pencil)の数を示す情報であり、データD2では「認識結果情報1」に関するデータ“Pencil[4]”が設定されている。ここで、「認識結果情報1」に関するデータ“Pencil[4]”は、Pencilの数が4(本)であることを示している。
【0045】
図4の画像配信処理の説明に戻り、ステップS8において、ステップS3で認識結果が重畳された画像と、ステップS2で画像内の物体が認識された際の認識結果に関する情報と、がクライアント端末3に送信されると、当該クライアント端末3は、当該画像等を表示部35に表示させるための表示制御処理を行う。例えば、クライアント端末3がカメラ装置2より上記のデータD2(
図15参照)を受信した場合、クライアント端末3のCPU31は、「状態情報」に関するデータに基づいて“捜し物なし”の見出しId2を生成するとともに、「認識結果情報1」に関するデータに基づいて、画像内に含まれる物体(Pencil)の数を示す表Tb3を生成する。そして、CPU31は、
図16に示すように、見出しId2が、表示部35にされたときに状態情報が表示される枠内の左上部に配置されるとともに、表Tb3が、表示部35にされたときに状態情報が表示される枠の下方に配置されるように調整した認識結果画像Im13を生成する。そして、CPU31は、画像Im4と認識結果画像Im13とを、所定のWebブラウザ上で合成し、
図17に示すように、合成された画像Im14を表示部35に表示されたフレームF1内に表示する。
【0046】
次いで、CPU21は、ステップS7又はステップS8の処理を実行した後、クライアント端末3より画像配信の終了指示がなされたか否かを判定する(ステップS9)。
【0047】
ステップS9において、クライアント端末3より画像配信の終了指示がなされたと判定された場合(ステップS9;YES)、CPU21は、画像配信処理を終了する。
【0048】
また、ステップS9において、クライアント端末3より画像配信の終了指示がなされていないと判定された場合(ステップS9;NO)、CPU21は、処理をステップS1に戻し、それ以降の処理を繰り返し行う。このように、上記の画像配信処理は、カメラ装置2側で生成された合成画像や認識結果に関する情報を、クライアント端末3へ配信する一方通行のため、画像配信の安定性を確保することができる。
【0049】
以上のように、本実施形態によれば、カメラ装置2は、撮像された画像(例えば、画像Im1;
図5参照)に含まれる物体が或る条件を満たすか否かを判定し、上記の条件を満たすと判定された物体の少なくとも一部を含む部分画像(例えば、画像Im2;
図8参照)を、上記の画像から新たに生成し、生成された部分画像と、当該部分画像の生成元となる画像と、を合成することにより合成画像(例えば、画像Im3;
図9参照)を生成する。
したがって、カメラ装置2によれば、或る条件を満たすと判定された物体の少なくとも一部を含む部分画像と、当該部分画像の生成元となる画像と、を合成することにより合成画像を生成するので、当該合成画像によって、上記の判定の結果を分かり易くすることができる。また、カメラ装置2によれば、合成画像を生成することで、クライアント端末3へ画像を配信する際の通信回数の増加を抑制することができる。つまり、カメラ装置2によれば、部分画像と、当該部分画像の生成元となる画像と、をそれぞれクライアント端末3へ配信する場合、複数回の通信が必要となるところ、当該部分画像と、当該部分画像の生成元となる画像と、を合成した合成画像をクライアント端末3へ配信する場合、1回の通信で済ませることができる。特に、撮像部24により撮像される画像がリアルタイム性のある画像である場合、状況の変化に応じて、生成される部分画像の数が増え得るため、画像配信を行う上で効果的となる。
【0050】
また、本実施形態によれば、カメラ装置2は、或る条件を満たすと判定された物体の少なくとも一部を含む部分画像と、当該部分画像の生成元となる画像と、を互いに重ならない位置関係で合成することにより合成画像を生成するので、各画像を視認し易くすることができる。この結果、上記の判定の結果をより分かり易くすることができる。
【0051】
また、本実施形態によれば、上記の或る条件を、撮像された画像に含まれる物体が予め登録されている物体と一致すること、とすることにより、カメラ装置2を、特定の物体を検出する物体認識や、工場のライン工程での不良品判定等に適用することができる。
【0052】
また、本実施形態によれば、カメラ装置2は、撮像部24により撮像された画像(例えば、画像Im1;
図5参照)に含まれる人物以外の物体を認識し、合成画像を生成する際に、部分画像と合成する画像として、認識された物体の一般名称(ラベルLb)が画像内の物体に付された状態の画像(例えば、画像Im1;
図6参照)を用いるので、上記の判定の結果をより分かり易くすることができる。
【0053】
[変形例]
以下、上述した実施形態の変形例について説明する。この変形例は、カメラ装置2の撮像部24で撮像された画像に含まれる物体を認識する際の対象を人物とすることを特徴としている。なお、基本的には、上述の実施形態と同様の構成を有しており、以下、同様の構成を有する部分については同じ符号を付して説明を省略し、主に異なる部分について説明する。
【0054】
(画像配信処理)
図18は、変形例の画像配信処理の制御手順を示すフローチャートである。
図18に示すように、画像配信処理が開始されると、カメラ装置2のCPU21は、先ず、撮像部24で撮像された画像(撮像画像)を取得する(ステップS21)。
【0055】
次いで、CPU21は、ステップS21で取得された画像内に含まれる人物を認識する(ステップS22)。具体的には、CPU21は、上述した一般物体認識により人物の顔を認識する顔認識を行うことで、画像内に含まれる人物を検出する。例えば、ステップS21において、
図19に示す画像Im21が取得された場合、CPU21は、画像Im21内に含まれる人物を検出する。
【0056】
次いで、CPU21は、ステップS22で認識された人物のなかに特定の人物が含まれているか否かを判定する(ステップS23)。具体的には、CPU21は、特定の人物の画像データが予め登録されているデータベース(記憶部23)を用いて、ステップS22で認識された人物の画像と照合することにより、当該ステップS22で認識された人物のなかに特定の人物が含まれているか否かを判定する。
【0057】
ステップS23において、ステップS22で認識された人物のなかに特定の人物が含まれていると判定された場合(ステップS23;YES)、CPU21は、当該特定の人物を含む部分画像を、ステップS21で取得された画像から新たに生成する(ステップS24)。例えば、
図19に示す画像Im21内の下段右側の人物が特定の人物であると判定された場合、CPU21は、
図20(a)に示すように、当該人物を含む部分画像Im22を、画像Im21から新たに生成する。また、画像Im21内の下段中央の人物が特定の人物であると判定された場合、CPU21は、
図20(b)に示すように、当該人物を含む部分画像Im23を、画像Im21から新たに生成する。なお、部分画像Im22や部分画像Im23を生成する際に、例えば、データベース(記憶部23)に登録されている該当人物の個人情報(名前、個人ID、役職等)を当該部分画像に重畳するようにしてもよい。
【0058】
次いで、CPU21は、ステップS24で生成された部分画像(例えば、部分画像Im22及び部分画像Im23;
図20参照)と、ステップS21で取得された画像(例えば、画像Im21;
図19参照)と、を合成することにより合成画像(例えば、合成画像Im24;
図21参照)を生成する(ステップS25)。合成画像を生成する際のレイアウトについて、
図21の合成画像Im24を例に挙げて説明すると、クライアント端末3の表示部35に表示されるフレームF1内に合成画像Im24が表示された際に、当該フレームF1内に設けられた部分画像表示用の枠F2(
図22参照)に部分画像Im22と部分画像Im23とのそれぞれが表示されるように、部分画像Im22と部分画像Im23と画像Im21とを合成する。より具体的には、各部分画像を生成する際に当該各部分画像に設定された優先順位に従って、例えば、優先順位が最も高い部分画像を、フレームF1内に設けられた4つの枠F2のうちの左上の枠F2に、当該優先順位がその次に高い部分画像を、右上の枠F2に、当該優先順位がその次に高い部分画像を、左下の枠F2に、当該優先順位がその次に高い部分画像を、右下の枠F2に表示されるように、当該各部分画像を配置する。ここで、優先順位は、例えば、部分画像の被写体である人物(特定の人物)のID番号などに基づいて設定される。なお、優先順位は、部分画像の被写体である人物の状態(例えば、発話中であるか否か等)に応じて、変更されるようにしてもよい。
【0059】
次いで、CPU21は、通信部25を介して、ステップS25で生成された合成画像をクライアント端末3に送信する(ステップS26)。
【0060】
ステップS26において、合成画像がクライアント端末3に送信されると、当該クライアント端末3は、当該合成画像を表示部35に表示させるための表示制御処理を行う。例えば、クライアント端末3がカメラ装置2より合成画像Im24(
図21参照)を受信した場合、CPU31は、
図22に示すように、合成画像Im24を表示部35に表示されたフレームF1内に表示する。
【0061】
また、ステップS23において、ステップS22で認識された人物のなかに特定の人物が含まれていないと判定された場合(ステップS23;NO)、CPU21は、通信部25を介して、ステップS21で取得された画像(例えば、画像Im25;
図23参照)をクライアント端末3に送信する(ステップS27)。
【0062】
ステップS27において、ステップS21で取得された画像がクライアント端末3に送信されると、当該クライアント端末3は、当該画像を表示部35に表示させるための表示制御処理を行う。例えば、クライアント端末3がカメラ装置2より画像Im25(
図23参照)を受信した場合、CPU31は、
図24に示すように、画像Im25を表示部35に表示されたフレームF1内に表示する。
【0063】
次いで、CPU21は、ステップS26又はステップS27の処理を実行した後、クライアント端末3より画像配信の終了指示がなされたか否かを判定する(ステップS28)。
【0064】
ステップS28において、クライアント端末3より画像配信の終了指示がなされたと判定された場合(ステップS28;YES)、CPU21は、画像配信処理を終了する。
【0065】
また、ステップS28において、クライアント端末3より画像配信の終了指示がなされていないと判定された場合(ステップS28;NO)、CPU21は、処理をステップS21に戻し、それ以降の処理を繰り返し行う。このように、上記の画像配信処理は、カメラ装置2側で生成された合成画像等を、クライアント端末3へ配信する一方通行のため、画像配信の安定性を確保することができる。
【0066】
以上のように、本変形例によれば、カメラ装置2は、撮像部24により撮像された画像(例えば、画像Im21;
図19参照)に含まれる人物を認識し、認識された人物が予め登録されている特定の人物と一致するか否かを判定し、特定の人物と一致すると判定された人物の顔画像を部分画像(例えば、部分画像Im22及び部分画像Im23;
図10参照)として生成し、生成された部分画像と、当該部分画像の生成元となる画像と、を合成することにより合成画像(例えば、画像Im24;
図21参照)を生成する。
したがって、本変形例によれば、予め登録されている特定の人物と一致すると判定された人物の顔を含む部分画像と、当該部分画像の生成元となる画像と、を合成することにより合成画像を生成するので、当該合成画像によって、特定の人物の検出結果を分かり易くすることができる。
【0067】
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【0068】
例えば、上記実施形態では、
図4に示す画像配信処理のステップS4において、クライアント端末3のユーザが捜している消しゴムと一致する物体があるか否かを判定しているが、例えば、或る検査品を対象として、基準を満たさない不良品(端部が欠けている等の不良品など)があるか否かを判定するようにしてもよい。
【0069】
また、上記実施形態では、
図18に示す画像配信処理のステップS24において、特定の人物を含む部分画像を生成するようにしているが、当該特定の人物のほか、ステップS22で認識された人物を含む部分画像をさらに生成し、これらの部分画像と、当該部分画像の生成元となる画像と、を合成するようにしてもよい。かかる場合、例えば、縦に2列ある部分画像表示用の枠F2のうちの左側の列に特定の人物に係る部分画像が表示され、右側の列にそれ以外の人物に係る部分画像が表示されるようにする。
【0070】
また、上記実施形態では、カメラ装置2は、撮像部24などにより撮像を行うカメラ部と、上述した画像配信処理(
図4、
図18参照)などを行う画像処理部と、が一体として設けられているが、当該カメラ部と、当該画像処理部と、を別体として設けるようにしてもよい。かかる場合、当該カメラ部と当該画像処理部とは通信ネットワークNを介して情報通信可能に接続する。
【符号の説明】
【0071】
1 画像配信システム
2 カメラ装置
21 CPU
22 RAM
23 記憶部
24 撮像部
25 通信部
3 クライアント端末
31 CPU
32 RAM
33 記憶部
34 操作部
35 表示部
36 通信部
N 通信ネットワーク