知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝エネルギーシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-07
(45)【発行日】2025-02-18
(54)【発明の名称】情報処理システム、情報処理装置、および情報処理プログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20250210BHJP
G06F 11/32 20060101ALI20250210BHJP
G06F 11/07 20060101ALI20250210BHJP
【ＦＩ】
H04N7/18 A
H04N7/18 D
G06F11/32 150
G06F11/07 175
【請求項の数】
7
(21)【出願番号】P 2023112221
(22)【出願日】2023-07-07
(65)【公開番号】P2025015864
(43)【公開日】2025-01-31
【審査請求日】2023-07-07
【前置審査】
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317015294
【氏名又は名称】東芝エネルギーシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】飯村 徹男
(72)【発明者】
【氏名】▲裴▼ 秉哲
(72)【発明者】
【氏名】大成 高顕
(72)【発明者】
【氏名】野田 智史
(72)【発明者】
【氏名】東脇 秀臣
【審査官】塚本 丈二
(56)【参考文献】
【文献】特開２０１６－１５４３４１（ＪＰ，Ａ）
【文献】特開２０２２－１５９９１２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００１２０７２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｆ １１／３２
Ｇ０６Ｆ １１／０７
Ｇ０１Ｎ ２１／８４－２１／９５８
Ｇ０８Ｂ １９／００－２１／２４
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
撮影画像を取得する撮影部に接続された第１情報処理装置と、前記第１情報処理装置と通信する第２情報処理装置と、を備えた情報処理システムであって、前記第２情報処理装置は、
前記撮影画像、および前記撮影画像に含まれる確認対象の写り込んだ確認対象画像領域を構成する画素値の平均値を変換規則に沿って変換した数値化データ、を受信する受信部と、
１コマの前記撮影画像ごとに変換された前記数値化データを前記変換規則に基づいて前記確認対象画像領域に写り込んだ前記確認対象の状況を表す状況画像に変換する変換部と、
前記撮影画像に前記状況画像を重畳した重畳画像を表示する表示制御部と、
を備え、
前記変換規則は、
二値化のための１個の閾値と、前記確認対象画像領域を構成する画素値の前記平均値の二値化後の数値の各々によって表される前記確認対象画像領域の状況情報と、によって表され、
前記数値化データは、
前記確認対象画像領域を構成する画素値の前記平均値を前記変換規則によって表される前記閾値を用いて二値化した二値化データであり、
前記確認対象が、点滅するライトであり、
前記状況情報が、消灯または点灯を表す、
情報処理システム。
【請求項2】
前記受信部は前記撮影画像の撮影時未満のフレームレートで前記撮影画像を受信し、
前記撮影画像より高いフレームレートで前記数値化データを受信する、
請求項１に記載の情報処理システム。
【請求項3】
前記確認対象画像領域は、前記撮影画像に含まれる、少なくとも２種類の状況変化の観察対象となる前記確認対象の写り込んだ領域である、
請求項１に記載の情報処理システム。
【請求項4】
撮影画像を撮影部から取得する取得部と、前記撮影画像に含まれる確認対象の写り込んだ確認対象画像領域を構成する画素値の平均値を変換規則に沿って変換した数値化データを生成する生成部と、
前記撮影画像および１コマの前記撮影画像ごとに生成された前記数値化データを送信する通信制御部と、
を備え、
前記変換規則は、
二値化のための１個の閾値と、前記確認対象画像領域を構成する画素値の前記平均値の二値化後の数値の各々によって表される前記確認対象画像領域の状況情報と、によって表され、
前記数値化データは、
前記確認対象画像領域を構成する画素値の前記平均値を前記変換規則によって表される前記閾値を用いて二値化した二値化データであり、
前記確認対象が、点滅するライトであり、
前記状況情報が、消灯または点灯を表す、
情報処理装置。
【請求項5】
撮影画像、および前記撮影画像に含まれる確認対象の写り込んだ確認対象画像領域を構成する画素値の平均値を変換規則に沿って変換した数値化データ、を受信する受信部と、１コマの前記撮影画像ごとに変換された前記数値化データを前記変換規則に基づいて前記確認対象画像領域に写り込んだ前記確認対象の状況を表す状況画像に変換する変換部と、
前記撮影画像に前記状況画像を重畳した重畳画像を表示する表示制御部と、
を備え、
前記変換規則は、
二値化のための１個の閾値と、前記確認対象画像領域を構成する画素値の前記平均値の二値化後の数値の各々によって表される前記確認対象画像領域の状況情報と、によって表され、
前記数値化データは、
前記確認対象画像領域を構成する画素値の前記平均値を前記変換規則によって表される前記閾値を用いて二値化した二値化データであり、
前記確認対象が、点滅するライトであり、
前記状況情報が、消灯または点灯を表す、
情報処理装置。
【請求項6】
コンピュータに実行させるための情報処理プログラムであって、
撮影画像を撮影部から取得するステップと、
前記撮影画像に含まれる確認対象の写り込んだ確認対象画像領域を構成する画素値の平均値を変換規則に沿って変換した数値化データを生成するステップと、
前記撮影画像および１コマの前記撮影画像ごとに生成された前記数値化データを送信するステップと、
を含み、
前記変換規則は、
二値化のための１個の閾値と、前記確認対象画像領域を構成する画素値の前記平均値の二値化後の数値の各々によって表される前記確認対象画像領域の状況情報と、によって表され、
前記数値化データは、
前記確認対象画像領域を構成する画素値の前記平均値を前記変換規則によって表される前記閾値を用いて二値化した二値化データであり、
前記確認対象が、点滅するライトであり、
前記状況情報が、消灯または点灯を表す、
情報処理プログラム。
【請求項7】
コンピュータに実行させるための情報処理プログラムであって、
撮影画像、および前記撮影画像に含まれる確認対象の写り込んだ確認対象画像領域を構成する画素値の平均値を変換規則に沿って変換した数値化データ、を受信するステップと、
１コマの前記撮影画像ごとに変換された前記数値化データを前記変換規則に基づいて前記確認対象画像領域に写り込んだ前記確認対象の状況を表す状況画像に変換するステップと、
前記撮影画像に前記状況画像を重畳した重畳画像を表示するステップと、
を含み、
前記変換規則は、
二値化のための１個の閾値と、前記確認対象画像領域を構成する画素値の前記平均値の二値化後の数値の各々によって表される前記確認対象画像領域の状況情報と、によって表され、
前記数値化データは、
前記確認対象画像領域を構成する画素値の前記平均値を前記変換規則によって表される前記閾値を用いて二値化した二値化データであり、
前記確認対象が、点滅するライトであり、
前記状況情報が、消灯または点灯を表す、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理システム、情報処理装置、および情報処理プログラムに関する。
【背景技術】
【0002】
遠隔地に存在する確認対象を遠隔監視するシステムが知られている。例えば、遠隔地の確認対象の撮影画像を管理サーバ等に送信し、管理サーバ側で撮影画像を確認することで確認対象を監視するシステムが知られている。また、撮影画像を解析することで、確認対象の一例である生産設備の稼働状態等を分析するシステムが知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００８－３０５２５９号公報
【文献】特開２００２－１３２３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら遠隔地の確認対象の状況を細部まで確認するためには、高画質および高フレームレートで受信した撮影画像を用いて解析を行う必要がある。しかし、通信状況によっては画質低下、および映像遅延やコマ落ち等による低フレームレート化、等が発生する場合があり、確認対象の状況を高精度に確認可能に提供することが困難となる場合があった。
【0005】
本発明の課題は、確認対象の状況を高精度に確認可能に提供することができる、情報処理システム、情報処理装置、および情報処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の情報処理システムは、撮影画像を取得する撮影部に接続された第１情報処理装置と、前記第１情報処理装置と通信する第２情報処理装置と、を備えた情報処理システムである。第２情報処理装置は、受信部と、変換部と、表示制御部と、を備える。受信部は、前記撮影画像、および前記撮影画像に含まれる確認対象の写り込んだ確認対象画像領域を構成する画素値の平均値を変換規則に沿って変換した数値化データ、を受信する。変換部は、１コマの前記撮影画像ごとに変換された前記数値化データを前記変換規則に基づいて前記確認対象画像領域に写り込んだ前記確認対象の状況を表す状況画像に変換する。表示制御部は、前記撮影画像に前記状況画像を重畳した重畳画像を表示する。前記変換規則は、二値化のための１個の閾値と、前記確認対象画像領域を構成する画素値の前記平均値の二値化後の数値の各々によって表される前記確認対象画像領域の状況情報と、によって表され、前記数値化データは、前記確認対象画像領域を構成する画素値の前記平均値を前記変換規則によって表される前記閾値を用いて二値化した二値化データであり、前記確認対象が、点滅するライトであり、前記状況情報が、消灯または点灯を表す。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、本発明に係る情報処理システム、情報処理装置、および情報処理プログラムの実施形態について、図面を参照して説明する。
【0009】
図１は、本実施形態に係る情報処理システム１の構成の一例の模式図である。
【0010】
情報処理システム１は、第１情報処理装置１０と、第２情報処理装置２０と、撮影部３０と、を備える。第１情報処理装置１０と第２情報処理装置２０とは、ネットワークＮＷ等を介して通信可能に接続されている。第１情報処理装置１０と撮影部３０とは通信可能に直接接続されている。
【0011】
第１情報処理装置１０は、第２情報処理装置２０による遠隔監視の対象となる地点に配置された情報処理装置である。第１情報処理装置１０は、撮影部３０に接続されている。第１情報処理装置１０は撮影部３０を備えた構成であってもよい。
【0012】
撮影部３０は、撮影によって撮影画像データを得る撮影装置である。撮影部３０は、公知のデジタルカメラ等である。以下では、撮影画像データを単に撮影画像と称して説明する場合がある。撮影部３０は、確認対象Ｃの撮影画像を取得する。
【0013】
確認対象Ｃとは、第１情報処理装置１０に対して遠隔地に配置された第２情報処理装置２０を操作するユーザによる確認の対象である。確認対象Ｃは、実空間における、少なくとも２種類の状況変化の観察対象となる要素である。言い換えると、確認対象Ｃは、実空間における、２種類以上の状況変化の生じる要素である。
【0014】
具体的には、例えば、確認対象Ｃは、点滅するＬＥＤ（Light-Emitting Diode）等のライト、ディスプレイの表示画面における少なくとも一部の領域、放電、タービン等の回転部材、回転または回動されるバルブやダイヤル等の部材、水や油等の水滴、動作する人やロボット等の特定部分、遠隔操作ロボットの所定部分、等である。
【0015】
本実施形態では、確認対象Ｃが遠隔監視の対象となる地点に配置された設備Ｍに設けられた点滅するＬＥＤである形態を一例として説明する。確認対象Ｃは、ユーザによる操作指示などによって設定される（詳細後述）。
【0016】
撮影部３０は、確認対象Ｃを時系列に沿って連続して撮影し、撮影によって得られた撮影画像を撮影時のフレームレートで第１情報処理装置１０へ順次出力する。このため、撮影部３０から第１情報処理装置１０へ、複数の撮影画像から構成される撮影映像が撮影時のフレームレートで出力される。撮影部３０による撮影時のフレームレートは、例えば、３０ｆｐｓ～６０ｆｐｓ等であるが、この範囲に限定されない。撮影部３０による撮影時のフレームレートは、３０ｆｐｓ以上であることが好ましい。
【0017】
撮影部３０は、確認対象Ｃを撮影した撮影画像を取得可能であればよく、実空間に固定されていてもよいし、実空間において移動可能に構成されていてもよい。本実施形態では、撮影部３０がユーザまたは移動可能なロボット等の移動体によって支持されることで、移動可能に配置されている形態を一例として説明する。
【0018】
第１情報処理装置１０は、撮影部３０に接続された情報処理装置であり、第２情報処理装置２０に対して遠隔地に配置されている。遠隔地とは、第２情報処理装置２０との通信において、通信時の電波状況が一定ではなく、電波が弱く低速通信となる通信期間や、伝送遅延、送信する撮影画像４０のコマ落ち等が発生し、リアルタイムな映像通信が困難となる通信期間を含みうる地点を意味する。
【0019】
第１情報処理装置１０は、通信部１２と、ＵＩ（ユーザインターフェース）部１４と、記憶部１６と、制御部１８と、を備える。通信部１２、ＵＩ部１４、および記憶部１６と、制御部１８とは、バス等を介して通信可能に接続されている。撮影部３０は、制御部１８と通信可能に接続されている。
【0020】
通信部１２は、外部の情報処理装置と通信する。本実施形態では、通信部１２は、ネットワークＮＷを介して第２情報処理装置２０と通信する。
【0021】
ＵＩ部１４は、ユーザによる操作入力の受付および各種の情報の出力を行う。ＵＩ部１４は、入力部１４Ａと、表示部１４Ｂと、を備える。入力部１４Ａは、ユーザによる操作入力を受付けるキーボード等の入力デバイスである。表示部１４Ｂは、各種の情報を表示するディスプレイである。記憶部１６は、各種の情報を記憶する。記憶部１６は、例えば、ＨＤＤ（Hard Disk Drive）や、メモリ等である。
【0022】
制御部１８は、情報処理を実行する演算部である。
【0023】
制御部１８は、設定部１８Ａと、取得部１８Ｂと、生成部１８Ｃと、通信制御部１８Ｄと、を備える。設定部１８Ａ、取得部１８Ｂ、生成部１８Ｃ、および通信制御部１８Ｄの少なくとも１つは、例えば、１または複数のプロセッサにより実現される。例えば、上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【0024】
設定部１８Ａは、撮影画像に含まれる確認対象Ｃの写り込んだ確認対象画像領域の設定および変則規則の設定を行う。
【0025】
図２は、撮影画像４０Ａの一例の模式図である。撮影画像４０Ａは、撮影部３０によって撮影された撮影画像４０の一例である。
【0026】
ユーザは、撮影画像４０Ａを視認しながらＵＩ部１４を操作することで、所望の確認対象Ｃの写り込んだ領域を確認対象画像領域Ｔとして選択する。図２には、撮影画像４０Ａに写り込んだ２つの点滅するＬＥＤの領域がそれぞれ確認対象画像領域Ｔ１および確認対象画像領域Ｔ２として選択された状態を示す。確認対象画像領域Ｔ１および確認対象画像領域Ｔ２は、確認対象画像領域Ｔの一例である。
【0027】
撮影画像４０Ａに含まれる所定の領域が確認対象画像領域Ｔとして選択されることで、確認対象画像領域Ｔが設定されると共に、確認対象画像領域Ｔに写り込んだ対象が確認対象Ｃとして設定されることとなる。
【0028】
図１に戻り説明を続ける。設定部１８Ａは、撮影画像４０に含まれる確認対象画像領域Ｔを記憶部１６へ記憶する。
【0029】
また、設定部１８Ａは、撮影画像４０Ａに含まれる確認対象画像領域Ｔの変換規則を設定する。
【0030】
変換規則とは、確認対象画像領域Ｔを、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す数値に変換するための変換規則である。
【0031】
確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況とは、確認対象画像領域Ｔに写り込んだ２種類以上の状況変化の生じる要素である確認対象Ｃの状況を意味する。
【0032】
具体的には、確認対象Ｃが点滅するＬＥＤである場合、該確認対象Ｃの状況は、例えば、「点灯」または「消灯」を意味する。また、確認対象Ｃが回転または回動されるバルブやダイヤル等の部材である場合、該確認対象Ｃの状況は、例えば、該部材の回転または回動の度合いを意味する。また、確認対象Ｃが放電である場合、該確認対象Ｃの状況は、例えば、放電現象の状況を意味する。また、確認対象Ｃが水や油等の水滴である場合、該確認対象Ｃの状況は、例えば、水滴の滴下量や漏れ量を意味する。
【0033】
数値化データとは、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表すデジタル値によって表されるデータである。デジタル値は、例えば、色や形等または数値等の判定結果等によって表される値であるが、該数値は整数に限定されない。例えば、数値化データは、確認対象画像領域Ｔを変換規則に沿ってＰ値化したＰ値化データである。Ｐは２以上の整数である。例えば、Ｐは、２種類以上の状況変化を表す確認対象Ｃの変化する状況の種類の数に一致する。
【0034】
数値化データがＰ値化データである場合、変換規則は、Ｐ値化のためのＰ－１個の閾値と、確認対象画像領域ＴのＰ値化後の数値の各々によって表される確認対象画像領域Ｔの状況情報と、によって表される。
【0035】
設定部１８Ａは、Ｐ値化のためのＰ－１個の閾値と、確認対象画像領域ＴのＰ値化後の数値の各々によって表される確認対象画像領域Ｔの状況情報と、を表す変換規則を、ユーザによる入力部１４Ａの操作指示などによって受け付けることで設定する。
【0036】
例えば、確認対象画像領域Ｔに写り込んだ確認対象ＣであるＬＥＤの状況変化が、「点灯」と「消灯」との２種類の状況変化を表す場合を想定する。また、確認対象画像領域Ｔを確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す数値「０」または数値「１」に二値化した二値化データを、数値化データとして用いる場合を想定する。この場合、例えば、設定部１８Ａは、確認対象画像領域Ｔを構成する画素値の平均値の二値化に用いる閾値と、二値化後の数値「０」が確認対象Ｃの状況「消灯」を表し、二値化後の数値「１」が確認対象Ｃの状況「点灯」を表すことを示す状況情報を、変換規則として設定する。
【0037】
例えば、ユーザは、入力部１４Ａを操作することで、撮影画像４０Ａに含まれる確認対象画像領域Ｔを数値化データに変換するための変換規則を入力する。詳細には、ユーザは、二値化に用いる閾値および二値化後の数値の各々によって表される確認対象Ｃの状況情報を入力することで、変換規則を入力する。設定部１８Ａは、ユーザによる入力部１４Ａの操作指示によって入力された変換規則を受付けることで、変換規則を設定する。
【0038】
設定部１８Ａは、設定した変換規則を設定した確認対象画像領域Ｔに対応付けて記憶部１６へ記憶する。また、設定部１８Ａは、設定した変換規則および確認対象画像領域Ｔを第２情報処理装置２０へ送信する。確認対象画像領域Ｔおよび変換規則を受信した第２情報処理装置２０は、受信した変換規則と確認対象画像領域Ｔとを対応付けて記憶し後述する各種の処理に用いる。
【0039】
なお、確認対象画像領域Ｔおよび変換規則の設定は、後述する第２情報処理装置２０側で実行してもよい。本実施形態では、確認対象画像領域Ｔおよび変換規則の設定を、後述する第２情報処理装置２０側で実行する形態を一例として説明する。
【0040】
この場合、第１情報処理装置１０の設定部１８Ａは、撮影部３０で撮影された撮影画像４０を第１情報処理装置１０へ送信する。そして、設定部１８Ａは、第２情報処理装置２０から該撮影画像４０を用いて設定された確認対象画像領域Ｔおよび変換規則を受信する。設定部１８Ａは、受信した確認対象画像領域Ｔおよび変換規則を対応付けて記憶部１６へ記憶することで、これらの確認対象画像領域Ｔおよび変換規則を設定する。
【0041】
なお、数値化データは、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す数値によって表されるデータであればよく、確認対象画像領域Ｔを変換規則に沿ってＰ値化したＰ値化データに限定されない。例えば、数値化データは、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を予め定めた規則に沿って状況ごとに数値化したデータであってもよい。この場合、変換規則は、確認対象画像領域Ｔの状況を該数値に変換するための変換規則であればよい。詳細には、この場合、変換規則は、確認対象画像領域Ｔの状況を数値に変換するための規則と、変換後の数値の各々によって表される確認対象Ｃの状況情報と、によって表されればよい。
【0042】
本実施形態では、確認対象画像領域Ｔに写り込んだ確認対象ＣであるＬＥＤの状況変化が、「点灯」と「消灯」との２種類の状況変化を表す場合を一例として説明する。また、確認対象画像領域Ｔを確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況「消灯」を表す数値「０」または状況「点灯」を表す数値「１」に二値化した二値化データを、数値化データとして用いる場合を一例として説明する。
【0043】
取得部１８Ｂ、生成部１８Ｃ、および通信制御部１８Ｄは、第１情報処理装置１０および第２情報処理装置２０の双方に上記変換規則が設定されると、以下の処理を実行する。
【0044】
取得部１８Ｂは、撮影部３０から撮影画像４０を取得する。上述したように、撮影部３０は、撮影によって得られた撮影画像４０を撮影時のフレームレートで第１情報処理装置１０へ順次出力する。このため、取得部１８Ｂは、撮影部３０による撮影時のフレームレートで複数の撮影画像４０を順次取得する。
【0045】
生成部１８Ｃは、撮影画像４０に含まれる確認対象Ｃの写り込んだ確認対象画像領域Ｔを変換規則に沿って変換した数値化データを生成する。
【0046】
生成部１８Ｃは、記憶部１６に記憶されている確認対象画像領域Ｔを読取る。そして、生成部１８Ｃは、取得した撮影画像４０に含まれる確認対象画像領域Ｔをパターンマッチングや特徴量等を用いた公知の画像処理技術により特定する。そして、生成部１８Ｃは、撮影画像４０に含まれる特定した確認対象画像領域Ｔを、記憶部１６に記憶されている変換規則に沿って数値化データに変換する。
【0047】
例えば、図２に示すように、撮影画像４０に含まれる確認対象画像領域Ｔ１および確認対象画像領域Ｔ２が確認対象画像領域Ｔとして設定された場面を想定する。この場合、生成部１８Ｃは、新たに取得部１８Ｂで取得した撮影画像４０に含まれる確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々を特定する。そして、生成部１８Ｃは、特定した確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々を、変換規則に沿って数値化データに変換する。
【0048】
例えば、変換規則が、確認対象画像領域Ｔを構成する画素値の平均値の二値化に用いる閾値と、二値化後の数値「０」が確認対象Ｃの状況「消灯」を表し、二値化後の数値「１」が確認対象Ｃの状況「点灯」を表すことを示す状況情報と、を含む場合を想定する。
【0049】
この場合、生成部１８Ｃは、撮影画像４０に含まれる特定した確認対象画像領域Ｔの画素値の平均値を、該変換規則に含まれる閾値を用いて二値化する。この二値化する変換処理によって、生成部１８Ｃは、撮影画像４０に含まれる確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々を、該確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々に写り込んだ確認対象Ｃの点滅の状況を表す数値「０」または数値「１」に変換する。この変換処理により、生成部１８Ｃは、確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々の数値化データを生成する。
【0050】
図１に戻り説明を続ける。
【0051】
通信制御部１８Ｄは、取得部１８Ｂで取得した撮影画像４０および生成部１８Ｃで生成された数値化データを第２情報処理装置２０へ送信する。
【0052】
通信制御部１８Ｄは、撮影画像４０の撮影時未満のフレームレートで撮影画像４０を第２情報処理装置２０へ順次送信し、複数の撮影画像４０の各々から順次生成した数値化データを撮影画像４０より高いフレームレートで第２情報処理装置２０へ順次送信する。すなわち、通信制御部１８Ｄは、撮影時未満の低いフレームレートで撮影画像４０を第２情報処理装置２０へ順次送信し、撮影画像４０より高いフレームレートで数値化データを第２情報処理装置２０へ順次送信する。本実施形態では、通信制御部１８Ｄは、撮影画像４０の撮影時のフレームレートで数値化データを第２情報処理装置２０へ順次送信する形態を一例として説明する。
【0053】
詳細には、通信制御部１８Ｄは、撮影部３０から順次送信される撮影画像４０の取得を開始すると、Ｎコマ目の１コマ分の撮影画像４０を第２情報処理装置２０へ送信する。Ｎは１以上の整数である。コマは、フレーム、すなわち１枚分の撮影画像４０を意味する。Ｎコマ目とは、撮影部３０による撮影開始時に撮影された１コマ目の撮影画像４０から時系列に沿って撮影画像４０を計数したときのＮ番目の撮影画像４０（コマ，フレーム）を意味する。
【0054】
また、通信制御部１８Ｄは、該Ｎコマ目からＭコマ分（Ｍは２以上の整数）の撮影画像４０の各々に含まれる確認対象画像領域Ｔから生成部１８Ｃによって生成された数値化データを、撮影部３０による撮影画像４０の撮影時のフレームレートで第２情報処理装置２０へ順次送信する。
【0055】
そして、通信制御部１８Ｄは、Ｎ＋Ｍコマ目の撮影画像４０から生成された数値化データを第２情報処理装置２０へ送信すると、Ｎ+Ｍ+１を新たなＮとし、新たなＮコマ目の撮影画像４０の第２情報処理装置２０への送信およびＭコマ分の数値化データの第２情報処理装置２０への送信を繰り返す。
【0056】
これらの処理により、通信制御部１８Ｄは、撮影部３０から取得した１コマ分の撮影画像４０を第２情報処理装置２０へ送信するごとに、撮影部３０から順次取得したＭコマ分の撮影画像４０の各々に含まれる確認対象画像領域Ｔの数値化データを第２情報処理装置２０へ順次送信する。このため、通信制御部１８Ｄは、低フレームレートで撮影画像４０を第２情報処理装置２０へ送信し、高フレームレートで数値化データを第２情報処理装置２０へ送信する。Ｍの値は、低フレームレートで撮影画像４０を第２情報処理装置２０へ送信し、高フレームレートで数値化データを第２情報処理装置２０へ送信するように、予め定めればよい。
【0057】
図３は、通信制御部１８Ｄによる第２情報処理装置２０への送信制御の一例の説明図である。図３中、数値化データ４２Ａは、撮影画像４０Ｂに含まれる確認対象画像領域Ｔ１のＭコマ分の数値化データ４２の一例である。数値化データ４２Ａは、Ｍコマ分の数値化データ４２Ａ１～数値化データ４２ＡＭを含む。数値化データ４２Ｂは、撮影画像４０Ｂに含まれる確認対象画像領域Ｔ２のＭコマ分の数値化データ４２の一例である。数値化データ４２Ｂは、Ｍコマ分の数値化データ４２Ｂ１～数値化データ４２ＢＭを含む。
【0058】
通信制御部１８Ｄは、撮影部３０から取得した１コマ分の撮影画像４０Ｂを第２情報処理装置２０へ送信するごとに、撮影部３０から順次取得したＭコマ分の撮影画像４０の各々から生成したＭコマ分の数値化データ４２Ａ１～数値化データ４２ＡＭ、およびＭコマ分の数値化データ４２Ｂ１～数値化データ４２ＢＭを第２情報処理装置２０へ順次送信する。このため、通信制御部１８Ｄは、低フレームレートで撮影画像４０Ｂを第２情報処理装置２０へ送信し、高フレームレートで数値化データ４２を第２情報処理装置２０へ送信する。
【0059】
なお、通信制御部１８Ｄは、撮影部３０から取得した撮影画像４０を撮影時の解像度未満に低解像度化した上で、第２情報処理装置２０へ送信してもよい。
【0060】
図１に戻り説明を続ける。次に、第２情報処理装置２０について説明する。
【0061】
第２情報処理装置２０は、第１情報処理装置１０および確認対象Ｃに対して遠隔地に配置された情報処理装置である。第２情報処理装置２０は、例えば、確認対象Ｃを監視又は確認するユーザによって操作される。
【0062】
第２情報処理装置２０は、通信部２２と、ＵＩ部２４と、記憶部２６と、制御部２８と、を備える。通信部２２、ＵＩ部２４、および記憶部２６と、制御部２８とは、バス等を介して通信可能に接続されている。
【0063】
通信部２２は、外部の情報処理装置と通信する。本実施形態では、通信部２２は、ネットワークＮＷを介して第１情報処理装置１０と通信する。
【0064】
ＵＩ部２４は、ユーザによる操作入力の受付および各種の情報の出力を行う。ＵＩ部２４は、入力部２４Ａと、表示部２４Ｂと、を備える。入力部２４Ａは、ユーザによる操作入力を受付けるキーボード等の入力デバイスである。表示部２４Ｂは、各種の情報を表示するディスプレイである。記憶部２６は、各種の情報を記憶する。記憶部２６は、例えば、ＨＤＤや、メモリ等である。
【0065】
制御部２８は、情報処理を実行する演算部である。
【0066】
制御部２８は、設定部２８Ａと、受信部２８Ｂと、変換部２８Ｃと、表示制御部２８Ｄと、を備える。設定部２８Ａ、受信部２８Ｂ、変換部２８Ｃ、および表示制御部２８Ｄの少なくとも１つは、例えば、１または複数のプロセッサにより実現される。例えば、上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【0067】
設定部２８Ａは、撮影画像４０に含まれる確認対象Ｃの写り込んだ確認対象画像領域Ｔの設定および変則規則の設定を行う。
【0068】
設定部２８Ａは、第１情報処理装置１０から撮影画像４０を取得する。設定部２８Ａは、第１情報処理装置１０から取得した撮影画像４０を表示部２４Ｂへ表示する。
【0069】
ユーザは、表示された撮影画像４０を視認しながら入力部２４Ａを操作することで、所望の確認対象Ｃの写り込んだ領域を確認対象画像領域Ｔとして選択する。撮影画像４０に含まれる所定の領域が確認対象画像領域Ｔとして選択されることで、確認対象画像領域Ｔが設定されると共に、確認対象画像領域Ｔに写り込んだ対象が確認対象Ｃとして設定される。設定部２８Ａは、撮影画像４０に含まれる確認対象画像領域Ｔを記憶部２６へ記憶する。
【0070】
また、設定部２８Ａは、撮影画像４０に含まれる確認対象画像領域Ｔの変換規則を設定する。設定部２８Ａは、例えば、Ｐ値化のためのＰ－１個の閾値と、確認対象画像領域ＴのＰ値化後の数値の各々によって表される確認対象画像領域Ｔの状況情報と、を表す変換規則を、ユーザによる入力部２４Ａの操作指示などによって受け付けることで設定する。
【0071】
上述したように、本実施形態では、設定部２８Ａは、確認対象画像領域Ｔを構成する画素値の平均値の二値化に用いる閾値と、二値化後の数値「０」が確認対象Ｃの状況「消灯」を表し、二値化後の数値「１」が確認対象Ｃの状況「点灯」を表すことを示す状況情報を、変換規則として設定する場合を想定して説明する。
【0072】
例えば、ユーザは、入力部２４Ａを操作することで、撮影画像４０に含まれる確認対象画像領域Ｔとして選択した領域を数値化データに変換するための変換規則を入力する。詳細には、ユーザは、二値化に用いる閾値および二値化後の数値の各々によって表される確認対象Ｃの状況情報を入力することで、変換規則を入力する。設定部２８Ａは、ユーザによる入力部２４Ａの操作指示によって入力された変換規則を受付けることで、変換規則を設定する。
【0073】
設定部２８Ａは、設定した変換規則を設定した確認対象画像領域Ｔに対応付けて記憶部２６へ記憶する。また、設定部２８Ａは、設定した変換規則および確認対象画像領域Ｔを第１情報処理装置１０へ送信する。確認対象画像領域Ｔおよび変換規則を受信した第１情報処理装置１０は、これらを対応付けて記憶部１６へ記憶する。
【0074】
なお、上述したように、確認対象画像領域Ｔおよび変換規則の設定は、第１情報処理装置１０の設定部１８Ａで実行してもよい。この場合、設定部２８Ａは、設定部１８Ａで設定された確認対象画像領域Ｔおよび変換規則を第１情報処理装置１０から受信する。設定部２８Ａは、受信した確認対象画像領域Ｔおよび変換規則を対応付けて記憶部２６へ記憶することで、これらの確認対象画像領域Ｔおよび変換規則を設定する。
【0075】
受信部２８Ｂは、撮影画像４０および数値化データ４２を第１情報処理装置１０から受信する。
【0076】
詳細には、受信部２８Ｂは、撮影部３０による撮影画像４０の撮影時未満のフレームレートで撮影画像４０を受信し、撮影画像４０より高いフレームレートで数値化データ４２を受信する。例えば、受信部２８Ｂは、撮影部３０による撮影画像４０の撮影時のフレームレートで数値化データ４２を受信する。
【0077】
具体的には、例えば、受信部２８Ｂは、１コマ分の撮影画像４０を第１情報処理装置１０から受信するごとに、Ｍコマ分の撮影画像４０の各々に含まれる確認対象画像領域Ｔをそれぞれ変換した数値化データ４２を第１情報処理装置１０から受信する。
【0078】
変換部２８Ｃは、１コマ分の数値化データ４２を受信するごとに、受信した数値化データ４２を変換規則に基づいて状況画像に変換する。状況画像とは、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す画像である。
【0079】
例えば、変換規則が、確認対象画像領域Ｔを構成する画素値の平均値の二値化に用いる閾値と、二値化後の数値「０」が確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況「消灯」を表し、二値化後の数値「１」が確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況「点灯」を表すことを示す状況情報と、を含む場合を想定する。
【0080】
この場合、変換部２８Ｃは、数値化データ４２によって表される数値が「１」である場合、該数値化データ４２によって表される確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況「点灯」と判断する。そして、変換部２８Ｃは、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況「点灯」を表す状況画像を生成する。
【0081】
また、変換部２８Ｃは、数値化データ４２によって表される数値が「０」である場合、該数値化データ４２によって表される確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況「消灯」と判断する。そして、変換部２８Ｃは、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況「消灯」を表す状況画像を生成する。
【0082】
状況画像は、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を確認可能な画像であればよい。例えば、状況「点灯」を表す状況画像は、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況が「点灯」であることを表す文字、色、枠等の強調画像、等の少なくとも１つの組み合わせによって表される。例えば、状況「消灯」を表す状況画像は、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況が「消灯」であることを表す文字、色、枠などの画像、等の少なくとも１つの組み合わせによって表される。
【0083】
また、変換部２８Ｃは、確認対象画像領域Ｔに写り込んだ確認対象Ｃの各々の識別情報を更に含む状況画像を生成してもよい。
【0084】
表示制御部２８Ｄは、撮影画像４０に状況画像を重畳した重畳画像を生成し、表示部２４Ｂに表示する。
【0085】
【0086】
図４Ａは、重畳画像４６Ａの一例の模式図である。重畳画像４６Ａは、重畳画像４６の一例である。図４Ａには、受信部２８Ｂが図３に示す撮影画像４０Ｂと、数値化データ４２Ａ１および数値化データ４２Ｂ１と、を受信し、変換部２８Ｃが数値化データ４２Ａ１および数値化データ４２Ｂ１の各々から状況画像４４を生成した場合の、重畳画像４６Ａを一例として示す。
【0087】
例えば、変換部２８Ｃは、数値化データ４２Ａ１によって表される数値「１」から、確認対象画像領域Ｔ１に写り込んだ確認対象Ｃの状況「点灯」を表す状況画像４４Ａを生成する。また、変換部２８Ｃは、数値化データ４２Ｂ１によって表される数値「１」から、確認対象画像領域Ｔ２に写り込んだ確認対象Ｃの状況「点灯」を表す状況画像４４Ｂを生成する。状況画像４４Ａおよび状況画像４４Ｂは、状況画像４４の一例である。変換部２８Ｃは、図４Ａに示すように、確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々に写り込んだ確認対象Ｃの識別情報を含む状況画像４４を生成してもよい。
【0088】
表示制御部２８Ｄは、該数値化データ４２Ａ１および数値化データ４２Ｂ１と同時または直前に受信した撮影画像４０に含まれる確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々上または近傍に、状況画像４４Ａおよび状況画像４４Ｂをそれぞれ重畳することで、重畳画像４６Ａを生成する。そして、表示制御部２８Ｄは、重畳画像４６Ａを表示部２４Ｂに表示する。
【0089】
図４Ｂは、重畳画像４６Ｂの一例の模式図である。重畳画像４６Ｂは、重畳画像４６の一例である。図４Ｂには、受信部２８Ｂが図３に示す撮影画像４０Ｂと、数値化データ４２Ａ２および数値化データ４２Ｂ２と、を受信し、変換部２８Ｃが数値化データ４２Ａ２および数値化データ４２Ｂ２の各々から状況画像４４を生成した場合の、重畳画像４６Ｂを一例として示す。
【0090】
例えば、変換部２８Ｃは、数値化データ４２Ａ２によって表される数値「０」から、確認対象画像領域Ｔ１に写り込んだ確認対象Ｃの状況「消灯」を表す状況画像４４Ａを生成する。また、変換部２８Ｃは、数値化データ４２Ｂ２によって表される数値「０」から、確認対象画像領域Ｔ２に写り込んだ確認対象Ｃの状況「消灯」を表す状況画像４４Ｂを生成する。状況画像４４Ａおよび状況画像４４Ｂは、状況画像４４の一例である。変換部２８Ｃは、図４Ｂに示すように、確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々に写り込んだ確認対象Ｃの識別情報を含む状況画像４４を生成してもよい。
【0091】
表示制御部２８Ｄは、該数値化データ４２Ａ２および数値化データ４２Ｂ２と同時または直前に受信した撮影画像４０に含まれる確認対象画像領域Ｔ１および確認対象画像領域Ｔ２の各々上または近傍に、状況画像４４Ａおよび状況画像４４Ｂをそれぞれ重畳することで、重畳画像４６Ｂを生成する。そして、表示制御部２８Ｄは、重畳画像４６Ｂを表示部２４Ｂに表示する。
【0092】
このため、表示制御部２８Ｄは、低フレームレートで受信した撮影画像４０上に、高フレームで受信した数値化データ４２の各々から変換規則に基づいて生成した状況画像４４をそれぞれ重畳した重畳画像４６を、表示部２４Ｂに順次表示することとなる。
【0093】
すなわち、表示部２４Ｂには、低フレームレートで受信した撮影画像４０上に、高フレームレートで受信した数値化データ４２によって表される、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況に応じて順次変化する状況画像４４が重畳されて表示されることとなる。例えば、確認対象Ｃが点滅するＬＥＤである場合、表示部２４Ｂには、低フレームレートで受信した撮影画像４０上に、高フレームレートに応じた速度で点滅状況が変化することを表す状況画像４４の映像が表示されることとなる。
【0094】
このため、ユーザは表示部２４Ｂに表示された重畳画像４６を確認することで、遠隔地に存在する確認対象Ｃの状況を正確に確認することが可能となる。
【0095】
次に、本実施形態の情報処理システム１で実行する情報処理の流れの一例を説明する。
【0096】
なお、第１情報処理装置１０の設定部１８Ａおよび第２情報処理装置２０の設定部２８Ａによって、第１情報処理装置１０の記憶部１６および第２情報処理装置２０の記憶部２６の各々に、確認対象画像領域Ｔおよび変換規則が対応付けて記憶されているものとして説明する。
【0097】
図５は、第１情報処理装置１０で実行する情報処理の流れの一例を示すフローチャートである。
【0098】
第１情報処理装置１０の取得部１８Ｂは、撮影部３０から順次送信される撮影画像４０の取得を開始する（ステップＳ１００）。
【0099】
通信制御部１８Ｄは、撮影部３０から受信したＮコマ目の１コマ分の撮影画像４０を第２情報処理装置２０へ送信する（ステップＳ１０２）。
【0100】
生成部１８Ｃは、撮影部３０から受信したＮコマ目の１コマの撮影画像４０に含まれる確認対象画像領域Ｔを特定する（ステップＳ１０４）。生成部１８Ｃは、記憶部１６に記憶されている確認対象画像領域Ｔを読取り、該撮影画像４０に含まれる読取った確認対象画像領域Ｔに相当する領域を特定することで、該撮影画像４０に含まれる確認対象画像領域Ｔを特定する。
【0101】
生成部１８Ｃは、ステップＳ１０４で特定した確認対象画像領域Ｔを、記憶部１６に記憶されている変換規則に沿って変換した数値化データ４２を生成する（ステップＳ１０６）。変換規則が二値化のための閾値を含む場合、生成部１８Ｃは、該閾値を用いて、特定した確認対象画像領域Ｔを構成する１または複数の画素の各々の画素値の平均値を二値化することで、数値化データ４２を生成する。
【0102】
通信制御部１８Ｄは、ステップＳ１０６で生成された数値化データ４２を第２情報処理装置２０へ送信する（ステップＳ１０８）。
【0103】
通信制御部１８Ｄは、撮影画像４０を第２情報処理装置２０へ送信してからＭコマ分の数値化データ４２を第２情報処理装置２０へ送信したか否かを判断する（ステップＳ１１０）。ステップＳ１１０で否定判断すると（ステップＳ１１０：Ｎｏ）、Ｎを１カウントアップし（ステップＳ１１２）、上記ステップＳ１０４へ戻る。上述したように、Ｎは１以上の整数であり、Ｍは２以上の整数である。
【0104】
ステップＳ１１０で肯定判断すると（ステップＳ１１０：Ｙｅｓ）、ステップＳ１１４へ進む。ステップＳ１１４では、制御部１８は、撮影画像４０および数値化データ４２の送信処理を終了するか否かを判断する（ステップＳ１１４）。例えば、制御部１８は、ユーザによる入力部１４Ａ等の操作指示等によって終了信号を受付けたか否かを判別することで、ステップＳ１１４の判断を行う。また、例えば、制御部１８は、第２情報処理装置２０から終了信号を受信したか否かを判別することで、ステップＳ１１４の判断を行ってもよい。
【0105】
ステップＳ１１４で否定判断すると（ステップＳ１１４：Ｎｏ）、ステップＳ１１６へ進む。ステップＳ１１６では、ＮをＮ＋Ｍ＋１に更新し（ステップＳ１１６）、ステップＳ１０２へ戻る。ステップＳ１１４で肯定判断すると（ステップＳ１１４：Ｙｅｓ）、本ルーチンを終了する。
【0106】
次に、本実施形態の第２情報処理装置２０で実行する情報処理の流れの一例を説明する。
【0107】
図６は、本実施形態の第２情報処理装置２０で実行する情報処理の流れの一例を示すフローチャートである。
【0108】
第２情報処理装置２０の受信部２８Ｂは、第１情報処理装置１０から撮影画像４０および数値化データ４２を受信する（ステップＳ２００，ステップＳ２０２）。
【0109】
変換部２８Ｃは、ステップＳ２０２で受信した数値化データ４２を変換規則に基づいて状況画像４４に変換する（ステップＳ２０４）。
【0110】
表示制御部２８Ｄは、直前に受信した撮影画像４０に、ステップＳ２０４で変換した状況画像４４を重畳した重畳画像４６を生成し（ステップＳ２０６）、生成した重畳画像４６を表示部２４Ｂに表示する（ステップＳ２０８）。
【0111】
次に、受信部２８Ｂは、数値化データ４２を受信したか否かを判断する（ステップＳ２１０）。ステップＳ２１０で肯定判断すると（ステップＳ２１０：Ｙｅｓ）、ステップＳ２０４へ進む。ステップＳ２１０で否定判断すると（ステップＳ２１０：Ｎｏ）、受信部２８Ｂは、撮影画像４０を受信したか否かを判断する（ステップＳ２１２）。ステップＳ２１２で肯定判断すると（ステップＳ２１２：Ｙｅｓ）、上記ステップＳ２０２へ進む。ステップＳ２１２で否定判断すると（ステップＳ２１２：Ｎｏ）、ステップＳ２１４へ進む。ステップＳ２１４では、制御部２８が、処理を終了するか否かを判断する（ステップＳ２１４）。制御部２８は、例えば、ユーザによる入力部２４Ａの操作指示などによって終了指示が入力されたか否かを判別することで、ステップＳ２１４の判断を行う。ステップＳ２１４で否定判断すると（ステップＳ２１４：Ｎｏ）、ステップＳ２１０へ進む。ステップＳ２１４で肯定判断すると（ステップＳ２１４：Ｙｅｓ）、本ルーチンを終了する。
【0112】
以上説明したように、本実施形態の情報処理システム１は、撮影画像４０を取得する撮影部３０に接続された第１情報処理装置１０と、第１情報処理装置１０と通信する第２情報処理装置２０と、を備える。第２情報処理装置２０は、受信部２８Ｂと、変換部２８Ｃと、表示制御部２８Ｄと、を備える。受信部２８Ｂは、撮影画像４０および撮影画像４０に含まれる確認対象Ｃの写り込んだ確認対象画像領域Ｔを変換規則に沿って変換した数値化データを受信する。変換部２８Ｃは、数値化データ４２を変換規則に基づいて確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す状況画像４４に変換する。表示制御部２８Ｄは、撮影画像４０に状況画像４４を重畳した重畳画像４６を表示する。
【0113】
ここで、第２情報処理装置２０に対して遠隔地に存在する確認対象Ｃの状況を第２情報処理装置２０側で細部まで詳細に遠隔監視する必要のある場合がある。従来技術では、遠隔地の確認対象Ｃの状況を細部まで確認するためには、高画質および高フレームレートで受信した撮影画像４０を用いて解析を行う必要があった。しかし、従来技術では、通信状況によって、画質低下、および映像遅延やコマ落ち等による低フレームレート化、等が発生する場合があり、リアルタイムな高画質の映像通信が困難となることで、確認対象Ｃの状況を高精度に確認可能に提供することが困難となる場合があった。
【0114】
一方、本実施形態では、第２情報処理装置２０の受信部２８Ｂは、撮影画像４０、および撮影画像４０に含まれる確認対象Ｃの写り込んだ確認対象画像領域Ｔを変換規則に沿って変換した数値化データを、第１情報処理装置１０から受信する。変換部２８Ｃは、数値化データ４２を変換規則に基づいて確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す状況画像４４に変換する。表示制御部２８Ｄは、撮影画像４０に状況画像４４を重畳した重畳画像４６を表示する。
【0115】
数値化データ４２は、確認対象画像領域Ｔを変換規則に沿って数値化したデータであるため、撮影画像４０よりデータ量が少なく、撮影画像４０に比べて通信状況の影響を受けにくい。このため、受信部２８Ｂは、数値化データ４２の送信元からの送信時と略同じフレームレートで且つ送信時と同じ値の数値化データ４２を順次受信することが可能となる。そして、表示制御部２８Ｄは、変換規則に基づいて数値化データ４２を確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す状況画像４４に変換し、該状況画像４４を撮影画像４０に重畳した重畳画像４６を表示する。
【0116】
このため、第２情報処理装置２０では、通信状況等によって低画質化または低フレームレート化された撮影画像４０を受信した場合であっても、高精度に確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す状況画像４４の重畳された重畳画像４６を表示することができる。
【0117】
よって、ユーザは重畳画像４６の状況画像４４を確認することで、状況画像４４によって表される確認対象Ｃの状況を正確かつ高精度に確認することが可能となる。
【0118】
また、従来技術では、例えば、確認対象Ｃの一例であるＬＥＤの点滅状態を遠隔地で確認する場合、遠隔地の監視用端末へ送信する撮影画像４０のフレームレートとＬＥＤの点滅スピードとが同期するフリッカ現象が発生し、ＬＥＤの点滅パターンや点滅スピード等の確認対象Ｃの状況を把握可能な画像を監視端末側で提供することが困難となる場合があった。またフリッカ現象を回避するために高フレームレートで撮影された撮影画像４０を該高フレームレートで遠隔地の監視用端末へ送信すると、データ量が大きくデータ伝送スピードに遅延が発生する場合があった。
【0119】
一方、本実施形態の第２情報処理装置２０の受信部２８Ｂは、撮影画像４０、および撮影画像４０に含まれる確認対象Ｃの写り込んだ確認対象画像領域Ｔを変換規則に沿って変換した数値化データを、第１情報処理装置１０から受信する。変換部２８Ｃは、数値化データ４２を変換規則に基づいて確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を表す状況画像４４に変換する。表示制御部２８Ｄは、撮影画像４０に状況画像４４を重畳した重畳画像４６を表示する。
【0120】
このため、本実施形態の情報処理システム１は、フリッカ現象の影響を抑制し、正確かつ低伝送量で、確認対象画像領域Ｔに写り込んだ確認対象Ｃを確認可能に提供することができる。
【0121】
従って、本実施形態の情報処理システム１は、確認対象Ｃの状況を高精度に確認可能に提供することができる。
【0122】
また、本実施形態の第２情報処理装置２０の受信部２８Ｂは、撮影画像４０の撮影時未満のフレームレートで撮影画像４０を受信し、撮影画像４０より高いフレームレートで数値化データ４２を受信する。そして、本実施形態の第２情報処理装置２０では、低フレームレートで受信した撮影画像４０上に、高フレームレートで順次受信した複数の数値化データ４２の各々に基づいて生成した状況画像４４をそれぞれ重畳した重畳画像４６を表示する。
【0123】
このため、本実施形態の情報処理システム１は、上記効果に加えて、確認対象画像領域Ｔに写り込んだ確認対象Ｃの状況を正確かつリアルタイムに確認可能に提供することができる。具体的には、情報処理システム１は、例えば、確認対象Ｃがどのように動き状況がどのように変化しているかをリアルタイムに確認可能に提供することが可能となる。
【0124】
次に、上記実施形態の第１情報処理装置１０および第２情報処理装置２０のハードウェア構成の一例を説明する。
【0125】
図７は、上記実施形態の第１情報処理装置１０および第２情報処理装置２０の一例のハードウェア構成図である。
【0126】
上記実施形態の第１情報処理装置１０および第２情報処理装置２０は、ＣＰＵ（Central Processing Unit）１１Ａ、ＲＯＭ（Read Only Memory）１１Ｂ、ＲＡＭ（Random Access Memory）１１Ｃ、およびＩ／Ｆ１１Ｄ等がバス１１Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【0127】
ＣＰＵ１１Ａは、上記実施形態の第１情報処理装置１０および第２情報処理装置２０を制御する演算装置である。ＲＯＭ１１Ｂは、ＣＰＵ１１Ａによる各種処理を実現するプログラム等を記憶する。ここではＣＰＵを用いて説明しているが、第１情報処理装置１０および第２情報処理装置２０を制御する演算装置として、ＧＰＵ（Graphics Processing Unit）を用いてもよい。ＲＡＭ１１Ｃは、ＣＰＵ１１Ａによる各種処理に必要なデータを記憶する。Ｉ／Ｆ１１Ｄは、データを送受信するためのインターフェースである。
【0128】
上記実施形態の第１情報処理装置１０および第２情報処理装置２０では、ＣＰＵ１１１Ａが、ＲＯＭ１１ＢからプログラムをＲＡＭ１１Ｃ上に読み出して実行することにより、上記各機能がコンピュータ上で実現される。
【0129】
なお、上記実施形態の第１情報処理装置１０および第２情報処理装置２０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ（ハードディスクドライブ）に記憶されていてもよい。また、上記実施形態の第１情報処理装置１０および第２情報処理装置２０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ１１Ｂに予め組み込まれて提供されていてもよい。
【0130】
また、上記実施形態の第１情報処理装置１０および第２情報処理装置２０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disc）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の第１情報処理装置１０および第２情報処理装置２０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の第１情報処理装置１０および第２情報処理装置２０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
【0131】
なお、上記には、本発明の実施形態を説明したが、本実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0132】
１ 情報処理システム
１０ 第１情報処理装置
１８Ｂ 取得部
１８Ｃ 生成部
１８Ｄ 通信制御部
２８Ｂ 受信部
２８Ｃ 変換部
２８Ｄ 表示制御部
１０ 第１情報処理装置
１８Ｂ 取得部
１８Ｃ 生成部
１８Ｄ 通信制御部
２８Ｂ 受信部
２８Ｃ 変換部
２８Ｄ 表示制御部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】