特開 2023-142788 画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023142788

(43)【公開日】2023-10-05

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置

(51)【国際特許分類】

   H04N 21/436 20110101AFI20230928BHJP

   H04N 21/4402 20110101ALI20230928BHJP

【ＦＩ】

H04N21/436

H04N21/4402

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022049873

(22)【出願日】2022-03-25

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】中村 光喜

(72)【発明者】

【氏名】水野 公靖

(72)【発明者】

【氏名】櫻井 敬一

(72)【発明者】

【氏名】鈴木 英男

(72)【発明者】

【氏名】鈴木 かれん

(72)【発明者】

【氏名】于 冰

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164PA31

5C164UB02P

5C164UB41S

5C164UB71P

5C164YA18

(57)【要約】

【課題】表示装置による画像の表示をより安定して行わせることができる画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置を提供する。
【解決手段】画像処理装置である電子機器（１０）は、通信部（１５）と、ＣＰＵ（１１）とを備える。ＣＰＵ（１１）は、連続的な第１画像の第１データを取得し、第１画像に基づく第２画像を表示させる端末装置（３０）のＣＰＵ（３１）による画像処理能力に係る性能情報を取得し、性能情報に基づいて、第１データを画像処理能力に応じた第２画像の第２データに変換し、第２データを通信部（１５）により端末装置（３０）へ出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

通信部と、
制御部と、
を備え、
前記制御部は、
連続的な第１画像の第１データを取得し、
前記第１画像に基づく第２画像を表示させる外部機器の制御部による画像処理能力に係る性能情報を取得し、
前記性能情報に基づいて、前記第１データを前記画像処理能力に応じた前記第２画像の第２データに変換し、
当該第２データを前記通信部により前記外部機器へ出力する
ことを特徴とする画像処理装置。

【請求項2】

前記制御部は、前記第１データの符号化に係る圧縮率を変更することを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記制御部は、前記第１画像の解像度を変更することを特徴とする請求項１又は２記載の画像処理装置。

【請求項4】

前記制御部は、対象物の情報を取得し、当該対象物が含まれるように前記第１画像の一部を切り出すことで前記解像度を低下させることを特徴とする請求項３記載の画像処理装置。

【請求項5】

前記制御部は、前記第１画像の各々から前記対象物を特定することを特徴とする請求項４記載の画像処理装置。

【請求項6】

前記制御部は、前記連続的な第１画像のフレームレートを変更して前記第２画像に変換することを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。

【請求項7】

請求項１～６のいずれか一項に記載の画像処理装置と、
前記第１画像に係る撮影を行う撮影装置と、
を含む画像処理システム。

【請求項8】

連続的な第１画像の第１データを取得するデータ取得ステップ、
前記第１画像に基づく第２画像を表示させる外部機器の制御部による画像処理能力に係る性能情報を取得する性能取得ステップ、
前記性能情報に基づいて、前記第１データを前記画像処理能力に応じた前記第２画像の第２データに変換する変換ステップ、
当該第２データを通信部により前記外部機器へ出力する出力ステップ、
を含むことを特徴とする画像処理方法。

【請求項9】

コンピュータを
連続的な第１画像の第１データを取得するデータ取得手段、
前記第１画像に基づく第２画像を表示させる外部機器の制御部による画像処理能力に係る性能情報を取得する性能取得手段、
前記性能情報に基づいて、前記第１データを前記画像処理能力に応じた前記第２画像の第２データに変換する変換手段、
当該第２データを通信部により前記外部機器へ出力する出力手段、
として機能させることを特徴とするプログラム。

【請求項10】

通信部と、
表示部と、
前記通信部を介して電子機器に自身の画像処理能力に係る性能情報を送信し、当該電子機器から前記画像処理能力に応じた連続的な画像のデータを受信して、当該連続的な画像を前記表示部により表示させる制御部と、
を備えることを特徴とする表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置に関する。

【背景技術】

【0002】

近年、ネットワークを介して配信映像や監視、観察映像などの動画が外部の端末装置、特に、モバイル端末から容易に閲覧、確認可能となっている。各ユーザが利用している端末のディスプレイサイズや画像処理能力といった性能、及びネットワーク通信環境は、それぞれ異なる。そこで、動画配信サーバが複数種類の解像度の動画を配信可能とし、当該配信を受けるユーザ（端末装置）が適切な解像度の動画を要求することができる場合がある。

【0003】

しかしながら、同一フレーム数や同一の解像度であっても、映像の内容によってデータ量（ビットレート）が大きく変化し得る。また、ネットワーク通信環境も外部の要因によって変化し得る。特許文献１では、複数の解像度で配信映像を配信可能な動画配信サーバの配信データを当該配信データを要求する端末へ送信するプロキシサーバにおいて、配信画像の解像度及びビットレートを推定し、端末から適切な解像度のデータ送信を配信サーバに要求できるようにスループットなどを調整する技術について開示されている。

【0004】

また、個人的な画像をリアルタイムで放映又は録画して、特定の個人が視認可能としたり、共有したりするようなＳＮＳ（Social Network Service）などのサービスが知られている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０２１／０２４４５６号

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来、受信して表示を行う表示装置が選択可能な解像度の中から選択して配信サーバに要求し、受信した配信データを自機で処理する必要があるので、著しく処理能力の低い表示装置では、適切な解像度のデータを得ることができず、得た画像データの処理負荷が一層増大して、安定して画像を表示させるのが困難になるという課題がある。

【0007】

この発明の目的は、表示装置による画像の表示をより安定して行わせることができる画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明は、
通信部と、
制御部と、
を備え、
前記制御部は、
連続的な第１画像の第１データを取得し、
前記第１画像に基づく第２画像を表示させる外部機器の制御部による画像処理能力に係る性能情報を取得し、
前記性能情報に基づいて、前記第１データを前記画像処理能力に応じた前記第２画像の第２データに変換し、
当該第２データを前記通信部により前記外部機器へ出力する
ことを特徴とする画像処理装置である。

【発明の効果】

【0009】

本発明に従うと、表示装置による画像の表示をより安定して行わせることができるという効果がある。

【図面の簡単な説明】

【0010】

【図1】映像表示システムの全体図である。

【図2】端末装置及び電子機器の機能構成を示すブロック図である。

【図3】画像データのトリミングの例を示す図である。

【図4】出力される動画の例を示す図である。

【図5】画像調整出力処理の制御手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、映像表示システム１００の全体図である。
本実施形態の画像処理システムを含む映像表示システム１００は、本実施形態の画像処理装置である電子機器１０と、本実施形態の外部機器／表示装置である端末装置３０と、サーバ装置５０と、撮影装置７０とを含む。

【0012】

電子機器１０は、特には限られないが、携帯型の電子装置であって、例えば、スマートフォンやタブレット端末などである。電子機器１０は、通常の配信画像の表示が可能な程度の画像データの処理能力及びディスプレイ解像度を有する。電子機器１０は、無線ＬＡＮなどの無線通信により外部装置（サーバ装置５０及び端末装置３０）との間でデータの送受信（通信）を行うことが可能である。

【0013】

端末装置３０は、ここではウェアラブル端末装置、特に、腕装着型の端末装置であって、例えば、スマートウォッチである。端末装置３０は、小型の液晶ディスプレイ（ＬＣＤ）などの表示画面を有する。表示画面のサイズは、腕のサイズよりも小さくてもよいし、腕のサイズより大きいが、電子機器１０のＬＣＤよりは小さい表示画面を有していてもよい。ここでは、表示画面のサイズは、例えば、１．４インチ程度、又はこれよりも小さいものである。端末装置３０は、例えば、生体センサ（例えば、脈拍、ＳｐＯ２など）や物理センサ（例えば、地磁場センサ、加速度センサ、気圧センサ、温度センサなど）による計測動作及び当該計測動作に基づくユーザの運動状態や周囲の環境などを特定する処理を行ったり、外部機器から予め定められた情報（例えば、外部機器への電話、メール、ＳＮＳなどの着信通知などや設定スケジュールの報知など）を取得して、これらについての簡易な表示を行う。したがって、負荷の大きい動画データの処理や表示を行うには性能が不足していることが多い。ここでは、端末装置３０のユーザは、電子機器１０のユーザと同一であるが、他の場合、例えば、あるユーザの電子機器１０に対して当該ユーザと同一グループの他ユーザの端末装置３０が通信接続されるケースなどを除外するものではない。

【0014】

サーバ装置５０は、動画を含む画像データの配信サーバであり、撮影装置７０や映像コンテンツの提供先などから撮影データを取得して必要に応じて配信用のフォーマットデータに変換し、外部の電子機器１０などからの要求に応じた動画をストリーミングなどにより送信する。サーバ装置５０は、電子機器１０からの要求に応じて、予め用意した複数の解像度のデータから適宜なものを選択して送信してもよいし、単なる中継サーバであってもよい。

【0015】

撮影装置７０は、設定されたフレームレートの動画又は設定された間隔での連続的な静止画を撮影して画像データを生成し、出力する。撮影は、特に限られるものではないが、カラー可視光画像であってもよい。撮影装置７０は、商用又は非商用、個人用途又は公開画像を問わないが、ここでは、一例として、電子機器１０及び端末装置３０のユーザの住居の内部をモニタリングする個人的な用途のものであるものとして説明する。

【0016】

電子機器１０は、例えば、無線ＬＡＮなどによりサーバ装置５０及び端末装置３０と通信接続され、サーバ装置５０と撮影装置７０とは、ＬＡＮなどにより有線接続されている。あるいは、撮影装置７０は、サーバ装置５０の周辺機器として直接ＵＳＢ（Universal Serial Bus）ケーブルやＨＤＭＩ（登録商標：High Definition Multimedia Interface）ケーブルなどにより接続されていてもよいし、端末装置３０は、電子機器１０とブルートゥース（登録商標）などの近距離無線により直接通信接続されていてもよい。
上記のうち、電子機器１０と撮影装置７０が本実施形態の画像処理システムに含まれ、これに加えてサーバ装置５０も画像処理システムに含まれてもよい。

【0017】

図２は、端末装置３０及び電子機器１０の機能構成を示すブロック図である。
図２（ａ）に示すように、端末装置３０は、ＣＰＵ３１（Central Processing Unit）（外部機器の制御部）と、ＲＡＭ３２（Random Access Memory）と、記憶部３３と、計測部３４と、通信部３５と、表示部３６と、操作受付部３７などを備える。

【0018】

ＣＰＵ３１は、演算処理を行い、端末装置３０の全体動作を統括制御するプロセッサである。ＣＰＵ３１は、単一のプロセッサであってもよいし、複数のプロセッサが並列に又は用途などに応じて独立して動作するものであってもよい。ＣＰＵ３１は、電子機器１０のＣＰＵ１１やサーバ装置５０などのＣＰＵなどと比較して性能の低いものであってよい。

【0019】

ＲＡＭ３２は、ＣＰＵ３１に作業用のメモリ空間を提供し、一時データを記憶する。ＲＡＭ３２は、例えば、ＤＲＡＭである。

【0020】

記憶部３３は、フラッシュメモリなどの不揮発性メモリを有し、プログラムや設定データなどを記憶する。プログラムには、動画（映像）表示制御に係るプログラムが含まれる。設定データには、自機の表示部３６の解像度やＣＰＵ３１の性能に係る情報と、通信接続に係る情報、例えば、ブルートゥース通信に係るペアリング（ボンディング）の情報などが含まれる。

【0021】

計測部３４は、端末装置３０の装着者の生体情報、例えば、脈拍やＳｐＯ２など、端末装置３０の運動状態、すなわち、加速度や地磁場（方位）、及び端末装置３０の周囲の環境、例えば、温度や気圧（高度）などのうち一部又は全部を計測して、計測データをＣＰＵ３１へ出力する。

【0022】

通信部３５は、外部機器とのデータ通信を制御する。通信部３５は、上記のように、無線ＬＡＮによる通信やブルートゥースによる通信などを制御する。

【0023】

表示部３６は、ＬＣＤなどの表示画面を有し、ＣＰＵ３１の制御に基づいて画像を表示する。この表示画面は、上記のように電子機器１０の表示画面などと比較して解像度が低く、通常のＰＣや電子機器１０などで表示されるような解像度及びフレームレートの動画の表示に適した能力を有しているわけではない。

【0024】

操作受付部３７は、ユーザなどによる外部からの操作を受け付けて、受け付けた操作内容に応じた操作信号をＣＰＵ３１へ出力する。操作受付部３７は、例えば、押しボタンスイッチ、回転スイッチやタッチパネルなどのうち一部又は全部を有する。タッチパネルは、表示画面と重なって位置していればよい。

【0025】

図２（ｂ）に示すように、電子機器１０は、ＣＰＵ１１（制御部）と、ＲＡＭ１２と、記憶部１３と、通信部１５と、表示部１６と、操作受付部１７などを備える。

【0026】

ＣＰＵ１１は、演算処理を行い、電子機器１０の全体動作を統括制御するプロセッサである。ＣＰＵ１１は、単一のプロセッサであってもよいし、複数のプロセッサが並列に又は用途などに応じて独立して動作するものであってもよい。

【0027】

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。ＲＡＭ１２は、例えば、ＤＲＡＭである。

【0028】

記憶部１３は、フラッシュメモリなどの不揮発性メモリを有し、プログラム１３１や設定データなどを記憶する。プログラム１３１には、外部から受信して端末装置３０で表示させる動画（映像）データの処理に関する後述の画像調整出力処理のプログラムが含まれる。設定データには、サーバ装置５０から動画データを受信するための設定データや、上記動画データの処理設定データなどが含まれる。

【0029】

通信部１５は、外部機器とのデータ通信を制御する。通信部１５は、上記のように、無線ＬＡＮによる通信やブルートゥースによる通信などを制御する。

【0030】

表示部１６は、ＬＣＤなどの表示画面を有し、ＣＰＵ１１の制御に基づいて画像を表示する。また、表示部１６は、各種報知動作、例えば、バッテリ（充電池など）の残量不足の警告や、当該バッテリの充電中、充電完了などの状態表示を行うためのＬＥＤランプなどを有していてもよい。

【0031】

操作受付部１７は、ユーザなどによる外部からの操作を受け付けて、受け付けた操作内容に応じた操作信号をＣＰＵ１１へ出力する。操作受付部１７は、例えば、タッチパネル、押しボタンスイッチ、スライドスイッチやロッカスイッチなどのうち一部又は全部を有する。タッチパネルは、表示画面と重なって位置していればよい。
なお、表示部１６及び操作受付部１７は、電子機器１０の接続端子などに接続される周辺機器であってもよい。
上記のうち、少なくともＣＰＵ１１及びＲＡＭ１２が本実施形態のコンピュータに含まれる。

【0032】

次に、本実施形態の電子機器１０における画像処理動作について説明する。
電子機器１０では、サーバ装置５０から受信した連続的な画像（動画；第１画像）のデータ（第１データ）を端末装置３０で表示可能とするための処理を行う。この処理は、通常のＰＣや電子機器１０などでの表示では問題のない復号（デコード）処理や表示画面のサイズと適合させる調整処理などの負荷を低減させて、画像表示を端末装置３０でも無理なく行うためのものである。

【0033】

上記のように、端末装置３０のＣＰＵ３１などによる画像処理能力が低いので、解像度やフレームレートなどの変換に係る処理などを端末装置３０で行うことは現実的ではない。また、符号化による圧縮率が高いほど復号時の処理負荷が上昇しやすいので、高圧縮されている画像データ（第１データ）の圧縮率を低下（変更）することで復号処理が容易になる。一方で、その分データ通信量（ビットレート）が増えると、ネットワークの状況などによってはデータ受信が間に合わなくなることがあるので、必要に応じて第１画像の解像度を低下させたり第１データのフレームレートを低下させたりすることで、ビットレートを低下させる。

【0034】

電子機器１０では、端末装置３０のＣＰＵ１１の画像処理能力（例えば、ＭＩＰＳ）を含む性能情報を取得して、当該性能情報に基づいて、適切なデータ圧縮率及びビットレートを設定し、更に必要なビットレートが基準値を超える場合には、解像度及び／又はフレームレートを変更（低下）設定した画像（第２画像）のデータ（第２データ）に変換する。

【0035】

解像度を変更する場合、単純に画像全体の解像度を落とすと、ユーザが見たい対象（対象物；以下視認対象物と記載）も小さく粗くなって、場合によっては必要最低限の解像度が得られなくなる場合がある。そこで、電子機器１０では、予め視認対象物の情報を取得し、各画像データ（第１画像の個別データ）からそれぞれ視認対象物（ＲＯＩ；Region of Interest）を含む上記サイズの範囲にトリミング（切り出し、クリッピング）した部分画像を生成する。このとき、元の画像を単純に上記トリミング後のサイズとする場合の解像度の低下率よりも小さい範囲で、画像の解像度を低下させてもよい。すなわち、端末装置３０の表示画面の画素数よりも多い画素数のエリアにトリミングした後に、トリミング後の画像を表示画面の解像度に合わせて縮小してもよい。このように生成した部分画像の連続画像データを端末装置３０に送信出力することで、端末装置３０では無理なく通信部３５により受信した画像データを表示させることが可能になる。

【0036】

また、フレームレートを落とす場合には、例えば、視認対象物が映っていない画像を優先的に削除してもよい。すなわち、削除間隔は均等である必要はない。また、必要性、電子機器１０の画像処理能力や表示画面の応答速度などに応じて、前後の画像データにおける視認対象物を線形補間（平均）した画像データを生成してもよい。

【0037】

図３は、画像データのトリミングの例を示す図である。
図３（ａ）、（ｂ）に示すように、例えば、自宅のある部屋（例えば居間）を撮影する撮影装置７０の撮影画像における視認対象物Ｃがこの部屋にいる愛玩動物（ペット）である場合に、当該愛玩動物が含まれる画像範囲が破線Ｆのようにトリミングされる。この愛玩動物は、各画像で姿勢が変化し、また、移動し得るので、トリミングされる範囲（破線Ｆの位置）も変化する。視認対象物Ｃの特定は、周知の画像認識処理により行われる。例えば、画像認識処理は、単純な輪郭検出などにより行われてもよいし、学習済の機械学習モデル（学習済モデル）を利用して、入力画像から学習された対象物を抽出して範囲を出力するのであってもよい。あるいは、背景（室内の他のもの）に変化がない（例えば、端末装置３０のユーザが外出してから戻るまでの間などで）場合には、当該背景との差分などにより視認対象物Ｃの検出が行われてもよく、他の動くものが写り込んだ場合には、サイズなどを基準として適切なものを選択してもよい。視認対象物Ｃが撮影装置７０に接近してトリミングされるサイズに入りきらない場合などには、より広い範囲をトリミングしてから解像度を低下させてもよい。

【0038】

図４は、出力される動画の例を示す図である。
上記のように適宜なサイズにトリミングされた画像（連続画像の各々や動画の各フレーム）は、動画の場合には単位フレーム数（セグメント、ＧＯＰ（Group of Picture））ごとに動画データに戻されて、連続画像の場合には逐次適宜な遅延時間（受信から送信までの所要時間）で端末装置３０へ送信される。端末装置３０では、受信した画像を単純に（動画の場合にはデコードして）、表示画面に表示させればよい。したがって、端末装置３０の処理負荷は、画像表示に必要な最小限で抑えられ、過大にならない。これにより、ユーザは視認対象の動画や連続画像を低ストレスで視認することができる。

【0039】

図５は、本実施形態の電子機器１０で実行される画像調整出力処理のＣＰＵ１１による制御手順を示すフローチャートである。本実施形態の画像処理方法であるこの画像調整出力処理は、端末装置３０から画像送信の要求がある状態で当該端末装置３０で表示させる画像データ（動画の場合にはセグメントデータ）を受信するごとに（処理が終わる前に次の画像データが受信済の場合には、未処理受信データが残っている場合に）実行される。

【0040】

ＣＰＵ１１は、受信した動画のセグメントデータを取得して復号し、各々の画像データを取得する（ステップＳ１０１；データ取得ステップ／手段）。ＣＰＵ１１は、画像内から抽出（トリミング）する対象となる視認対象物に係る情報を取得する（ステップＳ１０２）。この情報は、予め端末装置３０から取得されてもよいし、電子機器１０内で設定がなされていてもよい。ＣＰＵ１１は、端末装置３０から画像送信要求とともに受信した（すなわち、端末装置３０が送信した）ＣＰＵ３１の性能情報（自身の画像処理能力）及び表示部３６の解像度を取得する（ステップＳ１０３；性能取得ステップ／手段）。ＣＰＵ１１は、取得した処理性能及び解像度に応じた画像データの変換内容（圧縮率、解像度、フレームレートなど）を設定する（ステップＳ１０４）。

【0041】

ＣＰＵ１１は、画像を選択し（１枚の静止画の場合にはそのまま。動画の場合には、デコードして先頭から順番に）、当該画像を解析して、抽出対象である視認対象物を検出する（ステップＳ１０５；対象特定ステップ／手段）。ＣＰＵ１１は、抽出対象が画像内にあるか（検出されたか）否かを判別する（ステップＳ１０６）。抽出対象が画像内にあると判別された場合には（ステップＳ１０６で“ＹＥＳ”）、ＣＰＵ１１は、変換内容として設定された解像度で画像データから抽出対象を含む範囲を抽出するトリミング処理を行う（ステップＳ１０７）。上述のように、設定解像度より広い範囲を抽出する必要がある場合には、ＣＰＵ１１は、トリミング処理後に更に解像度を下げる処理を行う。それから、ＣＰＵ１１の処理は、ステップＳ１０８へ移行する。

【0042】

ステップＳ１０６の判別処理で、抽出対象が画像内にないと判別された場合には（ステップＳ１０６で“ＮＯ”）、ＣＰＵ１１は、当該画像が静止画などの場合には単純に画像データを消去して、端末装置３０への送信対象から除外する。当該画像が動画のフレームデータのうちいずれかである場合には、ＣＰＵ１１は、この画像を抽出対象があった直近の画像と同一のものとして設定する（ステップＳ１１１）。フレーム数を変更するのであれば、ＣＰＵ１１は、このような画像データを優先的に除外対象とすればよい。それから、ＣＰＵ１１の処理は、ステップＳ１０８へ移行する。

【0043】

ステップＳ１０８の処理へ移行すると、ＣＰＵ１１は、取得した画像データから全ての画像を選択したか（単一画像の静止画を含む）否かを判別する（ステップＳ１０８）。全ての画像を選択していない（選択していない画像がある）と判別された場合には（ステップＳ１０８で“ＮＯ”）、ＣＰＵ１１の処理は、ステップＳ１０５に戻る。

【0044】

全ての画像を選択したと判別された場合には（ステップＳ１０８で“ＹＥＳ”）、ＣＰＵ１１は、抽出後の画像を設定した圧縮率で符号化しなおして動画のセグメントデータを得る（ステップＳ１０９）。ＣＰＵ１１は、符号化された変換後の動画データ（セグメントデータ）を端末装置３０へ送信する（ステップＳ１１０；出力ステップ／手段）。そして、ＣＰＵ１１は、画像調整出力処理を終了する。
ステップＳ１０７、Ｓ１０９の処理が本実施形態の画像処理方法における変換ステップを構成し、プログラム１３１における変換手段を構成する。

【0045】

以上のように、本実施形態の画像処理装置である電子機器１０は、通信部１５と、ＣＰＵ１１とを備える。ＣＰＵ１１は、連続的な第１画像の第１データを取得し、第１画像に基づく第２画像を表示させる外部機器である端末装置３０のＣＰＵ３１による画像処理能力に係る性能情報を取得し、この性能情報に基づいて第１データを画像処理能力に応じた前記第２画像の第２データに変換し、当該第２データを通信部１５により端末装置３０へ出力する。
このように、端末装置３０のＣＰＵ３１の画像処理能力に応じて処理負荷の小さい第２画像を出力することで、当該第２画像を受信した端末装置３０では、ＣＰＵ３１の処理で適切に画像を表示部３６に表示させることが可能となる。よって、この電子機器１０は、端末装置３０により、そのユーザにより快適にちょっとした画像を視認させることが可能である。

【0046】

また、ＣＰＵ１１は、第１データの符号化に係る圧縮率を変更して第２データを生成してもよい。圧縮率の高い画像データほど復号に要する処理負荷も大きくなるので、適宜な圧縮率に留めることで、端末装置３０における画像表示のための処理負荷を低減させながら画像表示を行うことが可能になる。

【0047】

また、ＣＰＵ１１は、第１画像の解像度を変更してもよい。端末装置３０の表示画面の画素数は動画を視聴するような通常の表示画面の画素数よりも少ないことが多いので、端末装置３０の画素数に合わせて予め解像度を低下させておくことで、端末装置３０での画像処理の負荷を低減させることができる。また、上記のように圧縮率を低下させた分の画像データのサイズの増大を抑えることができる。

【0048】

また、ＣＰＵ１１は、例えば、視認対象物の情報を取得し、当該視認対象物が含まれるように第１画像の一部を切り出すことで解像度を低下させることができる。表示画面が小さく画素数が少ない端末装置３０に合わせて単純に画像サイズを縮小すると、画像内のものが小さくなりすぎて、判別がつかなくなり得る。そこで、端末装置３０によりユーザが実際に見たいもの（視認対象物）が画像内の一部である場合には、当該一部を切り出すことで、必要な画像の縮小を抑制することができる。

【0049】

また、ＣＰＵ１１は、第１画像の各フレームから視認対象物を特定する。視認対象物が撮影画像の視野内で移動するもの、例えば、愛玩動物のようなものの場合には、切り取り範囲を固定することができないので、画像認識技術などを利用して視認対象を各フレームの画像から特定することで、切り取り範囲を適切に定めることができる。これにより、ユーザの必要な画像部分を必要なタイミングで適切に当該ユーザが視認することが可能となる。

【0050】

また、ＣＰＵ１１は、連続的な第１画像のフレームレートを変更した第２画像に変換してもよい。動きの激しくない動画や高い時間分解能の不要な内容の画像などの場合には、適宜フレーム画像を間引くことで、画像処理を低減することができる。また、これによっても端末装置３０へ送信する画像のサイズ（ビットレート）を縮小（低減）することができる。

【0051】

また、本実施形態の画像処理システムを含む映像表示システム１００は、上記の電子機器１０と、第１画像に係る撮影を行う撮影装置７０と、を含む。監視（観察用）カメラといった継続的に撮影を行って連続的な画像を得る撮影装置７０の撮影画像を電子機器１０で適切に加工、変換したうえで端末装置３０に出力するので、撮影装置７０自身で視認対象物を追尾する必要がない。また、元の画像の解像度を維持したうえで、非力な端末装置３０に合わせた処理を当該撮影装置７０の外部かつ端末装置３０の外部でもある電子機器１０により行わせることで、適切に負荷を分散して画像表示に係る処理能力の広い端末装置３０に対して、広く表示可能な撮影画像を提供することができる。

【0052】

また、本実施形態の画像処理方法は、端末装置３０の外部で実行される処理方法であって、連続的な第１画像の第１データを取得するデータ取得ステップ、第１画像に基づく第２画像を表示させる端末装置３０のＣＰＵ３１による画像処理能力に係る性能情報を取得する性能取得ステップ、取得した性能情報に基づいて、第１データをＣＰＵ３１の画像処理能力に応じた第２画像の第２データに変換する変換ステップ、当該第２データを端末装置３０へ出力する出力ステップ、を含む。
この画像処理方法によれば、連続した画像を表示させる端末装置３０の画像処理能力に係る性能情報を取得して、当該画像処理能力に応じた画像データに変換して端末装置３０に出力するので、端末装置３０における負荷を低減することができる。したがって、端末装置３０の画像処理能力及び表示能力が低い場合でも、当該端末装置３０で表示可能な画像を提供することが可能になり、すなわち、端末装置３０でも従来難しかった画像の表示が可能になる。

【0053】

また、本実施形態のプログラム１３１は、コンピュータを上記画像処理方法の各ステップを事項制御する手段として機能させる。したがって、このようなプログラム１３１を電子機器１０にインストールして実行することで、特殊なハードウェア構成などを必要とせず、当該電子機器１０と通信接続される端末装置３０の画像処理能力に応じた画像データを生成して当該端末装置３０へ容易に出力することができる。

【0054】

また、本実施形態の端末装置３０は、通信部３５と、表示部３６と、通信部３５を介して電子機器１０に自身の画像処理能力に係る性能情報を送信し、当該電子機器１０から画像処理能力に応じた連続的な画像のデータを受信して、連続的な画像を表示部３６により表示させるＣＰＵ３１と、を備える。このような端末装置３０で表示させる画像のデータは、自機のＣＰＵ３１の処理能力（画像処理能力）の情報を予め電子機器１０へ送信しておくことで、当該電子機器１０においてＣＰＵ３１の画像処理能力に応じた内容に先に変換さえてから自機へ入力される。したがって、端末装置３０では、画像の表示に影響のない範囲の画像処理で表示画像データを復号、調整することができ、すなわち、受信した画像データに基づく画像を表示させることができる。

【0055】

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、撮影装置７０から取得した撮影画像データを電子機器１０へあるフォーマットのある解像度の画像として配信するサーバ装置５０を介して送信するものとして説明したが、これに限られない。サーバ装置５０を含まずに、撮影装置７０から直接電子機器１０へ撮影画像データが送信されてもよい。あるいは、撮影装置７０とサーバ装置５０とが一体的であって、撮影装置７０自体から適宜なフォーマット及び解像度の画像データが電子機器１０へ送信されてもよい。

【0056】

また、上記実施の形態では、画像データの圧縮率を低下させる（変更する）ものとして説明したが、必ずしも優先的に圧縮率を低下させなくてもよい。画像データの解像度やフレームレートを先に変更（低下）させ、そのうえで必要に応じて圧縮率を低下させてもよい。反対に、必要がなければ解像度やフレームレートを変更（低下）させる必要はなく、また、解像度の低下の際にその一部の視認対象物を切りぬく（トリミングする）処理を行わなくてもよい。

【0057】

また、上記実施の形態では、愛玩動物の範囲を画像認識技術により各画像で特定してトリミング範囲をそれぞれ定めることとしたが、視認対象物が視野内で固定されている場合には、毎回画像認識を行う必要はない。視認対象物の範囲に係る情報を予め又は一度定めた後に、その範囲を固定して検出を行わずに画像のトリミングを行ってもよい。

【0058】

また、上記実施の形態では、愛玩動物などを視認対象物として定めたが、これに限られない。他の愛玩動物（水槽内の熱帯魚などを含み得る）であってもよいし、愛玩動物以外の生物の観察、例えば、野鳥の巣や餌場、幼児や高齢者などの見守りであってもよい。また、生物の代わりに、装置の動作状態（ＩｏＴ対応されていない家電装置など）、物の状態（洗濯物の監視、雪や氷の観察など）、物以外の環境状態の監視（日の室内への差し込み具合やにわか雨の吹き込み具合の監視）などに用いられてもよい。あるいは、作業中に手を使っての確認が難しい作業の手順の確認（例えば、料理のレシピなど）に用いられてもよい。

【0059】

また、上記実施の形態では画像データについてのみ説明したが、音声データが付されたものであってもよい。また、元々音声データが付されていた画像データの音声データを削除する処理が変換処理に含まれていてもよい。

【0060】

また、上記実施の形態では、単一の視認対象物について説明したが、視認対象物は複数あってもよい。この場合、全ての視認対象物が含まれるように切り出し（トリミング）が行われてもよいし、あるいは、ある時間経過ごとに視認対象物が順番に切り替えられ、又は移動などのイベントが発生するごとに当該イベントに応じた視認対象物に切り替えられて、一度に視認対象物とされるものは一つであってもよい。

【0061】

また、上記実施の形態では、端末装置３０がウェアラブル端末装置であるものとして説明したが、これに限られるものではない。他の小型携帯型装置などであってもよいし、あるいは、机上に邪魔にならないように立てられる（立てかける、衝立などにかけられる）小型卓上装置などであってもよい。

【0062】

また、表示性能上、外部での元の画像データからの変更が役に立つ端末装置３０であれば、その表示性能の低さの度合は問われない。

【0063】

また、上記実施の形態では、動画のセグメントごとに内容の変換処理を行うものとして説明したが、フレームレートを低下させる場合などには、複数のセグメントを統合してもよい。すなわち、表示処理や動作に問題を生じない範囲で各フレームに１つ含まれるキーフレームの数を削減することで画像データのサイズを低減させるのであってもよい。

【0064】

また、画像処理自体は単一の電子機器１０で行われなくてもよい。複数の電子機器により分割処理されてもよい。また、端末装置３０の表示性能及び視認対象物の情報を取得した電子機器１０が、当該端末装置３０からの要求を受けて他の処理装置に要求して実行させるものであってもよい。

【0065】

また、以上の説明では、本発明の画像調整出力処理の制御に係るプログラム１３１を記憶するコンピュータ読み取り可能な媒体としてフラッシュメモリなどの不揮発性メモリなどからなる記憶部１３を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、ＭＲＡＭなどの他の不揮発性メモリ、ＨＤＤや、ＣＤ－ＲＯＭ、ＤＶＤディスクなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

【0066】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

【0067】

［付記］
＜請求項１＞
通信部と、
制御部と、
を備え、
前記制御部は、
連続的な第１画像の第１データを取得し、
前記第１画像に基づく第２画像を表示させる外部機器の制御部による画像処理能力に係る性能情報を取得し、
前記性能情報に基づいて、前記第１データを前記画像処理能力に応じた前記第２画像の第２データに変換し、
当該第２データを前記通信部により前記外部機器へ出力する
ことを特徴とする画像処理装置。
＜請求項２＞
前記制御部は、前記第１データの符号化に係る圧縮率を変更することを特徴とする請求項１記載の画像処理装置。
＜請求項３＞
前記制御部は、前記第１画像の解像度を変更することを特徴とする請求項１又は２記載の画像処理装置。
＜請求項４＞
前記制御部は、対象物の情報を取得し、当該対象物が含まれるように前記第１画像の一部を切り出すことで前記解像度を低下させることを特徴とする請求項３記載の画像処理装置。
＜請求項５＞
前記制御部は、前記第１画像の各々から前記対象物を特定することを特徴とする請求項４記載の画像処理装置。
＜請求項６＞
前記制御部は、前記連続的な第１画像のフレームレートを変更して前記第２画像に変換することを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
＜請求項７＞
請求項１～６のいずれか一項に記載の画像処理装置と、
前記第１画像に係る撮影を行う撮影装置と、
を含む画像処理システム。
＜請求項８＞
連続的な第１画像の第１データを取得するデータ取得ステップ、
前記第１画像に基づく第２画像を表示させる外部機器の制御部による画像処理能力に係る性能情報を取得する性能取得ステップ、
前記性能情報に基づいて、前記第１データを前記画像処理能力に応じた前記第２画像の第２データに変換する変換ステップ、
当該第２データを通信部により前記外部機器へ出力する出力ステップ、
を含むことを特徴とする画像処理方法。
＜請求項９＞
コンピュータを
連続的な第１画像の第１データを取得するデータ取得手段、
前記第１画像に基づく第２画像を表示させる外部機器の制御部による画像処理能力に係る性能情報を取得する性能取得手段、
前記性能情報に基づいて、前記第１データを前記画像処理能力に応じた前記第２画像の第２データに変換する変換手段、
当該第２データを通信部により前記外部機器へ出力する出力手段、
として機能させることを特徴とするプログラム。
＜請求項１０＞
通信部と、
表示部と、
前記通信部を介して電子機器に自身の画像処理能力に係る性能情報を送信し、当該電子機器から前記画像処理能力に応じた連続的な画像のデータを受信して、当該連続的な画像を前記表示部により表示させる制御部と、
を備えることを特徴とする表示装置。

【符号の説明】

【0068】

１０ 電子機器
１１ ＣＰＵ
１２ ＲＡＭ
１３ 記憶部
１５ 通信部
１６ 表示部
１７ 操作受付部
３０ 端末装置
３１ ＣＰＵ
３２ ＲＡＭ
３３ 記憶部
３４ 計測部
３５ 通信部
３６ 表示部
３７ 操作受付部
５０ サーバ装置
７０ 撮影装置
１００ 映像表示システム
１３１ プログラム
Ｃ 視認対象物

【図1】

【図2】

【図3】

【図4】

【図5】