特開 2023-142787 画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023142787

(43)【公開日】2023-10-05

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置

(51)【国際特許分類】

   H04N 21/436 20110101AFI20230928BHJP

   H04N 21/44 20110101ALI20230928BHJP

【ＦＩ】

H04N21/436

H04N21/44

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022049871

(22)【出願日】2022-03-25

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】水野 公靖

(72)【発明者】

【氏名】櫻井 敬一

(72)【発明者】

【氏名】中村 光喜

(72)【発明者】

【氏名】鈴木 英男

(72)【発明者】

【氏名】鈴木 かれん

(72)【発明者】

【氏名】于 冰

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164UA04S

5C164UB01P

5C164UB41S

5C164UB71P

5C164YA18

5C164YA21

(57)【要約】

【課題】外部の表示装置でより適切に画像を表示させることのできる画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置を提供する。
【解決手段】画像処理装置としての電子機器（１０）は、通信部（１５）と、ＣＰＵ（１１）とを備える。ＣＰＵ（１１）は、連続的な第１画像の第１データを取得し、第１画像に基づく第２画像を表示させる端末装置（３０）の表示部（３６）の性能情報を取得し、第１データから性能情報に応じた第２画像の第２データを生成し、第２データを通信部（１５）により端末装置（３０）へ出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

通信部と、
制御部と、
を備え、
前記制御部は、
連続的な第１画像の第１データを取得し、
前記第１画像に基づく第２画像を表示させる第１の外部機器の表示部の性能情報を取得し、
前記第１データから前記性能情報に応じた前記第２画像の第２データを生成し、
前記第２データを前記通信部により前記第１の外部機器へ出力する
ことを特徴とする画像処理装置。

【請求項2】

前記制御部は、
前記性能情報に基づいて、前記第１画像の各々である個別画像からその一部である部分画像を切り出す切り出しサイズを設定し、
前記切り出しサイズに基づいて前記個別画像から対象物を含む一部分をそれぞれ切り出して、前記切り出しサイズの部分画像を含む前記第２画像を生成する
ことを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記制御部は、前記個別画像から前記対象物を特定することを特徴とする請求項２記載の画像処理装置。

【請求項4】

前記制御部は、前記個別画像に前記対象物が含まれていない場合に、当該個別画像を削除することを特徴とする請求項３記載の画像処理装置。

【請求項5】

前記性能情報には前記表示部の解像度が含まれることを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。

【請求項6】

前記制御部は、前記第１の外部機器の性能情報を前記第１の外部機器から前記通信部を介して取得することを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。

【請求項7】

前記第１の外部機器はウェアラブル端末装置であることを特徴とする請求項１～６のいずれか一項に記載の画像処理装置。

【請求項8】

前記第１データは、前記通信部により第２の外部機器から取得されることを特徴とする請求項１～７のいずれか一項に記載の画像処理装置。

【請求項9】

請求項１～８のいずれか一項に記載の画像処理装置と、
撮影を行って前記連続的な第１画像の第１データを生成する撮影装置と、
を含む画像処理システム。

【請求項10】

連続的な第１画像の第１データを取得するデータ取得ステップ、
前記第１画像に基づく第２画像を表示させる第１の外部機器の表示部の性能情報を取得する性能取得ステップ、
前記第１データから前記性能情報に応じた前記第２画像の第２データを生成する生成ステップ、
前記第２データを通信部により前記第１の外部機器へ出力する出力ステップ、
を含む画像処理方法。

【請求項11】

コンピュータを
連続的な第１画像の第１データを取得するデータ取得手段、
前記第１画像に基づく第２画像を表示させる第１の外部機器の表示部の性能情報を取得する性能取得手段、
前記第１データから前記性能情報に応じた前記第２画像の第２データを生成する生成手段、
前記第２データを通信部により前記第１の外部機器へ出力する出力手段、
として機能させるプログラム。

【請求項12】

通信部と、
表示部と、
前記通信部を介して電子機器に自機の表示性能を送信し、当該電子機器から前記表示性能に応じた連続的な表示画像データを受信して、当該表示画像データに応じた連続的な画像を前記表示部により表示させる制御部と、
を備えることを特徴とする表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置に関する。

【背景技術】

【0002】

近年、ネットワークを介して配信映像や監視、観察画像などの動画が外部の端末装置、特に、モバイル端末から容易に閲覧、確認可能となっている。各ユーザが利用している端末のディスプレイサイズや画像処理能力といった性能、及びネットワーク通信環境は、それぞれ異なる。そこで、動画配信サーバが複数種類の解像度の動画を配信可能とし、当該配信を受けるユーザ（端末装置）が適切な解像度の動画を要求することができる場合がある。

【0003】

しかしながら、同一フレーム数や同一の解像度であっても、映像の内容によってデータ量（ビットレート）が大きく変化し得る。また、ネットワーク通信環境も外部の要因によって変化し得る。特許文献１では、複数の解像度で配信映像を配信可能な動画配信サーバの配信データを当該配信データを要求する端末へ送信するプロキシサーバにおいて、配信画像の解像度及びビットレートを推定し、端末から適切な解像度のデータ送信を配信サーバに要求できるようにスループットなどを調整する技術について開示されている。

【0004】

また、個人的な画像をリアルタイムで放映又は録画して、特定の個人が視認可能としたり、共有したりするようなＳＮＳ（Social Network Service）などのサービスが知られている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０２１／０２４４５６号

【発明の概要】

【発明が解決しようとする課題】

【0006】

個人的な監視、観察画像では、しばしば、特定の撮影対象を頻繁に見たいという要求がある。このような画像の表示対象として、配信画像よりも著しく表示性能が劣るスマートウォッチなどの端末が表示装置として利用されることがあり、このような場合に、従来のように推測で表示性能などを定めた画像を配信して表示装置に処理させるのでは、適切に画像を表示させることができないという課題がある。

【0007】

この発明の目的は、外部の表示装置でより適切に画像を表示させることのできる画像処理装置、画像処理システム、画像処理方法、プログラム及び表示装置を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明は、
通信部と、
制御部と、
を備え、
前記制御部は、
連続的な第１画像の第１データを取得し、
前記第１画像に基づく第２画像を表示させる第１の外部機器の表示部の性能情報を取得し、
前記第１データから前記性能情報に応じた前記第２画像の第２データを生成し、
前記第２データを前記通信部により前記第１の外部機器へ出力する
ことを特徴とする画像処理装置である。

【発明の効果】

【0009】

本発明に従うと、外部の表示装置で視認対象を手軽かつより適切に視認可能に表示させることができるという効果がある。

【図面の簡単な説明】

【0010】

【図1】実施形態の映像表示システムを示す全体図である。

【図2】端末装置及び電子機器の機能構成を示すブロック図である。

【図3】画像データのトリミングの例を示す図である。

【図4】出力される動画の例を示す図である。

【図5】電子機器で実行される画像調整出力処理の制御手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の映像表示システム１００を示す全体図である。
本実施形態の画像処理システムを含む映像表示システム１００は、本実施形態の画像処理装置である電子機器１０と、本実施形態の第１の外部機器／表示装置である端末装置３０と、本実施形態の第２の外部機器であるサーバ装置５０と、撮影装置７０とを含む。

【0012】

電子機器１０は、特には限られないが、携帯型の電子機器であって、例えば、スマートフォンやタブレット端末などである。電子機器１０は、通常の配信画像の表示が可能な程度の画像データの処理能力及びディスプレイ解像度を有する。電子機器１０は、無線ＬＡＮなどの無線通信により外部装置（サーバ装置５０及び端末装置３０）との間でデータの送受信（通信）を行うことが可能である。

【0013】

端末装置３０は、ここではウェアラブル端末装置、特に、腕装着型の端末装置であって、例えば、スマートウォッチである。端末装置３０は、小型の液晶ディスプレイ（ＬＣＤ）などの表示画面を有する。表示画面のサイズは、腕のサイズよりも小さくてもよいし、腕のサイズより大きいが、電子機器１０のＬＣＤよりは小さい表示画面を有していてもよい。ここでは、表示画面のサイズは、例えば、１．４インチ程度、又はこれよりも小さいものである。端末装置３０は、例えば、生体センサ（例えば、脈拍、ＳｐＯ２など）や物理センサ（例えば、地磁場センサ、加速度センサ、気圧センサ、温度センサなど）による計測動作及び当該計測動作に基づくユーザの運動状態や周囲の環境などを特定する処理を行ったり、外部機器から予め定められた情報（例えば、外部機器への電話、メール、ＳＮＳなどの着信通知などや設定スケジュールの報知など）を取得して、これらについての簡易な表示を行う。したがって、負荷の大きい動画データの処理や表示を行うには性能が不足していることが多い。ここでは、端末装置３０のユーザは、電子機器１０のユーザと同一であるが、他の場合、例えば、あるユーザの電子機器１０に対して当該ユーザと同一グループの他ユーザの端末装置３０が通信接続されるケースなどを除外するものではない。

【0014】

サーバ装置５０は、動画を含む画像データの配信サーバであり、撮影装置７０や映像コンテンツの提供先などから撮影データを取得して必要に応じて配信用のフォーマットデータに変換し、外部の電子機器１０などからの要求に応じた動画をストリーミングなどにより送信する。サーバ装置５０は、電子機器１０からの要求に応じて、予め用意した複数の解像度のデータから適宜なものを選択して送信してもよいし、単なる中継サーバであってもよい。

【0015】

撮影装置７０は、設定されたフレームレートの動画又は設定された間隔での連続的な静止画を撮影して画像データを生成し、出力する。撮影は、特に限られるものではないが、カラー可視光画像であってもよい。撮影装置７０は、商用又は非商用、個人用途又は公開画像を問わないが、ここでは、一例として、電子機器１０及び端末装置３０のユーザの住居の内部をモニタリングする個人的な用途のものであるものとして説明する。

【0016】

電子機器１０は、例えば、無線ＬＡＮなどによりサーバ装置５０及び端末装置３０と通信接続され、サーバ装置５０と撮影装置７０とは、ＬＡＮなどにより有線接続されている。あるいは、撮影装置７０は、サーバ装置５０の周辺機器として直接ＵＳＢ（Universal Serial Bus）ケーブルやＨＤＭＩ（登録商標：High Definition Multimedia Interface）ケーブルなどにより接続されていてもよいし、端末装置３０は、電子機器１０とブルートゥース（登録商標）などの近距離無線により直接通信接続されていてもよい。
これらのうち、少なくとも電子機器１０及び撮影装置７０が本実施形態の画像処理システムに含まれ、これに加えてサーバ装置５０が含まれていてもよい。

【0017】

図２は、端末装置３０及び電子機器１０の機能構成を示すブロック図である。
図２（ａ）に示すように、端末装置３０は、ＣＰＵ３１（Central Processing Unit）と、ＲＡＭ３２（Random Access Memory）と、記憶部３３と、計測部３４と、通信部３５と、表示部３６と、操作受付部３７などを備える。

【0018】

ＣＰＵ３１は、演算処理を行い、端末装置３０の全体動作を統括制御するプロセッサである。ＣＰＵ３１は、単一のプロセッサであってもよいし、複数のプロセッサが並列に又は用途などに応じて独立して動作するものであってもよい。ＣＰＵ３１は、電子機器１０のＣＰＵ１１やサーバ装置５０などのＣＰＵなどと比較して性能の低いものであってよい。

【0019】

ＲＡＭ３２は、ＣＰＵ３１に作業用のメモリ空間を提供し、一時データを記憶する。ＲＡＭ３２は、例えば、ＤＲＡＭである。

【0020】

記憶部３３は、フラッシュメモリなどの不揮発性メモリを有し、プログラムや設定データなどを記憶する。プログラムには、動画（映像）表示制御に係るプログラムが含まれる。設定データには、自機の表示部３６の解像度やＣＰＵ３１の性能に係る情報と、通信接続に係る情報、例えば、ブルートゥース通信に係るペアリング（ボンディング）の情報などが含まれる。

【0021】

計測部３４は、端末装置３０の装着者の生体情報、例えば、脈拍やＳｐＯ２など、端末装置３０の運動状態、すなわち、加速度や地磁場（方位）、及び端末装置３０の周囲の環境、例えば、温度や気圧（高度）などのうち一部又は全部を計測して、計測データをＣＰＵ３１へ出力する。

【0022】

通信部３５は、外部機器とのデータ通信を制御する。通信部３５は、上記のように、無線ＬＡＮによる通信やブルートゥースによる通信などを制御する。

【0023】

表示部３６は、ＬＣＤなどの表示画面を有し、ＣＰＵ３１の制御に基づいて画像を表示する。この表示画面は、上記のように電子機器１０の表示画面などと比較して解像度が低く、通常のＰＣや電子機器１０などで表示されるような解像度及びフレームレートの動画の表示に適した能力を有しているわけではない。

【0024】

操作受付部３７は、ユーザなどによる外部からの操作を受け付けて、受け付けた操作内容に応じた操作信号をＣＰＵ３１へ出力する。操作受付部３７は、例えば、押しボタンスイッチ、回転スイッチやタッチパネルなどのうち一部又は全部を有する。タッチパネルは、表示画面と重なって位置していればよい。

【0025】

図２（ｂ）に示すように、電子機器１０は、ＣＰＵ１１（制御部）と、ＲＡＭ１２と、記憶部１３と、通信部１５と、表示部１６と、操作受付部１７などを備える。

【0026】

ＣＰＵ１１は、演算処理を行い、電子機器１０の全体動作を統括制御するプロセッサである。ＣＰＵ１１は、単一のプロセッサであってもよいし、複数のプロセッサが並列に又は用途などに応じて独立して動作するものであってもよい。

【0027】

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。ＲＡＭ１２は、例えば、ＤＲＡＭである。

【0028】

記憶部１３は、フラッシュメモリなどの不揮発性メモリを有し、プログラム１３１や設定データなどを記憶する。プログラム１３１には、外部から受信して端末装置３０で表示させる動画（映像）データの処理に関する後述の画像調整出力処理のプログラムが含まれる。設定データには、サーバ装置５０から動画データを受信するための設定データや、上記動画データの処理設定データなどが含まれる。

【0029】

通信部１５は、外部機器とのデータ通信を制御する。通信部１５は、上記のように、無線ＬＡＮによる通信やブルートゥースによる通信などを制御する。

【0030】

表示部１６は、ＬＣＤなどの表示画面を有し、ＣＰＵ１１の制御に基づいて画像を表示する。また、表示部１６は、各種報知動作、例えば、バッテリ（充電池など）の残量不足の警告や、当該バッテリの充電中、充電完了などの状態表示を行うためのＬＥＤランプなどを有していてもよい。

【0031】

操作受付部１７は、ユーザなどによる外部からの操作を受け付けて、受け付けた操作内容に応じた操作信号をＣＰＵ１１へ出力する。操作受付部１７は、例えば、タッチパネル、押しボタンスイッチ、スライドスイッチやロッカスイッチなどのうち一部又は全部を有する。タッチパネルは、表示画面と重なって位置していればよい。
なお、表示部１６及び操作受付部１７は、電子機器１０の接続端子などに接続される周辺機器であってもよい。
上記のうち、少なくともＣＰＵ１１及びＲＡＭ１２が本実施形態のコンピュータに含まれる。

【0032】

次に、本実施形態の電子機器１０における画像処理動作について説明する。
電子機器１０では、サーバ装置５０から受信した連続的な画像（動画；第１画像）のデータ（第１データ）に基づく画像を端末装置３０で表示可能とするための処理を行う。この処理は、通常のＰＣや電子機器１０などでの表示に適した解像度やフレームレートである画像データに基づく画像表示を端末装置３０で無理なく行うためのものである。

【0033】

上記のように、端末装置３０のＣＰＵ３１などによる画像処理能力が低いので、解像度やフレームレートなどの変換に係る処理などを端末装置３０で行うことは現実的ではない。また、視認する対象（対象物；以下視認対象物と記載）が画像内の一部である場合には、単純に画像の解像度を落とすと、視認対象物を確認するのに必要な解像度が得られなくなり得る。

【0034】

電子機器１０では、端末装置３０の表示部３６の解像度などの表示能力（端末装置３０の表示部３６の性能情報）、通信速度や視認対象物などの情報を取得して、当該情報に基づいて、適切な画像の切り出しサイズを設定し、各画像（個別画像）のデータ（動画の各フレームデータ）からそれぞれ視認対象物（ＲＯＩ；Region of Interest）を含む上記サイズの範囲（一部分）にトリミング（切り出し、クリッピング）した部分画像を生成する。このとき、元の画像を単純に上記トリミング後のサイズとする場合の解像度の低下率よりも小さい範囲で、画像の解像度を低下させてもよい。すなわち、端末装置３０の表示画面の画素数よりも多い画素数のエリアにトリミングした後に、トリミング後の画像を表示画面の解像度に合わせて縮小してもよい。また、フレームレートを落とす場合には、適宜フレームデータを削除してもよい。また、必要性、電子機器１０の画像処理能力や表示画面の応答速度などに応じて、前後の画像データにおける視認対象物を線形補間した画像データを生成してもよい。このように生成した部分画像の連続画像（第２画像）のデータ（第２データ）を端末装置３０に送信出力することで、端末装置３０では通信部３５により受信した画像データから画像を無理なく表示させることが可能になる。

【0035】

図３は、画像データのトリミングの例を示す図である。
図３（ａ）、（ｂ）に示すように、例えば、自宅のある部屋（例えば居間）を撮影する撮影装置７０の撮影画像における視認対象物Ｃがこの部屋にいる愛玩動物（ペット）である場合に、当該愛玩動物が含まれる画像範囲が破線Ｆのようにトリミングされる。この愛玩動物は、各画像（フレーム）で姿勢が変化し、また、移動し得るので、トリミングされる範囲（破線Ｆの位置）も変化する。視認対象物Ｃの特定は、周知の画像認識処理により行われる。例えば、画像認識処理は、単純な輪郭検出などにより行われてもよいし、学習済の機械学習モデル（学習済モデル）を利用して、入力画像から学習された対象物を抽出して範囲を出力するのであってもよい。あるいは、背景（室内の他のもの）に変化がない（例えば、端末装置３０のユーザが外出してから戻るまでの間などで）場合には、当該背景との差分などにより視認対象物Ｃの検出が行われてもよく、他の動くものが写り込んだ場合には、サイズなどを基準として適切なものを選択してもよい。

【0036】

視認対象物Ｃが撮影装置７０に接近してトリミングされるサイズに入りきらない場合などには、より広い範囲をトリミングして（切り出しサイズに基づいて一部分を切り出して）から解像度を低下させて当該切り出しサイズの部分画像を生成してもよい。また、撮影画像内に視認対象物Ｃが含まれていない場合には、可能な範囲で当該画像（フレーム）を削除してもよい。削除が困難な場合には（キーフレームなど）、直近のトリミングされた画像と同一とされてもよいし、視認対象物Ｃがない画像をそのまま残してもよい。また、視認対象物Ｃ以外の変化などは適宜省略されてもよい。

【0037】

図４は、出力される動画の例を示す図である。
上記のように適宜なサイズにトリミングされた画像（連続画像の各々や動画の各フレーム）は、動画の場合には単位フレーム数（セグメント、ＧＯＰ（Group of Picture））ごとに動画データに戻されて、連続画像の場合には逐次適宜な遅延時間（受信から送信までの所要時間）で端末装置３０へ送信される。端末装置３０では、受信した画像を単純に（動画の場合にはデコードして）、表示画面に表示させればよい。したがって、端末装置３０の処理負荷は、画像表示に必要な最小限で抑えられ、過大にならない。これにより、ユーザは視認対象の動画や連続画像を低ストレスで視認することができる。

【0038】

図５は、本実施形態の電子機器１０で実行される画像調整出力処理のＣＰＵ１１による制御手順を示すフローチャートである。本実施形態の画像処理方法であるこの画像調整出力処理は、端末装置３０から画像送信の要求がある状態で当該端末装置３０で表示させる画像データ（動画の場合にはセグメントデータ）を受信するごとに（処理が終わる前に次の画像データが受信済の場合には、未処理受信データが残っている場合に）実行される。

【0039】

ＣＰＵ１１は、受信した画像データを取得する（ステップＳ１０１；データ取得ステップ／手段）。ＣＰＵ１１は、画像内から抽出（トリミング）する対象となる視認対象物に係る情報を取得する（ステップＳ１０２）。この情報は、予め端末装置３０から取得されてもよいし、電子機器１０内で設定がなされていてもよい。ＣＰＵ１１は、端末装置３０から画像送信要求とともに受信した（すなわち、端末装置３０が送信した当該端末装置３０の）表示性能情報を取得する（ステップＳ１０３；性能取得ステップ／手段）。この場合の取得は、推測ではなく、正確な情報を特に端末装置３０から直接取得するのがよい。取得される表示性能情報などの内容には、例えば、解像度（アスペクト比を含む）、画面サイズ、応答速度などが含まれる。また、リフレッシュレートや輝度、コントラスト比なども表示性能情報に含まれていてもよい。ＣＰＵ１１は、取得した表示性能情報に基づいて、適切な画像の出力サイズ（解像度、フレームレート、圧縮率など）を設定する（ステップＳ１０４；サイズ設定ステップ／手段）。

【0040】

ＣＰＵ１１は、画像を選択し（１枚の静止画の場合にはそのまま。動画の場合には、デコードして先頭から順番に）、当該画像を解析して、抽出対象である視認対象物を検出する（ステップＳ１０５；対象特定ステップ／手段）。ＣＰＵ１１は、抽出対象が画像内にあるか（検出されたか）否かを判別する（ステップＳ１０６）。抽出対象が画像内にあると判別された場合には（ステップＳ１０６で“ＹＥＳ”）、ＣＰＵ１１は、取得されている表示性能情報に含まれる解像度に応じた解像度で個別画像から抽出対象を含む範囲（一部分）を抽出するトリミング処理を行う（ステップＳ１０７；生成ステップ／手段）。上述のように、設定解像度より広い範囲を抽出する必要がある場合には、ＣＰＵ１１は、トリミング処理後に更に解像度を下げる処理を行う。このときＣＰＵ１１は、併せて端末装置３０での表示に適切な輝度やコントラストなどに変更する処理を行ってもよい。それから、ＣＰＵ１１の処理は、ステップＳ１０８へ移行する。

【0041】

ステップＳ１０６の判別処理で、抽出対象が画像内にないと判別された場合には（ステップＳ１０６で“ＮＯ”）、ＣＰＵ１１は、当該画像が静止画などの場合には単純に画像データを消去して、端末装置３０への送信対象から除外する。当該画像が動画のフレームデータのうちいずれかである場合には、ＣＰＵ１１は、この画像を抽出対象があった直近の画像と同一のものとして設定する（ステップＳ１１１）。フレーム数を変更するのであれば、ＣＰＵ１１は、このような個別画像を優先的に除外対象とすればよい。それから、ＣＰＵ１１の処理は、ステップＳ１０８へ移行する。

【0042】

ステップＳ１０８の処理へ移行すると、ＣＰＵ１１は、取得した画像データから全ての画像を選択したか（単一画像の静止画を含む）否かを判別する（ステップＳ１０８）。全ての画像を選択していない（選択していない画像がある）と判別された場合には（ステップＳ１０８で“ＮＯ”）、ＣＰＵ１１の処理は、ステップＳ１０５に戻る。

【0043】

全ての画像を選択したと判別された場合には（ステップＳ１０８で“ＹＥＳ”）、ＣＰＵ１１は、抽出後の画像（部分画像）を必要に応じて動画データとしてエンコードしなおして、端末装置３０へ送信する（ステップＳ１０９；出力ステップ／手段）。このとき、可能な場合には、端末装置３０の処理能力（デコードして表示する能力）と、電子機器１０と端末装置３０との通信速度とを参照して、エンコードの度合（圧縮度合）を調整してもよい。すなわち、端末装置３０の処理能力が不足している場合には、送信データ量が増えるものの圧縮度合を低下させてデコード処理の負荷を低減させてもよい。そして、ＣＰＵ１１は、画像調整出力処理を終了する。

【0044】

以上のように、本実施形態の画像処理装置である電子機器１０は、通信部１５と、ＣＰＵ１１と、を備える。ＣＰＵ１１は、連続的な第１画像のデータ（動画データなど）を取得し、この第１画像に基づく第２画像を表示させる端末装置３０の表示部３６の性能情報を取得し、第１データからこの性能情報に応じた第２データを生成し、当該第２データを通信部１５により端末装置３０へ出力する。
このように、電子機器１０が端末装置３０の表示性能を取得し、当該端末装置３０の表示能力に合った画像データを生成してから当該端末装置３０にこの画像データを送信するので、非力な端末装置３０でも画像処理の負荷が低減され、表示に係る最低限の処理で済むようになる。したがって、端末装置３０でも動画の表示が可能になる。

【0045】

また、ＣＰＵ１１は、性能情報に基づいて、第１画像の各々である個別画像からその一部である部分画像を切り出す切り出しサイズを設定し、個別画像から視認対象物を含む切り出しサイズの範囲をそれぞれ切り出した部分画像を含む第２画像を生成する。
このように、電子機器１０は、端末装置３０の解像度に合わせて単に全体の解像度を変更（低下）するのではなく、視認対象物の情報を取得してこれを画像から検出し、検出された視認対象物を含むように画像をトリミングすることで当該視認対象物自体の解像度の低下を抑えながら全体の画素数を減らすので、端末装置３０の表示画面が通常のＰＣなどの表示画面などと比較して著しく小さくても、最低限必要な情報をユーザが必要な解像度で手軽に見ることが可能になる。特に、画像全体をきちんと見る必要がなく、一部の対象について簡単に状態を確認すればよいような場合に、小さい表示画面の端末で手軽に確認が可能となるので、利便性が向上する。

【0046】

また、ＣＰＵ１１は、連続的な画像の各個別画像からそれぞれ視認対象物を特定する。視認対象物が動き回って撮影画像内の特定の場所にいない場合には、個別データからそれぞれ視認対象物を特定する処理を行って、特定された視認対象物の位置や範囲に応じて部分画像の生成に係るトリミング位置やサイズなどを変更することで、視認対象物の撮影サイズの低下を抑えつつ必要な内容を部分画像に含めることができる。

【0047】

また、ＣＰＵ１１は、動画の個別画像に視認対象物が含まれていない場合に、当該個別画像を削除してもよい。キーフレームなどで削除が困難な場合や、フレーム数を減らすことができないような場合でなければ、視認対象物が映っていない画像をわざわざ端末装置３０で表示させて負荷を増大させる必要はないので、この画像を間引くことで、動画の表示に係る負荷を軽減させ、より確実に端末装置３０で部分画像の動画表示を行わせることができる。

【0048】

また、取得対象の端末装置３０の表示に係る性能情報には表示部３６の解像度が含まれる。端末装置３０の解像度に予め合わせて画像処理をしてから当該端末装置３０に画像データを出力することができるので、端末装置３０での画像処理が非常に容易になり、負荷の軽減を図ることができ、また、負荷の軽減分だけより確実に動画の表示が可能になる。

【0049】

また、ＣＰＵ１１は、端末装置３０の性能情報を当該端末装置３０から通信部１５を介して取得する。このように、直接端末装置３０から確実な情報を取得するので、推測などを行う必要もなく、また推測が外れる心配もなく、電子機器１０では、確実に端末装置３０にとって最適な画像データを生成することができる。

【0050】

また、端末装置３０はウェアラブル端末装置である。すなわち、手で端末装置３０を保持せずとも表示画像を視認可能であり、また、常に身に着けていても問題が生じることは少ないので、この端末装置３０は、ユーザの隙間時間などにおけるちょっとした画像確認などにより効果的に利用することができる。

【0051】

また、連続的な画像のデータは、通信部１５によりサーバ装置５０から取得されてもよい。データは、撮影装置７０から直接略リアルタイムで取得されるものに限られず、また、著作権に係る制限（暗号化など）といった電子機器１０での画像処理を妨げる要因がないコンテンツであれば、編集、作成されて配信サーバや個人のＰＣなどから送信された連続的な画像データであってもよい。

【0052】

また、本実施形態の画像処理システムを含む映像表示システム１００は、上記電子機器１０と、撮影を行って連続的な画像のデータを生成する撮影装置７０とを含む。撮影装置７０で撮影された連続的な画像を、電子機器１０が端末装置３０の表示性能をきちんと取得したうえで端末装置３０へ出力することで、より手軽に連続的な画像を端末装置３０によりユーザが確認可能とすることができる。特に、プライベートな映像などをユーザが画像処理設定などを行わずとも端末装置３０の表示性能に合わせて調整するので、手間がかからない。

【0053】

また、本実施形態の画像処理方法は、端末装置３０の外部で実行されるものであって、連続的な第１画像の第１データを取得するデータ取得ステップ、第１画像に基づく第２画像を表示させる端末装置３０の表示部３６の性能情報を取得する性能取得ステップ、第１データから性能情報に応じた第２データを生成する生成ステップ、第２画像の第２データを通信部１５により端末装置３０へ出力する出力ステップ、を含む。
このような画像処理方法では、連続した画像を表示させる外部機器（端末装置３０）の表示性能を取得して、当該表示性能に応じた第２画像の第２データを生成することで、表示部３６に対して適切なレベルへサイズを低減する処理を端末装置３０の外部で行うことができる。よって、端末装置３０では、改めて多くの画像処理を行う必要がなく、得られた連続的な第２画像の第２データを最小限デコードして、当該第２データに基づいて表示部３６を表示駆動すればよいので、端末装置３０の処理負荷を大きく低減することができる。

【0054】

また、上記画像処理方法に係るプログラムを電子機器１０にインストールして実行することで、端末装置３０に応じた処理設定などを自身で行う必要がなく、容易に端末装置３０で連続的な映像を表示させることができる。また、端末装置３０の側では設定操作も処理も大きく軽減されるので、操作の手間が省ける。

【0055】

また、本実施形態の表示装置である端末装置３０は、通信部３５と、表示部３６と、ＣＰＵ３１とを備える。ＣＰＵ３１は、通信部３５を介して電子機器１０に自機の表示性能を送信し、当該電子機器１０から表示性能に応じた連続的な表示画像データを受信して、当該表示画像データに応じた連続的な画像を表示部３６により表示させる。
このように、端末装置３０は、自機の表示性能情報を電子機器１０に送信することで、当該表示性能情報に応じた連続的な画像を得て従来よりも低負荷でユーザ所望の内容を表示させることができる。

【0056】

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、撮影画像データを撮影装置７０から取得したサーバ装置５０が電子機器１０に対して画像データを配信するものとして説明したが、これに限られない。撮影装置７０から直接電子機器１０が画像データを取得してもよい。あるいは、撮影装置７０自体が電子機器１０として動作し、すなわち、端末装置３０の表示性能の情報を取得して画像を調整し、端末装置３０へ部分画像を出力してもよい。また、サーバ装置５０は、撮影装置７０から直接画像データを取得するのではなく、他のコンピュータで加工編集処理がなされた画像データを取得するのであってもよい。また、画像は、撮影装置７０による撮影画像に限られず、ＣＧ（Computer Graphics）画像やアニメーション画像などであってもよい。

【0057】

また、上記実施の形態では、室内の愛玩動物を視認対象物としたが、これに限られない。例えば、他の愛玩動物としては、水槽内の熱帯魚などであってもよい。あるいは、愛玩動物以外の観察、例えば、野鳥の巣や餌場などの観察や、幼児や高齢者の見守りに利用するのであってもよい。また、生物に限らず、装置の動作状態（ＩｏＴ対応されていない家電機器など）や物の状態（雪や氷の観察、洗濯物の監視など）の視認に用いられてもよい。また、視認対象物は物ではなく、日差しの室内への入射状況の確認や、にわか雨の際の吹込み状況の確認などに用いられてもよい。あるいは、作業中に手を使って確認しづらい料理などの作業の手順（レシピ）の確認に用いられてもよい。

【0058】

また、上記実施の形態では画像データについてのみ説明したが、音声データが付されていてもよいし、あるいはもともと音声データが付されている画像データの音声部分を削除する処理がなされてもよい。

【0059】

また、上記実施の形態では、単一の視認対象物について説明したが、視認対象物は複数であってもよい。この場合、全ての視認対象物が含まれるように切り出し（トリミング）が行われてもよいし、あるいは、ある時間経過ごとに視認対象物が順番に切り替えられ、又は移動などのイベントが発生するごとに当該イベントに応じた視認対象物に切り替えられて、一度に視認対象物とされるものは一つであってもよい。

【0060】

また、上記実施の形態では、個別画像のそれぞれについて視認対象物の検出を行って当該視認対象物に対して切り出し範囲を設定したが、視認対象物が移動しない場合には、切り出し範囲を固定しておき、当該視認対象物の特定を行わないこととしてもよい。また、適宜な間隔（一日一回など）でのみ特定が行われ、移動している場合には切り出し範囲の位置調整がなされてもよい。

【0061】

また、視認対象物が特に限定されない場合や、視認対象物が既に画面に一杯の場合などには、必ずしも画像のトリミング処理を行わなくてもよい。

【0062】

また、上記実施の形態では、端末装置３０がウェアラブル端末装置であるものとして説明したが、これに限られるものではない。他の小型携帯型装置などであってもよいし、あるいは、机上に邪魔にならないように立てられる（立てかける、衝立などにかけられる）小型卓上装置などであってもよい。

【0063】

また、表示性能上、外部での元の画像データからの変更が役に立つ端末装置３０であれば、その表示性能の低さの度合は問われない。

【0064】

また、画像処理自体は単一の電子機器１０で行われなくてもよい。複数の電子機器により分割処理されてもよい。また、端末装置３０の表示性能及び視認対象物の情報を取得した電子機器１０が、当該端末装置３０からの要求を受けて他の処理装置に要求して実行させるものであってもよい。

【0065】

また、以上の説明では、本発明の画像処理の制御に係るプログラム１３１を記憶するコンピュータ読み取り可能な媒体としてフラッシュメモリなどの不揮発性メモリなどからなる記憶部１３を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、ＭＲＡＭなどの他の不揮発性メモリや、ＣＤ－ＲＯＭ、ＤＶＤディスクなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

【0066】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

【0067】

［付記］
＜請求項１＞
通信部と、
制御部と、
を備え、
前記制御部は、
連続的な第１画像の第１データを取得し、
前記第１画像に基づく第２画像を表示させる第１の外部機器の表示部の性能情報を取得し、
前記第１データから前記性能情報に応じた前記第２画像の第２データを生成し、
前記第２データを前記通信部により前記第１の外部機器へ出力する
ことを特徴とする画像処理装置。
＜請求項２＞
前記制御部は、
前記性能情報に基づいて、前記第１画像の各々である個別画像からその一部である部分画像を切り出す切り出しサイズを設定し、
前記切り出しサイズに基づいて前記個別画像から対象物を含む一部分をそれぞれ切り出して、前記切り出しサイズの部分画像を含む前記第２画像を生成する
ことを特徴とする請求項１記載の画像処理装置。
＜請求項３＞
前記制御部は、前記個別画像から前記対象物を特定することを特徴とする請求項２記載の画像処理装置。
＜請求項４＞
前記制御部は、前記個別画像に前記対象物が含まれていない場合に、当該個別画像を削除することを特徴とする請求項３記載の画像処理装置。
＜請求項５＞
前記性能情報には前記表示部の解像度が含まれることを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。
＜請求項６＞
前記制御部は、前記第１の外部機器の性能情報を前記第１の外部機器から前記通信部を介して取得することを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
＜請求項７＞
前記第１の外部機器はウェアラブル端末装置であることを特徴とする請求項１～６のいずれか一項に記載の画像処理装置。
＜請求項８＞
前記第１データは、前記通信部により第２の外部機器から取得されることを特徴とする請求項１～７のいずれか一項に記載の画像処理装置。
＜請求項９＞
請求項１～８のいずれか一項に記載の画像処理装置と、
撮影を行って前記連続的な第１画像の第１データを生成する撮影装置と、
を含む画像処理システム。
＜請求項１０＞
連続的な第１画像の第１データを取得するデータ取得ステップ、
前記第１画像に基づく第２画像を表示させる第１の外部機器の表示部の性能情報を取得する性能取得ステップ、
前記第１データから前記性能情報に応じた前記第２画像の第２データを生成する生成ステップ、
前記第２データを通信部により前記第１の外部機器へ出力する出力ステップ、
を含む画像処理方法。
＜請求項１１＞
コンピュータを
連続的な第１画像の第１データを取得するデータ取得手段、
前記第１画像に基づく第２画像を表示させる第１の外部機器の表示部の性能情報を取得する性能取得手段、
前記連続的な第１データから前記性能情報に応じた前記第２画像の第２データを生成する生成手段、
前記第２データを通信部により前記第１の外部機器へ出力する出力手段、
として機能させるプログラム。
＜請求項１２＞
通信部と、
表示部と、
前記通信部を介して電子機器に自機の表示性能を送信し、当該電子機器から前記表示性能に応じた連続的な表示画像データを受信して、当該表示画像データに応じた連続的な画像を前記表示部により表示させる制御部と、
を備えることを特徴とする表示装置。

【符号の説明】

【0068】

１０ 電子機器
１１、３１ ＣＰＵ
１２、３２ ＲＡＭ
１３、３３ 記憶部
１３１ プログラム
１５、３５ 通信部
１６、３６ 表示部
１７、３７ 操作受付部
３０ 端末装置
３４ 計測部
５０ サーバ装置
７０ 撮影装置
１００ 映像表示システム
Ｃ 視認対象物
Ｆ 破線

【図1】

【図2】

【図3】

【図4】

【図5】