特許 6774057 画像生成送信装置、画像生成送信方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6774057

(24)【登録日】2020年10月6日

(45)【発行日】2020年10月21日

(54)【発明の名称】画像生成送信装置、画像生成送信方法およびプログラム

(51)【国際特許分類】

   G06F 3/14 20060101AFI20201012BHJP

【ＦＩ】

   G06F3/14 400

   G06F3/14 360A

【請求項の数】5

【全頁数】17

(21)【出願番号】特願2017-14804(P2017-14804)

(22)【出願日】2017年1月30日

(65)【公開番号】特開2018-124684(P2018-124684A)

(43)【公開日】2018年8月9日

【審査請求日】2019年8月28日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500112146

【氏名又は名称】サイレックス・テクノロジー株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100174388

【弁理士】

【氏名又は名称】龍竹 史朗

(72)【発明者】

【氏名】小澤 佳弘

(72)【発明者】

【氏名】奥間 啓二

(72)【発明者】

【氏名】福永 善隆

(72)【発明者】

【氏名】片桐 暢一

【審査官】 野村 和史

(56)【参考文献】

【文献】 特開２０１２−１３３５８６（ＪＰ，Ａ）

【文献】 特開２０１１−１５４３８２（ＪＰ，Ａ）

【文献】 ヘッドレスMac miniの性能をVNC環境でフルに引出し、4K表示も可能なダミーHDMIアダプタ「fit-Headless 4K」レビュー。，online，２０１７年 １月２３日，ＵＲＬ，https://applech2.com/archives/42305945.html

【文献】 マルチモニターに対応したリモートPC操作ソフト「ファンタジーリモート」v1.01，online，２００９年 ３月２３日，ＵＲＬ，https://forest.watch.impress.co.jp/article/2009/03/23/fantasyremote101.html

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／１４

(57)【特許請求の範囲】

【請求項1】

画像データを生成し、ネットワークを経由して、ディスプレイに接続された受信装置へ送信する画像生成送信装置であって、
画像データを特定する画像特定情報を生成する画像生成部を有する主処理ユニットと、
前記画像特定情報に基づいて第１画像データおよび第２画像データを生成するグラフィックプロセッサと、前記第１画像データを記憶する第１記憶部と、前記第２画像データを記憶する第２記憶部と、を有するグラフィック処理ユニットと、を備え、
前記グラフィック処理ユニットは、更に、
前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートと、
前記第２記憶部が記憶する前記第２画像データを出力する第２画像出力ポートと、
前記第１画像出力ポートおよび前記第２画像出力ポートの接続状態を判定する接続判定回路と、を有し、
前記主処理ユニットは、更に、
第３記憶部と、
前記第１画像データを前記第３記憶部に転送する転送部と、
前記第３記憶部が記憶する第１画像データを圧縮する画像圧縮部と、
前記画像圧縮部により圧縮された第１画像データを前記受信装置へ送信する画像送信部と、
前記接続判定回路により、前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィックプロセッサに、前記第１画像データおよび前記第２画像データの両方を生成させる生成指令部と、を有する、
画像生成送信装置。

【請求項2】

前記主処理ユニットは、
前記第３記憶部から前記第１画像データを取得して前記第１画像データに対応する画像の縮小画像を示す縮小画像データを生成する縮小画像データ生成部と、
前記縮小画像データを、前記第２記憶部が記憶する前記第２画像データと合成する合成部と、を更に備える、
請求項１に記載の画像生成送信装置。

【請求項3】

前記第１画像出力ポートは、前記接続判定回路が接続状態を判定するための接続判定用情報を出力する終端装置に接続され、
前記第２画像出力ポートは、前記接続判定用情報を出力する機能を有するディスプレイに接続されている、
請求項１または２に記載の画像生成送信装置。

【請求項4】

グラフィック処理ユニットが画像データを生成し、主処理ユニットが、ネットワークを経由して、ディスプレイに接続された受信装置へ前記画像データを送信する画像生成送信方法であって、
前記主処理ユニットが、画像データを特定する画像特定情報を生成し前記グラフィック処理ユニットへ出力するステップと、
前記グラフィック処理ユニットが、前記画像特定情報に基づいて第１画像データを生成して第１記憶部に記憶させるステップと、
前記グラフィック処理ユニットが、前記画像特定情報に基づいて第２画像データを生成して第２記憶部に記憶させるステップと、
前記主処理ユニットが、前記第１画像データを第３記憶部に転送するステップと、
前記主処理ユニットが、前記第３記憶部が記憶する第１画像データを圧縮するステップと、
前記主処理ユニットが、圧縮された第１画像データを前記受信装置へ送信するステップと、
前記グラフィック処理ユニットが、前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートおよび前記第２記憶部が記憶する前記第２画像データを出力する第２画像出力ポートそれぞれの接続状態を判定するステップと、
前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィック処理ユニットに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィック処理ユニットに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィック処理ユニットに、前記第１画像データおよび前記第２画像データの両方を生成させるステップと、を含む、
画像生成送信方法。

【請求項5】

コンピュータを、
画像データを特定する画像特定情報を生成する画像生成部、
グラフィックプロセッサが前記画像特定情報に基づいて第１画像データおよび第２画像データを生成して第１画像データを第１記憶部に記憶させ、第２画像データを第２記憶部に記憶させた場合、前記第１画像データを第３記憶部へ転送する転送部、
前記第３記憶部が記憶する第１画像データを圧縮する画像圧縮部、
前記画像圧縮部により圧縮された第１画像データをディスプレイに接続された受信装置へ送信する画像送信部、
前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートと、前記第２記憶部に記憶する前記第２画像データを出力する第２画像出力ポートと、の接続状態を判定する接続判定回路により、前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィックプロセッサに、前記第１画像データおよび前記第２画像データの両方を生成させる生成指令部、として機能させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成送信装置、画像生成送信方法およびプログラムに関する。

【背景技術】

【0002】

サーバ装置とクライアント装置とを備え、サーバ装置が、２つの画像データを生成し一方の画像データに対応する画像を自装置のディスプレイに表示させ他方の画像データを圧縮してクライアント装置へ送信するクライアントサーバシステムが提案されている（例えば特許文献１参照）。このクライアントサーバシステムでは、サーバ装置とクライアント装置が接続しているか否かの接続判断と２つの装置の距離が離れているか否かの判断を行うことで、クライアント装置は、サーバ装置から圧縮された画像データを受信すると、受信した画像データを展開しその画像データに対応する画像を自装置のディスプレイに表示させる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−１９７８８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載のクライアントサーバシステムでは、サーバ装置がクライアント装置から接続要求を受け、サーバ装置とクライアント装置との接続が確立したときに接続したとの判断がなされることから、クライアント装置から接続要求が送信されない場合は、運用できない。例えば、クライアント装置が、ユーザの操作で接続要求ができない装置（つまり、接続要求を自律的に送信できない装置）では、サーバ装置とクライアント装置との接続が確立できず、システムの運用ができないという問題がある。

【0005】

また、サーバ装置とクライアント装置との距離を種々の方法（ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ（登録商標）による電波強度など）を用いて判断することで、クライアント装置は、サーバ装置から圧縮された画像データを受信している。しかし、その分、表示システム全体のコストが増大してしまう。

【0006】

さらに、クライアント装置のディスプレイに画像を表示させる場合、それに応じて、表示システムの運用にあたり、ユーザによるクライアント装置の操作や設定などが必要となり、運用が煩雑になる虞がある。

【0007】

本発明は、上記事由に鑑みてなされたものであり、表示システムの構成の簡略化とユーザの利便性を向上させる画像生成送信装置、画像生成送信方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明に係る画像生成送信装置は、
画像データを生成し、ネットワークを経由して、ディスプレイに接続された受信装置へ送信する画像生成送信装置であって、
画像データを特定する画像特定情報を生成する画像生成部を有する主処理ユニットと、
前記画像特定情報に基づいて第１画像データおよび第２画像データを生成するグラフィックプロセッサと、前記第１画像データを記憶する第１記憶部と、前記第２画像データを記憶する第２記憶部と、を有するグラフィック処理ユニットと、を備え、
前記グラフィック処理ユニットは、更に、
前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートと、
前記第２記憶部が記憶する前記第２画像データを出力する第２画像出力ポートと、
前記第１画像出力ポートおよび前記第２画像出力ポートの接続状態を判定する接続判定回路と、を有し、
前記主処理ユニットは、更に、
第３記憶部と、
前記第１画像データを前記第３記憶部に転送する転送部と、
前記第３記憶部が記憶する第１画像データを圧縮する画像圧縮部と、
前記画像圧縮部により圧縮された第１画像データを前記受信装置へ送信する画像送信部と、
前記接続判定回路により、前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィックプロセッサに、前記第１画像データおよび前記第２画像データの両方を生成させる生成指令部と、を有する。

【0009】

他の観点から見た本発明に係る画像生成送信方法は、
グラフィック処理ユニットが画像データを生成し、主処理ユニットが、ネットワークを経由して、ディスプレイに接続された受信装置へ前記画像データを送信する画像生成送信方法であって、
前記主処理ユニットが、画像データを特定する画像特定情報を生成し前記グラフィック処理ユニットへ出力するステップと、
前記グラフィック処理ユニットが、前記画像特定情報に基づいて第１画像データを生成して第１記憶部に記憶させるステップと、
前記グラフィック処理ユニットが、前記画像特定情報に基づいて第２画像データを生成して第２記憶部に記憶させるステップと、
前記主処理ユニットが、前記第１画像データを第３記憶部に転送するステップと、
前記主処理ユニットが、前記第３記憶部が記憶する第１画像データを圧縮するステップと、
前記主処理ユニットが、圧縮された第１画像データを前記受信装置へ送信するステップと、
前記グラフィック処理ユニットが、前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートおよび前記第２記憶部が記憶する前記第２画像データを出力する第２画像出力ポートそれぞれの接続状態を判定するステップと、
前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィック処理ユニットに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィック処理ユニットに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィック処理ユニットに、前記第１画像データおよび前記第２画像データの両方を生成させるステップと、を含む。

【0010】

他の観点から見た本発明に係るプログラムは、
コンピュータを、
画像データを特定する画像特定情報を生成する画像生成部、
グラフィックプロセッサが前記画像特定情報に基づいて第１画像データおよび第２画像データを生成して第１画像データを第１記憶部に記憶させ、第２画像データを第２記憶部に記憶させた場合、前記第１画像データを第３記憶部へ転送する転送部、
前記第３記憶部が記憶する第１画像データを圧縮する画像圧縮部、
前記画像圧縮部により圧縮された第１画像データをディスプレイに接続された受信装置へ送信する画像送信部、
前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートと、前記第２記憶部に記憶する前記第２画像データを出力する第２画像出力ポートと、の接続状態を判定する接続判定回路により、前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィックプロセッサに、前記第１画像データおよび前記第２画像データの両方を生成させる生成指令部、として機能させる。

【発明の効果】

【0011】

本発明によれば、グラフィックプロセッサが、画像特定情報に基づいて画像データを生成して第１記憶部に記憶し、転送部が、第１記憶部が記憶する画像データを第３記憶部へ転送する。そして、グラフィック処理ユニットが、第１画像出力ポートおよび第２画像出力ポートの接続状態を判定する接続判定回路を有し、グラフィックプロセッサが、接続判定回路により、第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、第１画像データのみを生成し、第２画像出力ポートにディスプレイが接続され且つ第１画像出力ポートに何も接続されていないと判定されると、第２画像データのみを生成し、第１画像出力ポートおよび第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、第１画像データおよび第２画像データの両方を生成する。これにより、例えば画像生成送信装置に接続される機器からの接続要求を受けなくても第１画像データおよび第２画像データの出力制御が可能となるので、表示システムの構成の簡略化とユーザの利便性を向上させる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態に係る表示システムの構成を示す図である。

【図2】実施の形態に係る画像生成送信装置のハードウェア構成を示す図である。

【図3】実施の形態に係る画像生成送信装置の機能構成を示す図である。

【図4】実施の形態に係る画像生成送信装置が実行する画像生成送信処理の流れを示すフローチャートである。

【図5】（Ａ）は実施の形態に係る一方のディスプレイに表示される表示画像の一例を示す図であり、（Ｂ）は実施の形態に係る他方のディスプレイに表示される表示画像の一例を示す図である。

【図6】（Ａ）は比較例に係る画像生成送信装置の機能構成の一部を示す図であり、（Ｂ）は実施の形態に係る画像生成送信装置の機能構成の一部を示す図である。

【図7】（Ａ）は比較例に係るディスプレイ２、３の画像更新タイミングを示すタイムチャートであり、（Ｂ）は実施の形態に係るディスプレイ２、３の画像更新タイミングを示すタイムチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の一実施の形態に係る通信制御システムについて、図面を参照しながら説明する。

【0014】

本実施の形態に係る表示システムは、グラフィックボードを搭載した画像生成送信装置と、画像生成送信装置から離れて設置され画像生成送信装置とネットワークを介して接続された受信装置と、受信装置に接続されたディスプレイと、を備える。画像生成送信装置は、画像データを生成し圧縮してから、ネットワークを介して受信装置へ送信する。一方、受信装置は、画像生成送信装置から受信した画像データを展開してディスプレイへ出力する。

【0015】

本実施の形態に係る表示システムは、図１に示すように、画像生成送信装置１と、ディスプレイ２、３と、受信装置４と、を備える。画像生成送信装置１は、第１画像データと第２画像データとを生成する。そして、画像生成送信装置１は、生成した第１画像データに対応する画像を、画像生成送信装置１との間で無線通信可能な受信装置４に接続されたディスプレイ２に表示させる。一方、画像生成送信装置１は、生成した第２画像データに対応する画像を、画像生成送信装置１にケーブルＬ１を介して接続されたディスプレイ３に表示させる。ディスプレイ２、３は、例えば液晶ディスプレイから構成され、画像生成送信装置１にケーブルＬ１を介して接続されると、ディスプレイ２、３の仕様を示す仕様情報（接続判定用情報）を画像生成送信装置１へ出力する機能を有する。

【0016】

受信装置４は、画像生成送信装置１から圧縮された第１画像データを受信する受信回路と、受信回路で受信した画像データを展開する展開回路と、を有する。展開回路は、例えばＪＰＥＧ（Joint Photographic Picture Experts Group）規格に基づく圧縮方式で圧縮された第１画像データを復号化する復号化器から構成される。展開回路は、ハフマン符号化テーブルに基づいて第１画像データをハフマン復号化した後、量子化テーブルに基づいて第１画像データに逆量子化を施す。その後、展開回路は、第１画像データについて逆離散コサイン変換（以下、「ＤＣＴ」と称する。）を施すことにより展開した第１画像データを出力する。

【0017】

画像生成送信装置１は、汎用のパーソナルコンピュータ（以下、「ＰＣ」と称する。）から構成され、主処理ユニット１１と、グラフィックボード（グラフィック処理ユニット）１２と、無線モジュール１３と、を有する。また、画像生成送信装置１は、第１画像出力ポート１４１、第２画像出力ポート１４２を有する。第１画像出力ポート１４１には、ダミープラグ５が接続されている。第２画像出力ポート１４２は、ケーブルＬ１を介してディスプレイ３に接続されている。第１画像出力ポート１４１および第２画像出力ポート１４２は、画像生成送信装置１とディスプレイ２、３との間で画像表示のための信号を入出力を行うことができるポートであればよい。例えばＤＶＩ−Ｄ、ＤＶＩ−Ａ、ＤＶＩ−Ｉ、ＤＶＩ／ＨＤＣＰ、Ｍｉｎｉ−ＤＶＩ等のＤＶＩコネクタや、ＨＤＭＩ（登録商標）から構成されている。

【0018】

図２は、実施の形態に係る画像生成送信装置のハードウェア構成を示す図である。ダミープラグ５（終端装置ともいう）は、図２に示すように、予めディスプレイ２の仕様を示す仕様情報を記憶するメモリ５１を有する。メモリ５１は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）から構成される。ダミープラグ５は、第１画像出力ポート１４１に接続されると、第１画像出力ポート１４１を介して画像生成送信装置１へディスプレイ２の仕様情報（例えば、解像度、周波数、オーディオ情報、３Ｄ対応可否など）を出力する機能を有する。なお、ダミープラグ５は、第１画像出力ポート１４１の種類に応じてカスタマイズされてもよい。

【0019】

主処理ユニット１１は、ＣＰＵ（Central Processing Unit）１１１と補助記憶部１１２と主記憶部１１３とＤＭＡコントローラ１１４とユーザインタフェース（以下、「Ｉ／Ｆ」と称する。）１１５とネットワーク通信Ｉ／Ｆ１１６とバス１１７とを有する。主記憶部１１３は、揮発性メモリから構成され、ＣＰＵ１１１の作業領域として使用される。補助記憶部１１２は、不揮発性のメモリから構成され、各種プログラムを記憶する。ＤＭＡコントローラ１１４は、後述のグラフィックボード１２のＶＲＡＭ（Video Random Access Memory）１２２から主処理ユニット１１の主記憶部１１３へのデータ転送を制御する。ユーザＩ／Ｆ１１５は、例えばユーザに操作画面を提供する表示部と、ユーザからの入力を受け付ける入力部と、を有する。ネットワーク通信Ｉ／Ｆ１１６は、無線ＬＡＮコントローラを含んで構成され、無線モジュール１３が接続されている。

【0020】

グラフィックボード１２は、グラフィックプロセッサ１２１とＶＲＡＭ１２２、１２３と接続判定回路１２４とバス１２５とを有する。グラフィックプロセッサ１２１は、例えば複数のプロセッサコアを搭載したマルチコアプロセッサから構成される。グラフィックプロセッサ１２１は、主処理ユニット１１から入力される後述の画像特定情報に基づいて、レンダリングを実行して第１画像データおよび第２画像データを生成する。グラフィックプロセッサ１２１は、生成した第１画像データ、第２画像データをそれぞれＶＲＡＭ１２２、１２３に記憶させる。

【0021】

接続判定回路１２４は、第１画像出力ポート１４１にダミープラグ５が接続されているか否か、第２画像出力ポート１４２にケーブルＬ１が接続されているか否かを判定する。接続判定回路１２４は、第１画像出力ポート１４１、第２画像出力ポート１４２を介して仕様情報が入力されているか否かに基づいて、第１画像出力ポート１４１、第２画像出力ポート１４２の接続状態を判定する。接続判定回路１２４は、第１画像出力ポート１４１へ仕様情報が入力されている場合、ダミープラグ５が第１画像出力ポート１４１に接続されていると判定する。また、接続判定回路１２４は、第２画像出力ポート１４２へ仕様情報が入力されている場合、ケーブルＬ１が第２画像出力ポート１４２に接続されていると判定する。接続判定回路１２４は、第１画像出力ポート１４１、第２画像出力ポート１４２それぞれについての接続状態の判定結果を示す接続判定通知信号を主処理ユニット１１へ出力する。

【0022】

無線モジュール１３は、受信装置４との間で通信リンクを確立し、無線通信を行う。無線モジュール１３は、無線信号を生成する信号生成回路とアンテナとを有する。無線モジュール１３は、例えばＩＥＥＥ８０２．１１ａ，ｂ，ｇ，ｎ等の無線ＬＡＮ規格に適合する通信方式で通信する。

【0023】

ハードウェア構成は、一例であって、例えば、グラフィックボード１２は、主処理ユニット１１と一体に構成されても良いし、または、グラフィックプロセッサ１２１はＣＰＵ１１１と一体に構成されていても良い。

【0024】

図３は、実施の形態に係る画像生成送信装置の機能構成を示す図である。図２における主処理ユニット１１のＣＰＵ１１１は、補助記憶部１１２が記憶する後述の画像生成送信処理用のプログラムを主記憶部１１３に読み込んで実行することにより、図３に示すように、画像生成部１１１１、グラフィックドライバ１１１２、画像圧縮部１１１３、画像送信部１１１４、プレビュー画像生成部１１１５、合成部１１１６、選択部（生成指令部）１１１７および表示モード設定部１１１８、として機能する。また、グラフィックプロセッサ１２１は、レンダリングエンジン１２１１として機能する。ＶＲＡＭ１２２は、レンダリングエンジン１２１１により生成される第１画像データを記憶する第１画像バッファ（第１記憶部）１２２１と、画像出力部１２２２と、を有する。ＶＲＡＭ１２３は、レンダリングエンジン１２１１により生成される第２画像データを記憶する第２画像バッファ（第２記憶部）１２３１と、画像出力部１２３２と、を有する。また、主記憶部１１３は、フレームバッファ（第３記憶部）１１３１と、プレビュー画像を示すプレビュー画像データ（縮小画像データ）を記憶するプレビュー画像バッファ１１３２と、を有する。

【0025】

画像生成部１１１１は、グラフィックプロセッサ１２１が生成する画像データを特定する画像特定情報を生成し、グラフィックボード１２へ出力する。画像特定情報には、例えば物体の形状を示す情報や物体を捉える視点を示す情報、テクスチャマッピングに関する情報、光源に関する情報、シェーディングに関する情報等が含まれる。

【0026】

グラフィックドライバ１１１２は、画像生成部１１１１が利用するオペレーティングシステムにより使用され、グラフィックプロセッサ１２１と通信する機能を有する。画像生成部１１１１は、このグラフィックドライバ１１１２を介して、生成した画像特定情報をレンダリングエンジン１２１１へ出力する。

【0027】

レンダリングエンジン１２１１は、グラフィックドライバ１１１２から入力される画像特定情報に基づいて、レンダリングを実行することにより第１画像データ、第２画像データを生成する。

【0028】

画像出力部１２２２は、第１画像バッファ１２２１が記憶する第１画像データを、図２の第１画像出力ポート１４１へ疑似的に出力する。疑似的とは、第１画像出力ポート１４１にダミープラグ５が接続されているので、画像の表示は行われない事を意味している。第１画像データは後述のとおり、転送部１１４１からネットワークを経由して受信装置４に送信される。画像出力部１２３２は、第２画像バッファ１２３１が記憶する第２画像データを、図２の第２画像出力ポート１４２へ出力する。

【0029】

転送部１１４１は、第１画像バッファ１２２１が記憶する第１画像データを、主記憶部１１３のフレームバッファ１１３１へ転送する。

【0030】

画像圧縮部１１１３は、フレームバッファ１１３１が記憶する第１画像データを圧縮して画像送信部１１１４へ出力する。画像圧縮部１１１３は、例えばＪＰＥＧ規格に基づく圧縮方式で第１画像データを圧縮する。画像圧縮部１１１３は、第１画像データについてＤＣＴを施した後、量子化テーブルに基づいて第１画像データを量子化する。その後、画像圧縮部１１１３は、ハフマン符号化テーブルに基づいて第１画像データについてハフマン符号化を施す。

【0031】

画像送信部１１１４は、画像圧縮部１１１３から入力される圧縮された第１画像データを、ネットワーク通信Ｉ／Ｆ１１６および無線モジュール１３を介して受信装置４へ送信する。

【0032】

プレビュー画像生成部（縮小画像データ生成部）１１１５は、フレームバッファ１１３１から第１画像データを取得して、第１画像データが示す画像の縮小画像を示すプレビュー画像データを生成する。ここで、プレビュー画像生成部１１１５は、例えばダウンサンプリング法や平均操作法を利用してプレビュー画像データを生成する。この場合、プレビュー画像は、フレームバッファ１１３１が記憶する画像データに対応する画像よりも低い解像度の画像となる。プレビュー画像生成部１１１５は、生成したプレビュー画像データをプレビュー画像バッファ１１３２に記憶させる。

【0033】

合成部１１１６は、プレビュー画像バッファ１１３２からプレビュー画像データを取得し、取得したプレビュー画像データを、第２画像バッファ１２３１が記憶する第２画像データと合成する。

【0034】

選択部１１１７は、図２の接続判定回路１２４による判定結果に応じて、レンダリングエンジン１２１１に、第１画像データと第２画像データとの少なくとも一方を生成させる。選択部１１１７は、図２の接続判定回路１２４から入力される接続判定通知信号を介して、接続判定回路１２４による判定結果を取得する。例えば接続判定通知信号が、図２の第１画像出力ポート１４１が開放され第２画像出力ポート１４２にディスプレイ３が接続されていることを示している場合、選択部１１１７は、レンダリングエンジン１２１１に第２画像データのみを生成させる。一方、接続判定通知信号が、例えば図２の第１画像出力ポート１４１にダミープラグ５、即ち、ディスプレイ２が接続され、且つ第２画像出力ポート１４２にディスプレイ３が接続されていることを示している場合、選択部１１１７は、レンダリングエンジン１２１１に第１画像データおよび第２画像データの両方を生成させる。

【0035】

表示モード設定部１１１８は、画像生成送信装置１の表示モードをプレビュー画像表示モードまたはプレビュー画像非表示モードのいずれかに設定する。表示モード設定部１１１８は、ユーザが図２のユーザＩ／Ｆ１１５を介して行う表示モード設定操作に応じて、表示モードの設定を実行する。画像生成送信装置１の表示モードがプレビュー画像表示モードに設定されている場合、第１画像データに対応するプレビュー画像データが、第２画像バッファ１２３１が記憶する第２画像データに合成される。そして、プレビュー画像データが合成された第２画像データが、第２画像出力ポート１４２へ出力される。一方、画像生成送信装置１の表示モードがプレビュー画像非表示モードに設定されている場合、レンダリングエンジン１２１１により生成された第２画像データがそのまま第２画像出力ポート１４２へ出力される。

【0036】

次に、本実施の形態に係る画像生成送信装置１が実行する画像生成送信処理について図４、図５（Ａ）および図５（Ｂ）を参照しながら説明する。この画像生成送信処理は、画像生成送信装置１へ電源が投入されたことを契機として開始される。まず、主処理ユニット１１が、グラフィックプロセッサ１２１を起動するよう指令する起動指令情報をグラフィックボード１２へ入力することにより、グラフィックプロセッサ１２１が起動する（ステップＳ１０１）。

【0037】

次に、画像生成部１１１１は、ディスプレイ２、３に表示する１つの画像に相当する画像データを特定する画像特定情報を生成する（ステップＳ１０２）。

【0038】

続いて、選択部１１１７は、接続判定回路１２４から出力される接続判定通知信号に応じて、レンダリングエンジン１２１１に生成させる画像データを選択する（ステップＳ１０３）。

【0039】

その後、レンダリングエンジン１２１１は、画像特定情報に基づいてレンダリングを実行することにより第１画像データもしくは第２画像データ（またはその両方の画像データ）を生成する（ステップＳ１０４）。ここで、レンダリングエンジン１２１１は、選択部１１１７により選択された画像出力ポート１４１、１４２に対応する第１画像バッファ１２２１、第２画像バッファ１２３１に画像データを記憶させる。

【0040】

次に、選択部１１１７は、レンダリングエンジン１２１１に生成させる画像データとして第１画像データを選択したか否かを判定する（ステップＳ１０５）。選択部１１１７により第１画像データが選択されていないと判定されると（ステップＳ１０５：Ｎｏ）、そのまま後述のステップＳ１１２の処理が実行される。なお、図４では、選択部１１１７により第１画像データが選択されていないと判定されるとステップＳ１１２の処理が実行される（ステップＳ１０５：Ｎｏ）としたが、例えば、表示モード設定部１１１８などで第１画像データが選択されていない場合に、第２画像データをディスプレイ２に表示する（複製して表示する）ように設定されていれば、第２画像データをディスプレイ２に表示するようにしてもよい（図示しない）。

【0041】

一方、選択部１１１７により第１画像データが選択されたと判定されると（ステップＳ１０５：Ｙｅｓ）、転送部１１４１は、第１画像バッファ１２２１が記憶する第１画像データを、フレームバッファ１１３１に転送する（ステップＳ１０６）。

【0042】

続いて、画像圧縮部１１１３は、例えばＪＰＥＧ方式で第１画像データを圧縮する（ステップＳ１０７）。

【0043】

その後、画像送信部１１１４は、画像圧縮部１１１３により圧縮された第１画像データを、ネットワーク通信Ｉ／Ｆ１１６および無線モジュール１３を介して受信装置４へ送信する（ステップＳ１０８）。

【0044】

次に、プレビュー画像生成部１１１５は、画像生成送信装置１の表示モード設定部１１１８がプレビュー画像表示モードに設定されているか否かを判定する（ステップＳ１０９）。プレビュー画像生成部１１１５により画像生成送信装置１の表示モードがプレビュー画像非表示モードに設定されていると判定されると（ステップＳ１０９：Ｎｏ）、後述のステップＳ１１２の処理が実行される。

【0045】

一方、プレビュー画像生成部１１１５が、画像生成送信装置１の表示モードがプレビュー画像表示モードに設定されていると判定したとする（ステップＳ１０９：Ｙｅｓ）。この場合、プレビュー画像生成部１１１５は、フレームバッファ１１３１が記憶する第１画像データを用いてプレビュー画像を示すプレビュー画像データを生成する（ステップＳ１１０）。そして、プレビュー画像生成部１１１５は、生成したプレビュー画像データをプレビュー画像バッファ１１３２に記憶させる。

【0046】

続いて、合成部１１１６は、プレビュー画像バッファ１１３２からプレビュー画像データを取得し、取得したプレビュー画像データを、第２画像バッファ１２３１が記憶する第２画像データに合成する（ステップＳ１１１）。これにより、プレビュー画像データが合成された第２画像データが、第２画像出力ポート１４２から出力される。つまり、例えば図５（Ａ）に示すように、ディスプレイ３には、図５（Ｂ）に示すようなディスプレイ２に表示される画像のプレビュー画像が第２画像データとともに表示される。

【0047】

その後、画像生成部１１１１は、ユーザがユーザＩ／Ｆ１１５を介して画像生成送信処理を終了させるよう指令する終了指令が有ったか否かを判定する（ステップＳ１１２）。画像生成部１１１１により終了指令が有ったと判定されると（ステップＳ１１２：Ｙｅｓ）、画像生成送信処理が終了する。一方、画像生成部１１１１は、終了指令が無いと判定すると（ステップＳ１１２：Ｎｏ）、再びステップＳ１０２の処理を実行する。

【0048】

ところで、この種の画像生成送信装置を実現する一つの具体例として、グラフィックプロセッサと、サーバ装置のオペレーティングシステム上で動作する仮想レンダリングエンジンと、を備える構成が考案されている。ここにおいて、グラフィックプロセッサは、自装置のディスプレイに表示する画像データを生成し、仮想レンダリングエンジンは、クライアント装置へ送信する画像データを生成する。そして、サーバ装置は、自装置のディスプレイとクライアント装置のディスプレイとのそれぞれに表示される静止画像を所定のフレームレートで連続的に更新していくことにより各ディスプレイに動画像を表示させる。

【0049】

その一方で、上述した仮想レンダリングエンジンが画像データの生成に要する時間は、グラフィックプロセッサが画像データの生成に要する時間に比べて長い。従って、前述の仮想レンダリングエンジンを用いた構成では、クライアント装置において、ディスプレイのフレームレートが低下してしまい、視認者に違和感を与える虞がある。

【0050】

この点について、次に、本実施の形態に係る画像生成送信装置１の性能について、比較例に係る画像生成送信装置と比較しながら説明する。比較例に係る画像生成送信装置では、図６（Ａ）に示すように、主処理ユニット９０１１のＣＰＵ９１１１が、画像生成部１１１１により生成される画像特定情報に基づいてレンダリングを実行する仮想レンダリングエンジン９１１５として機能する。なお、図６（Ａ）において実施の形態に係る画像生成送信装置１と同様の構成については図３と同一の符号を付している。フレームバッファ１１３１は、仮想レンダリングエンジン９１１５により生成される画像データを記憶する。この比較例に係る画像生成送信装置の場合、仮想レンダリングエンジン９１１５が１つの表示画面に対応する画像データを生成するのに要する時間は、グラフィックボード１２のレンダリングエンジン１２１１が同画像データを生成するのに要する時間よりも長い。そうすると、図７（Ａ）に示すように、ディスプレイ２のフレーム更新タイミングの時間間隔△Ｔ２が、ディスプレイ３のフレーム更新タイミングの時間間隔△Ｔ１に比べて長くなる。つまり、ディスプレイ２に表示される動画像のフレームレートがディスプレイ３に表示される動画像のフレームレートよりも低くなり、ディスプレイ２、３に表示される動画像の滑らかさにずれが生じてしまう。

【0051】

これに対して、本実施の形態に係る画像生成送信装置１では、図６（Ｂ）に示すように、転送部１１４１が、グラフィックボード１２のレンダリングエンジン１２１１が生成し第２画像バッファ１２３１に記憶された画像データをフレームバッファ１１３１に転送する。ここで、転送部１１４１により第２画像バッファ１２３１からフレームバッファ１１３１への画像データの転送時間は、レンダリングエンジン１２１１による画像データの生成に要する時間に比べて十分短い。従って、図７（Ｂ）に示すように、ディスプレイ２、３に表示される動画像のフレームレートが略等しくなり、ディスプレイ２、３の両方で滑らかな動画像が表示される。

【0052】

以上説明したように、本実施の形態に係る画像生成送信装置１によれば、グラフィックプロセッサ１２１が、画像特定情報に基づいて第１画像データを生成して第１画像バッファ１２２１に記憶し、転送部１１４１が、第１画像バッファ１２２１が記憶する第１画像データをフレームバッファ１１３１に転送する。また、グラフィックボード１２が、第１画像出力ポート１４１および第２画像出力ポート１４２の接続状態を判定する接続判定回路１２４を有する。そして、グラフィックプロセッサ１２１が、接続判定回路１２４による判定結果に応じて、第１画像データと第２画像データとの少なくとも一方を生成する。これにより、例えば画像生成送信装置に接続される機器からの接続要求を受けなくても第１画像データおよび第２画像データの出力制御が可能となるので、表示システムの構成の簡略化とユーザの利便性を向上させる。

【0053】

また、本実施の形態に係る画像生成送信装置１によれば、図７を用いて説明したように、例えば主処理ユニット１１が、画像特定情報から第１画像データを生成してフレームバッファ１１３１に直接記憶させる仮想レンダリングエンジンを有する構成に比べて、第１画像データの生成に要する時間を短縮できる。すなわち、図６の（Ａ）比較例で示した仮想レンダリングエンジン９１１５のようにソフトウェアで第１画像データを生成する方が、複数のプロセッサコアを搭載したマルチコアプロセッサから構成されるハードウェアであるグラフィックプロセッサ１２１を介して、第１画像データを生成するよりも、処理に時間がかかるのである。従って、画像生成送信装置１が、例えばディスプレイ２に動画像を表示する場合、ディスプレイ２に表示される動画像のフレームレートを高めることができるので、その分、ディスプレイ３に動画像を滑らかに表示することができる。

【0054】

ところで、ディスプレイ２、３に画像を表示させる方法の別形態として、第１画像出力ポート１４１に受信装置４と通信可能な送信装置（図示せず）を接続するとともに、第２画像出力ポート１４２にケーブルＬ１を介してディスプレイ３を接続する方法も考えられる。ここにおいて、送信装置が、例えばＪＰＥＧ方式で画像圧縮を行う画像圧縮回路を有し、主処理ユニット１１から出力される画像データを圧縮して送信するのが一般的である。但し、この方法の場合、送信装置が必要となり、その分、表示システムを構成する要素が増加し表示システム全体のコストが増大してしまう虞がある。これに対して、本実施の形態に係る画像生成送信装置１では、ＣＰＵ１１１が画像生成送信処理用のプログラムを実行することにより画像圧縮部１１１３等が実現されている。即ち、画像圧縮部１１１３がソフトウェアにより実現されている。これにより、前述の送信装置が不要になるため、その分、表示システム全体のコストが削減される。また、送信装置が不要な構成であるため、その分、送信装置と画像生成送信装置とを接続するケーブルを省略することができる。従って、本発明によれば、表示システムの導入時において、送信装置の設置や送信装置と画像生成送信装置とケーブル接続に要する施工コストを低減できるとともに、表示システム全体の保守が容易になる。更に、本実施の形態に係る画像生成送信装置１は、画像圧縮部１１１３がソフトウェアにより実現されているため、画像圧縮部１１１３の構成の変更を比較的短時間且つ容易に行うことができる。従って、画像圧縮部１１１３の開発は、例えば送信装置の画像圧縮回路の開発に比べて容易であり、ひいては開発コストを低減できるという利点がある。

【0055】

ところで、例えばディスプレイ３が接続されたＶＮＣ（Virtual Network Computing）クライアントとして動作するクライアントＰＣと、グラフィックボードを搭載しＶＮＣサーバとして動作するサーバＰＣと、がネットワークを介して接続された表示システムが提供されている。ここにおいて、サーバＰＣは、グラフィックボードで生成された画像データを随時キャプチャして圧縮する。そして、サーバＰＣは、クライアントＰＣから受信する表示要求に応じてクライアントＰＣへ圧縮した画像データを送信する。しかしながら、この表示システムでは、サーバＰＣへ表示要求を生成して送信する機能を有するクライアントＰＣが必要となり、その分、表示システム全体のコストが増大してしまう。また、ディスプレイ３に画像を表示させる場合、それに応じて、クライアントＰＣの操作や設定が必要となり、運用が煩雑になる虞がある。これに対して、本実施の形態に係る表示システムでは、クライアントＰＣに比べて機能が少なく安価な受信装置を備える。これにより、前述のクライアントＰＣを備える表示システムに比べてコストを低減できる。また、本実施の形態に係る表示システムでは、ユーザが受信装置４に対して操作や設定を行う必要がないので、ユーザが簡単に運用できるという利点もある。

【0056】

また、本実施の形態では、プレビュー画像生成部１１１５がフレームバッファ１１３１から第１画像データを取得してプレビュー画像データを生成し、合成部１１１６がプレビュー画像データを、第２画像バッファ１２３１が記憶する第２画像データに合成する。これにより、ユーザは、例えば図５（Ａ）に示すように、画像生成送信装置１にケーブルＬ１を介して接続されたディスプレイ３において、ディスプレイ２に表示される画像を確認することができる。従って、ユーザがディスプレイ２に表示される画像の管理を行い易くなるという利点がある。また、ユーザは、例えばディスプレイ２、３に表示される画像を同時に見ながら作業を行うことも可能となる。

【0057】

更に、本実施の形態に係るグラフィックボード１２は、第１画像バッファ１２２１と第２画像バッファ１２３１と、第１画像出力ポート１４１、第２画像出力ポート１４２と、接続判定回路１２４と、を有する。そして、選択部１１１７は、接続判定回路１２４による判定結果に応じて、レンダリングエンジン１２１１に生成させる画像データを選択する。これにより、レンダリングエンジン１２１１が無駄にレンダリングを実行することを防止できるとともに第１画像バッファ１２２１または第２画像バッファ１２３１が無駄に使用されることが防止される。従って、グラフィックボード１２における消費電力が低減される。

【0058】

また、本実施の形態では、第１画像出力ポート１４１は、ディスプレイ２の仕様情報を出力するダミープラグ５に接続され、第２画像出力ポート１４２が、自装置の仕様情報を出力する機能を有するディスプレイ２に接続されている。これにより、選択部１１１７に、第１画像出力ポート１４１にディスプレイ２が接続され、第２画像出力ポート１４２にディスプレイ３が接続されているように認識させることができる。従って、グラフィックドライバ１１１２およびグラフィックボード１２の仕様変更を行うことなく、第１画像出力ポート１４１にディスプレイ２が接続されていない状態でも、第１画像バッファ１２２１に第１画像データを記憶させることができる。

【0059】

（変形例）
以上、本発明の実施の形態について説明したが、本発明は実施の形態の構成に限定されるものではない。例えば、画像圧縮部１１１３が、ＪＰＥＧ規格に基づく圧縮方式以外の圧縮方法で第１画像データを圧縮する構成であってもよい。具体的には、画像圧縮部１１１３が、第１画像データについてＤＣＴの代わりにアダマール変換を施す構成であってもよい。或いは、画像圧縮部１１１３が、サブバンド符号化を利用した圧縮方法で第１画像データを圧縮する構成であってもよい。具体的には、画像圧縮部１１１３は、ＱＭＦ（Quadrature Mirror Filter）バンクやＣＱＦ（Conjugate Quadrature Filter）バンク、ＳＳＫＦ（Symmetric Short Kernel Filter）バンク等の帯域分割フィルタバンクを有する構成であってもよい。この場合、受信装置４は、帯域合成フィルタバンクを有する構成とすればよい。或いは、画像圧縮部１１１３が、離散ウェーブレット変換を利用した圧縮方法で第１画像データを圧縮する構成であってもよい。この場合、受信装置４は、逆離散ウェーブレット変換器を有する構成とすればよい。

【0060】

実施の形態では、グラフィックプロセッサ１２１が、静止画像を示す第１画像データを生成する構成について説明したが、これに限定されず、例えば、動画像を示す第１画像データを生成する構成であってもよい。この場合、画像圧縮部１１１３は、例えばＭＰＥＧ（Moving Picture Expert Group）規格に基づく圧縮方式で第１画像データを圧縮する構成とすればよい。この場合、受信装置４は、ＭＰＥＧ規格に基づいて第１画像データを展開する構成とすればよい。

【0061】

実施の形態では、第１画像出力ポート１４１にダミープラグ５が接続される例について説明したが、これに限らず、ダミープラグ５に代えて、自装置の仕様情報を画像生成送信装置１へ出力する機能を有するディスプレイ（図示せず）が接続される構成であってもよい。

【0062】

実施の形態では、接続判定回路１２４がダミープラグ５の接続を判定した場合、転送部１１４１は第１画像バッファ１２２１が記憶する第１画像データを主記憶部１１３のフレームバッファ１１３１へ転送する構成について説明した。これとは別に、ダミープラグ５の接続がされていない場合、転送部１１４１は第２画像バッファ１２３１が記憶する第２画像データを主記憶部１１３のフレームバッファ１１３１に転送する構成を選択できてもよい。

【0063】

なお、本発明に係る画像生成送信装置１の各種機能は、専用のシステムによらず、コンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な非一時的な記録媒体（ＣＤ−ＲＯＭ等）に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、前述の画像生成送信処理を実行する画像生成送信装置１を構成してもよい。また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線のサーバにアップロードされ、通信回線を介してコンピュータに配信されてもよい。

【0064】

以上、本発明の実施の形態および変形例（なお書きに記載したものを含む。以下、同様。）について説明したが、本発明はこれらに限定されるものではない。本発明は、実施の形態および変形例が適宜組み合わされたもの、それに適宜変更が加えられたものを含む。

【産業上の利用可能性】

【0065】

本発明は、商業施設または工場におけるデジタルサイネージ向け画像生成送信装置として好適である。

【符号の説明】

【0066】

１：画像生成送信装置、２，３：ディスプレイ、４：受信装置、５：ダミープラグ、１１：主処理ユニット、１２：グラフィックボード、１３：無線モジュール、５１：メモリ、１１１：ＣＰＵ、１１２：主記憶部、１１３：補助記憶部、１１４：ＤＭＡコントローラ、１１５：ユーザＩ／Ｆ、１１６：ネットワーク通信Ｉ／Ｆ、１１７，１２５：バス、１２１：グラフィックプロセッサ、１２２，１２３：ＶＲＡＭ、１２４：接続判定回路、１４１：第１画像出力ポート、１４２：第２画像出力ポート、１１１１：画像生成部、１１１２：グラフィックドライバ、１１１３：画像圧縮部、１１１４：画像送信部、１１１５：プレビュー画像生成部、１１１６：合成部、１１１７：選択部、１１１８：表示モード設定部、１１３１：フレームバッファ、１１３２：プレビュー画像バッファ、１１４１：転送部、１２１１：レンダリングエンジン、１２２１：第１画像バッファ、１２２２，１２３２：画像出力部、１２３１：第２画像バッファ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】