▶ レノボ・シンガポール・プライベート・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-02
(45)【発行日】2022-09-12
(54)【発明の名称】情報処理装置、及び制御方法
(51)【国際特許分類】
G06F 13/12 20060101AFI20220905BHJP
G06F 15/78 20060101ALN20220905BHJP
【ＦＩ】
G06F13/12 330C
G06F15/78 513
【請求項の数】
11
(21)【出願番号】P 2021022473
(22)【出願日】2021-02-16
(65)【公開番号】P2022124695
(43)【公開日】2022-08-26
【審査請求日】2021-02-16
(73)【特許権者】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100206081
【弁理士】
【氏名又は名称】片岡 央
(72)【発明者】
【氏名】今井 拓水
(72)【発明者】
【氏名】チュオン ゴック フィー
(72)【発明者】
【氏名】二見 恭平
【審査官】松平 英
(56)【参考文献】
【文献】特開２００４－０９６６９０（ＪＰ，Ａ）
【文献】特開２０１８－１４２８３１（ＪＰ，Ａ）
【文献】アブラモフ ルシアン 他，Ｃｉｓｃｏ ＡＣＩ ポリシーベースのデータセンター，初版，日本，株式会社インプレス，2015年12月11日，pp. 296-297，ISBN: 978-4-8443-3961-8
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／００
３／１８
１３／１０－１３／１４
１３／２０－１３／４２
１５／７８
Ｇ０６Ｔ １／００－５／５０
９／００－９／４０
Ｈ０４Ｍ ３／００
３／１６－３／２０
３／３８－３／５８
７／００－７／１６
１１／００－１１／１０
Ｈ０４Ｎ ５／２２２－５／２５７
７／１０
７／１４－７／５６
２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
第１アプリケーションの処理に応じて撮像部から撮像データを取得する映像取得部と、前記映像取得部が取得した前記撮像データを、前記第１アプリケーションの実行中に前記第１アプリケーション以外に実行されている第２アプリケーションの処理により使用可能なように共有メモリへ記憶させる第１映像処理部と、
前記第２アプリケーションに応じた時間間隔で前記共有メモリから前記撮像データを取得する毎に前記第２アプリケーションへ送信する第２映像処理部と、
を備え、
前記第２映像処理部は、
前記第２アプリケーションへ送信した前記撮像データを前記第２アプリケーションが取得する毎に処理を行った処理後の撮像データを、前記第２アプリケーションから取得する毎に前記共有メモリへ記憶させ、
前記第１映像処理部は、
前記共有メモリから前記処理後の撮像データを前記時間間隔で取得して前記第１アプリケーションへ送信する、
情報処理装置。
【請求項2】
前記第２映像処理部は、前記第２アプリケーションから前記時間間隔に関する要求情報を取得し、取得した前記要求情報に基づく前記時間間隔で前記共有メモリから前記撮像データを取得して前記第２アプリケーションへ送信する、
請求項１に記載の情報処理装置。
【請求項3】
前記第２映像処理部は、複数の前記第２アプリケーションのそれぞれの識別情報と、それぞれの前記時間間隔とが関連付けられた関連付けテーブルが予め設定されており、
前記第２映像処理部は、
前記第２アプリケーションから取得した前記識別情報と前記関連付けテーブルとに基づく前記時間間隔で前記共有メモリから前記撮像データを取得して前記第２アプリケーションへ送信する、
請求項１に記載の情報処理装置。
【請求項4】
前記第２映像処理部は、前記第２アプリケーションへ送信した前記撮像データに対して前記第２アプリケーションが処理を行った処理後の撮像データを前記第２アプリケーションから取得して前記共有メモリへ記憶させ、
前記第１映像処理部は、
前記共有メモリから前記処理後の撮像データを取得して前記第１アプリケーションへ送信する、
請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項5】
複数の前記第２アプリケーションのそれぞれに対応する複数の前記第２映像処理部を、備え、複数の前記第２映像処理部のそれぞれは、
それぞれに対応する前記第２アプリケーションに応じた前記時間間隔で前記共有メモリから前記撮像データを取得してそれぞれの前記第２アプリケーションへ送信する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。
【請求項6】
システムの状況に関するシステム情報を取得するシステム情報取得部、をさらに備え、
前記第２映像処理部は、
前記システム情報取得部が取得する前記システム情報に基づいて、前記共有メモリから前記撮像データを取得する際の前記時間間隔をさらに変更する、
請求項１から請求項５のいずれか一項に記載の情報処理装置。
【請求項7】
前記システム情報は、通信ネットワークの品質に関する情報であり、前記第２映像処理部は、
前記システム情報取得部が取得する前記システム情報に基づいて前記通信ネットワークの品質が所定の閾値以下に低下したと判定した場合、前記共有メモリから前記撮像データを取得する際の前記時間間隔を、前記第２アプリケーションに応じた前記時間間隔よりも長くする、
請求項６に記載の情報処理装置。
【請求項8】
前記システム情報は、プロセッサの使用率に関する情報であり、前記第２映像処理部は、
前記システム情報取得部が取得する前記システム情報に基づいて前記プロセッサの使用率が所定の閾値以上であると判定した場合、前記共有メモリから前記撮像データを取得する際の前記時間間隔を、前記第２アプリケーションに応じた前記時間間隔よりも長くする、
請求項６に記載の情報処理装置。
【請求項9】
前記システム情報は、前記情報処理装置へ給電する二次電池の残容量に関する情報であり、前記第２映像処理部は、
前記システム情報取得部が取得する前記システム情報に基づいて前記二次電池の残容量が所定の閾値より低下したと判定した場合、前記共有メモリから前記撮像データを取得する際の前記時間間隔を、前記第２アプリケーションに応じた前記時間間隔よりも長くする、
請求項６に記載の情報処理装置。
【請求項10】
前記撮像データに基づく映像を表示する表示部と、前記表示部または前記撮像部に対面する側に存在する人物を検出する人物検出部と、
をさらに備え、
前記第２映像処理部は、
前記人物検出部が人物の存在を検出できない場合、前記共有メモリから前記撮像データを取得する際の前記時間間隔を、前記第２アプリケーションに応じた前記時間間隔よりも長くする、
請求項６に記載の情報処理装置。
【請求項11】
情報処理装置における制御方法であって、映像取得部が、第１アプリケーションの処理に応じて撮像部から撮像データを取得するステップと、
第１映像処理部が、前記映像取得部が取得した前記撮像データを、前記第１アプリケーションの実行中に前記第１アプリケーション以外に実行されている第２アプリケーションの処理により使用可能なように共有メモリへ記憶させるステップと、
第２映像処理部が、前記第２アプリケーションに応じた時間間隔で前記共有メモリから前記撮像データを取得する毎に前記第２アプリケーションへ送信するステップと、
前記第２映像処理部が、前記第２アプリケーションへ送信した前記撮像データを前記第２アプリケーションが取得する毎に処理を行った処理後の撮像データを、前記第２アプリケーションから取得する毎に前記共有メモリへ記憶させるステップと、
前記第１映像処理部が、前記共有メモリから前記処理後の撮像データを前記時間間隔で取得して前記第１アプリケーションへ送信するステップと、
を含む制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、及び制御方法に関する。
【背景技術】
【0002】
昨今、パーソナルコンピュータなどの情報処理装置では、カメラを用いるユースケースが増えている。例えば、静止画や動画の撮影を目的として利用だけでなく、ビデオ会議、人物検出、ユーザ認証、注視点の検出やジェスチャー認識など、多くの目的にカメラが使用されている。例えば、特許文献１には、カメラを用いて人物を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－０８２２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
カメラへのアクセスは排他的であるため、いずれかのアプリケーションがカメラを使用している場合、他のアプリケーションはカメラを使用することができない。この問題を解決するために、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によっては、カメラを複数のアプリケーションで共有できるような拡張機能を使用する方法が考えられる。しかしながら、上述した拡張機能を用いて複数のアプリケーションがカメラを使用すると、処理負荷が大きくなる。
【0005】
本発明は上記した事情に鑑みてなされたもので、複数のアプリケーションがカメラを使用する際の処理を効率化する情報処理装置、及び制御方法を提供することを目的の一つとする。
【課題を解決するための手段】
【0006】
本発明は上記の課題を解決するためになされたものであり、本発明の第１態様に係る情報処理装置は、第１アプリケーションの処理に応じて撮像部から撮像データを取得する映像取得部と、前記映像取得部が取得した前記撮像データを、前記第１アプリケーション以外の第２アプリケーションの処理により使用可能なように共有メモリへ記憶させる第１映像処理部と、前記第２アプリケーションに応じた時間間隔で前記共有メモリから前記撮像データを取得して前記第２アプリケーションへ送信する第２映像処理部と、を備える。
【0007】
上記情報処理装置において、前記第２映像処理部は、前記第２アプリケーションから前記時間間隔に関する要求情報を取得し、取得した前記要求情報に基づく前記時間間隔で前記共有メモリから前記撮像データを取得して前記第２アプリケーションへ送信してもよい。
【0008】
上記情報処理装置において、前記第２映像処理部は、複数の前記第２アプリケーションのそれぞれの識別情報と、それぞれの前記時間間隔とが関連付けられた関連付けテーブルが予め設定されており、前記第２映像処理部は、前記第２アプリケーションから取得した前記識別情報と前記関連付けテーブルとに基づく前記時間間隔で前記共有メモリから前記撮像データを取得して前記第２アプリケーションへ送信してもよい。
【0009】
上記情報処理装置において、前記第２映像処理部は、前記第２アプリケーションへ送信した前記撮像データに対して前記第２アプリケーションが処理を行った処理後の撮像データを前記第２アプリケーションから取得して前記共有メモリへ記憶させ、前記第１映像処理部は、前記共有メモリから前記処理後の撮像データを取得して前記第１アプリケーションへ送信してもよい。
【0010】
上記情報処理装置は、複数の前記第２アプリケーションのそれぞれに対応する複数の前記第２映像処理部を、備え、複数の前記第２映像処理部のそれぞれは、それぞれに対応する前記第２アプリケーションに応じた前記時間間隔で前記共有メモリから前記撮像データを取得してそれぞれの前記第２アプリケーションへ送信してもよい。
【0011】
上記情報処理装置は、システムの状況に関するシステム情報を取得するシステム情報取得部、をさらに備え、前記第２映像処理部は、前記システム情報取得部が取得する前記システム情報に基づいて、前記共有メモリから前記撮像データを取得する際の前記時間間隔をさらに変更してもよい。
【0012】
上記情報処理装置において、前記システム情報は、通信ネットワークの品質に関する情報であり、前記第２映像処理部は、前記システム情報取得部が取得する前記システム情報に基づいて前記通信ネットワークの品質が所定の閾値以下に低下したと判定した場合、前記共有メモリから前記撮像データを取得する際の前記時間間隔を、前記第２アプリケーションに応じた前記時間間隔よりも長くしてもよい。
【0013】
上記情報処理装置において、前記システム情報は、プロセッサの使用率に関する情報であり、前記第２映像処理部は、前記システム情報取得部が取得する前記システム情報に基づいて前記プロセッサの使用率が所定の閾値以上であると判定した場合、前記共有メモリから前記撮像データを取得する際の前記時間間隔を、前記第２アプリケーションに応じた前記時間間隔よりも長くしてもよい。
【0014】
上記情報処理装置において、前記システム情報は、前記情報処理装置へ給電する二次電池の残容量に関する情報であり、前記第２映像処理部は、前記システム情報取得部が取得する前記システム情報に基づいて前記二次電池の残容量が所定の閾値より低下したと判定した場合、前記共有メモリから前記撮像データを取得する際の前記時間間隔を、前記第２アプリケーションに応じた前記時間間隔よりも長くしてもよい。
【0015】
上記情報処理装置は、前記撮像データに基づく映像を表示する表示部と、前記表示部または前記撮像部に対面する側に存在する人物を検出する人物検出部と、をさらに備え、前記第２映像処理部は、前記人物検出部が人物の存在を検出できない場合、前記共有メモリから前記撮像データを取得する際の前記時間間隔を、前記第２アプリケーションに応じた前記時間間隔よりも長くしてもよい。
【0016】
また、本発明の第２態様に係る情報処理装置における制御方法は、映像取得部が、第１アプリケーションの処理に応じて撮像部から撮像データを取得するステップと、第１映像処理部が、前記映像取得部が取得した前記撮像データを、前記第１アプリケーション以外の第２アプリケーションの処理により使用可能なように共有メモリへ記憶させるステップと、第２映像処理部が、前記第２アプリケーションに応じた時間間隔で前記共有メモリから前記撮像データを取得して前記第２アプリケーションへ送信するステップと、を含む。
【発明の効果】
【0017】
本発明の上記態様によれば、複数のアプリケーションがカメラを使用する際の処理を効率化することができる。
【図面の簡単な説明】
【0018】
【図1】第１の実施形態に係る情報処理装置の外観を示す斜視図。
【図2】第１の実施形態に係る拡張機能を用いた処理の概要を示す模式図。
【図3】第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図。
【図4】第１の実施形態に係る機能拡張データ処理の構成の一例を示すブロック図。
【図5】第１の実施形態に係る処理後撮像データの表示例を示す図。
【図6】第１の実施形態に係るアプリケーションの種類とフレームレートの対応の一例を示す図。
【図7】第１の実施形態に係る映像拡張機能処理の構成の一例を示すブロック図。
【図8】第１の実施形態に係る映像拡張機能処理の第１例を示すシーケンス図。
【図9】第１の実施形態に係る映像拡張機能処理の第２例を示すシーケンス図。
【図10】第２の実施形態に係る映像拡張機能処理の構成の一例を示すブロック図。
【図11】第３の実施形態に係る映像拡張機能処理の構成の一例を示すブロック図。
【図12】第３の実施形態に係るＣＰＵ使用率の閾値とフレームレートの低下率との対応付けの一例を示す図。
【図13】第３の実施形態に係るＣＰＵ使用率によるフレームレート変更処理の一例を示すフローチャート。
【図14】第４の実施形態に係るバッテリ残容量の閾値とフレームレートの低下率との対応付けの一例を示す図。
【図15】第４の実施形態に係るバッテリ残容量によるフレームレート変更処理の一例を示すフローチャート。
【図16】第５の実施形態に係る通信ネットワークの品質によるフレームレート変更処理の一例を示すフローチャート。
【図17】第６の実施形態に係る映像拡張機能処理の構成の一例を示すブロック図。
【図18】第６の実施形態に係るユーザの存在とフレームレートの低下率との対応付けの一例を示す図。
【図19】第６の実施形態に係る人物の存在の有無によるフレームレート変更処理の一例を示すフローチャート。
【発明を実施するための形態】
【0019】
以下、図面を参照しながら本発明の実施形態について説明する。
＜第１の実施形態＞
図１は、本実施形態に係る情報処理装置の外観を示す斜視図である。図示する情報処理装置１０は、クラムシェル型のノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。情報処理装置１０は、第１筐体１１、第２筐体１２、及びヒンジ機構１３を備えている。第１筐体１１及び第２筐体１２は、略四角形の板状（例えば、平板状）の筐体である。第１筐体１１の側面の一つと第２筐体１２の側面の一つとがヒンジ機構１３を介して結合（連結）されており、ヒンジ機構１３がなす回転軸の周りに第１筐体１１と第２筐体１２とが相対的に回動可能である。第１筐体１１と第２筐体１２との回転軸の周りの開き角θが略０°の状態が、第１筐体１１と第２筐体１２とが重なり合って閉じた状態（「閉状態」と称する）である。閉状態において第１筐体１１と第２筐体１２との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と称する。開き角θとは、第１筐体１１の内面と第２筐体１２の内面とがなす角とも言うことができる。閉状態に対して第１筐体１１と第２筐体１２とが開いた状態のことを「開状態」と称する。開状態とは、開き角θが予め設定された閾値（例えば、１０°）より大きくなるまで、第１筐体１１と第２筐体１２とが相対的に回動された状態である。
＜第１の実施形態＞
図１は、本実施形態に係る情報処理装置の外観を示す斜視図である。図示する情報処理装置１０は、クラムシェル型のノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。情報処理装置１０は、第１筐体１１、第２筐体１２、及びヒンジ機構１３を備えている。第１筐体１１及び第２筐体１２は、略四角形の板状（例えば、平板状）の筐体である。第１筐体１１の側面の一つと第２筐体１２の側面の一つとがヒンジ機構１３を介して結合（連結）されており、ヒンジ機構１３がなす回転軸の周りに第１筐体１１と第２筐体１２とが相対的に回動可能である。第１筐体１１と第２筐体１２との回転軸の周りの開き角θが略０°の状態が、第１筐体１１と第２筐体１２とが重なり合って閉じた状態（「閉状態」と称する）である。閉状態において第１筐体１１と第２筐体１２との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と称する。開き角θとは、第１筐体１１の内面と第２筐体１２の内面とがなす角とも言うことができる。閉状態に対して第１筐体１１と第２筐体１２とが開いた状態のことを「開状態」と称する。開状態とは、開き角θが予め設定された閾値（例えば、１０°）より大きくなるまで、第１筐体１１と第２筐体１２とが相対的に回動された状態である。
【0020】
第１筐体１１の内面には、表示部１５が設けられている。表示部１５は、情報処理装置１０に実行される処理に基づく映像を表示する。また、第１筐体１１の内面のうち表示部１５の周縁の領域に、カメラ１６（撮像部の一例）が設けられている。即ち、カメラ１６は、情報処理装置１０を使用するユーザと対面するような位置に設けられている。
【0021】
また、第２筐体１２の内面にはキーボードが入力部１９として設けられている。閉状態では、表示部１５が視認できない状態、且つキーボードへの操作ができない状態となる。一方、開状態では、表示部１５が視認可能な状態、且つキーボードへの操作が可能な状態（即ち、情報処理装置１０を使用可能な状態）となる。情報処理装置１０は、カメラ１６により撮像される映像を用いる複数のアプリケーションのプログラムを実行することができる。
【0022】
例えば、複数のユーザのそれぞれが端末装置を用いて双方向に映像及び音声を通信するビデオ会議を行うためのアプリケーションがある。情報処理装置１０を用いてユーザがビデオ会議アプリケーションを使用する場合、カメラ１６は、表示部１５に対面するユーザの映像を撮像する。情報処理装置１０は、カメラ１６により撮像された映像を、ビデオ会議に参加する他のユーザの端末装置で表示可能なように通信ネットワークを介して送信するとともに、当該他のユーザの映像を取得して表示部１５に表示する。ビデオ会議に参加する各ユーザは、互いにユーザの映像を見ながら会話を行うことができる。
【0023】
ここで、情報処理装置１０で実行可能なアプリケーションには、カメラ１６を使用するアプリケーションが複数ある。従来、１つのアプリケーションがカメラ１６の撮像データを使用した処理を行っているときには他のアプリケーションはカメラ１６の撮像データを使用した処理を行うことができなかった。本実施形態に係る情報処理装置１０は、拡張機能を用いることにより、複数のアプリケーションが同時にカメラ１６の撮像データを使用した処理を実行する構成を適用する。
【0024】
図２は、本実施形態に係る拡張機能を用いた処理の概要を示す模式図である。本実施形態では、カメラ１６で撮像された撮像データは、ドライバ１１０を介してアプリケーションで使用可能となる。ドライバ１１０から出力される撮像データは、１つのアプリケーションでしか使用できないが、機能拡張部１２０を設けることにより複数のアプリケーションで同時に使用可能となる。機能拡張部１２０は、撮像データを複数のアプリケーションで同時に使用可能なように機能拡張する機能拡張データ処理を実行する。具体的には、機能拡張部１２０は、ドライバ１１０から出力される撮像データを共有メモリ（Ｓｈａｒｅｄ ｍｅｍｒｙ）にコピーすることにより、複数のアプリケーションから撮像データへのアクセスを可能とする。
【0025】
なお、機能拡張部１２０は、一例として、Ｗｉｎｄｏｗｓ（登録商標）の拡張機能としてサポートされているデバイスＭＦＴを用いて設計される機能構成である。デバイスＭＦＴは、カメラ１６の撮像データを取得するドライバ１１０の拡張機能としてユーザモードで実行される。なお、カメラ１６及びドライバ１１０はカーネルモードで実行される。一方、機能拡張部１２０（デバイスＭＦＴ）及びアプリケーションはユーザモードで実行される。機能拡張部１２０を用いた機能拡張データ処理の構成について詳しくは後述する。
【0026】
このような構成によれば、アプリケーション１がカメラ１６の撮像データを使用した処理を行うのと同時に、アプリケーション２もカメラ１６の撮像データを使用した処理を行うことができる。例えば、アプリケーション１は、ビデオ会議や撮影などを行うためのアプリケーションなどである。また、アプリケーション２は、撮像データの背景処理（例えば、背景ぼかしなど）や美肌補正などの画像処理を行うアプリケーション、ジェスチャーや物体などの認識処理を行うアプリケーション、人物カウントや人物の存在や離脱などの検出処理を行うアプリケーションなどである。
【0027】
例えば、情報処理装置１０は、ビデオ会議を行うアプリケーションと背景処理を行うアプリケーションとを同時に実行することにより、ビデオ会議用のユーザの映像の背景部分をぼかした映像とすることができる。また例えば、情報処理装置１０は、ビデオ会議を行うアプリケーションとジェスチャー認識を行うアプリケーションとを同時に実行することにより、ビデオ会議を行いながらジェスチャーを用いた操作入力を受け付けることができる。また例えば、情報処理装置１０は、ビデオ会議を行うアプリケーションと人物の離脱検出を行うアプリケーションとを同時に実行することにより、ビデオ会議の最中にユーザが離脱したか否かを検出することができる。
【0028】
このように、複数のアプリケーションが同時にカメラ１６の撮像データを使用することができると、１つのアプリケーションでは実行できない機能を同時に実現することや、不足している機能を他のアプリケーションで補うことが可能になる。しかしながら、複数のアプリケーションがカメラ１６の撮像データを使用した処理を同時に行うと、情報処理装置１０の処理負荷が大きくなる懸念がある。そこで、情報処理装置１０は、アプリケーションに応じてカメラ１６の撮像データのフレームレートを変更する。フレームレートは、１秒あたりフレーム数であり、フレームの時間間隔と相関する。フレームレートの値が高いほどフレームの時間間隔は短くなり、フレームレートの値が低いほどフレームの時間間隔は長くなる。フレームの時間間隔が短いほど、処理負荷は大きくなる。
【0029】
例えば、情報処理装置１０は、高いフレームレートを必要とするアプリケーションの場合には高いフレームレートの撮像データを使用した処理とするが、高いフレームレートを必要としないアプリケーションの場合にはフレームレートを低下させることにより処理負荷を軽減する。このように、情報処理装置１０は、アプリケーションに応じたフレームレートで撮像データを使用するように制御することで、複数のアプリケーションがカメラ１６を使用する際の処理を効率化することができる。以下、本実施形態に係る情報処理装置１０の構成について詳しく説明する。
【0030】
（情報処理装置１０の構成）
図３は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示すブロック図である。なお、この図において、図１の各部に対応する構成には同一の符号を付している。図示する情報処理装置１０は、表示部１５と、カメラ１６と、通信部１７と、記憶部１８と、入力部１９と、ＥＣ（Ｅｍｂｅｄｄｅｄ Ｃｏｎｔｒｏｌｌｅｒ）２０と、電源部２１と、バッテリ２２と、システム処理部１００とを備えている。
図３は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示すブロック図である。なお、この図において、図１の各部に対応する構成には同一の符号を付している。図示する情報処理装置１０は、表示部１５と、カメラ１６と、通信部１７と、記憶部１８と、入力部１９と、ＥＣ（Ｅｍｂｅｄｄｅｄ Ｃｏｎｔｒｏｌｌｅｒ）２０と、電源部２１と、バッテリ２２と、システム処理部１００とを備えている。
【0031】
表示部１５は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含んで構成されている。表示部１５は、システム処理部１００の制御に基づいて表示データに基づく映像を表示する。表示データには、ＯＳの処理又はＯＳ上で動作するアプリケーションの処理によって生成される画像及び文字のデータなどが含まれる。例えば、表示部１５は、アプリケーションの処理に基づいてカメラ１６の撮像データに基づく映像や、当該撮像データに画像処理を行った処理後の撮像データ（以下、「処理後撮像データ」と称する）に基づく映像などを表示する。
【0032】
カメラ１６は、不図示のレンズ及び撮像素子を含んで構成され、レンズを介して入力される被写体像を撮像して電気信号に変化した撮像データを出力する。例えば、カメラ１６は、第１筐体１１の内面に対面する方向の所定の範囲（画角）を所定の時間間隔で撮像し、撮像した撮像データをシステム処理部１００へ出力する。所定の時間間隔とは、例えば、撮像データのフレームレートに相当する。
【0033】
通信部１７は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信部１７０は、イーサネット（登録商標）等の有線ＬＡＮインターフェースやＷｉ－Ｆｉ（登録商標）等の無線ＬＡＮインターフェース等を含んで構成されている。
【0034】
記憶部１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶媒体を含んで構成される。例えば、記憶部１８は、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリケーション等のプログラム、及び各種データ等を記憶する。
【0035】
入力部１９は、ユーザの入力を受け付ける入力部であり、例えば図1に示すようにキーボードを含んで構成されている。入力部１９は、キーボードに対するユーザの操作を受け付けることに応じて、ユーザの操作に応じた操作信号をＥＣ２０へ出力する。なお、入力部１９は、キーボードに代えて、または加えてタッチパネル、タッチパッド等を含んで構成されてもよい。また、入力部１９は、マウスや外付けのキーボード等の外部の操作デバイスと有線または無線で接続され、接続された外部の操作デバイスに対するユーザの操作を受け付けてもよい。
【0036】
ＥＣ２０は、ＯＳのシステム状態に関わらず、各種デバイス（周辺装置やセンサ等）を監視及び制御するワンチップマイコン（Ｏｎｅ－Ｃｈｉｐ Ｍｉｃｒｏｃｏｍｐｕｔｅｒ）である。なお、ＥＣ２０は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ、ＲＯＭなどを含んで構成されるとともに、複数チャネルのＡ／Ｄ入力端子、Ｄ／Ａ出力端子、タイマ、及びデジタル入出力端子などを備えている。ＥＣ２０には、それらの入出力端子を介して、入力部１９と、及び電源部２１などが接続されている。ＥＣ２０は、接続されている各部と各種信号の受信または送信を行う。
【0037】
例えば、ＥＣ２０は、入力部１９から出力された操作信号を取得し、取得した操作信号に基づく処理を実行する。ＥＣ２０は、取得した操作信号のうちシステム処理部１００の処理に関連する操作信号についてはシステム処理部１００へ出力する。また、ＥＣ２０は、ＯＳのシステム状態などに応じて、電源部２１を制御する。例えば、ＥＣ２０は、システム状態などに応じた電力の供給を制御するための制御信号などを電源部２１へ出力する。また、ＥＣ２０は、電源部２１と通信を行うことにより、バッテリ２２の状態（残容量など）の情報を電源部２１から取得する。
【0038】
電源部２１は、例えば、ＤＣ／ＤＣコンバータ、及びバッテリ２２の充電または放電を制御するための充放電回路などを含んで構成される。電源部２１は、バッテリ２２から供給される直流電力または不図示の外部電源（ＡＣアダプタ等）から供給される直流電力を、情報処理装置１０の各部を動作させるために必要な複数の電圧に変換する。電源部２１は、ＥＣ２０の制御に基づいて情報処理装置１０の各部に電力を供給する。
【0039】
バッテリ２２は、外部電源（ＡＣアダプタ等）から電力が供給されない時に、情報処理装置１０の各部へ電力を供給するための二次電池である。外部電源（ＡＣアダプタ等）から電力が供給されているときは、バッテリ２２は、満充電になるまで電源部２１を介して当該電力により充電される。外部電源（ＡＣアダプタ等）から電力が供給されていない時には、バッテリ２２に充電されている電力が放電され電源部２１を介して情報処理装置１０の各部に供給される。
【0040】
システム処理部１００は、ＣＰＵ１０１、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２、メモリコントローラ１０３、Ｉ／Ｏ（Ｉｎｐｕｔ－Ｏｕｔｐｕｔ）コントローラ１０４、及びシステムメモリ１０５を含んで構成されている。ＣＰＵ１０１及びＧＰＵ１０２をプロセッサと総称することがある。
【0041】
ＣＰＵ１０１は、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリケーション等のプログラムによる処理を実行する。ＧＰＵ１０２は、表示部１５に接続されている。ＧＰＵ１０２は、ＣＰＵ１０１の制御に基づいて画像処理を実行して表示データを生成する。ＧＰＵ１０２は、生成した表示データを表示部１５に出力する。なお、ＣＰＵ１０１とＧＰＵ１０２は、一体化して１個のコアとして形成されてもよいし、個々のコアとして形成されたＣＰＵ１０１とＧＰＵ１０２の相互間で負荷が分担されてもよい。プロセッサの数は、１個に限られず、複数個であってもよい。
【0042】
メモリコントローラ１０３は、ＣＰＵ１０１及びＧＰＵ１０２の処理によるシステムメモリ１０５及び記憶部３６０などからのデータの読出し及び書込みを制御する。
Ｉ／Ｏコントローラ１０４は、表示部１５、カメラ１６、通信部１７、及びＥＣ２０等とのデータの入出力を制御する。
システムメモリ１０５は、ＣＰＵ１０１及びＧＰＵ１０２等のプロセッサが実行するプログラムの読み込み領域として、又は、当該プログラムの処理データを書き込む作業領域として利用される書き込み可能なメモリである。例えば、システムメモリ１０５は、複数個のＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）チップを含んで構成される。プログラムには、ＯＳ、周辺機器類を制御するための各種ドライバ、各種サービス／ユーティリティ、アプリケーションのプログラム等が含まれる。
Ｉ／Ｏコントローラ１０４は、表示部１５、カメラ１６、通信部１７、及びＥＣ２０等とのデータの入出力を制御する。
システムメモリ１０５は、ＣＰＵ１０１及びＧＰＵ１０２等のプロセッサが実行するプログラムの読み込み領域として、又は、当該プログラムの処理データを書き込む作業領域として利用される書き込み可能なメモリである。例えば、システムメモリ１０５は、複数個のＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）チップを含んで構成される。プログラムには、ＯＳ、周辺機器類を制御するための各種ドライバ、各種サービス／ユーティリティ、アプリケーションのプログラム等が含まれる。
【0043】
（機能拡張データ処理の構成）
次に、カメラ１６の撮像データを複数のアプリケーションで同時に使用可能なように機能拡張する機能拡張データ処理の構成について詳しく説明する。
図４は、本実施形態に係る機能拡張データ処理の構成の一例を示すブロック図である。この図において、図２に示す各部に対応する構成には同一の符号を付している。機能拡張部１２０は、カメラ１６で撮像された撮像データのＲａｗフレームを、ドライバ１１０を介して取得する。ドライバ１１０は、カメラ１６をＯＳにより制御可能にするためのソフトウェアである。ドライバ１１０及び機能拡張部１２０は、それぞれのプログラムをＣＰＵ１１０が実行することにより実現される機能構成である。
次に、カメラ１６の撮像データを複数のアプリケーションで同時に使用可能なように機能拡張する機能拡張データ処理の構成について詳しく説明する。
図４は、本実施形態に係る機能拡張データ処理の構成の一例を示すブロック図である。この図において、図２に示す各部に対応する構成には同一の符号を付している。機能拡張部１２０は、カメラ１６で撮像された撮像データのＲａｗフレームを、ドライバ１１０を介して取得する。ドライバ１１０は、カメラ１６をＯＳにより制御可能にするためのソフトウェアである。ドライバ１１０及び機能拡張部１２０は、それぞれのプログラムをＣＰＵ１１０が実行することにより実現される機能構成である。
【0044】
アプリケーション１のみがカメラ１６の撮像データを使用する場合、機能拡張部１２０は、カメラ１６から取得した撮像データのＲａｗフレームをアプリケーション１へ出力する。この処理は、機能拡張部１２０が取得した撮像データのＲａｗフレームをバススルーでそのままアプリケーション１へ出力する処理である。ここでは、アプリケーション１は、ビデオ会議を行うアプリケーションを例とする。機能拡張部１２０が取得した撮像データのＲａｗフレームがバススルーでそのままアプリケーション１にストリーミングされる。
【0045】
一方、アプリケーション１及びアプリケーション２が同時にカメラ１６の撮像データを使用する場合の処理を以下（１）～（４）に説明する。
（１）機能拡張部１２０は、ドライバ１１０を介してカメラ１６から取得した撮像データのＲａｗフレームを、アプリケーション２の処理により使用可能なように共有メモリ１３０へ記憶させる。例えば、機能拡張部１２０は、ドライバ１１０を介してカメラ１６から取得した撮像データのＲａｗフレームを共有メモリ１３０にコピーして書き込む。共有メモリ１３０は、例えば、システムメモリ１０５内に設定される。また、機能拡張部１２０は、撮像データを共有メモリ１３０にコピーした後、アプリケーション２による処理結果を待つ。
（２）アプリケーション２は、ＯＳの処理により共有メモリ１３０から撮像データのＲａｗフレームを読み出して処理を行う。例えば、アプリケーション２は、背景処理などの画像処理を行うアプリケーションの場合、予め設定された画像処理またはユーザにより選択された画像処理等を行う。ここでは、背景ぼかし処理を例として説明する。アプリケーション２は、撮像データのＲａｗフレームから背景領域を検出し、検出した背景領域に対してぼかし処理を行う。
（３）アプリケーション２は、背景領域に対してぼかし処理を行ったデータを撮像データのＲａｗフレームにオーバーレイした処理後撮像データのフレームを生成する。そして、アプリケーション２は、生成した処理後撮像データのフレームを共有メモリ１３０に書き込む。
（４）機能拡張部１２０は、アプリケーション２による処理結果として、共有メモリ１３０から処理後撮像データのフレームが入力されると、当該処理後撮像データのフレームを機能拡張部１２０内のフレームバッファに書き込む。機能拡張部１２０が処理後撮像データのフレームを取得した場合、この処理後撮像データのフレームがアプリケーション１にストリーミングされる。
（１）機能拡張部１２０は、ドライバ１１０を介してカメラ１６から取得した撮像データのＲａｗフレームを、アプリケーション２の処理により使用可能なように共有メモリ１３０へ記憶させる。例えば、機能拡張部１２０は、ドライバ１１０を介してカメラ１６から取得した撮像データのＲａｗフレームを共有メモリ１３０にコピーして書き込む。共有メモリ１３０は、例えば、システムメモリ１０５内に設定される。また、機能拡張部１２０は、撮像データを共有メモリ１３０にコピーした後、アプリケーション２による処理結果を待つ。
（２）アプリケーション２は、ＯＳの処理により共有メモリ１３０から撮像データのＲａｗフレームを読み出して処理を行う。例えば、アプリケーション２は、背景処理などの画像処理を行うアプリケーションの場合、予め設定された画像処理またはユーザにより選択された画像処理等を行う。ここでは、背景ぼかし処理を例として説明する。アプリケーション２は、撮像データのＲａｗフレームから背景領域を検出し、検出した背景領域に対してぼかし処理を行う。
（３）アプリケーション２は、背景領域に対してぼかし処理を行ったデータを撮像データのＲａｗフレームにオーバーレイした処理後撮像データのフレームを生成する。そして、アプリケーション２は、生成した処理後撮像データのフレームを共有メモリ１３０に書き込む。
（４）機能拡張部１２０は、アプリケーション２による処理結果として、共有メモリ１３０から処理後撮像データのフレームが入力されると、当該処理後撮像データのフレームを機能拡張部１２０内のフレームバッファに書き込む。機能拡張部１２０が処理後撮像データのフレームを取得した場合、この処理後撮像データのフレームがアプリケーション１にストリーミングされる。
【0046】
図５は、アプリケーション１にストリーミングされた処理後撮像データの表示例を示す図である。この図は、表示部１５の表示画面１５Ｇにおいて、ビデオ会議を行うアプリケーション１のウィンドウＷ１がアクティブウィンドウとして表示されている例を示している。ここでは、情報処理装置１０を使用してビデオ会議を行うユーザＵ１自身の映像がウィンドウＷ１に表示されている。この映像は、背景領域ＢＲに対してぼかし処理が行われた処理後撮像データに基づく映像である。背景ぼかし処理は、アプリケーション１ではなく、アプリケーション２の処理である。図５に示すスイッチＳＷ１は、アプリケーション１の機能としての背景ぼかし処理の有効と無効とを切り替える操作スイッチである。ここでは、アプリケーション１の機能としての背景ぼかし処理は、無効に設定されている。
【0047】
なお、アプリケーション２が、アプリケーション１でストリーミングされる撮像データに対する画像処理ではなく、ジェスチャーや物体などの認識処理、または人物カウントや人物の存在や離脱などの検出処理を行うアプリケーションの場合には、処理後撮像データを共有メモリ１３０へ戻す必要がない。この場合、図４に示す（１）及び（２）の処理が行われ、（３）及び（４）の処理は行われない。（２）において、アプリケーション２は、画像処理に代えて、アプリケーション２が有する機能の処理を実行する。アプリケーション１には、機能拡張部１２０が取得した撮像データのＲａｗフレームがバススルーでそのままストリーミングされる。
【0048】
このように、情報処理装置１０は、拡張機能を用いることにより、複数のアプリケーションが同時にカメラ１６の撮像データを使用した処理を実行することができるが、前述したように処理負荷が大きくなる懸念がある。そこで、情報処理装置１０は、アプリケーションに応じてカメラ１６の撮像データのフレームレートを変更する。例えば、アプリケーションの種類によってフレームレートを変更する。
【0049】
図６は、アプリケーションの種類とフレームレートの対応の一例を示す図である。アプリケーションの種類とは、例えば、アプリケーションの機能を実現するために必要なフレームレートによって分類される種類である。図示する例では、アプリＡ，アプリＢ、アプリＣの３つの種類に分類している。
【0050】
アプリＡに分類されるアプリケーションは、カメラ１６の撮像データに対してリアルタイムに画像処理を行う必要があるアプリケーションである。例えば、撮像データに対して背景処理、人物の顔の美肌補正、効果映像の追加処理、拡大処理などを行うアプリケーションがアプリＡとして例示できる。アプリＡに分類されるアプリケーションで必要なフレームレートは、例えば１５～３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）である。
【0051】
アプリＢに分類されるアプリケーションは、カメラ１６の撮像データを用いて認識処理を行うアプリケーションである。例えば、撮像データから人物のジェスチャーを認識する処理、視線を追跡する処理、人物の姿勢や物体を認識する処理、対象物を分類する処理などを行うアプリケーションがアプリＢとして例示できる。アプリＢに分類されるアプリケーションで必要なフレームレートは、アプリＡほどリアルタイム性が求められないため、例えば１～１５ｆｐｓである。
【0052】
アプリＣに分類されるアプリケーションは、カメラ１６の撮像データを用いて検出処理を行うアプリケーションである。例えば、撮像データから人物を検出して人数をカウントする処理、情報処理装置１０使用するユーザの背後からの覗き込みを監視する処理、人物の存在や離脱を検出する処理などを行うアプリケーションがアプリＣとして例示できる。アプリＣに分類されるアプリケーションで必要なフレームレートは、アプリＢよりさらに即時性が求められないため、例えば１ｆｐｓ以下である。
【0053】
例えば、アプリケーション２は、起動したときに、自身が必要とするフレームレートに関する要求情報を出力する。情報処理装置１０は、その要求情報に基づくフレームレートの撮像データをアプリケーション２へ送信する。具体的には、情報処理装置１０は、図４に示す機能拡張データ処理の構成に、アプリケーション２へ送信する撮像データのフレームレートをアプリケーション毎に設定する映像設定処理部の構成を加えた映像拡張機能処理の構成を備える。
【0054】
図７は、本実施形態に係る映像拡張機能処理の構成の一例を示すブロック図である。この図において、図４に示す各部に対応する構成には同一の符号を付している。符号ＥＸ１が示す機能拡張データ処理の構成は、図４に示す機能拡張部１２０と共有メモリ１３０とを含む構成である。この機能拡張データ処理の構成に映像設定処理部１４０を加えた構成が、符号ＥＸ２が示す映像拡張機能処理の構成である。映像設定処理部１４０は、アプリケーション２に応じたフレームレートで共有メモリ１３０から撮像データを取得してアプリケーション２へ送信する。即ち、共有メモリ１３０とアプリケーション２との間に映像設定処理部１４０が設けられ、アプリケーション毎にフレームレートの設定等が可能となっている。ここでは、映像設定処理部１４０の構成について詳しく説明する。
【0055】
映像設定処理部１４０は、例えばライブラリとして提供することができる。映像設定処理部１４０は、ライブラリを呼び出して実行することにより実現する機能構成として、映像取得部１４１と、映像設定部１４２と、情報設定部１４３と、情報取得部１４４とを備えている。
【0056】
映像取得部１４１は、情報設定部１４３により設定されたフレームレートで共有メモリ１３０から撮像データを取得してアプリケーション２へ送信する。
【0057】
映像設定部１４２は、アプリケーション２で処理された処理後撮像データを共有メモリ１３０に書き込む。
【0058】
情報設定部１４３は、アプリケーション２からフレームレートに関する要求情報を取得し、要求情報に基づいてフレームレートを設定する。
【0059】
情報取得部１４４は、共有メモリ１３０から取得する撮像データの情報を取得してアプリケーション２へ送信する。撮像データの情報には、例えば、データ形式、解像度などの情報が含まれる。
【0060】
（映像拡張機能処理の動作）
次に図８及び図９を参照して、情報処理装置１０における映像拡張機能処理の動作を説明する。
図８は、本実施形態に係る映像拡張機能処理の第１例を示すシーケンス図である。この図に示す映像拡張機能処理は、アプリケーション２の種類が図６に示すアプリＡに分類されるアプリケーションであって、アプリケーション２がリアルタイムに画像処理を行った処理後撮像データをアプリケーション１で使用する例である。ここでは、アプリケーション２は、３０ｆｐｓのフレームレートの撮像データに対して画像処理を行うものを例として説明する。
次に図８及び図９を参照して、情報処理装置１０における映像拡張機能処理の動作を説明する。
図８は、本実施形態に係る映像拡張機能処理の第１例を示すシーケンス図である。この図に示す映像拡張機能処理は、アプリケーション２の種類が図６に示すアプリＡに分類されるアプリケーションであって、アプリケーション２がリアルタイムに画像処理を行った処理後撮像データをアプリケーション１で使用する例である。ここでは、アプリケーション２は、３０ｆｐｓのフレームレートの撮像データに対して画像処理を行うものを例として説明する。
【0061】
（ステップＳ１０１）カメラ１６は、３０ｆｐｓで撮像した撮像データのＲａｗフレームを、ドライバ１１０を介して機能拡張部１２０へ送信する。機能拡張部１２０は、ドライバ１１０から撮像データのＲａｗフレームを取得する。
【0062】
（ステップＳ１０２）機能拡張部１２０は、ドライバ１１０を介してカメラ１６から取得する３０ｆｐｓの撮像データのＲａｗフレームを、取得する毎に共有メモリ１３０にコピーして書き込む。
【0063】
（ステップＳ１０３）アプリケーション２は、起動することに応じてフレームレートに関する要求情報を映像設定処理部１４０へ送信する。例えば、アプリケーション２は、必要とするフレームレートとして「３０ｆｐｓ」を要求する要求情報を映像設定処理部１４０へ送信する。
【0064】
（ステップＳ１０４）映像設定処理部１４０は、アプリケーション２から取得した要求情報に基づいてフレームレートを「３０ｆｐｓ」に設定し、設定した「３０ｆｐｓ」のフレームレートで共有メモリ１３０から撮像データのＲａｗフレームを読み出す。
【0065】
（ステップＳ１０５）映像設定処理部１４０は、「３０ｆｐｓ」のフレームレートで共有メモリ１３０から撮像データのＲａｗフレームを取得する。
【0066】
（ステップＳ１０６）映像設定処理部１４０は、共有メモリ１３０から撮像データのＲａｗフレームを取得する毎にアプリケーション２へ送信する。
【0067】
（ステップＳ１０７）アプリケーション２は、映像設定処理部１４０から取得した撮像データのＲａｗフレームに対して画像処理を行う。例えば、アプリケーション２は、映像設定処理部１４０から「３０ｆｐｓ」で撮像データのＲａｗフレームを取得する毎に画像処理を行い、処理後撮像データのフレームを生成する。
【0068】
（ステップＳ１０８）アプリケーション２は、生成した処理後撮像データのフレームを「３０ｆｐｓ」のフレームレートで映像設定処理部１４０へ送信する。
【0069】
（ステップＳ１０９）映像設定処理部１４０は、アプリケーション２から送信された処理後撮像データのフレームを取得する毎に共有メモリ１３０へ書き込む。
【0070】
（ステップＳ１１０）機能拡張部１２０は、共有メモリ１３０から処理後撮像データのフレームを「３０ｆｐｓ」のフレームレートで取得する。
【0071】
（ステップＳ１１１）機能拡張部１２０は、取得した処理後撮像データのフレームを「３０ｆｐｓ」のフレームレートでアプリケーション１へ送信する。
【0072】
図９は、本実施形態に係る映像拡張機能処理の第２例を示すシーケンス図である。この図に示す映像拡張機能処理は、アプリケーション２の種類が図６に示すアプリＢまたはアプリＣに分類されるアプリケーションであって、アプリケーション２による処理がアプリケーション１で使用される撮像データには影響しない例である。ここでは、アプリケーション２は、１０ｆｐｓのフレームレートの撮像データを用いてジェスチャーなどの認識処理を行うものを例として説明する。
【0073】
（ステップＳ２０１）カメラ１６は、３０ｆｐｓで撮像した撮像データのＲａｗフレームを、ドライバ１１０を介して機能拡張部１２０へ送信する。機能拡張部１２０は、ドライバ１１０から撮像データのＲａｗフレームを取得する。
【0074】
（ステップＳ２０２）機能拡張部１２０は、ドライバ１１０を介してカメラ１６から取得する３０ｆｐｓの撮像データのＲａｗフレームを、そのままアプリケーション１へ送信する。
【0075】
（ステップＳ２０３）機能拡張部１２０は、ドライバ１１０を介してカメラ１６から取得する３０ｆｐｓの撮像データのＲａｗフレームを、取得する毎に共有メモリ１３０にコピーして書き込む。
【0076】
（ステップＳ２０４）アプリケーション２は、起動することに応じてフレームレートに関する要求情報を映像設定処理部１４０へ送信する。例えば、アプリケーション２は、必要とするフレームレートとして「１０ｆｐｓ」を要求する要求情報を映像設定処理部１４０へ送信する。
【0077】
（ステップＳ２０５）映像設定処理部１４０は、アプリケーション２から取得した要求情報に基づいてフレームレートを「１０ｆｐｓ」に設定し、設定した「１０ｆｐｓ」のフレームレートで共有メモリ１３０から撮像データのＲａｗフレームを読み出す。
【0078】
（ステップＳ２０６）映像設定処理部１４０は、「１０ｆｐｓ」のフレームレートで共有メモリ１３０から撮像データのＲａｗフレームを取得する。
【0079】
（ステップＳ２０７）映像設定処理部１４０は、共有メモリ１３０から撮像データのＲａｗフレームを取得する毎にアプリケーション２へ送信する。
【0080】
（ステップＳ２０８）アプリケーション２は、映像設定処理部１４０から取得した撮像データのＲａｗフレームを用いてジェスチャーなどの認識処理を行う。例えば、アプリケーション２は、映像設定処理部１４０から「３０ｆｐｓ」で撮像データのＲａｗフレームを取得する毎に認識処理を行い、認識結果を出力する。
【0081】
以上説明したように、本実施形態に係る情報処理装置１０は、ドライバ１１０（映像取得部の一例）と、機能拡張部１２０（第１映像処理部の一例）と、映像設定処理部１４０（第２映像処理部の一例）を備えている。ドライバ１１０は、アプリケーション１（第１アプリケーション）の処理に応じてカメラ１６（撮像部の一例）から撮像データを取得する。機能拡張部１２０は、ドライバ１１０が取得した撮像データを、アプリケーション１以外のアプリケーション２（第２アプリケーション）の処理により使用可能なように共有メモリ１３０へ記憶させる。映像設定処理部１４０は、アプリケーション２に応じたフレームレートで共有メモリ１３０から撮像データを取得してアプリケーション２へ送信する。即ち、映像設定処理部１４０は、アプリケーション２に応じた時間間隔で共有メモリ１３０から撮像データを取得してアプリケーション２へ送信する。
【0082】
これにより、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、アプリケーション毎にフレームレートを最適化することにより処理負荷を低減させることができる。よって、本実施形態によれば、複数のアプリケーションがカメラ１６を使用する際の処理を効率化することができる。
【0083】
例えば、映像設定処理部１４０は、アプリケーション２からフレームレート（上記時間間隔の一例）に関する要求情報を取得し、取得した要求情報に基づくフレームレートで共有メモリ１３０から撮像データを取得してアプリケーション２へ送信する。
【0084】
これにより、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、アプリケーション毎にアプリケーションで必要なフレームレートに設定することができる。つまり、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、高フレームレートである必要が無いアプリケーションへ送信する撮像データのフレームレートを低下させることができるため、処理負荷を低減させることができる。
【0085】
なお、映像設定処理部１４０は、アプリケーション２からのフレームレートに関する要求情報を受け取るのではなく、アプリケーション２の識別情報などに基づいて、フレームレートを決めてもよい。例えば、複数のアプリケーション２のそれぞれの識別情報と、それぞれのフレームレート（上記時間間隔の一例）とが関連付けられた関連付けテーブルが予め設定されていてもよい。この場合、映像設定処理部１４０は、アプリケーション２から取得した識別情報と上記関連付けテーブルとに基づくフレームレートで共有メモリ１３０から撮像データを取得してアプリケーション２へ送信する。
【0086】
これにより、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、アプリケーション毎にアプリケーションで必要なフレームレートに設定することができる。例えば、情報処理装置１０は、フレームレートに関する要求情報の出力に対応していないアプリケーションであっても、上記の関連付けテーブルを設けることにより、アプリケーションで必要なフレームレートに設定することができる。つまり、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、高フレームレートである必要が無いアプリケーションへ送信する撮像データのフレームレートを低下させることができるため、処理負荷を低減させることができる。
【0087】
また、映像設定処理部１４０は、アプリケーション２へ送信した撮像データに対してアプリケーション２が処理を行った処理後撮像データをアプリケーション２から取得して共有メモリ１３０へ記憶させる。そして、機能拡張部１２０は、共有メモリ１３０から処理後撮像データを取得してアプリケーション１へ送信する。
【0088】
これにより、情報処理装置１０は、アプリケーション１が使用するカメラ１６の撮像データに対して、アプリケーション２（アプリケーション１以外のアプリケーション）の処理をリアルタイムに反映させることができる。
【0089】
本実施形態に係る情報処理装置１０における制御方法は、ドライバ１１０が、アプリケーション１（第１アプリケーション）の処理に応じてカメラ１６（撮像部の一例）から撮像データを取得するステップと、機能拡張部１２０が、ドライバ１１０が取得した撮像データを、アプリケーション１以外のアプリケーション２（第２アプリケーション）の処理により使用可能なように共有メモリ１３０へ記憶させるステップと、映像設定処理部１４０が、アプリケーション２に応じたフレームレートで共有メモリ１３０から撮像データを取得してアプリケーション２へ送信するステップと、を含む。即ち、映像設定処理部１４０は、アプリケーション２に応じた時間間隔で共有メモリ１３０から撮像データを取得してアプリケーション２へ送信する。
【0090】
これにより、情報処理装置１０における制御方法は、複数のアプリケーションがカメラ１６を使用する際に、アプリケーション毎にフレームレートを最適化することにより処理負荷を低減させることができる。よって、本実施形態によれば、複数のアプリケーションがカメラ１６を使用する際の処理を効率化することができる。
【0091】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、アプリケーション１とアプリケーション２の２つのアプリケーションがカメラ１６の撮像データを同時に使用する例を説明したが、アプリケーション１と複数のアプリケーション２がカメラ１６の撮像データを同時に使用することもできる。本実施形態では、アプリケーション２が複数である場合の態様を説明する。なお、情報処理装置１０の基本的な構成は、図１及び図３に示す構成と同様である。
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、アプリケーション１とアプリケーション２の２つのアプリケーションがカメラ１６の撮像データを同時に使用する例を説明したが、アプリケーション１と複数のアプリケーション２がカメラ１６の撮像データを同時に使用することもできる。本実施形態では、アプリケーション２が複数である場合の態様を説明する。なお、情報処理装置１０の基本的な構成は、図１及び図３に示す構成と同様である。
【0092】
図１０は、本実施形態に係る映像拡張機能処理の構成の一例を示すブロック図である。この図において、図７に示す各部に対応する構成には同一の符号を付している。この図１０に示す例は、３つのアプリケーション２が起動して、カメラ１６の撮像データを同時に使用する場合の構成を示している。符号ＥＸ２が示す映像拡張機能処理の構成は、３つのアプリケーション２のそれぞれに対応して３つの映像設定処理部１４０を備えることにより、カメラ１６の撮像データを同時に使用することができる。即ち、映像設定処理部１４０を増やした分だけ、アプリケーション２の数を増やすことができる。
【0093】
図示する例では、符号ＥＸ２が示す映像拡張機能処理の構成は、アプリケーション２－１に対して映像設定処理部１４０－１、アプリケーション２－２に対して映像設定処理部１４０－２、及びアプリケーション２－３に対して映像設定処理部１４０－３を備えている。アプリケーション２－１は、例えば図６に示すアプリＡに分類されるアプリケーションである。アプリケーション２－２は、例えば図６に示すアプリＢに分類されるアプリケーションである。アプリケーション２－３は、例えば図６に示すアプリＣに分類されるアプリケーションである。映像設定処理部１４０－１、１４０－２、及び１４０－３のそれぞれは、第１の実施形態で説明した映像設定処理部１４０と同様の処理を行う。これにより、アプリケーション１に加えて、アプリケーション２－１、２－２、及び２－３がカメラ１６の撮像データを同時に使用することができる。
【0094】
以上説明したように、本実施形態に係る情報処理装置１０は、複数のアプリケーション２（例えば２－１、２－２、及び２－３）のそれぞれに対応する複数の映像設定処理部１４０（例えば１４０－１、１４０－２、及び１４０－３）を備えている。複数の映像設定処理部１４０のそれぞれは、それぞれに対応するアプリケーション２に応じたフレームレートで共有メモリ１３０から撮像データを取得してそれぞれのアプリケーション２へ送信する。即ち、複数の映像設定処理部１４０のそれぞれは、それぞれに対応するアプリケーション２に応じた時間間隔で共有メモリ１３０から撮像データを取得してそれぞれのアプリケーション２へ送信する。
【0095】
これにより、情報処理装置１０は、３以上の複数のアプリケーションがカメラ１６を使用する際に、アプリケーション毎にフレームレートを最適化することができる。よって、本実施形態によれば、複数のアプリケーションがカメラ１６を使用する際の処理を効率化することができる。
【0096】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
本実施形態では、システムの状況に応じてさらにフレームレートを変更する構成例を説明する。システムの状況とは、例えばプロセッサの使用率である。第１及び第２の実施形態で説明したように、複数のアプリケーションがカメラ１６を同時に使用する際にアプリケーションに応じてフレームレートを設定することにより処理を効率化したとしても、プロセッサの使用率が所定の閾値以上になる懸念がある。その場合、情報処理装置１０は、アプリケーション２のフレームレートをさらに低下させる。なお、情報処理装置１０の基本的な構成は、図１及び図３に示す構成と同様である。
次に、本発明の第３の実施形態について説明する。
本実施形態では、システムの状況に応じてさらにフレームレートを変更する構成例を説明する。システムの状況とは、例えばプロセッサの使用率である。第１及び第２の実施形態で説明したように、複数のアプリケーションがカメラ１６を同時に使用する際にアプリケーションに応じてフレームレートを設定することにより処理を効率化したとしても、プロセッサの使用率が所定の閾値以上になる懸念がある。その場合、情報処理装置１０は、アプリケーション２のフレームレートをさらに低下させる。なお、情報処理装置１０の基本的な構成は、図１及び図３に示す構成と同様である。
【0097】
図１１は、本実施形態に係る映像拡張機能処理の構成の一例を示すブロック図である。この図において、図７に示す各部に対応する構成には同一の符号を付している。図１１に示す例では、符号ＥＸ２が示す映像拡張機能処理の構成が、システム監視部１５０を備える点が図７に示す構成と異なる。
【0098】
システム監視部１５０は、システムの状況に関するシステム情報を取得する。例えば、システム監視部１５０は、システムの状況に関するシステム情報として、プロセッサの使用率に関する情報をＣＰＵ１０１から取得する。プロセッサの使用率とは、例えば、ＣＰＵ使用率、ＧＰＵ使用率、またはＶＰＵ（Ｖｉｓｕａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）使用率等である。
【0099】
映像設定処理部１４０は、システム監視部１５０からシステム情報を取得し、取得したシステム情報に含まれるプロセッサの使用率に基づいて、共有メモリ１３０から撮像データを取得する際のフレームレートをさらに変更してアプリケーション２へ送信する。なお、図１１に示す例は、アプリケーション２が１つの場合の構成を示しているが、図１０に示す構成にシステム監視部１５０を加えることにより、アプリケーション２が複数の場合も同様に適用できる。その場合、複数の映像設定処理部１４０のそれぞれが、システム監視部１５０が取得するシステム情報に基づいて、それぞれのアプリケーション２へ送信する撮像データのフレームレートをさらに変更する。ここでは、プロセッサの使用率の一例としてＣＰＵ使用率によってフレームレート変更する処理を説明する。
【0100】
図１２は、ＣＰＵ使用率の閾値とフレームレートの低下率との対応付けの一例を示す図である。図示する例は、ＣＰＵ使用率が８０％以上になった場合にはフレームレートを２０％低下（－２０％）させ、ＣＰＵ使用率が９０％以上になった場合にはフレームレートを５０％低下（－５０％）させることを示している。なお、この図に示すＣＰＵ使用率の閾値及びフレームレートの低下率は一例であって、これに限られるものではない。
【0101】
図１３は、本実施形態に係るＣＰＵ使用率によるフレームレート変更処理の一例を示すフローチャートである。
（ステップＳ３０１）映像設定処理部１４０は、システム監視部１５０からシステム情報を取得する。
（ステップＳ３０１）映像設定処理部１４０は、システム監視部１５０からシステム情報を取得する。
【0102】
（ステップＳ３０２）映像設定処理部１４０は、ステップＳ３０１で取得したシステム情報に含まれるＣＰＵ使用率が所定の閾値以上であるか否かを判定する。映像設定処理部１４０は、ＣＰＵ使用率が所定の閾値以上であると判定した場合（ＹＥＳ）、ステップＳ３０３の処理に進む。一方、映像設定処理部１４０は、ＣＰＵ使用率が所定の閾値未満であると判定した場合（ＮＯ）、ステップＳ３０３の処理を行わない。
【0103】
（ステップＳ３０３）映像設定処理部１４０は、アプリケーション２へ送信する撮像データのフレームレートを下げる。例えば、映像設定処理部１４０は、ステップＳ３０２でＣＰＵ使用率が８０％以上であると判定した場合、フレームレートを２０％低下させる。また例えば、映像設定処理部１４０は、ステップＳ３０２でＣＰＵ使用率が９０％以上であると判定した場合、フレームレートを５０％低下させる。
【0104】
具体的には、一例として、アプリケーション２へ送信する撮像データのフレームレートが３０ｆｐｓであったとする。その場合、映像設定処理部１４０は、ＣＰＵ使用率が８０％以上になると３０ｆｐｓを２４ｆｐｓに変更し、ＣＰＵ使用率が９０％以上になると３０ｆｐｓを１５ｆｐｓに変更する。
【0105】
また一例として、アプリケーション２が複数の場合には、それぞれの映像設定処理部１４０は、それぞれのアプリケーション２へ送信する撮像データのフレームレートをＣＰＵ使用率に基づいて一律に変更する。例えば、図１０に示す構成にシステム監視部１５０を加えた構成を例に説明する。アプリケーション２－１のフレームレートが３０ｆｐｓ、アプリケーション２－２のフレームレートが１０ｆｐｓ、及びアプリケーション２－３のフレームレートが１ｆｐｓであったとする。その場合、映像設定処理部１４０－１は、アプリケーション２－１のフレームレートを、ＣＰＵ使用率が８０％以上になると２４ｆｐｓに変更し、ＣＰＵ使用率が９０％以上になると１５ｆｐｓに変更する。映像設定処理部１４０－２は、アプリケーション２－２のフレームレートを、ＣＰＵ使用率が８０％以上になると８ｆｐｓに変更し、ＣＰＵ使用率が９０％以上になると５ｆｐｓに変更する。映像設定処理部１４０－３は、アプリケーション２－３のフレームレートを、ＣＰＵ使用率が８０％以上になると０．８ｆｐｓに変更し、ＣＰＵ使用率が９０％以上になると０．５ｆｐｓに変更する。
【0106】
以上説明したように、本実施形態に係る情報処理装置１０は、システムの状況に関するシステム情報を取得するシステム監視部１５０（システム情報取得部の一例）をさらに備えている。映像設定処理部１４０は、システム監視部１５０が取得するシステム情報に基づいて、共有メモリ１３０から撮像データを取得する際のフレームレートをさらに変更する。即ち、映像設定処理部１４０は、システム監視部１５０が取得するシステム情報に基づいて、共有メモリ１３０から撮像データを取得する際の時間間隔をさらに変更する。
【0107】
これにより、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、システムの状況によってはさらに処理負荷を低減させることができる。よって、本実施形態によれば、複数のアプリケーションがカメラ１６を使用する際の処理を効率化することができる。
【0108】
例えば、システム情報は、プロセッサの使用率に関する情報である。映像設定処理部１４０は、システム監視部１５０が取得するシステム情報に基づいてプロセッサの使用率（例えば、ＣＰＵ使用率）が所定の閾値以上であると判定した場合、共有メモリ１３０から撮像データを取得する際のフレームレートを、アプリケーション２に応じたフレームレートよりも低下させる。即ち、映像設定処理部１４０は、システム監視部１５０が取得するシステム情報に基づいてプロセッサの使用率（例えば、ＣＰＵ使用率）が所定の閾値以上であると判定した場合、共有メモリ１３０から撮像データを取得する際の時間間隔を、アプリケーション２に応じた時間間隔よりも長くする。
【0109】
これにより、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、プロセッサの使用率が高くなった場合、さらに処理負荷を低減させプロセッサの使用率を低減させることができる。
【0110】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
本実施形態は、第３の実施形態と同様にシステムの状況に応じてさらにフレームレートを変更する構成であるが、システムの状況がバッテリ２２の残容量である。バッテリ２２の残容量が減ってくると、給電状態を維持するために消費電力を低減させることが必要となり、それにはフレームレートを低下させることが有効である。そこで、情報処理装置１０は、バッテリ２２の残容量が所定の閾値以下に低下した場合、アプリケーション２のフレームレートをさらに低下させる。なお、本実施形態に係る映像拡張機能処理の構成は、図１１に示す構成と同様である。
次に、本発明の第４の実施形態について説明する。
本実施形態は、第３の実施形態と同様にシステムの状況に応じてさらにフレームレートを変更する構成であるが、システムの状況がバッテリ２２の残容量である。バッテリ２２の残容量が減ってくると、給電状態を維持するために消費電力を低減させることが必要となり、それにはフレームレートを低下させることが有効である。そこで、情報処理装置１０は、バッテリ２２の残容量が所定の閾値以下に低下した場合、アプリケーション２のフレームレートをさらに低下させる。なお、本実施形態に係る映像拡張機能処理の構成は、図１１に示す構成と同様である。
【0111】
システム監視部１５０は、システムの状況に関するシステム情報として、バッテリ２２の残容量に関する情報をＥＣ２０から取得する。映像設定処理部１４０は、システム監視部１５０からシステム情報を取得し、取得したシステム情報に含まれるバッテリ２２の残容量に基づいて、共有メモリ１３０から撮像データを取得する際のフレームレートをさらに変更してアプリケーション２へ送信する。
【0112】
図１４は、バッテリ２２の残容量の閾値とフレームレートの低下率との対応付けの一例を示す図である。図示する例は、バッテリ２２の残容量が２０％以下になった場合にはフレームレートを２０％低下（－２０％）させ、バッテリ２２の残容量が１０％以下になった場合にはフレームレートを５０％低下（－５０％）させることを示している。なお、この図に示すバッテリ２２の残容量の閾値及びフレームレートの低下率は一例であって、これに限られるものではない。
【0113】
図１５は、本実施形態に係るバッテリ残容量によるフレームレート変更処理の一例を示すフローチャートである。
（ステップＳ４０１）映像設定処理部１４０は、システム監視部１５０からシステム情報を取得する。
（ステップＳ４０１）映像設定処理部１４０は、システム監視部１５０からシステム情報を取得する。
【0114】
（ステップＳ４０２）映像設定処理部１４０は、ステップＳ４０１で取得したシステム情報に含まれるバッテリ２２の残容量が所定の閾値以下であるか否かを判定する。映像設定処理部１４０は、バッテリ２２の残容量が所定の閾値以下であると判定した場合（ＹＥＳ）、ステップＳ４０３の処理に進む。一方、映像設定処理部１４０は、バッテリ２２の残容量が所定の閾値以上であると判定した場合（ＮＯ）、ステップＳ４０３の処理を行わない。
【0115】
（ステップＳ４０３）映像設定処理部１４０は、アプリケーション２へ送信する撮像データのフレームレートを下げる。例えば、映像設定処理部１４０は、ステップＳ４０２でバッテリ２２の残容量が２０％以下であると判定した場合、フレームレートを２０％低下させる。また例えば、映像設定処理部１４０は、ステップＳ３０２でバッテリ２２の残容量が１０％以下であると判定した場合、フレームレートを５０％低下させる。
【0116】
具体的には、一例として、アプリケーション２へ送信する撮像データのフレームレートが３０ｆｐｓであったとする。その場合、映像設定処理部１４０は、バッテリ２２の残容量が２０％以下になると３０ｆｐｓを２４ｆｐｓに変更し、バッテリ２２の残容量が１０％以下になると３０ｆｐｓを１５ｆｐｓに変更する。なお、アプリケーション２が複数の場合には、図１０に示す構成にシステム監視部１５０を加えた構成とすることで、複数のアプリケーション２のそれぞれに対応する映像設定処理部１４０は、それぞれのアプリケーション２へ送信する撮像データのフレームレートをＣＰＵ使用率に基づいて一律に変更する。
【0117】
以上説明したように、本実施形態に係るシステム情報は、情報処理装置１０へ給電するバッテリ２２（二次電池の一例）の残容量に関する情報である。映像設定処理部１４０は、システム監視部１５０が取得するシステム情報に基づいてバッテリ２２の残容量が所定の閾値より低下したと判定した場合、共有メモリ１３０から撮像データを取得する際のフレームレートを、アプリケーション２に応じたフレームレートよりも低下させる。即ち、映像設定処理部１４０は、システム監視部１５０が取得するシステム情報に基づいてバッテリ２２の残容量が所定の閾値より低下したと判定した場合、共有メモリ１３０から撮像データを取得する際の時間間隔を、アプリケーション２に応じた時間間隔よりも長くする。
【0118】
これにより、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、バッテリ２２の残容量が少なくなった場合、さらに処理負荷を低減させ消費電力を低減させることができる。
【0119】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。
本実施形態は、第３及び第４の実施形態と同様にシステムの状況に応じてさらにフレームレートを変更する構成であるが、システムの状況が通信ネットワークの品質である。例えば、ビデオ会議を行うアプリケーションで通信ネットワークを介して他の参加者と映像を見ながら会議をしている場合、通信ネットワークの品質が低下してくると、フレームのコマ落ちが発生する。そのため、映像のフレームレートを高くして他の参加者の端末装置へ送信しても、送信先では、結果的にフレームレートが低下してしまう。そこで、情報処理装置１０は、通信ネットワークの品質が所定の閾値以下に低下した場合、アプリケーション２のフレームレートをさらに低下させる。通信ネットワークの品質は、通信速度、帯域幅、ジッタ、パケット紛失率、遅延などの任意の指標を用いることができる。例えば、通信ネットワークの品質は、ＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）等の通信品質の計測や評価指標に基づくものであってもよい。なお、本実施形態に係る映像拡張機能処理の構成は、図１１に示す構成と同様である。
次に、本発明の第５の実施形態について説明する。
本実施形態は、第３及び第４の実施形態と同様にシステムの状況に応じてさらにフレームレートを変更する構成であるが、システムの状況が通信ネットワークの品質である。例えば、ビデオ会議を行うアプリケーションで通信ネットワークを介して他の参加者と映像を見ながら会議をしている場合、通信ネットワークの品質が低下してくると、フレームのコマ落ちが発生する。そのため、映像のフレームレートを高くして他の参加者の端末装置へ送信しても、送信先では、結果的にフレームレートが低下してしまう。そこで、情報処理装置１０は、通信ネットワークの品質が所定の閾値以下に低下した場合、アプリケーション２のフレームレートをさらに低下させる。通信ネットワークの品質は、通信速度、帯域幅、ジッタ、パケット紛失率、遅延などの任意の指標を用いることができる。例えば、通信ネットワークの品質は、ＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）等の通信品質の計測や評価指標に基づくものであってもよい。なお、本実施形態に係る映像拡張機能処理の構成は、図１１に示す構成と同様である。
【0120】
図１６は、本実施形態に係る通信ネットワークの品質によるフレームレート変更処理の一例を示すフローチャートである。
（ステップＳ５０１）映像設定処理部１４０は、システム監視部１５０からシステム情報を取得する。
（ステップＳ５０１）映像設定処理部１４０は、システム監視部１５０からシステム情報を取得する。
【0121】
（ステップＳ５０２）映像設定処理部１４０は、ステップＳ５０１で取得したシステム情報に含まれる通信ネットワークの品質が所定の閾値以下であるか否かを判定する。映像設定処理部１４０は、通信ネットワークの品質が所定の閾値以下であると判定した場合（ＹＥＳ）、ステップＳ５０３の処理に進む。一方、映像設定処理部１４０は、通信ネットワークの品質が所定の閾値以上であると判定した場合（ＮＯ）、ステップＳ５０３の処理を行わない。
【0122】
（ステップＳ５０３）映像設定処理部１４０は、アプリケーション２へ送信する撮像データのフレームレートを下げる。
【0123】
具体的には、一例として、アプリケーション２へ送信する撮像データのフレームレートが３０ｆｐｓであったとする。しかしながら、通信ネットワークの品質が低下したことにより３０ｆｐｓで送信できない場合、映像設定処理部１４０は、３０ｆｐｓを１５ｆｐｓに変更する。映像設定処理部１４０は、通信ネットワークの品質の低下に応じて、アプリケーション２へ送信する撮像データのフレームレートを通信でき得るフレームレート最大値まで低下させてもよい。
【0124】
なお、アプリケーション２が複数の場合には、図１０に示す構成にシステム監視部１５０を加えた構成とすることで、複数のアプリケーション２のそれぞれに対応する映像設定処理部１４０は、それぞれのアプリケーション２へ送信する撮像データのフレームレートをＣＰＵ使用率に基づいて一律に変更する。
【0125】
以上説明したように、本実施形態に係るシステム情報は、通信ネットワークの品質に関する情報である。映像設定処理部１４０は、システム監視部１５０が取得するシステム情報に基づいて通信ネットワークの品質が所定の閾値以下に低下したと判定した場合、共有メモリ１３０から撮像データを取得する際のフレームレートを、アプリケーション２に応じたフレームレートよりも低下させる。即ち、映像設定処理部１４０は、システム監視部１５０が取得するシステム情報に基づいて通信ネットワークの品質が所定の閾値以下に低下したと判定した場合、共有メモリ１３０から撮像データを取得する際の時間間隔を、アプリケーション２に応じた時間間隔よりも長くする。
【0126】
これにより、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、通信ネットワークの品質が低下した場合にはフレームレートを低下させることにより、さらに処理負荷を低減させることができる。
【0127】
＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。
本実施形態では、ユーザが存在するか否かに応じてさらにフレームレートを変更する構成例を説明する。ユーザが存在しないとは、情報処理装置１０を使用している人物が存在していない状態である。例えば、ユーザが存在しないとは、情報処理装置１０を使用していたユーザが一時的に離席した状態等である。この状態では、高フレームレートである必要性が低下するため、情報処理装置１０は、アプリケーション２のフレームレートをさらに低下させる。なお、情報処理装置１０の基本的な構成は、図１及び図３に示す構成と同様である。
次に、本発明の第６の実施形態について説明する。
本実施形態では、ユーザが存在するか否かに応じてさらにフレームレートを変更する構成例を説明する。ユーザが存在しないとは、情報処理装置１０を使用している人物が存在していない状態である。例えば、ユーザが存在しないとは、情報処理装置１０を使用していたユーザが一時的に離席した状態等である。この状態では、高フレームレートである必要性が低下するため、情報処理装置１０は、アプリケーション２のフレームレートをさらに低下させる。なお、情報処理装置１０の基本的な構成は、図１及び図３に示す構成と同様である。
【0128】
図１７は、本実施形態に係る映像拡張機能処理の構成の一例を示すブロック図である。この図において、図７に示す各部に対応する構成には同一の符号を付している。図１７に示す例では、符号ＥＸ２が示す映像拡張機能処理の構成が、人物検出部１６０を備える点が図７に示す構成と異なる。
【0129】
人物検出部１６０は、表示部１５またはカメラ１６に対面する側に人物が存在するか否かを検出する。例えば、赤外線などを利用して物体を検出する不図示の検出センサを第１筐体１１の内面に設けられた構成としてもよい。そして、人物検出部１６０は、当該検出センサを用いて表示部１５またはカメラ１６に対面する側に人物が存在するか否かを検出してもよい。なお、人物検出部１６０は、人物の存在や離脱を検出するアプリケーション２を用いて、カメラ１６の撮像データに基づいて表示部１５またはカメラ１６に対面する側に人物が存在するか否かを検出してもよい。
【0130】
映像設定処理部１４０は、人物検出部１６０により表示部１５またはカメラ１６に対面する側に人物の存在を検出できない場合、共有メモリ１３０から撮像データを取得する際のフレームレートを、アプリケーション２に応じたフレームレート低下させる。
【0131】
図１８は、ユーザの存在とフレームレートの低下率との対応付けの一例を示す図である。図示する例は、ユーザが存在する場合にはフレームレートを変更せず、ユーザが存在しない場合にはフレームレートを５０％低下（－５０％）させることを示している。なお、この図に示すフレームレートの低下率は一例であって、これに限られるものではない。
【0132】
図１９は、本実施形態に係るユーザの存在の有無によるフレームレート変更処理の一例を示すフローチャートである。
（ステップＳ６０１）映像設定処理部１４０は、人物検出部１６０から人物が存在するか否かの検出結果を取得する。
（ステップＳ６０１）映像設定処理部１４０は、人物検出部１６０から人物が存在するか否かの検出結果を取得する。
【0133】
（ステップＳ６０２）映像設定処理部１４０は、ステップＳ６０１で取得した検出結果が、人物が存在することを示す検出結果であるか否かを判定する。映像設定処理部１４０は、人物が存在しないことを示す検出結果であると判定した場合（ＮＯ）、ステップＳ６０３の処理に進む。一方、映像設定処理部１４０は、人物が存在することを示す検出結果であると判定した場合（ＹＥＳ）、ステップＳ６０３の処理を行わない。
【0134】
（ステップＳ６０３）映像設定処理部１４０は、アプリケーション２へ送信する撮像データのフレームレートを下げる。例えば、映像設定処理部１４０は、アプリケーション２へ送信する撮像データのフレームレートを５０％低下させる。
【0135】
具体的には、一例として、アプリケーション２へ送信する撮像データのフレームレートが３０ｆｐｓであったとする。しかしながら、映像設定処理部１４０は、表示部１５またはカメラ１６に対面する側に人物の存在を検出できない場合、例えば、３０ｆｐｓを１５ｆｐｓに変更する。
【0136】
なお、アプリケーション２が複数の場合には、図１０に示す構成にシステム監視部１５０を加えた構成とすることで、複数のアプリケーション２のそれぞれに対応する映像設定処理部１４０は、それぞれのアプリケーション２へ送信する撮像データのフレームレートをユーザの存在の有無に基づいて一律に変更する。
【0137】
以上説明したように、本実施形態に係る情報処理装置１０は、撮像データに基づく映像を表示する表示部１５と、表示部１５またはカメラ１６に対面する側に存在する人物を検出する人物検出部１６０と、をさらに備えている。映像設定処理部１４０は、人物検出部１６０が表示部１５またはカメラ１６に対面する側に人物の存在を検出できない場合、共有メモリ１３０から撮像データを取得する際のフレームレートを、アプリケーション２に応じたフレームレートよりも低下させる。即ち、映像設定処理部１４０は、人物検出部１６０が表示部１５またはカメラ１６に対面する側に人物の存在を検出できない場合、共有メモリ１３０から撮像データを取得する際の時間間隔を、アプリケーション２に応じた時間間隔よりも長くする。
【0138】
これにより、情報処理装置１０は、複数のアプリケーションがカメラ１６を使用する際に、ユーザが対面する側に存在しない場合にはフレームレートを低下させることにより、さらに処理負荷を低減させることができる。
【0139】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。例えば、上記の各実施形態で説明した構成は、任意に組み合わせてもよい。
【0140】
なお、上記実施形態では、カメラ１６で撮像された撮像データが動画であって、その動画のフレームレートを変更する構成例を説明したが、撮像データは、所定の時間間隔で撮像された静止画であって、その時間間隔を変更する構成としてもよい。
【0141】
また、上述した情報処理装置１０は、内部にコンピュータシステムを有している。そして、上述した情報処理装置１０のそれぞれが備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理装置１０のそれぞれが備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。
【0142】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理装置１０が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0143】
また、上述した実施形態における情報処理装置１０が備える各機能の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0144】
また、上述した実施形態では、情報処理装置１０がノートＰＣである例を説明したが、デスクトップ型やタブレット型のＰＣであってもよいし、カメラを有するテレビ会議システム、コミュニケーションデバイス、ロボット、スマートフォンやゲーム機などであってもよい。また、カメラ１６は、情報処理装置１０に内蔵されたものに限らず、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等で接続される外部機器であってもよい。
【符号の説明】
【0145】
１０ 情報処理装置、１１ 第１筐体、１２ 第２筐体、１３ ヒンジ機構、１５ 表示部、１６ カメラ、１７ 通信部、１８ 記憶部、１９ 入力部、２０ ＥＣ、２１ 電源部、２２ バッテリ、１００ システム処理部、１０１ ＣＰＵ、１０２ ＧＰＵ、１０３ メモリコントローラ、１０４ Ｉ／Ｏコントローラ、１０５システムメモリ、１１０ ドライバ、１２０ 機能拡張部、１３０ 共有メモリ、１４０ 映像設定処理部、１４１ 映像取得部、１４２ 映像設定部、１４３ 情報設定部、１４４ 情報取得部、１５０ システム監視部、１６０ 人物検出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】