IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ リベラルロジック株式会社の特許一覧

特許7456702プログラム、情報処理システム及び情報処理方法
<>
  • 特許-プログラム、情報処理システム及び情報処理方法 図1
  • 特許-プログラム、情報処理システム及び情報処理方法 図2
  • 特許-プログラム、情報処理システム及び情報処理方法 図3
  • 特許-プログラム、情報処理システム及び情報処理方法 図4
  • 特許-プログラム、情報処理システム及び情報処理方法 図5
  • 特許-プログラム、情報処理システム及び情報処理方法 図6
  • 特許-プログラム、情報処理システム及び情報処理方法 図7
  • 特許-プログラム、情報処理システム及び情報処理方法 図8
  • 特許-プログラム、情報処理システム及び情報処理方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-03-18
(45)【発行日】2024-03-27
(54)【発明の名称】プログラム、情報処理システム及び情報処理方法
(51)【国際特許分類】
   H04N 5/265 20060101AFI20240319BHJP
   H04N 23/60 20230101ALI20240319BHJP
   H04N 7/18 20060101ALI20240319BHJP
【FI】
H04N5/265
H04N23/60 100
H04N7/18 F
【請求項の数】 7
(21)【出願番号】P 2024001924
(22)【出願日】2024-01-10
(62)【分割の表示】P 2023189761の分割
【原出願日】2023-11-07
【審査請求日】2024-01-10
【早期審査対象出願】
(73)【特許権者】
【識別番号】520486269
【氏名又は名称】リベラルロジック株式会社
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】中村 晋一郎
【審査官】鈴木 明
(56)【参考文献】
【文献】国際公開第2006/033178(WO,A1)
【文献】特開2021-118399(JP,A)
【文献】特開2002-368978(JP,A)
【文献】特開2015-046692(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/262-5/278
H04N 23/00-23/959
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
撮影現場で用いられ、複数の撮像装置とは別体のコンピュータに読み出され、前記複数の撮像装置によって撮像された画像データを俯瞰可能なプログラムであって、
前記コンピュータに次の各ステップを実行させ、
受信ステップでは、前記複数の撮像装置によって撮像中の複数の第1の画像データを並列的に受信し、
読出ステップでは、予め記憶部に記憶されている第2の画像データを読み出し、
表示制御ステップでは、プレビュー画面において、撮像中の前記複数の第1の画像データのうちの少なくとも1つに前記第2の画像データを重畳して、継続的に表示させ、ここで前記プレビュー画面は、前記第1の画像データ及び前記第2の画像データの一方に対する他方の透過度を調整可能なスライダーを有する、プログラム。
【請求項2】
請求項1に記載のプログラムにおいて、
前記表示制御ステップでは、前記プレビュー画面において、撮像中の被撮像体に、前記被撮像体の輪郭に対応した形状を有する輪郭体を重畳して、継続的に表示させ、
前記被撮像体は、前記第1の画像データに対応し、
前記輪郭体は、前記第2の画像データに対応している、プログラム。
【請求項3】
請求項1に記載のプログラムにおいて
記表示制御ステップでは、前記プレビュー画面において、撮像中の複数の前記第1の画像データを同時に表示させる、プログラム。
【請求項4】
請求項1に記載のプログラムにおいて、
前記表示制御ステップにおいて、前記プレビュー画面における前記第2の画像データの表示位置は、予め定められた位置に設定可能である、プログラム。
【請求項5】
請求項1に記載のプログラムにおいて、
前記読出ステップにおいて、前記第2の画像データが、ユーザによって選択可能である、プログラム。
【請求項6】
情報処理システムであって、
請求項1~の何れか1つに記載のプログラムの各ステップがなされるように前記プログラムを実行可能な、少なくとも1つのプロセッサを備える、システム。
【請求項7】
情報処理方法であって、
請求項1~の何れか1つに記載のプログラムの各ステップを備える、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理システム及び情報処理方法に関する。
【背景技術】
【0002】
従来の技術において、撮影現場で撮影された画像(動画)データの色データ等を監督等の指示に応じて編集する技術が開示されている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-046692号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像(動画)データの編集にあたり、例えば、被撮像体の位置が所望の位置からずれていると、データの編集の作業負担が増大する等し、煩雑な状況に至る懸念がある。
【0005】
本発明では上記事情を鑑み、画像(動画)データの編集にあたり、煩雑な状況となることを回避する技術を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、撮影現場で用いられるプログラムが提供される。このプログラムは、コンピュータに次の各ステップを実行させる。受信ステップでは、撮像装置によって撮像中の第1の画像データを受信する。読出ステップでは、予め記憶部に記憶されている第2の画像データを読み出す。表示制御ステップでは、プレビュー画面において、撮像中の第1の画像データに第2の画像データを重畳して、継続的に表示させる。プレビュー画面は、第1の画像データ及び第2の画像データの一方に対する他方の透過度を調整可能に構成される。
【0007】
本開示によれば、画像(動画)データの編集にあたり、煩雑な状況となることを回避することが可能となる。
【図面の簡単な説明】
【0008】
図1】情報処理システム1のシステム構成の一例である。
図2】情報処理装置2のハードウェア構成を示すブロック図である。
図3】本実施形態に係る情報処理装置2における制御部23等によって実現される機能を示すブロック図である。
図4】実施形態に係る情報処理の一例を示すアクティビティ図である。
図5】表示装置4に表示されるプレビュー画面の概要構成を示す図である。
図6図5に示すプレビュー画面中に含まれる任意の1チャンネルの重畳画像51と、透過度を調整するためのオブジェクトとを示した図である。
図7】透過度の設定を、図6に示す撮像画像の透過度よりも大きくなるように調整した後の状態を示す図である。
図8】被撮像体(実施形態では人間)が選択画像の輪郭体からずれた状態を示している。
図9】変形例に係る情報処理システムのプレビュー画面中の重畳画像51とオブジェクト31の一例を示している。
【発明を実施するための形態】
【0009】
[実施形態]
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non-Transitory Computer-Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント装置でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0013】
1.システム構成
1.1 情報処理システム1
図1は、情報処理システム1のシステム構成の一例である。一例において、情報処理システム1は、情報処理装置2と、複数の撮像装置3と、表示装置4とを備える。複数の撮像装置3は、情報処理装置2に汎用又は専用の通信規格を介して接続されている。表示装置4は、情報処理装置2に汎用又は専用の通信規格を介して接続されている。ここで、情報処理システム1に例示されるシステムとは、1つ又はそれ以上の装置又は構成要素からなるものである。したがって、情報処理装置2単体であっても情報処理システム1に例示されるシステムに含まれる。以下、情報処理システム1に含まれる各構成要素についてさらに説明する。
【0014】
1.2 情報処理装置2
図2は、情報処理装置2のハードウェア構成を示すブロック図である。情報処理装置2は、通信部21と、記憶部22と、制御部23と、入力部25とを有し、これらの構成要素が情報処理装置2の内部において通信バス20を介して電気的に接続されている。各構成要素についてさらに説明する。
【0015】
通信部21は、USB、IEEE1394、Thunderbolt(登録商標)、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、3G/LTE/5G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置2は、通信部21及び通信ネットワークを介して、外部から種々の情報を通信してもよい。特に好ましくは、通信部21は、汎用又は専用の通信規格を介して複数の撮像装置3及び表示装置4とそれぞれ接続されている。
【0016】
記憶部22は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部23によって実行される情報処理装置2に係る種々のプログラム等を記憶するソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。記憶部22は、制御部23によって実行される情報処理装置2に係る種々のプログラムや変数等を記憶している。
【0017】
制御部23は、情報処理装置2に関連する全体動作の処理・制御を行う。制御部23は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部23は、記憶部22に記憶された所定のプログラムを読み出すことによって、情報処理装置2に係る種々の機能を実現する。すなわち、記憶部22に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部23によって具体的に実現されることで、制御部23に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部23は単一であることに限定されず、機能ごとに複数の制御部23を有するように実施してもよい。またそれらの組合せであってもよい。すなわち、制御部23は、後述の各ステップを実行させるプログラムを実行可能なプロセッサの一例である。
【0018】
入力部25は、情報処理装置2の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部25は、後述の表示装置4と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、QWERTYキーボード等を採用してもよい。すなわち、入力部25がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス20を介して制御部23に転送され、制御部23が必要に応じて所定の制御や演算を実行しうる。
【0019】
なお、情報処理装置2は、汎用OSをインストールされたコンピュータでもよいし、信号処理に係る専用回路を搭載した専用装置であってもよい。
【0020】
1.3 撮像装置3
撮像装置3は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ(カメラ)である。撮像装置3の分解能は特に限定されず、空間分解能(解像度)が高い撮像装置3が採用されてもよいし、時間分解能(フレームレート)が高い撮像装置3が採用されることが好ましい。一例では、n個の撮像装置3として、撮像装置3-1,3-2,3-3・・・3-nが、情報処理装置2に接続されている。
【0021】
撮像装置3の解像度は、フルHD以下でもよいし、フルHDでもよいし、WQHDでもよいし、2Kでもよいし、4Kでもよいし、8Kでもよいし、それ以上でもよい。
【0022】
撮像装置3のフレームレートは、具体的には例えば、1,2,10,15,20,25,30,45,60,100,125,150,175,200,225,250,275,300,325,350,375,400,425,450,475,500,525,550,575,600,625,650,675,700,725,750,775,800,825,850,875,900,925,950,975,1000,1025,1050,1075,1100,1125,1150,1175,1200,1225,1250,1275,1300,1325,1350,1375,1400,1425,1450,1475,1500,1525,1550,1575,1600,1625,1650,1675,1700,1725,1750,1775,1800,1825,1850,1875,1900,1925,1950,1975,2000fpsであり、ここで例示した数値の何れか2つの間の範囲内であってもよい。あるいは、1フレームに1秒以上を有する処理レートでもよい。
【0023】
1.4 表示装置4
表示装置4は、情報処理装置2より出力された時系列画像(映像)を表示可能に構成される。表示装置4は、例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等である。また、表示装置4は、不図示の音声出力部を備えていてもよい。音声出力部は、情報処理装置2より出力された映像の音声を出力可能に構成される。なお、情報処理システム1が複数の表示装置4を有するように実施してもよい。
【0024】
2.機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部22に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部23によって具体的に実現されることで、制御部23に含まれる各機能部が実行されうる。
【0025】
図3は、本実施形態に係る情報処理装置2における制御部23等によって実現される機能を示すブロック図である。具体的には、情報処理装置2は、各機能部として、読出部231と、受付部232と、重畳処理部233と、出力部235とを備える。
【0026】
読出部231は、記憶部22に記憶された種々の情報を、記憶部22のキャッシュメモリに書き出すことで、読み出すように構成される。
【0027】
受付部232は、種々の情報を外部から受け付けるように構成される。好ましくは、撮像装置3より出力される映像を受信する。
【0028】
重畳処理部233は、撮像装置3により撮像される映像(画像や動画)に、別の画像(動画)を重畳させる。
【0029】
出力部235は、種々の情報、又はこれらを含む画面、画像等を、表示装置4で視認可能な態様で表示させる。出力部235は、視覚情報を表示装置4に表示させるためのレンダリング情報だけを生成してもよい。また、出力部235は、音声データを出力してもよいし、メタデータを出力してもよい。
【0030】
3.情報処理システム1の動作の流れ
実施形態の情報処理システム1で実行される好ましい情報処理の一例を説明する。
【0031】
3.1 情報処理の概要
実施形態に係るプログラムは、撮影現場で用いられるプログラムである。そして、このプログラムは、コンピュータに次の各ステップを実行させる。つまり、当該プログラムは、以下で説明するように、受信ステップと、読出ステップと、表示制御ステップとを実行させる。
【0032】
また、情報処理システム1は、このプログラムの各ステップがなされるようにプログラムを実行可能な、少なくとも1つのプロセッサ(例えば、制御部23)を備える。
【0033】
また、情報処理システム1によって実行される情報処理方法は、プログラムの各ステップを備える。
【0034】
なお、上記各ステップに関して、開始の順番は記載の順番に限定されるものではない。例えば、受信ステップと読出ステップとの順番に関して、読出ステップを先に開始してもよいし、その逆であってもよいし、同時であってもよい。
【0035】
図4は、実施形態に係る情報処理の一例を示すアクティビティ図である。以下、図4に示されるアクティビティ図を参照して、説明を続ける。ここでは、チャンネル数nの撮像装置3によって撮像された各画像を情報処理装置2において処理し、出力画像を表示装置4に表示させる例を取り上げる。
【0036】
ユーザが実施形態に係る情報処理システム1のアプリケーションを実行すると、読出部231が実施形態に係るプログラムを記憶部22から読み出し、後述する各種の処理が実行される。
【0037】
(アクティビティA001)
アクティビティA001において、チャンネル数nの撮像装置3によって撮像された撮像画像(第1の画像データの一例)が情報処理装置2に送信される。アクティビティA001は、受信ステップでは、撮像装置3によって撮像中の第1の画像データを受信する、という構成(ステップ)の一例である。換言すると、情報処理装置2の受付部232は、受信ステップとして、情報処理装置2に接続される、少なくとも1つの撮像装置3によって出力された撮像画像を受信する。なお、受付部232は、撮像画像とともに音声データを受け付けてもよい。
【0038】
(アクティビティA002)
アクティビティA002において、情報処理装置2の出力部235がプレビュー画面に係るデータを表示装置4に出力して、表示装置4がプレビュー画面の表示を開始する。なお、プレビュー画面のインターフェースの構成については、後述する。このプレビュー画面には、チャンネル数nに対応する数の撮像画像が含まれうるが、その数はユーザが適宜設定可能である。
【0039】
(アクティビティA003)
アクティビティA003において、情報処理装置2の読出部231は、選択画像(第2の画像データの一例)を記憶部22から読み出す。アクティビティA003は、読出ステップでは、予め記憶部に記憶されている第2の画像データを読み出す、という構成(ステップ)の一例である。
【0040】
ここで、実施形態において、選択画像は、ユーザによって選択される画像である。つまり、読出ステップにおいて、第2の画像データが、ユーザによって選択可能である。これにより、ユーザは、撮影状況に応じて、第2の画像データを選択することが可能であり、利便性に優れる。
【0041】
なお、実施形態では、当該画像がユーザに選択可能となっているが、これに限定されるものではなく、予め定められていてもよい。例えば、情報処理装置2は、撮像画像の内容に応じて、適切と考えられる第2の画像データを自動的に判断し、これを本アクティビティA003で読み出すデータとすることもできる。
【0042】
(アクティビティA004)
アクティビティA004において、情報処理装置2の重畳処理部233は、透過度を設定する。アクティビティA004は、プレビュー画面は、第1の画像データ及び第2の画像データの一方に対する他方の透過度を調整可能に構成される、という構成の一例である。なお、実施形態では、第1の画像データの一例が撮像画像であり、第2の画像データの一例が選択画像であるが、透過度が調整可能なのは撮像画像である。選択画像が調整可能な形態については、変形例において後述する。
【0043】
情報処理装置2は、撮像画像に、アクティビティA003で選択される画像を重畳して、継続的に表示させる機能を有するが、それにあたり、撮像画像の透過度を調整可能となっている。ここで、情報処理装置2による透過度の調整には、例えば、アルファブレンドを採用することができる。この場合、アルファ値が、透過度の一例である。
【0044】
プレビュー画面が表示された直後といったように、ユーザから透過度の設定値をまだ受け付けていない状態では、重畳処理部233は、初期値を透過度として設定する。初期値は、例えば、予め定められた値であってもよいし、ユーザが以前に実施形態に係る情報処理システム1のアプリケーションを立ち上げたときに設定されていた透過度の値であってもよい。
【0045】
また、情報処理装置2の受付部232は、ユーザから入力される透過度を逐次、受け付けており、ユーザから透過度の入力があった場合には、重畳処理部233は、当該入力に対応する透過度を設定する。
【0046】
(アクティビティA005)
アクティビティA005において、情報処理装置2の重畳処理部233は、撮像画像と、選択画像と、透過度と、に基づいて、重畳画像51を生成する。
【0047】
重畳画像51は、撮像画像に選択画像を重畳した画像であるが、重畳画像51中の撮像画像は、アクティビティA004において設定された透過度に調整された画像となっている。設定される透過度が大きいほど、プレビュー画面に表示される画像のうち撮像画像に対応する内容が薄くなる。
【0048】
情報処理システム1は、アクティビティA004とアクティビティA005を繰り返すことで、逐次、透過度を受け付けて、その透過度を反映した重畳画像51をプレビュー画面に表示することが可能である。
【0049】
情報処理システム1では、アクティビティA001で継続的に撮像画像を受け付け、アクティビティA002でプレビュー画面を表示し、アクティビティA004及びアクティビティA005を繰り返し実行して、逐次、重畳画像51を生成する。これらの一連の処理は、表示制御ステップでは、プレビュー画面において、撮像中の第1の画像データに第2の画像データを重畳して、継続的に表示させる、という構成(ステップ)の一例である。
【0050】
なお、上述した一連のアクティビティは、あくまで一例である。
【0051】
例えば、上記では、重畳画像51が生成される前のタイミング(アクティビティA002のタイミング)において、プレビュー画面に撮像画像が表示されるものとして説明したが、これに限定されるものではない。
【0052】
例えば、1回目のアクティビティA005を完了して重畳画像51を初めて生成してから、プレビュー画面に、選択画像とともに撮像画像が表示される処理がなされてもよい。
【0053】
3.2 情報処理の詳細
上記で説明した情報処理の詳細部分を、図5図8を用いてさらに説明する。
【0054】
図5は、表示装置4に表示されるプレビュー画面の概要構成を示す図である。なお、図5では、チャンネル数N=4である場合を一例として示している。
【0055】
図6は、図5に示すプレビュー画面中に含まれる任意の1チャンネルの重畳画像51と、透過度を調整するためのオブジェクトとを示した図である。
【0056】
図5に示すように、プレビュー画面には、各チャンネル(各撮像装置3-n)の撮像画像が、プレビュー画面に並列的に表示される。表示態様は、独立した各ウインドウに撮像画像が表示されていてもよいし、図5に示すように1つのウインドウ中に横方向に並ぶように配置されてもよい。また、複数の撮像画像は、横だけでなく縦方向に並ぶように配置されてもよい。
【0057】
3.2.1 プレビュー画面の配置に関する情報処理
上述したアクティビティA002において表示されるプレビュー画面の構成例について説明する。
【0058】
プレビュー画面は、表示領域30及びオブジェクト31を有する。
【0059】
表示領域30は、各種の画像(例えば、撮像画像単体、選択画像単体、重畳画像51等)が表示される領域である。
【0060】
オブジェクト31は、第1の画像データ及び第2の画像データの一方に対する他方の透過度を調整するように構成される。なお、上述したように、実施形態では、第1の画像データの一例が撮像画像であり、第2の画像データの一例が選択画像である。このため、ここでは、オブジェクト31が、透過度を調整することができるのは第1の画像データの一例である撮像画像である。情報処理システム1では、このようにプレビュー画面に可視化されたオブジェクト31が表示されるため、ユーザはプレビュー画面のオブジェクト31を操作することで、ユーザが、透過度を好みに応じて調整することが可能である。
【0061】
オブジェクト31は、表示領域30の内側に配置されていてもよいが、各種の画像が見えにくくなるため、表示領域30の外側に配置されていることが好ましい。なお、オブジェクト31は、例えば、ユーザが所望の位置に移動させることができる構成であってもよい。
【0062】
図6に示すように、オブジェクト31は、透過度を調整するスライダーである。オブジェクト31は、透過度の数値を入力可能なボックスであってもよいが、スライダーの形態であることで、透過度の調整操作が容易である。
【0063】
3.2.2 透過度の設定に関する情報処理
上述したアクティビティA005において生成する重畳画像51の透過度について詳しく説明する。
【0064】
ここで、最大透過状態と最小透過状態とを定義する。
【0065】
最大透過状態は、透過度として最大設定値が設定されており、情報処理装置2において最も撮像画像が薄く見える状態であるとする。
【0066】
最小透過状態は、透過度として最小設定値が設定されており、情報処理装置2において最も撮像画像が濃く見える状態であるとする。
【0067】
重畳処理部233は、最大設定値から最小設定値にかけて複数のレベルで透過度を調整可能である。実施形態では、ユーザがオブジェクト31を操作することで、透過度が調整されることになる。調整可能なレベルの数は、具体的には例えば、2~256(ここで、各段階は整数)のいずれかの数を採用することができ、ここで例示した数の何れか2つの間の範囲内であってもよい。
【0068】
なお、レベルの数が2つである場合には、ユーザは、透過度として、最大設定値と最小設定値のみの2つを選択可能な状況である。
【0069】
また、最大透過状態及び最小透過状態において、撮像画像にどの程度の透過性をもたせるかについて、調整可能であってもよいし、固定されていてもよい。
【0070】
例えば、最大透過状態では、撮像画像がプレビュー画面上で表示されなくてもよいし、最も薄い表示にはなっているものの撮像画像がプレビュー画面上において表示されていてもよい。
【0071】
また、最小透過状態では、撮像画像そのものが表示されていてもよいし、少し薄い表示としてプレビュー画面上に表示されていてもよい。
【0072】
3.2.3 選択画像に関する情報処理
プレビュー画面に表示する選択画像には、輪郭画像40を採用することができる。実施形態では、輪郭画像40は、輪郭体41を有する。輪郭体41は、被撮像体の輪郭に沿うような形状を有する。ここで、被撮像体は、第1の画像データに対応しており、また、輪郭体は、第2の画像データに対応している。
【0073】
表示制御ステップでは、プレビュー画面において、撮像中の被撮像体に、被撮像体の輪郭に対応した形状を有する輪郭体41を重畳して、継続的に表示させる。これにより、撮像装置3に写る人(例えば、役者)は、当該人がいる位置(撮影場所)にいる状態で、表示装置4のプレビュー画面の輪郭体41を見て、自分の位置を確認しながら、撮影に臨むことができる。撮像装置3に写る人が、そのプレビュー画面を見ることで、自身の位置が輪郭体41の外側であると容易に気が付くことができ、輪郭体41よりも内側に入るように、自身の位置を修整することが可能である。
【0074】
実施形態では、被撮像体が人間であるため、輪郭体41は、人間の頭部に対応する第1の要素41aと、人間の胴部に対応する第2の要素41bとを有する。また、実施形態において、第2の要素41bは、第1の要素の下に配置されており、その横幅は第1の要素41aよりも大きくなっている。
【0075】
また、表示制御ステップにおいて、プレビュー画面における第2の画像データの表示位置は、予め定められた位置に設定可能である。つまり、ユーザは、輪郭体41の位置を必要に応じて変更することが可能である。これにより、ユーザは、撮影状況に応じて、第2の画像データの位置を所望の位置に設定することができ、利便性に優れる。なお、位置の変更方法は、位置座標を入力する態様であってもよいし、ポインタ50で輪郭体41を移動させることができる態様であってもよい。
【0076】
3.2.4 並列受信についての情報処理
実施形態では、情報処理装置2が、複数の撮像装置3から画像データを並列的に取得し、各画像データを表示しているプレビュー画面のデータを生成することができるように構成されている。これにより、表示装置4では、撮像中の複数の画像データが同時にプレビュー画面中に表示されることになっている。換言すると、受信ステップでは、複数の撮像装置3によって撮像中の複数の第1の画像データを並列的に受信する。そして、表示制御ステップでは、プレビュー画面において、撮像中の複数の第1の画像データを同時に表示させる。これにより、実施形態では、マルチチャンネルにも対応可能となっている。
【0077】
なお、複数の第1の画像データのうちの少なくとも1つには、第2の画像データが重畳されて、継続的に表示される。つまり、全てのチャンネルに対応する画像データが重畳画像51である必要はなく、例えば、ユーザによって選択されたチャンネルのみが重畳画像51となるようにすることができる。
【0078】
なお、実施形態では、情報処理システム1がマルチチャンネルとなっている形態を一例として説明したがこれに限定されるものではなく、シングルチャンネルの形態であってもよい。つまり、情報処理システム1は、1台の撮像装置3から画像データを取得するような構成が前提となっていてもよい。
【0079】
4.情報処理システム1の活用方法
図7は、透過度の設定を、図6に示す撮像画像の透過度よりも大きくなるように調整した後の状態を示す図である。図8は、被撮像体(実施形態では人間)が選択画像の輪郭体からずれた状態を示している。上述した図6と、図7及び図8とを参照して、情報処理システム1の活用例について説明する。
【0080】
撮影現場にいる監督等のスタッフが、撮像装置に写る人(被撮像体)の位置を指示することで、その人が所望の位置に移動して、撮影が行われることがある。これは、後々に行われるデータの編集作業を加味した措置である。
【0081】
しかし、監督等のスタッフは、例えば、編集自体のことを失念していたり、また、その人の表情やしぐさ等に気を取られてしまって撮像画像に写る人の位置がずれてしまうことに気が付かなかったりする等の状況も想定される。そして、出来上がった画像データ(動画データ)を編集等するときに、被撮像体(人間等)の位置が想定した位置よりずれていると、後々の編集の作業負担が増大する、取り直しが必要になるといった煩雑な状況を招来する懸念がある。
【0082】
そこで、撮影現場にいる監督等のスタッフが、撮像装置に写る人の位置を指示することが好ましいということになるが、その指示としては、例えば、「もう少し左」等の表現が想定される。しかし、「左」が監督から見て左なのか、自身から見て「左」なのかが曖昧であり、また、「もう少し」というのはどの程度の距離なのか、主観的な要素があり、これも曖昧である。このため、撮像装置に写る人が、適切な行動をとりづらいという懸念がある。
【0083】
それに対し、実施形態では、第1の画像データ(撮像画像)に第2の画像データ(選択画像)を重畳して、継続的に表示するため、撮像装置に写る人は、プレビュー画面に映る第2の画像データ(選択画像)を基準にして、自身の位置を容易に修正することが可能である。例えば、撮像装置に写る人は、図8に示すように、自身が第2の画像データの一例としての輪郭体41から外れていることを容易に認識することができ、この輪郭体41の内側に入るように容易に位置を修整することが可能である。このように、情報処理システム1では、現場で曖昧な指示がなされて撮像装置3に写る人が混乱するといった状況を回避することができる。
【0084】
また、図6及び図7に示すように、実施形態では、第1の画像データの透過度を調整することが可能となっている。このため、第1の画像データに係る表示物と第2の画像データに係る表示物とを容易に区別して視認することが可能である。つまり、ユーザは、第1の画像データ及び第2の画像データが見えにくい場合には、適宜、透過度を調整することが可能であり、両画像データを適切に視認することができる。これにより、被撮像体の位置が想定した位置よりずれて撮影されることを回避することができ、後々に煩雑な状況に至ることを回避することができる。
【0085】
なお、第2の画像データの一例である輪郭画像40は、内側が完全に透過する態様である。このため、ユーザは、撮像画像のうち輪郭体41の内側の部分については、見える状態である。ここで、輪郭画像40の代わりに、内側が透過しないような画像も用いることができる。このような画像としては、例えば、人物の画像(動画)がある。例えば、過去に、役者をうまく撮影することができた場合には、その撮影で生成した画像データを第2の画像データ(選択画像)として使用することができる。
【0086】
しかし、この場合、第1の画像データに係る表示物と第2の画像データに係る表示物とが重なると、第1の画像データの表示物が見えなる懸念が高くなる。そうすると、撮像装置に写る人の位置は、第2の画像データに係る表示物の内側であるとわかるものの、撮像装置に写る人の表情等を確認することができず、不都合である。それに対し、実施形態では、第1の画像データの透過度を調整可能であるため、第2の画像データとして人物の画像データを用いたとしても、こういった不都合を効果的に回避することができる。
【0087】
また、第2の画像データとしては、上述した輪郭画像40や人物の画像の他に、屋内の部屋(例えば、家やマンションの一室、オフィスの一室、飲食店の一室等)や屋外の風景等であってもよい。
【0088】
[変形例]
図9は、変形例に係る情報処理システムのプレビュー画面中の重畳画像51とオブジェクト31の一例を示している。
【0089】
実施形態では、撮像画像の透過度のみを調整可能であるものとして説明したが、これに限定されるものではない。本変形例では、撮像画像(第1の画像データの一例)の透過度及び選択画像(第2の画像データの一例)の透過度の両方が調整可能である。図9に示すように、例えば、オブジェクト31は、撮像画像の透過度を調整するためのスライダー(例えば上段に配置する)と、選択画像の透過度を調整するためのスライダー(例えば下段に配置する)とを有する。これにより、ユーザは、状況に応じてどちらの画像の透過度を調整するかを選択することができ、より効果的に両画像データを視認できることできる。
【0090】
なお、実施形態では、撮像画像の透過度のみを調整可能であることを説明し、本変形例では、撮像画像の透過度及び選択画像の透過度の両方が調整可能であるものとして説明したが、これに限定されるものではない。選択画像の透過度のみが調整可能であってもよい。
【0091】
また、実施形態では、重畳させる画像データが1つの選択画像であるものとして説明したが、これに限定されるものではなく、複数の選択画像を撮像画像に重畳させるようにしてもよい。換言すると、表示制御ステップでは、プレビュー画面において、撮像中の第1の画像データに複数の第2の画像データを重畳して、継続的に表示させる、という構成であってもよい。
【0092】
実施形態では、情報処理システム1が撮影現場で用いられる形態を一例で説明したがこれに限定されるものではなく、例えば、撮像装置3が監視カメラであってもよい。
【0093】
実施形態では、撮像装置3が撮像中の画像がプレビュー画面に表示される形態を一例として説明したがこれに限定されるものではなく、撮像中の画像データの代わりに録画した画像データに、選択画像を重畳させて重畳画像51を生成してもよい。
【0094】
次に記載の各態様で提供されてもよい。
【0095】
(1)撮影現場で用いられるプログラムであって、コンピュータに次の各ステップを実行させ、受信ステップでは、撮像装置によって撮像中の第1の画像データを受信し、読出ステップでは、予め記憶部に記憶されている第2の画像データを読み出し、表示制御ステップでは、プレビュー画面において、撮像中の前記第1の画像データに前記第2の画像データを重畳して、継続的に表示させ、ここで前記プレビュー画面は、前記第1の画像データ及び前記第2の画像データの一方に対する他方の透過度を調整可能に構成される、プログラム。
【0096】
このような態様によれば、より使いやすい撮影現場で用いられる技術を提供することができる。具体的には、撮影現場で撮影した画像(動画)データを編集等する場合、被撮像体(人間等)の位置が想定した位置よりずれていると、後々の編集の作業負担が増大する、取り直しが必要になるといった煩雑な状況を招来する懸念がある。一実施形態では、ユーザは、プレビュー画面を見ながら、第2の画像データを基準として利用し、撮像中の画像(第1の画像データ)の位置を把握することができる。ここで、第1の画像データ及び第2の画像データの一方に対する他方の透過度を調整可能となっており、ユーザは、第1の画像データ及び第2の画像データが見えにくい場合には、適宜、透過度を調整することが可能であり、両画像データを適切に視認することができる。これにより、被撮像体の位置が想定した位置よりずれて撮影されることを回避することができ、後々に煩雑な状況に至ることを回避することができる。
【0097】
(2)上記(1)に記載のプログラムにおいて、前記プレビュー画面は、オブジェクトを有し、前記オブジェクトは、前記第1の画像データ及び前記第2の画像データの前記一方に対する前記他方の前記透過度を調整するように構成される、プログラム。
【0098】
このような態様によれば、ユーザはプレビュー画面のオブジェクトを操作することで、ユーザが、透過度を好みに応じて調整することが可能である。
【0099】
(3)上記(2)に記載のプログラムにおいて、前記オブジェクトは、前記透過度を調整するスライダーである、プログラム。
【0100】
このような態様によれば、透過度の調整が、数値の入力ではなく、スライダーであり、透過度の調整操作が容易である。
【0101】
(4)上記(1)~(3)の何れか1つに記載のプログラムにおいて、前記表示制御ステップでは、前記プレビュー画面において、撮像中の被撮像体に、前記被撮像体の輪郭に対応した形状を有する輪郭体を重畳して、継続的に表示させ、前記被撮像体は、前記第1の画像データに対応し、前記輪郭体は、前記第2の画像データに対応している、プログラム。
【0102】
このような態様によれば、ユーザは輪郭体を見ながら、撮影に臨むことができる。
【0103】
(5)上記(1)~(4)の何れか1つに記載のプログラムにおいて、前記受信ステップでは、複数の前記撮像装置によって撮像中の複数の前記第1の画像データを並列的に受信し、前記表示制御ステップでは、前記プレビュー画面において、撮像中の複数の前記第1の画像データを同時に表示させ、ここで複数の前記第1の画像データのうちの少なくとも1つには、前記第2の画像データが重畳されて、継続的に表示される、プログラム。
【0104】
このような態様によれば、マルチチャンネルにも対応可能である。
【0105】
(6)上記(1)~(5)の何れか1つに記載のプログラムにおいて、前記表示制御ステップにおいて、前記プレビュー画面における前記第2の画像データの表示位置は、予め定められた位置に設定可能である、プログラム。
【0106】
このような態様によれば、ユーザは、撮影状況に応じて、第2の画像データの位置を所望の位置に設定することができ、利便性に優れる。
【0107】
(7)上記(1)~(6)の何れか1つに記載のプログラムにおいて、前記読出ステップにおいて、前記第2の画像データが、ユーザによって選択可能である、プログラム。
【0108】
このような態様によれば、ユーザは、撮影状況に応じて、第2の画像データを選択することが可能であり、利便性に優れる。
【0109】
(8)情報処理システムであって、上記(1)~(7)の何れか1つに記載のプログラムの各ステップがなされるように前記プログラムを実行可能な、少なくとも1つのプロセッサを備える、システム。
【0110】
このような態様によれば、より使いやすい冊芸現場で用いられる技術を提供することができる。
【0111】
(9)情報処理方法であって、上記(1)~(8)の何れか1つに記載のプログラムの各ステップを備える、方法。
【0112】
このような態様によれば、より使いやすい冊芸現場で用いられる技術を提供することができる。
もちろん、この限りではない。
【0113】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0114】
1 :情報処理システム
2 :情報処理装置
20 :通信バス
21 :通信部
22 :記憶部
23 :制御部
231 :読出部
232 :受付部
233 :重畳処理部
235 :出力部
25 :入力部
3 :撮像装置
3-1 :撮像装置
3-n :撮像装置
30 :表示領域
31 :オブジェクト
4 :表示装置
40 :輪郭画像
41 :輪郭体
41a :第1の要素
41b :第2の要素
50 :ポインタ
51 :重畳画像
【要約】
【課題】画像(動画)データの編集にあたり、煩雑な状況となることを回避する技術を提供する。
【解決手段】本発明の一態様によれば、撮影現場で用いられるプログラムが提供される。このプログラムは、コンピュータに次の各ステップを実行させる。受信ステップでは、撮像装置によって撮像中の第1の画像データを受信する。読出ステップでは、予め記憶部に記憶されている第2の画像データを読み出す。表示制御ステップでは、プレビュー画面において、撮像中の第1の画像データに第2の画像データを重畳して、継続的に表示させる。プレビュー画面は、第1の画像データ及び第2の画像データの一方に対する他方の透過度を調整可能に構成される。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9