IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許7572820情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム
<>
  • 特許-情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム 図1
  • 特許-情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム 図2
  • 特許-情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム 図3
  • 特許-情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム 図4
  • 特許-情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム 図5
  • 特許-情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム 図6
  • 特許-情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-16
(45)【発行日】2024-10-24
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラム
(51)【国際特許分類】
   H04N 5/92 20060101AFI20241017BHJP
   G06F 16/58 20190101ALI20241017BHJP
【FI】
H04N5/92 010
G06F16/58
【請求項の数】 19
(21)【出願番号】P 2020153756
(22)【出願日】2020-09-14
(65)【公開番号】P2022047787
(43)【公開日】2022-03-25
【審査請求日】2023-06-12
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】尾方 利廣
(72)【発明者】
【氏名】神田 和男
(72)【発明者】
【氏名】林 寿一
(72)【発明者】
【氏名】吉田 英明
(72)【発明者】
【氏名】井口 賢人
(72)【発明者】
【氏名】野中 修
【審査官】醍醐 一貴
(56)【参考文献】
【文献】特開2015-002441(JP,A)
【文献】国際公開第2004/028157(WO,A1)
【文献】国際公開第2019/155695(WO,A1)
【文献】特開2009-021767(JP,A)
【文献】特開2006-033114(JP,A)
【文献】国際公開第2004/070657(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/91-5/956
H04N 21/00-21/858
H04N 23/40-23/76
G06F 16/00-16/958
(57)【特許請求の範囲】
【請求項1】
撮像画像を取得する取得部と、
上記撮像画像に関するメタデータを作成するメタデータ作成部と、
上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、
を具備し、
上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、
上記第1領域のハッシュ値を上記第2領域に記録すると共に、上記ハッシュ値記録後の第2領域のハッシュ値の記録を行うことによりセキュリティ処理を施す状態演算部
を更に有することを特徴とする情報処理装置。
【請求項2】
上記メタデータ作成部は、上記第1領域に、登録された統制語を上記表形式により作成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
上記状態演算部は、上記第1領域及び第2領域をパッケージ化してセキュリティ処理を施す
ことを特徴とする請求項に記載の情報処理装置。
【請求項4】
上記メタデータ作成部は、複数の上記第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、
上記状態演算部は、上記第1領域及び第2領域をパッケージ化してセキュリティ処理を施すと共に、上記第2領域が拡張される毎に上記第1領域及び全ての拡張された上記第2領域をパッケージ化してセキュリティ処理を施す
ことを特徴とする請求項に記載の情報処理装置。
【請求項5】
撮像画像を取得する取得部と、
上記撮像画像に関するメタデータを作成するメタデータ作成部と、
上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、を具備し、
上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、
上記第2領域を複数に拡張し、拡張した第2領域に上記撮像画像に関する情報を非構造化データにより作成し、
上記拡張した第2領域に関する情報を上記表形式により作成された情報に追記する
ことを特徴とす情報処理装置。
【請求項6】
撮像画像を取得する取得部と、
上記撮像画像に関するメタデータを作成するメタデータ作成部と、
上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、を具備し、
上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、
上記第2領域を複数に拡張し、拡張した第2領域に上記撮像画像に関する情報を非構造化データにより作成し、
上記複数の第2領域のうちの少なくとも1つの第2領域は、上記非構造化データにより記録された情報によって拡張された領域であり、
上記画像ファイル中の上記表形式により記録された情報によって拡張された第3領域に、上記撮像画像に関する情報を表形式により作成し、
上記第3領域の上記表形式により記録された情報によって拡張された第4領域に、上記撮像画像に関する情報を非構造化データにより作成する
ことを特徴とす情報処理装置。
【請求項7】
上記メタデータ作成部は、複数の上記第3領域に、上記撮像画像に関する情報を表形式により作成し、
複数の上記第4領域に、上記撮像画像に関する情報を非構造化データにより作成する
ことを特徴とする請求項に記載の情報処理装置。
【請求項8】
上記メタデータ作成部は、上記第1領域と第3領域とで異なるユーザの情報を記述する
ことを特徴とする請求項に記載の情報処理装置。
【請求項9】
請求項に記載の複数の情報処理装置を具備し、
上記複数の情報処理装置のうちの第1の情報処理装置中の上記メタデータ作成部は、上記第1領域に上記撮像画像に関する情報を表形式により作成し、上記複数の情報処理装置のうちの第2の情報処理装置中の上記メタデータ作成部は、上記第3領域に上記撮像画像に関する情報を表形式により作成する
ことを特徴とする情報処理システム。
【請求項10】
撮像画像を取得する取得部と、
上記撮像画像に関するメタデータを作成するメタデータ作成部と、
上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、を具備し、
上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、
上記第2領域を複数に拡張し、拡張した第2領域に上記撮像画像に関する情報を非構造化データにより作成し、
上記第1領域に、上記撮像画像に対する1次評価を記述し、上記第2領域に、上記撮像画像に対する2次評価を記述する
ことを特徴とす情報処理装置。
【請求項11】
請求項1、5、6又は10に記載の複数の情報処理装置を具備し、
上記複数の情報処理装置のうちの第1の情報処理装置中の上記メタデータ作成部は、上記第1領域に上記撮像画像に関する情報を表形式により作成し、上記複数の情報処理装置のうちの第2の情報処理装置中の上記メタデータ作成部は、上記第2領域に上記撮像画像に関する情報を非構造化データにより作成する
ことを特徴とする情報処理システム。
【請求項12】
被写体を撮像して上記撮像画像を得る撮像部を更に具備し、
上記メタデータ作成部は、上記撮像部の撮像時に、上記第1領域に、上記撮像画像に関する情報を表形式により作成し、
上記記録制御部は、上記第1領域が作成された上記画像ファイルを記録し、
上記メタデータ作成部は、上記第1領域が作成された上記画像ファイルを読み出して、上記第2領域に上記撮像画像に関する情報を非構造化データにより作成する
ことを特徴とする請求項1、5,6又は10に記載の情報処理装置。
【請求項13】
撮像画像を取得し、
上記撮像画像に関するメタデータを作成し、
上記撮像画像と上記メタデータとを含む画像ファイルを記録する際に、
上記撮像画像に関するメタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、
上記第1領域のハッシュ値を上記第2領域に記録すると共に、上記ハッシュ値記録後の第2領域のハッシュ値の記録を行うことによりセキュリティ処理を施す
ことを特徴とする情報処理方法。
【請求項14】
コンピュータに、
撮像画像を取得し、
上記撮像画像に関するメタデータを作成し、
上記撮像画像と上記メタデータとを含む画像ファイルを記録する際に、
上記撮像画像に関するメタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、
上記第1領域のハッシュ値を上記第2領域に記録すると共に、上記ハッシュ値記録後の第2領域のハッシュ値の記録を行うことによりセキュリティ処理を施す
手順を実行させるための情報処理プログラム。
【請求項15】
撮像画像を取得する取得部と、
上記撮像画像に関するメタデータを作成するメタデータ作成部と、
上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、
を具備し、
上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を予め決められた項目別の表形式に各項目ごとのデータとして作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を半構造化データまたは非構造化データまたは上記予め決められた項目以外による構造化データにより作成し、
上記第1領域のハッシュ値を上記第2領域に記録すると共に、上記ハッシュ値記録後の第2領域のハッシュ値の記録を行うことによりセキュリティ処理を施す
ことを特徴とする情報処理装置。
【請求項16】
画像データを含む画像ファイルに記録するためのメタデータのうちの第1のメタデータを上記画像ファイル中の第1領域に記録するために、上記第1のメタデータとして、上記画像データに関する情報を予め決められた統制語を使った構造化データとして作成し、
上記構造化データの項目として記録された情報によって指定された上記画像ファイル中の第2領域に上記メタデータのうちの第2のメタデータを記録するために、上記第2のメタデータとして上記第1領域のハッシュ値と上記画像データに関する情報を非構造化データとして作成する
ことを特徴とするメタデータ作成方法。
【請求項17】
上記ハッシュ値記録後の第2領域のハッシュ値を、上記第1領域とは異なる構造化データ記録部または、上記構造化データの項目として記録された情報によって指定された上記画像ファイル中の第3領域にメタデータとして記録する
ことを特徴とする請求項16に記載のメタデータ作成方法。
【請求項18】
画像を取得する取得ステップと、
上記画像に関するメタデータを作成するメタデータ作成ステップと、
上記画像と上記メタデータとを含む画像ファイルを記録する記録制御ステップと、
を有する情報処理方法において、
上記メタデータ作成ステップは、上記メタデータとして、上記画像ファイル中の第1領域に、上記画像に関する情報を表形式により作成し、
上記記録制御ステップは、上記画像ファイル中の上記表形式により作成された情報によって拡張された第2領域に上記画像の評価情報と上記第1領域のハッシュ値を記録し、
上記第1領域上記第2領域のデータを合わせたデータのハッシュ値をさらに別の記録部に記録する
ことを特徴とする情報処理方法。
【請求項19】
画像データと当該画像を評価した情報を関連付けて記録可能な記録制御方法において、
上記画像を評価した複数の評価主体と、上記複数の評価主体のそれぞれの評価結果の有無を示す表形式のデータとを記録する第1の記録領域への記録制御ステップと、
上記複数の評価主体の詳細情報と上記複数の評価主体の評価結果を非構造化データとして記録する第2の記録領域への記録制御ステップと
を有する記録制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像などのコンテンツにメタデータをつけて利便性を高めるための情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラムに関する。
【背景技術】
【0002】
近年、撮像技術の進化によって、高画質の画像データを容易に取得できるようになった。画像データは、視認性、証拠性に優れる特徴から、鑑賞用だけでなく、証拠写真や監視映像として様々な産業シーンにおいて利用されている。また、IoT(Internet of Things)の普及から、様々な端末や装置が撮像機能を搭載しており、これらの装置によって取得された画像データは、特定の施設内のみで利用されるだけでなく、インターネット等のネットワークを介して送受信されて、広範囲に利用される状況になっている。
【0003】
一般に、画像データは、記録や伝送に際してファイル化され、このファイル化に際して、撮影日時や撮影場所の情報等、画像以外の補助データ(メタデータ)が付加されることがある。更に、その画像が、何を意図して撮影されたものかや、そこから読みとれるものが何であるかなどをメタデータ化することが、今後の重要な技術として期待されている。
【0004】
なお、インターネットで扱われるデータを「構造化データ」、「非構造化データ」という表現で大別することがあるが、「構造化データ」は、「どこにどのようなデータがあるか」が決められて、データの検索、解析や分析に最も適したデータ(構造)とされており、「非構造化データ」は、文書、画像、音声など、それぞれのデータ単体でそれぞれの意味を持つデータである。本実施の形態においては、メタデータは「非構造化データ」である「画像」を補足するデータについて記載しているが、このメタデータも「構造化データ」、「非構造化データ」として大別して表現している。また、他に、「非構造化データ」に適宜、規則性に関する区切りを設けたりして構造的な要素を加えた「半構造化データ」という表現もあるが、ここではそれも「非構造化データ」に含まれるとして説明をしている。
なお、メタデータを説明する時の非構造化データは、データ中のコンテンツを分類可能に標準化されたものではなく、例えば、自由な形式のテキスト等により構成される。なお、非構造化データにおいても、コンピュータ処理可能とするためには、所定の構文情報に従って作成される必要がある。非構造化データのコンテンツの解釈には、例えば、自然言語処理を必要とする場合もある。近年、非構造化データをビッグデータ化することで、有用な情報をAIにより取得可能な場合もある。ここでの非構造化データは画像データそのものは含まず、構造化データ以外で記録されたメタデータを主にして考えているが、応用としてはメタデータとして、画像データや非構造化データを含んでもよい。
【0005】
一般的なメタデータは、解釈の揺れを抑える、いわば一義性のため、一定の規則(構造)によって記述された構造化データであることが多く表形式などを採用することで、検索性やデータベース化に優れている。一方、画像データそのものは、構造化されていない非構造化データであるが、近年、インターネットでアクセス可能な様々な画像データの実用的な利活用が期待されており、メタデータの補助やAI(人工知能)の利用により、データの多様性、豊富なデータ量、リアルタイム生成や収集の容易さといったビッグデータとしての価値が高まるとされている。そのために、メタデータにも、前述した一義性の一方で多様性が求められており、非構造化データ(半構造化データを含んでもよい)を使いこなすことも急務となっている。
【0006】
このような構造化データと非構造化データに対する検索手法として、特許文献1においては、構造化データを用いて非構造化データを取りだす手法が提案されている。特許文献1の提案では、データベースによって格納されている構造化データのデータベースを用いて、非構造化データへのインテリジェントで、統合的なアクセスを可能にしている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2013-242915号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1の提案は、関係データベース管理システムを使ったデータベース内に記録された構造化データへのアクセスと、非構造化データのデータストアへのアクセスとを行うものであり、データベース化されていない個々のデータを有効に利用することはできない。
【0009】
本発明は、以上の点に鑑み、メタデータの一義性を確保しつつ、自由度確保を可能として多様化に対応し、画像の利活用を促進することができる情報処理装置、情報処理システム、情報処理方法、メタデータ作成方法、記録制御方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様による情報処理装置は、撮像画像を取得する取得部と、上記撮像画像に関するメタデータを作成するメタデータ作成部と、上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、具備し、上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、上記第1領域のハッシュ値を上記第2領域に記録すると共に、上記ハッシュ値記録後の第2領域のハッシュ値の記録を行うことによりセキュリティ処理を施す状態演算部を更に有する。
本発明の他の態様による情報処理装置は、撮像画像を取得する取得部と、上記撮像画像に関するメタデータを作成するメタデータ作成部と、上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、を具備し、上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、上記第2領域を複数に拡張し、拡張した第2領域に上記撮像画像に関する情報を非構造化データにより作成し、上記拡張した第2領域に関する情報を上記表形式により作成された情報に追記する。
本発明の他の態様による情報処理装置は、撮像画像を取得する取得部と、上記撮像画像に関するメタデータを作成するメタデータ作成部と、上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、を具備し、上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、上記第2領域を複数に拡張し、拡張した第2領域に上記撮像画像に関する情報を非構造化データにより作成し、上記複数の第2領域のうちの少なくとも1つの第2領域は、上記非構造化データにより記録された情報によって拡張された領域であり、上記画像ファイル中の上記表形式により記録された情報によって拡張された第3領域に、上記撮像画像に関する情報を表形式により作成し、上記第3領域の上記表形式により記録された情報によって拡張された第4領域に、上記撮像画像に関する情報を非構造化データにより作成する。
本発明の他の態様による情報処理装置は、撮像画像を取得する取得部と、上記撮像画像に関するメタデータを作成するメタデータ作成部と、上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、を具備し、上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、上記第2領域を複数に拡張し、拡張した第2領域に上記撮像画像に関する情報を非構造化データにより作成し、上記第1領域に、上記撮像画像に対する1次評価を記述し、上記第2領域に、上記撮像画像に対する2次評価を記述する。
【0011】
本発明の一態様による情報処理システムは、上記複数の情報処理装置を具備し、上記複数の情報処理装置のうちの第1の情報処理装置中の上記メタデータ作成部は、上記第1領域に上記撮像画像に関する情報を表形式により作成し、上記複数の情報処理装置のうちの第2の情報処理装置中の上記メタデータ作成部は、上記第2領域に上記撮像画像に関する情報を非構造化データにより作成する。
【0012】
本発明の他の態様による情報処理システムは、上記複数の情報処理装置を具備し、上記複数の情報処理装置のうちの第1の情報処理装置中の上記メタデータ作成部は、上記第1領域に上記撮像画像に関する情報を表形式により作成し、上記複数の情報処理装置のうちの第2の情報処理装置中の上記メタデータ作成部は、上記第3領域に上記撮像画像に関する情報を表形式により作成する。
【0013】
本発明の一態様による情報処理方法は、撮像画像を取得し、上記撮像画像に関するメタデータを作成し、上記撮像画像と上記メタデータとを含む画像ファイルを記録する際に、上記撮像画像に関するメタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、上記第1領域のハッシュ値を上記第2領域に記録すると共に、上記ハッシュ値記録後の第2領域のハッシュ値の記録を行うことによりセキュリティ処理を施す
【0014】
本発明の一態様による情報処理プログラムは、コンピュータに、撮像画像を取得し、上記撮像画像に関するメタデータを作成し、上記撮像画像と上記メタデータとを含む画像ファイルを記録する際に、上記撮像画像に関するメタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成し、上記第1領域のハッシュ値を上記第2領域に記録すると共に、上記ハッシュ値記録後の第2領域のハッシュ値の記録を行うことによりセキュリティ処理を施す手順を実行させる。
【0015】
本発明の他の態様による情報処理装置は、撮像画像を取得する取得部と、上記撮像画像に関するメタデータを作成するメタデータ作成部と、上記撮像画像と上記メタデータとを含む画像ファイルを記録する記録制御部と、を具備し、上記メタデータ作成部は、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を予め決められた項目別の表形式に各項目ごとのデータとして作成し、上記画像ファイル中の上記表形式により記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を半構造化データまたは非構造化データまたは上記予め決められた項目以外による構造化データにより作成し、上記第1領域のハッシュ値を上記第2領域に記録すると共に、上記ハッシュ値記録後の第2領域のハッシュ値の記録を行うことによりセキュリティ処理を施す
【0016】
本発明の一態様によるメタデータ作成方法は、画像データを含む画像ファイルに記録するためのメタデータのうちの第1のメタデータを上記画像ファイル中の第1領域に記録するために、上記第1のメタデータとして、上記画像データに関する情報を予め決められた統制語を使った構造化データとして作成し、上記構造化データの項目として記録された情報によって指定された上記画像ファイル中の第2領域に上記メタデータのうちの第2のメタデータを記録するために、上記第2のメタデータとして上記第1領域のハッシュ値と上記画像データに関する情報を非構造化データとして作成する。
【0017】
本発明の他の態様による情報処理方法は、画像を取得する取得ステップと、上記画像に関するメタデータを作成するメタデータ作成ステップと、上記画像と上記メタデータとを含む画像ファイルを記録する記録制御ステップと、を有する情報処理方法において、上記メタデータ作成ステップは、上記メタデータとして、上記画像ファイル中の第1領域に、上記画像に関する情報を表形式により作成し、上記記録制御ステップは、上記画像ファイル中の上記表形式により作成された情報によって拡張された第2領域に上記画像の評価情報と上記第1領域のハッシュ値を記録し、上記第1領域上記第2領域のデータを合わせたデータのハッシュ値をさらに別の記録部に記録する。
【0018】
本発明の一態様による記録制御方法は、画像データと当該画像を評価した情報を関連付けて記録可能な記録制御方法において、上記画像を評価した複数の評価主体と、上記複数の評価主体のそれぞれの評価結果の有無を示す表形式のデータとを記録する第1の記録領域への記録制御ステップと、上記複数の評価主体の詳細情報と上記複数の評価主体の評価結果を非構造化データとして記録する第2の記録領域への記録制御ステップとを有する。
【発明の効果】
【0020】
本発明によれば、一義性を担保しつつ、自由度を確保したメタデータ追記の拡張を可能とすることにより、画像等コンテンツの利活用を促進することができるという効果を有する。
【図面の簡単な説明】
【0021】
図1】本発明の第1の実施の形態に係る情報処理装置を示すブロック図。
図2】拡張メタデータのデータ構造を示す説明図。
図3】第1の実施の形態の動作を説明するためのフローチャート。
図4】本発明の第2の実施の形態を示すブロック図。
図5】第2の実施の形態において採用される動作フローを示すフローチャート。
図6】第2の実施の形態において想定される利用方法の一例を示す説明図。
図7】第2の実施の形態において生成される拡張メタデータを示す説明図。
【発明を実施するための形態】
【0022】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0023】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る情報処理装置を示すブロック図である。また、図2は拡張したメタデータのデータ構造を示す説明図である。
【0024】
本実施の形態は、メタデータを拡張して、構造化データ部分を含む表形式部だけでなく、非構造化データ部分を含む拡張部を設け、拡張部へのアクセスを可能にするためのリンク情報を表形式部に記述したデータ構造にすることで、高い検索性と優れた拡張性及び解析性とを兼ね備えた画像ファイルを得るものである。
【0025】
画像ファイル中の上記表形式により記録された情報によって拡張された第2領域は、これからの多様な画像の使われ方に対応するため、比較的自由な記載が可能なようになっていることが重要である。ここでの「記録された情報によって拡張される」というのは、単に、アドレスが指定できるようにしたとか、参照可能な工夫がされる、という意味以上に、記録された情報に基づく文脈で拡張領域の情報を解釈させる意味や、記録された情報は申し送り事項であって、拡張領域に補足情報をその申し送りされた指示に従って追加したり、参照したりできることを意味する。これは、第2領域のアドレスを固定にしておいても可能で、表形式を、「良否」情報、あるいは拡張領域参照せよの情報等、極端な例では1か0といった統制語(フラグ等の信号で良い)で記載可能で、拡張部には、自由記載が出来るので、「表形式に記載した良否の理由は」といった情報を補えば、それが申し送りされた項目の詳細情報であることが解釈可能となる。「表形式で記録された情報によって拡張される」という記述は、「統制語利用で記録された情報によって規定される内容の」とか、「統制語利用で記録された情報によって導かれる内容の」という解釈であってもよい。
【0026】
(構造化データ)
本実施の形態において、構造化データは、データ中のコンテンツがどのようなものであるか、意味や背景等も含めて認識可能にするために、コンテンツを分類可能に標準化したデータ形式である。データは、データを管理する規定の構造に従って格納される。従って、構造化データは、検索性に優れ、標準化により活用範囲が広く、解釈の一義性を有し、保守やデータの扱いが容易である 。構造化データは、例えば特定のシンタックスに従って、作成される。
【0027】
(非構造化データ)
また、本実施の形態において、非構造化データは、構造化データ以外のデータである。非構造化データは、データ中のコンテンツを分類可能に標準化されたものではなく、例えば、自由な形式のテキスト等により構成される。なお、非構造化データにおいても、コンピュータ処理可能とするためには、所定の構文情報に従って作成される必要がある。非構造化データのコンテンツの解釈には、例えば、自然言語処理を必要とする場合もある。近年、非構造化データをビッグデータ化することで、有用な情報をAIにより取得可能な場合もある。なお、ここには、「非構造化データ」に適宜、規則性に関する区切りを設けたりして構造的な要素を加えた「半構造化データ」等と分類されるものも、同様に「非構造化データ」に含まれるとして説明をしている。
【0028】
先ず、図2を参照して、本実施の形態における拡張したメタデータ(以下、拡張メタデータともいう)のデータ構造について説明する。
【0029】
本実施の形態における画像ファイルは、画像データと、拡張メタデータとを含む。本実施の形態における拡張メタデータは、図2に示すように、表形式部と拡張部とを含む。なお、表形式部及び拡張部の情報を、それぞれ表形式情報又は拡張情報という。
【0030】
(表形式部)
表形式部は、表形式で記述されたものであり、記述する項目(タグ)が予め規定された構造化データにより構成される。なお、表形式部は構文が予め規定されており、例えば、項目のファイル中の位置が決まっている場合には、項目名そのものについても記述が不要な例えばCSV(Comma Separated Value)形式等のデータで構成される場合がある。本実施の形態においては、表形式部は、CSV形式等のデータを含むものとし、表形式部を、拡張部に対する基本部と呼んでもよい。または、使用上、予め特定のルールで統制された統制語を項目名とし、そのバリュー、項目名に対応するデータや内容もまた統制語が主体になっているものを想定している。また、簡単な英数字記号などで表記できるものであることが好ましい。
【0031】
表形式部は、例えば、撮影機器において高速処理が可能なように、バイナリ形式やタグ形式により記述してもよい。例えば、Exif(Exchangeable image file format)データにより表形式部を構成してもよい。これは複数のタグナンバー(バイナリ形式で記載)に対してそれぞれタグ内容をバイナリやテキスト形式で記述して整理したものである。
【0032】
なお、バイナリ形式とは、0 と 1 の限られたビットの並びでデータが表現されているもので、特定の決まりによって単語や数値程度の単純なテキスト情報にすることも出来るが、自由記載のテキストとは異なる規定フォーマットのデータである。また、表形式部には、数値や決まったテキスト等を記述することも可能である。なお、テキスト形式は、人が読んで分かるような自然言語の文字用の文字コードに対し、表示制御のための制御コードや構文情報を含み、人間が容易に読み書きできるのに適した形式のデータを指す。
【0033】
表形式部には、一般的なExifデータと同様に、シャッタースピード、撮影時刻、絞り、ピント位置等の撮影に関する各種情報が記述されていてもよい。更に、本実施の形態においては、表形式部に、撮影パラメータに関する情報や撮影環境情報に関する情報等を記述できる。そして、この情報として、図2では、評価を行うユーザを特定するユーザ部と、当該ユーザにおける評価の内容を示す評価部とを記述した例を示している。この表形式部を第1領域とすると、撮像画像に関する情報を、予め決められた項目別の表形式に各項目のデータとして作成するメタデータ領域と呼んでもよい。なお、表形式部に記述可能な情報は、ユーザ部、評価部に限定されるものではない。
【0034】
ユーザ部には、ユーザを特定する決まり文句や制約語、統制語(予め登録されたテキスト)を記述する。例えば、「カメラマン」、「アシスタント」等の決まり文句を記述してもよい。なお、後述する情報処理装置に登録されたユーザについては、登録ユーザ名やその識別番号(ID)を決まり文句として記述可能である。ただし、決まり文句を逸脱した、「どこのだれ」といった記述には対応しにくい。しかし、「どこの」に対応する国名などは単純な英字表記も可能であり、これを統制語として表形式部に記載可能としてもよいし、予め、標準化されて解釈の揺れがない統制語は、必要に応じて、後述する拡張部に記載してもよい。
【0035】
また、評価部においても、「優れた画像」や「ピントの合った画像」等の予め定められた決まり文句や制約語、あるいはそれに対応する記号や符号等を記述可能である。ユーザ部及び評価部においてタグ形式あるいは制約語等のデータが用いられることから、表形式部は検索性に優れている。換言すると、表形式部は、構造化データの特徴を備えることから、検索性に優れている。また、表形式部は、規定の構文情報に従って記述されており、この構文情報を処理可能な機器であれば、表形式部の内容を比較的簡単に認識することができる。ただし、決まり文句を逸脱した、「どこがどう優れた画像か」といった細かい記述には対応しにくい。したがって、様々な利用シーンをもとに新しい画像の利活用を考えた場合には、この第1領域の情報では不十分な場合があり、それを必要に応じて補足するような第2領域(拡張領域、拡張部)を設けるようにしている。
【0036】
更に、本実施の形態においては、評価部には、上記拡張部へのアクセスを可能にするための書き込み位置情報であるリンク情報を記述することができるようになっている。リンク情報は、画像ファイル上の位置やメモリ上の位置を示すものである。なお、リンク情報についても、規定の構文情報に従って記述される。また、リンク情報は、拡張部のメモリ上の位置を特定可能なポインタであってもよい。また、リンク情報は、拡張部の位置を特定するための数値や名前の情報であってもよい。この場合には、CPUの性能が比較的低いカメラやその他の専用機器等であっても、リンク情報の指定が容易に行える場合がある。
【0037】
表形式部はいわば、統制語項目に統制語記述をしていく形式とも言えるので、標準化して業界を超えての揺れのない解釈がしやすい。また、AIのワークフローを考えると、画像は大きく分けて、学習用の教師データとしての画像と、推論用の入力画像という二つの可能性があるが、それが学習用か、推論用かなどの切り分け情報は統制語で扱いやすく、業界を超えても考え方に差異がない部分なので、この表形式部に識別記号等の識別用の情報を入れ込んでもよい。もちろん、拡張部を参照してどちらであるかを確認させる方法もある。また、教師データかテストデータか、あるいは、推論時の信頼性などの記載は、比較的表形式での記載が容易であり、第1領域に記録してもよい。
【0038】
(拡張部)
拡張部は、画像データや表形式情報に関連する拡張情報が記述される。拡張部は、非構造化データにより構成され、拡張性、自由度が極めて高い。図2では、表形式部の評価部に対応させて、拡張部に拡張評価部を記述する例を示しているが、拡張部に記述可能な情報はこれに限定されるものではない。
【0039】
本実施の形態においては、拡張部は、予め定められた規定の構文情報に従って記述される必要はない。このため、拡張部の内容を解釈するために、拡張部に対応した構文解析を行う必要がある。例えば、情報処理装置は、拡張部に対応した構文情報を保持していてもよく、この構文情報を用いて拡張部の内容を解釈したり、外部機器から拡張部に対応した構文情報を読み出し、読み出した構文情報を用いて拡張部の内容を解釈したりしてもよい。また、拡張部は、構文情報を含む拡張情報が記述されるようになっていてもよい。この場合には、情報処理装置は、拡張部から構文情報を読み出し、読み出した構文情報を用いて、拡張部の内容を解釈する。ただし、同じ意味なのに多様な表現があって迷うような場合があるため、必要に応じて、予め、標準化されて解釈の揺れがない統制語をこの拡張部に記載できるようにしてもよい。この統制語は、特定の業界や企業内では通用するものになる可能性もあって、「標準化」については、そうした範囲で行ってもよい。
【0040】
また、本実施の形態においては、拡張部は、リンク情報によりファイル中の位置、あるいは記録媒体の記録位置を特定可能である。図2では1つの拡張部のみを示したが、本実施の形態における画像ファイルは、複数の拡張部を有していてもよい。この場合には、表形式部の評価部内に複数の拡張部にアクセスするための複数のリンク情報を記述してもよい。また、拡張部内に、次の拡張部にアクセスするためのリンク情報を記述するようになっていてもよい。リンク情報がなくとも、特定のアドレスに記載した拡張部記載と、表形式記載が意味の上で関連付け可能であればよい。
【0041】
こうした構造化された形の部分(第1領域)を主として、構造化しきれない部分を拡張領域(拡張部、第2領域)とすると、構造化した部分は複雑な情報の入れ込みは困難でも、そこ(第1領域)に拡張部で補足説明する情報が有るか無いかなどは記載できる。さらに、その画像がどのような画像であるかや、その画像を元の情報としていかなる推論が得られたかなどの基本情報を記載することも可能となる。第1領域には、第2領域に書かれる内容の示唆や要約や位置づけの情報などを構造化されたルールでメモすることが出来る。これは例えば、申し送り情報として使うことも出来る。この申し送り情報は、二つの使い方が出来る。まず、申し送り情報があるのに第2領域に対応する情報がない場合には、第2領域の情報が要求された画像、という意味付けになる。また、申し送り情報があって、第2領域に対応する情報があれば、第2領域の情報の基本的な解釈の仕方として、申し送り情報を修飾するロジックにて解釈されなければならない。第2領域の情報として、「この画像の色」と書かれていても、それが良いか悪いかわからない場合もあるが、そうした良し悪し情報は、構造化が容易なので、第1領域に記載すればよい。つまり、拡張領域に記載されたことの基本的なメッセージ等の位置づけに解釈の揺れがなくなる。また、構造化された申し送り情報などの拡張領域をさらに読み取り解釈する必要があるかの判断ができる。構造化された項目ごとに、対応する第2領域の情報を記載可能にすることによって、第1領域の項目ごとに、追記なり詳細解釈なりを、それぞれ異なる第2領域に記載が出来ることは言うまでもない。また、画面内の座標情報などは、数値記載がしやすいので、表形式にしておき、そこに何があるかとか、そこにあるものを検出する時の補足情報などは、拡張部に記載といった二つの領域の使い分けもできる。拡張部は拡張の自由度があるため、画像評価の結果を、次々と追記できるようにしてもよい。例えば、最初の評価の概略を表形式で記載して、その理由を拡張部に書くような用途があるが、セカンドオピニオン、サードオピニオンがある場合は、例えば区切りの情報を入れながら、順次追記が可能である。そうした情報の有無を表形式部に記載してもよいが、拡張部に、「ここからはセカンドオピニオン」といった風に追記して行ってもよい。
また、このような第1領域と第2領域の関係は、セキュリティ的にも有効に利用できるので、それについては後述する。
【0042】
このように、本実施の形態において採用する画像ファイルは、拡張メタデータが、検索性に優れた表形式部と、拡張性に優れた拡張部とを設けていることから、広範囲の情報から所望の情報を選択し、且つ選択した情報について詳細な内容を取得する等の利用法が可能である。例えば、表形式情報を利用して1次情報を取得し、拡張情報を利用して2次情報を取得することも可能である。
【0043】
この拡張メタデータを記録する第2(記録)領域は、その拡張された機能、自由度が重要であるので、撮像して得た画像に関する情報として、前述の半構造化データを含む非構造化データで記録してもよく、または第1領域に記録するような決められた項目以外の、例えば、予め決められた項目以外による独自仕様の構造化データにより作成してもよい。
これはグラフや表や図面(画像)など評価の根拠となる情報や参照すべき情報を想定したものである。拡張部は非構造化データが扱えるので、この画像をローカルルールで活用することが出来る。また、AIのワークフローを考察すると、教師データとして使われる画像は、どのような推論モデルを作る時の教師データであるか、推論モデルに入力される画像データも、どのような推論モデルを想定して入力されるかなど、推論モデルのIDが重要な情報になるが、こうした推論モデルは無数にあるため、統制語による指定が困難となる。そのため、拡張部に記載するようにして、インターネット等で、その仕様などが参照できるようにした方がシステム構成が簡易化され設計しやすくなる。また、教師データとしての画像のアノテーション情報や、推論結果出力情報も統制語化が困難なので、拡張部の半構造化データで扱う方が便利である。
【0044】
(セキュリティ)
表形式部は、例えば、撮影機器やその周辺機器によって作成されることが考えられる。一方、拡張部は、撮影時だけでなく、撮影後において作成されることも考えられる。この場合、撮影機器により取得された情報は、エビデンスの確保等の観点から、改ざん防止等のセキュリティ処置を講じた方がよい場合がある。そこで、本実施の形態においては、表形式部は、表形式部全体に対してハッシュ演算(状態演算)を施してハッシュ化してもよい。また、拡張部についても、ハッシュ化してもよい。
【0045】
また、拡張メタデータ部分だけでなく、画像データについてもハッシュ化するようになっていてもよい。更に、ハッシュ化するだけでなく、所定の符号化処理を施すようになっていてもよい。例えば電子署名等の暗号化処理をしてもよい。
【0046】
画像データは表示されると見た目に訴えるため、よく見るために拡大したり縮小したり、明るさやコントラストや階調など視認性を変えて見直したり、トリミングや異物除去など感覚的な見栄えを重視して直感操作をしてしまう可能性がある。そのような操作結果を誤って記録してしまうと、オリジナル画像との混乱が生じて好ましくないので、まず、そうした処理の有無の履歴が分かるようにしておくことが好ましい。コピーしてダウンロードして、オリジナルと混同が起こらないようにする工夫も必要で、オリジナルとコピーを表すデータをメタデータ記録できるようにしてもよい。これも含めてハッシュ化する処理を行えば、こうした混同を防止することが可能となる。
【0047】
このハッシュ化は、元のデータから一定の計算手順に従ってハッシュ値と呼ばれる規則性のない固定長の値を求め、その値によって元のデータを表す手法(ハッシュ値化)である。つまり、元のデータが改変されたりすると、このハッシュ値が変わってしまうという原理があることから、記録されていたハッシュ値と現在のハッシュ値が同じかを調べることによって改ざんあるいは無意識の変更などを発見できるようにできる。前述のように第1の領域のデータ(例えば撮影画像)などを見ながら、第2の領域に書き込む評価などをした場合、第2の領域の書き込みの前提となったデータの改変があると、その評価の信頼性が変わってしまう。したがって、第1領域のハッシュ化をしておけば、仮に改変があった場合などに、第2領域の評価もまた疑わしいと考えることができる。つまり、第2領域に記載する内容を書き込む前の第1領域ハッシュ値が記録してあることが好ましい。第2領域にこのハッシュ値を記録するようにすれば、第2領域の記載内容と第1領域の内容に齟齬がないことが確認でき、データの信頼性が向上する。
もちろん、第1領域ハッシュ値を、その他の記録領域に記録して、それが参照できるような方法でもよい。また、第1領域に対して第2領域の評価結果を追記するような場合もあるが、その場合は、追記用記録領域以外のデータをハッシュ値にすればよい。このハッシュ値は重要であるので、これを含めてハッシュ化するような手法もあり、ハッシュ値を暗号化して記録する方法もある。
このように、この情報処理装置(方法)は、取得した画像に関するメタデータを作成し、上記撮像画像と上記メタデータとを含む画像ファイルを記録するが、上記メタデータ作成時に、上記メタデータとして、上記画像ファイル中の第1領域に、上記撮像画像に関する情報を表形式により作成する。また、上記画像ファイル中の上記表形式により記録された情報によってアクセス可能に拡張された第2領域に上記第1領域のハッシュ値と画像評価情報を記録し、さらに上記第1と第2の領域のデータを合わせた第2のハッシュ値をさらに別の記録部に記録するので、この第2のハッシュ値の確認だけで、上記画像が改ざんされていないか、また、画像と評価の対応関係が改ざんされていないかの両方を同時に確認可能にできる。表形式部に拡張領域にアクセスするための情報が入っているので、拡張領域に即座にアクセスできる。また、表形式部に第2ハッシュ値を記録しても、これを使ってすぐにデータ履歴の検証が可能となる。なお、この場合は、この第2ハッシュ値を記録する表形式部の記録領域は、改ざんと判定されないようにハッシュ化候補から外しておく。第2ハッシュ値は、表形式部以外の記録領域で、アクセスしやすい部分に記録してもよい。
【0048】
更に、本実施の形態においては、例えば複数の拡張部を設ける場合等において、表形式部と表形式部に直接関連する拡張部をパッケージにしてハッシュ化してもよい。この場合には、拡張部を拡張する毎に、それまでにハッシュ化されたパッケージと拡張された拡張部とをパッケージ化してハッシュ化するようになっていてもよい。第1領域のデータと第2領域のデータを合わせてハッシュ化してもよく、さらに第1領域のデータのハッシュ値を合わせてハッシュを作ってもよい。このハッシュ値が、特定のステップや時間の経過後、同様のハッシュ値と変わらなければ、改変がなかったことが分かる。こうしたことによって、その承認結果も改変がないことも含め、第1領域の結果を承認した記録になる。
【0049】
拡張部が拡張される毎に順番にパッケージ化してハッシュ化することにより、エビデンスの確保が可能となり、各評価を個別に検出できるという利点がある。そのハッシュ値の履歴などを記録していけば、どの時点で問題が起こったかを追跡することなども可能となる。改ざん防止の工夫は、悪意のある処理を取り締まる厳密性が求められる一方で、つい無意識に余計な操作をしてしまう、といった善意または過失による処理を簡単に見つけられる手軽さも求められ、ハッシュ値の暗号化等や管理のシステムについては、厳密性と手軽さとのバランスの中で検討すればよい。
【0050】
このような工夫によって、検証対象に信憑性が担保されつつ、承認や第2領域への書き込みも含めて全体も信憑性あり、ハッシュ値の不一致の問題が発生しても、各作業ごとにハッシュ化されているため、後でどこの作業で不一致を起こすトラブルが起こったかが検証可能となり、トレースバックできるようになる。
【0051】
また、第2領域のハッシュ値が正しくなくとも、第1領域のハッシュ値が正しければ、そこから作業をやり直せばよい。また、画像とかその時の付随情報が補正、変更された場合は、第2領域までの全体ハッシュ値も変わるので、見直した時にすぐわかる。つまり、第2領域までのハッシュ値が変わってなければ第1領域までのハッシュ値が変わっていないと言えるので、確認の手間を軽減できる。
【0052】
悪意のある処理があった場合、ハッシュ値を合わせて改ざんする手口もあるので、ハッシュ値を暗号化する等、セキュリティを確保する手法は多様であるが、ここではこのような例示にとどめる。以下の説明では、ハッシュ化と書かず、状態演算を行うという言葉で表すこともある。
【0053】
このように図2は画像ファイルに含まれるメタデータの改良案の構成を表したものである。これまでも業界団体などで撮影日時や撮影パラメータ、あるいは撮影環境などを表形式でまとめたメタデータが提案されていたが、この形式はどこに何が書いてあるかの決め事さえ標準化されていれば、簡単に見たい部分のみを確認できるというメリットがあった。つまり解釈が一義的で容易であるため、同様の目的のためには非常に使いやすく、広く普及した。ここには簡単な数字、記号等は入れることが出来る。これらは、特別な構文解析(パース)を必要としないので表から簡単に読み取りができ、表の項目から簡単に解釈も出来るからである。メタデータの作成も読み取りも、簡単なシステムで可能である。しかし、画像に様々な人が注釈を加えたりする用途には、この表形式部は自由度がないため相応しくなく、何らかのテキストを自由に記載できる工夫が必要であった。例えば、医療画像にメタデータを付加する場合には、患者や患部、症例など記載すべきことは多く、それを誰が記載したかも重要であるが、簡単なルールにすることは難しい。むしろ自由記載のテキストにしておき、テキストを解釈できるようにする工夫の方が好ましいと言える。拡張部はこのような要求を満足する。ただし、これ(テキスト利用)には言語や文法など、何らかの構文解析の仕組みが必要なので、表形式部と異なり、書き込みや読み取りには比較的高度なハードやプログラムを必要とする。したがって、このテキスト部が扱える機器は比較的限られたものとなる。また、こうした工夫によって、ここにこの画像が扱われるシステムのIDや、記録され、検索される記録場所のアドレス情報、画像を解析する時の前提とする推論モデルIDや、推論モデルを使っての解析があった場合には、その推論エンジンのIDを記録しておけばよく、ここに書ききれない情報をインターネットなどのネットワークを介して取得するためのURL(Uniform Resource Locator)情報なども記載が可能である。このような工夫も出来る一方で、この情報を有効活用するためには、インターネットなどに接続するシステムや回路、プログラムなどが必要となり、どんな装置でも使えるという仕様から逸脱する。したがって、こうした情報は第2(記録)領域に記録するものとして、第1領域だけでも独立して簡易な装置で利用可能としている。
【0054】
(構成)
次に、図1を参照して具体的な適用例について説明する。図1は情報処理装置を撮像装置10により構成した例を示している。
【0055】
図1において、撮像装置10は、装置の全体を制御する制御部11を有している。制御部11は、CPU(Central Processing Unit)やFPGA(Field Programmable Gate Array)等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【0056】
撮像装置10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部12を有している。撮像部12は、撮像装置10の被写体光学像を取り込む図示しないレンズと、レンズからの被写体像を光電変換して撮像画像信号を得る図示しない撮像素子によって構成される。
【0057】
撮像部12は、制御部11によって駆動制御されて、レンズを介して被写体を撮影し、撮像画像を出力する。制御部11は、撮像素子を駆動するための駆動信号を撮像部12に出力すると共に、撮像部12からの撮像画像を読み出す。制御部11は、読み出した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
【0058】
撮像装置10には、操作部13が設けられている。操作部13は撮像装置10に設けられた図示しないレリーズボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等、あるいは、ユーザの音声を取り込むマイクロホン等により構成され、ユーザ操作に基づく操作信号を発生して、制御部11に出力するようになっている。
【0059】
撮像装置10には表示部14が設けられている。制御部11は、表示に関する各種処理を実行する。制御部11は、信号処理後の撮像画像を表示部14に与えることができる。表示部14は、LCD(液晶表示パネル)等の表示画面を有しており、制御部11から与えられた画像を表示する。また、制御部11は、各種メニュー表示等を表示部14の表示画面に表示させることもできるようになっている。
【0060】
なお、表示部14には、操作部13を構成する図示しないタッチパネルが設けられていてもよい。このタッチパネルをユーザがタッチ操作することで、指し示した表示画面上の位置に応じた操作信号を発生することができる。
【0061】
なお、表示部14は、撮像装置10の例えば背面の略全域を占めるように配設されていてもよく、撮影者は、撮影時に表示部14の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作等を行うことができる。
【0062】
制御部11には記録制御部11dが設けられている。記録制御部11dは、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部15に与えて記録させることができる。記録部15としては、例えばカードインターフェースを採用することができ、記録部15はメモリカード等の記録媒体に画像情報及び音声情報等を記録すると共に、記録媒体に記録されている画像及び音声情報を読み出して再生することもできるようになっている。
【0063】
記録制御部15には、画像ファイルを記録する画像ファイル記録領域15aと、ユーザIDの情報を記録する領域15bとを有する。領域15aには、画像データを記録する画像データ記録領域と拡張メタデータを記録する拡張メタデータ記録領域とが設けられる。
【0064】
撮像装置10には、通信部16が設けられ、制御部11には通信制御部11cが設けられている。通信部16は、通信制御部11cに制御されて、図示しない外部機器との間で通信を行って、情報を送受することができるようになっている。なお、通信部16としては、種々の伝送路を採用することができ、例えば、LAN等の有線ケーブルを採用した有線伝送路、無線LAN、ブルートゥース(登録商標)、WiMAXや電話回線網等を採用した無線伝送路等を用いることができる。
【0065】
本実施の形態においては、制御部11は、メタデータ作成部11bを有する。メタデータ作成部11bは、撮像部12からの撮像画像の撮影に際して、拡張メタデータを作成する。例えば、メタデータ作成部11bは、撮像画像の撮影時に、図2に示す拡張メタデータ中の表形式部を作成し、撮影後において、図2に示す拡張メタデータ中の拡張部を作成するようになっていてもよい。
【0066】
なお、メタデータ作成部11bによる表形式部及び拡張部の作成タイミングは、これに限定されるものではない。例えば、メタデータ作成部11bは、撮像画像の撮影時には、表形式部のうち図2に示したユーザ部及び評価部以外のメタデータのみを作成するようになっていてもよい。そして、撮影後において、図2に示す拡張メタデータの表形式部及び拡張部を作成するようになっていてもよい。更に、メタデータ作成部11bは、表形式部と拡張部とを、撮影後の異なるタイミングで作成するようになっていてもよい。
【0067】
制御部11は操作及び画像分析部11aを有する。操作及び画像分析部11aは、ユーザ操作及びユーザ操作に基づく撮像部12の制御を分析すると共に、撮像画像の画像解析を行い、拡張メタデータの情報を取得する。メタデータ作成部11bは、操作及び画像分析部11aが取得した情報を元に、拡張メタデータを作成する。
【0068】
例えば、操作及び画像分析部11aは、シャッタースピード、撮影時刻、絞り、ピント位置等の撮影パラメータを取得することができ、メタデータ作成部11bは各種撮影パラメータを表形式部に記述することができる。また、操作及び画像分析部11aは、周囲環境を含む各種撮影条件の情報を取得することができ、メタデータ作成部11bは、撮影条件の情報等についても表形式部に記述することができる。また、操作及び画像分析部11aは、領域15bに記録された情報から撮影者のユーザIDの情報を取得する。これにより、メタデータ作成部11bは、表形式部のユーザ部の情報を作成することができる。
【0069】
更に、本実施の形態においては、操作及び画像分析部11aは、ユーザ操作に基づいて、又は、画像解析結果に基づいて、例えば画像に対する評価の結果を示す情報を取得する。例えば、撮影者が撮像画像の優劣等の評価を示す情報の入力(音声入力を含む)操作を行った場合には、この評価の情報を取得する。また、例えば、撮像画像に対する画像解析によって、ピントの優劣等の評価を判定可能な場合には、この評価の情報を取得する。メタデータ作成部11bは、操作及び画像分析部11aが取得した情報に基づいて、評価部の情報を生成することができる。
【0070】
更に、本実施の形態においては、操作及び画像分析部11aは、ユーザ操作に基づいて、撮像画像に対するユーザの再評価の情報を取得することも可能である。例えば、ユーザは、タッチパネル等の操作部13を操作して、テキスト形式で撮像画像に対する再評価を入力することもできる。なお、操作及び画像分析部11aは、マイクロホンにより取得したユーザの音声に対する音声認識処理によって、ユーザの声に基づいた評価情報を取得することもできる。メタデータ作成部11bは、再評価に関する情報を拡張評価部に記述する。
【0071】
なお、メタデータ作成部11bは、拡張評価部を作成する場合には、作成する拡張情報にアクセスするためのリンク情報を評価部に記述する。例えば、拡張評価部の作成の有無に拘わらず、次に作成される拡張評価部のポインタをリンク情報として記述しておいてもよい。メタデータ作成部11bは、2つ以上の拡張評価部を作成する場合にも、次の拡張評価部の作成の有無に拘わらず、次に作成される拡張評価部のポインタをリンク情報として1つ前の拡張評価部に記述しておいてもよい。
【0072】
なお、図2では、評価部及び拡張評価部の評価及び再評価の主体は、撮影を行ったユーザであるものとして説明したが、撮影を行ったユーザ以外の1人又は複数のユーザが評価や再評価等を行うことも可能であり、この場合には、メタデータ作成部11bは、評価部及び拡張評価部において、それぞれの主体となるユーザについての情報を記述するようになっていてもよい。
【0073】
また、逆に、メタデータ作成部11bは、評価部及び拡張評価部において、それぞれの主体となるユーザが異なる場合には、評価や再評価等の情報を記述できないようになっていてもよい。
【0074】
メタデータ作成部11bは、作成した拡張メタデータを記録制御部15に与えて記録する。即ち、メタデータ作成部11bは、撮像画像の画像データを領域15aの画像データ記録領域に記録し、拡張メタデータを領域15aの拡張メタデータ記録領域に記録する。なお、メタデータ作成部11bは、拡張メタデータの評価部又は拡張評価部が新たに作成される毎に、領域15aの拡張メタデータの情報を更新するようになっている。
【0075】
制御部11には、セキュリティ処理部11eが設けられている。セキュリティ処理部11eは、メタデータ作成部11bが作成したメタデータに対して所定のセキュリティ処理を施す。例えば、セキュリティ処理部11eは、記録制御部15の領域15aに、画像データ及び拡張メタデータのうちの表形式部が記録された段階で、これらのデータをパッケージ化してハッシュ演算(状態演算)を行ってハッシュ化してもよい。更に、セキュリティ処理部11eは、領域15aの拡張メタデータが更新されて拡張評価部が記録された段階で、パッケージ化された画像データ及び表形式部と拡張メタデータとをパッケージ化して、ハッシュ化してもよい。更に、セキュリティ処理部11eは、領域15aの拡張メタデータが更新されて拡張評価部が追加記録された段階で、前回ハッシュ化されたパッケージ部分と追加記録された拡張評価部とをパッケージ化して、ハッシュ化してもよい。
【0076】
なお、上述したように、撮像装置10は撮像部12と撮像部12によって得られた画像信号を処理する機能(回路やプログラム)や撮像時の露出やピントなどを調節する機能(回路やプログラム)を制御する制御部11や、撮像した画像を記録する記録部15等からなるが、これらは連携して働けばよく、必ずしも一体的な構造である必要はない。
【0077】
また、ユーザの操作を受け付ける操作部13、撮影画像を確認する表示部14も一体であってもよいが、無線、有線で遠隔で操作や確認可能な装置が増加しており、別体であってもよい。ここでは、制御部11が拡張メタデータを作成する機能を有し、拡張メタデータと画像データを画像ファイルとして記録部15に記録する記録制御部11dや、作成し、記録した画像ファイルを外部に送信するための通信部16を制御する通信制御部11dを有する。この通信制御は記録部15の内容を外部に公開する機能を得るものでもよい。
【0078】
(作用)
次に、このように構成された実施の形態の動作について図3を参照して説明する。図3は第1の実施の形態の動作を説明するためのフローチャートである。図3は制御部11による画像ファイルの作成及び記録制御を示している。
【0079】
図3のステップS1において、制御部11は撮像部12からの撮像画像を取り込み、所定の画像処理を施した後、表示部14にスルー画として表示する。撮影者は、このスルー画を確認しながら、撮影操作を行う。
【0080】
操作及び画像分析部11aは、ステップS2において、撮影に関する情報(関連情報)、撮影条件、撮影環境等の各種判定を行う。例えば、操作及び画像分析部11aは、撮影者に関する情報、撮影パラメータの情報、取得された画像の解析結果等の情報を得る。
【0081】
ステップS3は撮影操作の待機状態を示しており、撮影操作が行われなければ、制御部11は処理をステップS1に戻す。撮影操作が行われると、ステップS4に移行して、制御部11の記録制御部11dは、撮像画像を記録制御部15の領域15aに記録する。また、メタデータ作成部11bは、拡張メタデータ中の表形式部を作成して、領域15aに記録する。また、ここでハッシュ値を計算して記録しておくこと(図中、状態演算記録)によって、撮影という一瞬の制御の中で得られた情報のセキュリティを考慮することは、この後の画像評価の基本情報であるだけに重要な処理となる(ステップS4)。
【0082】
ステップS2において、操作及び画像分析部11aは撮像画像に関する評価(1次評価)を自動的に取得していてもよい。例えば、操作及び画像分析部11aは、撮像画像の合焦状態について解析し、解析結果を1次評価の情報として取得してもよい。この場合には、メタデータ作成部11bは、操作及び画像分析部11aが自動的に取得した1次評価の情報を評価部に記述する。また、撮影者が、撮像画像に対して、操作部13の操作により、1次評価を行ってもよい。この場合には、メタデータ作成部11bは、ユーザ操作に基づく1次評価の情報を評価部に記述する。なお、メタデータ作成部11bは、ユーザ部に撮影者の情報を記述する。なお、1次評価は、比較的単純な分類等によって、記録された撮像画像の状況を示すものであってもよい。例えば、ピントについて評価を行う場合には、1次評価として、良否の2種類とか5段階評価等の分類結果の情報を記述してもよい。
【0083】
本実施の形態においては、表形式部には、ある程度、規格化された統制語、いわば決まり文句が必要に応じて選択されて記述される。従って、表形式部は検索性や検索され、あるいは解釈される時の一義性に優れている。この結果、ユーザは、比較的単純な分類等によって記録された撮像画像取得時の状況(環境や撮影パラメータ)を、比較的簡単な操作で把握可能である。
【0084】
また、この撮影画像取得時の状況は、一瞬の状況、一過性の状況の情報とも言え、後で書き替えられるコメントなどの情報とは異なる意味で、正しいデータが消えると二度と判定できないような種類のものが多く、画像データと合わせて、パッケージ化されて、セキュリティを考慮する必要がある。したがって、こうしたデータを第1領域に収めて合わせてハッシュ化することには意味がある。これが変わってしまうと、後の分析などは、その根拠を失ってしまう可能性があるからである。また、前述のように、第2領域へのコメント追記後に、第1領域も含めてまたハッシュ化するという工夫があり、撮影時のデータが変わっていないかをこうしたタイミングでも逐次確認できるようになっている。
つまり、本発明は、撮影時の一瞬に対して得られた第1領域を何重にもガードして、どのタイミングで故意であるかに拘わらず変更がないことを追跡可能にしたものとも言える。
第1領域のハッシュ値を上記第2領域に記録し(専用記録領域を別に設けてもよい)、上記第2領域と第1領域のデータを合わせたハッシュ値を記録するセキュリティ処理を施す状態演算部を具備することを特徴とする情報処理装置の発明とも言える。
ハッシュ値もメタデータと考えることができるので、画像ファイル中の第1領域に記録するために、上記撮像画像に関する情報を予め決められた統制語を使った構造化データとして第1のメタデータを作成し、上記構造化データの項目として記録された情報によって指定された上記画像ファイル中の第2領域に記録するために、上記撮像画像に関する第2のメタデータを非構造化データにより作成することを特徴とするメタデータ作成方法、あるいは装置において、上記第1領域のハッシュ値を上記第2領域にメタデータとして記録し、上記ハッシュ値記録後の第2領域のハッシュ値を記録するメタデータ作成方法、あるいは装置の発明と考えることも出来る。これによって、第2領域のハッシュが良ければ全体として問題がない、と判定可能となる。また、上記ハッシュ値記録後の第2領域のハッシュ値をさらにメタデータとして第1領域とは異なる構造化データ記録部に記録してもよい。
【0085】
セキュリティ処理部11eは、記録された画像データ及び表形式部のデータをパッケージ化してハッシュ演算(状態演算)を実施し、演算結果(ハッシュ値)を記録部15に記録する。これにより、撮像画像及び表形式部の1次評価を含む各情報が、改ざんされていないことの保証が可能となる。
【0086】
次のステップS5において、制御部11は、追記(2次評価)があるか否かを判定する。この2次評価は、例えばユーザが行うものであり、制御部11は、表示部14に追記の有無を確認するためのメッセージを表示し、ユーザ操作によって2次評価の有無を判定してもよい。追記がない場合には、制御部11は、処理をステップS1に戻し、追記がある場合には処理をステップS6に移行する。
【0087】
ステップS6では、メタデータ作成部11bは、ユーザ操作に基づく再評価(2次評価)を拡張部の1つ目の拡張評価部に追記する。この再評価は、例えば、テキスト形式で記述可能であり、ユーザは自由に再評価の入力が可能であり、詳細な評価を行うことができる。例えば、撮像画像のピントについて、1次評価では単純な分類による「良」とみ記述された場合であっても、2次評価では画像の主要部についてのピントやそれ以外の部分のピントの状態などの詳細情報について記述することができる。また、例えば、1次評価で「良」と記述された場合でも、2次評価において、「不良」とする記述やその理由についても記述することもできる。
【0088】
2次評価は、所定の構文情報に従って記述する限り、自由なフォーマットで記述可能である。従って、2次評価は、検索、解釈時の一義性、扱えるシステムの広がりには劣っている反面、自由度が高く、詳細な内容について記述することができる。また、撮影という瞬間の中での情報ではなく、その撮影に絡んだ様々な事象や撮影画像に写し込まれた情報を必要に応じて詳細に観察して時間をかけた記載が可能となる。また、画像に修正が必要な場合は、ここに、その旨を説明しておけば、後の評価で、それを参酌することも可能となる。
【0089】
メタデータ作成部11bは、次の追記(3次評価)の画像ファイル上の位置又はメモリ上の位置を示すリンク情報を拡張部に記述する。セキュリティ処理部11eは、画像データ及び表形式部のパッケージと拡張部とをパッケージ化してハッシュ演算(状態演算)を実施し、演算結果(ハッシュ値)を記録部15に記録する。この場合でも、撮像画像及び表形式部の1次評価を含む各情報については、改ざんされていないことが保証される。また、2次評価についても、改ざんていないことが保証される。2次評価の改竄がなければ、撮像画像及び表形式部の1次評価を含む各情報にも改竄はないと判定でき、手軽である。また、2次評価が、何を見て行われたかが証拠として残るので、評価結果の信頼性が高まる。また、画像がどのように扱われたかなど情報を整理しやすくなる。
【0090】
制御部11は、ステップS7において、再生が指示されたか否かを判定する。制御部11は、再生が指示されていない場合には処理をステップS1に戻し、再生が指示されると、ステップS8において再生を行う。制御部11は、記録部15に記録されている画像データを読み出して表示部14に与えて表示画面上に表示させる。また、制御部11は、必要に応じて表形式部の情報及び存在する場合には拡張部の情報を読み出し、表示部14の表示画面上に、ユーザが認識可能なテキスト等により表示を行う。また、制御部11は、更なる追記の有無を確認するためのメッセージ表示も表示する。ここで追記したものを仮に3次評価とすると、このタイミングで、それまでのデータに改ざんがなかったかを判定してもよい。理由のわからない画像などデータ修正があった場合、この後の評価に意味があるかどうかわからないからである。
【0091】
制御部11は、次のステップS9において、追記の有無を確認し、追記がない場合には、処理をステップS11に移行し、追記がある場合には処理をステップS10に移行する。ステップS10は、ステップS6と同様の処理であり、追記のための入力処理、次の追記のためのリンク情報の生成及び状態演算を行う。メタデータ作成部11b及びセキュリティ処理部11eにより、記録部15には更新された情報が記録される。ここでも、3次評価と、その前のデータを含めてハッシュ化がなされれば、3次評価のハッシュ値に異常があれば、トータルとして一連の撮影、評価の流れ、履歴に問題がなかったことがわかる。3次評価を含めたハッシュ値を見て改竄判定がなければ、撮像画像及び表形式部の1次評価を含む各情報にも改竄はないと判定でき、手軽である。
【0092】
制御部11は、ステップS11において、送信操作が行われたか否かを判定する。送信操作が行われていない場合には、処理をステップS1に戻し、送信操作が行われた場合には、処理をステップS12に移行して、記録された情報を送信する。
【0093】
なお、図1の情報処理装置と同様の機能を有する情報処理装置であれば、送信された画像ファイルに対して、上記ステップS10と同様の処理によって、評価についての追記、リンク情報の付加及びハッシュ化等が可能である。
【0094】
また、上記説明では、追記する2次評価以降の評価は、1次評価を入力したユーザと同一ユーザが入力するものとしてユーザ情報を追記しない例を示したが、評価するユーザが異なる場合にはユーザ情報を拡張部に記述しておく。
【0095】
また、上記説明では、追記する2次評価以降の評価についてもユーザによる入力であるものと説明したが、AI処理によって評価情報を生成してもよい。この場合には、AIにより評価情報が生成されたことを拡張部に記述しておく。ただし、この評価を行ったのがAIであるか人であるか、あるいは人であっても専門家かそうでないかなどは、特定の市場やあるいは技術領域においては非常に重視される場合があるので、第1領域に構造化して記載できるようにしてもよい。ただし、どこのだれかといった識別までは無数の可能性があり第1領域で構造化することが困難である。それは第2領域に詳細表記すればよい。
【0096】
また、追記者についての確認が容易なように、例えば追記毎に追記した時間の情報を表形式部及び拡張部に記述しておくようにしてもよい。
【0097】
(セキュリティとリンク情報)
図3の例では、セキュリティ確保のため、リンク情報を含む表形式部をパッケージ化してハッシュ化し、以後、拡張情報が追記される毎に、それまでのパッケージと追記部分とをパッケージ化してハッシュ化した。このため、追記の前に事前に次の追記のためのリンク情報を予め記述する手法を採用したが、この手法に限定されるものではない。例えば、リンク情報を除く部分をパッケージ化してハッシュ化するようにしてもよい。これにより、その追記のためのリンク情報を追記毎に記述する場合でも、セキュリティを確保することが可能である。
【0098】
このように本実施の形態においては、構造化データにより表形式部と、非構造化データによる拡張部とを含む拡張メタデータを用いて画像ファイルを構成する。表形式部には、拡張部へのアクセスのためのリンク情報を記述する。表形式部には、例えば比較的単純な分類による評価を記述し、拡張部には詳細な評価を記述する。これにより、画像ファイル中の画像について、表形式部を用いて比較的簡単に検索が可能であり、また、表形式部のリンク情報によって、詳細な評価も簡単に取得可能であり、画像の利活用を促進させることができる。
【0099】
また、前述のように、画像データと表形式部とをパッケージ化してハッシュ化すると共に、以後、追記される拡張部とそれまでのパッケージとをパッケージ化してハッシュ化するようになっており、撮影直後のデータの改ざんを防止することができると共に、追記の各段階における評価についても改ざんを防止することができる。
【0100】
(第2の実施の形態)
図4は本発明の第2の実施の形態を示すブロック図である。図4において図1と同一の構成要素には同一符号を付して説明を省略する。図4の例は、撮像装置10、第1コンピュータ(第1PC)20及び第2コンピュータ(第2PC)30の3つの情報処理装置を用いた例を示しているが、1つの情報処理装置により構成してもよい。本実施の形態は、相互に異なるユーザが操作する情報処理装置によって、同一画像ファイルの拡張メタデータを連携して生成する例を示すものである。例えば、図4の例では、撮像装置10により画像データ及び拡張メタデータ中の表形式部を作成し、第1PC20により1つ目の拡張部を作成し、第2PC30により2つ目の拡張部を作成する場合を例に説明する。即ち、本実施の形態は、画像を取得したらそれで終わりではなく、様々な後工程が協働して使われることを示し、さらに、それぞれの情報処理装置がそれぞれの役割で画像に関与することを示すものである。
【0101】
図4において、第1PC20の操作部23、表示部24、記録部25及び通信部16は、それぞれ撮像装置10の操作部13、表示部14、記録部15及び通信部16と同様の機能を有するものであり、また、第2PC30の操作部33、表示部34、記録部35及び通信部36は、それぞれ撮像装置10の操作部13、表示部14、記録部15及び通信部16と同様の機能を有するものである。
【0102】
第1PC20は、第1PC20の全体を制御する制御部21を有している。制御部21は、CPUやFPGA等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【0103】
第2PC30は、第1PC20の全体を制御する制御部31を有している。制御部31は、CPUやFPGA等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【0104】
図4において、撮像装置10、第1PC20及び第2PC30は、画像ファイルの作成に関して同様の機能を有する。即ち、第1PC20の制御部21は、メタデータ作成部21b、通信制御部21c及びセキュリティ処理部21eを有しており、これらは、それぞれ撮像装置10のメタデータ作成部11b、通信制御部11c及びセキュリティ処理部11eと同様の機能を有する。
【0105】
また、第2PC30の制御部31は、メタデータ作成部31b、通信制御部31c及びセキュリティ処理部31eを有しており、これらは、それぞれ撮像装置10のメタデータ作成部11b、通信制御部11c及びセキュリティ処理部11eと同様の機能を有する。
【0106】
また、制御部31は、コンテンツ整理部31fを有する。コンテンツ整理部31fは、撮像装置10、第1PC20及び第2PC30によって作成された画像ファイルを整理して記録部37に記録する。
【0107】
これらの撮像装置10、第1PC20及び第2PC30同士は、通信部16,26,36によりローカルのネットワークを介してあるいはインターネットを介して通信可能に構成されている。
【0108】
次に、このように構成された実施の形態の動作について図5から図7を参照して説明する。図5は第2の実施の形態において採用される動作フローを示すフローチャートであり、図6は第2の実施の形態において想定される利用方法の一例を示す説明図であり、図7は第2の実施の形態において生成される拡張メタデータを示す説明図である。図5において図3と同一の手順には同一符号を付して説明を省略する。
【0109】
図6の利用例は医療現場における画像ファイルの生成に適用したものであり、撮像装置10がコンピュータ断層撮影装置(CTスキャン装置)10aと制御装置10bとに分割されて構成された例を示している。CTスキャン装置10aと制御装置10bとは相互に通信が可能であり、CTスキャン装置10aは、制御装置10bにより制御されて、人体の断層撮影を行い、3次元画像(撮像画像)を図示しない伝送路を介して制御装置10bに出力する。制御装置10bのユーザはCTスキャン装置10aを操作する認定技師であり、第1PC20のユーザは認定医師であり、第2PC30のユーザは専門医師等の鑑別の確認を行う医師である。
【0110】
なお、図6では、撮像装置10をCTスキャン装置10aと制御装置10bにより構成した例を示したが、撮像機能と制御機能を備えた各種装置の組み合わせにより撮像装置10を構成することができる。例えば、民生用カメラとスマートフォンとの組み合わせによって撮像装置10を構成することも可能である。
【0111】
図5のステップS1からステップS6までの処理は図3と同様であり、撮像装置10を構成するCTスキャン装置10a及び制御装置10bによって実施される。図5のステップS21~S26の処理は、撮像装置10、第1PC20又は第2PC30のいずれにおいても実施される可能性がある。
【0112】
例えば、大腸CTスキャン検査等においては、CTスキャン装置10aを操作する認定技師により、撮像された3次元画像(撮像画像)の読影(1次読影)が行われる。認定技師は、CTスキャン装置10aの撮像画像を制御装置10bの表示画面上に表示して読影を行い、読影の結果として、病変部の存在の可能性を有すると判断した画像について、その可能性をレーティング(即断レーティング)する。
【0113】
即ち、認定技師の操作によって、制御装置10b中の制御部11は追記ありと判定し(ステップS5)、次のステップS6において、即断レーティングの結果を表形式部の評価部に記述する。
【0114】
一般的には、認定技師による1次読影の次に、認定医師による2次読影や、専門医師により3次読影等が行われる。撮像装置10、第1PC20及び第2PC30の制御部11は、ステップS21において、再生又は転送の指示が発生したか否かを判定する。認定技師は、1次読影の後、生成された画像ファイルを必要に応じて認定医師に転送する。
【0115】
制御装置10b中の通信制御部11cは、認定技師の即断レーティングにより病変部の存在する可能性があると判定された画像を含む画像ファイルを第1PC20に送信する(ステップS22)。図6では、画像ファイルPa1は、CTスキャン装置10aにより取得された複数の画像のうち病変部が存在することが示された画像を含む画像ファイルを示し、画像ファイルPb1は、病変部が存在しないと判定された画像を含む画像ファイルを示している。例えば、認定技師は、画像ファイルPa1を第1PC20に送信する操作を行うと共に、画像ファイルPb1についても除外結果として第1PC20に送信する。
【0116】
第1PC20の通信部26は、通信部16が送信した画像ファイルを受信する。第1PC20の制御部21は、受信した画像ファイルを再生し、3次元画像を表示すると共に、表形式部及び拡張部の情報を表示する(ステップS23)。これにより、評価部や拡張部の情報に基づいて認定技師による1次読影の結果が表示される。また、表示画面には、追記の有無を確認する表示も行われる。
【0117】
第1PC20を操作する認定医師は、認定技師による1次読影の結果を参考にしながら、2次読影を行う。即ち、認定医師は、認定技師の解析結果を基に、病変等の鑑別に関する解析結果(見直しレーティング)を得る。
【0118】
第1PC20の制御部21は、次のステップS24において、追記の有無を確認し、追記がない場合には、処理をステップS1に戻し、追記がある場合には処理をステップS25に移行する。
【0119】
本実施の形態においては、ステップS25において、第1PC20の制御部21は、追記を行うユーザの情報を取得する。次に、制御部21のメタデータ作成部21bは、ステップS26において、拡張部への追記を行う。ステップS26は、ステップS6と同様の処理であり、追記のための入力処理、次の追記のためのリンク情報の生成及び状態演算を行う。更に、本実施の形態においては、追記したユーザを特定するためのユーザ情報を拡張部に追記する。メタデータ作成部11b及びセキュリティ処理部11eにより、第1PC20の記録部25には更新された情報が記録される。こうして、画像ファイルPa1には追記が行われて、画像ファイルPa2が得られる。
【0120】
このように、画像が転送されて異なる場所でアクセス可能になると、状況によっては異なるユーザが別々の評価を書き込むことも考えられるが、本願のように、どれを見て追記したかが分かるので、情報の整理の点で効力を発揮する。
【0121】
認定医師は、2次読影の後、生成された画像ファイルPa2を必要に応じて専門医師及び認定技師に転送する。こうして、認定医師と認定技師との間で情報の共有が行われる。
【0122】
第2PC30の通信部36は、通信部26が送信した画像ファイルPa2を受信する。第2PC30の制御部31は、受信した画像ファイルPa2を再生し、3次元画像を表示すると共に、表形式部及び拡張部の情報を表示する(ステップS23)。これにより、評価部や拡張部の情報に基づいて認定技師による2次読影の結果が表示される。また、表示画面には、追記の有無を確認する表示も行われる。
【0123】
第2PC30を操作する専門医師は、認定医師による2次読影の結果を参考にしながら、3次読影を行う。即ち、専門医師は、認定医師の解析結果を基に、病変等の鑑別に関する解析結果(専門レーティング)を得る。
【0124】
第2PC30の制御部31は、次のステップS24において、追記の有無を確認し、追記がない場合には、処理をステップS1に戻し、追記がある場合には処理をステップS25に移行する。この場合には、ステップS25において、追記するユーザが専門医師であることを示す情報が取得される。次に、制御部31のメタデータ作成部31bは、ステップS26において、拡張部への追記を行う。こうして、追記のための入力処理、追記ユーザの追加、次の追記のためのリンク情報の生成及び状態演算が行われて、画像ファイルPa3が作成される。
【0125】
このように、認定技師、認定医師、専門医師によって、CTスキャン装置10aによって取得された画像に対して、次々とレーティングが実施される。全てのレーティングの結果は、1つの画像ファイルPa3中に記述されることになる。
【0126】
図7はこの場合の拡張メタデータの例を示している。
【0127】
図7の拡張メタデータは、ユーザについても拡張されている点が図2の拡張メタデータと異なる。図7のユーザ1は、認定技師に対応しており、ユーザ1に対応する評価部には、ユーザ1が追加した拡張評価部の情報にアクセスするためのリンク情報(X方向リンク情報)が記述される。また、拡張部において、次に追記する拡張部にアクセスするためのリンク情報(X方向リンク情報)が記述される。なお、X方向リンク情報は、図2のリンク情報と同種の情報である。
【0128】
本実施の形態においては、ユーザの拡張のために、ユーザ部には、次に拡張するユーザの情報にアクセスするためのリンク情報(Y方向リンク情報)が記述される。Y方向リンク情報は、次のユーザに関する情報の画像ファイル上の位置又はメモリ上の位置を特定するための情報である。
【0129】
Y方向リンク情報は、ユーザ(ここでは評価者としての側面を重視)が2、3と増える都度、ユーザが追加された、という情報や評価者が何人いるといった情報を構造化された第1領域に記載していく方法でもよい。これは第1領域に、アスキーコードのように英数字や記号のみ、コンマで区切った形で書き込むようにして、その各英数字や記号があらわす拡張リンク情報で表された記憶領域にある拡張領域にそれぞれのユーザの評価結果のデータを自由にテキスト記載(非構造化、半構造化での記載)で行えるようにするような方法を使えばよい。この場合は、第1領域を確認するだけで、何人の人が評価したかなどが簡単に確認できる。推論モデルの評価結果か人間の評価結果か、専門家の評価結果か、といった簡単なユーザ情報を第1領域に記載してもよい。また、第1領域にはユーザ2の拡張リンク情報のみ記載し、ユーザ3が誰で、どのような評価をしたかに関する拡張リンク情報は、ユーザ2用に拡張された領域に追記するようにしてもよい。
なお、ここでは画像の評価という書き方をしたが、多くの場合、画像で表された対象物の評価の方が重要であることも多い。つまり、画像は単に証拠写真であって、評価結果の方が実際には重要であることもある。
【0130】
ここに説明したように、図7は、前述したように、このような画像をどこの誰が評価したかを厳密に管理しなければならない分野、領域があることから、評価した人とその意見をわかりやすく分類、切り分けられるようにしたものである。例えば、専門家の意見しか必要のない領域では、他の人、または機械の書き込み情報などは無視してよく、非構造化(または半構造化)状態のテキスト情報などを文章化する手間や、それを誤解することなく正しく解釈する手間などを省き、求められる正確さを追求することが出来るというメリットが生まれる。ユーザを構造化データにすれば、特定の分類しかできないが、インターネットで画像がシェアされ、様々なユーザが連携して評価する場合には、ある程度のテキスト記載が可能な非構造化データでないと要求を満たすことができない。また、インターネットでシェアされた段階で、各ユーザがコピーして評価する場合もあり、そのような画像の来歴情報も拡張評価部に非構造化データで記載できるようにした方が自由度が高くなるので良い。誰に依頼されて、何時、どのようにダウンロードして、どのような観点で評価したかなどは構造化データで扱うことが困難である。
【0131】
つまり、これによって、画像データと当該画像を評価した情報を関連付けて記録可能な記録制御方法において、上記画像を評価した複数の評価主体と、上記複数の評価主体のそれぞれの評価結果の有無を示す表形式のデータを記録する第1の記録領域への記録制御ステップと、上記複数の評価主体の詳細情報と上記複数の評価主体の評価結果を非構造化データとして記録する第2の記録領域への記録制御ステップとを有する情報処理方法が提供できる。上述のように、これらのステップは同じ情報処理装置が行う場合もあれば、異なる装置が連携して行う場合もある。また、この第1の記録領域にある情報が、異なる評価者が参照されながら評価が進む場合、時系列に評価が増えることになるが、その都度、第1領域と前の評価結果や評価者の情報が合わせてハッシュ化されていくので、全体の整合性をその都度確認して、改ざん、変更等を発見する機会を増やし、発見時には、そのトラブル発生のステップ、あるいは無傷の領域をすぐに検出して、データの信頼性の判断ややり直しのステップなどを早急に判定することが可能となる。
【0132】
なお、ユーザ2以降のユーザについては、評価部には、各ユーザの拡張評価部に対するリンク情報のみが記載されているが、表形式によって、比較的単純な分類を行った結果の分類情報を記述するようになっていてもよい。
【0133】
このように、ここでのメタデータ作成は、拡張領域(第2領域)を複数に区分可能に拡張し、区分可能に拡張した複数の第2領域のそれぞれに上記撮像画像に関する情報(例えば、誰が評価したかとその人(あるいはコンピュータ、ロボット等)がどう評価したか、を非構造化データにより作成することが出来る。上記第2領域を複数に拡張し、第2領域が拡張されていることに関する情報を表形式部(第1領域)に追記する場合と、第2領域に追記する場合があることを示した。表形式部に追記されていれば、この部分が目次とか索引のような働きをして、構文解釈せずに必要な追記情報にアクセスが可能となる。構文解釈を得意とするシステムや環境を持つ場合は、第2領域を辿っていく方法でも良く、これは、想定するシステムや環境によって選択すればよい。
【0134】
このように、図7の拡張メタデータは、同一ユーザによる拡張した評価を記述できるだけでなく、異なるユーザによる拡張した評価を記述できる。このような整理の仕方によって、ユーザとその評価のペアでの管理が容易になり、例えば、これを一括りにハッシュ化する等の工夫が活かされる。これらは一体で意味があるものであり、一括管理の方が改ざんの有無の判定が簡単になる。
【0135】
なお、図6は医療現場に適用した例を示したが、本実施の形態は異なるユーザが評価を順次追記しながら1つの画像ファイルを生成する場面において有効に利用できる。例えば、スタジオ写真の作成時にも利用できる。
【0136】
例えば、カメラマンが撮像装置10を用いて撮影を行った後、写真の優劣についての例えば5段階評価を行い、その結果を表形式部の評価部に記述するものとする。撮像装置10が記録した画像ファイルは、第1PC20に転送され、アシスタントにより、2次評価が行われる。アシスタントは、例えばカメラマンによる1次評価により良好と判定された画像から、画角やピント等が不良と判断した画像を除外する評価を行うこともある。この2次評価は、画像ファイル中の拡張部に記述される。更に、1次評価及び2次評価が追記された画像ファイルは、スタジオ写真の依頼主に転送され、依頼主の第2PC30により、3次評価が行われる。こうして、生成された画像ファイルにより、1次評価、2次評価及び3次評価の情報を確認でき、また、これらの評価を誰が行ったかという情報も確認することができる。こうした評価などはローカルルールの言葉が使われる頻度が高く、拡張領域で構造化データ以外で扱えるようにした方が、多くのシーンでの活用が可能となる。
【0137】
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、ユーザの拡張を容易に行うことができるという利点がある。
【0138】
なお、本発明の各実施形態においては、撮影のための機器として、通常のカメラや医療用のカメラ等を用いて説明したが、撮像画像を取得することができるものであれば、どのような撮像デバイスを採用してもよく、設置場所にとらわれなければ、撮影するための機器として、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。もちろん、動画や音声などの種々のコンテンツデータを管理するときにも本願の考え方を応用して利用できることは言うまでもない。撮影画像を取得コンテンツという書き方に書き換えてもよい。
【0139】
以上の説明では、非構造化データの中に半構造化データが含まれていたが、半構造化データは必ずしも使わなくてもよい。半構造化データは特定の標準システムを想定したイメージがあり、これに従いたくないユーザも存在するからである。
この場合、撮像画像に関するメタデータを作成するメタデータ作成時に、画像ファイル中の第1領域に、上記撮像画像に関する情報を予め決められた統制語を使った構造化データとして作成し、上記画像ファイル中の上記構造化データの項目として記録された情報によって拡張された第2領域に、上記撮像画像に関する情報を非構造化データにより作成する応用も可能である。この方法であれば、統制語の持つ解釈の一義性を利用して、さらに自由度のある非構造化データを使ったメタデータ記載ができる。構造化データによって、拡張情報の有無や記録領域や、拡張情報で記録される基本情報(レーティング等基本評価)が簡潔に記載可能で、解釈の揺れをなくしながら、それを補足する情報は拡張部に置くことが出来る。
【0140】
第1領域のハッシュ値を第2領域に記録すると、第2領域が非構造化データであることからハッシュ値の格納を秘匿しやすい。また、第2領域のハッシュ値は、ハッシュ値が比較的扱いやすい単純な英数字にしやすいので、構造化した部分で探しやすくしてもよく、その他の領域に格納してもよい。
【0141】
さらに、実施形態において、部(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びCPU等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。また、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース(登録商標)やWi-Fi(登録商標)、電話回線等が用いられる。また、この時の通信は、USB等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてASICとして構成してもよい。
【0142】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0143】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【0144】
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、CD-ROM等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の情報処理装置を実現することができる。
【符号の説明】
【0145】
10…撮像装置、10a…CTスキャン装置、10b…制御装置、11,21,31…制御部、11a…操作及び画像分析部、11b,21b,31b…メタデータ作成部、11c…通信制御部、11d…記録制御部、11e,21e,31e…セキュリティ処理部、12…撮像部、13…操作部、14…表示部、15,25,35…記録部、16…通信部、20…第1PC。
図1
図2
図3
図4
図5
図6
図7