An Apple employee helps a member of the media try on an HTC Vive while testing the virtual reality capabilities of the new iMac during Apple's Worldwide Developers Conference in San Jose, California on June 5, 2017. / AFP PHOTO / Josh Edelson        (Photo credit should read JOSH EDELSON/AFP via Getty Images)
AFP via Getty Images

アップルがHMD(ヘッドマウントディスプレイ)ないし軽量なメガネ型のAR(拡張現実)デバイスを開発中との噂は最近とみに活発化していますが、技術的なネックとして考えられるのが「現実の映像や環境音とAR映像・音声を混ぜ合わせる」ということです。VRではユーザーに仮想の映像や音声だけを提供できれば事足りますが、ARではコンピュータが生成した仮想画像と現実とを重ね合わせる必要があるわけです。

この点につきアップルが、2つの特許を取得したことが明らかとなりました。

ヘッドセットオーディオ

まず1つ目、特許商標庁(USPTO)が27日づけで承認した「マルチモーダル(複数の手段を用いる)オーディオ付きディスプレイ機器」なる特許は、ヘッドバンド上に可動イヤホンを備えたHMDシステムを詳述したものです。

これは耳から少し離れた場所にイヤホンが位置する「耳の上モード」と、外耳道にスピーカーを配置する(耳孔の上に移動する)「耳の中モード」に切り替えられるしくみ。前者では外部の音をはっきり聴き取りでき、後者では外部の音がシャットアウトされることになります。

AppleGlass

各モードに切り替えると、左右のイヤホンに1台ずつ実装されたドライバー(電気信号を音に変換する部品)により、それぞれの位置に合わせてサウンドが調整できるとのこと。たとえば耳に近いかどうかに応じてウーファーの電力レベルを調整したり、物理的な要素を切り替えて音の動きに変化も付けられるというぐあいです。

AppleGlass

特許に添付された図面ではヘッドセットに回転軸で短いアームが取り付けられ、左右に動いたり上下に回転して耳孔との距離を調節するダイナミックなからくりがビジュアル化されています。

ブレンドビジョン(AR画像と現実の重ね合わせ)

2つ目は、実世界をカメラが捉えたデータとデジタル生成映像を組み合わせ、仮想オブジェクトが現実にあるかのように処理する「実画像と仮想画像を結合するための方法と装置」なる特許です。こうした処理を正確かつ迅速に行うにあたり、可能な限り少ないリソースで実現するアプローチが提案されています。

このシステムは、カメラ映像から「リアルピクセル」という値を生成し、仮想映像側の「バーチャルピクセル」と対応させるもの。2つのピクセル値を加重平均により1つにまとめるに当たり、それぞれの重み付けをアルファ値(透過度)などに基づいて決定するとのことです。

リアルピクセルのアルファ値は、まずカメラ画像全体をダウンサンプリング(低い解像度への変換)し、それに基づいてステンシル(3DCGで物体の重ね合わせの際に描画しなくてもいい領域)を作成し、ダウンサンプリング画像とステンシル両方に基づいて作成できると説明されています。要するに「ARデバイスの側で演算する画像データ量を減らす」アプローチと言えます。

AppleGlass

この技術により、画像をディスプレイに伝送するのに必要な帯域幅の量は、カメラだけで生成されたデータの「10分の1以下」になると述べられています。

アップルは毎週のように多数の特許出願を行っていますが、そのうち将来の製品やサービスとして現実化するものはごく一部に過ぎません。今回の特許も「取得しただけ」に終わる可能性もあります。

とはいえ、現実の画像と仮想画像を重ね合わせる処理はARデバイス内のプロセッサ、あるいは母艦となる可能性のあるiPhone側にとっても軽々とこなせるものではないはず。こうした「外に持ち運びできる軽量なポータブル機器で、重くなりがちなAR画像処理をどう実現するか」を探る特許は、アップルのARデバイス発売がそれだけ現実味を帯びてきた証かもしれません。

Source:USPTO(1),(2)

Via:AppleInsider