Sponsored Contents

iphoneの最新記事

Image credit:
Save

「スマホでも一眼並み」iPhone 11のカメラ体験を引き出すその裏側(本田雅一)

キーワードは"Fusion"

本田雅一, @rokuzouhonda
2019年9月13日, 午後08:40 in iphone
163シェア
35
128
0

連載

注目記事

HomePodレビュー。Apple MusicとSiriが家に来るスマート高音質スピーカー

HomePodレビュー。Apple MusicとSiriが家に来るスマート高音質スピーカー

Ittousai, 8月13日
View
かつて、パソコンの性能が上がれば、上がった分だけ新しい何かが実現する。そんな幸せな時代がありました。CPUの動作周波数が上がるだけで、とてつもない価値があったのです。しかし今や、解決すべき問題を明確にした上で前に進まねば、新しい価値は提供できなくなっています。

現時点においてスマートフォンの機能でもっとも差異化しやすい"カメラ"も同じです。違いを引き出すためには、単にイメージセンサとレンズが一体化されたモジュールを組み込むだけではなく、イメージセンサから得られる情報をいかに適切に処理すべきなのか、システムの根っこの部分から考え直す必要があるでしょう。

iPhone 11、およびiPhone 11 Proシリーズに搭載されたカメラは、まさにそうした考え方のもと、多様な処理回路などをひとつにまとめたSoCに対して、撮影時の処理速度や自動的な撮影パラメータの調整が加えられています。

カメラ専用システムを超える"体験の質"

一般的なスマートフォンのシステムでは、なかなかカメラ専用機のような体験を提供することはできません。カメラの開発では利用者の操作に対して即時応答することを優先して開発が行われますが、多様なアプリが同時に動作し、電話としても機能せねばならないのがスマートフォンの内蔵カメラ。それをカメラだけのために作られた製品と同じように動かし、同じような(あるいはそれ以上の)体験を提供するのは極めて難しいチャレンジです。

Huaweiがカメラで端末の機能を強化し、グローバルでシェアを大きく伸ばしたのは、彼らがシステムプロセッサ(SoC)を自社開発していたから。同じく自社でSoCの設計をするAppleもそれは同様です。Appleの場合、端末のハードウェアを構成する各種コンポーネント、基本ソフトであるiOS、それにシステム全体を司るSoC、すべてを自社でコントロールしていることが強みと言えるでしょう。

Apple

Apple幹部への取材で「一眼レフカメラのような質と体験をiPhoneで提供したい」という話を聞いたときは、ずっと先の未来の目標について話しているのだと思いました。しかし、iPhone 11世代(言い換えるとそのSoCであるA13 Bionic)は、そうした理想に大きく近付いています。

iPhoneのカメラも、2年ほど前までは「少々、恣意的な画像処理でリアリティとは別の方向で作られているのだな」と思っていましたが、今回のカメラはまさに王道を行く作りです。しかも、ほとんどの機能についてユーザによる調整ができる一方、モードレス(自分で機能を選んでの使いこなしが不要)で動いていました。Appleは、例によって「どのようにしてその結果を得ているか」を自らはあまり話していませんが、いくつか取材の中で明らかになってきている部分もあります。

11世代のカメラのポイントは"Fusion"

Apple

iPhone 11世代のカメラが大幅に高画質化した背景は"Fusion"というキーワードにあります。意味としては"融合"ですが、たくさんの情報をひとつに融合することで質を高めようという考え方です。

iPhone 11 / 11 Proシリーズの発表で、Appleのフィル・シラーがSneak Previewとして「Deep Fusion」という技術を、年内に提供すると話していました。おそらくiOS 13.1のタイミングで導入され、アップデートのたびに改良が重ねられる(iPhone 7 Plusで導入されたポートレートモードと時と同様のやり方)ことになるでしょう。

実際にDeep Fusionで撮影された画像をモニタ、あるいは半切ぐらいのプリントで観ると、肌の質感、髪の毛、ヒゲ、あるいはセーターの編み目や繊維感などが、極めて高いリアリティで再現されていることが感じ取れました。

Apple

このDeep Fusion、最大9フレーム(最大であってそれ以下の場合もある)まで、過去のフレームを遡り、画素の情報をFusion(融合)するというものです。iPhoneを構え、フレーミングしているその間、カメラは常時、映像を取り込んでいます。iPhone 11世代の場合、センサー自身は毎秒120枚のフレームを取り込めます(Deep Fusion時にどの程度の速度で取り込んでいるかは公開されていません)。その撮影前の情報をリアルタイムで分析し、異なるフレームの画素同士を結びつけ、融合させることで"1画素ごとの質を高める"のがDeep Fusionです。

この機能はA13 Bionicが搭載する毎秒6兆回の演算を行うNeural Engineをフル回転させることで実現していますが、実際に動作する際、ユーザーはなんの操作も行うことなく機能するといいます。

しかし、"DeepなFusion"と表現されているように、実はiPhoneのカメラは常に"Fusion"で高画質化を図っているのだとか。Fusionの深さは消費電力やSoCが搭載するプロセッサの能力に左右されます。つまり標準よりも深くFusionさせているからDeep Fusion。通常時もリアルタイムの画素融合を行っており、今年、iPhoneのカメラを大きく飛躍させた背景となっています。

理想的な雰囲気へのレタッチとは異なる処理能力の使い方

こうした考え方は、思い起こせば昨年導入された「スマートHDR」でも同様でした。スマートHDRはイメージセンサーから画像を倍速でキャプチャ。ようするに1枚の画像を作るために2フレームを使い、それぞれの露出を変えて合成することで、暗部から明部までどの輝度領域でも高い描写力を発揮させるもの。オンになってさえいれば、利用者は意識しなくとも高コントラストなシーンで適切な撮影が行えます。

明るいシーンで有効なFusionの事例と言えますが、iPhone 11世代では暗いシーンでFusionを活用しています。

Apple

真っ暗に近い環境でも雰囲気を残しながら適切な描写の写真を残せる「ナイトモード」は、通常撮影では高画質な撮影が期待できない暗所で自動的にオンになります(ただし、光学手ぶれ補正機能のない超広角カメラ利用時はナイトモードが使えません)。手持ちの場合は(シーンごとに異なりますが)2〜5秒程度、壁に立て掛けたりスマホ用三脚などで固定したりする場合は最大9秒まで連続して画像を捉え続け、フレーム間で一致する画素を探索・融合させてノイズを平均化。驚くような高画質を実現します。

暗所撮影では、画像処理で"塗りつぶす"ことによりノイズを消し去ることが主たる処理になりがちです。ナイトモードでも、そうした処理がゼロか? と言えばそうではないようにも思えますが、たとえばソファの布地や被写体の着ている洋服や髪の毛などのディテールがきちんと捉えられ、そこに不自然さはありませんでした。

大きく動く被写体でなければ......たとえば寝そべってジッとしている人など......必ずしも風景や静物でなくともうまく機能してくれます。なお、何秒間、Fusionを繰り返すかは、スライダーを使って自分で選ぶこともできますので、手動で9秒間にし、手持ち撮影なども可能です。

Apple

しかし、A13 Bionicを活かしたFusion処理は、実はこれだけではありませんでした。画素の融合ではありませんが、カメラの機能性を高めるために、撮影に使用していないカメラから得られる情報を利用しているのです。

オートフォーカスやホワイトバランスなどを未使用カメラで

iPhone 11世代のカメラは、従来の処理に加えて2つの分析レイヤが追加されています。1つはセグメンテーションマスクと呼ばれる処理で、画像を被写体や背景、背景の中でも領域ごとに異なる対象を分析、分割してマスクを自動生成します。

そして2つめは、このセグメンテーションマスクでいくつかに分割された画像それぞれに機械学習処理で被写体のディテールを復元するため、Appleがセマンティックレンダリングと名付けている処理が施されます。

これはスマートフォン内蔵カメラによくあるAI処理とはアプローチが少し違うように見えました。シーン全体、あるいは被写体と背景といった単純な分割と認識ではないようで、シーン全体の雰囲気を崩さず、それぞれのパートのリアリティを強化します。<さらにはカメラそのものの動作シーケンスで複数のカメラを使っているそうです。

Apple

iPhone 11の場合で2つ、iPhone 11 Proシリーズは3つのカメラがリア側に搭載されていますが、撮影時に使うカメラはひとつだけ。2つの異なるカメラの映像をFusionするといった処理は行いません。しかし、まったく使わないのかと言えばそうでもなく、撮影時には使っていないカメラも並行して動かし、オートフォーカス、色温度調整、トーンマッピング処理を行うことで無駄な動きを排除し、操作遅延なく適切なカメラを動かしているのです。

このようなアイデアは、Deep Fusionなどの画像処理も含め、カメラの開発者ならば誰もが気づくことかもしれません。しかし、実現するにはソフトウェアだけでは実現できず、また汎用のSoCでも無理でしょう。

Apple

"実現したいカメラ"という目標に対し、解決策としてアルゴリズムを考え、それを実現するための半導体やレンズなどの光学コンポーネントを用意し、最終的に製品として組み込む。自社開発のSoCがあるからこその、大きなカメラ機能のジャンプアップと言えます。

すでにAppleのウェブページでは作例が公開されていますが、一般ユーザーが日常の中で使うとき、どんな結果が得られるのか。実機でのテストを楽しみに待っていてください。きっと驚くと思います。

Gallery: iPhone 11 Pro and Pro Max hands-on | 18 Photos

18



「TechCrunch Tokyo 2019」11月14日、15日に開催



広告掲載についてのお問い合わせはad-sales@oath.com までお知らせください。各種データなどはこちらのメディアガイドをあわせてご覧ください。

163シェア
35
128
0

Sponsored Contents