Sponsored Contents

appleの最新記事

Image credit:
Save

iPhone XSのカメラはどう進化したのか。いち早く実機に触れてわかったこと(本田雅一)

ニューラルエンジンがカメラ進化のカギを握る

本田雅一, @rokuzouhonda
2018年9月18日, 午後07:31 in Apple
357シェア
56
149
0
152

連載

注目記事

4年ぶりの新生Mac mini レビュー。10万円以下で買えるCore i3モデルの実力は?

4年ぶりの新生Mac mini レビュー。10万円以下で買えるCore i3モデルの実力は?

Brother Hawk, 12月10日
View
新型iPhoneの本体についてはすでにレポート記事が出ていますので、いきなり本題に入りましょう。iPhone XS/XS Max/XRに採用されたカメラについて、取材を通して得たいくつかの情報、製品を短時間ながら使ったうえで掘り下げた内容を本稿ではコラムとして書き進めていきたいと思います。


まずは僕なりの結論から書いておきます。

カメラへのニューラルネットワークの応用(AIという方がピンとくる方が多いでしょうか?)は、アップルだけのオリジナルではありません。アップルでもおそらくは数年前から似たアプローチを取っていたと思いますが、もっともわかりやすい形で端末の商品性向上に活かしてきたのはファーウェイです。

ファーウェイの端末でAI機能をオンにして撮影すると、確かにきれいなのですが、どこか現実感のない写真が撮影されます。もちろん、即時SNSでシェアする写真を簡単に撮るという意味では、それもひとつの方向性なのだとは思います。

アップルはこれとまったく異なる方向で、ニューラルネットワーク処理を専門に行う"ニューラルエンジン"を新型iPhoneに搭載してきました。余談ですがグーグルも、ニューラルネットワーク処理により、単眼レンズで深度を判別するカメラ機能を実現し、Pixelに搭載していましたね。

話を戻します。ファーウェイがAI的処理で幻想的で美しい世界を描き出すのに対し、アップルは、レンズ交換式カメラで撮影した写真をRAW現像ツールを用いて作品を生み出すような、そんな撮影結果をユーザーが意識することなく自動的に撮影できるようなシステムを構築しようとしている。これが現在の率直な感想です。



iPhoneのカメラ機能は本格的な写真撮影の世界を身近にするだけでなく、近い将来、映像表現という意味でプレミアムコンパクトカメラ市場にまで踏み込んでくるのかもしれません。

Gallery: iPhone XS Max実写ギャラリー | 11 Photos

11

すべてのコンポーネントを専用設計に

デジタルカメラは極めて多くのコンポーネントが"連動"して動作する機械です。あえて"機械"と表現したのは、デジタルカメラといえどもメカニカルな要素もあるから。また、イメージセンサーから読み出した信号をどのように処理すべきなのか、処理した結果、レンズを制御してフォーカスしなおしたり、露出を変えたりする必要がある場合もあります。

露出の決定やフォーカスシステム、顔認識や手動フォーカス、露出補正やホワイトバランスの振る舞いなど、デジタルカメラは実に多くの要素が絡み合う複雑なシステムです。だからこそ、優れたデジタルカメラを作るのは難しいと言えるでしょう。

スマートフォン内蔵カメラの場合、スマートフォン全体の制御はSoCのCPUがつかさどる一方、映像処理はISP(イメージシグナルプロセッサ)が行いますし、そこにサードパーティ製のアプリに対するAPIを提供する必要などもあります。SoCとセンサー、レンズ、そしてOSを別々に調達して機能を組み立てようとしても、細かなところまで作り込むのが難しいという問題がありました(これは以前に書いたコラムの通りです)。


ところが、新iPhoneにおいてアップルは、カメラ機能に関わるすべての要素を自社専用に開発していることがわかりました(実際の生産は委託していますが)。



レンズ設計やコーティングの仕様、カバーガラスなどはもちろん、レンズを動かすアクチュエータや光学手ぶれ補正、イメージセンサーもカスタムですし、SoCである「A12 Bionic」に内蔵されているISPも、もちろんアップルにカメラ設計チームの要求に従って中身が決められています。

そのうえでiOS 12は、そうしたカスタム仕様のカメラ構成要素をまとめ上げてシステムと統合しています。ここまで徹底しているスマートフォン内蔵カメラは他にはないでしょう。アップルは今回、カメラ機能の向上にかなりのリソースを割いているのです。


たとえば1200万画素という数字上は変化のないリアカメラですが、画素ピッチは1.2ミクロンから1.4ミクロンまで増加し、画素面積は32%も増えているそう。実際にはそれ以外の改良も加わり、トータルでは画素あたりに集まるフォトン(光子)は57%増加したとのことです。



アップルはセンサーサイズを公表していませんが、画素数が変化せずに画素ピッチが大きくなっているのですから、イメージセンサーのサイズを大きくしたのだと推測できます。一般には"画素数増加"を画質向上と見なす傾向にありますが、画素が小さくなりすぎると、ひとつひとつのピクセルの質は悪くなります。

画素を大きくすることで集められるフォトンを増やし、S/N比を高めることで画素数ではなく"画素の質"を高めるアップルの選択は、おそらく正しいものです。

"シャッターを押すだけ"で本格撮影

新型iPhoneのカメラは機能面でもいろいろな追加が行われていますが、一方で"使いこなす"要素を極力排除されています。

たとえばiPhone 7から導入されているデュアルカメラですが、広角側、望遠側、どちらのレンズを使うのかはISPが自動的に判断し、よりよい結果が得られるよう自動選択されますから、ユーザーが意識することはありません。

また、広角側、望遠側ともに光学手ぶれ補正機能が内蔵されていますが、光学手ぶれ補正は原理的に三軸の補正しかできません。しかし、どうやら5軸での補正もある程度できるようです。実は光学手ぶれ補正を導入する以前から、電子手ぶれ補正が入っていたようで、カメラメーカーが本格的なカメラにも導入しているように、電子手ぶれ補正と光学手ぶれ補正を組み合わせているようですね。



その結果、シャッタースピードは1/4秒まで手ぶれ補正が効くとのこと。広角側での話だと思いますが、それでもなかなかの性能です。およそ3段分に近い手ぶれ補正が入っていると考えられます。手ぶれ補正は、ブレを検出するセンサーとの連動が効きに大きな影響を与えるため、レンズユニットを単体で調達するだけでは性能を追い込めません。電子手ぶれ補正と連動させようと思えばなおさらです。

アップルはこうした機能を、とにかくユーザーに意識させず使わせようとしています。Smart HDRもそうです。

iPhoneのカメラではiPhone 8/8 Plus以降、HDRという項目がなくなっていました。必要な時に自動でHDR処理をしていたからです。これは「A11 Bionic」で初めて実現されたものでした。

以前はHDRで記録する場合、通常現像とHDR現像の2枚を記録していましたが、それも行われなくなっています。しかし、誰も不自然には感じていませんよね?

写真における自動HDR撮影とは、なるべく肉眼で見たときに近い見え方になるよう、"写真"上では表現しきれない階調を上手に収めようというアプローチ。暗部や中間階調のディテールが浅くならないよう配慮しながら、ハイライト部のディテールを失わず、色彩表現も可能な限り引き出すわけです。トーンを自動コントロールする機能はカメラメーカーの製品にも見られるものですね。

しかし、今年から新たに"Smart"を名乗りはじめたiPhone内蔵カメラのHDR撮影は、単に優れた、賢いトーンカーブ、ロールオフ(白飛び部分の丸め方)を適応的に処理するだけではないのです。

"ほぼ同時に"2枚のフレームを露出してHDR画像を合成

Smart HDRはモードを設定することなく常に動作しています。iPhone XS/XS Max/XRのカメラでは、動作中、常に画像を取り込み続け、レリーズを切った瞬間だけではなく前後の4フレームを保持し続けます。そしてさらに、1フレームの撮影で2枚分の映像情報を取り込んでいるのです。

通常露出で1枚(プライマリフレーム)、もう一枚はハイライトのディテールを捉えるために露出を絞って撮影した1枚(セカンダリフレーム)です。しかも、両フレームは時間軸的に同時であるとアップルは話しています(実際には同時と言えるほど素早いということなのかもしれませんが)。

露出を絞るといっても、絞り機構はないと思うので、実際にはシャッター速度を早くしているのでしょう。この機能は動画撮影時にも適用され、毎秒30フレームで4Kビデオを撮影する際、内部的には60フレーム分のデータを扱いながらHDR処理を行います。



では動画撮影の場合はどのぐらい露出をズラすのか。これについては-2EV(1/4の明るさ、シャッター速度で言えば4倍の速度)でセカンダリフレームを読むそう。なお、静止画の際はシーンによって露出差を大きくしたり、小さくしたりといった制御を加えているそうです。

このようにすることで、iPhoneがイメージセンサーから受け取るダイナミックレンジの情報は60%増えると言います。露出が異なる2枚のフレームを合成する際、機械学習を用いて適切な合成を行うのか? と思いましたが、実はここではニューラルエンジンを使っていないとのこと。あくまでも、ハイライト部の階調をより多く取り込み、トンカーブやロールオフを適切にやろうという、かなり"生真面目"なやり方です。




確実な話ではありませんが、プライマリー、セカンダリーだけではなく、バッファしている前後4フレームも参照してHDR映像を生成すると受け取れる表現もあります。

いずれにせよ、新しいiPhoneのカメラは複数フレームを常に保持し続け、被写体ブレを検出すると別のより高品位なフレームを採用するなどの賢さを持っているのは間違いありません。しかし、なぜこんなことができるのでしょうか?

もちろん、「A12 Bionic」のISPがSmart HDR実現を前提に高い能力が与えられているからなのかもしれませんが、同時にセンサーにも工夫がありそうです。アップル自身は詳しい仕様を語りませんが、彼らは完全に"ゼロシャッターラグ"で全画素の読み出しを行っていると話しているため、おそらくメモリを積層した全画素読み出しが可能なセンサーを搭載しているのではないでしょうか。


▲トレイルランで森の中から太陽を見上げて撮影。Smart HDRがうまく効いているようです


▲夕方の陽の光を木々の葉を透かしてみた。朝のトレイルランとは異なる空気感と色合い

実際に様々な場面で"逆光"の写真を取ってみました。さすがに太陽そのものに向けるとその周囲は真っ白に飛んでしまいますが、明るい空と雲が森の木々と調和した画になってくれています。

使いこなしは不要。単に撮影するだけ。それだけで、その時々の状況に合わせてベストな画が出てきます。なぜなら、Smart HDRをカメラ機能の"基本形"としているからです。通常の静止画はもちろん、パノラマ撮影でもポートレートモードでも、インカメラによる自撮りでも、あらゆるシーンでSmart HDRが効いてくれます。もちろん動画でも効くことは、前述した通り。

"このシーンは画面内の輝度差が多いから、構図を少し変えよう"。カメラを知っている人なら、そんなことを考えながら撮影しているかもしれませんが、新しいiPhoneのカメラはそうした配慮をせずとも、単にレリーズするだけで(もちろん限界はあるものの)目の前の風景をプレビュー画面通りに記録できるのです。

ニューラルエンジンを活用したカメラ機能の進化

一方、オートフォーカスやポートレートモードのボケ処理、そして全体の画作り(色再現)などは、「A12 Bionic」で9倍の速度に強化されたニューラルエンジンが活躍してくれます。

ニューラルエンジンとはアップルが開発したSoC内部の新しいプロセッサで、iPhone Xの世代から追加されたもの。脳の働きを真似たニューラルネットワーク処理を効率よく実行するためのプロセッサです。「A11 Bionic」では2コアだったニューラルエンジンが「A12 Bionic」では8コアにまで増強されています。アーキテクチャの強化も行われているようで、機械学習処理のためのAPIであるCore MLの速度は9倍、一方で消費電力は1/10になっているとのこと。



新しいiPhoneのカメラでは、大幅に強化されたニューラルエンジンがカメラ機能の中で大いに活用しています。リアルタイムで映像内の被写体などを識別し、顔認識や身体全体の認識なども担当し、ISPと連携してどこにオートフォーカスを合わせるべきか、顔の面積などを考慮しながら、全体の露出バランスなどにも影響を与えているようです。

完全にリアルタイムで映像の認識や被写体の識別を行い、その結果としてフォーカス位置や露出、ホワイトバランスや画作りを行うため、レリーズ後の現像処理で写真が変化することはありません。レリーズした時にプレビューに表示されているそのままが、撮影結果として保存されます。

まだ使い始めて間もないため、確定的には言えませんが、オートフォーカスの被写体判別や追従、顔認識の精度や追従性など、様々な面で従来より腑に落ちる処理になっていると思います。



そしてもっともニューラルエンジンが効いてくるのが、ポートレートモードでしょう。背景と被写体の分離精度が向上しているほか、ボケ具合の調整機能が追加されました。切り抜いたように被写体へピントが合うのではなく、被写界深度を薄くすると丸みを帯びたようにボケが徐々に変化する様子まで(正確とは言えないものの)かなり雰囲気良く描いてくれます。

アップルのカメラチームは、美しいボケ味を出すため、世の中で"ボケが美しい"と言われているレンズの光学設計を研究。いくつかのリファレンスとなるレンズを選び出し、それぞれが引き出す美しさを演算モデル化し、ニューラルエンジンを使ってボケをシミュレートしているとしています。



このボケを活かすため、規定値F4.5と仮定した場合のボケ味ですが、あとから編集機能でF1.4からF16まで絞りを変えていくと、背景および被写体の両方のボケ方がリニアに変化します。

F1.4まで絞りを開けると、さすがに被写体によっては不自然と感じられることもありますが、人物であればかなり良い精度で立体感のある映像にしてくれました。出張先なので、自分自身の写真で申し訳ない。

ほんの僅かな視差しかないので、被写体の立体感を捉えているはずがありませんが、そこは機械学習をたくさんやることで判別精度を上げたそうです。


▲あるアプリを使うとどう切り抜いているのかがわかるということを発見しました

目指すのは"誰でもプロ品質"

さて、実際に端末を入手してから、天気のいい日がさほどなかったのですが、今回のカメラはとても"コクのある"色が出るものだと思います。イメージセンサーの大型化も、そこに寄与しているのでしょう。Smart HDRの効きも自然で、そうした自動処理が入っていることを感じさせません。


▲美しく空や緑などの自然を描きつつ、嘘っぽさのない画作り

しかし何より素晴らしいと思うのは、特に良い写真を撮ろうと意識しなくとも、なんとなくまとまりのいい写真になってくれること。露出やオートフォーカスの被写体選択などで外すことは極めて少ないです。


▲朝日が昇るところ、やや暗めの中、空が白んでいる様子も、見たままに近いイメージで撮影できた


▲ペンダントライトひとつだけという中でも手持ち撮影に不安なし。画素の大型化が効いているのか、SN比も改善されているよう

もし、この路線で進化させていけば、現在はまだ残っている"プレミアムコンパクト"クラスのデジタルカメラも、高倍率望遠ズーム系モデル以外は市場が縮んでしまうかもしれません。

......と、ここまで概ね褒めてきましたが最後にひとつだけ要望をば。

以前よりもずっと美しいボケ表現をしてくれるようになったポートレートモードですが、残念ながら、背景と被写体の分離に関してはまだ完璧ではありません。髪の毛が画面の端で切れてる場合、その周囲の切り抜きが不自然になることが多いですし、脇の下に隙間がある場合、隙間の奥に見える背景は被写体の一部と判断されることが多いです。


▲グラスの口が背景に溶けてしまう現象は、以前とiPhoneのポートレートモードと同じだった

ポートレートを、ポートレートらしく、いかにもな構図で撮影する限り、かなり良い切り抜き精度を発揮してくれているので、アップデートでまだまだ進化しそうな予感はありますが。ひとまずは改良をお願いしたいところ。

Gallery: iPhone XS Max実写ギャラリー | 11 Photos

11


あとは(まだ発売されていませんが)iPhone XRに搭載されているシングルレンズのポートレートモードにiPhone XS /XS Maxでも対応して欲しいものです。なぜなら、シングルレンズのポートレートならば、28ミリ相当の広角で被写体に寄ったワイドマクロでの表現もできると思うからです。

そのほかではイメージセンサーからのRAWデータを扱うAdobe Lightroomのようなアプリでの動作がどうなるかも興味がありますよね。果たしてセカンダリーフレームをサードパーティーアプリも扱えるのでしょうか?

実際に試してみたところ、現バージョンのLightroomはセカンダリフレームを利用できないようで、SmartHDRが作用しません。しかし、サードパーティーがセカンダリフレームを含めたRAWデータを扱えるようなれば、Lightroomでの現像処理は今までより積極的に遊べるものになるでしょうね。

ちなみに、同じくカメラの性能で評価されているファーウェイも、10月16日に最上位モデルを発表します。彼らのカメラとの直接比較が楽しみです。




357シェア
56
149
0
152

Sponsored Contents