Sponsored Contents

Androidの最新記事

Image credit:
Save

Pixel 3の「コンピュテーショナルフォトグラフィー」をGoogleが解説

写真を「データ」と考えると

大和哲(Yamato Satoshi), @deyamato
2019年3月17日, 午後05:50 in Android
568シェア
126
166
0
276

連載

注目記事

新AirPods最速レビュー よりシームレスに使えGALAXYでも充電可

新AirPods最速レビュー よりシームレスに使えGALAXYでも充電可

ACCN, 23 時間前
View
スマホ+リコー「GR III」の併用がもたらす納得感。特別な時以外にも持ち歩きたくなるデジカメの価値(本田雅一)
16

スマホ+リコー「GR III」の併用がもたらす納得感。特別な時以外にも持ち歩きたくなるデジカメの価値(本田雅一)

View


Googleは3月15日、「コンピュテーショナル フォトグラフィーと機械学習」をテーマとした技術説明会を開催し、同社のPixelシリーズで採用されているカメラ機能のポートレートモード、トップショット、超解像ズームの詳細について紹介しました。

コンピュテーショナルフォトグラフィーとは、コンピューターによって処理・生成された写真といった意味の言葉です。たとえば、医療用のCT写真のように(本当は輪切りにしていないのに)コンピュータ処理によって人間の胴体の輪切り写真を作ったり、あるいは、AIや機械学習の成果を使ってカメラのイメージセンサーが捉えた画像データを選別、加工、不完全さを補うことなどが、コンピュテーショナルフォトグラフィーです。

講演者は、Pixel3のカメラと中核となる機能のプロジェクト・マネージャーのアイザック・レイノルズ氏。ビデオ会議で通訳を通しての出演です。
レイノルズ氏今回、ビデオ講演を行ったGoogleのアイザック・レイノルズ氏。

写真を「データ」と考えると。

Googleはご存じの通り、インターネット検索などでデジタルデータの扱いに非常に長けた会社です。
だからこそ、写真を光学の産物としてではなく、デジタルデータの塊として捉えAIで扱うことで自分たちのフィールドに持ち込むことができると考えるわけです。

一眼レフカメラが、ダイナミックレンジ、望遠、そしてボケ味を全て光学的に実現しているのに対して、GoogleはPixel 3のスマートフォンカメラにおいて、ハード+ソフト+AIの組み合わせによって実現しています。

特にAIを活用しているというのは、スマートフォンカメラならでは特徴である、としています。

ところで、写真を撮影するために、一眼(レフ・ミラーレス)デジタルカメラ、コンパクトデジタルカメラに加えて、スマートフォンと言う選択肢が出てきたのに、プロユーザーはともかく、なぜカジュアル・アマチュアユーザーでさえも一眼カメラと巨大なレンズを買う人はいなくならないのでしょう?

それは一眼カメラに取り付けられる「口径の大きく明るいレンズ」や、それに内蔵されている「面積の大きなイメージセンサ」には、スマートフォンカメラよりも光学的な性能が優れているから。それによって「遠距離でも、近く手に取るように写すズーム」「暗い場所でもイメージ通りに絵作りになる暗所撮影」「被写体のハッキリを意味を持たせるボケ味」をといった特色のある写真を撮れるというわけです。

一眼カメラは、これらを光学的に作り出すのに対し、Pixel 3は、光学的に不利になるハード性能をソフトウェア+AIによって補っています。

超解像ズーム

超解像とは、低解像度の画像から高精細・クリアな画像を作り出すことです。映像拡大・精細化技術などとも言います。これまでのデジタルズームは単純に画像を線形拡大(そのまま拡大)するのではなく、写真のピクセル1つ1つを分析して、高精細なズーム画像を作り出すものになっています。
Crops of 2x Zoom: Pixel 2, 2017 vs. Super Res Zoom on the Pixel 3, 2018.
こちらは、Google AI Blogからの引用。
超解像ズームによってディテールが読み得るズーム写真、そうでない線形ズーム写真、明らかに違いがわかるでしょう。

Pixel 3がデジタルズームで使用しているテクノロジーは2つあります。

1つはバースト撮影。つまり一度にたくさんの写真を撮り、これらを組み合わせて1枚にするという手法です。この手法は「マルチフレーム超解像」とも呼ばれています。短い露光時間により画像はシャープに白飛びが防げ色味が残るということが長所がありますが、暗い画像になってしまうので、これは組み合わせる際に修正しなければなりません。

そしてGoogleならではの工夫は、多くのフレームから似ているオブジェクトを組み合わせて選択するという合成の手法にあります。機械学習を応用したこの技術のおかげで、被写体ブレの激しい部分などを省けるようになり、バースト撮影写真の合成に伴うノイズの低減が図れました。

AIの性能向上のおかげでPixel 3ではバースト写真の位置合わせの精度が高まり、実際には12メガピクセルカメラ搭載のPixel3が、デジタルズームで48メガピクセル相当の性能まで高められている、とレイノルズ氏は言っています。

夜景モード撮影

Pixel 3のカメラで際立って優れているのが「夜景モード」です。これまでのスマホでは「写っていない」と思われてしまうようなレベルの暗さでも、Pixel 3では「バッチリ綺麗に写る」というほど、差があります。実際に、レイノルズ氏の周囲では「(暗い寝室で)子供の寝顔が取れて嬉しい」という声もあったそうです。
Pixel 3ノーマルモードと夜景モード比較
Pixel 3ノーマルモードと夜景モード比較
Pixel3のノーマルモード(上)、夜景モード(下)で撮影した同じ景色

一眼カメラを使い暗所を撮影する場合、三脚を使い長時間露光で撮影するわけですが、Pixel3の夜景モードであれば、手持ちで画面のシャッターボタンをタップするだけ。ものの数秒構えていれば撮影できます。

このPixel 3の夜景モードに採用されている技術は「エクスポージャーファクトライゼーション」。つまり、露出の分割です。先ほど出てきたデジタルズームで使用した手法の応用なのですが、スマートフォン(カメラ)の手ぶれや被写体の動きと言った状況を判断し、実際の露光であれば6秒と同等になるように、最小15分の1秒間に15フレーム、最大1秒間に6フレームの間で連続撮影を行います。

そして、デジタルズームと同様、これらの画像から同じオブジェクトを組み合わせ、1枚の画像にし、機械学習で被写体(たとえば、写っているは人の肌か、机か、場所は室内か屋外かなど)などを自動的に判断し、自動的に正確なホワイトバランスを調整します。これで1枚の暗所での写真ができあがります。

このとき、たとえば照明がナトリウムランプで照らされていれば被写体もオレンジ色に写ってしまったりするものですが、「TensorFlow mobile」によるオートホワイトバランス(AWB)は、簡単には騙されません。

ボケ味

写真撮影では、ピントを合わせるだけでなく、ボケ味がほしいときがあります。例えば、人物のポートレート写真などがそうです。人物にピントを合わせて、周りの背景をボケさせたい。花や、食べ物をクローズアップで写したいなどの場合もそうでしょう。

こんなときは、一眼カメラやデジカメなら、光学的に被写界深度を調整(つまりしぼりを開く)することで問題を解決できることはみなさん承知でしょう。

しかし、小さなレンズ1つしか持たないスマートフォン「Pixel3」のカメラ機能で「ポートレートモード」を選んでも、大きな一眼カメラ同様のボケ味のある写真を撮ることができます。この仕組みは2つのコアテクノロジーから成っています。

 ・写真からの人物分離
 ・高密度被写体深度アレイ

「人物分離」は、ポートレートモードでピントを合わせたい、「人」を写真の中から人が描かれている部分と背景を分離したマップを作る、という作業です。これも機械学習ベースで行われます。
人と背景の分離
このように、人とそれ以外が分離したマップが作られる(Google AI Blogより引用)

こう書くと簡単なのですが、単純に「人」を機械に学習させると言ってもこれが難しかったそうで、たとえば、帽子を被っている人、イヤリングを付けている人というようにイレギュラーなケースもあり、実際に何が人で何が人でないかを学習させるのは非常に困難だったそうです。

「高密度被写体深度アレイ」は、つまり写される人の各点がどの位カメラから遠くにあるかをマップを作ります。人間の場合、右目・左目でモノがどのくらい遠くにあるかを理解できるし、スマートフォンのカメラでも同じことをしようとしているものではデュアルカメラを搭載しているものがあります。

Pixel3の場合、「Dual位相検知」というやり方で、シングルカメラでこれを実現しています。これは、レンズの右側から1枚、左側から1枚写真を撮影し、その差から位置関係を割り出すというもの。1台のカメラの左右を使って、2台のカメラユニットと同じことをしているわけです。タネが分かればなぁんだ、という感じですが......。

いずれにしても。これで、撮影するポートレート写真に必要なデータが取得できましたので、これで、写真を合成し、深度に合わせて写真のボケ具合いを変えるわけです。

まだまだ続くアップデート

様々な機能がソフトウエア、特にTensorflow mobileを初めとしたAIによって実現されているポートレートモードですが、ユーザーの操作によってPixel 3上でAIがこれ以上学習することはなく、撮影した結果がフィードバックされるようなことは残念ながらないそうです。

しかし、レイノルズ氏によれば、今後のアップデートでPixel 3のカメラに新機能や性能向上はアップデートで「絶対する」とのことです。それが機械学習エンジンの認識パターンの増加なのか、新機能自体の追加なのかはわからないですが期待して待ちたいものです。

また、Pixel3に続く次世代機種、次々世代機種......でも間違いなく機能の進化は行われるということです。こちらも(日本で発売されることを含めて)期待しましょう。

なお、これらGoogleのコンピュテーショナルフォトグラフィーを初めとした多くの技術はBlogなどでも公開されています。たとえば、(英語ではありますが)今回の紹介された内容に関して、以下のGoogle AI Blogでさらに詳しく知ることができます。

・Night Sight: Seeing in the Dark on Pixel Phones
(https://ai.googleblog.com/2018/11/night-sight-seeing-in-dark-on-pixel.html)
・See Better and Further with Super Res Zoom on the Pixel 3
(https://ai.googleblog.com/2018/10/see-better-and-further-with-super-res.html)
・Portrait mode on the Pixel 2 and Pixel 2 XL smartphones
(https://ai.googleblog.com/2017/10/portrait-mode-on-pixel-2-and-pixel-2-xl.html)





CAREERS TechCrunch Japan
連載:KAKEHASHI取締役CTO海老原氏に聞くスタートアップへの転職


 


広告掲載についてのお問い合わせはad-sales@oath.com までお知らせください。各種データなどはこちらのメディアガイドをあわせてご覧ください。

関連キーワード: Android, Camera, Google, Pixel, Pixel3, smartphone
568シェア
126
166
0
276

Sponsored Contents