アプリケーションプロセッサを用いた画像ソリューションの構築

(1)

あらましアプリケーションプロセッサを用いた画像ソリューションとは，富士通の得意とする画像処理技術を生かし，ソフトウェアや評価ボードを含めたアプリケーションプラットフォームを顧客に提供する形態である。このプラットフォームを使用することにより，セットメーカである顧客は多機能な新製品を短期間に開発し，市場へ投入することができる。本プラットフォームはイメージングプロセッサMilbeautと組み合わせることで，高性能の画像処理システムを実現し，他セットメーカに対して優位性をアピールすることが可能となる。本稿では，アプリケーションプロセッサ「MB86S62」を用いた画像アプリケーションプラットフォームの事例を紹介する。 Abstract

The imaging solutions using application processors is a form of providing customers with an application platform including software and evaluation boards by taking advantage of image processing technology at which Fujitsu excels. By using this platform, customers who are assembly manufacturers can develop multifunctional and new products in a short time and bring them to market. This platform realizes a high-performance image processing system when combined with the Milbeaut imaging processor, and manufacturers can use it to emphasize their superiority over other assembly manufacturers. This paper presents examples of imaging application platforms that use application processor MB86S62.

●須賀敦浩 ●中原英利 ●兵頭正人 ●瀧本伸一

画像ソリューションの構築

(2)

ま　え　が　き今日のスマートフォン，およびタブレットは劇的なほど進化しており，数年前には不可能だった機能やアプリケーションを動作させることにより，あらゆるビジネスや生活の場の中心的存在になりつつある。この背景としては，アプリケーションプロセッサを中心にして，端末側で十分な処理速度を維持できるようになったことに加え，LTE（1）を中心とする通信のインフラが整うことにより，多くのインターネットアクセスがストレスなく実現できていることに起因する。そのため，様々なサービスが，端末側のアプリケーションとクラウドとの連携で実現できつつある。スマートフォンやタブレットに採用された高度なユーザインタフェースは今後様々な製品へ応用されていくと予想され，アプリケーションプロセッサにより実現される画像処理はますます重要となっていく。一方で市場が要求する新製品を実現するためのアプリケーションプロセッサと他社との差異化を実現するためには，最先端のプロセステクノロジーを用いる必要がある。しかし，40 nmプロセステクノロジー以降のLSIの開発は検証工数やレイアウトの難易度が爆発的に増加することで，従来のテクノロジーを採用する場合に比べて，多くの開発期間と開発費が必要となる。この結果，先端テクノロジーを用いたLSIの開発は，リスクが増大しており，セットメーカの個別商品開発においてROI （Return On Investment）を悪化させる大きな要因となり新規の開発をより一層困難なものにしている。このことは，40 nmプロセステクノロジー以降顧客の負担（開発コスト，ソフトウェア開発増）に対して新たなソリューションを提供することによる新たなビジネスチャンスがあることを示している。このような背景の中，アプリケーションプロセッサを開発している各半導体メーカは，スマートフォンやタブレット市場をターゲットにしていることはもちろんのこと，車載やデジタル家電市場にも参入する意思を示している。この一方で顧客であるセットメーカは新規に独自のLSIを開発するより既製品のアプリケーションプロセッサを用いてシま　え　が　きステムインテグレーションを行うことで開発コス_{トやリスクを低減する方向に向き始めている。こ} のことが，ASICビジネスを得意とする富士通に，変革を促す一つのきっかけとなっている。このような状況から，富士通は得意とする画像処理技術を生かす応用にフォーカスし，ソフトウェアや評価ボードを含めたアプリケーションプラットフォームを顧客に提供することで，アプリケーションプロセッサベースの開発でありながら，顧客の独自ロジックを融合して従来のASICのような独自機能を実現できるソリューションを実現した。更にイメージングプロセッサMilbeautと組み合わせることで，ほかのアプリケーションプロセッサベンダとは異なる切り口で画像プラットフォームとして使用することが可能となる。本稿では，アプリケーションプロセッサ「MB86S62」を用いて構築した画像アプリケーションプラットフォームの事例を紹介する。

MB86S62

を用いた画像アプリケーションプラットフォーム画像アプリケーションプラットフォームのコンセプトを図

-1

に示す。富士通の従来有するASICの実現技術と， Milbeautをはじめとする画像処理技術を活用し，先端のCPU/GPUをベースとしたソフトウェア・ハードウェアを搭載することによる電力・性能・面積（コスト）の優位性に加え，・センシング・解析・加工・圧縮・伸張・表示・出力などの一連の画像処理機能に対しては，競争力のあるマルチメディアフレームワークへ対応することにより，使い勝手の良いプラットフォームを提供することが基本的なコンセプトである。これにより，顧客に対し，・画像系ASSPへのPF基盤活用によるコスト低減，デリバリ加速・既存ビジネス強化，高付加価値商品創出への貢献・新規ビジネスへの貢献といった価値を提供することが可能となる。本プラットフォームの構成を図

-2

に示す。アプリケーションプロセッサをベースとしたSoCに加

MB86S62

を用いた画像アプリケーションプラットフォーム

(3)

リケーションを構築することで，容易にシステム開発を行うことができる。

以下に本プラットフォームのハードウェアおよびソフトウェアの構成とその特徴を示す。

え，Linux（2）_とAndroid（3）_{のBSP（Board Support}

Package），および富士通の画像処理機能であるマルチメディアプラットフォームから構成される。顧客は，このLinuxとAndroid BSP上に独自のアプオプション Kernel Generic Platform Specific（V4） Google供給拡張ライブラリアプリケーションフレームワーク拡張部テストアプリケーション電源制御デバイスドライバ標準ドライバディスプレイドライバアプリケーションフレームワーク標準ライブラリセットメーカ開発部アプリケーションマルチメディアフレームワーク Audio

HAL Display HAL StandardHALs

FSL ISP部 ISP

HAL （OthersHALs）

FSL ISP部そのほかのドライバ GPU ドライバ ARM供給部 OpenGL ES Lib Linux BSP High bandwidth Connectivity コンピュートサブシステム CPU

Cluster ClusterGPU

H ig h B an dw id th in te rc on ne ct w ith Q oS DRAM I/F DRAM イメージングサブシステム ⇔USB ⇔SATA ⇔GMII/Ether ⇔PCIe ←Clock ←Reset ⇔I2C ⇔UART ⇔GPIO ⇔UART ⇔I2C ⇔SPI ⇔I2S CSI → DSI ← DSI ← HDMI ← HDMI ←

Cache coherent interconnect

ハードウェアアーキテクチャ System control low bandwidth Connectivity ISP Codec Post proc. disp audio Android BSP 図-2 MB86S62のプラットフォーム構成画像アプリケーションプラットフォーム画像アプリケーションプラットフォーム用SoC マルチメディアフレームワーク（画像・音を含む環境全般）センシング解析・加工圧縮・伸張表示・出力 CPU GPU DSP アクセラレータ connectivity 高効率アーキテクチャ（電力・性能・面積・使い勝手）富士通の画像技術既存ビジネス強化高付加価値商品創出への貢献画像系ASSPへの PF基盤活用によるコスト低減，デリバリ加速新規ビジネスへの貢献ドライバ層での高効率化の実現 Linux O/S オープン環境で競争力のあるマルチメディアフレームワークの実現ターゲットシステムアプリを容易に実現できるAPIの提供図-1 画像アプリケーションプラットフォームのコンセプト

(4)

●

MB86S62

MB86S62のブロックダイアグラムを図

-3

に，主な機能仕様を表

-1

に示す。本プラットフォームでは徹底した低消費電力化とハイパフォーマンスな画像処理に注力しており，ハードウェア上での取組みと主な特徴を以下に挙げる。（1）低消費電力プロセスの使用最先端の45 nm Low Powerプロセスを採用し，低消費電力化とローコスト化を実現している。（2） ARM社CortexTM_{-A8プロセッサを搭載} 組込み型プロセッサとして代表的なARMコアを搭載し，最大1 GHz動作を実現している。一次キャッシュはIDともに32 Kバイト，二次キャッシュは256 Kバイトのメモリを搭載している。（3）強力・充実したマルチメディア機能二つのカメラ入力インタフェースを持っており，表-1 MB86S62の主な機能仕様項目仕様

CPU ARM CortexTM_{-A8，∼ 1 GHz}

ビデオ 1080 p @30 fpsエンコーディング： MPEG-4，H.264（720 pデュアルエンコーディング） 1080 p @30 fpsデコーディング： MPEG-2/4，H.264，VC-1，RV8.9.10，H.263モードサポート/ Divxストリーミング

グラフィックス OpenGL2.0/OpenVG1.1（30 MPoly/s，400 Mpixel/s）ディスプレイ _{（24ビットRGB or MIPI DSI/3D De-Interlacer）}XGA LCD I/F＆デュアルLCDサポートカメラデュアルカメラ（8 M＆3 M）

インタフェース

USB Host×1，OTG×1 PHY内蔵

MPEG-2 TS RX×2＆SPI×3，SmartCard I/F×2 SD/MMC/SDIO/SDHC I/F SATAII/HDMI パッケージ 19 mm×19 mm_{620ピンFBGA（0.65ピッチ）} CortexTM_-A8 （1 GHz）オーディオインタフェース外部ペリフェラルインタフェースグラフィックス 2D/3D セキュリティシステムコントロールユニットカメラインタフェースディスプレイユニットフルHDビデオ _{プロセッサ}ポストストレージコントローラメモリコントローラ HDMI Tx USB 2.0 Host & OTG MPEG-2 TS

Rx I/F X2 Smart Card

I/F X2

(5)

載されており，DRAMは外付け対応となる。実装基板上の省スペース化，および更なる低消費電力化に向け，図

-4

の例のような多チップスタック化によるSiP（System in Package）を開発中である。 ● 評価環境【MB86S62評価キット（DTK）の概要】 DTKは，MB86S62周辺デバイスおよび各種インタフェースを備えており，必要な機能を容易に実現できる。 MB86S52の開発用評価ボードを図

-5

に示す。同図（a）がドライバミドルウェアなどのソフトウェア開発用のDTK，同図（b）がアプリケーション開発用のタブレットである。タブレットは拡張ボードを接続することにより，DTKとほぼ同等なデバッグ環境を構築することもできる。ソフトウェアに関しても，市場要求度の高い LinuxおよびAndroidシステムに対応できるように，それぞれBSPを準備しており，顧客は下位層をほぼ意識することなく，商品仕様に直結する上位層の開発に注力することができる。【DTKの基本機能】・LCD：800×480 pixel ・DDR Capacity：512 Mバイト（System），256 M バイト（Media）・NAND：8 GバイトMLC ・USB（13）_{OTGコンバータケーブル} ・Non-crossシリアルケーブル・ステレオスピーカ・5 V/2 Aアダプタ・3.7 Vシングルバッテリ（Max：4.2 V）メインはMIPI CSIまたは8ビットパラレルインタフェースで8 Mpixel，サブは8ビットパラレルインタフェースで3 Mpixelまで対応している。またビデオコーデックは，MPEG-2（4）_やH.264，（5） VC-1（6）_{などの複数の映像規格に対応しており，フ} ルHDサイズの1080 p/30 fpsのエンコード/デコード，および720 pでのデュアルエンコードに対応している。オーディオコーデックについてはMP3（7）やAACなどの様々なオーディオ規格，I2S（8）_や SPDIF（9）_{などのインタフェースに対応している。} （4） 3Dグラフィックスエンジンを搭載 2D/3Dのグラフィックスハードウェアアクセラレータを搭載し，OpenVG1.1，（10）_{OpenGL ES2.0}

をサポートしている。デュアルコアを搭載し， 30 MPoly/s，400 Mpixel/sの処理能力を持っている。（5） 3画面表示およびXGA，対応のディスプレイ機能 24ビットRGBおよびMIPI（11）_{DSIインタフェー} スを持ち，XGAサイズ（1024×768）LCDインタフェース対応やデュアルLCDをサポートしている。また，デュアルLCDと，HDMI，（12）_{またはTV（NTSC/} PAL）での三つのディスプレイへの表示が対応可能である。（6）電源管理による低消費電力化システム制御ユニットを搭載しており，各種パワーモード（Normal/Idle/Stop/Sleep/Deep Sleep）設定，クロックゲーティングによる動作電流の抑制，およびそれぞれの機能マクロに対するパワーゲーティング（リーク電流も抑制される）により，低消費電力化を図っている。 MB86S62は，19 mm角のFBGAパッケージに搭 FLIP-CHIP 省スペースサイズ：12 mm角高さ：1.5 mm以下メモリを4個積層配線負荷容量低減によるローパワ−化図-4 SiPの構成例

(6)

・MIPIスレーブ：MIPIカメラボード

・Micro SATA（15）_{：External 1.8インチSATA HDD}

・D-TVコネクタ：D-TVボード（4）表示・操作系表示および操作キーとして以下の機能を有する。・タッチパネル：7インチLED LCD ・ホーム，メニュー，バック，ボリューム-アップ/ ダウン（5）入出力端子入出力端子として以下の機能を有する。・マイク・ライン入力・ヘッドフォン出力・ステレオスピーカ（8 Ohm）・CVBS Out ・SPDIF ・HDMI （6）スイッチ関連リセットおよび動作モード選択用のスイッチを有する。・パワースイッチ・リセットスイッチ・CPUリセットスイッチ・Bootモード設定スイッチ【DTKの機能詳細】（1）電源関連メインの電源スイッチおよびPower Indicate LEDを有する。電源の供給経路としては下記2種類に対応している。・AC supply（5 V）・3.7 V Single-Cell Battery （2）評価関連下記の手段によりメインボードからデバッグボード経由でPCと接続し，評価を行うことができる。・Ethernet ・JTAG ・RS-232C ・USB （3）外部デバイス関連外部デバイスへの接続手段として以下の機能を有する。・NAND ・UART1 ・SD（14）_Ch0/Ch1 ・USB Host：USBホストコネクタ・カメラインタフェース0：パラレルカメラボード・カメラインタフェース1：パラレルカメラボード表面裏面（a）ソフトウェア開発用DTK （b）アプリケーション開発用タブレット図-5 MB86S52の開発用評価ボード

(7)

層で，ハードウェアとAndroidシステムを分離している。（5） Linuxカーネル Linuxカーネルを採用することにより，デバイスドライバは，Linux用として開発されたものをそのまま利用することが可能となる。 Androidシステムの導入のメリットとして，開発ツールが提供されているという点がある。

・Android SDK（Software Development Kit）・Android NDK（Native Development Kit）

商品の要求仕様に合わせ，上述の2種類の開発ツールを選択し，使用することができる。本プラットフォームは，組込み機器向けの汎用メディアフレームワークである，マルチメディアライブラリ（OpenMAX/GStreamer），（16）_2D/3Dグラフィックスライブラリ（OpenVG/OpenGL ES）をベースとした画像処理ライブラリを構築することができる。これらのマルチメディアライブラリは，ハードウェアシスト機能をフルに活用することにより，低消費電力で所望の動画性能を実現することができる。顧客は上述のようなAndroidシステムを導入することにより，標準のAPIをベースにしたアプリケー【ソフトウェア構成】本プラットフォームは，使用用途としてタブレットを含む携帯端末，およびそれらと同等の機能を有するデジタル機器を想定している。システムの OSおよびフレームワークとしては，Androidと Linuxを基本と考えている。 Androidシステムの基本構成を図

-6

に示す。レイヤ構成は以下の5層となる。（1）アプリケーション Androidアプリケーションはこのレイヤで動作する。（2）アプリケーションフレームワーク Androidアプリケーションに様々なサービスを提供する。（3）ライブラリ/Android Runtime 以下の基本的なライブラリ群で構成している。・SQLite ・Libc ・Webkit ・OpenGL ES ・CoreLibrary

・Dalvik Virtual Machine （4）ハードウェア抽象化ハードウェアを抽象化したレイヤであり，このアプリケーションアプリケーションフレームワークライブラリ Androidランタイムハードウェア抽象化 Linuxカーネル GPS Bluetooth

Graphics Audio Camera Wi-fi ・・・

コア・ライブラリ仮想マシン（Dalvik VM） Libc

Surface

Manager FrameworkMedia SQLite

・・・

OpenGL ES _ManagerAudio FreeType

Contacts

Home Browser Media Player ・・・

Content Providers Active

Manager ManagerWindow ResourceManager ・・・

Shared Memory Driver

Display Driver Camera Driver Bluetooth Driver Binder_Driver（IPC） Audio Drivers

USB Driver Key Driver Wifi Driver _ManagementPower

(8)

・オートフォーカスなど追加機能の対応などの商品仕様を特徴付ける個別機能の最適化に十分時間を費やすことができる。上述のように，DTKを開発のプラットフォームとして使用することにより，容易に統合システムの構築が可能であり，これまでの開発ではシステム全体に配分する必要があった工数を，画像・画質調整などの各社の独自性を強調する部分に集中できるようになる。今後の展開 MB86S62は基本的にはコンピュートサブシステム部分は他社同等製品と差異はない。他社と明確な差異化をするためには下記のことを推進する必要がある。（1）非競争領域に対する対応・デバイステクノロジーおよびCPUコアを他社製品と同世代あるいは一世代先のテクノロジーの実装・LinuxやAndroidなどのOS，Khronos社標準API， OpenCLやOpenCV（17）_{など，最新バージョンへ} の速やかな対応（2）差異化領域の強化・低消費電力化を中心にしたデバイステクノロジー・画像処理技術・容易なシステムインテグレートを実現するソフトウェア資産の構築これらを実現するためのプラットフォームおよび商品展開を図

-8

に示す。基本プラットフォーム｛同図（a）｝はコンピュートサブシステムおよび画像フレームワークで構成され，本プラットフォームチップ単体でもLinuxやAndroidを搭載した 1チップソリューションとして提供可能な構成とする。本チップをベースにアプリケーション個別部分を組み込んだプラットフォーム｛同図（b）｝，および広帯域で接続可能なインターコネクトで接続されプラットフォームチップ，コンパニオンチップの2チップ構成のプラットフォーム｛同図（c）｝の3種類を提供予定である。上記の対応を行ったプラットフォーム開発環境を整備し，2013年度には28 nmプロセス， CortexTM_{-A15搭載，画像処理は4 Kクラスの動画処} 理を行う製品を投入予定である（図

-9

）。今後の展開ションの開発に注力できる。更に，OpenGL ES/OpenMAXというオープンなフレームワークを利用することにより，SoC固有技術のAPIをベースにしたソフトウェア資産の構築を避けることができ，開発期間短縮と開発工数削減などのメリットを享受できる。応　用　事　例本章では，DTKを使用した応用事例として，富士通の画像処理に関する独自技術であるイメージングプロセッサMilbeautとの統合システムを紹介する。ハードウェア的な接続方法としては，パラレルインタフェースが2 ch，そしてMIPIスレーブインタフェースが1 chの計3系統の中から応用商品のニーズに合わせ選択できる。実際の構成を図

-7

に示す。ソフトウェアの対応としては，Androidを導入することにより非常に簡単になり，基本的にはデバイスドライバのみを準備するだけである。プレビュー動作，またシャッタ動作に伴う映像の取込みなどのカメラを扱うための機能は， AndoridにAPIが用意されているため，作成者は使用するデバイスを意識することなく，Androidアプリケーションを作成することでカメラ基本機能を実現できる。カメラ基本機能を構築した後に，・パフォーマンスの検討・画質調整応　用　事　例カメラパラレルI/F カメラ MIPI I/F Milbeaut イメージングプロセッサ図-7 DTKを使用した応用事例

(9)

ディスプレイシステムが家庭や公共施設，オフィスなどで様々な形態で広く普及すると想定される。富士通は最先端のデバイステクノロジーを駆使し， 20 nm以降の世代でも同様のプラットフォームを開発して画像処理ソリューションを展開していく予定である。む　　す　　び本稿では，MB86S62を用いた画像アプリケーションプラットフォームを紹介した。今後の映像ソリューションとしてはタブレット端末に代表されるクラウド連携した高機能なインタラクティブむ　　す　　び（a）基本プラットフォーム（b）カスタムプラットフォーム顧客仕様ハードウェアコンピュートサブシステムイメージングサブシステム Inter-chip DDR I/F （c）2チップ構成コンパニオン ASIC Inter-chip ドライバカーネルドライバカーネルマルチメディアフレームワークドライバミドルウェアドライバカーネルマルチメディアフレームワークドライバミドルウェアマルチメディアフレームワークミドルウェアアプリケーション固有追加部分プラットフォーム提供部分ペリフェラルコンピュートサブシステムイメージングサブシステム Inter-chip DDR I/F ペリフェラルコンピュートサブシステムイメージングサブシステム Inter-chip DDR I/F ペリフェラル図-8 プラットフォームおよび商品展開

2012

2013

2014

2015

MB86S7x

計画中 20 nm Next CPU multi-core OpenGL ES，OpenVG，OpenCL

OpenSL ES， OpenCV 8K4K 対応

MB86S62

開発完了 45 nm CortexTM_{-A8 @1 GHz} H.264 full HD Codec OpenGL ES，OpenVG Full HD対応

MB86S64

開発中 28 nm CortexTM_{-A15 dual @2 GHz}

CortexTM_{-A7 dual @1 GHz} OpenGL ES，OpenVG，OpenCL

4K2K 対応

MB86S6x

計画中 28 nm CortexTM_{-A7 quad @1 GHz} OpenGL ES，OpenVG，OpenCL

OpenSL ES，OpenCV 4K2K 対応高機能用途向けローパ_ワー /_モバイル用途_向け図-9 開発ロードマップ

(10)

（9） International Electrotechnical Commission． http://www.iec.ch/

（10）The Khronos Group： Connecting Software to Silicon． http://jp.khronos.org/ （11）MIPI Alliance． www.mipi.org （12）HDMI Licensing, LLC． http://www.hdmi.org/

（13）USB Implementers Forum, Inc． http://www.usb.org/home

（14）SDアソシエーション． https://www.sdcard.org/jp/home

（15）Serial ATA International Organization． http://www.serialata.org/ （16）freedesktop.org． http://gstreamer.freedesktop.org/ （17）OpenCV． http://code.opencv.org/embedded/opencv/index.html 須賀敦浩（すが　あつひろ）富士通セミコンダクター（株）アドバンストプロダクト事業本部所属現在，画像用アプリケーションプロセッサの開発に従事。著者紹介兵頭正人（ひょうどう　まさと）富士通セミコンダクター（株）アドバンストプロダクト事業本部所属現在，画像用アプリケーションプロセッサの開発に従事。中原英利（なかはら　ひでとし）富士通セミコンダクター（株）アドバンストプロダクト事業本部所属現在，画像用アプリケーションプロセッサの開発に従事。瀧本伸一（たきもと　しんいち）富士通セミコンダクター（株）アドバンストプロダクト事業本部所属現在，画像用アプリケーションプロセッサの開発に従事。参考文献

（1） The 3rd Generation Partnership Project． http://www.3gpp.org/ （2） Linux． http://www.kernel.org/ （3） Android Developers． http://developer.android.com/index.html （4） MPEG LA． http://www.mpegla.com/main/default.aspx （5） International Telecommunication Union

Telecommunication Standardization Sector． http://www.itu.int/en/pages/default.aspx

（6） Society of Motion Picture and Television Engineers． http://www.smpte.org/

（7） International Organization for Standardization． http://www.iso.org/iso/home.html

（8） NXP Semiconductors．

http://www.classic.nxp.com/acrobat_download2/ various/I2SBUS.pdf