LAMP スタック:品質およびセキュリティ

(1)

LAMP スタック:

品質およびセキュリティ

Rich Cerruto

(2)

Coverity

のベーシックなアプローチ

•

• 静的ソース

静的ソース

コード解析

• セキュリティ上の脆弱性 •システムとプロセスのクラッシュ •無限ループ •パフォーマンスの劣化 •サービス拒否 •権限昇格 •データ、メモリ、およびファイルの破損 •予期しない動作 • コードを実行しない •テストケースを作成しない •すべてのパスを解析する検出できる問題アプローチ

(3)

オープンオープンソースソース ₊₊_Coverity:_Coverity: 静的解析技術の改善静的解析技術の改善 2002 • 当社の技術を求める要望が殺到 • 継続する Linux 作業:2000 以上のバグの検出 Coverity の設立 -- Linux での強化 2003-06 • 150 以上の顧客 --Juniper、Synopsys、 Symantec、nVidia、 PalmOne、およびその他多数 • 米国国土安全保障省の研究 -- 次世代解析技術の開発とオープンソースへの適用会社の成長と拡大 2001 Linux でのソー スコード静的解析 • 初期バージョンの Linux における数百のバグの公表 • Linux コミュニティによるほとんどの欠陥の修正飛躍的な研究所技術 1999 • メタレベルコンパイルチェッカー ("スタン

(4)

トピック

•

32

32 のオープン

のオープン

ソース

パッケージの品質とセキュリ

ティに関する

Coverity

_Coverity

の評価方法

•

• LAMP

LAMP

スタックおよび研究の対象となった他のパッ

ケージとの比較

•

• この研究が開発コミュニティに公表された後の反応

この研究が開発コミュニティに公表された後の反応

(5)

サンプル

バグ

_{No. 1:}

リソース

リーク

•

• Perl: Perl: perl/ext/Storable/Storable.xsperl/ext/Storable/Storable.xs •

(6)

サンプル

バグ

_{No. 2:}

配列のオーバーラン

• • phpphp--src/ext/standard/ftp_fopen_wrapper.csrc/ext/standard/ftp_fopen_wrapper.c • • off by 1 (1 off by 1 (1 つつ違い違い) ₎エラーエラー

(7)

Coverity

のアプローチ

:

scan.coverity.com

•

• オープン

オープン

ソース

パッケージを自動的にスキャンす

るためのインフラストラクチャ

• • 毎晩スキャン毎晩スキャン •

• Coverity Coverity Prevent 2.4.4Prevent 2.4.4 の使用の使用

•

• 結果を

結果を

scan.coverity.com

_{scan.coverity.com}

に自動的に送信

•

• 始動

始動

• • 2006 ₂₀₀₆年年 3 ₃月月 6 ₆日日 • • 32 ₃₂パッケージパッケージ • • 今後さらにパッケージを追加今後さらにパッケージを追加

(8)

パッケージ一覧の概要

XMMS XMMS Samba Samba OpenLDAP OpenLDAP Gcc Gcc Xine Xine Python Python NetSNMP NetSNMP GAIM GAIM X X ProFTPD ProFTPD MySQL MySQL FreeBSD FreeBSD WxWidgets WxWidgets PostgreSQL PostgreSQL Mplayer Mplayer Firefox Firefox TCL TCL PHP PHP Linux Linux Firebird Firebird Squid Squid Perl Perl Inetutils Inetutils Ethereal Ethereal SQLite SQLite OpenVPN OpenVPN Icecast Icecast Apache Apache Snort Snort OpenSSL OpenSSL Gnome Gnome Amanda Amanda

(9)

最初の実行結果

•

• 比較のための主な評価基準として欠陥密度を選択

比較のための主な評価基準として欠陥密度を選択

•

• 発表する結果

発表する結果

:

_:

• • LAMP _LAMPスタックのスタックの “_“L_L”_” およびおよび “_“P_P”_” 部分の詳細データ部分の詳細データ • • パッケージ全体の傾向パッケージ全体の傾向 • • LAMP LAMP スタック全体の比較データスタック全体の比較データ

(10)

生の数字

_–

_“

_L

_”

および

_“

_P

_”

14 14 15 15 16 16 187 187 バッファバッファオーバーランオーバーラン 21 21 26 26 23 23 173 173 メモリメモリリークリーク 7 7 8 8 40 40 117 117 予期しない予期しない動作動作 54 54 40 40 126 126 585 585 システムシステム/_/プロセプロセスのクラッシュスのクラッシュ 96 96 89 89 205 205 1062 1062 バグ合計数バグ合計数 Python Python Perl Perl PHP PHP Linux Linux

(11)

欠陥密度

_-

_“

_L

_”

および

_“

_P

_”

.18 .18 Perl Perl .49 .49 PHP PHP .33 .33 Linux Linux 密度密度 ( (コードコード 1000 ₁₀₀₀行あたりのバグ行あたりのバグ)₎ パッケージパッケージ

(12)

傾向

_:

欠陥密度の基準

Distribution of Defect Densities in Open Source Packages 0 2 4 6 8 10 12 0.000-0.061 0.062-0.191 0.192-0.313 0.313-0.434 0.434-0.555 0.556-0.677 0.677-0.798 >= 0.798 Defect Density Range

Nu m b er o f P ackag es

(13)

比較

_:

_LAMP

対基準

How does LAMP stack up?

0.18 0.22 0.25 0.29 0.33 0.35 0.43 0.49 0.10 0.20 0.30 0.40 0.50 0.60 D e fect s p e r K L O C

(14)

PHP

–

値が最も高い理由

• • 88 88 のの “_“FORWARD_NULL_{FORWARD_NULL}”_” バグバグ (₍合計合計 205 ₂₀₅中中)₎ • • 非標準アサーションによるフォールス非標準アサーションによるフォールスポジティブポジティブ (10 (10 のサンプルではのサンプルでは 3/10)_3/10) 主な問題点主な問題点 • • コード内のいくつかの部分におけるコード内のいくつかの部分における NULL _NULLポインタの不ポインタの不適切な取り扱い適切な取り扱い

(15)

例

(16)

考慮すべき他の要素

0.35 0.35 0.18 0.18 0.49 0.49 0.33 0.33 欠陥欠陥 5,516 5,516 6,613 6,613 3,928 3,928 4,380 4,380 1.0 1.0 以降の以降の経過経過期間期間 (₍日数日数)₎ 64 64 846 846 57 57 464 464 保守担当者保守担当者数数 272,118 272,118 495,100 495,100 419,192 419,192 3,171,631 3,171,631 コードの行コードの行数数 Python Python Perl Perl PHP PHP Linux Linux

(17)

“

L

”

および

“

P

”

の推定される相関関係

•

• 経過期間対欠陥密度

経過期間対欠陥密度

• • ほとんど完璧な相関関係ほとんど完璧な相関関係 • • 古いプロジェクトほど欠陥が少ない古いプロジェクトほど欠陥が少ない

•

• LOC (

LOC (

コード行数

)

₎

対欠陥密度

• • 相関関係なし相関関係なし • • 最高密度は最高密度は 419,192 _419,192のの LOC _LOCを持つを持つ PHP_PHP •

• 最低密度は最低密度は _495,100_495,100のの _LOC_LOCを持つを持つ _Perl_Perl

•

• 保守担当者数対欠陥密度

保守担当者数対欠陥密度

• • 保守担当者数が多いほど欠陥密度が低い保守担当者数が多いほど欠陥密度が低い • • Python Python はこの限りではないはこの限りではない

(18)

欠陥の公表

•

• 2006

2006

年

3 ₃

月

6 ₆

日、欠陥データベースをオンラ

イン化

•

• すべてのオープン

すべてのオープン

ソース保守担当者に発表を

通知

•

• 反応

反応

(19)

5

5 日後

日後

9 9 (0)(0) 1 1 (1)(1) 0 0 15 15 (1)(1) バッファバッファ 21 21 (12)(12) 4 4 (2)(2) 0 0 12 12 (1)(1) リソースリソースリークリーク 6 6 (0)(0) 3 3 (2)(2) 2 2 (0)(0) 43 43 (0)(0) 予期しない予期しない動作動作 46 46 (36)(36) 3 3 (0)(0) 0 0 73 73 (3)(3) システムシステム/_/プロセプロセススクラッシュクラッシュ Python Python Perl Perl PHP PHP Linux Linux 確認済み確認済み ( (修正済み修正済み)₎

(20)

5

5 日後の勝者

日後の勝者

•

• Python

Python

• • 48 ₄₈のバグを修正のバグを修正 • • 残りの残りの ₃₈₃₈のバグのうち、のバグのうち、₂₃₂₃はは _“_“影響少影響少_”_” とマーク付けされ、修正とマーク付けされ、修正に値しないものと判断に値しないものと判断

(21)

30

30 日後

日後

9 9 (2)(2) 1 1 (1)(1) 14 14 (3)(3) 39 39 (21)(21) バッファバッファ 21 21 (18)(18) 5 5 (3)(3) 6 6 (6)(6) 31 31 (18)(18) リソースリソースリークリーク 5 5 (2)(2) 3 3 (2)(2) 10 10 (6)(6) 32 32 (23)(23) 予期しない予期しない動作動作 40 40 (44)(44) 15 15 (12)(12) 27 27 (7)(7) 87 87 (49)(49) システムシステム/_/プロセプロセススクラッシュクラッシュ Python Python Perl Perl PHP PHP Linux Linux 確認済み確認済み ( (修正済み修正済み)₎

(22)

30

30 日後の概要

日後の概要

•

• 4,272

4,272

の欠陥を確認

•

• 2,594

2,594

の修正

•

2

2 のセキュリティ勧告

のセキュリティ勧告

(

₍

X.org

_X.org

および

NetBSD

_NetBSD

)

₎

•

3

3 つの

つの

“

_“

クリーン

”

_”

なパッケージ

–

_–

Amanda

_Amanda

、

Python

、

XMMS

_XMMS

• • Amanda Amanda は初期の欠陥密度が最大は初期の欠陥密度が最大

•

5

5 つのほとんどクリーンなパッケージ

つのほとんどクリーンなパッケージ

–

_–

SQLite

_SQLite

、

Ethereal

、

Icecast

_Icecast

、

Squid

_Squid

、

Samba

_Samba

•

(23)

まとめ

•

• オープン

オープン

ソース開発者は品質を重視している

•

• LAMP

LAMP

スタックの平均欠陥密度は

32 ₃₂

の

OSS

_OSS

パッケ

ージの基準を下回っている

•

• PHP

PHP

には最大の欠陥密度があり、その主な原因は

NULL

ポインタの不適切な取り扱いにある

•

• 今後の作業

今後の作業

• • パッケージの経過期間、保守担当者数、パッケージの経過期間、保守担当者数、LOC _LOCと欠陥密と欠陥密度との相関関係を調査する度との相関関係を調査する