サードパーティ製 Intersect
Alliance Snare エージェント経由で UNIX/Linux サーバー上の syslog に
報告される、標準 Windows イベン トログ0050818050818 Sep 14 10:49:46 stage-test.splunk.com Windows_Host MSWinEventLog 0 Security 3030 Day Aug 24 00:16:29 2005 560 Security admin4 User Success Audit Test_Host Object Open: Object Server: Security Object Type: File Object Name:
C:\Directory\secrets1.doc New Handle ID: 1220 Operation ID: {0,117792} Process ID: 924 Primary User Name: admin4 Primary Domain:
FLAME Primary Logon ID: (0x0,0x8F9F) Client User Name: - Client Domain: - Client Logon ID:
- Accesses SYNCHRONIZE ReadData (or ListDirectory) Privileges -Sep
特殊ソースタイプ
ソースタイプ名 起源 例
known_binary
ファイル名が⼀般的にログファイルではなくバイナリファイルとして知られているパター ンと⼀致
mp3 ファイル、画像ファイル、.rdf
、.dat な ど。これは明らかに⾮テキスト形式である ファイルを取得することを⽬的にしていま す。事前定義ソースタイプ
⾃動的に認識されるもの、および⾃動的には認識されないものも含めた、すべての事前定義ソースタイプを以下に⽰しま す。
カテゴ
リ ソースタイプ
アプリケー
ション
log4j、log4php、weblogic_stdout、websphere_activity、websphere_core、websphere_trlog
サー バー
データベース
mysqld、mysqld_error、mysqld_bin
メール
exim_main、exim_reject
、postfix_syslog、sendmail_syslog、procmail オペレー ティングシス テム
linux_messages_syslog、linux_secure、linux_audit
、linux_bootlog、anaconda、anaconda_syslog、osx_asl、osx_crashreporter、osx_crash_log、osx_install、osx_secure、osx_daily、osx_weekly、
osx_monthly、osx_window_server、windows_snare_syslog、dmesg、ftp、ssl_error、syslog, sar、
rpmpkgs
ネットワーク
novell_groupwise、tcp
プリンタ
cups_access、cups_error、spooler
ルーターとファイ ア ウォール
cisco_cdr、cisco_syslog、clavister
VoIP asterisk_cdr、asterisk_event、asterisk_messages、asterisk_queue Web
サー
バー
access_combined、access_combined_wcookie、access_common、apache_error、iis
その他
snort
事前定義ソースタイプの設定の表⽰
Splunk がどのような設定情報を使って特定のソースタイプのインデックスを作成するのかを理解するために、
btoolユー
ティリティを使ってプロパティの⼀覧を参照することができます。btool
の使⽤⽅法の詳細は、『Troubleshooting manual』の「Use btool to troubleshoot configurations」を参照してください。
tcp
ソースタイプの設定の表⽰例を以下に⽰します。
$ ./splunk btool props list tcp [tcp]
BREAK_ONLY_BEFORE = (=\+)+
BREAK_ONLY_BEFORE_DATE = True CHARSET = UTF-8
DATETIME_CONFIG = /etc/datetime.xml KV_MODE = none
LEARN_SOURCETYPE = true MAX_DAYS_AGO = 2000 MAX_DAYS_HENCE = 2 MAX_DIFF_SECS_AGO = 3600 MAX_DIFF_SECS_HENCE = 604800 MAX_EVENTS = 256
MAX_TIMESTAMP_LOOKAHEAD = 128 MUST_BREAK_AFTER =
MUST_NOT_BREAK_AFTER = MUST_NOT_BREAK_BEFORE =
REPORT-tcp = tcpdump-endpoints, colon-kv SEGMENTATION = inner
SEGMENTATION-all = full SEGMENTATION-inner = inner SEGMENTATION-outer = foo SEGMENTATION-raw = none SEGMENTATION-standard = standard SHOULD_LINEMERGE = True TRANSFORMS =
TRANSFORMS-baindex = banner-index TRANSFORMS-dlindex = download-index TRUNCATE = 10000
maxDist = 100 pulldown_type = true
131
イベント単 単位でのソースタイプに優先する設定
ここでは、イベント単位にソースタイプに優先する設定を⾏う⽅法を説明していきます。この処理は、「Splunk による ソースタイプの割り当て⽅法」で説明しているように、Splunk が初期割り当てを完了した後のパーシング時に⾏います。
イベント単位の優先設定を⾏うには、transforms.conf
と
props.confを使⽤します。
注意：この種類の優先設定処理はパーシング時に⾏われるため、インデクサーまたはヘビーフォワーダー上でのみ機能し ます。ユニバーサルフォワーダーでは利⽤できません。⼊⼒/パーシング/インデックス作成プロセスの過程で利⽤できる 設定については、『管理マニュアル』の「設定パラメータとデータパイプライン」を参照してください。
特定の⼊⼒またはソースから取り込まれたイベントデータの、基本的な (イベントタイプではない) ソースタイプ優先設定 については、このマニュアルの「⾃動ソースタイプ割り当てに優先する設定」を参照してください。
設定
イベント単位の優先設定を⾏うには、transforms.conf
に 1 つ、そして
props.confにもう 1 つ、合計 2 つのスタンザを作
成する必要があります。$SPLUNK_HOME/etc/system/local/内、または
$SPLUNK_HOME/etc/apps/の独⾃のカスタムアプリケー
ションディレクトリ内にある、これらのファイルを編集します。設定ファイルの⼀般情報については、『管理マニュアル』の「設定ファイルについて」を参照してください。
transforms.conf
以下の構⽂に従って、transforms.conf
にスタンザを作成します。
[<unique_stanza_name>]
REGEX = <your_regex>
FORMAT = sourcetype::<your_custom_sourcetype_value>
DEST_KEY = MetaData:Sourcetype
以下の事項に注意してください。
<unique_stanza_name>
は、関連するソースタイプを反映する必要があります。この名前は、後ほど
props.confスタ
ンザで使⽤します。<your_regex>
は、独⾃のソースタイプを適⽤するイベントを表す正規表現です (特定のホスト名や他のフィールド値
を持つイベントなど)。
<your_custom_sourcetype_value>
は、正規表現に⼀致したイベントに適⽤するソースタイプです。
注意：正規表現の構⽂と使⽤⽅法の概要については、Regular-Expressions.info を参照してください。正規表現をテスト するには、rex サーチコマンドのを使⽤します。正規表現式を作成、テストするために役⽴つサードパーティ製ツールの リストも⽤意されています。
props.conf
次に、props.conf
に、
transforms.confのスタンザを参照するスタンザを作成します。
[<spec>]
TRANSFORMS-<class> = <unique_stanza_name>
以下の事項に注意してください。
<spec>
には、以下の値を使⽤できます。
<sourcetype>、イベントのソースタイプ。
host::<host>、<host>
はイベントのホストを表します。
source::<source>、<source>
はイベントのソース値を表します。
<class>
は、変換に割り当てる任意で⼀意の識別⼦です。
<unique_stanza_name>
は、
transforms.confで作成したスタンザ名です。
例：単単⼀の⼊⼒から取り込込まれた異なるホストを持つイベントへのソースタイプの割り当当て 共有 UDP ⼊⼒ UDP514 がある場合を考えてみましょう。Splunk インスタンスはこの⼊⼒を使って、さまざまなホスト からのデータのインデックスを作成します。UDP514 経由で Splunk に取り込まれるデータの中で、3 台のホスト
(host1、host2、および host3) からのデータに、特定のソースタイプ「my_log」を割り当てる必要があります。
まず始めに、Splunk が⼀般的に使⽤する、syslog イベントの host フィールドを抽出する正規表現を利⽤することがで きます。これは、system/default/transforms.conf
内にあります。
[syslog-host]
REGEX = :\d\d\s+(?:\d+\s+|(?:user|daemon|local.?)\.\w+\s+)*\[?(\w[\w\.\-]{2,})\]?\s FORMAT = host::$1
DEST_KEY = MetaData:Host
この正規表現を、⽬的のホスト名 (この例では host1、host2、host3) からのイベントにのみ⼀致するように修正しま す。
REGEX = :\d\d\s+(?:\d+\s+|(?:user|daemon|local.?)\.\w+\s+)*\[?(host1|host2|host3)[\w\.\-]*\]?\s
これらの 3 台のホストからのイベントに my_log
ソースタイプを適⽤する変換内で、この修正した正規表現を使⽤しま
す。[set_sourcetype_my_log_for_some_hosts]
REGEX = :\d\d\s+(?:\d+\s+|(?:user|daemon|local.?)\.\w+\s+)*\[?(host1|host2|host3)[\w\.\-]*\]?\s FORMAT = sourcetype::my_log
DEST_KEY = MetaData:Sourcetype
次にその変換を、特定の⼊⼒を識別する props.conf
のスタンザ内に指定します。
[source::udp:514]
TRANSFORMS-changesourcetype = set_sourcetype_my_log_for_some_hosts