...
トラフィックデータは、通信の内容であるペイロードを含まないKyotoData2016フォーマット[1][2]に準拠した形に整形されております。
ランダム化処理方法
ベンチマークデータは、以下のファイルで構成されます
| ファイル名 | 説明 | 更新 |
|---|---|---|
| KYOTODATA-X_yyyyMMdd.txt | ベンチマークデータ本体。通信の内容であるペイロードを含まないKyotoData2016フォーマット[1][2]に準拠した形に整形し、元データに関連した参加機関側の機器が特定され難いよう、ランダム化したファイルしたファイル。 | 翌日１回のみ |
| DETECTION-SUMMARY-X_yyyyMMdd.txt | 検出サマリファイル。 NII-SOCSの検知システムで検知した警報(PaloaltoのThreat ID/Cisco FirepowerのGID_SID_REV)と括弧書きでセッションごとの検知回数を表記。 | |
| AUDITDATA-SNORT-X_yyyyMMdd.txt | Snort事後検証ファイル。 SnortのGID-SID-REV、および、1セッションで2回以上の検知があった場合はその回数を括弧書きで表記。 | 翌日～50日後まで１週間おき |
| ZERODAY-SNORT-X_yyyyMMdd.txt | Snortゼロデイファイル。 ベンチマーク全体で初めて検知した検知ルール：GID-SID-REV 0 翌日の検査では未検知かつ2または5週目に検知した検知ルール：GID-SID-REV １ 5週目の検査までは未検知かつ6週目以降の検査で検知ルール：GID-SID-REV 2 と表記。(無償版snortでは検知ルールの提供が30日程度遅れることがあるため。) | 該当レコードがあれば更新 |
| ZERODAY_COUNT-SNORT-X_yyyyMMdd.txt | Snort件数ファイル。 ベンチマーク全体で初めて検知した件数(snort_new)、翌日の検査では未検知かつ2または5週目の検査で検知した件数(snort_2_5)、5週目の検査までは未検知かつ6週目以降の検査で検知した件数(snort_6_8)を表記。 | 該当レコードがあれば更新 |
| AUDITDATA-CLAMAV-X_yyyyMMdd.txt | ClamAVの事後検証ファイル。 ClamAVで検知したマルウェアの名称、および、1セッションで2回以上の検知があった場合はその回数を括弧書きで表記。 | 翌日～50日後まで１週間おき |
| ZERODAY-CLAMAV-X_yyyyMMdd.txt | ClamAVゼロデイファイル。 ベンチマーク全体で初めて検知したマルウェア：マルウェア名称 0 翌日の検査では未検知かつ2週目以降に検知したマルウェア：マルウェア名称 １ | 該当レコードがあれば更新 |
| ZERODAY_COUNT-CLAMAV-X_yyyyMMdd.txt | ClamAV件数ファイル。ベンチマーク全体で初めて検知した件数(ClamAV_new)、翌日の検査では未検知かつ2週目以降の検査で検知した件数(ClamAV_2_8)を表記。 | 該当レコードがあれば更新 |
| AUDITDATA-SHELLCODE-X_yyyyMMdd.txt | Shellcode事後検証ファイル。ShellocdeのID、および、1セッションで2回以上の検知があった場合はその回数を括弧書きで表記。 | 翌日１回のみ |
※ X：元データを取得した拠点のコード yyyyMMdd：元データの通信日
更新時系列について
通信データ（KYOTODATA-X_yyyyMMdd.txt）と、その通信を各種検知システムで検証した結果ファイルを１セットとして提供します。
Shellcodeは検知後１回のみ、ClamAVとSnortは、通信日から50日後まで１週間おきに繰り返し検証を行い、検知結果を経過も含めて提供します。
...
ランダム化処理方法
- 毎日、以下の条件でトラフィックデータを抽出(pcapファイルの生成)
- 参加機関のIPアドレス領域から/24(IPv4)または/64(IPv6)のブロックをランダムに複数選択。(IPv4、IPv6ともに10ブロック程度、このセットを7日間使用する。)
- 00時00分00秒から23時00分00秒の間からランダムに30分間の枠を二つ選択。
- 観測対象時刻のトラフィックデータのタイムスタンプを当該日の0時0分0秒から0時29分59秒と12時0分0秒から12時29分59秒に振り直す。
- 送信元IPアドレス/受信先IPアドレスをIPv6形式のランダムなIPアドレス領域に振り直す。
- IPv4は/24、IPv6は/32の範囲内のIPアドレスの連続性を維持する。
- ランダム化処理に使用するseedは定期的に変更する。
- ポート番号についてはwell-known port(1024未満)はそのままとし、それ以外をランダムな値に振り直す。
- ランダム化処理に使用するseedは7日おきに変更する。
更新時系列について
通信データ（KYOTODATA-X_yyyyMMdd.txt）と、その通信を各種検知システムで検証した結果ファイルを１セットとして提供します。
Shellcodeは検知後１回のみ、ClamAVとSnortは、通信日から50日後まで１週間おきに繰り返し検証を行い、検知結果を経過も含めて提供します。
...
アンカー kyoto_data kyoto_data
kyoto_data
| kyoto_data | |
| kyoto_data |
...
KYOTODATA-X_yyyyMMdd.txt
項目の説明
...
| Session ID | 検証結果 |
|---|---|
| 18922621726 | 58483(1) |
| 18922621734 | 1_54794_2(1),58706(1) |
...
アンカー Snort Snort
Snort
| Snort | |
| Snort |
無償版IDSであるsnortを用いた検知結果
アンカー AUDITDATA-SNORT AUDITDATA-SNORT
AUDITDATA-SNORT-X_yyyyMMdd.txt
| AUDITDATA-SNORT | |
| AUDITDATA-SNORT |
...
| snort_new | ベンチマーク全体で初めて検知した件数 |
|---|---|
| snort_2_5 | 翌日の検査では未検知かつ2〜5週目の検査で検知した件数 |
| snort_6_8 | 5週目の検査までは未検知かつ6週目以降の検査で検知した件数 NII-SOCSではsnortの無償版を利用している。 Snortの無償版は、有償版よりルールセットの提供が30日遅れる（→Snort →Snort FAQ →What Snort＞Snort FAQ＞What are the differences in the rule sets? ）ため、6週目で検知できず、7週目以降に検知できた場合は、有償版でも当初は検知できなかったセロデイ攻撃とみなすことができる。 |
...
| 件数 | |
|---|---|
| snort_new | 0 |
| snort_2_5 | 0 |
| snort_6_8 | 0 |
...
アンカー ClamAV ClamAV
ClamAV
| ClamAV | |
| ClamAV |
無償版アンチウィルスであるClamAVを用いた検知結果
アンカー AUDITDATA-CLAMAV AUDITDATA-CLAMAV
AUDITDATA-CLAMAV-X_yyyyMMdd.txt
| AUDITDATA-CLAMAV | |
| AUDITDATA-CLAMAV |
...
アンカー Shellcode Shellcode
Shellcode
| Shellcode | |
| Shellcode |
外部権限取得(remote exploit)プログラム[3]の有無判定の検知結果
AUDITDATA-AUDITDATA-SHELLCODE-X_yyyyMMdd.txt
項目の説明
...
※ 最上位フォルダの名前は該当マルウェアのハッシュ値となっています
...
[1] Jungsuk Song, Hiroki Takakura and Yasuo Okabe, “Cooperation of Intelligent Honeypots to Detect Unknown Malicious Codes,” WOMBAT Workshop on Information Security Threat Data Exchange (WISTDE 2008), Amsterdam, Netherlands, 21-22 April 2008.
[2] 多田竜之介, 小林良太郎, 嶋田創, 高倉弘喜, NIDS評価用データセット： Kyoto 2006 Datasetの作成, 情報処理学会論文誌, Vol.58, No.9, pp.1450-1463, 2017年9月.
[3] 野川裕記, 足立史宜, 辻野泰充, 守屋誠司, 齋藤和典, エクスプロイトコードの中のシェルコード検知 : 構造分析に基づいた検知手法, 電子情報通信学会技術研究報告. IA, インターネットアーキテクチャ 109(85), pp.7-12, 2009年6月.