ソーシャルメディア上の異種データセットを活
用した誘い出しユーザ検知
Cyberlurer Detection Using Heterogeneous Data Sets on Social Media
西口 真央
Mao Nishiguchi東京大学
The University of Tokyo
鳥海 不二夫
Fujio Toriumi（同 上）
[email protected], http://syrinx.q.t.u-tokyo.ac.jp/
keywords: cyber-lurer detection, network embedding, heterogeneous networks
Summary
With the spread of smartphone and social media, cybercrime such as cyber-luring and cyber-bullying is in-creasing. It is important to prevent these crimes by automatically detecting perpetrators of cybercrime. The purpose of this paper is to develop a model to detect the cyber-lurers using heterogeneous social networks. Our approach con-sists of three steps. We first define positive and negative relationship networks between users from various activities in social media. Then we extract potential representations based on both each network structure and labeled informa-tion. The basis of the expression acquisition method is a method called Large-scale Information Network Embedding (LINE). Using these latent representations as input features, we develop a classification model to detect cyber-lurers. As a result of computational experiments, we succeeded in developing a relatively high-performance model with a Macro-F1 value of 0.733. Our work in this paper will be applied to suppress minors’ cybercrime damage.
1.
は じ め
に
近年，ソーシャルネットワーキングサービス（以下， SNSと呼ぶ）の利用者数の増加に伴い，SNSを介した未 成年者の犯罪被害も増加傾向にある．警察庁の調査[警 察庁19]によると，ここ数年でSNSを介した児童買春や 児童ポルノの被害児童数は特に顕著に増加しており，略 取誘拐や強制性交等のような重要犯罪に繋がるケースも 指数的に増加している（図1）．こうした犯罪の多くは， 不特定多数と交流可能なSNSで出会うことがきっかけと なるため，SNS上で誘い出し行動をとるユーザ（以下， 誘い出しユーザと呼ぶ）をいち早く検知することは，未 成年者の犯罪被害リスクの軽減につながる． 誘い出しやネットいじめなどのオンラインリスクを検 知する研究は，これまでにも盛んに行われてきた[Huang 18]．既存研究の多くは，ユーザ同士の会話コーパスや，年 齢性別などのデモグラフィック属性を入力データとしたモ デルの構築を行なっているが[Dadvar 12, Nahar 13]，近 年ではユーザ間の会話の有無から得られるソーシャルネッ トワーク情報を活用する手法も研究されている[Huang 14, F. Toriumi 15, Cardei 17]．しかしながら，近年の主 要なSNSにおけるユーザ同士の繋がりは，会話の他に もフォローや通報，ブロックなど，様々な種類のネット !"# #$% $&& #"" ##' $(' $)" &%' ''# '#( *!" )'! ))$ *"" ')' *)& *!% !($ !#* !$( !)! ') '# *% *" )* #& "& *' '' !) )% )* ** '$ ( !(( &+((( &+!(( '+((( ,') ,'! ,'# ,'$ ,'% ,'" ,*( !"#$%&'( )*+, #$-./01 #$234 #$56 789:;<=>?01 図 1 SNS に起因する罪種別被害児童数の推移 ( [警察庁 19]) ワークが考えられるが，複数のネットワーク構造を活用 した誘い出しユーザ検知に関する研究はあまり行われて いない． 本研究では，SNSの中で構築される複数の種類のソー シャルネットワークを統合的に活用した，汎用的な誘い出 しユーザ検知モデルの開発に取り組む．我々の提案するア プローチは大きく３つのステップに分けることができる． まず，SNS内のユーザ行動の中から，複数のソーシャル ネットワークを定義し，ネットワークデータをそれぞれ作 成する．次に，各ネットワーク構造を同一の低次元ベクト 人工知能学会研究会資料 SIG-KBS-B901-06ル空間に埋め込む．埋め込み手法のベースとしては，大
規模ネットワーク構造に適した分散表現獲得手法の1つ
であるLarge-scale Information Network Embedding (以
下，LINEと呼ぶ) [Tang 15b]を使用し，これを多目的 最適化問題へと拡張することで異種ネットワークの同時 埋め込みを実現させる．ここで，特定の検知タスクによ り特化した埋め込みを実現させるために，前処理として エッジの重みに事前に定義された教師ラベル情報を加え る工夫を行なっている．そして，得られた分散表現を入 力として与えることで，誘い出しユーザか否かを推定す る２クラス分類モデルを構築する．アプローチの詳細は 後述する． 計算実験では，未成年者が多く存在する複数交流形SNS 内に蓄積されたデータを利用し，実際に運営からリスク が高いと判断されたユーザを推定する分類モデルの構築 を行なった．実験の結果，Macro-F1値で0.733と比較的 高性能なモデルの構築に成功した．比較実験の結果，異 種ネットワークを統合的に活用すること，およびエッジ にクラス情報を加えることの有用性が確認された． 次章では関連研究として，オンライン上での誘い出し やいじめの自動検知の先行研究，および分散表現獲得手 法LINEについて紹介する．続く第３章では，本研究で 適用するアプローチを説明する．第４章では計算実験の 設定及び結果について議論する．最後に，本研究で得ら れた知見と今後の課題について述べる．
2.
関 連 研 究
2·1 オンラインリスクの自動検知 本節では，大規模データを利用した誘い出しやネット いじめのようなサイバー犯罪リスクの自動検知に関する 先行研究について議論する． 検知モデルの入力に最も利用されてきたデータセット は，ユーザ同士の会話内容などから抽出されたテキスト コーパスである[Huang 18]．テキストコーパスは，モデ ルに対する強い説明力である一方，Bag of Wordsなどの 単純な特徴だけでは検知性能に限界があることも指摘さ れている[Huang 18]．また，個人間の会話内容は非常に センシティブな情報を含むため，大規模なSNSでは検 知システムに利用できない状況も考えられる．そのため， 近年ではコーパス以外のデータも利用する研究も盛んに 行われている． SNSに蓄積されたコーパス以外のデータセットの中で， 注目されている情報としては性別や年齢などのデモグラ フィック属性や，ユーザ間のつながりを示すソーシャル ネットワークが挙げられる．デモグラフィック属性とソー シャルネットワーク構造の特性を比較すると，前者はSNS によっては取得していないか，入力項目欄はあっても必 須ではないサービスが多い．一方，後者はSNSである以 上必ず取得可能なデータであり，汎用的な検知手法の入 力としてより適していると考える． [Nahar 13]は，過去にサイバー空間上で行われたいじ めの被害者と加害者を一種のソーシャルネットワークと して表現し，次に最も活発なサイバーいじめが行われる リンクを識別する手法を開発した．ユーザ間のソーシャ ルネットワークが，サイバー犯罪の検知に寄与すること は，その他の研究でも示唆されている．[Huang 14]は， テキストコーパスに加え，[Nahar 13]と同様にサイバー 空間におけるいじめの加害者-被害者ネットワークを構築 し，独自に定義したネットワーク構造の分散表現などを モデルの入力として与えることで，予測性能の改善に成 功した．[F. Toriumi 15]では，ユーザ間の会話をエッジ とみなした有向ネットワークを作成し，ネットワーク構 造に基づくクラスタリング分析を行ったところ，誘い出 しを受けるユーザの構造と誘い出す側のユーザとの間に， 構造上の明確な違いがあることを確認した． 以上のように，ソーシャルネットワーク構造がオンラ インリスクの検知に有用であることは先行研究で確認さ れているが，上述の研究で定義されたソーシャルネット ワークは，直接的な会話の有無やフォローフォロワー関 係によって定義されるものに限定されている．しかしな がら，近年のSNSの多くには，ユーザ同士の会話やフォ ロー以外に，コメントやリツイートといった行動が可能 であり，これらの行動からもソーシャル関係は定義可能 である．また，通報やブロックといった行動も，一種の ネガティブなソーシャルネットワークとして捉えること ができる．これらのネットワークがサイバー犯罪検知に 有用な可能性は十分にあるが，取り扱いには注意が必要 である．例えば，フォロー関係になるという行動と，ブ ロック関係になるという行為は，感情の向きが逆であり， 同一のネットワーク上で表現することは難しい．本研究 では，複数のソーシャルネットワーク構造を統合的に利 用するためのフレームワークを提案する．2·2 Large-scale Information Network Embedding
近年のネットワークデータの大規模化に伴い，より低次 元空間でネットワーク構造を表現する手法が盛んに開発 されている．LINEは，大規模ネットワークからの高速か つ正確な分散表現の獲得が可能な手法の1つである[Tang 15b]．LINEには，ノード間の直接的な接続に基づく局所 的な構造を保存するLINE(1st)と，ノードの共有に基づ く大域的な構造を保存するLINE(2nd)の2種類の手法が 提案されている．どちらの手法もエッジの重みを入力可 能であるが，LINE(1st)は基本的に無向ネットワークのみ を対象としているのに対して，LINE(2nd)は有向ネット ワークにも適用可能である．本稿で取り扱うネットワー クは全て重み付き有向ネットワークであるため，今回は LINE(2nd)のみを利用する． LINE(2nd)の学習プロセスを説明する前に，本章で扱 うネットワークを定義する．ノード集合V，および有向
エッジ集合E が与えられたとき，有向ネットワークは G = (V, E)と定義される．各エッジe∈ Eはノードの順 序付きペアe = (u, v)であり，ノード間の接続の強さを 表す重みwuv> 0を持つ．LINE(2nd)の目的は，各ノー ドv∈ V を，ある低次元空間Rdで表現することである． ただし，d≪ |V |である． LINE(2nd)では，あるノードは他のノードの文脈とい う役割が与えられる．そして，文脈にわたり類似の分布 を有するノードは類似していると仮定する．LINE(2nd) は，この仮説を経験的に表現した確率分布p (ˆ ·|vi)と，分 散表現ベクトルの内積により得られる確率分布p (·|vi)と の間の差を最小化するように学習する．LINE(2nd)が解 く目的関数は式(1)で定式化される． O =∑ i∈V λid (ˆp(·|vi), p(·|vi)) (1) ここで，d(·,·)は2つの確率分布間の距離であり，相対 エントロピーによって算出される．λi はネットワーク 内のあるノードiの重要度を表しており，λi= di，di= ∑ k∈N(i)wikである．ここでN (i)はノードviの出次近 傍である． 経験的確率分布は式(2)，分散表現の内積から得られる 確率分布は式(3)で定義される． ˆ p (vj|vi) = wij di (2) p (vj|vi) = exp(⃗u′Tj · ⃗ui ) ∑|V | k=1exp ( ⃗ u′Tk · ⃗ui ) (3) ここで，⃗uはノードの役割の時のviの表現であり，⃗u′iは 特定の文脈として扱われる時のviの分散表現を意味す る．|V |は文脈の数である．
LINEはまた，最適化プロセスにおいて，negative
sam-plingおよびエッジサンプリングにより，高速かつ正確な 表現学習を実現している．最適化手法の詳細は[Tang 15b] を参照されたい．
3.
適 用 手 法
本研究で提案するアプローチは３つのステップで構成 される．1.ネットワーク作成ステップ，2.分散表現学習 ステップ，そして3.分類モデル構築ステップである．以 下ではまず，対象とするソーシャルネットワークの作成 方法について説明する． 今回作成するネットワークは全て有効ネットワークで ある．本研究の目的は誘い出しユーザの検知であるため， 1つのノードは1人のユーザを表し，エッジはノード間 のつながりを意味する．例えばフォロー関係ネットワー クの場合，uがvをフォローしていれば，uからvへエッ ジが接続される． ネットワークの埋め込みは，クラス分類やクラスタリ ングのような機械学習タスクの入力特徴として有用であ るが，教師なし学習によって埋め込まれた分散表現空間 は，特定の分類タスクに必ずしも最適であるとは限らな い[Tang 15a]．そこで本研究では，エッジに教師ラベル 情報を付加することでこの課題を解決することを試みる． グラフGにおけるノードuからvに接続されるエッジ の重みwuvは，頻度fuv，サポートsv，そしてエントロ ピーゲインegvによって以下の式で表される． wuv= fuv× sv× egv (4) fuvは，uとvのリンクの出現頻度を表す任意の値であ る．２値の場合は1となる．サポートは式(5)で表される． sv= cnt(v) |G| (5) ここでcnt(v)は，vへ接続されるユニークノード数を示 し，|G|はGの総ノード件数とする．egvは式(6)によっ て得られる.egv= entv0− (rventv+ r¯ventv¯) (6)
entv=− ∑ c rvclog2rcv (7) ここで，entvはノードvのエントロピーであり式(7)で 定義される．式(7)のcはクラス，rc vはノードvにおけ るクラスcの比率を表し,式(6)のv0は全体のクラス比 率，v¯はv以外のノード集合，rvはvに接続されるノー ドのクラス比率，rv¯はv¯のクラスcの比率を表している. 次に，異種ネットワークからの分散表現学習手法を説明
する．[Tang 15a]で提案されたPredictive Text Embedding
(以下，PTEと呼ぶ)は，LINE (2nd)を文書内に存在す る異種ネットワークに拡張した手法である．PTEでは， (1)の目的関数をネットワークごとに定義し，それらを線 型結合することで新たな目的関数を作成している．本研 究での異種ネットワークの埋め込みアプローチもPTEに 従う． 彼らはまた，文書に紐づく教師ラベルを1つのノード とみなし，単語-教師ラベルネットワークを同時に埋め込 むことで，特定の半教師あり分類タスクに特化した分散 表現の獲得に成功しているが，本研究でこのアプローチ を適用するには注意が必要である．[Tang 15a]で設定さ れた分類タスクでは，教師ラベルは文書に対応しており， 各文書への単語の出現頻度に基づいてネットワークが生 成されている．すなわち，単語と教師ラベルは1対1の 関係ではなく，１つの単語は複数の教師ラベルノードへ の接続を持つ．また，半教師あり学習を想定しているた め，教師ラベルを持つ文書の数は非常に少ないことを前 提としている．これらの工夫および前提が，訓練データ への過学習を抑えることにつながっていると考えられる が，本研究ではノードであるユーザと教師ラベルは1対 1の関係であり，かつ全てのノードに教師ラベルが付与さ れる一般的な教師あり学習であるため，極端に訓練デー タに特化した分散表現となり，未知のデータに対して当 てはまりが悪くなることが予想される．この仮説は，比 較実験を通して検証する．
4.
計 算
実 験
4·1 デ ー タ セット 本研究では，株式会社ナナメウエ∗1が運営している「ひ ま部」∗2という複数交流形SNSにおいて蓄積されたデー タを使用する．ひま部は，メインターゲットを学生とした SNSであり，本研究のテーマに適したデータセットを保 有している．ひま部では，ユーザ自身が行うリスク対策 として，特定のユーザをブロックする機能や，ユーザや 投稿などを運営に通報することが可能となっている．ま た，誘い出しや児童ポルノといった被害につながる危険 性があると運営が判断した場合，該当アカウントのサー ビス利用を一定期間または永久に停止するといった対策 も行なっている．本研究では，アカウントが停止された ユーザを誘い出しユーザと定義する． 4·2 ネットワークの定義 上述のように，本研究では複数のネットワークを利用 して分散表現を獲得する．理論上は，入力するネットワー クの数に制限はないが，今回は簡単のため，ユーザ間の 友好的な関係を表すポジティブネットワークと，敵対的 な関係を表すネガティブネットワークの2種類のネット ワークを作成した． ポジティブネットワークは以下の3つのネットワーク を結合して作成される． •フォロー申請： お気に入りのユーザを登録する行動． フォローを行うことにより，フォローしたユーザの 投稿閲覧やチャットが容易になる．フォロー申請し たユーザから申請されたユーザに向かって有向エッ ジが接続される． •個別チャット：1対1でのメッセージの送受信履歴． メッセージを送信したユーザから受信したユーザに 向かって有向エッジが貼られる． •リアクション：他ユーザの特定の投稿に対し，絵文 字によりポジティブな感情を示す行動．リアクショ ンしたユーザから投稿元ユーザへ向かって有向エッ ジが接続される． 一方のネガティブネットワークは以下の3つのネット ワークを結合したものである． •フォロー保留： フォローの申請があったにも関わら ず，フォローを許可しない行動．これをネガティブ な意思表示と捉え，フォローとは別のネットワーク として定義する．フォロー保留されたユーザから保 留したユーザに向かってエッジが接続される． •ブロック：特定のユーザからの個人チャットの受信や 検索結果への表示を制限する行動．ネガティブな感 情を表すネットワークである．ブロックされたユー ザからブロックしたユーザに対して有向エッジが接 ∗1 https://nanameue.jp/ja ∗2 https://himabu.com/ 続される． •通報： 特定のユーザを，不適切なユーザであると運 営に報告する行動．直接的な交流ではないが，ネガ ティブな感情を表すネットワークを作成可能である． 通報されたユーザから通報したユーザに対して有向 エッジが接続される． 上記6つのネットワークの頻度fは全て2値であり，結 合後の2つのネットワークも2値として設定した． 4·3 設定した分類問題 実験に使用した期間は，2018年9月1日から2018年 10月31日までの2ヶ月間である．対象ユーザは2018年 3月1日以降にアカウント登録したユーザのうち，10月 1日から10月31日の間に初めてアカウント停止となっ たユーザをLurerクラス，それ以外のユーザのうち，10 月31日までに１度もアカウント停止をされていないユー ザをNormalクラスと定義した．なお，次数の少ないノー ドの分散表現を学習することは，LINE(2nd)に限らず一 般的に困難である．したがって本稿では，対象ユーザを 両方のネットワークで出次数が3件以上のユーザのみに 絞っている．各ネットワークの基本的な統計量を表 表1 に示す． 表 1 各ネットワークの統計量 項目 ポジティブ ネガティブ 総ノード数 5,933 6,295 ソースノード数 1,123 1,365 ターゲットノード数 4,937 4,937 エッジ数 19,198 22,639 平均出次数 3.9 4.6 平均入次数 17.1 16.6 4·4 評 価 方 法分類アルゴリズムにはRandom Forest [Liaw 02]を使
用する．モデルの評価には10分割交差検証法を利用し， Macro-F1値および各クラスのF1値により評価する．ま た，提案手法の適用に加え，比較手法として以下のアプ ローチによるモデル構築も行なった． • w = f：エッジの重みの算出に式(4)を用いず，全て 1に設定する．その他は提案手法と同じ，すなわち， 教師ラベル情報を用いずに埋め込みを行う．
• Gclassあり：[Tang 15a]と同様に，エッジの重みを
全て1に設定した教師ラベルネットワークを作成し て，PTEの手順で分散表現の獲得を行う． • Gnegのみ，またはGposのみ：単一のネットワーク のみを利用して検知モデルの構築を行う． § 1 事前パラメータ LINE(2nd)では，分散表現の次元数は10から50を10 刻みで実行し，交差検証法により最も評価値が高い次元
数とする．negative sampling数は両ネットワーク共に5
に設定した．
Random Forestの分岐ルールにはGini係数を使用す
る．決定木の数，深さ，そして各葉ノードが分岐を行う ための最小インスタンス数はそれぞれ，1から5，1から 10，2から20を探索範囲とし，こちらも交差検証法にお いて最も評価値の高いパラメータの結果を記載する．ま た，今回は不均衡データであるため，クラス比に応じて インスタンスの重みを調整している． 4·5 実 験 結 果 以上の設定により，計算実験を行った結果を図 表2に 示す． 実験の結果から，提案手法がMacro-F1値およ 表 2 評価値
手法 Macro-F1 F 1Lurer F 1N ormal
提案手法 0.715 0.476 0.953 w = f 0.631 0.337 0.925 Gclassあり 0.676 0.411 0.349 Gposのみ 0.571 0.226 0.916 Gnegのみ 0.711 0.466 0.956 び，ターゲットクラス側であるLurerクラスのF1値に おいて最も良い結果を得ていることが分かる．結果を順 に見ていくと，w = fモデルの結果は比較的低いことか ら，エッジの重みの補正には大きな効果があると考えら れる．Gclassありモデルは，w = fに比べると良い結果 ではあるが，3つ全ての指標で提案手法に大きく劣ってい る．Gclassありモデルの訓練データにおける指標を確認 したところ，全ての指標が1となっており，仮説の通り 過学習を起こしていることも確認された．本研究で扱っ たデータと問題設定においては，提案手法のアプローチ の方が適していることが明らかとなった． 各ネットワーク単体での評価を確認すると，提案手法 よりは若干劣るものの，Gnegの方が検知性能に大きく 貢献していることが分かる．これは直感的にも正しい結 果であると考えられるが，提案手法の方が2つの指標で 上回っていることから，異種ネットワークの統合による 効果も確認された．今後は，Gnegと補完的な関係にある ネットワークを結合することで，さらなる性能の向上を 目指していく．
5.
ま
と
め
本研究では，異種ソーシャルネットワークデータを統 合的に活用して，誘い出しユーザ検知モデルの開発を行っ た．本研究では，エッジの重みに教師ラベル情報を組み 込み，LINEの分散表現学習の目的関数を多目的最適解に 拡張することで，検知タスクに効果的な異種ソーシャル ネットワークの分散表現の獲得に成功した．今後は，他 のソーシャルネットワークの追加や，入力データの前処 理を行うことで，さらなる予測精度の向上に努める．ま た，実サービスへの実装を通じて，未成年者のオンライ ンリスクの抑制に貢献する． 謝 辞 本研究は，JST-RISTEX「未成年者のネットリスクを 軽減する社会システムの構築」プロジェクトの助成を受 けた研究である．また，貴重なデータをご提供いただい た株式会社ナナメウエの皆様に感謝申し上げます．♢
参 考
文 献
♢
[Cardei 17] Cardei, C. and Rebedea, T.: Detecting sexual predators
in chats using behavioral features and imbalanced learning, Natural
Language Engineering, Vol. 23, No. 4, pp. 589–616 (2017)
[Dadvar 12] Dadvar, M., Jong, d. F., Ordelman, R., and
Tri-eschnigg, D.: Improved cyberbullying detection using gender infor-mation, in Proceedings of the Twelfth Dutch-Belgian Information
Re-trieval Workshop (DIR 2012)University of Ghent (2012)
[F. Toriumi 15] F. Toriumi, M. T., T. Nakanishi and Eguchi, K.:
Anal-ysis of User Behavior on Private Chat System, in 2015 IEEE / WIC
/ ACM International Conference on Web Intelligence and Intelligent Agent Technology, pp. 1–4 (2015)
[Huang 14] Huang, V. K. S., Qianjia and Atrey, P. K.: Cyber Bullying
Detection Using Social and Textual Analysis, in Proceedings of the
3rd International Workshop on Socially-Aware Multimedia, pp. 3–6,
New York, USA (2014), ACM
[Huang 18] Huang, V. K. S., Qianjia and Atrey, P. K.: On
cyberbul-lying incidents and undercyberbul-lying online social relationships, Journal of
Computational Social Science, Vol. 1, No. 2, pp. 241–260 (2018)
[Liaw 02] Liaw, A., Wiener, M., et al.: Classification and regression
by randomForest, R news, Vol. 2, No. 3, pp. 18–22 (2002)
[Nahar 13] Nahar, V., Li, X., and Pang, C.: An effective approach
for cyberbullying detection, Communications in Information Science
and Management Engineering, Vol. 3, No. 5, p. 238 (2013)
[Tang 15a] Tang, J., Qu, M., and Mei, Q.: PTE: Predictive Text
Em-bedding through Large-scale Heterogeneous Text Networks, in
Pro-ceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1165–1174ACM (2015)
[Tang 15b] Tang, J., Qu, M., Wang, M., Zhang, M., Yan, J., and
Mei, Q.: LINE: Large-scale Information Network Embedding., in
WWWACM (2015)
[警察庁 19] 警 察 庁 生 活 安 全 局：平 成 30 年 に お け
る 少 年 非 行 ，児 童 虐 待 及 び 子 供 の 性 被 害 の 状 況,
https://www.npa.go.jp/safetylife/syonen/hikou gyakutai sakusyu/H30.pdf, p. 20 (2019)
