Satoko Shimazu / Kunihiko Kido
Dec. 14, 2017, Customer Service, VELTRA Corporation
日・英・中、問い合わせ仕分け業務の自
動化と、CS 戦略分析基盤を
Agenda
VELTRA 会社紹介
Global Customer Service について
Auto-Labeling System
テクノロジーで変えるCSの未来
1
2
3
4
WHAT IS VELTRA ?
VELTRA is a global online marketplace where
travelers from all over the world can find and book
18,000+
travel agencies, partners and affiliates
VELTRA
KEY NUMBERS
1,8
00,000
members worldwide126
countries25,000
activities worldwideAgenda
VELTRA 会社紹介
Global Customer Service について
Auto-Labeling System
テクノロジーで変える CS の未来
1
3
4
2
VELTRA Global Customer Service
“To Become a World’s Best
Customer Experience Creating Network”
50+
上海、マニラ、パリ参入。 CS グローバルオペレー ション構築
韓国参入 マニラを CS 最大拠点へ
2017
2018 ...2019
2020
2020年までの Global Customer Service 計画
Global Customer Service の課題
グローバル化に伴って発生した課題
戦略データ不足の
改善について
Kibana活用例①：オペレーション進捗管理
問合せ対応状況が可視化され、社内連携促進＆顧客対応スピード改善
download & Aggregationマニュアル
オペレーション
Kibana を使ってリアルタイムにチームの状況
が把握できるように
● オフィス、エリア、コンサルタント毎の問合せ数を把握 ● 対応問い合わせ優先順位の確認Kibana活用例②:企画サポート
280万件の問合せデータから、目的にあわせて過去の問合せ数や傾向を確認
例：クーポン施策開始時
問合せの傾向把握
クーポン施策 創案 過去のクーポン施策実施時の問合せ数、問合せ傾 向を確認 シフト変更 マニュアル作成の準備 クーポン施策開始 リアルタイムにクーポン 関連問合せを確認 →関連部署と連携２
5
1
3
4
● 具体的な数値でコミュニケーションが円滑に ● リアルタイムに必要なデータを確認可能に ● その他、正確な進捗管理にも役立てている ● 担当者の感覚値に頼ることが多かった ● 開発へ依頼して数ヶ月かかることも ● 必要な数値が得られない 企画サポートのため の情報開始
問合せ分析基盤 Kibana による効果
今まで
導入後
開発へ依頼 分析後企画へフィー ドバック 企画サポートのための情報収集開始 Kibana で確認 分析後企画へフィードバック 数ヶ月かかることも リアルタイム1
2
3
1
グローバルチーム化
における多言語対応
多言語対応オペレーションの課題
日・英・中のメールがひとつのInboxに届き、グローバルオフィスが同時に対応
これは何語？
自動振り分け：担当者の明確化
担当部署
エリア
言語
• Customer Service • Sales • アジア • アメリカ大陸 • ヨーロッパ/アフリカ • パシフィック • 英語 • 日本語 • 中国語（繁体字） • 中国語（簡体字）アジア担当CSが日本
語で対応します！
オフィス拠点、部署単位まで振り分けされ迅速な顧客対応が可能に
問合せラベル例 :
• 参加日が
48
時間以内 • 至急関連ワード •迅速
な処理が必要な案件 • お客様からのコンプレイン
• 催行会社からの事後報告 • Tr（トラベラー）とPtr（パート ナー＝催行会社）の直接の メールコミュニケーション至急件
コンプレイン
モニター案件
自動振り分け：CS効率化UPの各種セカンドラベル
問合せ一覧の中から優先順位をつけやすいように工夫
６時間/日
担当者含む振り分け業務振り分け業務の効率化
自動化対象
→
９０％
全体
５０％
削減
削減３時間/日
自動化対象振り分け業務平均初回応答時間(FRT)
短縮
優先順位の明確化により
５時間
短縮
自動化対象 削減 全体自動振り分け導入による効果（Elasticsearch）
Agenda
VELTRA 会社紹介
Global Customer Service について
Auto-Labeling System
テクノロジーで変える CS の未来
1
4
2
3
Auto-Labeling System
お問合せメッセージの自動振り分けを
Elastic Stack で実現
OVERVIEW
Elastic Stack で実現するCS戦略基盤
問い合わせ自動振り分け
{prediction}
問い合わせ分析基盤
{analysis}
日・英・中の問い合わせメッセージを、トラベルコンサ ルタントがすぐに対応できるように、受信したメッセー ジをリアルタイムに適切なチームへ割り振る仕組み。 過去の問い合わせメッセージから企画サポートや業務 改善のための検索・分析基盤Elastic Stack で実現
Why? Elastic Stack
“使えるデータの整備”
AI や機械学習を検討する場合、まず多くの企業が直面するのは、 この問題ではないでしょうか？まとめると
雑多な情報を予測分類で活用で
きる情報として最適化する
↓↓↓↓↓
使えるデータにする
（システムでね）
システム的な課題
● 増え続ける対応言語（日・英・中、etc） ● ４２分類に振り分けが必要なラベル ● チーム編成などで変わる振り分けルール ● エリアなどでデータ数が極端にことなる ● 未分類も含む約３００万件の過去データ ● メールの件名、本文で予測する必要があるシステム的な課題一覧
私たちが必要だったのは...
宝の山を本当に使えるデータにするには？
高度な自然言語処理
動的な予測モデルの実現
循環するシステム
私たちが必要だったのは … 正確な予測ができるシステム
データを収集して、高度に加工して、利活用できるシステム
Elastic Stack
センテンスやドキュメントを検索 条件としてリクエストして、類似す るドキュメントを検索する仕組み ↓↓↓ 分類済みの情報から分類を予測 したい場合 検索結果群を表す特徴的なター ムをスコアリングして得る仕組み ↓↓↓ 雑多な情報から特徴的な分類を 見つけ出したい場合 ドキュメントをリクエストして、その 条件にあったクエリーを検索する 仕組み ↓↓↓ 検索条件ベースで任意の分類を 予測したい場合
情報分類のためのソリューション
Elasticsearch には情報分類で活用できる仕組みがいくつかあります
Percolator Query
Significant Terms
Aggregation
More Like This Query
ドキュメントが類似していれば、
分類するラベルも同じはず
という考え
システムアーキテクチャー
SYSTEM ARCHITECTURE
Nodes (X) Logstash Elasticsearch Kibana X-pack X-pack Instances (X) Master Nodes (3) Ingest Nodes (X)Data Nodes - Hot (X)
Data Nodes - Warm (X)
Inquiries System API Server Prediction
Learning →
Analytics Elastic Cloud← Prediction
Learning2,800,000+
Relabeling CS Consultant Analytics高度な自然言語処理
増える対応言語、類似度精度の向上に
どのように対応したのか？
〜多言語対応〜
適合率を重視しつつも、言語固有
の設計をしない
ICU Tokenizer を中心に言語処理を設計
多言語対応のポイント
Language
Original
Tokenized
英語 I like Hawaii island
[I] [like] [Hawaii] [island]
日本語 ハワイ島が好き[ハワイ] [島] [が] [好き]
中国語(簡体) 我喜欢夏威夷岛[我] [喜欢] [夏威夷岛]
中国語(繁体) 我喜歡夏威夷島[我] [喜歡] [夏威夷] [島]
韓国語 하와이 섬이 좋아[하와이] [섬이] [좋아]
タイ語 ฉันชอบเกาะฮาวาย[ฉัน] [ชอบ] [เกาะ] [ฮาวาย]
分かち書きしない言語も、意味のある単語でトークナイズできる！
〜類似度精度向上〜
辞書を使わずに複合語を
自動生成
[ハワイ] [島] [が] [好き]
通常のインデックスでは
query: “ハワイ島が好き”
[ハワイ] [島] [が] [好き]doc: “ハワイ島が好き”
[ハワイ] [の] [オアフ] [島] [が] [好き]doc: “ハワイのオアフ島が好き”
適合率が高いのは？
人が読めば違いはわかるけど
機械だとわからない。。
[ハワイ] [ハワイ 島] [島] [島 が] [が] [が 好き] [好き]
複合語を含むインデックスでは
query: “ハワイ島が好き”
[ハワイ] [ハワイ 島] [島] [島 が] [が] [が 好き] [好き]doc: “ハワイ島が好き”
[ハワイ] [ハワイの] [の] [の オアフ] [オアフ] [オ アフ 島] [島] [島 が] [が] [が 好き] [好き]doc: “ハワイのオアフ島が好き”
適合率が高いのは？
誰が見ても
こっち
機械でも違いがわかるようになる！
〜動的な予測モデル〜
Elasticsearch
の高度な検索を使っ
{filter} 件名で使われている単語の ３０％以上がマッチする検索結果群
title: ...
body: ...
from email: ...
to email: ...
動的な予測モデル
絞り込んだメッセージの中から類似文書を探す
全ての過去の
{filter} 過去２年以内に 受信した検索結果群 類似するドキュメント群 予測に使用する 類似ドキュメント群 （検索結果として返却される） New messageおまけ
チューニング
More Like This Query のパラメータだ
けでも１２種類。効率的にチューニング
するには？
サンプリングして重回帰分析の係数に注目して効率的に
重回帰分析
係数に注目してみると、 「min_term_freq の値が１増えるごとに、 約 8.5% 正解率が下がる」 「max_query_terms が１増えると約 0.5% 正解率が上がる」 と言っていることがわかる。 よって、この結果から係数の振り幅が大きな値（影響が大きい）の
パラメータを中心にさらにチューニングし ていく。Elasticsearch
＝
“Data Driven Application Server”
Agenda
VELTRA 会社紹介
Global Customer Service について
テクノロジーで変える CS の未来
Auto-Labeling System
1
4
2
3
VELTRA Customer Service Platform
Modern inquiries
system
Gamification & Intelligence
New VELTRA Inquires System
Support everything
for travelers
New VELTRA Support Service
Eagle
backend services
powered by artificial
intelligence.
Natural language processing Search & Analysis
Machine learning Deep learning
