勉強会資料 Google Developer Group 京都 ajnk2 QueryAndIndex

(1)

Google App Engine:

Datastore ^{を理解しよう 2}

@bufferings 2010/05/28

#appengine ja night in kansai 2 ( #ajnk2 )

(2)

京都 GTUG とは ?

正式名称

「Kyoto Google Technology User Group」

Kyoto GTUG 目的

純粋・シンプルにGoogleのテクノロジーを理解・習得するための活動をする。

（これは、世界中のGTUG共通の目的）

*漢字表記の「京都GTUG」は国内のみの利用でお願いします。

(3)

#appengine ja night in kansai 2 ( #ajnk2 ) 3

Google Technology User Group

● 現在、全世界で 51 ヶ国 100 を超える地域でローカルな GTUG が設立されています。

http://www.gtugs.org/directory

● 各地域で、 Google のテクノロジーに興味のある方々が組織を立ち上げています。

● 将来的には、地域を越えたイベントもやりたいよね！という話が、マネージャの ML でやりとりされています。

● 京都 GTUG は Pulse 世界 1 位です！ http://www.gtugs.org/pulse.jsp

(4)

京都 GTUG へ！

● まだ、参加してない方はぜひ参加して下さいね！

● _{京都 GTUG}

http://kyoto-gtug.org/

● 京都 GTUG (Google Group) http://group.kyoto-gtug.org/

(5)

後援：京都リサーチパーク株式会社

● 京都リサーチパーク株式会社 http://www.krp.co.jp/

● この会場は、京都リサーチパーク株式会社の後援

により提供していただいております。

(6)

#appengine ja night in kansai 2

( #ajnk2 )

関西のみんなで GoogleAppEngine(Java/Python) についての実践的なノウハウを共有していきましょう！

(7)

自己紹介

@bufferings

● Slim3 サイトの日本語化

http://sites.google.com/site/slim3documentja/

● Kotori Web JUnit Runner(ktrwjr ことーじゃ ) http://code.google.com/p/ktrwjr/

(8)

前回のおさらい

(9)

Datastore

(10)

Bigtable

(11)

Bigtable

Row name Row data

A distributed, shareded, sorted Array

(12)

Entity

(13)

Entity

(14)

Entities Table

(15)

Entities Table

Path

(16)

Entities Table

(17)

Entities Table

Protocol Buffers

●Bigtable や Google Wave で実運用されているオープンソースのシリアライザー

http://code.google.com/p/protobuf/

(18)

Entities Table

(19)

Entities Table > 例

※ この図は概念図です。実際の実装を表すものではありません。

(20)

Entity Group

(21)

Kind とスキーマ

(22)

ソフトスキーマ

(23)

Null 値と Unset

(24)

Query & Index Tables

● Bigtable からのデータ取得

● Datastore からのデータ取得

● _Query

● Query と Index

● _{Merge Join}

● _色々

● Query と MVP

(25)

Read

(26)

Prefix Scan

(27)

Range Scan

(28)

Query & Index Tables

● Bigtable からのデータ取得

● Datastore からのデータ取得

● _Query

● Query と Index

● _{Merge Join}

● _色々

● Query と MVP

(29)

Get

(30)

Get

● Key = MyApp/Person(1)/Person(10)

(31)

（参考） Batch Get

(32)

Query

(33)

Query

(34)

Query

(35)

Index

● 使用する全ての Query に対して Index が必要

● 問い合わせ時の計算・集約・ Join はできない

● プロパティの一部を返すことはできない ( キーだけを返すことは可能 )

● Entity を更新したら関係する Index が更新される

(36)

Query & Index Tables

● _Query

● Query と Index

● _{Merge Join}

● _色々

● Query と MVP

(37)

Query の構成

● _{Kind を指定}

● 0 個以上のフィルタを指定

=, <=, <, >, >=, !=, IN

● 0 個以上のソート順を指定 ASC, DESC

※Kind を指定しない Kindless Query という特別な種類の Query もあります

(38)

Query と Kind

● Query は単一の Kind の Entity だけを取得

→これが Kind の主な目的

(39)

制約

● あるプロパティをフィルタまたはソートするには、そのプロパティが存在する必要がある

● 不等式フィルタが使用できるのは 1 つのプロパティに限られる

● 不等式フィルタで使用されているプロパティは他のソート順よりも先にソートする必要がある

(40)

制約

Query の仕組みを知ることで

制約の理由がわかります。

→ 今日の目標

(41)

制約

(42)

Query & Index Tables

● _Query

● Query と Index

● _{Merge Join}

● _色々

● Query と MVP

(43)

Index Tables

● 自動で作成される Index

● _{Kind Index}

● Single Property Index

● 定義が必要な Index

● Custom Index

(44)

Kind Index

(45)

Kind Index

● 特定の Kind の全 Entity を取得

(46)

Kind Index

● 特定の Kind の全 Entity を取得

● [Kind] Food

(47)

Single Property Index

● _ASC

(48)

Single Property Index

● _DESC

(49)

Single Property Index

● 1 つのプロパティに対する Filter

● 1 つのプロパティに対する Sort

● 1 つのプロパティに対する Filter と Sort

(50)

Single Property Index

● [Filter] name = "Suzuki"

(51)

Single Property Index

● [Filter] name > "B" and name < "T"

(52)

Single Property Index

● 1 つのプロパティに対する Sort

● [Sort] name DESC

(53)

Single Property Index

● 1 つのプロパティに対する Filter と Sort

● [Filter] name > "B" and name < "T"

● [Sort] name ASC

(54)

Custom Index

(55)

Custom Index

● 2 つ以上のプロパティに対する Sort

● 2 つ以上のプロパティに対する Filter

● Ancestor と Filter または Sort

● _{Key の降順ソート}

※ Merge Join （後述）で可能な Query もあります。

(56)

Custom Index

● Custom Index の定義

(57)

Custom Index

● 2 つ以上のプロパティに対する Sort

● [Sort] height ASC, weight DESC

(58)

Custom Index

● [Filter] lastname = "Suzuki" and firstname = "Jiro"

(59)

Custom Index

● [Filter] lastname = "Suzuki" and

firstname >= "B" and firstname < "T"

(60)

Custom Index

● [Filter] height = "170"

(61)

Custom Index

● 不等式フィルタ使用時の 3 つのルール

● _その１

1 つの不等式フィルタと複数の等式フィルタがある場合は、まず等式フィルタのプロパティでソートされ、次に不等式フィルタのプロパティでソートされなければならない

(62)

Custom Index

● [Filter] height >= 165 and weight = 70

(63)

Custom Index

● _{その 2}

1 つの不等式フィルタと複数のソート順がある場合は、まず不等式フィルタのプロパティでソートされ、次にその他のプロパティでソートされなければならない

(64)

Custom Index

● [Filter] weight > 60

(65)

Custom Index

● _{その 3}

不等式フィルタは１つのプロパティにしか適用できない

(66)

Custom Index

● [Filter] height >= 170 and weight >= 70

(67)

Custom Index

● [Filter] height >= 170 and weight >= 70

(68)

Custom Index

● Ancestor と Filter または Sort

● Ancestor Query は後述

(69)

Custom Index

● Key の降順 Sort には Custom Index が必要

(70)

ここまでのまとめ

● 自動で作成される Index

● _{Kind Index}

– 特定の Kind の全 Entity を取得

● Single Property Index

– 1 つのプロパティに対する Filter

– 1 つのプロパティに対する Sort

– 1 つのプロパティに対する Filter と Sort

(71)

ここまでのまとめ

● 定義が必要な Index

● Custom Index

– 2 つ以上のプロパティに対する Sort

– 2 つ以上のプロパティに対する Filter

– Ancestor と Filter または Sort

– _{キーの降順 Sort}

(72)

Query & Index Tables

● _Query

● Query と Index

● _{Merge Join}

● _色々

● Query と MVP

(73)

Merge Join

● 複数のプロパティに対して等式フィルタのみを適用する場合は、 Custom Index を使用せずに Query を実行することができる

● _条件

● [Filter] 等式フィルタのみ

● _{[Sort] なし}

(74)

Merge Join

● 複数の Single Property Index をマージしながら検索⇒ "Merge Join"

● Key がソートされていることを利用して "zig-zag" アルゴリズムを使用

(75)

Merge Join

● [Filter] a=1 and b=2 and c=3

(76)

Merge Join

(77)

Merge Join

(78)

Merge Join

(79)

Merge Join

(80)

Merge Join

(81)

Merge Join

(82)

Merge Join

(83)

Merge Join

(84)

Merge Join

(85)

Merge Join

● データ量が増えてくると Merge Join では処理しきれなくなる

⇒「 Custom Index が必要」というエラーになる

● Custom Index が定義されている場合は Merge Join せずに Custom Index が使用される

(86)

Query & Index Tables

● _Query

● Query と Index

● _{Merge Join}

● _色々

● Query と MVP

(87)

色々

● Keys Only Query

● Queries on Key

● Kindless Queries

● Not-Equal と IN フィルタ

● Unset and Nonindexed Properties

● Sort Orders and Value Types

● Ancestor Query

● _制約

(88)

Keys Only Query

● Entity 全体ではなく、キーだけを返す Query

● Datastore Data Received from API quota

● Datastore CPU Time quota

● などを減らすことができる（特に Entity が大きな場合）

(89)

色々

● Keys Only Query

● Queries on Key

● Ancestor Query

● _制約

(90)

Queries on Key

● キーに対してフィルタを指定することも可能

● 等式フィルタを使用するなら Query ではなく Get を使用すればいい

● なので、通常は不等式フィルタを使用する

● キーの降順ソートには Custom Index が必要

(91)

色々

● Keys Only Query

● Queries on Key

● Kindless Queries

● Ancestor Query

● _制約

(92)

Kindless Queries

● Kind を指定しない Query

● プロパティに対するフィルタやソートは指定できない

● Ancestor と Key フィルタのみ指定可能

※Java 版では Kindless Query には Key フィルタも使用できない

(93)

色々

● Keys Only Query

● Queries on Key

● Not-Equal と IN フィルタ

● Ancestor Query

● _制約

(94)

Not-Equal と IN フィルタ

● データストア側でサポートされているのではなく DatastoreAPI 側でサポートされている

● 複数の Query を実行してその結果をマージしている

(95)

Not-Equal フィルタ

● prop < value と prop > value の結果をマージ

● Not-Equal(!=) は実際は不等式フィルタを実行するので、不等式フィルタと同じ制約がある

(96)

IN フィルタ

● IN は複数の等式フィルタをマージ

● 複数の IN を持つことは可能

● IN(4 コ ) and IN(3 コ ) だと 12 コの Query を走らせることになる

(97)

Not-Equal と IN フィルタ

● Not-Equal も IN も複数の Query を実行するので普通の Query よりも遅い

● 使う前にパフォーマンスを見ておいたほうがいい

(98)

色々

● Keys Only Query

● Queries on Key

● Unset and Nonindexed Properties

● Ancestor Query

(99)

Unset and Nonindexed Properties

● プロパティが設定されていない場合、その Entity は、そのプロパティに対するフィルタやソートの結果には含まれない

注： null が設定されている状態とプロパティが設定されていない状態は異なることに注意

(100)

Unset and Nonindexed Properties

● プロパティが Text 型または Blob 型の場合は Index は作成されない

● プロパティが Unindexed 指定されている場合は Index は作成されない

● Index が作成されない場合は、そのプロパティに対するフィルタやソートの結果には含まれない

(101)

色々

● Keys Only Query

● Queries on Key

● Sort Orders and Value Types

● Ancestor Query

● _制約

(102)

Sort Orders and Value Types

● プロパティのソート順は型によって決まっている

● _{整数型⇒数値}

● 文字列型⇒ Unicode

(103)

Sort Orders and Value Types

● ただし、 Entity はソフトスキーマであり同じプロパティに異なる型のデータを持つことができる

● Entity1: propA = 123

● Entity2: propA = " 田中 "

(104)

Sort Orders and Value Types

● 同じプロパティに異なる型のデータがある場合

GAE は、まず型でソートして、次にその型の中の値でソートする。

● 例えば整数型は文字列型よりも先になる

● Entity3: propA = "10"

(105)

Sort Orders and Value Types

● 注意点：整数型は浮動小数型よりも先になる

● Entity3: propA = 10.5

● Entity4: propA = 15.5

(106)

色々

● Keys Only Query

● Queries on Key

● Ancestor Query

(107)

Ancestor Query

● EntityGroup の祖先を指定して Entity を取得する Query

● Kindless Ancestor Query

– _{Kind 指定なし}

– Key フィルタのみ使用可能 (Java は不可 )

● Ancestor Query

– _{Kind 指定あり}

– プロパティフィルタ、ソート順を指定可能 ( 要 Custom Index)

(108)

Ancestor Query

● Kindless Ancestor Query

⇒ おそらく Entities Table

● Ancestor Query

⇒ おそらく Kind Index

● プロパティフィルタ、ソート順を指定

⇒Custom Index

(109)

Kindless Ancestor Query

● [Ancestor] Person(1)/Person(10)

(110)

Ancestor Query

● [Kind] Food [Ancestor] User1

(111)

Ancestor Query

● [Kind] Person [Ancestor] Foo1

● [Filter] height >= 170 [Sort] height ASC

(112)

Ancestor Query

● ルートまでに複数の祖先 Entity が存在する場

合、 Custom Index の Ancestor の部分は各 Entity に展開される

(113)

色々

● Keys Only Query

● Queries on Key

● Ancestor Query

● _制約

(114)

制約

(115)

Query & Index Tables

● _Query

● Query と Index

● _{Merge Join}

● _色々

● Query と MVP

(116)

MVP と等式フィルタ

● Entity1(Key1)

● favorite=["apple", "google"]

● Entity2(Key2)

● favorite=["google"]

● Entity3(Key3)

● favorite=["orange"]

(117)

MVP と等式フィルタ

(118)

MVP と等式フィルタ

● [Filter] favorite="google"

(119)

MVP と等式フィルタ

● リスト内のいずれかの値が等式フィルタに一致すれば取得される

(120)

MVP と等式フィルタ

● [Filter] favorite="google" and favorite="apple"

● Merge Join によって Entity1 が取得される

(121)

MVP と不等式フィルタ

● Entity1(Key1)

● val=[1, 3, 5]

● Entity2(Key2)

● val=[2, 3, 4]

(122)

MVP と不等式フィルタ

● Entity1(Key1)

● val=[1, 3, 5]

● Entity2(Key2)

● val=[2, 3, 4]

(123)

MVP と不等式フィルタ

● [Filter] val >= 3

● 最初にマッチしたものが採用される

(124)

MVP とソート順

● Entity1(Key1)

● val=[1, 3, 5]

● Entity2(Key2)

● val=[2, 3, 4]

(125)

MVP とソート順

(126)

MVP とソート順

● ASC でも DESC でも Entity1,Entity2 の順になる

(127)

インデックス爆発

● MVP に対するフィルタを複数持つ Custom Index を作成した場合

● _Entity1

● val1: 要素数 10

● Custom Index

● [Sort] val1 ASC, val2 ASC

⇒Entity1 の Index は 100 行になる

(128)

インデックス爆発

● 1Entity に対するインデックス数は 5000 まで

● _Entity2

● _Query

● [Filter] val1=x and val2=y and val3=z

(129)

インデックス爆発

● Ancestor Query の Custom Index

● Ancestor は展開される

● 深い EG を形成している場合に MVP との組み合わせでインデックス爆発になりやすい

(130)

Next gen queries

● Merge Join と Multi Query(Custom Index を使用するもの ) の実装がパワーアップするらしい

http://code.google.com/events/io/2010/sessions /next-gen-queries-appengine.html

(131)

参考

● Programming Google App Engine

http://www.amazon.co.jp/o/ASIN/059652272X

● Under the Covers of the Google App Engine Datastore

http://sites.google.com/site/io/under-the-covers-of-the-google-app-engine-datastore

スライドは

http://snarfed.org/space/datastore_talk.html

● @kazunori_279 さんの「 GAE/J ってどう使う？」

http://d.hatena.ne.jp/kazunori_279/20090617/1245224939

● @ashigeru さんの「レンジスキャンのアレ」

http://gist.github.com/294650

● Cacoo ( カクー )

http://cacoo.com/

(132)

ありがとうございました

勉強会 資料 Google Developer Group 京都 ajnk2 QueryAndIndex

Google App Engine:

Datastore を理解しよう 2

京都 GTUG とは ?

Google Technology User Group

京都 GTUG へ！

後援：京都リサーチパーク株式会社

#appengine ja night in kansai 2

( #ajnk2 )

自己紹介

前回のおさらい

Datastore

Bigtable

Bigtable

Entity

Entity

Entities Table

Entities Table

Entities Table

Entities Table

Entities Table

Entities Table > 例

Entity Group

Kind とスキーマ

ソフトスキーマ

Null 値と Unset

Query & Index Tables

Read

Prefix Scan

Range Scan

Query & Index Tables

Get

Get

（参考） Batch Get

Query

Query

Query

Index

Query & Index Tables

Query の構成

Query と Kind

制約

制約

Query の仕組みを知ることで

制約の理由がわかります。

→ 今日の目標

制約

Query & Index Tables

Index Tables

Kind Index

Kind Index

Kind Index

Single Property Index

Single Property Index

Single Property Index

Single Property Index

Single Property Index

Single Property Index

Single Property Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

Custom Index

ここまでのまとめ

ここまでのまとめ

Query & Index Tables

Merge Join

Merge Join

勉強会資料 Google Developer Group 京都 ajnk2 QueryAndIndex

Datastore ^{を理解しよう 2}