形式言語の理論

(1)

形式言語の理論

5.

文脈依存言語

(2)

Chomsky

階層の４言語族



句構造



文脈依存言語



文脈自由言語



正規言語句構造とは，

(1) N, 

は

N  = 

なる空でない有限集合．

(2) P

は

  

の形をした記号列の有限集合

ただし，

  N 

で，

 ,   (N   )*

かつ



_{は少なくとも１個の}

N

の要素を含む．

(3)

5.1.

文脈依存文法とその標準形



文脈依存文法



定理

5.1

文脈依存文法　⇔　単調文法



補題

5.2

単調文法の次数は下げられる



補題

5.3

任意の単調文法は次数２の単調文法に変形できる



定理

5.4

任意の文脈依存文法は線形有界文法に変形できる

(4)

文脈依存文法



句構造文法

G = (N,  , P, S )

のすべての生成規則が

^ ^A ^ ^ ^ ^ ^ ⁽ ^ ^, ^ ^{,   (N } ^ **)*,   , AN )**

の形をしているとき，

G

は文脈依存文法とよばれる

．



文脈依存文法（

context-sensitive grammar: CSG

）は，



を生成しないことに注意．



例

5.1 L = {a

ⁿ

b

ⁿ

c

ⁿ

| n  1}

を生成する

CSG

．

S  a S B C a B  a b

S  a B C b B  b b

C B  A B b C  b c

(5)

単調文法



句構造文法

G = (N,  , P, S )

が単調であるとは，

G

のすべての生成規則

    P

が

|  |  |  |

を満たすことをいう．



単調文法と文脈依存文法は表現力が同等である．



例

5.1

のは単調文法である．

(6)

定理

5.1

　^（文脈依存文法⇔単調文法）



任意の言語

L   *

に対して，

L

が文脈依存言語であるための必要十分条件は，

L

が単調文法で生成されることである．

［証明］



文脈依存文法は単調文法なので，必要性は明らか．



任意の単調文法に対して，等価な文脈依存文法が存在することを示せばよい．

(7)

補題

5.2

　^（単調文法の次数は下げられる）



任意の次数

n (n  3)

の単調文法

G

に対して，

G

と等価な次数

n1

の単調文法

G 

_{が存在する．}

まず，任意の単調文法

G

に対して，

G

と等価な単調文法

G = (N,  , P, S )

で，すべての生成規則が　

A  a (a   , AN )

もしくは

 ^ 

(  ,   N

⁺

)

の形をしているものが存在することに注意．

次数：生成規則のうちの右辺の最大長

(8)

補題

5.2

の証明

 A  a

の形をしていない生成規則には非終端記号しか現れないと考えて良い．

   

を

G

の生成規則とする．

|  |  2

の場合はそのまま．それ以外の場合には，

 = A  ,  = BCD  (A, B, C, D  N,  ,  ** N*)**

とおける

 = 

の場合

A  A

₁

A

₂

A

₁

 B C A

₂

 D 

   (  = E   )

の場合

A E  A  E 

A   B

E     C D 

(9)

補題

5.3 （

任意の単調文法は次数２の単調文法に変形できる）



任意の単調文法

G

に対して，

G

と等価な次数

2

の単調文法が存在する．

［証明］

　補題

5.2

を繰り返して得られる

G

が補題

5.3

を満たすのは明らか．

(10)

定理

5.1

の証明



補題

5.3

より，

G

は次数

2

の単調文法としてよい．

A B  C D (A  C

かつ

B  D)

の形をした生成規則を次のように置き換えて新たな単調文法

G 

_とする．

A B  A B A B  A D A D  C D

 G 

は文脈依存文法であり，かつ

G

と等価．

(11)

例

5.2



単調文法

G = ({S, B, C}, {a, b, c}, P, S) S  a S B C

S  a B C C B  B C a B  a b b B  b b b C  b c c C  c c



例

5.1

の文脈依存文法はこの生成規則の

C B  B C

を書き換えたものである．

(12)

線形有界（黒田標準形）



文脈依存文法

G = (N,  , P, S )

が線形有界であるとは，

P

中のすべての生成規則が次のいずれかの形をしていることをいう．

ただし，

A, B, C, D  N   {S}

である．

^{S  S A} S  A

A  B A B  C D

単調文法と同一視していることに注意単調文法と同一視していることに注意

(13)

定理

5.4 （

任意の文脈依存文法は線形有界文法に変形できる）



任意の文脈依存文法

G

に対し，

G

と等価な線形有界文法

G 

_{が存在する．}



線形有界文法の性質



線形有界文法においては，

S  S A

の形以外の生成規則は導出される記号列の長さを変えない．



開始記号

S

を右辺にもつ生成規則は，

S  S A

に限られる．



任意の線形有界文法

G = (N,  , P, S )

と任意の

 ,   (N   )*

に対して，

S 

G

 S 

_ならば，

 = 

かつ

  (N   {S})*

である．

*

(14)

5.2

線形有界オートマトン



補題

5.6

文脈依存言語 ⇒ 線形有界オートマトン



補題

5.7

線形有界オートマトン ⇒ 文脈依存言語



定理

5.8

文脈依存言語 ⇔ 線形有界オートマトン

(15)



1

テープ非決定性

Turing

機械

M = (Q,  ,  ,  , q

0

, F) (1) {¢, $}   ,

(2)

任意の

p, q  Q

に対し，

(q, a, X)   (p, ¢)

ならば，

a = ¢

かつ

X = R

，

(3)

任意の

p, q  Q

に対し，

(q, a, X)   (p, $)

ならば，

a = $

かつ

X = L

．

¢ w $

有限制御部有限制御部

(16)

補題

5.6

（文脈依存言語 ⇒ 線形有界オートマトン）



任意の文脈依存言語

L   *

に対して，

L

を受理する線形有界オートマトンが存証明の手順在する．

 L(G) = L

となる

G

をとる．



この

G

に基づき，（天下り的に）線形有界オートマトン

M = (Q,  ,  ,  , q

₀

, {q

_f

})

を次のようにつくる．

Q = {q

₀

, q

_f

, s

₀

, s

₁

, r

₀

, r

₁

, r

₂

}{s

_A

| ABCDP }   =  {¢, $}

 = N   

(17)

証明

¢ w $

q ₀

s ₁

r ₁

q _f r ₀

r ₂ s ₀

s _A

¢ / ¢,R

a / a,R

$ / $,L

A / A,{L,R} ¢ / ¢,R $ / $,L B / A,R C / A,R

D / B,R

S / S ,L ¢ / ¢,R S / ¢,R A / S,R

$ / $,L

(18)

補題

5.7

（線形有界オートマトン ⇒ 文脈依存言語）



任意の線形有界オートマトン

M = (Q,  ,  ,

 , q ₀ , F)

に対して，

L(M) {}

は文脈依存言語である．

証明の手順

 M

に基づき，（天下り的に）文脈依存文法

G = (N,  , P, S )

をつくる．

 L(G) = L(M) {}

を証明する．

(19)

導出の仕組み



(5.20)

と

(5.21)

の規則から，ある語

w = a

1

a

2・・・

a

n

に対応する初期様相を表す文形式

 a

1

, q

0

¢a

1

a

₂

, a

2



・・・

 a

n

, a

n

$

を生成する．



(5.22)

と

(5.23)

の生成規則を繰り返し適用することで，

非終端記号

 a

₁

,  

の第２項の部分を使って

M

の計算過程を模倣しながら導出を続ける．

 模倣の過程で，

M

が最終状態に達するならば，非酒単記号

 a

1

,  q  

が現れるので，

(5.24)

を用いて終端記号

a

に置き換える．

 後は，

(5.25)

を繰り返し適用し，すべての非終端記号を

終端記号に置き換え，語

w = a

1

a

2・・・

a

n を得る．

(20)

定理

5.8

と系

5.9

 L   *

が文脈依存言語であるための必要十分条件は

，

L = L(M)

なる線形有界オートマトン

M

が存在す

ることである．

系

5.9

　（→定理

5.13

の証明に関係）

 CSL = NSPACE(n)

消去可能文脈依存文法



次の生成規則からなる文法

G

は，消去可能文脈依存文法という．

 A      (  ,  ,   (N   **)*, AN )**

消去可能文脈依存文法は句構造と同等の生成能力を

(21)

5.3

文脈依存言語の性質



定理

5.10

 文脈依存言語族は和と連接について閉じている



定理

5.11

 文脈依存言語族は正閉包について閉じている



定理

5.12

 文脈依存言語族は積について閉じている



定理

5.13

 任意の文脈依存言語

L   *

に対して，

 *L

の補集合は文脈依存言語である



補題

5.14

 任意の

s (n)  log n

に対して，

NSPACE( s (n) ) = co-NSPACE( s (n) )

である

(22)

定理

5.10

（文脈依存言語族は和と連接について閉じている）



L

1

, L

2

  *

を任意の文脈依存言語とする．

(1) L

1 と

L

2 の和

L

1

 L

2 は文脈依存言語である．

(2) L

1 と

L

2 の連接

L

1・

L

2 は文脈依存言語である．

G

_L₁_{ L}₂

= (N

₁

N

₂

{S},  , P

₁

 P

₂

{SS

₁

, SS

₂

}, S)

G

_L₁ _・ _L₂

= (N

₁

N

₂

{S},  , P

₁

 P

₂

{SS

₁

S

₂

}, S)

G

_i の生成規則の左辺に終端記号が現れないと仮定

G

_i の生成規則の左辺に終端記号が現れないと仮定

(23)

定理

5.11

（文脈依存言語族は正閉包について閉じている）



L   *

に対して，

L

の正閉包

L

⁺ は文脈依存言語である．

 G

_L+

= (N∪N∪{S

⁺

, X},  , P

⁺

, S

⁺

)

N∩N = 

となる

G

のコピー

G = (N,  , P, S ) N∩N = 

となる

G

のコピー

G = (N,  , P, S )

N = { A | AN }

P = {      |     P

かつ

  ,  

は

 , 

_の

　　　　　　　　非終端記号

A

を

A

で置き換えたもの

}

P

⁺

= P ∪ P ∪ {S

⁺

S, XS, S

⁺

SX, X SS

⁺

}

(24)

定理

5.12

（文脈依存言語族は積について閉じている）



L

₁

, L

₂

  *

に対して，

L

₁ と

L

₂ の積

L

₁

∩L

₂ は文脈依存言語である．

[

証明

]

L

_i

(i = 1, 2)

を受理する線形有界オートマトンを

M

_i

= ( Q

_i

,  , 

_i

, 

_i

, q

₀ⁱ

, F

_i

)

とする．

この

M

_i から，線形有界オートマトン

M

_L₁_∩L₂を構築する．

a b a b b a b c

¢ a b a b b a b c $

(25)

定理

5.13

（文脈依存言語の補集合も文脈依存言語である）



L   *

に対して，

 *L

の補集合は文脈依存言語である．

[

証明

]

系

5.9

と補題

5.14

による．

系

5.9 CSL = NSPACE (n)

系

5.9 CSL = NSPACE

(n)

補題

5.14 NSPACE( s (n) ) = co-NSPACE( s (n) )

補題

5.14 NSPACE( s (n) ) = co-NSPACE( s (n) )

CSL = co-CSL

(26)

補題

5.14

（

NSPACE( s (n) ) = co-NSPACE( s (n) )

）

 任意の

s(n)  log n

に対して，

NSPACE( s(n) ) = co-NSPACE( s(n) )

である

[

証明

]

任意の

s(n)

領域有界

Turing

機械

M

に対して，

 *L(M)

を受理する

s(n)

領域有界

Turing

機械

M

が存在することを証明する．

線形有界オートマトンは領域有界

Turing

機械線形有界オートマトンは領域有界

Turing

機械

(27)

5.4

言語族の階層

 Chomsky

階層の４言語族

句構造言語（

0

型）

文脈依存言語（

1

型）

文脈自由言語（

2

型）

正規言語（

3

型）

^RGL

CFL CSL

FSL

RGL  CFL  CSL  FSL

補題

5.15

補題

5.15

補題補題

5.16 5.16

補題

5.17

補題

5.18

補題

5.17

補題

5.18

(28)

補題

5.15

と補題

5.16



補題

5.15 RGL  CFL

［証明］言語

L = { a

ⁿ

b

ⁿ

| n  1 }

を・・・



生成する文脈自由文法はあるので，文脈自由言語



受理する有限オートマトンはないので，

正規言語ではない



補題

5.16 CFL  CSL

［証明］言語

L = { a

ⁿ

b

ⁿ

c

ⁿ

| n  1 }

を・・・



生成する文脈依存文法はあるので，文脈依存言語



生成する文脈自由文法はないので，

(29)

補題

5.17

と補題

5.18



補題

5.17

すべての文脈依存言語は帰納的である．



補題

5.18

文脈依存言語でない帰納的集合が存在する．

［証明］

L = { x _i | x _i  L(G _i ) }

を使った対角線論法により証明する．

任意の

x

に対し，

xL

かどうか判定できる任意の

x

に対し，

xL

かどうか判定できる

(30)

定理

5.19 （ RGL  CFL  CSL  FSL ）

 RGL  CFL  CSL  FSL

［証明］

補題

5.15, 5.16, 5.17, 5.18

による．

言語族受理系生成系

FSL

（句構造）

Turing

機械句構造文法

CSL

（文脈依

存）線形有界オートマトン文脈依存文法

CFL

（文脈自

由）プッシュダウン・オートマ

トン文脈自由文法

形式言語の理論