Äîêóìåíòàëüíûå ïîòîêè

2.1. Îáùèå çàìå÷àíèÿ

Ïðè èçó÷åíèè è ìîäåëèðîâàíèè äèíàìè÷åñêèõ ñâîéñòâ èíôîðìàöèîííûõ ïîòîêîâ â ðàìêàõ äàííîé ðàáîòû áûëè ïðèíÿòû îïðåäåëåííûå äîïóùåíèÿ.

Ïðåäïîëàãàåòñÿ, ÷òî ñóùåñòâóåò ñèñòåìà, ñêàíè-ðóþùàÿ íîâîñòíóþ èíôîðìàöèþ ñ âåá-ñàéòîâ ñåòè Èíòåðíåò (ëèáî ëþáîé äðóãîé èíôîðìàöèîííîé

ñðå-äû) ïî ìåðå ïóáëèêàöèè ýòîé èíôîðìàöèè¹. Òî åñòü íà âõîäå òàêîé ñèñòåìû – âåá-ñàéòû Èíòåðíåò, à íà âûõîäå – ïîñëåäîâàòåëüíîñòü ñîîáùåíèé, ñëåäóþ-ùèõ îäíî çà äðóãèì ïî ìåðå ïóáëèêàöèè.  óçêîì ñìûñëå â ðàìêàõ äàííîé ðàáîòû ïîä èíôîðìàöèîí-íûì ïîòîêîì ïîíèìàëñÿ äèñêðåòíûé ÷èñëîâîé ðÿä,

÷ëåíû êîòîðîãî ñîîòâåòñòâóþò êîëè÷åñòâó ïóáëèêà-öèé çà åäèíèöó âðåìåíè, âûäàâàåìûõ òàêîé èäåàëü-íîé ñèñòåìîé.

Ïðè òàêîì ïîäõîäå ôàêòè÷åñêè àíàëèçèðóåòñÿ ïîòîê ýëåìåíòàðíûõ åäèíèö êîíòåíòà.  êà÷åñòâå òàêîé åäèíèöû áóäåì ðàññìàòðèâàåòñÿ äîêóìåíò.

 óçêèõ ðàìêàõ äàííîé ðàáîòû íå ðàçëè÷àþòñÿ ïîíÿòèÿ «äîêóìåíò», «ñîîáùåíèå» èëè «ïóáëèêà-öèÿ».

2.2. Òåìàòè÷åñêèå èíôîðìàöèîííûå ïîòîêè Ïîä òåìàòè÷åñêèì èíôîðìàöèîííûì ïîòîêîì (ÒÈÏ) áóäåì ïîíèìàòü ïîñëåäîâàòåëüíîñòü ñîîá-ùåíèé, ñîîòâåòñòâóþùèõ îïðåäåëåííîìó

òåìàòè-÷åñêîìó çàïðîñó.

Èòàê, ïîä ÒÈÏ â äàííîé ðàáîòå ïîíèìàòü ÷èñëî äîêóìåíòîâ â åäèíèöó âðåìåíè, îòíîñÿùèõñÿ ê çàäàííîé òåìå, ñêàíèðóåìûõ èç ñåòè è ôèëüòðóå-ìûõ ïî òåìàòè÷åñêîìó èíôîðìàöèîííîìó çàïðîñó ñèñòåìîé êîíòåíò-ìîíèòîðèíãà.

Ðàññìîòðèì îáùóþ êàðòèíó äèíàìèêè ÒÈÏ, îãðàíè÷èâøèñü ìåõàíèçìàìè, òèïè÷íûìè äëÿ íî-âîñòíîãî ñåãìåíòà Èíòåðíåò. Ãëàâíîå äîñòîèíñòâî ýòîãî ñåãìåíòà çàêëþ÷àåòñÿ â òîì, ÷òî îí ïðåäîñ-òàâëÿåò â ðàñïîðÿæåíèå äåéñòâèòåëüíî áîëüøèå îáúåìû ïîñòîÿííî èçìåíÿþùèõñÿ äàííûõ, ñðàâ-íèòåëüíî ëåãêî äîïóñêàþùèõ òåìàòè÷åñêóþ ôèëü-òðàöèþ.

Ìû èñõîäèì èç òîãî, ÷òî îðãàíèçàöèè-ãåíåðà-òîðû íîâîñòíîé èíôîðìàöèè â àáñîëþòíîì áîëü-øèíñòâå ðàáîòàþò â ñòàöèîíàðíîì ðåæèìå, êîòî-ðûé ìîæåò õàðàêòåðèçîâàòüñÿ ìàêñèìàëüíîé ïðî-èçâîäèòåëüíîñòüþ N. Ýòî îçíà÷àåò, ÷òî êàæäàÿ îðãàíèçàöèÿ-ãåíåðàòîð ïðîèçâîäèò ïîòîê èíôîðìà-öèè â ñðåäíåì ïîñòîÿííûé ïî êîëè÷åñòâó íèé. Èçìåíÿþòñÿ âî âðåìåíè ëèøü îáúåìû

ñîîáùå-1 Êîíå÷íî èäåàëüíîé ñèñòåìû òàêîãî òèïà âîçìîæíî íå ñóùåñòâóåò, íî, íàïðèìåð, â ðàñïîðÿæåíèè àâòîðîâ íàõîäè-ëàñü ñèñòåìà êîíòåíò-ìîíèòîðèíãà InfoStreamâ (òîðãîâàÿ ìàð-êà ÈÖ «ÝËÂÈÑÒÈ», Óêðàèíà), ñìàð-êàíèðóþùàÿ îêîëî 50 òûñ.

íîâîñòíûõ ñîîáùåíèé â ñóòêè ñ îòêðûòûõ âåá-ñàéòîâ RUNeta.

íèé, êîòîðûå ñîîòâåòñòâóþò òîé èëè èíîé òåìå. Äðó-ãèìè ñëîâàìè, ðîñò êîëè÷åñòâà ïóáëèêàöèé ïî îä-íîé òåìå ñîïðîâîæäàåòñÿ óìåíüøåíèåì ïóáëèêàöèé íà äðóãèå òåìû [5], òàê ÷òî äëÿ êàæäîãî ïðîìåæóòêà âðåìåíè T èìååì:

, NT dt t n

T

0 M

1 i

i =

∫∑

₌ ^{( )}

ãäå n_i(t) – êîëè÷åñòâî ïóáëèêàöèé â åäèíèöó âðåìå-íè, à M – îáùåå êîëè÷åñòâî âñåõ âîçìîæíûõ òåì.

Êîíå÷íî, ïðåäïîëàãàåòñÿ, ÷òî íåêîòîðàÿ ÷àñòü n_i(t) ðàâíà íóëþ.

Îñíîâíîé èíòåðåñ ïðè òàêîì ïîäõîäå ïðåä-ñòàâëÿåò èçó÷åíèå äèíàìèêè îòäåëüíîãî

òåìàòè-÷åñêîãî ïîòîêà n_i(t).

Êîíå÷íî, ïðèâåäåííîå èäåàëüíîå óðàâíåíèå èñêàæàåòñÿ ïåðèîäè÷åñêèìè ñîñòàâëÿþùèìè, ñâÿ-çàííûìè, íàïðèìåð, ñ íåäåëüíîé öèêëè÷íîñòüþ ðàáîòû êîìïàíèé – ãåíåðàòîðîâ èíôîðìàöèè. Î ìå-õàíèçìàõ ó÷åòà òàêèõ ýôôåêòîâ ðå÷ü ïîéäåò íèæå.

2.3. Êîððåëÿöèîííûé àíàëèç òåìàòè÷åñêèõ èíôîðìàöèîííûõ ïîòîêîâ

2.3.1. Ïðîáëåìàòèêà

Ïðè ìîäåëèðîâàíèè òåìàòè÷åñêèõ èíôîðìàöèîííûõ ïîòîêîâ íåîáõîäèìî çíàíèå îñîáåííîñòåé èõ ðåàëü-íîãî ïîâåäåíèÿ áåç ó÷åòà ïåðèîäè÷åñêèõ ñîñòàâëÿþ-ùèõ, îáðàçóåìûõ, íàïðèìåð, ïðàçäíè÷íûìè äàòàìè ïðè ðàññìîòðåíèè èíôîðìàöèîííûõ ïîòîêîâ çà íå-ñêîëüêî ëåò èëè ðàçëè÷íûìè îáúåìàìè ïóáëèêàöèé â ðàçëè÷íûå äíè íåäåëè.

Íà ðèñ. 1 ïðèâåäåíî ñîîòíîøåíèå êîëè÷åñòâà íîâîñòíûõ ñîîáùåíèé, ñêàíèðóåìûõ ñèñòåìîé êîí-òåíò-ìîíèòîðèíãà InfoStream [6] â 2006 ãîäó ïî äíÿì íåäåëè (îáùåå êîëè÷åñòâî íîâîñòíûõ ñîîáùåíèé ïðåâûñèëî 10 ìëí.).

Èçâåñòíî, ÷òî äëÿ ðåøåíèÿ ïîñòàâëåííîé ïðî-áëåìû ìîãóò ïðèìåíÿòüñÿ ðàçíîîáðàçíûå ïîäõî-äû – îò ïðîñòîé «êîìïåíñàöèè» ïðèâåäåííîãî ïðî-öåíòíîãî ñîîòíîøåíèÿ ïóáëèêàöèé ïî äíÿì íåäå-ëè, äî ìåòîäîâ, áàçèðóþùèõñÿ íà ïðåîáðàçîâàíè-ÿõ Ôóðüå è âåéâëåò-àíàëèçå. Äëÿ îáíàðóæåíèÿ è îáîñíîâàíèÿ ïîñëåäóþùåãî óñòðàíåíèÿ

ïåðèîäè-÷åñêèõ ñîñòàâëÿþùèõ â äàííîé ðàáîòå áûëè ïðè-ìåíåíû ïîäõîäû, îáîñíîâàííûå â ðàìêàõ êîððå-ëÿöèîííîé òåîðèè [7] ñ ïîñëåäóþùèì ïðèìåíå-íèåì ìåòîäà «ñêîëüçÿùåé ñðåäíåé», êîòîðûå ïðåä-ñòàâëÿþòñÿ íàèáîëåå îáîñíîâàííûìè è ðåàëèçóå-ìûìè ñ èíæåíåðíîé òî÷êè çðåíèÿ.

2.3.2. Îñíîâû êîððåëÿöèîííîãî àíàëèçà ïåðèîäè÷åñ-êèõ ïðîöåññîâ

Åñëè îáîçíà÷èòü ÷åðåç Õ_t ÷ëåí ðÿäà, îáðàçóåìîãî òåìàòè÷åñêèì èíôîðìàöèîííûì ïîòîêîì (êîëè÷å-ñòâî äîêóìåíòîâ, ïîñòóïèâøèõ, íàïðèìåð, â äåíü t, t= 1, N), òî ôóíêöèÿ àâòîêîððåëÿöèè äëÿ ýòîãî ðÿäà Õ îïðåäåëÿåòñÿ êàê:

), )(

( )

(k X m X m

F _{k t t}

k N

1 t k N

1 − −

= +

−

−

∑

=

ãäå m – ñðåäíåå çíà÷åíèå ðÿäà Õ, êîòîðîå â äàëüíåé-øåì, íå îãðàíè÷èâàÿ îáùíîñòè, áóäåì ñ÷èòàòü ðàâ-íûì 0 (äîñòèãàåòñÿ ïðèñâîåíèåì çíà÷åíèþ Õ_t

çíà÷å-íèÿ Õ_t – m). Ïðåäïîëàãàåòñÿ, ÷òî ðÿä X ìîæåò ñîäåð-æàòü ñêðûòóþ ïåðèîäè÷åñêóþ ñîñòàâëÿþùóþ.

Èçâåñòíî, ÷òî ôóíêöèÿ àâòîêîððåëÿöèè îáëàäàåò ñâîéñòâîì: åñëè ñêðûòàÿ ïåðèîäè÷åñêàÿ ñîñòàâëÿþ-ùàÿ ñóùåñòâóåò, òî åå çíà÷åíèå àñèìïòîòè÷åñêè ïðè-áëèæàåòñÿ ê êâàäðàòó ñðåäíåãî çíà÷åíèÿ èñõîä-íîãî ðÿäà, ò. å. íóëþ.

Êîãäà ðàññìàòðèâàåìûé ðÿä – ïåðèîäè÷åñêèé, ò. å. ìîæåò áûòü ïðåäñòàâëåí êàê:

),

( _n

n 1 n 2 a

t a cos n t

X = ⁰ +

∑

^∞₌ ω +θ

òî åãî ôóíêöèÿ àâòîêîððåëÿöèè áóäåò ðàâíà:

. k n cos 2 a

) 1 k (

F _n²

1 n 4

a₀^{2 +}

∑

^∞₌ ω

=

Ýòîò ðåçóëüòàò ïîêàçûâàåò, ÷òî ôóíêöèÿ àâòî-êîððåëÿöèè ïåðèîäè÷åñêîãî ðÿäà òàêæå ÿâëÿåòñÿ ïåðèîäè÷åñêîé, ñîäåðæèò îñíîâíóþ ÷àñòîòó è ãàð-ìîíèêè, íî áåç ôàçîâûõ óãëîâ q_n.

2.3.3. Êîððåëÿöèîííûé àíàëèç «çàøóìëåííûõ» ïåðèî-äè÷åñêèõ ïðîöåññîâ

Ðàññìîòðèì ÷èñëîâîé ðÿä X, ÿâëÿþùèéñÿ ñóììîé íåêîòîðîé ñîäåðæàòåëüíîé ñîñòàâëÿþùåé N è ñè-íóñîèäàëüíîé ñèãíàëà S:

Õ_t = N_t + S_t.

Íàéäåì ôóíêöèþ àâòîêîððåëÿöèè äëÿ ýòîãî ðÿäà (çíà÷åíèÿ ñâåäåíû ê íóëåâîìó ñðåäíåìó):

. N S S

N S

S N

N

) S N )(

S N (

X X )

k ( F

t t k k N

1 t k N

1 t t k k N

1 t k N

1 t t k k N

1 t k N

1 t t k k N

1 t k N

1

t t t k t k k N

1 t k N

1

t t k k N

1 t k N

1

+

−

− = +

−

− = +

−

− = +

−

− =

+ +

−

− =

+

−

− =

∑

∑

∑

∑

∑

∑

+ +

+

=

= + +

=

=

=

Ðèñ. 1. Íåäåëüíûå êîëåáàíèÿ îáúåìîâ èíôîðìàöèè (îñü Z), ñêàíèðóåìûõ íà ïðîòÿæåíèè 2006 ã. (íîìåð íåäåëè â ãîäó – îñü Y) â ïðîöåíòàõ: Ïí – 17.23; Âò

– 18.44; Ñð – 18.80; ×ò – 18.73; Ïò – 17.86; Ñá – 5.57; Âñ – 4.16 (äåíü íåäåëè – îñü X)

Î÷åâèäíî, ïåðâîå ñëàãàåìîå åñòü ôóíêöèÿ íåïå-ðèîäè÷åñêàÿ, àñèìïòîòè÷åñêè ñòðåìÿùàÿñÿ ê íóëþ.

Òàê êàê N è S íå êîãåðåíòíû, òî âçàèìíàÿ êîððåëÿ-öèÿ ìåæäó íèìè îòñóòñòâóåò, ïîýòîìó òðåòüå è ÷åò-âåðòîå ñëàãàåìîå òàêæå ñòðåìÿòñÿ ê íóëþ. Òàêèì îá-ðàçîì, ñàìûé çíà÷èòåëüíûé íåíóëåâîé âêëàä ñîñòàâ-ëÿåò âòîðîå ñëàãàåìîå – àâòîêîððåëÿöèÿ ñèãíàëà S.

Òî åñòü ôóíêöèÿ àâòîêîððåëÿöèè ðÿäà X îñòàåòñÿ ïå-ðèîäè÷åñêîé.

2.3.4. Êîððåëÿöèîííûå õàðàêòåðèñòèêè ðåàëüíîãî èí-ôîðìàöèîííîãî ïîòîêà

Íà ðèñ. 2. ïðåäñòàâëåí ãðàôèê èíôîðìàöèîííîãî ïîòîêà ñîîáùåíèé ñåòåâûõ ÑÌÈ ïî òåìå «Êîð-ðóïöèÿ â Óêðàèíå», ñôîðìèðîâàííûé ñèñòåìîé InfoStream, ñ ïîìîùüþ êîòîðîé ñêàíèðîâàëîñü 2500 íîâîñòíûõ âåá-ñàéòîâ. Ïî çàïðîñó «(êîðóïö|êîð-ðóïö) & (Óêðàèí|Óêðà¿í)» áûëî îòîáðàíî ñâûøå 83 òûñ. ïóáëèêàöèé çà 456 äíåé.

Êàê èçâåñòíî, êîýôôèöèåíòû êîððåëÿöèè äëÿ äèñêðåòíîãî ðÿäà èçìåðåíèé ðàññ÷èòûâàþòñÿ ñëå-äóþùèì îáðàçîì:

R(k) = F(k) /σ²,

ãäå k – øèðèíà «îêíà íàáëþäåíèé»; F(k) – ôóí-êöèÿ àâòîêîððåëÿöèè; σ² – äèñïåðñèÿ Õ.

Ãðàôè÷åñêîå ïðåäñòàâëåíèå êîýôôèöèåíòà êîð-ðåëÿöèè äëÿ èññëåäóåìîãî ðÿäà íàáëþäåíèé ñâè-äåòåëüñòâóåò î ðàçäåëåíèè êîððåëÿöèîííûõ ñâîéñòâ ïî äíÿì íåäåëè (ðèñ. 3).

Ñåìü óðîâíåé çíà÷åíèé, ïðåäñòàâëåííûõ íà ãðàôèêå ñîîòâåòñòâóþò 7 äíÿì íåäåëè. Î÷åâèäíî,

÷òî ïðèâåäåííûå âûøå êîýôôèöèåíòû êîððåëÿ-öèè ïðåäñòàâëÿþò ñîáîé âûáðàííûå çíà÷åíèÿ íå-ïðåðûâíîé ôóíêöèè, èìåþùåé ÿâíî âûðàæåííóþ ãàðìîíè÷åñêóþ ñîñòàâëÿþùóþ.

2.3.5. Ñãëàæèâàíèå ðÿäîâ, ñîîòâåòñòâóþùèõ èíôîð-ìàöèîííûì ïîòîêàì

Äëÿ óäàëåíèÿ ïåðèîäè÷åñêîé ñîñòàâëÿþùåé â èñ-ñëåäóåìîì ÷èñëîâîì ðÿäó èñïîëüçîâàëñÿ ìåòîä âçâåøåííîé «ñêîëüçÿùåé ñðåäíåé».

 ñîîòâåòñòâèè ñ ðåçóëüòàòàìè,

ïðåäñòàâëåí-íûìè íà ðèñ. 5 (ïåðèîä îêàçàëñÿ ðàâíûì 7), çíà÷å-íèÿ íîâîãî ðÿäà «ñãëàæåííûõ» âåëè÷èí, îïðåäåëÿ-ëèñü ñëåäóþùèì îáðàçîì:

. X

S

_i

3 t

3 t i 7 1 t

⁼ ∑

₌⁺₋

Î÷åâèäíî, ïðè èçìåíåíèè i îò t – 3 äî t + 3, ïðî-èñõîäèò ñâîåîáðàçíîå «ñêîëüæåíèå» ïî îñè âðåìå-íè. Íà ðèñ. 4 ïðèâåäåí ãðàôèê «ñãëàæåííîãî» ðÿäà, ñîîòâåòñòâóþùåãî ðàññìàòðèâàåìîìó èñõîäíîìó.

Ðèñ. 3. Êîýôôèöèåíòû êîððåëÿöèè (îñü Y) â çàâè-ñèìîñòè îò øèðèíû îêíà íàáëþäåíèé k (îñü X)

Ðèñ. 4. «Ñãëàæåííûé» ðÿä, ñîîòâåòñòâóþùèé èñõîäíîìó Êîððåëÿöèîííàÿ ôóíêöèÿ «ñãëàæåííîãî» ðÿäà (ñì. ðèñ. 5) íå ñîäåðæèò ÿâíî âûðàæåííûõ ãàðìî-íèê.Ïðåäïîëàãàåòñÿ, ÷òî «ñãëàæèâàíèå» ãàðìîíè-÷åñ-êîé ñîñòàâëÿþùåé ïîçâîëèò âûÿâèòü îñîáåííîñòè ðåàëüíîãî ïîâåäåíèÿ òåìàòè÷åñêîãî èíôîðìàöèîí-íîãî ïîòîêà, åãî äèíàìèêó, ñîîòâåòñòâóþùóþ ñîáû-òèÿì ðåàëüíîãî ìèðà, áåç ó÷åòà ïåðèîäèêè îòäåëü-íûõ ýëåêòðîíîòäåëü-íûõ ÑÌÈ. Òàêèì îáðàçîì, ïðè äàëü-íåéøåì ýêñïåðèìåíòàëüíîì èññëåäîâàíèè

òåìàòè-÷åñêèõ èíôîðìàöèîííûõ ïîòîêîâ â ðàìêàõ äàííîé ðàáîòû èññëåäîâàëèñü «ñãëàæåííûå» ðÿäû ñ îêíîì íàáëþäåíèÿ â 7 äíåé, ÷òî ïîçâîëÿåò èçáàâëÿòüñÿ îò ÿâíî âûÿâëåííûõ íåäåëüíûõ öèêëîâ â îáúåìàõ ïóá-ëèêàöèé.

Ðèñ. 2. Êîëè÷åñòâî ïóáëèêàöèé ïî çàäàííîé òåìå (îñü Y) ïî äíÿì (îñü X)

ドキュメント内 untitled (ページ 98-101)