2.1. Èäåÿ èññëåäîâàíèÿ
Èññëåäîâàíèå çàêëþ÷àåòñÿ â ðàçðàáîòêå ìîðôîëî-ãè÷åñêîãî ðàñøèðåíèÿ äëÿ ïîèñêà ðóññêîÿçû÷íûõ òåêñòîâ XVIII â., â ñîçäàíèè íåîáõîäèìûõ ñëîâà-ðåé è îöåíêå ýôôåêòèâíîñòè ïðåäëîæåííûõ àëãî-ðèòìîâ.
2.2. Ñîçäàíèå ñëîâàðåé
Ïðè ó÷àñòèè ñîòðóäíèêîâ áèáëèîòåêè èì.
Ëîáà-÷åâñêîãî ÊÃÓ îñóùåñòâëåí ðó÷íîé íàáîð ñëîâ èç ÑÀÐ (Ñëîâàðü Àêàäåìèè Ðîññèéñêîé, âêëþ÷àåò áîëåå 42000 ñëîâ). Íàáðàííûå 6 òîìîâ îáúåäèíå-íû â ïðÿìîé è îáðàòîáúåäèíå-íûé ñëîâíèêè. Äëÿ äàííîãî ñëîâàðÿ îäíî ñòàðîðóññêîå ñëîâî ñîäåðæèò â ñðåä-íåì 9 áóêâ.
Ðàçðàáîòàíà ïðîãðàììà äëÿ èíòåðàêòèâíîãî ïîïîëíåíèÿ ñëîâàðÿ: ñîçäàíèå ñëîâàðåé èç ñòàðî-ðóññêèõ òåêñòîâ è èíòåãðàöèÿ â ðàñøèðåííûé ïðÿìîé èëè îáðàòíûé ÑÀÐ. Ïðîãðàììà ðàáîòàåò ñ ëþáûìè äîêóìåíòàìè, äîñòóïíûìè äëÿ ïðîñìîòðà
÷åðåç MS Word, â òîì ÷èñëå ñ pdf-ôàéëàìè, åñëè óñòàíîâëåíà ñîîòâåòñòâóþùàÿ íàäñòðîéêà.
Ñîâìåñòíî ñ çàâåäóþùèì Êàôåäðîé èñòîðèè ðóññêîãî ÿçûêà è ÿçûêîçíàíèÿ (ÈÐßß) ÊÃÓ Íèêî-ëàåâûì Ã. À. ñîçäàí ñëîâàðü ïñåâäîîêîí÷àíèé ñòà-ðîðóññêîãî ÿçûêà. Òåêóùàÿ âåðñèÿ ñëîâàðÿ
âêëþ-÷àåò 136 ïñåâäîîêîí÷àíèé (âêëþ÷àÿ íóëåâîå
îêîí-÷àíèå), â ñðåäíåì 2,7 áóêâû â îäíîì ïñåâîîêîí÷à-íèè.
 êà÷åñòâå ñëîâàðÿ ïñåâäîîñíîâ áûëî èñïîëüçî-âàíî äâà ñëîâàðÿ. Ïåðâûé ñîçäàí íà îñíîâå ìîðôî-ëîãè÷åñêîé òàáëèöû ñîâðåìåííîãî ðóññêîãî ÿçûêà, èñïîëüçóåìîé êîìïëåêñîì ïðîãðàìì «Ðàáî÷åå ìåñ-òî ëèíãâèñòà» (ÐÌË, îíà æå ñèñòåìà «Äèàëèíã») [24].
Âòîðîé ñëîâàðü ïñåâäîîñíîâ ñîçäàí èç ÑÀÐ ìåòîäîì ñòåììèíãà äëÿ ïñåâäîîêîí÷àíèé ñòàðîðóññêîãî ÿçû-êà. Ïëàíèðóåòñÿ êîððåêöèÿ äàííîãî ñëîâàðÿ, ïîñëå êîòîðîé åãî ìîæíî áóäåò ýôôåêòèâíî èñïîëüçîâàòü âìåñòî ñîâðåìåííîãî ñëîâàðÿ.
 äàëüíåéøåì ïëàíèðóåòñÿ ïðîèçâåñòè ìîðôîëî-ãè÷åñêóþ ðàçìåòêó ñëîâàðÿ ïñåâäîîñíîâ íà áàçå ÑÀÐ.
Ïîäðîáíàÿ ìîðôîëîãè÷åñêàÿ ðàçìåòêà ñòàðîðóññêî-ãî ÿçûêà íåîáõîäèìà äëÿ ðàçâèòèÿ ýâîëþöèîííîé è èñòîðè÷åñêîé ëèíãâèñòèêè, îäíàêî íå âñå ãðàììà-òè÷åñêèå õàðàêòåðèñòèêè ìîãóò íàéòè ïðèìåíåíèå â àëãîðèòìàõ ïîèñêà. Âûñîêàÿ âàðèàòèâíîñòü ñòàðîðóñ-ñêîãî ÿçûêà îñëîæíÿåò îïðåäåëåíèå áåçûñêëþ÷èòåëü-íûõ ôëåêòèâáåçûñêëþ÷èòåëü-íûõ êëàññîâ è ñòàâèò ïîä âîïðîñ öåëåñî-îáðàçíîñòü èõ èñïîëüçîâàíèÿ â ïîèñêîâûõ àëãîðèò-ìàõ. Ñ áîëüøîé âåðîÿòíîñòüþ ýòî ïðèâåäåò ê ñíèæå-íèþ îáúåìà âûäà÷è çà ñ÷åò èñêëþ÷åíèÿ ðåçóëüòàòîâ, ðåëåâàíòíûõ çàïðîñó. Îäíàêî îïðåäåëåíèå ïàðàäèãì
÷åðåäîâàíèé ïñåâäîîñíîâ â ëåêñåìàõ íåîáõîäèìî äëÿ ïîâûøåíèÿ êà÷åñòâà ïîèñêà â ñòàðîðóññêèõ òåêñòàõ.
2.3. Àëãîðèòì ïîèñêà
Èññëåäîâàíèå ñòàðîðóññêîãî ÿçûêà ïîêàçàëî, ÷òî äëÿ îðãàíèçàöèè ïîèñêà öåëåñîîáðàçíî èñïîëüçî-âàòü àëãîðèòì, áëèçêèé ê àëãîðèòìó, ïðèìåíÿåìî-ìó äëÿ ïîèñêà òåêñòîâ íà ñîâðåìåííîì ðóññêîì ÿçûêå [40].  îáùèõ ñëîâàõ, ïîñëåäîâàòåëüíîñòü îïåðàöèé âêëþ÷àåò â ñåáÿ ñòåììèíã, ïîèñê ñëî-âàðíîé ïñåâäîîñíîâû è ãåíåðàöèþ ñëîâîôîðì.
Ìîðôîëîãè÷åñêàÿ ðàçìåòêà ñëîâàðåé òðåáóåò âðåìåíè.  êà÷åñòâå îïòèìàëüíîãî àëãîðèòìà ïî-èñêà íà áàçå èìåþùèõñÿ â íàñòîÿùåå âðåìÿ ñëî-âàðåé ïðåäñòàâëÿåòñÿ ñëåäóþùèé àëãîðèòì:
1. Ñòåììèíã: â ñëîâå çàïðîñà ïðîèçâîäèòñÿ âûäåëåíèå âñåõ âîçìîæíûõ ìîðôîëîãè÷åñêèõ ïñåâ-äîîñíîâ, ïîëüçóÿñü ñïèñêîì ïñåâäîîêîí÷àíèé.
2. Äëÿ êàæäîé âûäåëåííîé òàêèì îáðàçîì ïî-òåíöèàëüíîé ïñåâäîîñíîâû îïðåäåëÿåòñÿ åå ïðè-ñóòñòâèå â ñëîâàðå ïñåâäîîñíîâ.
3. Äëÿ êàæäîé ïñåâäîîñíîâû, åñëè îíà îêàçà-ëàñü ñëîâàðíîé, ïîèñê áóäåò îñóùåñòâëåí ïî âñåì åå ñëîâîôîðìàì, îáðàçóåìûì îò ïñåâäîîñíîâû è ïñåâäîîêîí÷àíèé.
4. Åñëè íè îäíà ïîòåíöèàëüíàÿ ïñåâäîîñíîâà íå îêàçàëàñü ñëîâàðíîé, òî ïîëüçîâàòåëþ-ëèíãâè-ñòó ïðåäëàãàåòñÿ â ñïåöèàëüíîé ôîðìå âûäåëèòü ïîäñâåòêîé ïñåâäîîñíîâó ñëîâà çàïðîñà è äîáà-âèòü åå â ñëîâàðü è òî æå ñàìîå ñäåëàòü äëÿ ïñåâäîîêîí÷àíèÿ. Ïîëüçóÿñü äàííîé ôîðìîé, ïîëüçîâàòåëü ìîæåò íàïå÷àòàòü è äîáàâèòü ïðàê-òè÷åñêè íåîãðàíè÷åííîå êîëè÷åñòâî ïñåâäîîñíîâ è ïñåâäîîêîí÷àíèé.
5. Åñëè íè îäíà ïîòåíöèàëüíàÿ ïñåâäîîñíîâà íå îêàçàëàñü ñëîâàðíîé, è ïîëüçîâàòåëü íå ïðîèç-âåë äåéñòâèé, îïèñàííûõ â ïðåäûäóùåì ïóíêòå, òî ïîèñê ïðîèçâîäèòñÿ íà áàçå ïîòåíöèàëüíûõ ïñåâäîîñíîâ, âûäåëåííûõ áëàãîäàðÿ ñïèñêó èçâåñ-òíûõ ïñåâäîîêîí÷àíèé.  íàèõóäøåì ñëó÷àå ýòî îäíî íóëåâîå îêîí÷àíèå.
6. Ïðîöåññ ïîèñêà ïîçâîëÿåò ïîëüçîâàòåëþ-ëèí-ãâèñòó óáåäèòüñÿ â êîððåêòíîñòè âíåñåííûõ èì èçìåíåíèé â ñëîâàðè. Ïðè çàêðûòèè ôîðìû ïî-èñêà ïðåäëàãàåòñÿ ñîõðàíèòü èçìåíåíèÿ â ôàéëàõ ñëîâàðåé.
 ïðîöåññå ïîèñêà ïðèñóòñòâèå ðàçäåëèòåëåé ñïðàâà è ñëåâà îò èñêîìîé ïîñëåäîâàòåëüíîñòè áóêâ íå ó÷èòûâàþòñÿ. Íà äàííîì ýòàïå òàêîå ðàñ-øèðåíèå ðåçóëüòàòîâ ïîèñêà ìîæåò îêàçàòüñÿ ïî-ëåçíûì äëÿ èññëåäîâàíèÿ ìîðôîëîãèè ñòàðîðóñ-ñêîãî ÿçûêà. Ïðè ýòîì âûäåëÿåòñÿ ïîäñâåòêîé íàèáîëåå äëèííàÿ èç èñêîìûõ ñëîâîôîðì â äàí-íîì âêëþ÷åíèè â òåêñò. Ïîèñê îñòàëüíûõ, áîëåå êîðîòêèõ ñëîâîôîðì â äàííîì ôðàãìåíòå íå ïðî-èçâîäèòñÿ îïðåäåëåííóþ ðîëü â îïòèìèçàöèè äàííîãî àñïåêòà àëãîðèòìà èãðàåò óïîðÿäî÷åííîñòü ñëîâàðÿ ïñåâäîîêîí÷àíèé ïî óáûâàíèþ èõ äëèíû.
2.4. Òåõíè÷åñêèå îñîáåííîñòè
Âàæíûì àñïåêòîì äëÿ ïðèìåíåíèÿ ðåçóëüòàòîâ äàí-íîé ðàáîòû ÿâëÿåòñÿ èíòåãðàöèÿ ñî ñòàíäàðòíûìè ïðîãðàììíûìè ñðåäñòâàìè. Ëîêàëüíûé ïîèñê äëÿ ñòàðîðóññêîãî ÿçûêà ðåàëèçîâàí â êà÷åñòâå ìàêðî-ñîâ èíñòàëëèðóåìîé íàäñòðîéêè-ðàñøèðåíèÿ äëÿ MS Word (äîïîëíèòåëüíîå ìåíþ, ïàíåëü èíñòðóìåíòîâ è äðóãèå ýëåìåíòû). Äàííàÿ íàäñòðîéêà ïîìèìî ïî-èñêà âêëþ÷àåò ðÿä äðóãèõ ôóíêöèé, íåîáõîäèìûõ äëÿ ðàáîòû ëèíãâèñòà ñî ñòàðîðóññêèìè òåêñòàìè.
Ìîðôîëîãè÷åñêèå ñëîâàðè çàãðóæàþòñÿ ïðè ïåð-âîì çàïóñêå ôîðìû ïîèñêà è ñîäåðæàòñÿ â îïåðàòèâ-íîé ïàìÿòè äî òåõ ïîð, ïîêà íå áóäóò çàêðûòû âñå îêíà ýêçåìïëÿðà ïðèëîæåíèÿ MS Word. Íà «ñëàáîì»
êîìïüþòåðå Intel Pentium III 800 EB (801 ÌÃö) 256 êÁ, DIMM 128 ÌÁ PC133 (133 ÌÃö) äëÿ ñëîâàðÿ ïñå-äîîñíîâ îáúåìîì 143450 ñëîâ â êîäèðîâêå Unicode (3 ÌÁ) çàãðóçêà òðåáóåò 3-õ ñåêóíä. Âðåìÿ çàãðóçêè ñëîâàðÿ îêîí÷àíèé íåñóùåñòâåííî.
Îïöèîíàëüíî ïîèñê îñóùåñòâëÿåòñÿ ñ ó÷åòîì ñëî-âîèçìåíåíèÿ, ñ ó÷åòîì ðåãèñòðà, â âûäåëåííîì ôðàã-ìåíòå, â ïðÿìîì èëè îáðàòíîì íàïðàâëåíèè. Ïðå-äóñìîòðåíî âîçâðàùåíèå íà èñõîäíóþ ïîçè-öèþ. Êðîìå òåêóùåãî íàéäåííîãî ñëîâà, âûäåëåí-íîãî â äîêóìåíòå ïîäñâåòêîé, ïîëüçîâàòåëü íà-áëþäàåò â ôîðìå ñïèñîê âñåõ íàéäåííûõ â äîêó-ìåíòå ñëîâ, ñîîòâåòñòâóþùèõ çàïðîñó, â ïîðÿäêå èõ ñëåäîâàíèÿ. Ðåçóëüòàòû ïîèñêà ïî äîêóìåíòó äëÿ êàæäîãî çàïðîñà ìîæíî ñîõðàíèòü â îòäåëü-íûé ôàéë. Äîïóñòèìûå ðàçìåðû ñëîâàðåé ïñåâäî-îñíîâ è ïñåâäîîêîí÷àíèé îãðàíè÷åíû îáúåìîì ïðèìåðíî 2×109 çàïèñåé.
Ìåíþ íàäñòðîéêè äëÿ MS Word ïðåäñòàâëÿåò âîçìîæíîñòü îòïðàâêè êîððåêòèðîâàííûõ äàííûõ ñëîâàðÿ ïñåâäîîñíîâ è ïñåâäîîêîí÷àíèé ÷åðåç ñåòü Èíòåðíåò äëÿ ñîãëàñîâàíèÿ ñ ðàçðàáîò÷èêàìè è èñïîëüçîâàíèÿ â ñëåäóþùèõ âåðñèÿõ ïðîãðàììû è ïàêåòàõ îáíîâëåíèÿ.
Êîä íàïèñàí ïðåèìóùåñòâåííî íà VBA ñ èñ-ïîëüçîâàíèåì Win32API è ñíàáæåí ïîäðîáíûìè êîììåíòàðèÿìè. Èìåíà ïåðåìåííûõ ñîîòâåòñòâó-þò âåíãåðñêîé íîòàöèè.
2.5. Ýêñïåðèìåíòû
2.5.1. Ãåíåðàöèÿ ïîòåíöèàëüíûõ ïñåâäîîñíîâ
Ñòåììèíã ñëîâ ÑÀÐ äëÿ ïñåâäîîêîí÷àíèé ñòàðîðóñ-ñêîãî ÿçûêà ïîçâîëèë âûäåëèòü íåïîëíûé íàáîð ïî-òåíöèàëüíûõ ïñåâäîîñíîâ. Äëÿ êàæäîãî ñëîâà ÑÀÐ áûëî ïîðîæäåíî â ñðåäíåì 2,4 ãèïîòåòè÷åñêèõ ïñåâ-äîîñíîâû. Ïðè ýòîì ñòîèò îáðàòèòü âíèìàíèå, ÷òî â ÑÀÐ áîëüøèíñòâî ñëîâ ÿâëÿþòñÿ ëåììàìè, ÷òî ñíè-æàåò êîëè÷åñòâî âîçìîæíûõ ïñåâäîîñíîâ.
Ñëåäóåò îòìåòèòü, ÷òî äëÿ ñîâðåìåííîãî ðóññêî-ãî ÿçûêà äëÿ îäíîé íå ñëîâàðíîé ñëîâîôîðìû ïàð-ñåð MyStem ïîðîæäàåò â ñðåäíåì 3 ãèïîòåçû ìîðôî-ëîãè÷åñêîãî ðàçáîðà [29].
2.5.2. Òåñòèðîâàíèå ôóíêöèè ïîèñêà
Íåñìîòðÿ íà îïðåäåëåííóþ âàðèàòèâíîñòü ìîðôîëî-ãèé, àëãîðèòì ïîèñêà êîððåêòíî ðàáîòàåò äëÿ òåêñòîâ íà÷àëà è êîíöà XVIII â.
Òåñòèðîâàíèå ïðîâîäèëîñü â äâóõ ðåæèìàõ: áåç ó÷åòà ðàçäåëèòåëåé ìåæäó ñëîâàìè òåêñòà è ñ ó÷å-òîì. Ïåðâûé ðåæèì áûë íåîáõîäèì äëÿ øèðîêîãî ìîíèòîðèíãà ðàáîòû ïðîãðàììû, èññëåäîâàíèÿ ñîñòàâà òåêñòîâ, ñëîâàðåé ñòàðîðóññêîãî ÿçûêà è ñòàòèñòèêè «îìîíèìè÷íîãî» âêëþ÷åíèÿ ïñåâäîîñ-íîâ. Âòîðîé ðåæèì áûë íåîáõîäèì äëÿ êà÷åñòâåí-íîé îöåíêè ðàáîòû ïðîãðàììû. Íèæå îïèñàíî òåñòèðîâàíèå âî âòîðîì ðåæèìå.
Öåëüþ òåñòèðîâàíèÿ áûëî îïðåäåëèòü, ÿâëÿåò-ñÿ ëè ïðåäëîæåííûé àëãîðèòì êîððåêòíûì äëÿ ðàáîòû ñ òåêñòàìè ðàçëè÷íûõ æàíðîâ äëÿ âñåãî XVIII â. Òåñòèðîâàíèå ïðîâîäèëîñü ñ èñïîëüçîâà-íèåì ñëîâàðÿ ïñåâäîîñíîâ ñîâðåìåííîãî ðóññêîãî ÿçûêà, ïîñêîëüêó èñïîëüçîâàíèå ãåíåðèðîâàííîãî ñëîâàðÿ ïñåâäîîñíîâ ñòàðîðóññêîãî ÿçûêà ìàëî îòëè÷àåòñÿ îò ÷èñòî ýâðèñòè÷åñêîãî ïîäõîäà, à ðó÷íàÿ êîððåêöèÿ ñëîâàðÿ òðåáóåò âðåìåíè.  ñî-îòâåòñòâèè ñ àëãîðèòìîì, åñëè îñíîâà íå áûëà îïðåäåëåíà, ïðèìåíÿëàñü ýâðèñòèêà.
 ýêñïåðèìåíòå èñïîëüçîâàëàñü ãåíåðàöèÿ ñëî-âàðåé, ðàçðàáîòàííàÿ â êà÷åñòâå îäíîé èç ôóíê-öèé íàäñòðîéêè MS Word: äëÿ êàæäîãî ñòàðîðóñ-ñêîãî òåêñòà, êîòîðûé èñïîëüçîâàëñÿ äëÿ èññëåäî-âàíèÿ, ñîçäàí ñëîâàðü ñëîâîóïîòðåáëåíèé (ýêçåì-ïëÿðîâ ñëîâ). Ïîëüçóÿñü äàííûì ñëîâàðåì, èìåÿ áàçîâûå çíàíèÿ î ñëîâîèçìåíåíèè ñòàðîðóññêîãî ÿçûêà, äëÿ êàæäîãî ñëîâà-çàïðîñà áûë ñîñòàâëåí
÷àñòîòíûé ñïèñîê ñëîâîôîðì, ñîäåðæàùèõñÿ â òåêñòå. Äàííàÿ ðó÷íàÿ âûáîðêà ïðîèçâîäèëàñü â ðàìêàõ ñëîâîèçìåíåíèÿ, íå çàòðàãèâàÿ ñëîâîîáðà-çîâàíèå (ó÷èòûâàÿ, ÷òî ðàçíèöà ìåæäó íèìè óñ-ëîâíà). Çàòåì ïðîèçâîäèëîñü òåñòèðîâàíèå ïðî-ãðàììû, è ðåçóëüòàòû ïîèñêà ñîïîñòàâëÿëèñü ñî ñïèñêàìè ñëîâîôîðì.
Äëÿ êàæäîãî èñïîëüçóåìîãî â èññëåäîâàíèè òåêñòà áûëî îòîáðàíî îïðåäåëåííîå êîëè÷åñòâî ïåðâûõ â òåêñòå ñëîâ, ïðåäñòàâëåííûõ áîëåå ÷åì îäíîé ñëîâîôîðìîé. Ýòè ñëîâà èñïîëüçîâàëèñü â êà÷åñòâå çàïðîñîâ. Ýêñïåðèìåíòû ïîâòîðÿëèñü äëÿ êàæäîãî ñëåäóþùåãî ñëîâà äî òåõ ïîð, ïîêà ñòà-òèñòèêà ðåçóëüòàòîâ èññëåäîâàíèÿ ïî òåêñòó íå äîñ-òèãàëà îòíîñèòåëüíîé óñòîé÷èâîñòè. Êàê ïðàâèëî, áûëî äîñòàòî÷íî, ÷òîáû èññëåäîâàíèå çàòðîíóëî îêî-ëî 2 % ñîêî-ëîâ òåêñòà.
Åñëè ïñåâäîîñíîâà íå áûëà íàéäåíà â ñëîâàðå, ýâðèñòè÷åñêèé ïîèñê èíîãäà äàâàë â êà÷åñòâå ðå-çóëüòàòîâ ïîìèìî ñëîâîèçìåíèòåëüíûõ ôîðì íåêî-òîðûå ñëîâîîáðàçîâàòåëüíûå ôîðìû.
 ïðîöåññå òåñòèðîâàíèÿ ïîïîëíåíèå ñëîâàðÿ ïñåâäîîñíîâ è ñëîâàðÿ ïñåâäîîêîí÷àíèé íå ïðî-èçâîäèëîñü, òàê êàê öåëüþ òåñòèðîâàíèÿ áûëî òàêæå îïðåäåëèòü êà÷åñòâî ýâðèñòè÷åñêîãî àíàëèçà è îáúåì òðåáóåìûõ äàëüíåéøèõ ðàáîò ïî ðàñøèðå-íèþ ñëîâàðåé.
Äëÿ êàæäîãî èññëåäîâàííîãî òåêñòà ñîñòàâëåíà äèàãðàììà ðåçóëüòàòîâ ïîèñêà. Íà âñåõ ïðåäñòàâ-ëåííûõ íèæå äèàãðàììàõ ïåðâûé ñòîëáåö ïîêàçû-âàåò, äëÿ êàêîãî ïðîöåíòà ñëîâ-çàïðîñîâ ñòåì-ìèíã áûë ïðîèçâåäåí íåêîððåêòíî ïî ïðè÷èíå íåäîñòàòî÷íîé ïîëíîòû ñëîâàðÿ ïñåâäîîêîí÷àíèé.
Âòîðîé ñòîëáåö ïîêàçûâàåò, äëÿ êàêîãî ïðîöåíòà ñëîâ-çàïðîñîâ ïñåâäîîñíîâà íå áûëà íàéäåíà â ñëîâàðå ïñåâäîîñíîâ ñîâðåìåííîãî ðóññêîãî ÿçû-êà. Òðåòèé ñòîëáåö ïîêàçûâàåò, êàêîé ïðîöåíò èñêîìûõ ñëîâîôîðì, ïðèñóòñòâóþùèõ â òåêñòå, íå áûë íàéäåí. ×åòâåðòûé ñòîëáåö ïîêàçûâàåò, êà-êîé ïðîöåíò èñêîìûõ ñëîâîóïîòðåáëåíèé íå áûë íàéäåí. Ïÿòûé ñòîëáåö ïîêàçûâàåò, êàêîé ïðî-öåíò íå íàéäåííûõ ïðîãðàììîé ñëîâîôîðì íå áûë íàéäåí ïî ïðè÷èíå ÷åðåäîâàíèÿ ïñåâäîîñíîâ.
Øåñòîé ñòîëáåö ïîêàçûâàåò òîò æå ïðîöåíò äëÿ ñëîâîóïîòðåáëåíèé. Äàííîå ãðàôè÷åñêîå ïðåäñòàâ-ëåíèå, áåç ãðóïïèðîâêè è íàëîæåíèÿ ñòîëáöîâ, îêàçàëîñü íàèáîëåå íàãëÿäíûì äëÿ âûäåëåíèÿ ñó-ùåñòâåííûõ õàðàêòåðèñòèê.
Òàêèì îáðàçîì, äëÿ äâóõ ïåðâûõ ñòîëáöîâ ïðî-öåíò ñîîòâåòñòâóþùèõ îøèáîê ïîèñêà âû÷èñëÿåò-ñÿ îòíîñèòåëüíî ñëîâ-çàïðîñîâ, äëÿ 3-ãî è 4-ãî ñòîëáöîâ ïðîöåíò îøèáîê âû÷èñëÿåòñÿ îòíîñè-òåëüíî êîëè÷åñòâà ñëîâ, êîòîðûå äîëæíû áûëè áûòü íàéäåíû â ëó÷øåì ñëó÷àå, äëÿ 5-ãî è 6-ãî ñòîëáöîâ ïðîöåíò îøèáîê âû÷èñëÿåòñÿ ñîîòâåò-ñòâåííî îò îáùåãî êîëè÷åñòâà íå íàéäåííûõ ñëî-âîôîðì è ñëîâîóïîòðåáëåíèé. Óêàçàííûå â äèàã-ðàììàõ ïðîöåíòû îêðóãëåíû äî öåëûõ. Äëÿ êàòåãî-ðèé, èìåþùèõ çíà÷åíèå 0%, ñòîëáöû îòñóòñòâóþò.
Íàèáîëåå ïîêàçàòåëüíûìè ÿâëÿþòñÿ 2-é, 3-é è 4-é ñòîëáöû.
Âûáîð òåêñòîâ äëÿ èññëåäîâàíèÿ áûë
îãðàíè-÷åí â ñâÿçè ñ îòñóòñòâèåì òî÷íîé äàòèðîâêè ìíî-ãèõ ïðîèçâåäåíèé. Ðåçóëüòàòû ðàáîòû ñ òåêñòàìè 1-é òðåòè XVIII â. ïðåäñòàâëåíû íà äèàãðàììàõ 14. Òåêñòû, äëÿ êîòîðûõ ñîñòàâëåíû äàííûå äè-àãðàììû, íàïèñàíû ðàçëè÷íûìè àâòîðàìè è ïðåä-ñòàâëÿþò ñîáîé öåðêîâíûå ãðàìîòû. Ðàáîòà ñ ñàìûì ðàííèì èç èìåþùèõñÿ â ðàñïîðÿæåíèè òåêñòîâ XVIII â. [4] (äèàãðàììà 1) äåìîíñòðèðóåò âûñîêîå
êà-÷åñòâî ýâðèñòè÷åñêîãî àíàëèçà ïðè ìàëîì êîëè÷åñòâå ñëîâàðíûõ ïñåâäîîñíîâ. Äèàãðàììà 2 îòðàæàåò ñòà-òèñòèêó îäíîâðåìåííî ïî äâóì èñòîðè÷åñêèì äîêó-ìåíòàì [7, 3], áëèçêèì ïî ñîäåðæàíèþ, ñâÿçàííûì ñ òåêóùèìè èñòîðè÷åñêèìè ñîáûòèÿìè è íàïèñàííûì â îäèí äåíü, íî ðàçëè÷íûìè àâòîðàìè. Ñòàòèñòèêà äëÿ äàííûõ ïðîèçâåäåíèé ñîâïàäàåò.  òîò æå äåíü âûõîäèò åùå îäíà ãðàìîòà [5], ñòàòèñòèêà ïî êîòî-ðîé ïðåäñòàâëåíà â äèàãðàììå 3, è â òîò æå ìåñÿö åùå îäíà [6] (äèàãðàììà 4). Îïðåäåëåííîå ñõîäñòâî äàííûõ òåêñòîâ îòðàæàåòñÿ â äèàãðàììàõ.
Äèàã. 1. Ãðàìîòà Ïåòðà I, 1721 ã.
Äèàã. 2. Ãðàìîòû Èåðåìèè è Àôàíàñèÿ, 1723 ã.
Äèàã. 3. Ãðàìîòà âñåëåíñêîãî ïàòðèàðõà, 1723 ã.
Äèàã. 4. Ãðàìîòà âîñòî÷íûõ ïàòðèàðõîâ, 1723 ã.
Äèàã. 5. Ïèñüìî Ëîìîíîñîâà Øóâàëîâó, 1753 ã.
Äèàã. 6. Ïèñüìî Ëîìîíîñîâà Øóâàëîâó, 1761 ã.
Âòîðàÿ òðåòü XVIII â. ïðåäñòàâëåíà â èññëåäîâàíèè äâóìÿ ïèñüìàìè Ì. Â. Ëîìîíîñîâà ê È. È. Øóâàëîâó [15, 16] ñ ðàçíèöåé â 8 ëåò (äèàãðàììû 5 è 6 ñîîòâåò-ñòâåííî). Îäíàêî ïðÿìîå ñõîäñòâî ìåæäó äàííûìè äèàãðàììàìè íå íàáëþäàåòñÿ.
Äèàã. 7. «Ïîäðàæàí³å ïñàëìó XVII», 1795 ã.
Äèàã. 8. «Ïîñëåäíèé äåíü Åêàòåðèíû II», 1796 ã.
Äèàã. 9. «ÑÅñòðàìú», 1797 ã.
Äèàã. 10. «Ðîññèÿäà», 1807 ã.
Äèàã. 11. «Ïåñíü ðîññèéñêîìó ñëîâó», 1809 ã.
Äèàã. 12. «Êíèãà ñèñòåìà », 1722 ã.
Äèàã. 13. «Âîéíà ìûøåé è ëÿãóøåê», 1772 ã.
Êîíåö XVIII â. ïðåäñòàâëåí íà äèàãðàììàõ 79 ïðîèçâåäåíèÿìè Êðûëîâà, Ðàñòîï÷èíà è Áàòþøêî-âà [1, 13, 26]. Ïðîèçâåäåíèÿ ñîçäàíû ñ ðàçíèöåé âî âðåìåíè ìàêñèìóì 2 ãîäà è îòíîñÿòñÿ ê ðàçëè÷íûì æàíðàì: ïîýçèÿ, èñòîðè÷åñêîå ïîâåñòâîâàíèå è ýïè-ñòîëÿðíûé æàíð. Âûñîêàÿ ðåëåâàíòíîñòü ïîèñêà â [26] ÿâëÿåòñÿ èñêëþ÷åíèåì.
Îòäåëüíî òðåáóåòñÿ ðàññìîòðåòü ïåðåâîäû ñ èíî-ñòðàííûõ ÿçûêîâ, âûïîëíåííûå â XVIII â.  ðàìêàõ ïðîåêòà áûëî îöèôðîâàíî è ïåðåâåäåíî â òåêñòîâûé ôîðìàò (ñ èñïîëüçîâàíèåì ïðîãðàììû ABBYY FineReader è ïîñòêîððåêöèè) èñòîðè÷åñêîå ïîâåñòâî-âàíèå [12] (äèàãðàììà 12), ïåðåâîä ñ ëàòèíñêîãî ÿçûêà. Äëÿ èññëåäîâàíèÿ áûëî òàêæå èñïîëüçîâàíî ñàòèðè÷åñêîå ïðîèçâåäåíèå [27] (äèàãðàììà 13) ïåðåâîä ñ ãðå÷åñêîãî è ëàòèíñêîãî ÿçûêîâ.
Êàê âèäíî èç äèàãðàìì, êà÷åñòâî ïîèñêà ñ ó÷åòîì ñëîâîèçìåíåíèÿ XVIII â. íà îñíîâå ïðåäëîæåííîãî àëãîðèòìà íå îáëàäàåò áîëüøîé çàâèñèìîñòüþ îò âðå-ìåíè ñîçäàíèÿ ïðîèçâåäåíèÿ. Íå ñìîòðÿ íà òî, ÷òî íåêîòîðîå âëèÿíèå òåìû, æàíðà è âðåìåíè ñîçäàíèÿ ïðîèçâåäåíèé ïðîñëåæèâàåòñÿ ïðàêòè÷åñêè âî âñåõ ñëó÷àÿõ, îñíîâíîé îáùåé ïðè÷èíîé îøèáîê ïîèñêà ÿâëÿåòñÿ ÷åðåäîâàíèå ïñåâäîîñíîâ.
Ñòàòèñòèêà äèàãðàìì ïîêàçûâàåò, ÷òî ïðîáëåìà
÷åðåäóþùèõñÿ îñíîâ ÿâëÿåòñÿ íàèáîëåå àêòóàëüíîé.
Äëÿ ïîâûøåíèÿ êà÷åñòâà ïîèñêà íåîáõîäèìî èíäåê-ñèðîâàòü ñëîâàðü îñíîâ è îïðåäåëèòü ïàðàäèãìû ñëî-âîèçìåíåíèÿ, à òàêæå, âîçìîæíî, èñïîëüçîâàòü êëàñ-ñèôèöèðóþùèå ãðàììàòè÷åñêèå êàòåãîðèè.  öåëÿõ óïðîùåíèÿ äàííîé ðàáîòû áûëà ñîçäàíà èñõîäíàÿ âåðñèÿ ãðàììàòè÷åñêîé ðàçìåòêè ÑÀÐ. Ñ èñïîëüçî-âàíèåì ðàçðàáîòàííîé ïðîãðàììû äëÿ êàæäîãî ñëî-âà ÑÀÐ îñóùåñòâëåí ïîèñê åãî îñîâðåìåíåííîãî ñëî- âà-ðèàíòà â ýëåêòðîííîé âåðñèè ñëîâàðÿ À.À.Çàëèçíÿ-êà è ïåðåíîñ ãðàììàòè÷åñêèõ èíäåêñîâ. Òàêèì îá-ðàçîì, áûëî êîððåêòíî íàéäåíî ñîîòâåòñòâèå ñîâðå-ìåííûì ñëîâàì áîëåå ÷åì äëÿ 50% ñòàðîðóññêèõ ñëîâ ÑÀÐ. Ïîìèìî ïîïîëíåíèÿ ñëîâàðÿ, â ñâÿçè ñ òåì, ÷òî îïðåäåëåííûé ïðîöåíò ãðàììàòè÷åñêèõ õàðàêòåðè-ñòèê ñòàðîðóññêîãî è ñîâðåìåííîãî ÿçûêà îòëè÷àåò-ñÿ, ñîçäàííûé ñëîâàðü ïëàíèðóåòñÿ ïîäâåðãíóòü êîð-ðåêöèè.
2.6. Äàëüíåéøèå ïëàíû èññëåäîâàíèÿ
Ñîâìåñòíî ñ ñîòðóäíèêàìè êàôåäðû ÈÐßß ÊÃÓ ïëàíèðóåòñÿ îñóùåñòâèòü ïîïîëíåíèå è ìîäèôèêà-öèþ ñëîâàðåé. Áàçîâûé ñëîâàðü ïëàíèðóåòñÿ ñòðóê-òóðèðîâàòü àíàëîãè÷íî ìîðôîëîãè÷åñêîìó ñëîâàðþ ñèñòåìû «Äèàëèíã» è èíäåêñèðîâàòü ñîîòâåòñòâåí-íî ãðàììàòèêå ñòàðîðóññêîãî ÿçûêà. Ðàçìåòêà ñëîâà-Êðîìå òîãî, áûëè ïðîâåäåíû èññëåäîâàíèÿ äëÿ
òåêñòîâ, ïðèíàäëåæàùèõ òàê íàçûâàåìîìó äîëãîìó XVIII â. (16601825 ã.) [34, 35] Äèàãðàììû 10, 11.
Ïîíÿòèå «äîëãèé XVIII âåê» èñïîëüçóåòñÿ ñïåöèàëè-ñòàìè ïî èñòîðèè ðóññêîãî ÿçûêà. Äëÿ òàêîãî èññëå-äîâàíèÿ â ðàñïîðÿæåíèè èìååòñÿ äâà ïðîèçâåäåíèÿ ñ òî÷íîé äàòèðîâêîé ïåðåâîäà, ïðèíàäëåæàùèå æàí-ðó ïîýçèè. Îáà ïðîèçâåäåíèÿ îòëè÷àþòñÿ ñðàâíè-òåëüíî íèçêîé äîëåé îøèáîê, âûçâàííûõ ÷åðåäîâà-íèåì ïñåâäîîñíîâ.
ðÿ ïîçâîëèò óñîâåðøåíñòâîâàòü àëãîðèòì ïîèñêà.
Ïëàíèðóåòñÿ ñîçäàíèå ïðîãðàììû äëÿ ðàáîòû ñ ìîðôîëîãè÷åñêèì ñëîâàðåì ñòàðîðóññêîãî ÿçûêà â êîäèðîâêå Unicode. Êîìïîíåíòû ñèñòåìû «Äèà-ëèíã» äëÿ äàííûõ öåëåé íå ïîäõîäÿò.
2.7. Ïåðñïåêòèâû âíåäðåíèÿ
Âíåäðåíèå ïðåäñòàâëÿåòñÿ âîçìîæíûì â ðàñøèðåí-íîì ïîèñêå ßíäåêñ, â Íàöèîíàëüíîì êîðïóñå ðóññêî-ãî ÿçûêà (ÍÊÐß) [20] íà ñåðâåðå ßíäåêñ, à òàêæå â íàñòîëüíîì ïðèëîæåíèè «Ïåðñîíàëüíûé ïîèñê» ïðè óñëîâèè, ÷òî â íåì áóäåò â äîñòàòî÷íîé ìåðå ðåàëè-çîâàíà ïîääåðæêà Unicode.
Âíåäðåíèå ìîðôîëîãè÷åñêîãî ðàñøèðåíèÿ äëÿ ñòàðîðóññêîãî ïîèñêà â ñèñòåìó ßíäåêñ ïðåäñòàâ-ëÿåòñÿ áîëåå óíèâåðñàëüíûì ðåøåíèåì, ÷åì ðàçðà-áîòêà ñïåöèàëüíîé ìåòàïîèñêîâîé ñèñòåìû íà áàçå ßíäåêñ.XML. Ñèìâîëû çàïðîñà íà ñòàðîðóññêîì ÿçûêå êîððåêòíî îáðàáàòûâàþòñÿ èç ñòðîêè ðàñ-øèðåííîãî ïîèñêà ßíäåêñà. Êàê è äëÿ äðóãèõ ÿçû-êîâ, ìîæíî àâòîìàòèçèðîâàòü âûáîð
ìîðôîëîãè-÷åñêîãî ðàñøèðåíèÿ ñòàðîðóññêîãî ÿçûêà, îïðåäå-ëÿÿ åãî â çàïðîñå ïî õàðàêòåðíûì ñèìâîëàì XVIII
XIX ââ. Ïðè ýòîì òàêæå íåîáõîäèìî îòêëþ÷åíèå àâòîìàòè÷åñêîãî ïåðåõîäà â èíòåðôåéñ ñòàíäàðòíî-ãî ïîèñêà ßíäåêñ: ýòà îñîáåííîñòü ïðèíóæäàåò âîç-âðàùàòüñÿ ê ðàñøèðåííîìó ïîèñêó ïðè êàæäîì ñëåäóþùåì çàïðîñå â ñòàðîðóññêîé îðôîãðàôèè.
 ïðîñòåéøåì ñëó÷àå ïðåäñòàâëÿåòñÿ âîçìîæíûì ââå-ñòè ñîîòâåòñòâóþùóþ îïöèþ.  ëó÷øåì ñëó÷àå ìîæ-íî ðåàëèçîâàòü äîñòàòî÷ìîæ-íî ïîëíóþ ïîääåðæêó Unicode â ñòàíäàðòíîì ïîèñêå ßíäåêñ.
Íåêîììåð÷åñêàÿ âåðñèÿ ïàðñåðà MyStem íåêîð-ðåêòíî ðàáîòàåò ñ òåêñòîâûìè ôàéëàìè â êîäè-ðîâêå Unicode. Îäíàêî MyStem ïðàâèëüíî îáðàáà-òûâàåò äåñÿòåðè÷íûå Unicode-êîäû XML (íàïðè-ìåð, ѣ «ÿòü» è ò. ä.). Ïåðåä
ìîðôîëîãè-÷åñêèì àíàëèçîì MyStem çàìåíÿåò ñòàðîðóññêèå ñèìâîëû ðîäñòâåííûìè ñèìâîëàìè ñîâðåìåííîãî ÿçûêà («ÿòü» «å» è ò. ä.) è ïðîèçâîäèò àíàëèç ñîîòâåòñòâåííî ñëîâîèçìåíåíèþ ñîâðåìåííîãî ðóñ-ñêîãî ÿçûêà.  îòëè÷èå îò íåêîììåð÷åñêîé âåðñèè ïàðñåðà MyStem ðàñøèðåííûé ïîèñê ßíäåêñ äëÿ ñòà-ðîðóññêîãî ÿçûêà ïðîèçâîäèòñÿ òî÷íî êàê â çàïðîñå.