Нейронные сети для обработки информации 5279025674

Citation preview

Co.Qep>KaHMe

K 'IHTaTemo

9

Upe.r.uCJioeue K pyccKOMY 01.r.aunto

13

Upe.r.uCJioeue

16

1. BBFJJ.EHDE

17

1.1. l.2. 1.3.

EiuonorH'JeCKHe OCHOBhl YHKUHOHHpOBaHIDI Heii:poHa . . . . . . . . . . . . . . . . . • . . . . CTepBLIC MO)lCJIH HCHpoHHOH CeTH . . . . . . . . . • . . . • . . . . . . . . . . . . . . . . . . . . . . . . . npHKJill,!U{hlC B03MO>KHOCTH HeHpoHHhlX Cereii: . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2. MO~EJIH HEDPOHOB H METO~hl HX OJ>Y11EHIDI 2.1. 2.2. 2.3. 2.4. 2.5. 2.6. 2. 7.

nepcerrrpoH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . • . . • . . . . CHrMOH)laJihHLIH Heii:poH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . • . . . . . . • . . . . Heii:pOHTnrra "a11aJiaiitt" . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11HCTap H oyTcTap rpocc6epra. . . . . . . . . . • • . . . . • . . . . . . . . . . . . . • . . . . . . • . . . . Heii:poHhl Tuna WTA ... . .................... . .... -. . .. . . . . . . . . . . . . . . . . . MoneJib tteii:potta Xe66a. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . CToxaCTif'leCKaJI MoneJih tteii:poHa . . . • . . . . . . . . . . . . . . • . . . . . . . • • . . . . • • . . . . .

19 20 22

25 26 27 32 34 37 40 44

3. O~HOHAUPABJIEHHLIE MHOroCJIODHLIE CETH CHrMO~~bHOrOTHilA

46

3.1. 3.2.

47 50 50 51 55 60 60 62 63 65 67 68 71 71 73 73 75 78 81 86

3.3. 3.4.

3.5. 3.6.

3. 7. 3.8.

3.9.

0)lHOCilOHHaJI CeTb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . Mttorocnoii:H&Iii: rrepcempoH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . • . . . . 3.2.1. CrpJKrypa rrepcerrrpoHHOH cem........ .. ........................ 3.2.2. AnropHTM o6parnoro paCIIpoc-rpaHCHIDI OIUH6KH . . . . . . . . • . . . . . . • . . . . nmoKOBhle rpalj>bI H HX rrpHMeHeHHe )lJIJl rettepaUHH rpallHCHTa . . . . . . . . . . . . . . . rpa.nneHTHhle aJiropHTMbl o6)"ICHIDI CeTH ..................... , . . . . . . . . . . . 3.4.1. OcttoBHhle rronolKeHIDI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.2. AnropHTM H8HCKOpeii:IUero crrycKa . . . . . . . . • . . . . . . . . . . . • . . . . . . . . . . . 3.4.3. AnropHTM rrepeMCHHOH MeTpHKH . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . 3.4.4. AnropnTM J1eneH6epra-MapKeapnrn. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.5. AnropHTM corrpJDKeHHbIX rpa,nHeHTOB . . . . . . . . . . . . . . . . . . . . . • . . . • • • . . non6op Ko3HQHeHTa OO)"IeHIDI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . • 3npucmqecKHe MerO)lhI o6)"IeHIDI cem . . . . . . . . . • . . . . . . . . . . . . . . . . . . . . . . . . 3.6.1. AnropHTM Quickprop ...............•.....•............ , . . . • . . . . 3.6.2. AnropnTM RPROP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . CpantteHHe 3¢1j>eKTHBHOCTH aJiropHTMoB OO)"IeHIDI . . . . . . . . . . . . . • . . . . . . . . . . . 3neMeHTbl rno6am,ttoii: OIITHMH3filtHH . . . . . . . . . . . . . . . . . . . . . . . • . . . • . . • . . . . 3.8.1. AnropHTM HMJITaUHH OTlKJITa . . . . . . . • . . . . . • . . . . . . . . . . • . . . . . . . . . . . 3.8.2. reHeTHqecKHe aJiropHTMbl . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . . • . . . . MeTOJlhI HHHUHaJIH3aunn necon . . . . . . . • . . . . . . . . . • • . . . . . . . . . . • . . . . . . • . . . .

6

CoiJep:»CaHue

4. IlPOli.JIEMLI IlPAKTH'iECKoro llCilOJIL30BAHIDI llCKYCCTBEHHLIX HE:iiPOHHLIX CETER 4.1. 4.2.

Ilpe.llBapHTCJILHblH no.ll6op apXHTCKT)'pLI CeTH . • . • . • . . • . . . • . • • • • • • • • . • • • • • • Ilo,ll60p OnTHMBJILHOH apxHTCKT)'pLI CeTH • • • • • • • • • • • • • • • • • • • . • • • • • • • • • . • • .

4.2.1. Cnoco6HocTL K o6o6meHHIO • • • • • • • • • • • • • . • • • • • • • • • • • . • • • • • • • • • • • 4.2.2. MeTO.llbI peJzyKllHH CeTH c y'leTOM 11yscTBHTeJILHOCTH • • • . • • • • • • • . • • • • • 4.2.3. MeTO.llLI pe.llyKUHH CeTH c ucnoJIL30BaHHeM WTJ>&l}>Hoif l}lyHKUHH • • • • • • • • 4.3. 4.4. 4.5. 4.6.

MeTO.llbl HBp8WHB8HHJI CeTH • • • • • • • . • • • • • • • • • • • • . • • . • • . . . . . . • • • . • • • • • • •

89 92 92 98 103 105

,[(o63BJICHHe W}'M8 B 06yqaromue BLI60pKH • • • • • • • • . . • • • • . • • . • • . • . . • • • • . • •

105 107

IlpHMepLI HCfiOJIL30B8HHJl nepCefiTJ>OHHOH CeTH

110

IlO.llOOp o6y'l310IUHX BLIOOpoK • • • • • • • • • • • • • • • • • • • . • . . . . . • • • • • • • • . • • • . • .

4.6.l. 4.6.2. 4.6.3. 4.6.4.

. .•••••••••.•••••••. ••••••• •. . ••••.•.•. ••••.••••••••

ll 0

HeifpoHH8JI CeTb ,llJIJI C)l(aTHJI Jl8HHLIX • . • • • . • • • • • • • • • • • • • • • . • • • • • • • •

116 121 124

Pacno3HaBaHne H KJiaccul}luKaUHJI o6pa30B fueHTHl}IHK8UHJl,llHH8MH'ICCKHXo6i.etcroB

•••••.••••.•••.•. .••.••.••

IlporH03HpoB8HHe Harpy30K 3HepreTH'leCJCOH CHCTeMbl . • • • • • • • • • • • • • • •

S. PA,lUIAJILHLIE HEHPOHHLIE CETll 5.1. 5.2. 5.3.

89

129

MareMaTH'lecKHe ocHOBbl • • . • • • • • • • • • • • • • • • • • • • • • • • • • • • • . • • . • • • • • • . . • .

130

P8.ll.H8JILH8JI HeHpottHaJI CeTb • • • • • . • • • . • . • • • • • . • . • • . • • . • . • • • • • . • • • . • • • . •

132

MeTO.llbl o6y'leHHJl parutam.HLIX HeiipoHHL1x ceTeif • • . • • • • . • • • • • • • • • • • • • • • • • •

137

5.3.1. IlpHMeHeHHe npouecca caMoopr8HH38UHH ,llJIJI YTO'IHeHHJl napaMCTJ>OB P8.ll.H8JILHLIXl}lyHK11HH • • • • . • • . • • . • • • . . • • . . • • • • • • • • . • • • • • • • • • • • • •

139

5.3.2. BepouHOCTHLIH aJiropHTM no}l6opa napaMCTJ>OB P8.ll.HaJILHLIX ¢YHKllHii • . • • • • • • • • • • • . • • • • • • • • • • • • • • • • • . • . • • • • • • . • • • • • . • • • • • .

5.3.3. fu6pHJlHLIH aJiropHTM o6y'leHH11 p8.llHaJILHLIX ceTeif • • • • • • • • • • • • • • • • • 5.3.4. AnropHTMbl o6yqeHHJl, OCHOB8HHLie Ha o6paTHOM pacnpocrpaHeHHH OWH6KH • • • • • • • . • • • • • • • • • • • • • • • • . • • • • • • • • • • • • • • • • • . • • • • • • • • • •

5.4. 5.5.

IlpuMep ucnoJIL30BaHHJ1 p8.llHaJILHOH ceTH

MeTOJlLI no.l16opa KOJIH'lecrsa 683HCHLIX l}lyHKUHii

5.5. l. 5.5.2. 5.6.

•••••••••••••••••••••••••••••••

3spHCTH'ICCKHe MCTOJlbl

••••••••••••••••••.•• ••••

••••••••••••••.••••••••••••••••••••••••.

MeTOllopTOfOH8JIH38UHH fp3M8-lUMHJlT8

•. .•••••.•.•••••••••••••••

Cp3BHeHue p8.llH8JlbHLIX H curMOH.!laJibHblX CeTeif

••••••••••••••••••••••••••

6. CilEl{HAJlll311POBAJ:IHLIE CTPYKTYPLI HEHPOHHLIX CETEH 6.1. 6.2.

CeTL KaCK8.llHOH KOppeJlllUHH aJILM&Ha

•••••••.•••••••••••••••••••••••••

CeTL BonLTeppH • • • • • • • . . • . • • . • • • • • • • • • • . • • • . • • • • • . . • . . • • • • • • • • • • . • .

6.2.1. CTJ>ynypa If oco6eHHOCTH o6y'leHHJ1 ceTH • . • . . • • . • . • • • . • • . • • . • • • • • 6.2.2. IlpHMCpLI HCfiOJIL30B8HHll CeTH Bom.TeppH • • • • • • • • • . . • • • • • . • • • • • • • •

7. PEKYPPEHTHLIE CETll KAK ACCOI.UfATllBHLIE 3AIIOMllHAIOl.IlllE YCTPODCTBA 7.1. 7 .2.

BseneHHe . • . • . • • • • • • • • • • • . . • . • • • • . • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • AsroaccouuarneHaJI ceTi. Xonl}IHJIJla

••.. •••••••••••. .. •••••••.••••••••••

7 .2.1. 0cHOBHhle 38BHCHMOCTH • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • . 7 .2.2. Pe)l(HM o6yqeHwt ceTH Xonl}IHJUla . . • • • • • • • • • • • • • • • • • • • • • • . • • • • • • • 7 .2.3. Pe)l(HM pacnooHaBaHHJl ceTH Xonl}IHJUla . • . • • • • • • • • • • • • • . • • • . • • • • • • . 7.3. 7.4.

CeTLXeMMHHra • • • • • • • • • . • • • • • • • • • . • • • • • • • • • • • • • • • • . • • • • • • • • • • • • • • • • CeTL

t:una BAM

•••••••. •••••••. ••. . ••. •••••••. ••••••. •••••••. •• . ••. •

7.4.1. Onucrume npouecca l}>YffKUHOHHpoBaHHll CeTH • • • • • • • • • • • • • • • • • • • • • • 7 .4.2. Mo.llHffUHPOB&HHLIH aJiropHTM 06y'leHH11 CeTH BAM • • • • • • • • • • • • • • • • 7.4.3. MO.llHl}IHUHpoBaHHaJI CTJ>YKTYP8 CeTH BAM.........................

142 144 146 149 151 151 152 157

159 159 163 166 169

176 176 178 178 180 182 184 189 189 191 192

Cooep:JK:aHue

7

8. PEKYPPEIITHblE CETH HA IJA1E IlEPCEilTPOHA 8.1. 8.2.

BseiteHJte • • . • . . . . • . • • . • • . . . . . • • • • . . . . . . . . . • . • • . . . . . • • • • . . . • . • • • . . • • IlepcerrrpoHHWI CCTb c o6paTHOH CBll3bl0 . • . . . • • . • • • • • • • . • • . • • • . • • . • • • • . . •

8.2.1. 8.2.2. 8.2.3. 8.2.4. 8.2.5. 8.3.

CrpyKT)'pa cern RMLP. • • • • • • . . • • . . . . • • . • • • • . • • • • . • • • . • . • . . • • • • AnropHTM o6yqeHID1 ceTH RMLP • • . • • . • • • . • • • . • • . . • • • • • . . • • • . . • . • Iloi16op K03$4>HUHeHT8 o6yqeHIDI • • • . • . • . • . • . • • • • • • • • • • • • • • . . • . • • • Ko~HUHeHTycHJieHIDICHrHana

••••.. . .•. . •.. . ••. . ••.•••.••. .••.

Pe3ynbTaThl KOMilblOTepHoro MoitenHposaHHll . . • • • • • • • • • • • • • . • . . • • • •

PeKyppeHTHWI CeTb 3nbMaHa. . . . • . . • • • • . • . . • . • • . • • • • . • • . . • • • • • • . • . • • • • .

8.3.1. 8.3.2. 8.3.3. 8.3.4. 8.4.

200

Ccrb

8.4.l. 8.4.2.

CTPYKTYP8 CeTH...................... . .... . ..... . ............. AnropHTM o6y'ICHIDI CeTH 3nbMaH8 • • • • • • • • • • • • • • • . • . • . . . • • • . • • . . • 06y11eH11e c y'leTOM MOMeHTa • • • . • • . • • . • • • . . • . • • . • . • • • . • • • • • • • . • . IlpHMep KOMilblOTCpHoro MOllCJIHp088HID! CeTH 3nbMaH8 • • • . • • • • • • • • • •

RTRN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . CTPYKTYPS CeTH H anropHTM o6y11eHIDI............... . ............. Pe3ynbTaTbI BbI'IHCnHTeJibHbIX 3KcnepHMCHTOB

•••••••. ••••. •••••••. •

9. CETH C CAMOOPrAHH1AUHEA HA OCHOBE KOHKYPEHUHH 9.1.

200 200 200 202 204 204 205 210 210 212 214 215 219 219 221

226

0TJIH'IHTCJibHble oco6eHHOCTH ceTeH c caMoopraHH38UHCH Ha OCHOBe KOHKYpeHUHH . . . . . . . . . . • . . . . . • . • • . . • • • • . • • • . . • . • • . . . • • • . . • . • • • • • . • . .

9.1. l. 9.1.2. 9.1.3.

Mepb1 pacCTOJIHIDI Me)l(Jly BeKTopaMH. . • . . • • • . • . . . . . • • • • • . . . • • . . • . .

227 228

HopManH38UHll seKTopos. . . . • • • • . . • • . • . • • • • . • • • . . . . • • • . • • . . . . . . •

229

Ilpo6neMa MePTBblX HeHpOHOB • . • • . • . . . • • . . • . . . . . . • • . • • . • . • • . . • . •

230 231 233 233 235 238 241 242 243

9.2. . AnropHTMbI o6yqeHID1 CCTeii c caMoopraHHJaUHeii • • • . • • • . . • • . • • • • • • . • • . • • • 9.2.1. AnropmMKoxOHCHa • . . . • • • • . • • . • • . . • • • . • • • • . • • • • • . . . • • • • • • • • • . 9.2.2. AnropHTM Heil.poHHoro ra38 . • . . . . . • . . . . • . . . • . . . . . • . . . . . • . . . . . . . . 9.2.3. CpaBHeHHe anropHTMOB caMoopraHH3auHH . • • • • • • • • • • • . • • • • • • • • • • • • 9.3. CeTb BOCCT8HOBJICHIDI OlUfO- H llBYMCPHbIX ll8HHblX 9.4. BoCCTaHOBJielille C3MMOHa ........••••..•••.• • ••••••••.••.•••••.•.•••• 9.5. IlpHMCHCHHCCCTeiiccaMoopraHHJauHeH ••. •.•••• .••.•. .••• • .••.. .•. .• • •. 9.5.1. KoMnpeCCHll itaHHbIX • • • • . . • • • • . . • . • • • . • • • . • • • • • • • • • • • • • • • • • • • • • 246 9.5.2. )lHaTHOCTHpoBaHHe HeHCnpaBHOCTCH o6opyllOB8HIDI . • . • • . . • . • . • • • • • • • 9.5.3. KpaTKOcpo'IHOC nporH03HpOB8HHe Harpy30K 3HeprCTH'ICCKOH CHCTCMbl•••••••.249 252 9.6. rH6pH..llHWI CCTb • • . . . • . . . . . • • • . • • • • • . . • • . • • . • • • • • • • • • • • • • • • • . • • • • • • • •

10. CETH c CAMOOPrAHH1AUHEA KOPPEJUIU.HOHHOro THilA 10. l. 10.2.

3Heprern'leCKaJI YHKUHJI KoppCJillUHOHHblX CeTeH • • • • • • • • • • • • • • • • • • • • . • • • • Heil.poHHbleceTHPCA • • • • . • • • • • • • • . • • • • • • • • • . . . • • • . . • • • • • • • • • • • • • • • • •

10.2.1. MaTeMarn11ecKoe see.neHHe • • • • • • . • • • • • • • • • • • . • • • • • • . • • • • • • • . . . • • 10.2.2. Onpe.neneHHe nepsoro rnaBHoro KOMDOHeHTa • • • • . . • . . • • • • • • • • • • • • . • 10.2.3. AnropHTMbl OnpellCJICHHll MHO>KeCTBa maBHblX KOMilOHCHTOB . • • . • • . . • • 10.3.

HeifpoHHhle ICA-ceTH XeponbTa-.lJ.>KYTieHa

•••••. •••••.. •. •••••••••••. •••

10.3.1. Ilpe.neapHTeJibHblC IlOllCHCHIDI • • • • • • • • • • • . . • • . • . • • . • • • • • • • • • • • • • • . 10.3.2. CTaTHCTH'ICCKaJI HeJaBHCHMOCTb cHrHanos • • . • • • . • . . • • • • • • • • • • • • • • . 10.3.3. PeKyppeHTHWI C'fPYKTYP8 pa3JlCJill10llleH ceTH • • • . • • • • • • . . . . • • . • • • . • • 10.3.4. AnropHTM XeponbTa-.lJ.>KYTieHa llJill peKyppeHTHOH ceTH . • . . • • • . • • • . . . 10.3.5. 06o6weHHblH anropHTM o6y11eHIDI peKyppeHTHOH CeTH . • . • • . . • • • . . • • • 10.3.6. OitHOHanpaBJieHHaJI CCTb llJill paJ.neneHID! CHTHanos • • • • • • • • • • • . . . • . • •

257 257 259 259 264 265 267 267 268 269 270 272 274

Cooep:HCaHue

IL '.\lATEMATlil.IECKHE OCHOBLI HE'IETKllX CliCTEM l l. l. Onepawrn Ha He'leTJ