创力股份（股票代码831429)新三板上市最新公告列表

Пример за вештачка невронска мрежа

百度 具体费用根据车型以到店核算为准。

Вештачка невронска мрежа - ВНМ (анг. artificial neural network - ANN) е парадигма за обработка на информации ко?а е инспирирана од начинот на ко? биолошки нервен систем, како што е мозокот, обработува информации. Клучниот елемент на оваа парадигма е необичната структура на обработувачки информациски систем. Таа е составена од голем бро? на ме?усебно поврзани елементи за обработка (неврони), кои работат едногласно за да се решат конкретни проблеми.

Поим за невронска мрежа

Вештачката невронска мрежае систем ко? е заснован на биолошките невронски мрежи, како што е мозокот. Невроните ме?усебно се поврзани со врски кои се нарекуваат синапси. Секо? неврон поседува ил?адници врски со други неврони преку кои константно добива сигнали што треба да бидат стигнат до телото на клетката (невронот). Доколку резултантната сума од сигналите надмине одреден дефиниран праг (threshold), преку аксонот се испра?а одговор. Тоа значи дека биолошкиот неврон ги сумира сигналите кои пристигнуваат до него, добиената сума ?а споредува со одреден праг и доколку таа го надмине прагот, невронот испра?а одреден излезен сигнал.

Невронските мрежи со сво?ата извонредна можност за изведува?е смисла од комплицирани или непрецизни податоци, може да се користат за да се изведат шаблони и да се детектираат трендовите кои се премногу комплексни за да бидат забележани од страна на лу?ето или други сметачки техники. Обучена невронска мрежа може да се смета за експерт во категори?ата на информациите што и се дадени да се анализираат. Ово? експерт потоа може да се користи за да обезбеди прогнози при дадени ситуации во доменот на нашиот интерес, и да одговори на праша?а од видот ?што ако...?“.

Другите предности вклучуваат:

• Адаптивно уче?е - способноста да се научи како да се изведат задачи врз основа на податоци дадени за обука или првично искуство;
• Сопствена организаци?а - вештачката невронска мрежа може да создава сопствена организаци?а или претстава на информациите што ги добива во текот на времето за уче?е;
• Операции во реално време - пресметките може да се извршуваат паралелно;
• Толеранци?а на грешки преку кодира?е на излишни информации (redundant information coding) - делумното унишува?е на мрежата води кон соодветна деградаци?а на делотворноста, но сепак некои способности може да се задржат дури и при големо оштетува?е на мрежата.

Состо?ба на активаци?а

Аналогно на биолошката интерпретаци?а, невронската мрежа во контекст на експертните системи претставува модел на пресметки со поврзовен пристап, ко? соодветно се состои од множество на обработувачки единки - неврони.

Главна одлика на невронските мрежи е состо?бата на активаци?а. Состо?бата на активаци?а во потесна смисла го претставува излезот од даден ?азол, а во поширока означува дали влезот на ?азелот бил над граничната вредност, односно дали невронот се активирал. Заради ме?уповрзаноста, во невронските мрежи имаме правило на пропагаци?а кое пропишува колку излезот на даден ?азол зависи од индиректните влезови во то? ?азол.

Во структурна смисла, невронската мрежа се состои од:

• Множество на обработувачки единици (неврони, ?азли);
• Состо?бата на активаци?а yk за секо?а единка, ко?а е еквивалентна на излезот од единката;
• Врски поме?у единките, при што вообичаено секо?а врска е дефинирана со тежина wjk ко?а го одредува ефектот (вли?анието) кое го има единката j на единката k;
• Правило на пропагаци?а, кое го одредува делотворниот излез на единка од неговите надворешни влезови;
• Функци?а на активаци?а Fk, ко?а ?а редефинира состо?бата на активаци?а врз основа на делотворниот влез (t) и актуелната активаци?а yk(t), т.е. дава нова вредност на состо?бата на активаци?а;
• Надворешен влез (bias или офсет) за секо?а единка;
• Метода за прибира?е на информациите (правило на уче?е);
• Средина во ко?а системот ?е де?ствува, обезбедува?е на влезни сигнали и ако е потребно, сигнали за грешка.

Секо?а единка извршува релативно едноставна задача: добива влез од соседите или од надворешни извори и го користи ова за да пресмета излезен сигнал ко? понатаму се шири (пренесува) до останатите единки. Освен оваа обработка, втора задача на невронот е поставува?е на тежините. Системот е паралелен, така да пове?е единки може да ги вршат своите пресметки во исто време.

Во рамките на невронските мрежи, разликува три типа на ?азли:

• влезни ?азли - кои ги примаат сигналите,
• излезни ?азли - кои ги испра?аат податоците надвор од системот, и
• скриени ?азли - чии влезни и излезни сигнали остануваат внатре во мрежата. Тие се користат само за внатрешна модификаци?а на мрежата.

За време на операциите, ?азлите може да се обновуваат синхроно или асинхроно. Ка? синхроното обновува?е сите ?азли ?а обновуваат сво?ата активаци?а истовремено, додека ка? асинхроните, секо?а ?азол има сво?а (вообичаено фиксна) веро?атност на обнова за време t, и вообичаено само една единка ?е може да изврши активаци?а во единица време.

Топологии на невронски мрежи

Разликуваме два типа на топологии на невронски мрежи:

1. Еднонасочни мрежи (feedforward) - Тука патеката на податоците од влезните до излезните ?азли е строго одредена. Обработката на податоците може да се прошири преку пове?е слоеви на ?азли, ме?утоа нема повратни врски, односно нема врски од излезни до влезни ?азли во исти или различни слоеви.
2. Повратни мрежи (рекурентни) - Тоа се мрежи кои содржат повратни врски. За разлика од еднонасочните мрежи, тука динамичките сво?ства на мрежата се важни. Во некои случаи, активациските вредности на ?азлите подлежат на процес на релаксаци?а, така да мрежата еволуира во стабилна состо?ба во ко?а овие вредности пове?е нема да се менуваат. Во други промени, промената на активациските вредности на излезните ?азли е знача?на, така да динамичкото однесува?е го чини излезот на мрежата.

Невронски мрежи како класификатори

Невронските мрежи имаат одлики кои ги прават многу погодни за користе?е во експертните системи, заради нивните погодности за создава?е на системи за класификаци?а. Некои од тие одлики се:

• можноста за паралелна, дистрибуирана обработка;
• архитектурата на насочен тежински граф му овозможува да меморира промена на тежини и прагови, и автоматски да класифицира;
• толерантноста на грешки и адаптибилноста, односно ако некои неврони не функционираат, останатите ?е се адаптираат.

Перцептрон

Перцептронот е вештачки неврон ко? моделира биолошки неврон од природата. То? добива n влезни сигнали кои соодветствуваат на бро?от на сво?ства (input features) од податочното множество кое се анализира, ги сумира тие влезни сигнали, го проверува резултатот (споредува??и го со одреден праг) и според него произведува излезен сигнал. Перцептронот се состои од пондери (weights - wi), процесор на сума (s) и активациска функци?а (f(s)). На сигналите кои доа?аат на влезот на перцептронот им се доделуваат пондери (weights) кои на?често претставуваат реални броеви како и влезните сигнали, така што зборуваме за вкупно n ?weighted inputs“, кои се влезни сигнали. Доколку првиот влезен сигнал го означиме со x1, а неговиот пондер со w1 додека i-тиот влезен сигнал е xi со пондер wi, тогаш последниот (n-ти) влезен сигнал е xn, а неговиот пондер е wn. Сумата на сите сигнали кои доа?аат на влезот на перцептронот претставуваат збир од сите производи на xi и wi, каде вредноста на i се движи од 1 до n.

S = Σwi × xi

Така добиената сума (S) се проследува како аргумент до активациска функци?а (f(s)) ко?а врши проверка (споредба) на сумата со одреден праг (θ). Доколку сумата е поголема од прагот (θ), перцептронот на излезот испра?а сигнал 1, додека во обратен случа?, кога сумата е помала или еднаква со прагот (θ,) излезниот сигнал на перцептронот е 0, иако во литературата може да се на?дат об?аснува?а за перцептронот каде излезните сигнали се 1 или -1. Притоа, сигналот врши пропагаци?а кон напред (forward propagation), доа?а??и на влезот на перцептронот, каде се врши пресметка и се извршува активациската функци?а, за на кра?от да биде произведен излезен сигнал.

w1 × x1 + w2 × x2 + wn × xn > θ (излезен сингал = 1)

w1 × x1 + w2 × x2 + wn × xn ≤ θ (излезен сингал = 0)

Перцептрон на едно ниво

Перцептроните се на?едноставните видови на еднонасочни мрежи. На?раните видови на невронски мрежи се мрежи со перцептрон на едно ниво, ко? се состои од еден сло? на излезни ?азли, влезовите одат директно во излезите преку сери?а на врски со тежини. Сумата на производите на тежините и влезовите се пресметува во секо? ?азол, и доколку вредноста е над неко? праг (вообичаено 0), ?азолот се активира и зазема активирана вредност (вообичаено, 1), спротивно зема деактивирана вредност (типично -1). Неврони со ваков вид на активациска функци?а се нарекуваат МекКалок-Питс неврони или прагови-неврони. Перцептрон може да се создаде со користе?е на било кои вредности за активирана и декативирана вредност, сè додека вредноста за прагот лежи поме?у овие две вредности. Пове?ето перцептрони имаат излези 1 или -1 со праг 0, и има некакви докази дека таквите мрежи може да се обучуваат побрзо од мрежите создадени со други вредности за активаци?а и деактиваци?а. Перцептроните може да се обучуваат со едноставен алгоритам за уче?е што често се нарекува и делта-правило. Алгоритмот ги пресметува грешките поме?у пресметаниот излез и излезот од примеркот на податоци и го користи тоа знае?е за да ги постави пондерите, со тоа имплементира??и форма на нивно постепено опа?а?е.

Покра? влезните сигнали кои потекнуваат од сво?ствата на податочното множество коригирани со одреден пондер, перцептронот на?често добива и уште еден влезен сигнал, познат како ?пристрасност“ (bias). То? типично се третира само како уште еден влезен сигнал и на то? начин може да се додаде во сумата на влезни сигнали. Перцептронот обично се користи при класификаци?а на класи што може линеарно да се разделат (linearly separable) и на?често се употребува при бинарна класификаци?а, во ко?а излезниот сигнал припа?а на една од две можни класи. Во случа? кога вредностите припа?аат на една од двете класи кои се линеарно раздво?ливи, тие физички можат да бидат одвоени со права лини?а. Во случаите каде посто?ат бесконечно многу прави кои физички можат да ги одво?ат класите, ко?а било права ко?а целосно ги одво?ува (perfect separation) е доволна за решава?е на проблемот на класификаци?а. Активациските функции ги преведуваат влезните сигнали во излезни сигнали и притоа во процесот користат одреден праг на активаци?а (threshold). Ка? перцептронот се користат четири типови активациски функции: unit step (threshold), piecewise linear, сигмоид и Гаусова функци?а.

Тренира?е (уче?е) ка? перцептронот

Доколку посто?ат n атрибути што опишуваат одреден ентитет од податочното множество наменето за уче?е, потребно е да се прона?дат n+1 пондери (n пондери + пристрасност) кои ?е бидат коефициенти во равенката на права, рамнина или хипер-рамнина ко?а ги разделува ентитетите според класите на кои тие припа?аат. При тренира?ето на перцептронот треба да се прона?де бараната права/рамнина/хипер-рамнина ко?а точно ?е подели две класи, на то? начин што се вршиме приспособува?е на пондерите и на пристрасноста. Перцептронот се тренира за да даде одговор на секо? влезен вектор (сигнал) соодветен со посакуваната вредност од 0 или 1. Податочното множество кое се користи за тренинг на?често има пове?е атрибути за дадениот случа?, така што влезниот сигнал може да се гледа и како вектор ко? претставува еднодимензионална низа. Доколку такво решение постои (доколку податоците се линеарно сепарабилни), теори?ата за перцептронот вели дека тоа ?е биде прона?дено за конечен временски период.

Уче?ето (тренира?ето) на перцептронот се спроведува според следниов алгоритам:

• Иници?ализаци?а на сите пондери (пондерите првично се поставуваат на вредност 0 или пак на друга мала вредност, по случаен избор).
• Избор на стапката на уче?е m (learning rate), на?често неко? мал бро? поме?у 0 и 1.
• Извршува? ги следниве чекори сè додека условот за завршува?е на тренингот не е исполнет (прона?дена е бараната права/рамнина/хипер-рамнина и грешката изнесува 0, или пак предефинираното време одредено за тренинг е истечено).

• Помини ги сите случаи од податочното множество за тренинг (x, actual), каде x е вектор составен од сите атрибути на дадената инстанци?а, а actual е вистинскиот излез (класа) на дадениот случа? ко? е познат од податочното множество за тренинг

• Пресмета? го излезот при активаци?а - предвидениот излез, ко? е функци?а од пондерираниот збир на влезни сигнали x: output = f(w'x)
• Примени го правилото за уче?е: 1) На?ди ?а грешката (error = output - actual); 2) Промени ?а пристрасноста: b = b + m*error; 3) За сите i влезни сигнали: w(i) = w(i) + error*m*x(i)

Притоа, едно целосно изминува?е (итераци?а) на сите случаи од податочното множество за тренинг се нарекува ?епоха“.

Според тоа, постапката за тренира?е на перцептронот е таква што векторите од податочното множество за тренинг треба да бидат предадени на влезот на перцептронот, последователно еден по еден. Доколку сигналот ко? се добива на излезот од перцептронот е точен (предвидениот резултат е ист со познатиот резултат од тренинг множеството), тогаш не се прават никакви промени. Во спротивно се применува ?правилото за уче?е на перцептронот“ кое врши исправка на пондерите и на пристрасноста. Тренингот е завршен кога за сите тренинг-вектори перцептронот ?е изврши точна класификаци?а (нема да се по?ави грешка), или пак ?е истече времето (бро?от на епохи) предвидено за тренинг. Кога е извршен тренингот на перцептронот, доколку на влезот се донесе тренинг-вектор (вектор од податочното множество за тренинг), тогаш на излезот ?е биде извршена точна класификаци?а. Доколку, пак, се донесе нов вектор на влезот, ко? не е дел од податочното множество за тренинг, мрежата се стреми кон тоа да изврши генерализаци?а, одговара??и со излезен сигнал, сличен на излезните сигнали добиени од тренинг-векторите кои се блиски со новиот, непознат вектор.

Перцептрон на пове?е нивоа

Оваа класа на мрежи се состои од пове?е слоеви на пресметковни единки, вообичаено поврзани со еднонасочни врски. Секо? неврон во еден сло? има директна врска со неврон во следниот сло?. Во многу апликации, единките на овие мрежи применуваат сигмоидна функци?а како активациска функци?а. Универзалната апроксимативна теорема за невронски мрежи тврди дека секо?а функци?а ко?а може да мапира R -> R може да биде приближно пресметана со перцептрон на пове?е нивоа со само еден скриен сло?. Ово? резултат се однесува само на одредени класи на активациски функции, како на пример, за сигмоидните функции.

Едносло?ниот перцептрон (single layer perceptron, SLP) е линеарен класификатор. Оттука, ако класите не се линеарно сепарабилни, процесот на уче?е никогаш нема да достигне момент каде сите случаи се соодветно класифицирани. Во то? случа?, доколку не постои услов за прекинува?е на процесот на уче?е (ограничува?е на бро?от на итерациите), алгоритамот на перцептронот ?е се извршува бескра?но, биде??и не постои решение на проблемот. На?познат проблем ко? ?а прикажува неможноста на перцептронот да решава проблеми каде се сретнуваат класи кои не се линеарно сепарабилни, е проблемот на XOR. Имено, логичката XOR-порта на излезот ?е даде сигнал 1 само ако двата влезни сигнали се ме?усебно различни (0 и 1 или 1 и 0). Во спротивно (ако на влезот доа?ааат сигнали 0 и 0 или 1 и 1), излезниот сигнал на XOR-портата ?е биде 0. Тогаш е невозможно да се постави права ко?а ?е ги одвои случаите според класата на ко?а припа?аат. За решава?е на проблемите од типот на XOR може да се искористи алгоритамот на пове?еслоен перцептрон (multi-layer perceptron) со пропагаци?а на грешка кон назад (back-propagation).

Пове?есло?ниот перцептрон ?а има истата структура како и едносло?ниот перцептрон, со таа разлика што има еден или пове?е скриени слоеви. Влезниот сло? е составен од сигнали кои доа?аат од податочното множество, додека пак секо? ?азел од скриениот и излезниот сло? претставува посебен перцептрон. Карактеристично тука е што како активациска функци?а (activation/transformation function) се користи сигмоидната функци?а, наместо threshold-функци?ата. Процесот на активаци?а ка? секо? ?азол (перцептрон) е истиот како ка? едносло?ниот перцептрон, т.е. се користат влезните сигнали и нивните пондери за да се пресмета пондерираната сума ко?а се предава на активациската функци?а. Истото се случува и ка? ?азлите од скриениот сло?, кои добиваат сигнали од влезниот сло?, додека пак излезните сигнали кои ги произведува скриениот сло? претставуваат влезни сигнали за ?азлите (?азолот) на излезниот сло?.

Пропагаци?а кон назад (Backpropagation)

Ка? назадното патува?е се користи грешката при излезот на излезниот сло? (output error – разликата поме?у предвидениот излез и саканиот излез), за да се поправи грешката на пондерите на влезните сигнали ка? излезниот сло?. Исправката се врши на пондерите на сигналите кои доа?аат од скриениот сло? и влегуваат во излезниот сло?. Истата постапка се извршува понатаму ка? секо? од ?азлите од скриениот сло?, така што се пресметува грешката при излез и таа се користи за поправа?е на пондерите кои ги добиваат влезните сигнали. На то? начин, грешката шири низ слоевите движе??и се од излезниот сло? кон влезниот сло?. Сето тоа е овозможено со употребата на сигмоидната функци?а, како нелинеарна активациска функци?а ко?а е диференци?абилна.

Уче?е ка? невронските мрежи

Уче?ето ка? невронските мрежи вклучува модификаци?а на тежините на врските според некое изменето правило. Главната иде?а е тоа што ако ?азлите ? и k се активни истовремено, нивната врска о?акнува. Уче?ето претставува пресликува?е од Х во Y и модификаци?а на врските. Посто?ат два начина на модификаци?а на врските во невронските мрежи:

• уче?е под надзор / самонадзор - со користе?е на претходното знае?е на проблемскиот домен, се поставуваат тежините на врските.
• уче?е без надзор / самоорганизаци?а - со обука на мрежата, таа да си ги менува врските според правилото на уче?е кое се спроведува од неко? примерок на дадени решени?а со влезови/излези од мрежата. Има сопствено претставува?е, нема претходно зададено знае?е т.е. започнува со случа?ни вредности за тежините на врските.

Повратни мрежи

Ка? повратните мрежи сре?аваме дводимензионален податочен тек (?амки).

?орданова мрежа

Едноставната повратна мрежа ко?а е вари?аци?а на перцептронот на пове?е нивоа се нарекува ?орданова мрежа. Трисло?на мрежа се добива со додава?е на повратни врски од излезните единки до т.н. состо?бени единки со фиксирана вредност на тежините на 1. Скриениот сло? е поврзан со врските од овие единки. При секо? чекор влезот се пренесува преку стандарден еднонасолен начин, и потоа се применува правилото за уче?е со обратно раширува?е (backpropagation). Фиксните повратни врски резултираат со одржува?е на копи?а од вредностите на претходните вредности од скриениот сло?. Ка? потполно повратна мрежа, секо? неврон добива влез од секо? друг неврон во мрежата. Овие мрежи не се ангажирани во слоеви. Вообичаено само подмножество на неврони добиваат надворешни влезови, а друго множество на неврони го репортира излезот надвор од мрежата и го вра?а кон сите неврони. Овие влезови и излези ?а изведуваат функци?ата на влезни и излезни слоеви ка? еднонасочните.

Елманова мрежа

Ка? Елмановата мрежа повратните врски се решаваат исклучиво во скриените слоеви.

Хопфилдова мрежа

Хопфилдова мрежа е комплетно поврзана мрежа од N ?азли, каде сите ?азли се истовремено и влезни и излзени.

Библиографи?а

• Проф. д-р Владимир Тра?кови?: ?Експертни системи“, скрипта. ФЕИТ, УКИМ, Скоп?е, 2010.
• Bar-Yam, Yaneer (2003). Dynamics of Complex Systems, Chapter 2 (PDF). Архивирано од изворникот (PDF) на 2025-08-14. Посетено на 2025-08-14.
• Bar-Yam, Yaneer (2003). Dynamics of Complex Systems, Chapter 3 (PDF).
• Bar-Yam, Yaneer (2005). Making Things Work. Please see Chapter 3
• Bhadeshia H. K. D. H. (1999). ?Neural Networks in Materials Science“ (PDF). ISIJ International. 39 (10): 966–979. doi:10.2355/isijinternational.39.966. Архивирано од изворникот (PDF) на 2025-08-14. Посетено на 2025-08-14.
• Bishop, C.M. (1995) Neural Networks for Pattern Recognition, Oxford: Oxford University Press. ISBN 0-19-853849-9 (hardback) or ISBN 0-19-853864-2 (paperback)
• Cybenko, G.V. (1989). Approximation by Superpositions of a Sigmoidal function, Mathematics of Control, Signals, and Systems, Vol. 2 pp. 303–314. electronic version Архивирано на 7 септември 2012 г.
• Duda, R.O., Hart, P.E., Stork, D.G. (2001) Pattern classification (2nd edition), Wiley, ISBN 0-471-05669-3
• Egmont-Petersen, M., de Ridder, D., Handels, H. (2002). ?Image processing with neural networks - a review“. Pattern Recognition. 35 (10): 2279–2301. doi:10.1016/S0031-3203(01)00178-9.CS1-одржува?е: пове?е ими?а: список на автори (link)
• Gurney, K. (1997) An Introduction to Neural Networks London: Routledge. ISBN 1-85728-673-1 (hardback) or ISBN 1-85728-503-4 (paperback)
• Haykin, S. (1999) Neural Networks: A Comprehensive Foundation, Prentice Hall, ISBN 0-13-273350-1
• Fahlman, S, Lebiere, C (1991). The Cascade-Correlation Learning Architecture, created for National Science Foundation, Contract Number EET-8716324, and Defense Advanced Research Projects Agency (DOD), ARPA Order No. 4976 under Contract F33615-87-C-1499. electronic version Архивирано на 3 ма? 2013 г.
• Hertz, J., Palmer, R.G., Krogh. A.S. (1990) Introduction to the theory of neural computation, Perseus Books. ISBN 0-201-51560-1
• Lawrence, Jeanette (1994) Introduction to Neural Networks, California Scientific Software Press. ISBN 1-883157-00-5
• Masters, Timothy (1994) Signal and Image Processing with Neural Networks, John Wiley & Sons, Inc. ISBN 0-471-04963-8
• Ness, Erik. 2005. SPIDA-Web Архивирано на 11 декември 2007 г.. Conservation in Practice 6(1):35-36. On the use of artificial neural networks in species taxonomy.
• Ripley, Brian D. (1996) Pattern Recognition and Neural Networks, Cambridge
• Siegelmann, H.T. and Sontag, E.D. (1994). Analog computation via neural networks, Theoretical Computer Science, v. 131, no. 2, pp. 331–360. electronic version Архивирано на 10 ноември 2011 г.
• Sergios Theodoridis, Konstantinos Koutroumbas (2009) "Pattern Recognition", 4th Edition, Academic Press, ISBN 978-1-59749-272-0.
• Smith, Murray (1993) Neural Networks for Statistical Modeling, Van Nostrand Reinhold, ISBN 0-442-01310-8
• Wasserman, Philip (1993) Advanced Methods in Neural Computing, Van Nostrand Reinhold, ISBN 0-442-00461-3