Претставен македонски суперкомпјутер направен од студенти

во ИТ.МК, Хардвер

„Суперкомпјутерот е склопен од студентите за студентите, од евтини компоненти и нема да бара многу за одржување.“, вели асистентот по информатички науки на универзитетот, Драги Кимовски.

Компјутерот е составен од два дела, core делот има 250 процесори и 300 GB RAM меморија, и сервер од 30 терабајти големина + дополнителен дел кој наместо хард диск ќе снима директно во меморијата и ќе овозможи студентските лаптопи да се поврзуваат во cluster.

Вкупно се потрошени 15.000 евра за изработување на суперкомпјутерот, но интересно сите делови се купени од продавница. Ниедна матична плоча не вреди повеќе од 5.000 денари, вели асистентот Кимовски. Затоа е и лесен за одржување, вели тој.

Компјутерот ќе биде достапен за користење преку интернет за сите заинтересирани корисници, а предност ќе имаат образовните и научни институции. Ќе се добива пристап преку логирање, но ќе има ограничувања.

„Ќе има ограничување, ќе се користи за паралелно програмирање, за да се избегне злоупотреба на моќта на машината.“, вели Кимовски додавајќи: „Целта ни е да им служи во наредните 5-10 години за креирање на професионални кадри.“

Суперкомпјутерот се уште нема име, а неговото официјалното претставување ќе биде на 20-ти декември.

Добивај известувања
Извести ме за
guest
64 Коментари
Најнови
Најстари Со највеќе гласови
Inline Feedbacks
View all comments
Ilir
Ilir
11 years ago

Cestitki za studentite. Im pozeluvam golem uspeh vo ova golema naucna oblast.

Лабораторија за суперкомпјутери при УИНТ Охрид
Лабораторија за суперкомпјутери при УИНТ Охрид
11 years ago

Бидејќи коментарите што ги прочитавме овде се од крајно негативни и цинични до крајно позитивни и пофални, ние како дел од тимот за изработка на овој систем би сакале да дадеме целосна информација за истиот без да има било какви забуни, а воедно и да ги повикаме сите заинтересирани, внимателно да го прочитаат целиот текст, и доколку имаат било какви забелешки и коментари веднаш да ги напишат, а доколку имаат интерес да научат нешто ново, можат слободно да не контактираат, а ние бесплатно им стоиме на располагање за да ги обучиме.

Со создавањето на овој систем, од страна на студентите и докторантите на УИНТ „Св. Апостол Павле“, Македонија влезе во трката за создавање на компјутери со супервисоки перформанси. Иако овој систем не може да се спореди со проектите кои се развиваат во САД, Европа и Кина, сепак преставува прв чекор кон освојувањето на оваа област. Целта при развивањето на овој систем беше да се направи супермоќна машина, со ниска цена и лесен начин за употреба. Главната причина за користењето на овој концепт за креирање на системот е тоа дека овој систем треба да биде создаден со помош на студентите, а подоцна да биде користен и одржуван од нивна страна. Оваа методика дава можност да се развијат кадри во областа на системите со високи перформанси кои подоцна би станале високо квалификувани кадри. Овие кадри ќе ја истакнат Република Македонија како земја која развива кадри во сите области на информациските науки. На кратко кажано ниската цена, лесна употреба и добрата топологија на овој систем даваат можност да биде користен за обука на студентите, која во споредба со онаа што ја даваат универзитетите и компаниите од Европа и САД ќе биде илјадници пати помала. Кажано со народни зборови влегуваме во Формула 1 трка со Фичо, но тоа уникатно подготвено Фичо ќе ни даде големо искуство за во иднина да направиме супербрз болид.
Системот се состои од два дела:
1. Главен систем со 250 процесорски јадра и брзина од 3 Терафлопи базиран на обични декстоп компјутери. Јадрата се поврзани со Гигабитен Етернет. А се користи оперативниот систем CentOS.
2. Помошен систем кој се базира на „live“ линукс верзија преку која секој обичен компјутер со мрежен адаптер може да стане дел од системот и да помага во работењето без при тоа да се оштетат податоците и оперативниот систем на сопственикот.

Системот е базиран на CentOS оперативен систем. Овој оперативен систем е избран бидејки има многу опции за кластерирање и голема брзина и скаларност за мрежни операции. Најважно е тоа што CentOS оперативниот систем е целосно бесплатен и има многу интернет ресурси и репозитории со огромен број на бесплатни програми со отворен код кои можат да се модифицираат.
Хардверски системот е базиран на кластер технологија со високи перформаси- HPC систем. Но што го прави овој кластер суперкомпјутер? По дефиниција секој кластер со брзина над 1 Терафлоп е HPC/суперкомпјутер систем. Значи овој систем слободно можи да се класифицира како суперкомпјутер. Оваа кластер архитектура е најзастапена во светот на суперкомпјутерите, од првите десет суперкомпјутери седум се во суштина кластери, пример за тоа се Jaguar, Jugene, Nebulae … Во овој дел не треба да се прави грешка и овој систем да се споредува со Грид мрежа, бидејки Грид е сосема различна технологија која се користи за слична намена. Грид е во суштина хардверски дистрибуиран систем со слаби врски мегу компонентите, додека нашиот суперкомпјутер има силни врски мегу елементите и е систем со дистрибуирана меморија. Тоа силно го дефинира како суперкомпјутер базиран на Кластер архитектура со најголеми димензии во РМ.
Самите процесорски јазли се направени од обични компјутерски елементи кои можат да се купат во секоја продавница. За тие елементи е општо познато дека се брзи, стабилни, многу издржливи и имаат ниска цена. Тоа е се што треба за еден систем направен за студенти. Затоа можиме да си дозволиме дури и на подот да ги ставиме самите компјутери.
За паралелнa комуникација мегу сите јазли се користим MPI – Message Passing Interface. Оваа библиотека се користи заедно со програмскиот јазик C. Користењето на овој програмски јазик го прави самото програмирање полесно. Освен тоа ќе се добие систем на кој студентите ќе научат паралелно програмирање и ќе можат да го користат секој суперкомпјутер во светот базиран на оваа технологија.
Мрежата е направана во топологија ѕвезда со користење на Етернет технологија. Зошто Етернет? Етернет иако има релативно висока латентност со паметно програмирање и добра и стабилна врска ова тесно грло лесно може да се преодолее. Втора голема предност на оваа технологија е тоа што е многу застапена и има ниска цена. Во споредба со Инфинибенд Етернет е побавна, но при системи кои се користат за локални математички операции со малку влезно излезни операции разликата е минимална. Затоа 50 % од првите 500 суперкомпјутери се базираат на Етернет. Доколку би користеле Инфинибенд цената на цел систем ќе пораснеше за 5 пати и одржувањате ќе беше 10 пати повисоко. Според нашите проценки и намената на суперкомпјутерот беше јасно дека воведувањето на Инфинибенд ќе ја зголеми многу цената, но нема многу да влијае на перформансите.
Но што ако го споредиме системот со систем направен од графички картички. Во последните година графичките процесори станаа многу брзи и софистицирани. Во векторски операции и математички операции со единечна точност се десетици пати побрзи од обичните процесори. Тие се тесно специјализирани само за тие операции и се состојат од повеќе прости јадра. Но во многу физички и математички операции се бара двојна точност, во оваа област графичките картички имаат послаби перформанси. Затоа тие се користат само како забрзувачи на системите. Доколку се земат како основни процесори многу е тешко да се синхронизираат. Друг недостаток е нивната ограниченост во однос на програмирање, кое е многу тешко и е во фаза на равиток. Доколку имате картичка од еден производител, се ограничувате комерцијално да користите само нивни платформи, и вашите програми нема да работат со никој друг продукт освен со комерцијалниот на кој вие работите. Значи се добива еден вид на голема комерцијална ограниченост во однос на системот. Друг недеостаток е високата цена на графичките картички и секој нивни одказ е тешко да се поправи и кошта многу пари. Затоа ние решивме дека треба да користиме графики картички, но само како појачувачи. Сепак прво сакаме да го искористиме овој систем до максимум, да научиме како да правиме по-оптимизирани програми. Следен чекор е да се додат графички картички во текот на 2011 и да ги искористиме и нив до максимум без да се ограничуваме комерцијално.
Во текот на 2011 е планирано да се додадат поголем број графички процесори со најниска цена кои ќе ја зголемат брзината на системот за 6 пати. Со тоа ќе се добие систем кој ќе ни помогни да бидиме поконкурентни во трката.
Со почит, лабораторија за суперкомпјутери при УИНТ Охрид.
Драги Кимовски
Атанас Христов

Горан Минов
Горан Минов
11 years ago

Cestitki

кајченемагајле
кајченемагајле
11 years ago

Го тепавме Иран! Направија Linux кластерче vo 2007 и покрај санцкии/блокади за увоз на хардвер:

"A researcher with the project’s team, Bahman Javadi, said the project is the result of two years of research, Fars reported.

“The supercomputer has 216 Opteron processing units with two gigahertz frequency that utilizes cluster technology and functions in a parallel manner. This computer has 56 gigabyte memory with a storage capacity of 5,800 gigabyte,“ he said.

Javadi noted that the supercomputer will be used for weather forecast in Iran’s Meteorological Organization and has the processing capacity of 860 billion actions per second."
http://vineyardsaker.blogspot.com/2007/08/iran-ma
http://www.computerworld.com/s/article/9051558/Ir

naprimer
naprimer
11 years ago

Колку ојт подвода?

New Duck
New Duck
11 years ago
Reply to  naprimer

od kanalon do trskine !

naprimer
naprimer
11 years ago
Reply to  New Duck

ак не ојт во глобоконо нишо не прајме.

Lol
Lol
11 years ago

Za 15 000 Evra da ne 0chekuvate najdobar kom na svetot ? :))

New Duck
New Duck
11 years ago
Reply to  Lol

15 000 evra … omg! kjuti ne se fali ziv sram … ke te kara profata :D

Stefan Petrusevski
11 years ago

Iako fali mnogu info… super inicijativa i od kazhanoto dobra realizacija.

Chekame ushte info :)

Заебант
Заебант
11 years ago

На Crysis колку фрејма вади ? :P

Stefan
Stefan
11 years ago
Reply to  Заебант

hahah crysis ne e parallel processing programa, taka da ke ti vadi onolku kolku sto samiot kompjuter odnosno edinicata na koja sto ke ja igras podrzuva.

@azder
11 years ago

Се сложувам со Ванчо, наместо да беа зависни, можеа да останат љубоморни, па да пробаат подобро да изведат, наместо да ги сведуваат на пониско ниво.

Од друга страна имаше и конструктивни коментари/прашања како тие од , , Арангел.

Претпоставувам дека претставник на сајтов (по начинот како се испровоцира да искоментира), сеуште ги следи коментариве.

Затоа, би побарал ако е можно да ги исконтактирате заслужните за суперкомпјутерот и да им направите поопширно, потехничко интервју, па така да ги заќутите мрчаторите кон заслугата на творците, па и кон вашата поради известувањето.

Ванчо Орданоски

А бе, гом.ојадци и плукачи во далечина имаме колку сакаш, три олимписки тима да составиме.

Што ти е завист, веднаш позеленуваат и наоѓаат маана, а притоа, самите тие не направиле ништо, дури ни приближно до тоа кое го критикуваат.
Шпртови, што би рекле по скопски.

Арангел
Арангел
11 years ago

Би било супер ако може да дознаеме/те кај ќе го презентираат :)

@gdamjan
11 years ago

туу мрчење
уопште не е битно колкави се перформансите на системот, битен е трудот и искуството што ќе добијат тие што учествувале во проектот. всушност најголемата придобивка е да се видат сите пропусти и фалинки на системот.

а ИТ.ком.мк можеле да се потрудат малку повеќе околу информирањето за ова.
260 процесорски единици и „30 терабајти големина“(??) е опис за Нова Македонија, но не и за технолошки медиум.

Баце
Баце
11 years ago

Значи да не бидеме класични македонци и сега све не чини, тесли, месли …(затоа и ништо немаме пошто 1 прави 100 коментираат)
Идејата е одлична, концептот исто.
90% од студенти по информатика излегуваат од факултет и не можат да изговорат кластер а не да видат и/или конфигурираат.
Ќе се научат дечките да работат на линукс, да работат во кластер околина, од нив ќе излезат кадри кои ќе ги учат новите деца да прават кластери ….. итн итн во секој случај попозитивно потрошени пари отколку да се печати студентско списание кое никој не го чита или да се садат дрва, да се инвестира во клупи кои ќе стојат во заклучена училница или во хартија, тонери ……

Само напред, следен чекор може да биде делење на машините на 2 дела и правење 2 кластера, …. и било што со волку опрема.
ПОЗДРАВ!

Ace
Ace
11 years ago

Decki , toa se 3GHz na sekoj clen od klasterot . Da nema zabuni, koga vrsi presmetki ne e na teret 1 procesor, tuku site od po 3GHz .

Name
Name
11 years ago

Ideja za pozdravuvanje, sekoja cest na studentite i na asistentite i bravo za celiot univerzitet. Ova e dokaz deka ne e samo bitna tradicijata na fakultetot i dolgogodisnoto postoenje, tuku i kadrite, obukata i samite studenti. Bravo decki!

Lord4e
Lord4e
11 years ago

kje gi pozdravam momcite koi go sklopile komjuterot a za sporedbite so ostanatite "superkomjuteri" …pa bitno e sto imame 1 cekor (:

New Duck
New Duck
11 years ago

barem ne gi ostavajte masinite na zemja i se nadevam deka imate nekoj ups staveno posto se zalite od strujata… stvarno ne mozam da se nacudam na komentarive…

Ванчо Орданоски

Браво, време беше! Сите честитки за „апостолите“.
А, богами, добра лекција и за јаките (на уста) скопски информатички академски институции. Џабе им е сега да мрчат и да наоѓаат маани — дечкиве од Охрид ги носат во заби.

Сега, да им предложиме на продуцентите на Lord Of The Rings следниот филм да го процесираат
ка ј нас. :)

New Duck
New Duck
11 years ago

a koj go finansirase ova … ? licno i mene neka mi dadat kolku eden golf5-ka budzet da si igram – poaren sistem ke napravam 10000000% i toa sam i nema da go ustekam direktno vo struja :DDDD

Kire od 161
Kire od 161
11 years ago
Reply to  New Duck

kade ima lajk da ti stisnam :D

Невен Пејков
Невен Пејков
11 years ago

Eve za da se ubedime navistina vo kvalitetite na superkompjuterot i da se opravdaat sredstvata napravete ednostaven DEMO program koj generira varijacii so povtoruvanje do n=15 stepen. neka bide vlezot bukvi ( mali i golemi eng. ) i brojki. x^n ke e ishodot. Ednostavno e za kreiranje i ke bide baba laze trap ne laze!!!
pa posle toa ke vidish na obicna so CUDA so eden GPU kako izgleda toa … !!!

Nikola
Nikola
11 years ago

A zosto ne zedovte vo PMF da napravite vakov sistem so Tesla graficki.

I kazi mi ako se rasipi taa karticka kolku pari za nova ke treba da platam ???
So ogled na stabilnoto elektricno napojuvanje vo makedonija takva karticka nema ni dve godini da izdrzi.
A na kraj bi dobil isti performasi, so ista cena. Samo so Tesla ke zastedis na prostor. No eden defekt kaj Tesla mozi da cini 10000 dolari :)
Koga se pravi sistem na se treba da se misli.

New Duck
New Duck
11 years ago
Reply to  Nikola

dali stvarno gledash sto pisuvash bre … za tebe imam samoi edno da ti kazam za strujata UPS. SE NADEVAM DEKA NE VI SE USTEKANI DIREKTNO :DDDDDD

Kire od 161
Kire od 161
11 years ago
Reply to  Nikola

PMF ne e milenik na Grujo taka da edvaj pari se naogaat obicnite laboratorii da se opremat

Brainiac
Brainiac
11 years ago

MPI ne se instalira, tuku se koristi kako biblioteka za porgramiranje. I jas imam instalirano Visual Studio, ama ako ne znam ni "hello world" da napisam, zosto mi e?
Graficki kartici bi bile super resenie za nekoj so vektorska grafika sto se zanimava. Za parallel programming, mozebi i ne.

Благој
Благој
11 years ago

Поарно 3 NVidia Tesla картици да ставиле во едно кукиште

moondowner
moondowner
11 years ago
Reply to  Благој

CUDA повеќе е за податочен паралелизам (што и се бара кај графички картички кога една игра има 1 гига текстури), не за паралелизам во пресметување на математички операции, иако и за тоа се супер. + програма во CUDA е ограничена само да се извршува на сервер со таков хардвер, но доколку нема – ништо, вака има поголема портабилност.
http://www.nvidia.com/content/cudazone/cuda_sdk/D

Невен Пејков
Невен Пејков
11 years ago

poseti go linkov i vidi sto se imash za 4000$ max. http://www.nvidia.com/object/product_tesla_C2050_… i posle da kazuvash sonovi. MPI se izucuva na Institutot za informatika uste od pred 6 godini taka da … ne soli pamet. Site nie koi sme studirale tamu imame instalirano MPI … Vo vrska so cenata na "Super" kompjuterot ke kazam deka e ok samo poradi iskustvoto sto go dobile studentite, a za drugo = KRSH!
Uste ednash bravo za sistemot koj ke go koristite za laboratoriski vezbi ; -)

Info
Info
11 years ago

Колку што знам МПИ е библиотека за паралелно програмирање. Требало да ве научат да програмирате користејки нејзини функции. Кога е толкав КРШ оти вие не направивте?

Или младите студенти излегоја поамбициозни … :)

Info
Info
11 years ago

Оди на интернет и побарај повеќе податоци за Memory Wall, double/single precision и ќе видиш дека оваа системи со денешната технологија не можат ни 30 % од нивните ресурси да се искористат.
Второ како ке се набави системот и кој ќе учи програмирање во CUDA, ќе се плаќат специјалисти по 500 долари на час?
Кога ќе има некој дефект ќе се враќа системот во америка за да се мени делот и ќе кошта тоа илјадници од долари ???

Кога се прави систем се гледаат сите страни, а гледам овие во охрид точно тоа го направиле.

Невен Пејков
Невен Пејков
11 years ago
Reply to  Info

ke nauci CUDA toj sto treba da nauci i ke im prenese znaenje na studentite. Neli Profesor ( Doktor i doktoranti ) ne bi trebalo da imaat problemi da naucat nesto bez drug da gi uci … ?
Se toa so edna i edinstvena cel DA NE NE ZGAZI VREMETO B0T EDEN!

Info
Info
11 years ago

– За сите заинтересирани, како што разбрав на презентацијата, брзината на core ситемот е 3 TFLOP/s double precision, додека на live системот кој се користи е 2 TFLOP/s според LINPACK. Ајде да видиме графичките карти кои ги споменувате колку ке извдаат перформанси на овој тест ???

– CentOS се користи бидејки е најдобриот ОС за суперкомпјутери со ниска цена.

– Нормално дека ќе се користи MPI, кој е другиот начин за паралелно програмирање??? Барем некој во Македонија ќе научи како да го користи.

– 5 од првите десет суперкомпјутери користат Етернет, така да покрај инфинибенд оваа технологија е најдобра.

– За крај ова го направија луѓе со просечна старост од 20 години… сте се запрашале што значи ова ???

Невен Пејков
Невен Пејков
11 years ago
Reply to  Info

da znam sto znaci toa. Znaat da citaat angliski manual N000B EDEN!

New Duck
New Duck
11 years ago

si napravile klaster za studentite da si vezbaat paralelno i distribuirano programiranje. bravo si gi opremile laboratoriite …

Баце
Баце
11 years ago

Значи секој ваков потег е за пофалба , само напред, Само малце високо конзолата ? :-).
Инаку предлагам името да му биде Самуил, бидејќи машината е склопене во ОХ … а личи некако на тврдина.
Ракот е од fujitsu (primecenter) и е одличен.
И нормално не се битни терабајтите и херцажите што ги кажуваат на ТВ.
Браво и за изборот на Linux за било какво дистрибуирано и/или кластерско работење.

Sid
Sid
11 years ago

aman te be lapsuz naprajl coekot :D, znajme deka nema sansi da e 3 GFlops, koga samo eden od ovie kompjuteri moze da dostigne do 40Gflops, btw MPI ke se koirstelo!!!

Крсте Поткоњак

Зошто Cent OS ?
Да го имав чудово одма Debian би му залепил.

ironyc
ironyc
11 years ago

Од која продавница е купен ракот и тоа внатре? Анхоч, АМЦ, СЕТ, Нико… И завиткан ви го дадоа или го тркавалавте до дома?

goce iliev
goce iliev
11 years ago

Па кога веќе има волку компјутери,сигурно е нешто јако.Туку мене ме буни нешто друго.Не верувам дека нашиве дечки имаат капацитет да склопат супер компјутер.Не е само да ги ставиш компјутерите еден до друг и да кажеш дека си склопил супер компјутер

Македонија може!
Македонија може!
11 years ago
Reply to  goce iliev

Па толку ти е капацитет на сваќање. Гледај и не мрси.

Браво дечки
Браво дечки
11 years ago

Па нели офицјално соопштение ќе има на 20-ти
Како што е споманто овој Супер Компјутер е за едукативни цели па ако е за едукативни цели во корист на студентите стварно е Супер Компјутер перофмансите дали се ниво 85 г или 2010г се во втор план
Поздрав за идејата

Петар
Петар
11 years ago

Супер компјутеров, како Космодиск – Излгеда шашаво, ама делува :) И јас мислам дека е некаков кластер ама не е битно. Се потрудиле, направиле нешто и треба да се пофалат.

@misos
11 years ago

Премногу неискажани работи за да се донесе заклучок. Има 250 процесори или 250 јадра (претпоставувам второто)? Каква е врската меѓу машините – латенцијата исто така е битна. Кај суперкомпјутерите таа се мери во микросекунди, што тешко да се стигне преку ethernet.

Перформансите не се мерат „од око“. Има LINPACK, нека измерат и објават. Според мојата математика, 3 илјади милиони операции = 3 GFLOPS = суперкомпјутер од 85-та.

Според овде напишаното – ова е далеку од суперкомпјутер, но наликува на кластер. Веќе се спомна претходно, кластери веќе има во земјава и се користат, но секој нов е добредојден.

Info
Info
11 years ago

Всушност брзината е 3 трилиони операции во секунда. Многу повеке од core i7. Тоа веке спаѓа во категоријата на паралелно процесирање со високи перформанси(суперкомпјутери)

Дејан
Дејан
11 years ago
Reply to  Info

AMD Radeon 5970 Префрла 1TFLOP.

Mite Mitreski
11 years ago
Reply to  Дејан

1TFLOP од што ? :) и тоа прави разлика

@PinkyTheGreat
11 years ago

Ова изгледа моќно Оо.

Покрај патот, колку што сум запознаен, три илјади милиони = три билиони.

Петар
Петар
11 years ago
Reply to  @PinkyTheGreat

Всушност во македонскиот јазик три илјади милиони е ТРИ МИЛИЈАРДИ. Кај нас имаш милион, милијарда, па билион. Не сме само ние вака чудни, заборавив кои други држави го користат истиот систем. Имаше една научна дискусија на темава, ја слушав пред пола година или година на радио. Се сеќавам дека препораката од стручните лица тогаш беше после билион, трилион, да се додава назнака во загради за која номенклатура станува збор. :)

@PinkyTheGreat
11 years ago
Reply to  Петар

Ја математика во основно учев дека милијарда = билион…

Плус ова: http://mk.wikipedia.org/wiki/%D0%93%D0%BE%D0%BB%D

Плус ова: http://rechnik.on.net.mk/ (барај billion)

Kosta
Kosta
11 years ago

Stvarno bre, 3 MFlops super kompjuter? intel core i7 980 XE sestojadren procesor nadminuva 100 GFlops, alooo, kakov superkompjuter, superdigitron eventualno…

moondowner
moondowner
11 years ago

Уште нема слика од суперкомпјутерот (или тоа горе е сликата)?

И на која платформа ќе оди извршувањето на апликациите оптимизирани за паралелизам? CUDA? MPI? Трета некоја?

Многу најава, многу малце информации.

п.с. Мило ми е што барем GNU/Linux користат :)
п.п.с. Ова засега на GRID ми изгледа.. GRID на ПМФ (може и на други факултети) веќе подолго време има (кој е воедно дел од проектот GÉANT), но, да почекаме на повеќе информации..

Viktr Ars
11 years ago
Reply to  moondowner

i dvete se sliki od superkompjtuerot

Igor Trajkovski
11 years ago

ideja i realizacija za pozdravuvanje, ama objasnuvanjata na site mediumi (se nadevam ne e ova objasnuvanje od lugjeto koj go sklopile ovoj klaster od PC-ja) e katastrofa.
"три илјади милиони пресметки во секунда" ima edno najobichno PC sto go imame doma, 3GHz procesor moze da napravi i povekje od 5 milijardi operacii, no kakvi, logichki, aritmetichki, so podvizna zapirka (operacii so realni broevi), itn itn … totalno bladanje, kolku da se kaze imame i nie nesto. imame, no objasnete kako treba sto ste napravile.

Igor Commie Ristovski
11 years ago

Фантастично… браво дечки.

@goranmitev
11 years ago

Добра реклама за Охридскиот универзитет. Браво.

Daniel B
11 years ago

Како изгледа тоа 'три илјади милиони' како број?

Андреј Трајчевски
Reply to  Daniel B

Јако! :)))))

Nekoj
Nekoj
11 years ago
Reply to  Daniel B

Tri bilioni ;)

Горан
Горан
11 years ago
Reply to  Nekoj

Три милијарди.
Македонскиот збор е “милијарда“, “билион“ е англиски :)

Dex
Dex
11 years ago

Bravo, dobra inicijativa, da se nadevame deka ke bide iskoristen

види ги сите огласи на kariera.it.mk