Интервју со Драган Илиевски : Микро-апликацијата PrivaLLM покрај бесплатната доби и деловна верзија

Пред само неколку месеци, со Драган Илиевски разговаравме за неговата бесплатна open-source микро-апликација PrivaLLM. Станува збор за алатка замислена како заштитен филтер меѓу корисниците, и моделите на вештачка интелигенција. Сепак, брзиот развој на вештачката интелигенција во бизнис-секторот и реалните потреби на компаниите брзо го дефинираа следниот чекор.

Поводот за овој нов разговор е најавата за PrivaLLM Prime, новата генерација на Data Loss Prevention (DLP) софтвер наменет за бизниси кои сакаат да ја искористат продуктивноста на ChatGPT, Claude или DeepSeek. Истовремено алатката го спречува протекувањето на доверливи податоци.

Пред некој месец ја претстави PrivaLLM, бесплатна, Vanilla PHP микро-апликација. Што те натера да развиеш „Prime“ верзија фокусирана на деловни клиенти?

Како што порано ветив, микроапликацијата PrivaLLM секогаш ќе биде бесплатна и достапна на сајтот од Pentestiverse. Индивидуалците сѐ уште можат да ја користат без лимитации како лесно SAAS решение.

Сепак, после првото тестирање на апликацијата во поголема заедница, бев контактиран од повеќе корисници и потенцијални клиенти кои ми споделија многу корисни идеи за подобрување и ми споделија импресии околу тоа како ја користат апликацијата.

Некои од нив исто така изразија загриженост околу приватноста и правните импликации доколку апликацијата се користи како SAAS и потоа објаснаа дека радо би инвестирале во целосно решение кој му го решава овој сериозен проблем, кое ќе биде инсталирано во нивна инфраструктура каде информацијата која е во проток е целосно во нивна контрола. Јас веќе имав започнато да изработувам ваков прототип и на овој начин само ми се потврди дека движам во точен правец. Им благодарам на сите што несебично помогнаа во тестирањето на апликацијата и споделувањето на нивната уникатна перспектива.

Како функционира „Prime“ на ниво на бизнис инфраструктура и каква е разликата во архитектурата?

За разлика од едноставната „замена на текст“ на клиентска страна што се случуваше во SAAS решението, PrivaLLM Prime има многу поинаква и скалабилна архитектура која е составена од 2 главни компоненти: Агент кој се инсталира на секој компјутер кај вработените (што функционира како еден вид безбеден proxy, но ја пресретнува само комуникацијата со LLM-и), и еден Core сервер кој дозволува централизирано администрирање на DLP правилата, одобрување на агентите во мрежа, следење на целата статистика за организацијата итн. Сите функционалности ќе бидат дискутирани на демото со клиентите кои ќе закажат повик на сајтот https://pentestiverse.com/privallm

Објави дека алатката спречила 212 протекувања за една недела. Какви типови на податоци најчесто се обидувале да заминат кон LLM моделите?

Да бидам искрен, затоа што продуктот е сѐ уште во финална фаза на бета тестирање, кога клиентот ме се јави и ми ги кажа овие бројки, јас претпоставив дека има баг и дека ова не се реалните податоци, но кога со клиентот подоцна потврдивме на повик, забележавме дека правилата беспрекорно функционираат и точно преброиле 212 прекршоци преку 3 агенти во 5 работни денови. Иако не смеам да го откријам клиентот кој ми помага во тестирањето, смеам да кажам дека се работи за адвокатско биро кое активно користи Deepseek за корегирање и изработка на договори во повеќе јазици.

Во нивниот случај се установи дека најчесто излегуваат лични податоци од клиенти и матични броеви, адреси, а за странските проекти најмногу се најдуваат social security numbers и трансакциски сметки од банки и фондови.

Спречувањата се постигнати со само 10 DLP правила. Како се дефинираат овие правила и дали постојат шаблони за различни индустрии?

Во моментот DLP правилата се изработуваат од нас заедно со клиентот – само заради што сме во рана фаза на тестирање и тоа ни е како претпазливост, но во идната верзија секое техничко лице ќе може да си дефинира свои правила многу лесно и да импортира или експортира DLP Pack кој ќе може да го добие од нас како предлог за нивните индустрии. Како што продуктот ќе еволуира, DLP модулот ќе станува се помоќен.

Како PrivaLLM Prime се интегрира во секојдневневните активности без да ја наруши продуктивноста?

Оваа алатка конкретно воошто не ја успорува работата на вработениот затоа што транспарентно работи во позадина и ги прави потребните пресретнувања и промени без да бара екстра активност од корисникот. Корисникот си користи сосема исто пребарувач и си пишува со AI технологиите а замената се случува невидливо. Интеграцијата на целото решение трае 1-3 дена во зависност од потребите на клиентот.

Priva може да се користи со кој било јазичен модел. Дали PrivaLLM Prime дејствува како централен прокси/портал преку кој одат сите барања, или се инсталира локално на компјутерите на вработените?

Агентите што се инсталирани на секој компјутер од вработените го прават филтрирањето во позадина и се „консултираат“ со централниот сервер (core) кој ги оркестрира периодично. Сето тоа е имплементирано со напредни техники на безбедност каде интегритетот на врската не може да се наруши. Доколку нови правила се додадат или изменат, сите агенти по кратко време се реконфигурираат и динамички го менуваат своето однесување, додека администраторот гледа статистика за својата организација.

Каков е планот за монетизација по завршувањето на бета фазата и дали open-source верзијата на GitHub сѐ уште ќе продолжи да живее паралелно?

Додека сме во бета-фаза на тестирање за сите клиенти кои се обврзуваат на користење од една година, им нудам 30% попуст од цената, тоа е моето благодарам за нивната помош во тестирањето. Потоа, планот за монетизација е да се продолжи со стандардната цена но во таа цена ќе се сметаат и updates со новите функционалности за импортирање и експортирање на правила. Open-source верзијата сѐ уште ќе живее паралелно но нема да добива редовни подобрувања како што ќе добива комерцијалната верзија, но заедницата сѐ уште ќе може да предлага подобрувања доколку сака да учествува во тој проект.