10 pravnih pitanja, 2 AI sustava - LexBox vs Claude benchmark

Postavili smo identičnih 10 pravnih pitanja dvama sustavima - LexBoxu (specijalizirani pravni AI s bazom od 176.000+ hrvatskih i EU pravnih dokumenata) i Claudeu (Anthropicov generalni AI model, jedan od najsposobnijih na svijetu). Pitanja pokrivaju činjenično pravo, sudsku praksu i praktičnu primjenu - upravo ono što odvjetnici trebaju svaki dan.

Rezultati su jasni: za činjenična pitanja i sudsku praksu, LexBox značajno nadmašuje generalni AI. Za teoretska pitanja, generalni AI se bolje snalazi. Evo detaljne analize svakog pitanja.

Metodologija

Koristili smo 10 pitanja podijeljenih u 3 kategorije: činjenična pitanja (3), sudska praksa (3) i praktična primjena (4). Svaki odgovor je ocijenjen na skali 1-10 prema sljedećim kriterijima:

• Točnost - jesu li navedene informacije pravno točne i ažurne
• Konkretnost - jesu li navedeni specifični članci zakona i sudske odluke
• Praktična upotrebljivost - može li odvjetnik odmah koristiti odgovor u radu
• Pouzdanost izvora - jesu li reference provjerljive i stvarne

Zbirni rezultati

Kategorija 1: Činjenična pitanja

Činjenična pitanja testiraju ono najosnovnije - zna li sustav točan odgovor na konkretno pravno pitanje. Ovdje se najjasnije vidi razlika između specijaliziranog i generalnog AI-a.

P1: Zastarni rok za ugovor o djelu (LexBox 9 - Claude 6)

LexBox je izravno i točno naveo 3 godine (čl. 228. ZOO) kao primjenjivi rok, potkrijepivši odgovor s dvije konkretne presude (Pž-219/2024-2 i Povrv-379/2025-6) koje potvrđuju da sudovi dosljedno primjenjuju trogodišnji rok na ugovor o djelu.

Claude je krenuo s 5 godina (čl. 225. ZOO) kao primarnim odgovorom - što je opći zastarni rok, ne specifični za ugovor o djelu. Tek kao sekundarnu opciju navodi 3 godine za gospodarske odnose. Odvjetnik koji se osloni na "5 godina" mogao bi propustiti rok. Bez sudske prakse, bez konkretnih referenci.

Zašto je ovo bitno: Propušten zastarni rok znači gubitak prava klijenta. Razlika između 3 i 5 godina nije akademska - to je razlika između uspješne i zastarjele tužbe.

P2: Nadležnost za radne sporove u Zagrebu (LexBox 9 - Claude 3)

Ovo je najkritičnija razlika u cijelom testu. LexBox je točno naveo Općinski sud u Zagrebu kao nadležan, citirao čl. 65. ZPP-a, i pravilno objasnio da su to redovni općinski sudovi.

Claude je naveo "Općinski radni sud u Zagrebu" - sud koji je ukinut reorganizacijom pravosudnog sustava. Ovakva greška mogla bi odvjetnika dovesti pred pogrešan sud. Dodatno, citirao je pogrešan članak ZPP-a (čl. 34. umjesto čl. 65.).

Zašto je ovo bitno: Generalni AI modeli se treniraju na povijesnim podacima. Kad se zakonodavstvo promijeni (a u Hrvatskoj se mijenja često), model to ne zna. LexBox pretražuje ažuriranu bazu sudske prakse i primjenjuje trenutno važeće pravo.

P3: Zatezna kamata 2026. (LexBox 9 - Claude 4)

LexBox je ispravno primijenio izmjenu ZOO iz 2023. (ZIDZOO/23): referentna stopa ESB-a + 3 postotna poena za netrgovačke, +8 za trgovačke odnose. Pošteno je napomenuo da se točna stopa za 2026. ne može precizno odrediti jer ovisi o budućim odlukama ESB-a.

Claude je koristio staru formulu (prije izmjena 2023.) - prosječna kamatna stopa HNB + 5/8 postotnih poena. Ovo je zastarjelo pravo. Od 2023. referentna stopa više nije HNB-ova nego ESB-ova, a markup za netrgovačke odnose je 3pp, ne 5pp.

Zašto je ovo bitno: Krivi izračun zatezne kamate znači pogrešan iznos u tužbenom zahtjevu. Sud će primijeniti ispravnu stopu, ali klijent gubi povjerenje u odvjetnika koji ne poznaje važeće pravo.

Kategorija 2: Sudska praksa

Sudska praksa je područje gdje se specijalizirani pravni AI najviše razlikuje od generalnog. Odvjetnicima ne trebaju samo zakonski članci - trebaju konkretne presude kojima mogu potkrijepiti argumente.

P4: Mobbing na radnom mjestu (LexBox 9 - Claude 5)

LexBox je citirao konkretne odluke: U-III-3264/2025 (Ustavni sud) i Pr-103/2020-117 (Općinski sud u Slavonskom Brodu). Referirao je na praksu EU Službeničkog suda (C-46/11 P). Detaljno analizirao kriterije za utvrđivanje mobbinga, odgovornost poslodavca i naknadu štete.

Claude je naveo 4 odluke VSRH-a, ali je sam priznao da ih navodi iz pamćenja i da postoji rizik netočnosti. Etički pohvalno - ali praktično neupotrebljivo za odvjetnika koji treba pouzdane izvore.

P5: Opravdani razlog za otkaz (LexBox 9 - Claude 6)

LexBox je citirao Rev-893/2022-2 i Revd-2403/2024-2 s detaljnim opisom činjeničnog stanja i pravnog rezoniranja. Analizirao je strogi standard ocjene, ultima ratio princip i rok od 15 dana.

Claude je odbio navesti presude iz opreza prema točnosti. Dao je solidan pravni okvir, ali nije odgovorio na postavljeno pitanje. Ponudio je pretragu LexBox baze - što je zapravo implicitno priznanje da je za ovakva pitanja LexBox bolji alat.

P6: USRH praksa o pravu na dom (LexBox 9 - Claude 6)

Identičan obrazac: LexBox citira U-III-3314/2021 i U-III-2509/2024, referira ECHR presude (Bjedov, Orlić, Paulić) s brojevima predmeta. Claude daje okvir bez ijednog broja USRH odluke.

Za odvjetnika koji piše ustavnu tužbu, LexBoxov odgovor je neposredno citabilan. Claudeov zahtijeva daljnje istraživanje.

Kategorija 3: Praktična primjena

Praktična pitanja testiraju sposobnost davanja potpunih, strukturiranih odgovora za konkretne pravne situacije. Ovdje se Claude bolje snalazi jer koristi svoju opću sposobnost sistematizacije.

P7: Pravni lijekovi kod otkaza (LexBox 8 - Claude 8)

Izjednačen rezultat, ali s različitim prednostima. LexBox je bolji u pravnoj dubini - citira sudsku praksu i specifične osnove za osporavanje. Claude je praktičniji - daje timeline po danima ("Dan 1-3: provjeriti datum dostave"), uključuje HZZ prijavu u 30 dana i privremenu mjeru. Oba pristupa su komplementarna.

P8: Tužba za naknadu štete iz prometne nesreće (LexBox 8 - Claude 9)

Rijedak slučaj gdje Claude daje pravno precizniji odgovor. Ispravno identificira objektivnu odgovornost (čl. 1063.-1067. ZOO - motorno vozilo kao opasna stvar) kao primarni temelj tužbe. LexBox se fokusirao na odgovornost po krivnji (čl. 1045.), što nije optimalan pristup za prometne nesreće.

Claudeov tužbeni zahtjev (dispozitiv) - gotov predložak s formulacijom za svaku stavku naknade - izuzetno je praktičan alat koji odvjetnik može odmah koristiti.

P9: Stjecanje bez osnove (LexBox 6 - Claude 9)

Claude je značajno sveobuhvatniji: 4 kumulativne pretpostavke jasno razdvojene, tablica tipičnih slučajeva, razlika pošteni/nepošteni stjecatelj, iznimke od vraćanja (naturalne obveze, in pari turpitudine), latinski termini. LexBox pokriva osnove ali bez dubine.

P10: Ništetnost vs pobojnost (LexBox 7 - Claude 9)

Claude daje sveobuhvatnu usporednu tablicu s 5 kriterija, detaljne razloge za oba instituta s člancima ZOO, praktične primjere za svaki, i tretira djelomičnu ništetnost kao granični slučaj. LexBox je solidan ali manje detaljan.

Analiza po kategorijama

Zašto generalni AI zakazuje na hrvatskom pravu

Tri su ključna razloga zašto čak i najsposobniji generalni AI modeli podbacuju na konkretnim pravnim pitanjima:

1. Zastarjeli trening podaci. Generalni AI modeli se treniraju na snimci interneta u određenom trenutku. Kad se zakon promijeni (kao ZIDZOO/23 koji je izmijenio formulu zatezne kamate), model to ne zna. LexBox pretražuje ažuriranu bazu koja se osvježava mjesečno.

2. Halucinacije kod citiranja presuda. Generalni AI može "izmisliti" uvjerljive brojeve presuda koji ne postoje. Claude je bio dovoljno pošten da sam upozori na ovaj rizik. LexBox citira presude iz indeksirane baze - svaka referenca je provjerljiva.

3. Nema pristupa izvorima. Generalni AI ne može pretražiti Narodne novine, sudsku praksu ili odluke Ustavnog suda u stvarnom vremenu. LexBox ima 176.000+ pravnih dokumenata - zakone, sudsku praksu, EU pravo i odluke USRH - dostupnih za pretragu pri svakom upitu.

Gdje je Claude bolji - i što učimo iz toga

Claude je bolji kao "profesor" - bolje objašnjava koncepte, daje dublje teoretske analize i strukturiranije usporedbe pravnih instituta. Na pitanjima P8-P10, njegov pristup je bio akademski superiorniji.

Ovo nam daje jasan smjer za poboljšanje LexBoxa: kombinirati točnost i ažurnost specijaliziranog sustava s dubinom teoretske obrade. Cilj nije zamijeniti jednog s drugim - cilj je imati sustav koji je točan KAD navodi činjenice i detaljan KAD objašnjava koncepte.

Što ovo znači za odvjetnike

Ako trebate provjeriti zastarni rok, pronaći relevantnu presudu ili utvrditi nadležan sud - generalni AI nije pouzdan alat. Može dati zastarjelu informaciju, pogrešan sud ili izmišljenu presudu. Za ovu vrstu posla, specijalizirani pravni AI s provjerenom bazom nije luksuz - to je profesionalna nužnost.

Za teoretske rasprave, razumijevanje pravnih instituta ili izradu predložaka, generalni AI može biti koristan dodatak. Ali nikad zamjena za specijalizirani sustav koji razumije hrvatsko pravo.

LexBox postoji upravo zato: da odvjetnici imaju alat koji zna hrvatsko pravo, citira stvarne presude i daje ažurirane informacije. Prosjek od 8.3/10 na ovom benchmarku nije savršen - ali je značajno bolji od 6.5/10 najboljeg generalnog AI-a na svijetu.