STRAN.SI

RAG za AI chat na spletni strani

Retrieval-Augmented Generation: AI odgovor temelji na vaših podatkih, ne na halucinaciji. Arhitektura, system prompt, GDPR.

← Vsi članki
AI 11 min branja

Retrieval-Augmented Generation: AI odgovor temelji na vaših podatkih, ne na halucinaciji.

Problem: AI brez konteksta laga

Najpogostejša napaka pri implementaciji AI asistenta: integriraš ChatGPT API direktno in upaš, da bo "vedel" o tvojem podjetju. Ne bo. AI bo halucniral – z velikim zaupanjem v glas, a brez podlage v dejstvih.

Rešitev: RAG (Retrieval-Augmented Generation). AI ne odgovarja iz svojega treniranja, ampak iz vašega znanja.

Kako RAG deluje

RAG je dvostopenjski proces:

  1. Retrieval (iskanje): Sistem išče v vaši bazi znanja (FAQ, storitve, blogi, dokumenti) odlomke, ki so semantično podobni uporabnikovemu vprašanju.
  2. Augmented generation (generiranje z dodatkom): Najdene odlomke prilepi k vprašanju kot kontekst, AI pa formira odgovor na podlagi tega konteksta.

Rezultat: AI odgovor temelji na vaših podatkih, ne na zlomljenih spominih iz treniranja.

Tehnična arhitektura

Korak 1: Knowledge base

Vaša vsebina mora biti razdeljena v kose ("chunks") po ~500–1000 znakov. Vsak kos je en logičen sklop (FAQ vprašanje + odgovor, odstavek storitve, blog sekcija).

Korak 2: Embeddings

Vsak chunk pretvorimo v vektor (običajno 1536-dimenzionalen) z OpenAI ada-002 ali Gemini embedding modelom. Vektor je matematični "podpis" pomena.

Korak 3: Vektorska baza

Vektore shranimo v specializirano bazo (Pinecone, Weaviate, Qdrant, ali za manjše projekte SQLite z vektor extension). Iskanje je hitro (10–50 ms za 10.000 chunkov).

Korak 4: Semantično iskanje

Uporabnik vprašanje → pretvorimo v vektor → najdemo najbolj podobne chunkov v bazi. Top 3–5 najboljših prilepimo k vprašanju.

Korak 5: AI generiranje

Pošljemo Gemini / GPT / Claude API: "Tukaj je kontekst: [chunks]. Odgovori na vprašanje: [vprašanje]. Če odgovora ni v kontekstu, povej, da ne veš."

Pravilno postavljen system prompt

Sistemskobesedilo (system prompt) določa, kako se AI obnaša. Ključne komponente:

  • "Odgovarjaj samo iz priloženega konteksta."
  • "Če odgovora ni v kontekstu, povej, da ne veš in usmeri uporabnika na človeško podporo."
  • "Ne izmišljaj cen, datumov, kontaktnih podatkov."
  • "Pri občutljivih temah (zdravje, finance, pravo) ne svetuj – predaja človeku."
  • "Odgovori v slovenščini, formaln tonu."

Meja predaje človeku

Vsak resen AI asistent ima jasno mejo, kdaj preda človeku. To dosežemo z:

  • Confidence threshold: če AI ima nizek confidence v odgovor, vrne "Nisem prepričan, povezujem vas z ekipo."
  • Občutljive teme: ključne besede ("reklamacija", "vrnitev denarja", "medicinski nasvet") sprožijo predajo.
  • Eskalacijski gumb: vsak chat ima vidni "Predaj človeku" gumb.

GDPR in varnost

RAG sistem mora biti GDPR-compliant:

  • Brez treniranja na pogovorih uporabnikov (Anthropic, OpenAI Enterprise plani omogočajo opt-out).
  • Logiranje pogovorov za audit, ne za marketing.
  • Pravica do izbrisa pogovora (na zahtevo uporabnika).
  • Anonimizacija občutljivih osebnih podatkov pred shranjevanjem.

Realne uporabe

Pri Presnemavanje.si smo implementirali AI klepet z knowledge base iz vseh FAQ, storitev in cenikov. AI odgovarja na "koliko stane digitalizacija VHS kasete" iz konteksta, ne iz treniranja.

Pri Aina.si (naša lastna SaaS platforma) RAG model omogoča vsakemu naročniku, da naloži lasten knowledge base (PDF, markdown, web URL-je) in dobi AI asistenta po meri.

Zaključek

AI asistent brez RAG-a je le draga halucinatorska mašinerija. Z RAG-om postane uporabno orodje, ki realno odgovarja na vprašanja strank in razbremeni ekipo. Implementacija RAG sistema je razmeroma kompleksna (10–30 dni dela, odvisno od velikosti knowledge base-a), a se izplača pri vsakem podjetju z več kot 50 ponavljajočimi vprašanji mesečno.

Imate vprašanje glede članka ali konkretnega primera?

Pošljite kratek opis svojega primera. Odgovorimo z realno usmeritvijo – tudi če ne potrebujete naših storitev.

Pokliči Povpraševanje