text-provenance

Millal kasutada

RAG-viidete esiletõstmine — näita, millisest allikadokumendist genereeritud tekst pärineb
Lepingute playbooki sobitamine — leia, millisest standardklauslist lepinguklausel tuleneb
Plagiaadi tuvastamine
Allika omistamine AI-ga genereeritud juriidilisele tekstile
Iga teksti päritolu ülesanne, kus pead teksti tagasi selle algallikani jälgima

Kuidas see töötab

Põhiline lähenemine

Kerged tekstisarnasuse meetrikad — käitusajal pole embeddings ega API-kutseid. Kiire, deterministlik stringide sobitamine, mis töötab brauseris või serveris.

Võrdlusmeetodid

Pinna sarnasus — märgi tasemel võrdlus
N-grammi kattuvus — fraasi tasemel sobitamine
Sõrmejälje sobitamine — täpse fraasi tuvastamine

Kasutamine

import { findProvenance } from 'text-provenance';

const sources = await findProvenance(
  "the quick brown fox jumps over the lazy dog",
  corpusDocuments
);
// Returns ranked list of potential sources with confidence scores

Äärmusjuhtumid

Töötab seal, kus embeddings ebaõnnestuvad: - Lühikesed tekstilõigud - Täpse fraasi sobitamine - Kõrge täpsusega omistamisülesanded - Privaatsustundlikud kontekstid (andmed ei lahku masinast)

Sihtrühm ja töö kuju

Sihtrühm: arendajad ja advokaadid, kes ehitavad RAG-viidete, lepingu tuletamise või plagiaadituvastuse töövooge. Väljund on kandidaatide järjestus, mitte leid.

Töö kuju: mustriga ülevaatus. Leksikaalne sarnasus on sobitusfunktsioon; kasutaja otsustab, mis loeb vasteks.

Ulatus ja juriidiline kasutus

See oskus annab juriidilist tuge, mitte juriidilist nõu. Väljund on järjestatud kandidaatallikate loend sarnasusskooridega — mitte kunagi omistamise järeldus, mitte kunagi plagiaadi leid, mitte kunagi lepingu tuletamise õigusliku mõju määratlus.

Privileeg ja konfidentsiaalsus. Jookseb kliendipoolselt ilma võrgukutseteta. Ükski tekst ei lahku kasutaja masinast, välja arvatud kui kutsuv rakendus otsustab selle edastada. Oskus ise ei loo uut privileegi riski.

Vastutus. Kvalifitseeritud advokaat peab enne omistamise, plagiaadi või lepingu tuletamise otsusele tuginemist väljundi üle vaatama ja heaks kiitma. Sarnasusskoor on signaal, mitte otsus.

Kindlusastmed

Kaardista toores sarnasusskoor tegevusastmeteks:

Kõrge (≥ 0.85) — tugev leksikaalne vaste; advokaat võib seda pidada tõenäoliseks allikaks, kuid peab siiski aluseks oleva lõigu kontrollima.
Keskmine (0.55 – 0.85) — võimalik vaste; suuna inimese võrdlusesse enne tuginemist.
Madal (< 0.55) — nõrk signaal; ära käsitle allika omistamisena. Näita koos teiste kandidaatidega, kuid ära tõsta eraldi esile.

Ulatusest väljas

Ei ole plagiaadi otsus ega akadeemilise/kutsealase väärkäitumise leid.
Ei ole juriidiline nõu autoriõiguse, IP ega lepingu tuletamise nõuete kohta.
Ei ole tõenduslik; tulemusi ei vormistata menetlusteks.
Ei ole semantilise otsing — leksikaalselt erinevad parafraasid jäävad märkamata.
Ei asenda embedding-põhist otsingut seal, kus on vaja semantilist vastet.

Eskaleerimine

Peatu ja suuna vastutavale advokaadile, kui: - tipptulemus on madalas astmes, kuid kutsuv töövoog ootab kindlat allikat; - kasutusjuht on distsiplinaarne, tõenduslik või potentsiaalselt laimav (nt advokaadi või üliõpilase plagiaadis märkimine); - kaks või enam kandidaati on skoorilt 0.05 piires ja töövoog nõuab ühtainsat allika omistamist.

Piirangud

Ei suuda käsitleda semantiliselt sarnast, kuid leksikaalselt erinevat teksti
Töötab kõige paremini pikemate allikadokumentidega
Ei asenda embedding-põhist otsingut kõigis kontekstides

Teksti päritolu