Datavju
Datavju

Vector

Vector hjelper deg å søke i tekst etter likhet i betydning. Du velger tekst fra et datasett, gjør den om til embeddings — lister med tall som representerer teksten — og søker i det lagrede resultatet. Bruk verktøyet til produktbeskrivelser, dokumentsammendrag eller andre poster der søk etter nøyaktige ord overser nyttige treff.

Du starter med en lagret samling rader, kalt et Dataset. Vector kopierer valgte felt til en egen tabell og genererer en embedding for hver valgt tekstverdi. Når du søker, lager den valgte modellen også en embedding av søkefrasen, og Datavju sorterer de lagrede radene etter likhet. Originalpostene er fortsatt tilgjengelige i kildetabellen eller filen.

Opprett en Vector-tabell

Dette eksemplet bruker Orders med orderId, note og status. Hver orderId er unik og utfylt.

  1. Åpne Orders. Åpne pilen ved New og velg Vector.
  2. Åpne Vector-sidepanelet med pilen til venstre. Velg Primary Key, velg orderId og deretter Create Primary Key.
  3. Bruk tilbakepilen og velg Source Columns. Slå på note og status slik at du kan lese teksten og statusen ved hvert søkeresultat. Nøkkelen er allerede inkludert.
  4. Gå tilbake til sidepanelet og velg Vector Column. En ny kolonne kalt Embedding åpnes for redigering.
  5. Behold OpenAI text-embedding-3-small i dette eksemplet. Velg note under Source Column. Forhåndsvisningen viser den valgte teksten med en plassholder for embedding-verdien.
  6. Gå tilbake til sidepanelet og velg Populate Vector Table. Vent til operasjonen er ferdig før du søker.
Vector med Embedding Model OpenAI text-embedding-3-small og Source Column note, ved siden av tre kildenotater

Velg tekst og modell før du fyller Vector-tabellen.

Velg nøkler og kildefelt

En ny Vector starter uten valgte felt eller nøkkel.

  • Primary Key - Velg ett eller flere String- eller Number-felt som identifiserer hver kildepost. Hvert nøkkelfelt må ha en verdi som ikke er NULL, og hver kombinasjon må være unik. NULL betyr at en verdi mangler. Create Primary Key kontrollerer kilden før nøkkelen opprettes.
  • Delete Primary Key - Fjern gjeldende nøkkel slik at du kan endre de valgte nøkkelfeltene. Kontroller kildedataene før du oppretter den nye nøkkelen.
  • Source Columns - Slå på feltene du vil kopiere sammen med søkeresultatene, for eksempel tittel, beskrivelse eller postidentifikator. Nøkkelfeltene forblir valgt mens nøkkelen bruker dem.
  • Kolonneliste - Dra i håndtaket til et felt for å flytte det. Fjern et valgfritt kildefelt med krysset, eller velg blyanten ved et embedding-felt for å redigere innstillingene.

Sett opp en embedding-kolonne

Velg Vector Column for å legge til et felt som skal inneholde de genererte embedding-verdiene.

  • Embedding - Det første genererte feltet får dette navnet. Flere felt får et ledig tillegg, som Embedding 1. Bruk egne embedding-felt når du vil søke i forskjellige tekstkolonner.
  • Source Column - Starter uten valg. Velg teksten modellen skal lage embeddings av, for eksempel note. Du kan velge ulike felt for kopiering og for embedding-generering.
  • Embedding Model - Starter med OpenAI text-embedding-3-small og 1536 dimensjoner. OpenAI text-embedding-3-large bruker 3072; OpenAI text-embedding-ada-002 bruker 1536. Behold standarden for trinnene i denne veiledningen. Les begrensningen for modellbytte nedenfor før du endrer den.
  • Google Vertex AI - Embedding-generering med dette valget er ikke tilgjengelig ennå. Velg OpenAI text-embedding-3-small eller OpenAI text-embedding-ada-002.
  • Delete Column - Fjern embedding-feltet og innstillingene. Kontroller hvilket felt søkene eller API-innstillingene bruker før du sletter det.

Forhåndsvis og fyll tabellen

Kontroller feltene før du genererer embeddings.

  • Preview - Viser inntil 100 kilderader. En verdi som [note → 1, 2, 3, ... 1536] viser hvilken kilde og hvilke dimensjoner du har valgt. Tallene er plassholdere for embedding-verdien som skal genereres.
  • Populate Vector Table - Leser kildepostene, genererer embeddings og lagrer valgte felt i Vector-tabellen. Operasjonen behandler kilden i grupper av rader. Forhåndsvisningens grense på 100 rader bestemmer ikke antallet poster som behandles.
  • Etter at tabellen er fylt - Verktøylinjen viser et søkefelt, Select Vector Column og Search. Åpne tabellen igjen for å lese de lagrede resultatene. Et embedding-felt viser om verdien har fått en embedding.

Søk i den lagrede teksten

Søk blir tilgjengelig etter at tabellen er fylt.

  1. Skriv en frase i Type to search…, for eksempel light for a reception desk.
  2. Velg Embedding under Select Vector Column. Dette velger hvilken tekst og modell søket bruker.
  3. Velg Search. Les notatene og ordreidentifikatorene som returneres, med de nærmeste treffene først.
  4. Endre frasen eller velg en annen embedding-kolonne, og velg Search igjen. Fjern frasen og kjør Search for å gå tilbake til den vanlige lagrede rekkefølgen.
Vector-søkeresultater for light for a reception desk med feltet Embedding valgt

Les notatene med treff ved siden av ordreidentifikatorene. Skjermbildet bruker syntetiske data og faste embedding-verdier laget for eksemplet.

Gjennomarbeidede eksempler

Søk i ordrenotater eller velg mellom to tekstfelt.

Eksempel: finn relevante produktnotater

Tenk deg at notatene er «Desk lamp for reception», «Adjustable reading light» og «Compact shelf light». Opprett Embedding fra note, fyll tabellen og søk etter «light for a reception desk». Du får de lagrede postene sortert etter den valgte modellens likhetsberegning. Behold orderId i Source Columns slik at du kan åpne originalposten med treff. Den nøyaktige rangeringen avhenger av embedding-verdiene modellen lager.

Tekstpostene som brukes i dette eksemplet.

[
  {
    "orderId": "O-101",
    "note": "Desk lamp for reception"
  },
  {
    "orderId": "O-102",
    "note": "Adjustable reading light"
  },
  {
    "orderId": "O-103",
    "note": "Compact shelf light"
  }
]

Eksempel: søk i titler og beskrivelser hver for seg

Bruk to tekstfelt når den korte tittelen og den lengre beskrivelsen svarer på forskjellige spørsmål.

  1. Ta med productId, title og description under Source Columns før du fyller tabellen.
  2. Velg Vector Column og sett Source Column til title. Legg til en ny Vector Column og sett kilden til description.
  3. Velg Populate Vector Table. Skriv en frase og velg embedding-feltet for title under Select Vector Column når du vil søke i titler.
  4. Velg embedding-feltet for description og Search igjen når de lengre beskrivelsene skal bestemme rekkefølgen.

Sett opp et API for likhetssøk

Etter at tabellen er fylt, viser Enable API og API endepunktinnstillingene. Brukerstyrt autentisering for dette Vector-endepunktet er ikke tilgjengelig ennå.

  • Enable API - Er av som standard. Slå på for å vise API-innstillingene for denne Vector-tabellen.
  • Domain Type - Datavju Domain er standard. Use Own Domain viser Own Domain Name for et vertsnavn som allerede er satt opp.
  • Own Domain Name - Vises for Use Own Domain. Oppgi vertsnavnet du har satt opp, som search.example.com. Feltet alene setter ikke opp DNS eller hosting.
  • Endpoint Path - Starter tomt. Oppgi stien du ønsker i endepunktet, som products. Les URL-en som blir laget i Endpoint.
  • Similarity Search - Er av som standard. Slå på for å aktivere likhetsendepunktet. Endpoint som vises under, slutter på similarity-search.
  • Search Column - Starter uten valg. Velg embedding-kolonnen likhetsendepunktet skal søke i. Det oppsatte svaret inkluderer distance og de valgte kildefeltene.
Vector-panelet API Config med innstillingene Domain Type, Endpoint Path, Similarity Search og Search Column

Sett opp endepunktet og velg embedding-feltet du vil søke i.

Begrensninger og vanlige feil

Den lagrede Vector-tabellen inneholder dataene fra da den ble fylt. Endringer i kilden oppdaterer ikke de lagrede embedding-verdiene automatisk.

  • OpenAI-embedding-felt tar imot tekst med innhold på inntil 5000 tegn. Rett tomme verdier og verdier med feil type i kilden før du fyller tabellen.
  • Populate Vector Table erstatter det tidligere lagrede innholdet i Vector-tabellen mens operasjonen kjører. Kontroller inndataene og at leverandøren er tilgjengelig før du starter en ny fylling.
  • Refresh Vector Table er ikke tilgjengelig ennå. De lagrede søkedataene beholdes slik de var da du fylte tabellen.
  • OpenAI text-embedding-3-large er ikke tilgjengelig for nye embedding-felt ennå: fyllingen krever en annen feltstørrelse. Behold text-embedding-3-small i denne veiledningen.
  • Generering med Google Vertex AI er ikke tilgjengelig ennå. Valgene Save as new query, Nearest Neighbor, Semantic Correlation og Semantic Search i New-menyen er heller ikke tilgjengelige.
  • Tabellens vanlige søkevisning returnerer inntil 100 rader. Oppgi en resultatgrense i API-kallet når du kobler til en annen applikasjon.
  • Undersøk likhetsresultatene før du bruker dem til å ta en beslutning. Bruk Filter eller Join på en nøyaktig identifikator når du trenger nøyaktige treff.
  • Table - Klargjør tekstfelt og stabile postnøkler.
  • Transform - Rydd eller kombiner kildetekst før du lager embeddings.
  • View - Behold et gjenbrukbart resultat fra kildedataene.
  • Join - Koble poster med et nøyaktig koblingsvilkår.
  • API - Sett opp autentisert tilgang fra en annen applikasjon.