Šta su vektorske baze podataka, kako rade i potencijalno tržište

Vektorska baza podataka je tip baze podataka koja pohranjuje podatke kao vektore visoke dimenzije, koji su matematički prikazi karakteristika ili atributa. 

Ovi vektori se obično generiraju primjenom neke vrste funkcije ugrađivanja na sirove podatke, kao što su tekst, slike, audio, video i drugi.

Vektorske baze podataka mogu biti definite kao alat koji indeksira i pohranjuje vektorske embede za brzo pronalaženje i pretraživanje sličnosti, sa funkcijama poput filtriranja metapodataka i horizontalnog skaliranja.

Predviđeno vrijeme čitanja: 9 minute

Rastuće interesovanje investitora

Posljednjih sedmica došlo je do povećanja interesovanja investitora za vektorske baze podataka. Od početka 2023. godine primjećujemo da:

• pokretanje vektorske baze podataka Weaviate Dobio je 50 miliona dolara u finansiranju serije B;
• borova šišarka prikupio 100 miliona dolara u finansiranju serije B uz procjenu od 750 miliona dolara;
• Chroma , projekat otvorenog koda, prikupio je 18 miliona dolara za svoju bazu podataka za ugradnju;

Pogledajmo detaljnije šta su vektorske baze podataka.

Vektori kao prikaz podataka

Vektorske baze podataka se u velikoj mjeri oslanjaju na ugrađivanje vektora, vrstu reprezentacije podataka koja u sebi nosi semantičke informacije kritične za AI za razumijevanje i održavanje dugoročne memorije na koju se može oslanjati prilikom izvršavanja složenih aktivnosti. 

Vector embeds

Vektorski ugradi su poput mape, ali umjesto da nam pokažu gdje su stvari u svijetu, oni nam pokazuju gdje se stvari nalaze u nečemu što se zove vektorski prostor. Vektorski prostor je neka vrsta velikog igrališta gdje sve ima svoje mjesto za igru. Zamislite da imate grupu životinja: mačku, psa, pticu i ribu. Možemo kreirati vektorski embed za svaku sliku tako što ćemo joj dati posebnu poziciju na igralištu. Mačka može biti u jednom uglu, pas na drugoj strani. Ptica bi mogla biti na nebu, a riba u ribnjaku. Ovo mjesto je višedimenzionalni prostor. Svaka dimenzija odgovara njihovim različitim aspektima, na primjer, ribe imaju peraje, ptice imaju krila, mačke i psi imaju noge. Drugi njihov aspekt može biti da ribe pripadaju vodi, ptice uglavnom nebu, a mačke i psi zemlji. Kada imamo ove vektore, možemo koristiti matematičke tehnike da ih grupišemo na osnovu njihove sličnosti. Na osnovu informacija koje posedujemo,

Dakle, vektorsko ugrađivanje je poput mape koja nam pomaže da pronađemo sličnost između stvari u vektorskom prostoru. Baš kao što nam mapa pomaže da se krećemo svijetom, vektorska ugradnja pomažu u navigaciji vektorskim igralištem.

Ključna ideja je da ugrađeni elementi koji su semantički slični jedan drugom imaju manju udaljenost između sebe. Da bismo saznali koliko su slični, možemo koristiti vektorske funkcije udaljenosti kao što su Euklidska udaljenost, kosinusna udaljenost, itd.

Vektorske baze podataka vs vektorske biblioteke

Vektorske biblioteke pohranjuju ugrađivanje vektora u indekse u memoriju, kako bi se izvršila pretraga sličnosti. Vektorske biblioteke imaju sljedeće karakteristike/ograničenja:

1. Čuvajte samo vektore : Vektorske biblioteke pohranjuju samo ugrađivanje vektora, a ne i pridružene objekte iz kojih su generirani. To znači da kada postavljamo upite, vektorska biblioteka će odgovoriti relevantnim vektorima i ID-ovima objekata. Ovo je ograničavajuće jer su stvarne informacije pohranjene u objektu, a ne u id. Da bismo riješili ovaj problem, trebali bismo pohraniti objekte u sekundarnu memoriju. Zatim možemo koristiti ID-ove koje je vratio upit i upariti ih sa objektima da bismo razumjeli rezultate.
2. Indeksni podaci su nepromjenjivi : Indeksi koje proizvode vektorske biblioteke su nepromjenjivi. To znači da nakon što uvezemo naše podatke i izgradimo indeks, ne možemo napraviti nikakve promjene (nema novih umetanja, brisanja ili promjena). Da bismo izvršili promjene u našem indeksu, morat ćemo ga ponovo izgraditi od nule
3. Upit uz ograničenje uvoza : Većina vektorskih biblioteka ne može biti upitana prilikom uvoza podataka. Prvo moramo uvesti sve naše objekte podataka. Dakle, indeks se kreira nakon uvoza objekata. Ovo može biti problem za aplikacije koje zahtijevaju da se uvezu milioni ili čak milijarde objekata.

Dostupne su mnoge biblioteke vektorskog pretraživanja: FAISS od Facebooka, Nerviraj se od Spotify i ScanNN od Google-a. FAISS koristi metodu klasteriranja, Annoy koristi stabla, a ScanNN koristi vektorsku kompresiju. Za svaki postoji kompromis performansi, koji možemo izabrati na osnovu naše aplikacije i metrike performansi.

CRUD

Glavna karakteristika koja razlikuje vektorske baze podataka od vektorskih biblioteka je mogućnost arhiviranja, ažuriranja i brisanja podataka. Vektorske baze podataka imaju CRUD podršku kompletan (kreiranje, čitanje, ažuriranje i brisanje) koji rješava ograničenja vektorske biblioteke.

1. Arhivirajte vektore i objekte : Baze podataka mogu pohraniti i objekte podataka i vektore. Pošto su oba pohranjena, možemo kombinirati vektorsko pretraživanje sa strukturiranim filterima. Filteri nam omogućavaju da osiguramo da najbliži susjedi odgovaraju filteru metapodataka.
2. Promjenjivost : kao vektorske baze podataka u potpunosti podržavaju grubo, možemo lako dodati, ukloniti ili ažurirati unose u našem indeksu nakon što je kreiran. Ovo je posebno korisno kada radite sa podacima koji se stalno mijenjaju.
3. Pretraga u realnom vremenu : Za razliku od vektorskih biblioteka, baze podataka nam omogućavaju da postavljamo upite i modificiramo naše podatke tokom procesa uvoza. Kako učitavamo milione objekata, uvezeni podaci ostaju potpuno dostupni i operativni, tako da ne morate čekati da se uvoz završi da biste počeli raditi na onome što je već tamo.

Ukratko, vektorska baza podataka pruža superiorno rješenje za rukovanje ugrađivanjem vektora rješavanjem ograničenja samostalnih vektorskih indeksa kao što je razmotreno u prethodnim tačkama.

Ali šta vektorske baze podataka čini superiornijim u odnosu na tradicionalne baze podataka?

Vektorske baze podataka naspram tradicionalnih baza podataka

Tradicionalne baze podataka su dizajnirane da pohranjuju i preuzimaju strukturirane podatke koristeći relacijske modele, što znači da su optimizirane za upite zasnovane na stupcima i redovima podataka. Iako je moguće pohraniti vektorske ugradnje u tradicionalne baze podataka, ove baze podataka nisu optimizirane za vektorske operacije i ne mogu efikasno obavljati pretraživanja sličnosti ili druge složene operacije na velikim skupovima podataka.

To je zato što tradicionalne baze podataka koriste tehnike indeksiranja zasnovane na jednostavnim tipovima podataka, kao što su stringovi ili brojevi. Ove tehnike indeksiranja nisu prikladne za vektorske podatke, koji imaju visoku dimenzionalnost i zahtijevaju specijalizirane tehnike indeksiranja kao što su obrnuti indeksi ili prostorna stabla.

Također, tradicionalne baze podataka nisu dizajnirane za rukovanje velikim količinama nestrukturiranih ili polustrukturiranih podataka koji se često povezuju sa ugrađivanjem vektora. Na primjer, slika ili audio datoteka može sadržavati milione tačaka podataka, s kojima tradicionalne baze podataka ne mogu efikasno rukovati.

Vektorske baze podataka, s druge strane, posebno su dizajnirane za pohranjivanje i dohvaćanje vektorskih podataka i optimizirane su za pretraživanje sličnosti i druge složene operacije na velikim skupovima podataka. Oni koriste specijalizirane tehnike indeksiranja i algoritme dizajnirane za rad sa visokodimenzionalnim podacima, što ih čini mnogo efikasnijim od tradicionalnih baza podataka za pohranjivanje i preuzimanje vektorskih ugrađenih.

Sada kada ste toliko čitali o vektorskim bazama podataka, možda se pitate kako one funkcionišu? Hajde da pogledamo.

Kako radi vektorska baza podataka?

Svi znamo kako funkcioniraju relacijske baze podataka: one pohranjuju nizove, brojeve i druge vrste skalarnih podataka u redove i stupce. S druge strane, vektorska baza podataka radi na vektorima, tako da je način na koji je optimiziran i upitan sasvim drugačiji.

U tradicionalnim bazama podataka obično tražimo redove u bazi podataka gdje se vrijednost obično tačno podudara s našim upitom. U vektorskim bazama podataka primjenjujemo metriku sličnosti kako bismo pronašli vektor koji je najsličniji našem upitu.

Vektorska baza podataka koristi kombinaciju nekoliko algoritama koji svi učestvuju u pretraživanju najbližih susjeda (ANN). Ovi algoritmi optimiziraju pretragu heširanjem, kvantizacijom ili pretraživanjem zasnovanom na grafu.

Ovi algoritmi su sastavljeni u cevovod koji omogućava brzo i precizno pronalaženje suseda vektora sa upitom. Pošto vektorska baza podataka daje približne rezultate, glavni kompromisi koje razmatramo su između tačnosti i brzine. Što je rezultat precizniji, upit će biti sporiji. Međutim, dobar sistem može pružiti ultra-brzo pretraživanje sa gotovo savršenom preciznošću.

• Indeksiranje : Vektorska baza podataka indeksira vektore koristeći algoritam kao što je PQ, LSH ili HNSW. Ovaj korak povezuje vektore sa strukturom podataka koja će omogućiti brže pretraživanje.
• pitanje : vektorska baza podataka uspoređuje indeksirani vektor upita s indeksiranim vektorima u skupu podataka kako bi pronašla najbliže susjede (primjenjujući metriku sličnosti koju koristi taj indeks)
• Naknadnu obradu : U nekim slučajevima, vektorska baza podataka dohvaća krajnje najbliže susjede iz skupa podataka i naknadno ih obrađuje kako bi vratila konačne rezultate. Ovaj korak može uključivati ​​reklasifikaciju najbližih susjeda korištenjem različite mjere sličnosti.

prednosti

Vektorske baze podataka su moćan alat za pretraživanje sličnosti i druge složene operacije na velikim skupovima podataka, koje se ne mogu efikasno izvesti upotrebom tradicionalnih baza podataka. Da bi se izgradila funkcionalna vektorska baza podataka, ugrađivanja su neophodna, jer obuhvataju semantičko značenje podataka i omogućavaju tačna pretraživanja sličnosti. Za razliku od vektorskih biblioteka, vektorske baze podataka su dizajnirane tako da odgovaraju našem slučaju upotrebe, što ih čini idealnim za aplikacije u kojima su performanse i skalabilnost kritični. Sa porastom mašinskog učenja i veštačke inteligencije, vektorske baze podataka postaju sve važnije za širok spektar aplikacija uključujući sisteme za preporuke, pretragu slika, semantičku sličnost i lista se nastavlja. Kako polje nastavlja da se razvija, možemo očekivati ​​da ćemo u budućnosti vidjeti još inovativnije primjene vektorskih baza podataka.

Ercole Palmeri