Vektor verilənlər bazası nədir, necə işləyir və potensial bazar

Vektor verilənlər bazası, xüsusiyyətlərin və ya atributların riyazi təsvirləri olan yüksək ölçülü vektorlar kimi məlumatları saxlayan verilənlər bazası növüdür. 

Bu vektorlar adətən mətn, şəkillər, audio, video və başqaları kimi xam verilənlərə bir növ daxiletmə funksiyası tətbiq etməklə yaradılır.

Vektor verilənlər bazası ola bilər definite metadata filtrləmə və üfüqi miqyaslama kimi xüsusiyyətlərlə sürətli axtarış və oxşarlıq axtarışı üçün vektor daxiletmələrini indeksləşdirən və saxlayan bir vasitə kimi.

Təxmini oxuma vaxtı: 9 minuti

Artan İnvestor Marağı

Son həftələrdə vektor verilənlər bazalarına investorların marağında artım müşahidə olunur. 2023-cü ilin əvvəlindən biz qeyd etdik ki:

• vektor verilənlər bazası işə salınması Toxumaq Əldə etdi B Seriyasında 50 milyon dollar maliyyələşdirmə;
• Şam kozalağı 100 milyon dollar dəyərində B Seriyasının maliyyələşdirilməsində 750 milyon dollar cəlb etdi;
• Chroma , açıq mənbə layihəsi, onun daxil edilməsi verilənlər bazası üçün 18 milyon dollar topladı;

Vektor verilənlər bazalarının nə olduğunu daha ətraflı nəzərdən keçirək.

Verilənlərin təsviri kimi vektorlar

Vektor verilənlər bazaları əsas etibarı ilə vektor yerləşdirməyə, mürəkkəb fəaliyyətləri yerinə yetirərkən istifadə etmək üçün süni intellekt intellektinin başa düşülməsi və uzunmüddətli yaddaşın saxlanması üçün vacib olan semantik məlumatı özündə daşıyan məlumat təqdimat növünə əsaslanır. 

Vektor yerləşdirmələri

Vektor yerləşdirmələri xəritəyə bənzəyir, lakin bizə şeylərin dünyada harada olduğunu göstərmək əvəzinə, adlanan bir şeyin harada olduğunu göstərirlər. vektor sahəsi. Vektor məkanı hər şeyin öz yerinin olduğu böyük bir oyun meydançasıdır. Təsəvvür edin ki, bir qrup heyvanınız var: pişik, it, quş və balıq. Oyun meydançasında ona xüsusi mövqe verməklə hər bir şəkil üçün vektor embed yarada bilərik. Pişik bir küncdə, it digər tərəfdə ola bilər. Quş göydə, balıq isə gölməçədə ola bilərdi. Bu yer çoxölçülü məkandır. Hər ölçü onların müxtəlif cəhətlərinə uyğundur, məsələn, balıqların üzgəcləri, quşların qanadları, pişiklərin və itlərin ayaqları var. Onların başqa bir cəhəti o ola bilər ki, balıqlar suya, quşlar əsasən göyə, it və pişiklər yerə aiddir. Bu vektorlara sahib olduqdan sonra biz onları oxşarlıqlarına görə qruplaşdırmaq üçün riyazi üsullardan istifadə edə bilərik. Əldə etdiyimiz məlumata əsasən,

Beləliklə, vektor əlavələri vektor məkanında şeylər arasında oxşarlıq tapmağa kömək edən xəritə kimidir. Xəritə bizə dünyanı gəzməyə kömək etdiyi kimi, vektor əlavələri vektor oyun meydançasında naviqasiya etməyə kömək edir.

Əsas ideya ondan ibarətdir ki, semantik olaraq bir-birinə bənzəyən yerləşdirmələr arasında daha kiçik məsafə var. Onların nə qədər oxşar olduğunu öyrənmək üçün Evklid məsafəsi, kosinus məsafəsi və s. kimi vektor məsafəsi funksiyalarından istifadə edə bilərik.

Vektor verilənlər bazaları vektor kitabxanalarına qarşı

Vektor kitabxanaları oxşarlıq axtarışlarını yerinə yetirmək üçün yaddaşda indekslərdə vektorların daxil edilməsini saxlamaq. Vektor kitabxanaları aşağıdakı xüsusiyyətlərə/məhdudiyyətlərə malikdir:

1. Yalnız vektorları saxlayın : Vektor kitabxanaları yalnız vektorların daxil edilməsini saxlayır, onların yaradıldığı əlaqəli obyektləri deyil. Bu o deməkdir ki, sorğu zamanı vektor kitabxanası müvafiq vektorlar və obyekt identifikatorları ilə cavab verəcək. Bu məhdudlaşdırıcıdır, çünki faktiki məlumat id-də deyil, obyektdə saxlanılır. Bu problemi həll etmək üçün obyektləri ikinci dərəcəli anbarda saxlamalıyıq. Daha sonra sorğunun qaytardığı identifikatorlardan istifadə edə və nəticələri başa düşmək üçün onları obyektlərə uyğunlaşdıra bilərik.
2. İndeks məlumatları dəyişməzdir : Vektor kitabxanaları tərəfindən yaradılan indekslər dəyişməzdir. Bu o deməkdir ki, biz məlumatlarımızı idxal etdikdən və indeksi qurduqdan sonra heç bir dəyişiklik edə bilməyəcəyik (yeni əlavələr, silmələr və ya dəyişikliklər yoxdur). İndeksimizə dəyişiklik etmək üçün onu sıfırdan yenidən qurmalı olacağıq
3. İdxalı məhdudlaşdırarkən sorğu edin : Məlumatların idxalı zamanı vektor kitabxanalarının əksəriyyəti sorğulana bilməz. Əvvəlcə bütün məlumat obyektlərimizi idxal etməliyik. Beləliklə, indeks obyektlər idxal edildikdən sonra yaradılır. Bu, milyonlarla, hətta milyardlarla obyektin idxalını tələb edən proqramlar üçün problem ola bilər.

Çoxlu vektor axtarış kitabxanaları mövcuddur: Facebook-un FAISS, Annoy Spotify və ScanNN Google tərəfindən. FAISS qruplaşma metodundan, Annoy ağaclardan, ScanNN isə vektor sıxılma metodundan istifadə edir. Tətbiqimizə və performans göstəricilərimizə əsasən seçə biləcəyimiz hər biri üçün performans nisbəti var.

CRUD

Vektor verilənlər bazalarını vektor kitabxanalarından fərqləndirən əsas xüsusiyyət verilənlərin arxivləşdirilməsi, yenilənməsi və silinməsidir. Vektor verilənlər bazaları CRUD dəstəyinə malikdir vektor kitabxanasının məhdudiyyətlərini həll edən tamamlama (yaratmaq, oxumaq, yeniləmək və silmək).

1. Arxiv vektorları və obyektləri : Verilənlər bazaları həm məlumat obyektlərini, həm də vektorları saxlaya bilər. Hər ikisi saxlanıldığı üçün biz vektor axtarışını strukturlaşdırılmış filtrlərlə birləşdirə bilərik. Filtrlər bizə ən yaxın qonşuların metadata filtrinə uyğun olduğundan əmin olmağa imkan verir.
2. Dəyişkənlik : vektor verilənlər bazası tam olaraq dəstəklənir xırda, İndeksimiz yaradıldıqdan sonra qeydləri asanlıqla əlavə edə, silə və ya yeniləyə bilərik. Bu, daim dəyişən məlumatlarla işləyərkən xüsusilə faydalıdır.
3. Real vaxt axtarışı : Vektor kitabxanalarından fərqli olaraq, verilənlər bazaları idxal prosesi zamanı məlumatlarımızı sorğulamağa və dəyişdirməyə imkan verir. Biz milyonlarla obyekti yüklədikcə, idxal edilmiş məlumatlar tam əlçatan və işlək qalır, beləliklə, artıq orada olanlar üzərində işləməyə başlamaq üçün idxalın tamamlanmasını gözləmək lazım deyil.

Qısaca desək, vektor verilənlər bazası əvvəlki bəndlərdə müzakirə olunduğu kimi öz-özünə daxil olan vektor indekslərinin məhdudiyyətlərini həll etməklə vektor yerləşdirmələri idarə etmək üçün üstün həll yolu təqdim edir.

Bəs vektor verilənlər bazalarını ənənəvi verilənlər bazalarından üstün edən nədir?

Vektor verilənlər bazaları ənənəvi verilənlər bazalarına qarşı

Ənənəvi verilənlər bazaları əlaqəli modellərdən istifadə edərək strukturlaşdırılmış məlumatları saxlamaq və əldə etmək üçün nəzərdə tutulmuşdur, bu da onların sütunlar və verilənlər sətirləri əsasında sorğular üçün optimallaşdırılması deməkdir. Vektor daxiletmələrini ənənəvi verilənlər bazalarında saxlamaq mümkün olsa da, bu verilənlər bazaları vektor əməliyyatları üçün optimallaşdırılmayıb və böyük verilənlər bazalarında oxşarlıq axtarışlarını və ya digər mürəkkəb əməliyyatları səmərəli şəkildə yerinə yetirə bilmir.

Bunun səbəbi, ənənəvi verilənlər bazalarının sətirlər və ya rəqəmlər kimi sadə məlumat növlərinə əsaslanan indeksləşdirmə üsullarından istifadə etməsidir. Bu indeksləşdirmə üsulları yüksək ölçüyə malik olan və ters çevrilmiş indekslər və ya məkan ağacları kimi xüsusi indeksləşdirmə üsullarını tələb edən vektor məlumatları üçün uyğun deyil.

Həmçinin, ənənəvi verilənlər bazaları çox vaxt vektor yerləşdirmələri ilə əlaqəli strukturlaşdırılmamış və ya yarı strukturlaşdırılmış məlumatların böyük həcmlərini idarə etmək üçün nəzərdə tutulmamışdır. Məsələn, bir şəkil və ya səs faylı ənənəvi verilənlər bazalarının effektiv şəkildə idarə edə bilmədiyi milyonlarla məlumat nöqtəsini ehtiva edə bilər.

Digər tərəfdən, vektor verilənlər bazaları vektor məlumatlarını saxlamaq və əldə etmək üçün xüsusi olaraq hazırlanmışdır və böyük verilənlər bazasında oxşarlıq axtarışları və digər mürəkkəb əməliyyatlar üçün optimallaşdırılmışdır. Onlar yüksək ölçülü məlumatlarla işləmək üçün nəzərdə tutulmuş xüsusi indeksləşdirmə üsullarından və alqoritmlərdən istifadə edirlər ki, bu da onları vektor daxiletmələrinin saxlanması və əldə edilməsi üçün ənənəvi verilənlər bazalarından daha səmərəli edir.

İndi vektor verilənlər bazaları haqqında çox şey oxuduğunuza görə, onların necə işlədiyini maraqlandıra bilərsiniz? Gəlin nəzər salaq.

Vektor verilənlər bazası necə işləyir?

Biz hamımız relyasiya verilənlər bazalarının necə işlədiyini bilirik: onlar sətirlərdə və sütunlarda sətirləri, nömrələri və digər növ skalyar məlumatları saxlayır. Digər tərəfdən, vektor verilənlər bazası vektorlar üzərində işləyir, ona görə də onun optimallaşdırılması və sorğulanması tamamilə fərqlidir.

Ənənəvi verilənlər bazalarında biz adətən verilənlər bazasında dəyərin adətən sorğumuza tam uyğun gəldiyi sətirləri sorğulayırıq. Vektor verilənlər bazalarında sorğumuza ən çox bənzəyən vektoru tapmaq üçün oxşarlıq metrikasını tətbiq edirik.

Vektor verilənlər bazası ən yaxın qonşu axtarışında (ANN) iştirak edən bir neçə alqoritmin birləşməsindən istifadə edir. Bu alqoritmlər hashing, kvantlaşdırma və ya qrafik əsaslı axtarışla axtarışı optimallaşdırır.

Bu alqoritmlər sorğulanan vektorun qonşularının sürətli və dəqiq axtarışını təmin edən boru kəmərinə yığılmışdır. Vektor verilənlər bazası təxmini nəticələri təmin etdiyi üçün nəzərə aldığımız əsas mübadilələr dəqiqlik və sürət arasındadır. Nəticə nə qədər dəqiq olarsa, sorğu bir o qədər yavaş olacaq. Bununla belə, yaxşı bir sistem mükəmmələ yaxın dəqiqliklə ultra sürətli axtarışı təmin edə bilər.

• İndeksləmə : Vektor verilənlər bazası PQ, LSH və ya HNSW kimi alqoritmdən istifadə edərək vektorları indeksləşdirir. Bu addım vektorları daha sürətli axtarışa imkan verəcək məlumat strukturu ilə əlaqələndirir.
• Sual : vektor verilənlər bazası ən yaxın qonşuları tapmaq üçün indeksləşdirilmiş sorğu vektorunu verilənlər dəstindəki indekslənmiş vektorlarla müqayisə edir (həmin indeks tərəfindən istifadə olunan oxşarlıq metrikasını tətbiq etməklə)
• Post-emal : Bəzi hallarda vektor verilənlər bazası verilənlər bazasından son ən yaxın qonşuları alır və yekun nəticələri qaytarmaq üçün onları emal edir. Bu addım fərqli oxşarlıq ölçüsündən istifadə edərək ən yaxın qonşuların yenidən təsnifləşdirilməsini əhatə edə bilər.

Faydaları

Vektor verilənlər bazaları, ənənəvi verilənlər bazalarından istifadə etməklə effektiv şəkildə yerinə yetirilə bilməyən böyük məlumat dəstləri üzərində oxşarlıq axtarışları və digər mürəkkəb əməliyyatlar üçün güclü vasitədir. Funksional vektor verilənlər bazası yaratmaq üçün yerləşdirmələr vacibdir, çünki onlar verilənlərin semantik mənasını tutur və dəqiq oxşarlıq axtarışlarına imkan verir. Vektor kitabxanalarından fərqli olaraq, vektor verilənlər bazaları bizim istifadə vəziyyətimizə uyğun olaraq dizayn edilmişdir ki, bu da onları performans və genişlənmənin kritik olduğu tətbiqlər üçün ideal hala gətirir. Maşın öyrənməsi və süni intellektin yüksəlişi ilə vektor verilənlər bazaları tövsiyə sistemləri, şəkil axtarışı, semantik oxşarlıq və siyahı uzanan geniş tətbiqlər üçün getdikcə daha vacib olur. Sahə inkişaf etməyə davam etdikcə, biz gələcəkdə vektor verilənlər bazalarının daha da innovativ tətbiqlərini görəcəyimizi gözləyə bilərik.

Ercole Palmeri