Vektor ma'lumotlar bazalari nima, ular qanday ishlaydi va potentsial bozor

Vektorli ma'lumotlar bazasi - bu ma'lumotlarni yuqori o'lchamli vektorlar sifatida saqlaydigan ma'lumotlar bazasi turi bo'lib, ular xususiyatlar yoki atributlarning matematik ko'rinishidir. 

Ushbu vektorlar odatda matn, tasvir, audio, video va boshqalar kabi xom ma'lumotlarga qandaydir joylashtirish funksiyasini qo'llash orqali yaratiladi.

Vektor ma'lumotlar bazalari bo'lishi mumkin definite metadata filtrlash va gorizontal masshtablash kabi funksiyalarga ega tezkor qidirish va oʻxshashlikni qidirish uchun vektor oʻrnatishlarni indekslovchi va saqlaydigan vosita sifatida.

Taxminiy o'qish vaqti: 9 daqiqada

O'sib borayotgan investor qiziqishi

So'nggi haftalarda vektor ma'lumotlar bazalariga investorlarning qiziqishi ortdi. 2023 yil boshidan boshlab biz quyidagilarni payqadik:

• vektor ma'lumotlar bazasini ishga tushirish To'qmoq U qo'lga kiritdi B seriyali moliyalashtirishda 50 million dollar;
• Qarag'ay daraxti 100 million dollarlik bahoda B seriyali moliyalashtirishda 750 million dollar to'pladi;
• Chroma , ochiq manba loyihasi, ma'lumotlar bazasini joylashtirish uchun 18 million dollar yig'di;

Keling, vektor ma'lumotlar bazalari nima ekanligini batafsil ko'rib chiqaylik.

Vektorlar ma'lumotlarni ko'rsatish sifatida

Vektorli ma'lumotlar bazalari asosan vektorni o'rnatishga tayanadi, bu ma'lumotlarni taqdim etish turi bo'lib, unda AI uchun tushunish uchun muhim bo'lgan semantik ma'lumotlar mavjud va murakkab harakatlarni bajarishda foydalanish uchun uzoq muddatli xotirani saqlab qoladi. 

Vektor o'rnatish

Vektor o'rnatish xaritaga o'xshaydi, lekin ular bizga dunyoning qayerda ekanligini ko'rsatish o'rniga, narsalar deb ataladigan narsaning qaerdaligini ko'rsatadilar. vektor maydoni. Vektor maydoni - bu katta o'yin maydonchasi bo'lib, unda hamma narsa o'z o'rniga ega. Tasavvur qiling-a, sizda hayvonlar guruhi bor: mushuk, it, qush va baliq. Biz har bir tasvir uchun o'yin maydonchasida alohida pozitsiyani berib, vektorli embed yaratishimiz mumkin. Mushuk bir burchakda, it boshqa tomonda bo'lishi mumkin. Qush osmonda, baliq esa hovuzda bo'lishi mumkin edi. Bu joy ko'p o'lchovli makondir. Har bir o'lchov ularning turli tomonlariga mos keladi, masalan, baliqlarning qanotlari, qushlarning qanotlari, mushuk va itlarning oyoqlari bor. Ularning yana bir jihati shundaki, baliqlar suvga, qushlar asosan osmonga, mushuk va itlar esa erga tegishlidir. Ushbu vektorlarga ega bo'lganimizdan so'ng, biz ularni o'xshashligiga qarab guruhlash uchun matematik usullardan foydalanishimiz mumkin. Bizda mavjud bo'lgan ma'lumotlarga asoslanib,

Shunday qilib, vektor qo'shish xaritaga o'xshaydi, bu bizga vektor fazosidagi narsalar o'rtasidagi o'xshashlikni topishga yordam beradi. Xarita bizga dunyo bo'ylab harakatlanishimizga yordam berganidek, vektor o'rnatishlar vektor o'yin maydonchasida harakatlanishga yordam beradi.

Asosiy g'oya shundan iboratki, bir-biriga semantik jihatdan o'xshash bo'lgan qo'shimchalar orasidagi masofa kamroq bo'ladi. Ularning qanchalik o'xshashligini bilish uchun biz Evklid masofasi, kosinus masofasi va boshqalar kabi vektor masofa funksiyalaridan foydalanishimiz mumkin.

Vektorli ma'lumotlar bazalari vektor kutubxonalari

Vektor kutubxonalar o'xshashlik qidiruvlarini amalga oshirish uchun vektorlarni xotirada indekslarga joylashtirish. Vektor kutubxonalari quyidagi xususiyatlarga/cheklovlarga ega:

1. Faqat vektorlarni saqlang : Vektor kutubxonalari faqat vektorlarning o'rnatilishini saqlaydi, ular yaratilgan bog'liq ob'ektlarni emas. Bu shuni anglatadiki, biz so'rov qilganimizda vektor kutubxonasi tegishli vektorlar va ob'ekt identifikatorlari bilan javob beradi. Bu cheklanadi, chunki haqiqiy ma'lumot id emas, balki ob'ektda saqlanadi. Ushbu muammoni hal qilish uchun biz ob'ektlarni ikkilamchi saqlashda saqlashimiz kerak. Keyin so'rov orqali qaytarilgan identifikatorlardan foydalanishimiz va natijalarni tushunish uchun ularni ob'ektlarga moslashtirishimiz mumkin.
2. Indeks ma'lumotlari o'zgarmasdir : Vektor kutubxonalari tomonidan ishlab chiqarilgan indekslar o'zgarmasdir. Bu shuni anglatadiki, biz ma'lumotlarimizni import qilib, indeksni yaratganimizdan so'ng, biz hech qanday o'zgartirishlar kirita olmaymiz (yangi qo'shimchalar, o'chirishlar yoki o'zgartirishlar yo'q). Indeksimizga o'zgartirish kiritish uchun uni noldan qayta tiklashimiz kerak bo'ladi
3. Importni cheklashda so'rov : Ko'pgina vektorli kutubxonalar ma'lumotlarni import qilishda so'ralmaydi. Avval barcha ma'lumotlar ob'ektimizni import qilishimiz kerak. Shunday qilib, indeks ob'ektlar import qilinganidan keyin yaratiladi. Bu millionlab yoki hatto milliardlab ob'ektlarni import qilishni talab qiladigan ilovalar uchun muammo bo'lishi mumkin.

Ko'p vektor qidiruv kutubxonalari mavjud: Facebookning FAISS, bezovta Spotify tomonidan va ScanNN Google tomonidan. FAISS klasterlash usulidan foydalanadi, Annoy daraxtlardan foydalanadi va ScanNN vektor siqishni ishlatadi. Ularning har biri uchun unumdorlik nisbati mavjud bo'lib, biz uni ilova va ishlash ko'rsatkichlari asosida tanlashimiz mumkin.

CRUD

Vektorli ma'lumotlar bazalarini vektor kutubxonalaridan ajratib turadigan asosiy xususiyat ma'lumotlarni arxivlash, yangilash va o'chirish qobiliyatidir. Vektor ma'lumotlar bazalari CRUD-ni qo'llab-quvvatlaydi vektor kutubxonasining cheklovlarini hal qiladigan to'liq (yaratish, o'qish, yangilash va o'chirish).

1. Vektorlar va ob'ektlarni arxivlash : Ma'lumotlar bazalari ma'lumotlar ob'ektlarini ham, vektorlarni ham saqlashi mumkin. Ikkalasi ham saqlanganligi sababli, biz vektor qidiruvini tuzilgan filtrlar bilan birlashtira olamiz. Filtrlar bizga eng yaqin qo'shnilar metadata filtriga mos kelishiga ishonch hosil qilish imkonini beradi.
2. O'zgaruvchanlik : vektor ma'lumotlar bazalari to'liq qo'llab-quvvatlaydi qo'pol, Indeks yaratilgandan so'ng biz osongina qo'shishimiz, o'chirishimiz yoki yangilashimiz mumkin. Bu, ayniqsa, doimiy o'zgaruvchan ma'lumotlar bilan ishlashda foydalidir.
3. Haqiqiy vaqtda qidiruv : Vektor kutubxonalaridan farqli o'laroq, ma'lumotlar bazalari import jarayonida ma'lumotlarimizni so'rash va o'zgartirish imkonini beradi. Millionlab ob'ektlarni yuklaganimizdan so'ng, import qilingan ma'lumotlar to'liq foydalanish mumkin va ishlaydi, shuning uchun siz allaqachon mavjud bo'lgan narsalar ustida ishlashni boshlash uchun import tugashini kutishingiz shart emas.

Muxtasar qilib aytganda, vektor ma'lumotlar bazasi oldingi bandlarda ko'rib chiqilganidek, o'z-o'zidan o'z ichiga olgan vektor indekslarining cheklovlarini ko'rib chiqish orqali vektor kiritish bilan ishlash uchun eng yaxshi echimni taqdim etadi.

Ammo vektor ma'lumotlar bazalarini an'anaviy ma'lumotlar bazalaridan nima ustun qiladi?

Vektor ma'lumotlar bazalari an'anaviy ma'lumotlar bazalariga nisbatan

An'anaviy ma'lumotlar bazalari relyatsion modellar yordamida tuzilgan ma'lumotlarni saqlash va olish uchun mo'ljallangan, ya'ni ular ustunlar va ma'lumotlar qatorlari asosida so'rovlar uchun optimallashtirilgan. An'anaviy ma'lumotlar bazalarida vektor kiritishlarini saqlash mumkin bo'lsa-da, bu ma'lumotlar bazalari vektor operatsiyalari uchun optimallashtirilmagan va katta ma'lumotlar to'plamlarida o'xshashlik qidirish yoki boshqa murakkab operatsiyalarni samarali bajara olmaydi.

Buning sababi shundaki, an'anaviy ma'lumotlar bazalari satrlar yoki raqamlar kabi oddiy ma'lumotlar turlariga asoslangan indekslash usullaridan foydalanadi. Ushbu indekslash usullari yuqori o'lchamli va teskari indekslar yoki fazoviy daraxtlar kabi maxsus indekslash usullarini talab qiladigan vektor ma'lumotlari uchun mos emas.

Bundan tashqari, an'anaviy ma'lumotlar bazalari ko'pincha vektor kiritish bilan bog'liq bo'lgan katta hajmdagi tuzilmagan yoki yarim tizimli ma'lumotlar bilan ishlash uchun mo'ljallanmagan. Misol uchun, rasm yoki ovoz fayli an'anaviy ma'lumotlar bazalari samarali ishlay olmaydigan millionlab ma'lumotlar nuqtalarini o'z ichiga olishi mumkin.

Vektor ma'lumotlar bazalari esa vektor ma'lumotlarini saqlash va olish uchun maxsus ishlab chiqilgan va o'xshashlikni qidirish va katta ma'lumotlar to'plamlarida boshqa murakkab operatsiyalar uchun optimallashtirilgan. Ular yuqori o'lchamli ma'lumotlar bilan ishlash uchun mo'ljallangan ixtisoslashtirilgan indekslash texnikasi va algoritmlaridan foydalanadilar, bu ularni vektor kiritishlarini saqlash va olish uchun an'anaviy ma'lumotlar bazalariga qaraganda ancha samaraliroq qiladi.

Endi siz vektor ma'lumotlar bazalari haqida juda ko'p o'qiganingizdan so'ng, ular qanday ishlaydi deb hayron bo'lishingiz mumkin. Keling, bir ko'rib chiqaylik.

Vektor ma'lumotlar bazasi qanday ishlaydi?

Relyatsion ma'lumotlar bazalari qanday ishlashini hammamiz bilamiz: ular satrlar, raqamlar va boshqa turdagi skalar ma'lumotlarni satr va ustunlarda saqlaydi. Boshqa tomondan, vektor ma'lumotlar bazasi vektorlar ustida ishlaydi, shuning uchun uni optimallashtirish va so'rov qilish usuli butunlay boshqacha.

An'anaviy ma'lumotlar bazalarida biz odatda ma'lumotlar bazasidagi satrlarni so'raymiz, bu erda qiymat odatda so'rovimizga to'liq mos keladi. Vektorli ma'lumotlar bazalarida biz so'rovimizga eng o'xshash vektorni topish uchun o'xshashlik ko'rsatkichini qo'llaymiz.

Vektor ma'lumotlar bazasi eng yaqin qo'shni qidirishda (ANN) ishtirok etadigan bir nechta algoritmlarning kombinatsiyasidan foydalanadi. Ushbu algoritmlar xeshlash, kvantlash yoki grafik asosida qidirish orqali qidiruvni optimallashtiradi.

Ushbu algoritmlar so'ralayotgan vektorning qo'shnilarini tez va aniq olishni ta'minlaydigan quvur liniyasiga yig'iladi. Vektor ma'lumotlar bazasi taxminiy natijalarni taqdim etganligi sababli, biz ko'rib chiqadigan asosiy farqlar aniqlik va tezlik o'rtasida. Natija qanchalik aniq bo'lsa, so'rov shunchalik sekinroq bo'ladi. Biroq, yaxshi tizim deyarli mukammal aniqlik bilan o'ta tezkor qidiruvni ta'minlaydi.

• Indekslash : Vektor ma'lumotlar bazasi PQ, LSH yoki HNSW kabi algoritm yordamida vektorlarni indekslaydi. Ushbu qadam vektorlarni tezroq qidirish imkonini beradigan ma'lumotlar strukturasi bilan bog'laydi.
• So'rov : vektor ma'lumotlar bazasi eng yaqin qo'shnilarni topish uchun indekslangan so'rov vektorini ma'lumotlar to'plamidagi indekslangan vektorlar bilan taqqoslaydi (ushbu indeks tomonidan ishlatiladigan o'xshashlik ko'rsatkichini qo'llash)
• Keyingi ishlov berish : Ba'zi hollarda vektor ma'lumotlar bazasi ma'lumotlar to'plamidan oxirgi eng yaqin qo'shnilarni oladi va yakuniy natijalarni qaytarish uchun ularni qayta ishlaydi. Bu qadam boshqa o'xshashlik o'lchovidan foydalangan holda eng yaqin qo'shnilarni qayta tasniflashni o'z ichiga olishi mumkin.

foydasi

Vektor ma'lumotlar bazalari an'anaviy ma'lumotlar bazalari yordamida samarali bajarib bo'lmaydigan katta ma'lumotlar to'plamlarida o'xshashlikni qidirish va boshqa murakkab operatsiyalar uchun kuchli vositadir. Funktsional vektor ma'lumotlar bazasini yaratish uchun o'rnatish juda muhim, chunki ular ma'lumotlarning semantik ma'nosini qamrab oladi va o'xshashlikni aniq qidirishga imkon beradi. Vektor kutubxonalaridan farqli o'laroq, vektor ma'lumotlar bazalari bizning foydalanish holatlarimizga mos ravishda ishlab chiqilgan bo'lib, ularni ishlash va kengayish muhim bo'lgan ilovalar uchun ideal qiladi. Mashinani o'rganish va sun'iy intellektning kuchayishi bilan vektor ma'lumotlar bazalari tavsiya qiluvchi tizimlar, tasvirlarni qidirish, semantik o'xshashlik va ro'yxatni davom ettiradigan keng ko'lamli ilovalar uchun tobora muhim ahamiyat kasb etmoqda. Soha rivojlanishda davom etar ekan, biz kelajakda vektor ma'lumotlar bazalarining yanada innovatsion ilovalarini ko'rishni kutishimiz mumkin.

Ercole Palmeri