- Kosinin samankaltaisuus mittaa kahden vektorin suuntaa laskemalla niiden välisen kulman kosinin jättäen huomiotta niiden kokonaissuuruuden.
- Tämä mittari on olennainen nykyaikaiselle tekoälylle, sillä se mahdollistaa semanttisen haun, personoidut suositusjärjestelmät ja moniulotteisten upotusten käsittelyn.
- Vaikka kosinin vakiomuotoinen samankaltaisuus käsittelee ominaisuuksia itsenäisinä, edistyneemmät versiot, kuten pehmeä kosini, integroivat ominaisuuksien suhteita tarkkuuden parantamiseksi.
Oletko koskaan miettinyt, miten Spotify näyttää tietävän tarkalleen, mikä kappale osuu hakusanaan, tai miten Google ymmärtää hakukyselysi tarkoittavan jotain tiettyä, vaikka et käyttäisikään tarkkoja sanoja? Suuri osa taiasta tapahtuu kulissien takana käyttämällä vektorigrafiikan upotuksia . Sen sijaan, että tekoäly käsittelisi sanoja tai kohteita yksinkertaisena tekstinä, se muuntaa ne pisteiksi massiivisessa, moniulotteisessa tilassa, ja juuri tässä kohtaa kosini-samankaltaisuuden käsite astuu esiin kaiken selittämiseksi.
Pohjimmiltaan tämä matemaattinen temppu antaa tietokoneille mahdollisuuden selvittää, kuinka "lähellä" kaksi asiaa ovat toisiaan tarkastelemalla niiden vektorien välistä kulmaa . Se ei välitä, onko toinen vektori paljon pidempi kuin toinen; se välittää vain, osoittavatko ne samaan yleiseen suuntaan. Se on täydellinen mullistava pelintekijä luonnollisen kielen käsittelylle (NLP) ja suosittelumoottoreille, koska se keskittyy semanttiseen merkitykseen pelkän merkkien yhteensopivuuden sijaan.
Laskelman perusasiat
Ymmärtääksesi, miten tämä toimii, sinun on ymmärrettävä, että jokainen tieto – olipa se sitten sana tai elokuva – esitetään vektorina, jossa jokainen ulottuvuus on tietty attribuutti. Samankaltaisuuden löytämiseksi noudatamme muutamia erityisiä vaiheita. Ensin laskemme pistetulon , mikä tarkoittaa molempien vektorien vastaavien arvojen kertomista ja summaamista, jotta nähdään, kuinka linjassa ne ovat. Seuraavaksi selvitämme kunkin vektorin suuruuden (tai pituuden) ottamalla neliöjuuren sen neliöityjen osien summasta.
Viimeinen vaihe on varsinainen kosinin samankaltaisuuskaava : pistetulo jaetaan kahden suuruuden tulolla. Matemaattisesti se näyttää tältä: Kosinin samankaltaisuus = (A · B) / (||A|| × ||B||) . Tuloksena on pistemäärä, joka yleensä vaihtelee -1:n ja 1:n välillä. Pistemäärä 1 tarkoittaa, että vektorit ovat täysin linjassa , 0 tarkoittaa, että ne ovat ortogonaalisia (täysin toisiinsa liittymättömiä), ja -1 tarkoittaa, että ne ovat täysin vastakkaisia.
Perspektiiviin laittaminen: kuninkaat, kuningattaret ja omenat
Tehdään tästä konkreettinen esimerkki. Kuvittele oikeustieteen maisteri, joka käsittelee sanoja "kuningas" ja "kuningatar". Koska nämä termit esiintyvät usein sanojen kuten "valtaistuin" tai "monarkia" lähellä, niiden vektorien upotukset osoittavat lähes samaan suuntaan, mikä johtaa korkeaan kosini-yhtäläisyyden pistemäärään . Heitä nyt sekaan sana "omena". Vaikka se olisi samassa dokumentissa, se esiintyy yhdessä termien kuten "hedelmä" tai "hedelmätarha" kanssa, joten sen vektori osoittaa aivan eri suuntaan, mikä johtaa paljon alhaisempaan samankaltaisuuden pistemäärään.
Jotta asiat pysyisivät sopeina, yritykset eivät laske tätä lennossa jokaiselle yksittäiselle alkiolle. Ne käyttävät vektoritietokantoja . Nämä erikoistyökalut on rakennettu indeksoimaan korkeaulotteisia vektoreita, mikä mahdollistaa samankaltaisimpien osumien salamannopean haun ilman, että koko tietojoukkoa tarvitsee skannata manuaalisesti.
Perusasioiden tuolle puolen: pehmeä kosini ja muut metriikat
Standardin mukaisella kosini-samankaltaisuusmenetelmällä on haittapuoli: se olettaa jokaisen ulottuvuuden olevan itsenäinen. Todellisessa maailmassa sanat, kuten "leikki" ja "peli", ovat kuitenkin eri ulottuvuuksia, mutta semanttisesti toisiinsa liittyviä . Tässä kohtaa pehmeä kosini-samankaltaisuus tulee mukaan kuvaan. Se esittelee samankaltaisuusmatriisin (usein käyttäen Levenshteinin etäisyyttä tai WordNetiä) ominaisuuksien välisen suhteen huomioon ottamiseksi, jolloin malli voi yleistää käsitteitä tehokkaammin, vaikka muodolliset ominaisuudet eroaisivat toisistaan.
Tätä kannattaa myös verrata muihin yleisiin mittareihin. Esimerkiksi euklidinen etäisyys (L2) mittaa kahden pisteen välisen suoran etäisyyden, mikä on erittäin hyödyllistä spatiaalisen läheisyyden mittaamisessa. Manhattanin etäisyys (L1) laskee etäisyyden ruudukkomaista polkua pitkin. Vaikka nämä mittaavat absoluuttista etäisyyttä , kosini-samankaltaisuus keskittyy yksinomaan suuntaan . On myös pistetulon samankaltaisuus , joka ottaa huomioon sekä kulman että suuruuden. Jos normalisoit vektorisi yksikköpituisiksi, pistetulo ja kosini-samankaltaisuus ovat käytännössä sama asia, mutta pistetulon laskeminen on laskennallisesti halvempaa .
Käytännön sovelluksia graafidatassa ja haussa
Graafitietokantojen, kuten Amazon Neptunuksen ja muiden graafijärjestelmien , maailmassa kosini-samankaltaisuutta käytetään ryhmien välisen koheesion löytämiseen tai samankaltaisten käyttäjien tunnistamiseen. Jos esimerkiksi sinulla on graafi ihmisistä ja heidän suosikkiruoistaan, voit esittää heidän mieltymyksensä pisteytysvektoreina. Soveltamalla kosini-samankaltaisuusalgoritmia voit asettaa järjestykseen käyttäjiä, joilla on samankaltaisimmat maut, riippumatta siitä, arvioiko yksi henkilö enemmän ravintoloita kuin toinen.
Nykyaikaiset hakukoneet ovat myös siirtymässä pois puhtaasti leksikaalisesta hausta (kuten Ctrl+F) kohti vektorihakua . Vaikka leksinen haku sopii erinomaisesti tokenisointiin, se ei osoita tekstin ydintä. Vektorihaku tallentaa tekstin taustalla olevan tarkoituksen . Järjestelmissä, kuten Elasticsearch, tämä toteutetaan muuntamalla kyselyt upotuksiksi ja etsimällä lähimmät naapurit käyttämällä aiemmin käsiteltyjä mittareita, usein muuttamalla -1:1 -alueen positiiviseksi pistemääräksi paremman sijoituksen saavuttamiseksi.
Olitpa sitten rakentamassa elokuvasuositustyökalua tai monimutkaista tekoälyagenttia, oikean samankaltaisuusmittarin valinta riippuu siitä, onko vektorin suuruudella merkitystä. Jos välität vain datan "teemasta" tai "suunnasta", kosini-samankaltaisuus on paras vaihtoehto. Niille, jotka tarvitsevat raakaa spatiaalista etäisyyttä, euklidinen on oikea tie. Yhdistämällä nämä matemaattiset työkalut tehokkaisiin indeksointialgoritmeihin voimme muuttaa jäsentämättömän datan järjestelmälliseksi, haettavaksi kartaksi inhimillisestä merkityksestä.
