Fedezd fel, hogyan formálja át a digitális világot a mesterséges intelligencia terén tapasztalható robbanásszerű fejlődés! A ChatGPT-től a Dall-E-ig az új AI-modellek a jövő kapuit tárják ki, ahol a lehetőségek határai folyamatosan tágulnak. Ismerd meg, hogyan próbálják uralni ezt a dinamikus területet az olyan nagyágyúk, mint a Google, a Microsoft, vagy az olyan vízionáriusok, mint Elon Musk, és hogyan csapódik le ez a rivalizálás az innovációkban és a hagyományos keresőmotorok átalakulásában. Bepillantást nyújtunk századunk legnagyobb technológiai forradalmának kulisszái mögé.
Az elmúlt évtizedben a mesterséges intelligencia területén példátlan növekedésnek lehettünk tanúi: az AI-modellek mérete és összetettsége exponenciális ütemben nő. Ez a tendencia jól megfigyelhető, ha a modellek méretét vizsgáljuk 2015-től napjainkig, ahogy azt a mellékelt grafikon és táblázat is szemlélteti.
| Cég | Név | Paraméterek (milliárd) | Méret (GB) | Megjelenés éve | Modell típusa |
|---|---|---|---|---|---|
| BERT Large | 0,34 | 1,3 | 2018 | Nyelvi modell | |
| OpenAI | GPT-2 | 1,5 | 6 | 2019 | Nyelvi modell |
| RoBERTa Large | 0,355 | 1,4 | 2019 | Nyelvi modell | |
| T5 3B | 3 | 12 | 2019 | Nyelvi modell | |
| XLNet Large | 0,34 | 1,3 | 2019 | Nyelvi modell | |
| Transformer-XL Base | 0,11 | 0,4 | 2019 | Nyelvi modell | |
| Transformer-XL Large | 0,34 | 1,3 | 2019 | Nyelvi modell | |
| OpenAI | GPT-3 | 175 | 700 | 2020 | Nyelvi modell |
| Microsoft | Turing-NLG | 17 | 68 | 2020 | Nyelvi modell |
| OpenAI | ChatGPT-4 | 1000 | 700 | 2023 | Nyelvi modell |
| OpenAI | GPT-4 Turbo | 1000 | 500 | 2023 | Nyelvi modell |
| Gemini 1 | 1000 | 500 | 2023 | Multimodális modell | |
| Anthropic | Claude 2 | 1000 | 500 | 2023 | Nyelvi modell |
| Meta | LLaMA 2-13B | 13 | 60 | 2023 | Nyelvi modell |
| Meta | LLaMA 2-70B | 70 | 280 | 2023 | Nyelvi modell |
| PalM 2 | 1000 | 600 | 2023 | Nyelvi modell |
A terjedelemre való tekintettel itt csak a főbb nyelvi modellek áttekintését találod. Táblázatunk azonban képfeldolgozó és egyéb modelleket is tartalmaz. A teljes változatot alább tekintheted meg.
| Cég | Név | Paraméterek (milliárd) | Méret (GB) | Megjelenés éve | Modell típusa |
|---|---|---|---|---|---|
| Microsoft | ResNet-50 | 0,025 | 0,1 | 2015 | Képfeldolgozó modell |
| Microsoft | ResNet-152 | 0,06 | 0,2 | 2015 | Képfeldolgozó modell |
| DeepDream | 0,05 | 0,1 | 2015 | Generatív modell (grafika) | |
| Wide & Deep Learning | 0,5 | 1 | 2016 | Ajánlómodell | |
| Carnegie Mellon | OpenPose | 0,025 | 0,1 | 2017 | Képfeldolgozó modell |
| BERT Base | 0,11 | 0,4 | 2018 | Nyelvi modell | |
| BERT Large | 0,34 | 1,3 | 2018 | Nyelvi modell | |
| BigGAN | 2 | 8 | 2018 | Generatív modell (grafika) | |
| DeepVariant | 1 | 1 | 2018 | Bioinformatikai modell | |
| OpenAI | GPT-2 | 1,5 | 6 | 2019 | Nyelvi modell |
| RoBERTa Base | 0,125 | 0,5 | 2019 | Nyelvi modell | |
| RoBERTa Large | 0,355 | 1,4 | 2019 | Nyelvi modell | |
| T5 Base | 0,22 | 0,9 | 2019 | Nyelvi modell | |
| T5 Large | 0,77 | 3 | 2019 | Nyelvi modell | |
| T5 3B | 3 | 12 | 2019 | Nyelvi modell | |
| T5 11B | 11 | 45 | 2019 | Nyelvi modell | |
| Nvidia | StyleGAN2 | 0,03 | 0,2 | 2019 | Generatív modell (grafika) |
| DeepMind | VQ-VAE-2 | 1 | 2 | 2019 | Generatív modell (grafika) |
| XLNet Base | 0,11 | 0,4 | 2019 | Nyelvi modell | |
| XLNet Large | 0,34 | 1,3 | 2019 | Nyelvi modell | |
| EfficientNet | 0,066 | 0,25 | 2019 | Képfeldolgozó modell | |
| Transformer-XL Base | 0,11 | 0,4 | 2019 | Nyelvi modell | |
| Transformer-XL Large | 0,34 | 1,3 | 2019 | Nyelvi modell | |
| OpenAI | GPT-3 | 175 | 700 | 2020 | Nyelvi modell |
| Microsoft | Turing-NLG | 17 | 68 | 2020 | Nyelvi modell |
| MarianMT | 1 | 1 | 2020 | Fordítómodell | |
| Object Detection | YOLOv4 | 0,065 | 0,25 | 2020 | Objektumfelismerő modell |
| NVIDIA | NeRF | 0,1 | 0,05 | 2020 | Képfeldolgozó modell |
| DeepMind | AlphaFold | 0,09 | 0,4 | 2020 | Bioinformatikai modell |
| OpenAI | DALL-E | 12 | 48 | 2021 | Generatív modell (grafika) |
| OpenAI | CLIP | 0,4 | 1,6 | 2021 | Multimodális modell |
| VQGAN | Vector Quantized Generative Adversarial Network | 1 | 4 | 2021 | Generatív modell (grafika) |
| Facebook AI Research | ESM-2 | 15 | 60 | 2022 | Bioinformatikai modell |
| OpenAI | ChatGPT-4 | 1000 | 700 | 2023 | Nyelvi modell |
| OpenAI | GPT-4 Turbo | 1000 | 500 | 2023 | Nyelvi modell |
| Gemini 1 | 1000 | 500 | 2023 | Multimodális modell | |
| Anthropic | Claude 2 | 1000 | 500 | 2023 | Nyelvi modell |
| Meta | LLaMA 2-7B | 7 | 30 | 2023 | Nyelvi modell |
| Meta | LLaMA 2-13B | 13 | 60 | 2023 | Nyelvi modell |
| Meta | LLaMA 2-70B | 70 | 280 | 2023 | Nyelvi modell |
| Mistral AI | Mistral 7B | 7 | 28 | 2023 | Nyelvi modell |
| OpenAI | DALL-E 3 | 30 | 60 | 2023 | Generatív modell (grafika) |
| PalM 2 | 1000 | 600 | 2023 | Nyelvi modell | |
| Gemini 1.5 | 1000 | 600 | 2024 | Multimodális modell |
A grafikon az AI-modellek méretének logaritmikus transzformációját ábrázolja (gigabájtban) az idő függvényében, konkrétan 2015-től 2023-ig. A logaritmikus transzformációt azért választottuk, mert így jobban érzékeltethető a modellek exponenciális növekedése. E transzformáció nélkül a különböző időszakokban megjelenő modellek közötti különbségek kevésbé lennének szembeötlőek, és a grafikon aránytalannak tűnhetne.
A grafikonon jól látható, hogy a modellek mérete exponenciálisan növekszik, és ez a trend egyelőre nem mutat lassulást. Ez azt jelenti, hogy nemcsak a modellek paramétereinek száma emelkedik, hanem a fizikai méretük is, ami egyre nagyobb követelményeket támaszt a számítási infrastruktúrával és az energiaforrásokkal szemben.
A grafikon alatti táblázat részletes áttekintést nyújt az egyes AI-modellekről, amelyek a grafikonon szerepelnek. A táblázat minden sora a következő információkat tartalmazza:
Ez a táblázat lehetővé teszi, hogy könnyen nyomon követhesd az AI-modellek fejlődését, folyamatosan növekvő komplexitásukat és méretüket az idő múlásával. Láthatod, hogyan fejlődtek a modellek a 2015-ös első kísérletektől egészen a 2023-as és 2024-es legújabb eredményekig.
Az AI-modellek méretének exponenciális növekedése arra utal, hogy a mesterséges intelligencia területe folyamatos és gyors fejlődésben van. Ezzel a növekedéssel azonban új kihívások is járnak, többek között az erősebb számítási kapacitás iránti igény, a betanításhoz szükséges nagyobb adatmennyiség, valamint az e technológiák növekvő energiaigényével kapcsolatos etikai és ökológiai kérdések megoldása.
Az alábbi grafikon közel lineáris kapcsolatot mutat a paraméterek számának és a modellek méretének természetes logaritmusa között. Ez arra utal, hogy e két mennyiség között exponenciális összefüggés áll fenn. Más szóval, ha a paraméterek száma egy bizonyos tényezővel nő, a modell mérete exponenciálisan növekszik.
A paraméterek száma és a modellek mérete közötti korreláció szinte elkerülhetetlen. A modell minden egyes paramétere egy számértékként (pl. float) van tárolva, amely meghatározott mennyiségű memóriát foglal el. Minél több paraméterrel rendelkezik egy modell, annál több memória szükséges azok tárolásához, ami közvetlenül megmutatkozik a modell méretében. Ugyanakkor különböző optimalizálási technikák (pl. kvantálás vagy pruning) befolyásolhatják ezt az összefüggést, és eltéréseket okozhatnak a pontosan lineáris függéstől.
Nagy méretű, kevés paraméterrel rendelkező modell
Egy nagy méretű, kevés paraméterrel rendelkező modell valószínűleg nagyon hatékonytalan lenne, és korlátozott teljesítményéhez képest aránytalanul nagy számítási kapacitást és tárhelyet igényelne.
Kis méretű, sok paraméterrel rendelkező modell
Egy kis méretű, sok paraméterrel rendelkező modell rendkívül hatékony lehetne, de fennáll a pontosságvesztés vagy a bonyolultabb implementáció kockázata. Ha azonban a tömörítés és az optimalizálás megfelelően történik, egy ilyen modell rendkívül nagy teljesítményű és költséghatékony megoldást jelenthet.
A mesterséges intelligencia iránti jelenlegi érdeklődési hullám az OpenAI ChatGPT generatív intelligenciájának megjelenésével indult el, valamint a Dall-E és a Midjourney generatív intelligenciák 2023 eleji elérhetővé válásának köszönhetően. Ezt a megjelenést a kritikusok olykor „elhamarkodottnak" nevezik – de mi számít elhamarkodottnak a technológia világában?
A modellek nyilvánosság számára korlátozott hozzáférésűvé tétele és egy fejlesztői API (Application Programming Interface, alkalmazásprogramozási felület) létrehozása egy bizonyos szakaszban elkerülhetetlen: az emberek kipróbálják az új szolgáltatást, az ügyfelek elkezdik átgondolni, hogyan tudnák hasznosítani, a fejlesztők eszközt kapnak a szolgáltatás saját projektjeikbe való integrálásához – az újságírók pedig elkezdhetnek arról írni, hogy valami új van készülőben.
Tekintettel arra, hogy az OpenAI egyik legnagyobb befektetője a Microsoft, amely nem titkolja, hogy a szolgáltatást integrálni kívánja az „irodai gemkapocs legújabb verziójába", vagyis a MicrosoftCopilot szolgáltatásba, ez a helyzet különösen kellemetlenül érintette a versenytársakat, elsősorban a Google-t és Elon Muskot.
Mindenesetre két különböző dologról van szó: a Copilot forradalmasíthatja az információkeresést a Google rendszerein kívül, Elon Musk esetében pedig arról van szó, hogy kezdetben részt vett az OpenAI működtetésében, sőt felajánlotta, hogy vezeti a céget, végül azonban kilépett a projektből – és most nyilvánvalóan bánja, ezért építi saját konkurens szolgáltatását, az xAI-t.
Az OpenAI feletti kontrollért folytatott küzdelem 2023 novemberében drámai fordulatokhoz vezetett: az OpenAI vezérigazgatóját, Sam Altmant először kirúgták a cégből, majd a vezetőség döntése ellen a beosztott alkalmazottak többsége fellázadt. Ez oda vezetett, hogy a Microsoft mint legjelentősebb befektető beavatkozott a helyzetbe, támogatta Sam Altmant, visszahelyezte a pozíciójába, az ellene lázadó vezetőséget pedig eltávolította.
Mindez arra utal, hogy az AI-fejlesztés területén a helyzet sokkal drámaibb, mint amilyennek tűnhet, és nemcsak az AI fejlesztésének és bevetésének filozófiája körül zajlanak csaták, hanem üzleti küzdelmek is folynak, mivel például a Google és különösen az Apple a mesterséges intelligencia terén jelentősen lemaradt a többiekhez képest.
A fő csatatéren kívül is nagy forradalom zajlik: számos startup jön létre, amelyek saját modelljeikkel kísérleteznek, mint például az Anthropic a Claude 3 modellcsaládjával vagy a Google Gemini. A Google jóval kevésbé sikeres, mint a többiek – miközben számukra a hatékony mesterséges intelligencia fejlesztése létfontosságú, mivel fennáll a veszélye, hogy az új digitális asszisztens rendszerek idővel teljesen felváltják a hagyományos keresést, ami a Google üzleti tevékenységének alapja.
Komoly küzdelmek zajlanak a hardver területén is. Az AI-gyorsítók piacán jelenleg egyértelműen az Nvidia dominál, de a Microsoft saját megoldással próbálkozik, és Sam Altman, az OpenAI vezetője sem titkolja, hogy szívesen szerezne hatalmas befektetést nemcsak saját gyorsítók fejlesztésére, hanem olyan gyárak (fabok) építésére is, ahol ezeket gyártanák.
i
Michal Rybka további sorozatai az Alza.hu-n
A cikk bemutatja a mesterséges intelligencia fejlesztésének dinamikáját és versenyhelyzetét, kiemelve az olyan innovatív modellek megjelenését, mint a ChatGPT, a Dall-E és a Midjourney, amelyek új korszakot nyitottak az AI-technológiában. Ismerteti az olyan cégek, mint az OpenAI, a Microsoft, a Google, valamint olyan személyiségek, mint Elon Musk belső vitáit és stratégiai manővereit. A legfontosabb mozzanatok között szerepelnek az irányításért folytatott küzdelmek, a hardverbe történő befektetések és az új startupok megjelenése. Ez a helyzet jelentős forradalmat vetít előre nemcsak az AI-technológiák terén, hanem a hagyományos keresőrendszerek átalakításának és új piaci paradigmák létrehozásának lehetőségében is.
