A mesterséges intelligencia modellek képzési költségeinek megugrása
Az AI-modellek képzési költségei már most is elképesztő összegeket emésztenek fel, és a közeljövőben várhatóan tovább növekednek, miközben a vállalatok olcsóbb megoldásokat keresnek - jelentette a Zerohedge.
A fejlett AI-modellek képzéséhez szükséges számítási teljesítmény költségei az egekbe szöknek a számítási igények növekedésével. Ezt követően sok AI-vállalat újragondolja generatív AI-rendszereik képzési stratégiáit, beleértve a költségek csökkentésére irányuló módszereket is.
A Stanford Egyetem és az Epoch AI kutatócég közös 2024-es AI Index elemzése rávilágított a képzési költségek drasztikus emelkedésére. Az elemzés során figyelembe vették a modell képzési időtartamát, a hardver kihasználtsági arányát és a képzési hardver értékét is, alapul véve a felhőalapú számítási rendszerek díjait.
Az OpenAI GPT-4 modelljének kiképzése például 78,4 millió dollárba került tavaly, szemben a Google egy évvel korábban 12,4 millió dollárba kerülő PaLM (540B) modelljével. Összehasonlításképpen, a 2017-ben kifejlesztett Transformer modell képzési költsége csupán 930 dollár volt, ami ma is fontos szerepet tölt be számos nyelvi modell architektúrájában.
A Google AI-modellje, a Gemini Ultra, 191 millió dollárba került, és 2024 elejétől kezdve több mérőszám tekintetében is felülmúlja a GPT-4-et, különösen a Massive Multitask Language Understanding (MMLU) benchmarkon, amely 57 témakörben értékeli a modellek tudását és problémamegoldó képességét.
A mesterséges intelligenciával foglalkozó vállalatok a magas költségek miatt folyamatosan keresik az új megoldásokat a nyelvi modellek képzésére. Ilyen megoldások lehetnek például a konkrét feladatokra tervezett kisebb modellek, vagy a saját, szintetikus adatok létrehozása és azok AI-rendszerekbe történő táplálása.
Azonban egyértelmű áttörés még nem történt, mivel a szintetikus adatokat használó mesterséges intelligencia modellek bizonyos kérések esetén értelmezhetetlen válaszokat produkálhatnak.