23. februar 2025

KI-modeller ble med ett rimelige

OpenAI satser enn så lenge på "closed source", men tjenester som er tilgjengelige på nettet viser seg i praksis å være åpne, dvs de kan trenes ved hjelp av såkalt Knowledge distillation. Kunnskapsdestillasjon er en maskinlæringsteknikk som overfører læringen fra en stor forhåndstrent modell (lærermodell) til en mindre modell (elevmodell).

Ved å benytte denne teknikken har Deepseek, flere forskningsinstitutter og Huggingface demonstrert at svært gode modeller kan skapes med minimale økonomiske ressurser. Huggingface skriver følgende om sin modell, som kan testes her:

OpenAI just published Deep Research, a very nice assistant that can perform deep searches on the web to answer user questions.

However, their agent has a huge downside: it's not open. So we've started a 24-hour rush to replicate and open-source it. Our resulting open-Deep-Research agent took the #1 rank of any open submission on the GAIA leaderboard!

Ganske raskt kommer vi nok dit at de generelle modellene blir allemannseie, samtidig som vi vil se en lang rekke ytterst spesialiserte modeller.


Alt for mye som foregår, dermed en linkdump (hentet herfra):

Ingen kommentarer:

Legg inn en kommentar

Kommentarer er svært velkommen. På grunn av problemer med spam må jeg imidlertid godkjenne kommentarer før de publiseres. Vanligvis skjer dette i løpet av noen timer.