Meta’s open source Large Language Model Llama2 is gelanceerd via AI platform Hugging Face. Hiermee biedt Meta researchers en ontwikkelaars de kans om het model te onderzoeken. Hierdoor kan het model worden verbeterd. De kennis in het model kan ook worden gebruikt om andere of nieuwe taalmodellen te ontwikkelen.
Lancering Meta’s LLama2
Llama 2 is een reeks van open-source, state-of-the-art grote taalmodellen die vandaag door Meta is uitgebracht. De lancering wordt ondersteund met een uitgebreide integratie in Hugging Face. Llama 2 wordt uitgebracht met een zeer permissieve community licentie en is beschikbaar voor commercieel gebruik. De code, voorgetrainde modellen en fijn afgestelde modellen worden vandaag allemaal vrijgegeven.
Llama2 samengevat
Enkele eigenschappen van Llama2 zijn:
- Open-source: Llama2 is vrijgegeven onder een permissieve licentie, wat betekent dat iedereen het gratis kan gebruiken, zelfs voor commerciële doeleinden.
- State-of-the-art: Llama2 presteert op het hoogste niveau in vergelijking met andere taalmodellen op diverse taken, zoals het beantwoorden van vragen, het samenvatten van tekst, en het genereren van tekst.
- Grootte: Llama2 is beschikbaar in 3 verschillende basismodellen, met 7 miljard, 13 miljard, en 70 miljard parameters.
- Fine-tuned modellen: Naast de basismodellen zijn er ook 3 fine-tuned modellen beschikbaar, die gericht zijn op specifieke taken, zoals het beantwoorden van vragen of het genereren van code. Deze Llama2-Chat modellen biedt vergelijkbare resultaten als ChatGPT. De kleine varianten van Llama2 kunnen worden gefinetuned met een enkele GPU, waardoor ze toegankelijker zijn voor een breder publiek.
Llama2 is getraind op een dataset van 1,56 biljoen woorden. Dit is 40 keer groter dan de dataset die werd gebruikt voor GPT-3. Het kan tekst genereren in 54 verschillende talen.
12 Llama2 modellen op Hugging Face
Hugging Face host de 12 open access-modellen die Meta heeft vrijgegeven. Dit betreft 3 basismodellen, 3 gefinetunede modellen met de originele Meta-controlepunten, plus hun corresponderende transformers-modellen. De vrijgegeven functies en integraties omvatten:
- Modellen op de Hub met hun modelkaarten en licentie.
- Transformers-integratie
- Voorbeelden om de kleine varianten van het model te fine-tunen met één GPU
- Integratie met Text Generation Inference voor snelle en efficiënte productieve inferentie
- Integratie met Inference Endpoints
Impuls voor Hugging Face en AI ontwikkeling
Dat Meta kiest voor publicatie van Llama2 op het Hugging Face platform kan belangrijk zijn voor investeerders. Hugging Face is een snelgroeiende startup. Het platform is sterk in ontwikkeling en dat kost geld. Hiervoor zijn investeringen nodig. Het vertrouwen van Meta in Hugging Face kan het voor de laatste makkelijker maken om investeerders over de streep te trekken.
[Update: zie bericht over investering van $235 Miljoen]
