Uno strumento di formazione su larga scala per modelli linguistici “llm.c” verrà rilasciato utilizzando il C puro senza PyTorch o Python – GIGAZINE

I modelli linguistici su larga scala (LLM), che sono probabilmente il corpo principale dell'intelligenza artificiale, sono per lo più addestrati utilizzando PyTorch o Python, ma esiste uno strumento che esegue tale addestramento solo in puro C.llm.cSi è presentato. Sebbene non sia ancora ottimizzato e perda velocità rispetto ai metodi tradizionali, è possibile eseguire l'addestramento GPT-2 con circa 1.000 righe di codice pulito.

GitHub – karpathy/llm.c: formazione LLM in C/CUDA semplice e grezzo
https://github.com/karpathy/llm.c

L'autore Andrei Karpathy è membro del gruppo fondatore di OpenAI ed è stato in precedenza Direttore dell'intelligenza artificiale presso Tesla.

Con llm.c puoi utilizzare PyTorch con una capacità di 245 MB o una capacità di 107 MB.cPythonÈ possibile addestrare modelli linguistici di grandi dimensioni senza utilizzare Quando Karpathy ha effettivamente eseguito il codice per addestrare GPT-2, probabilmente il predecessore degli odierni modelli linguistici su larga scala, su un'unità di elaborazione centrale (CPU), è stato in grado di eseguirlo utilizzando una piccola quantità di codice di circa 1000 righe con dipendenze minime.

Il codice vero e proprio èPubblicato su GitHubè stato. Inizialmente, la quantità di memoria richiesta viene acquisita in una sola volta e l'utilizzo della memoria non cambia durante l'allenamento. Questo codice non utilizza librerie Python, quindi tutti i livelli successivi e successivi separati vengono implementati manualmente.

Quando si collegavano i livelli, era necessario scrivere codice assicurandosi che tutti i puntatori e gli offset dei tensori fossero posizionati correttamente, un compito molto noioso e masochistico.

Al momento della stesura dell'articolo, è stato rilasciato solo il codice di training della CPU, ma il signor Karpathy sta anche creando codice di training utilizzando CUDA. Il signor Karpathy ha espresso la speranza che passando a CUDA e migliorando l'efficienza, sarà possibile allenarsi allo stesso livello di velocità di PyTorch senza pesanti dipendenze.

Ris. futurafp32dafp16Riducilo aLama 2・Maestrale・GemmaSi prevede di supportare strutture moderne come: Karpathy dice anche che ha intenzione di pubblicare un film che costruirà questo codice da zero in dettaglio quando diventerà più stabile.