keras_NLP 아직 지원함, 각 파이썬 3.9와 tf 2.10~에 Numpy1.22에 keras_nlp 0.14.4로 사용가능()

Gemma와 phi-3 등은 각 2.6, 3.8B(10억 단위)개의 파라미터로 vram이 10기가 이상(Gemma는 13.7, phi-3는 그 이상 필요)요구되어 모바일에서 사용불가.

요구 램 감소 (경량화 등 기법)

  1. Quantization(양자화)
  2. GPTQ(Quantization-Aware Training for GPT)
  3. Low-Rank Factorization
  4. Offloading (Memory Swapping)
  5. Model Parallelism
  6. Layer Freezing (for Fine-Tuning)
  7. Model Pruning
  8. Gradient Checkpointing (for Training)

이중 Quantiaztion과 GPTQ는 Huggingface에서 지원한다.

quantiaztion(양자화) ⇒ 32bit 단위의 확률 분포를 16bit, 8bit, 4bit 등으로 폭을 줄여 요구 ram 축소한다.

Mixed-int8.gif

from Huggingface(16bit outlier-discomposition)

quant-freeze.png

https://huggingface.co/blog/merve/quantization