keras_NLP 아직 지원함, 각 파이썬 3.9와 tf 2.10~에 Numpy1.22에 keras_nlp 0.14.4로 사용가능()
Gemma와 phi-3 등은 각 2.6, 3.8B(10억 단위)개의 파라미터로 vram이 10기가 이상(Gemma는 13.7, phi-3는 그 이상 필요)요구되어 모바일에서 사용불가.
이중 Quantiaztion과 GPTQ는 Huggingface에서 지원한다.
quantiaztion(양자화) ⇒ 32bit 단위의 확률 분포를 16bit, 8bit, 4bit 등으로 폭을 줄여 요구 ram 축소한다.

from Huggingface(16bit outlier-discomposition)
