El módelo 7B ocupa 30Gb

Le he dado 2 veces, la primera baja 13Gb y la segunda baja los layers y acaba con los 30Gb

node	resultado
14	se instala y sale el modelo en la web pero no responde preguntas
16.13	se instala y sale el modelo en la web pero no responde preguntas
17	sh: 1: dalai: not found
18	Error: Cannot find module 'node-pty'
19	no se instala

apt-get update
apt-get install -y wget curl xz-utils git python3 make g++ python-is-python3 python3-venv python3-pip vim

https://nodejs.org/en/download/
wget https://nodejs.org/dist/v18.15.0/node-v18.15.0-linux-x64.tar.xz
wget https://nodejs.org/download/release/v14.21.3/node-v14.21.3-linux-x64.tar.xz 

VERSION=v18.15.0
VERSION=v14.21.3
DISTRO=linux-x64
mkdir -p /usr/local/lib/nodejs
tar -xJvf node-$VERSION-$DISTRO.tar.xz -C /usr/local/lib/nodejs 

adduser ruth

~/.profile
VERSION=v18.15.0
VERSION=v14.21.3
DISTRO=linux-x64
export PATH=/usr/local/lib/nodejs/node-$VERSION-$DISTRO/bin:$HOME/.local/bin:$PATH

pip3 install torch

. ~/.profile

git clone https://github.com/cocktailpeanut/dalai.git

npx dalai llama 7B 13B 30B 65B

here is how kopi luwak coffe beans are made

Pruebas

Jorge: ChatGPT local en castellano

https://www.youtube.com/watch?v=_syNRc_kjHE

Vicuna

Micro ordenador en la web oficial: https://www.khadas.com/edge2
Khadas Edge 2 en Amazon España: https://amzn.to/3mZD88o
Programa para ejecutar IA en local: https://github.com/oobabooga/text-generation-webui/
Repositorio con modelos de inteligencia artificial: https://huggingface.co/
Vicuna: https://vicuna.lmsys.org/