Legido Wiki

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
El módelo 7B ocupa 30Gb

Le he dado 2 veces, la primera baja 13Gb y la segunda baja los layers y acaba con los 30Gb

^ node ^ resultado ^
| 14 | se instala y sale el modelo en la web pero no responde preguntas|
| 16.13 | se instala y sale el modelo en la web pero no responde preguntas |
| 17 | sh: 1: dalai: not found |
| 18 | Error: Cannot find module 'node-pty'|
| 19 | no se instala |


<code>apt-get update
apt-get install -y wget curl xz-utils git python3 make g++ python-is-python3 python3-venv python3-pip vim

https://nodejs.org/en/download/
wget https://nodejs.org/dist/v18.15.0/node-v18.15.0-linux-x64.tar.xz
wget https://nodejs.org/download/release/v14.21.3/node-v14.21.3-linux-x64.tar.xz 

VERSION=v18.15.0
VERSION=v14.21.3
DISTRO=linux-x64
mkdir -p /usr/local/lib/nodejs
tar -xJvf node-$VERSION-$DISTRO.tar.xz -C /usr/local/lib/nodejs 

adduser ruth

~/.profile
VERSION=v18.15.0
VERSION=v14.21.3
DISTRO=linux-x64
export PATH=/usr/local/lib/nodejs/node-$VERSION-$DISTRO/bin:$HOME/.local/bin:$PATH

pip3 install torch

. ~/.profile

git clone https://github.com/cocktailpeanut/dalai.git

npx dalai llama 7B 13B 30B 65B

here is how kopi luwak coffe beans are made
</code>

====== Pruebas ======
Jorge: ChatGPT local en castellano

https://www.youtube.com/watch?v=_syNRc_kjHE

Vicuna

Micro ordenador en la web oficial: https://www.khadas.com/edge2\\
Khadas Edge 2 en Amazon España: https://amzn.to/3mZD88o\\ 
Programa para ejecutar IA en local: https://github.com/oobabooga/text-generation-webui/ \\
Repositorio con modelos de inteligencia artificial: https://huggingface.co/ \\
Vicuna: https://vicuna.lmsys.org/ \\