novo on Nostr: Caso tenham interesse em testar um modelo de LLM localmente, saibam que existem ...

Caso tenham interesse em testar um modelo de LLM localmente, saibam que existem alternativas interessantes. E com 4gb de RAM já é possível brincar um pouco. Um detalhe só é que com pouca RAM assim você precisará falar com a ia em inglês para ela alucinar menos. Mas ainda sim é íncrivel que os modelos já estão otimizados nesse nível.

Dito isso, para aqueles que não tem familiaridade com o linux, podem estar buscando um app android no github ou em uma loja de app, um que permita rodar ollama no android. Depois eu vejo se coloco algumas alternativas no comentário.

Então vamos para como eu fiz.
As etapas são 4:
- Baixar um emulador linux,
- atualizar o sistema,
- baixar o ollama,
- e por fim baixar o modelo que será utilizado.

Etapa primeira:
Para baixar um emulador linux vá no github do termux:
https://github.com/termux/termux-app/releases/tag/v0.118.3
ou baixe pelo fdroid:
https://f-droid.org/en/packages/com.termux/

Etapa segunda:
Tendo o termux baixado e instalado, atualize o sistema com os seguintes comandos:
pkg update
pkg upgrade

Etapa terceira:
Com o sistema atualizado é hora de baixar o ollama, só que se você tentar rodar o comando pkg install ollama, vai dar erro dizendo que o pacote não existe. Isto é porque antes precisando adicionar o repositório onde o executável está disponível. Com o comando:
pkg install tur-repo

Depois você conseguirá baixar o pacote com
pkg install ollama

Os devs ficaram de mover o ollama para o repo stable, até hoje não o fizeram.

Etapa final:
Neste ponto você já deve ter o ollama baixado. E já consegue usar.
Teste por exemplo o comando, para confirmar:
ollama --version
ou
ollama --help

Falta só baixar o modelo que será utilizado, aqui fica ao seu critério.
Veja os modelos disponíveis na lista do ollama:
https://ollama.com/search

Pode estar testando
qwen2.5:0.5b
tinyllama:1.1b
llama3.2:1.0b
ou um dos outros centenas de modelos disponíveis.

Para baixar rode, por exemplo:
ollama pull qwen2.5:0.5b

Com o modelo baixado você deve botar o servidor para rodar com o comando
ollama serve &

o símbolo '&' é para colocar o comando em segundo plano (background).
**Pressione a tecla Enter uma vez para voltar a linha de comando.

Por fim você tem duas formas de utilizar o modelo: ou pelo comando ollama ou pela api usando o comando curl.
usando o comando ollama:
ollama run qwen2.5:0.5b

Lembre de substituir pelo modelo que você baixou. Pode estar vendo os modelos baixados com o comando.
ollama ps

Para usar o modelo com o comando curl execute:
curl http://192.168.100.14:11434/api/chat \
-d '{
"model": "qwen2.5:0.5b",
"messages": [{"role": "user", "content": "Hello!"}]
}'

Lembre de substituir pelo seu modelo escolhido.

------------------------------------------------
Como parar o servidor? Caso esteja dentro do ollama saia apertando Ctrl+d ou digitando /bye para voltar para linha de comando principal.
Estando na linha de comando execute
pkill ollama

E para fechar o termux pressione Ctrl+d estando na linha de comandos ou desça a barrinha de notificação do android e clique em Terminar.
------------------------------------------------

Mas por quê tudo isso para rodar ollama no celular?
Cada um sabe seus motivos. foda-se.
O tutorial é para aqueles que querem rodar o modelo localmente em seu android. Ou então não consegue rodar um modelo no pc e precisa de um jeito possível. Essa é uma saída.

Dá para fazer alguma coisa interessante com isso? Além de não precisar estar online e não precisar acessar serviços remotos para fazer pergunta para ia, sim.
Pode estar baixando a lib do ollama no pc
https://github.com/ollama/ollama-js
E fazer várias coisas interessantes.
Por exemplo baixar a lib do wweb-js e utilizar o modelo no whatsapp, ou então uma lib do nostr como nostr-tools ou applesauce do hzrd149, e brincar com o modelo no nostr. Entre outras coisas. Mas é meio reduntante, quem já sabe dessas possibilidades não precisaria desse tutorial zzzzZzZzzZZ.

novo