-
Guardrails com modelo pequeno: filtrar resposta na sua máquina
Um classificador de 12 pesos mais 4 regras barrou as 2 tentativas de injeção e as 2 fugas de segredo, e liberou as 2 perguntas legítimas. Roda em Python puro, sem modelo grande, sem nuvem. Granite Guardian 2B é Apache 2.0; o llm-guard é MIT.
-
Custo por consumidor: quanto cada serviço gasta de modelo
Registre cada chamada com consumidor, modelo e dia. Um script agrupa e mostra quem gasta. A maior parte do custo costuma estar num único consumidor.
-
Servidores MCP prontos para conectar no seu agente
Os dois servidores oficiais que valem a pena rodam por npx, sem instalar nada no sistema: o de arquivos expõe 14 ferramentas e o de memória expõe 9. Conheço os dois por JSON-RPC puro.
-
Rodar um modelo de linguagem na CPU com llama.cpp
O llama.cpp roda um modelo de linguagem inteiro numa CPU sem GPU: binário de 17 MB, modelo quantizado de 468 MiB e cerca de 50 tokens por segundo de geração. O script baixa, mede e testa.
-
Busca semântica no seu próprio acervo com sqlite-vec
Uma consulta por similaridade sobre 5000 documentos respondeu em 1,7 ms dentro do SQLite, com a extensão sqlite-vec de 160 KB. Sem servidor, licença MIT ou Apache 2.0.
Você chegou ao fim. Todas as postagens estão aqui.