Quer saber sobre Deepseek, você está preocupado com a privacidade? Este aplicativo permite que você use LLM sem a Internet.
A maioria de nós está familiarizada com o uso de chatbots da Internet, como WatGPT e Deepseek, como uma das duas maneiras através de navegadores da Web ou aplicativos de smartphones dedicados. Existem duas desvantagens nisso. Primeiro, o uso deles requer uma conexão com a Internet. Segundo, tudo entrou no chatbot é enviado ao servidor da empresa e analisado e mantido. Em outras palavras, quanto mais eu uso o chatbot, mais a empresa sabe sobre você. Esta é uma preocupação especial em torno de Deepseek expressa pelos legisladores dos EUA.
No entanto, graças ao LM Studio e GPT4all, que são inovadores e fáceis de usar, os aplicativos de desktop, você pode ignorar essas duas desvantagens. O aplicativo permite que você execute uma variedade de modelos LLM diretamente no seu computador. Eu brinquei com este aplicativo na semana passada e, graças a cada um, posso usar o DeepSeek sem qualquer proteção de informações pessoais. Há também uma maneira de fazer isso.
Corra Deepseek no seu computador sem uma conexão com a Internet.
Basta baixar para começar LM Studio ou Gpt4all Mac, Windows PC ou sistema Linux. Quando o aplicativo estiver instalado, faça o download do LLM selecionado no menu In -App. Decidi executar o modelo R1 da DeepSeek, mas o aplicativo suporta inúmeras llm de código aberto.
Depois de concluir as tarefas acima, converti o computador pessoal em um servidor de IA que pode executar o LLM de código aberto da Deepseek e Meta. Em seguida, abra uma nova janela de bate -papo e identifique o mesmo ao usar o AI Chatbot na web.
A melhor coisa desses dois aplicativos é que ele é gratuito para usar os consumidores e pode executar vários LLMs de código aberto (você pode escolher o LLMS e escolher uma maneira de substituí -lo entre o LLMS). Se você já sabe como usar a AI Chatbot em um navegador da web, sabemos como usar um chatbot neste aplicativo.
No entanto, há uma vantagem adicional na operação do LLM localmente em um computador.
Os benefícios de usar LLM no local
Eu opera o modelo de inferência da Deepseek no MacBook na semana passada sem o LM Studio ou Gpt4all. Dessa forma, uma das coisas mais legais para interagir com a Deepseek é que nenhuma internet é necessária. O LLM está hospedado diretamente no computador; portanto, não é necessária uma conexão de dados com o mundo exterior.
Ou Adam Treat, o desenvolvedor -chefe da GPT4all, diz: “Pode ser usado no topo de um avião ou montanha Everest”. Essa é uma grande ajuda para os viajantes de negócios presos em vôos longos e aqueles que trabalham em áreas rurais isoladas.
Mas se o tratamento deve resumir a maior vantagem de executar o Deepseek em um computador, ele “protegerá informações pessoais” em uma palavra.
“Todos os LLMs on -line são hospedados por uma empresa que pode acessar tudo no LLM. Por razões pessoais, legais e regulatórias, isso pode ser ideal ou simplesmente impossível.
Os indivíduos podem oferecer riscos de proteção de informações pessoais, e aqueles que podem resumir documentos comerciais ou legais ao LLM podem estar em risco da empresa e dos dados.
“O upload do tipo de dados para um servidor on -line pode ser usado com LLM offline, para que os dados possam estar em perigo”. A razão pela qual Offline LLM é executado local no seu computador, não arrisca os dados, “porque os dados simplesmente deixam a máquina”.
Por exemplo, se isso ajudar a resumir os relatórios escritos usando o Deepseek, você poderá enviá -lo para o modelo Deepseek armazenado local em seu computador via GPT4all ou LM Studio, e você poderá ver que as informações no relatório não são enviadas ao servidor do fabricante de LLM.
Desvantagens do uso do LLM Local
No entanto, há uma desvantagem de executar o LLM localmente. O primeiro é limitado a usar apenas modelos de código aberto que podem ser usados e podem ser mais mais recentes do que os modelos que podem ser usados no site oficial do chatbot. Além disso, apenas os modelos de código aberto podem ser instalados, para que você não possa executar o ChatGPT do OpenAI no seu computador usando aplicativos como GPT4all ou LM Studio.
Outra desvantagem é a velocidade.
“A velocidade de resposta geralmente é mais lenta que o servidor on -line porque usa seu próprio hardware (laptop ou desktop) para alimentar a IA. Como o modelo de IA depende muito da RAM para executar cálculos, a quantidade de RAM no computador pode limitar os modelos que podem ser instalados em aplicativos como GPT4all e LM Studio.
“O servidor on -line geralmente é acionado por hardware muito alto, que geralmente será uma memória mais rápida, e pode permitir uma resposta muito rápida com um modelo muito grande.
No entanto, ao testar o LM Studio e o GPT4all na semana passada, não acho que a rápida redução na resposta Deepseek seja um disjuntor comercial. Ao usar o modelo de raciocínio R1 da Deepseek na web, o Deepseek levou 32 segundos de hospedagem em um servidor chinês. “Você pode ensinar como fazer um bolo de aniversário?” Ao solicitar um modelo Local Deepseek R1 armazenado no LM Studio e GPT4all, o tempo de resposta é de 84 segundos e 82 segundos, respectivamente.
Eu sabia que a vantagem de executar o Deepseek no dispositivo usando o LM Studio e o GPT4all é que ele ultrapassa o tempo de espera adicional necessário para obter uma resposta. Sem dúvida, a qualquer momento, em qualquer lugar, a qualquer hora, em qualquer lugar, pode ser acessível a um poderoso modelo de IA como o R1 da Deepseek, que vale a pena manter os dados em que inseri privados.
