Como o Yelp analisa a competitiva LLM para precisão, relevância e tom para o desenvolvimento de assistentes de IA amigáveis ​​para o usuário.

App de revisão Yelp Durante décadas, fornecemos informações úteis a restaurantes e outros consumidores. Ele experimentou o aprendizado de máquina desde o início. Durante a recente explosão da tecnologia de IA, ainda havia um bloco que ainda estava caindo para fornecer algumas funções usando um modelo moderno de grande linguagem.

O Yelp percebeu que os clientes, especialmente os clientes que usam aplicativos, estão tendo dificuldades para se conectar com funções de IA, como assistentes baseados em IA.

Em uma entrevista, Craig Saldanha, gerente -chefe de produto da Yelp, disse: “Uma das lições óbvias que vemos é que é muito fácil criar uma aparência agradável, mas é muito difícil construir uma coisa legal e muito útil.

Definitivamente não foi fácil. Em abril de 2024, após o lançamento do Yelp Assistant, um assistente de pesquisa de serviço baseado em IA, o Yelp realmente começou a reduzir a quantidade de uso das ferramentas de IA.

“Surpreendentemente, a pessoa que nos levou foi quando começamos isso com um beta -poucos usuários e pessoas que estavam muito familiarizadas com o aplicativo gostaram. Temos um sinal poderoso de que isso seria bem -sucedido e o transmitimos a todos. (E) Saldanha disse. “Demorou muito tempo para descobrir o porquê.”

Os usuários mais casuais do Yelp, às vezes as pessoas que visitaram o site ou aplicativo para encontrar um novo cortador ou encanamento, não esperavam conversar com o gerente de IA imediatamente.

De simples a mais funções de IA

A maioria das pessoas conhece o Yelp como um site e aplicativo e encontra análises de restaurantes e fotos de menu. Eu uso o Yelp para encontrar fotos de comida em um novo restaurante e ver se outras pessoas compartilham meus sentimentos sobre pratos macios. Este também é um lugar onde você pode usar Wi -Fi, plugues e assentos na cafeteria que deseja usar como espaço de trabalho em Manhattan em Manhattan.

Saldanha lembra do Yelp que ele está investindo na IA por uma parte melhor dos 10 anos.

“Na linha do tempo de 2013-2014, estávamos em gerações muito diferentes de IA, por isso focamos em construir nossos próprios modelos para fazer coisas como o entendimento da consulta. Algumas das coisas que fazem conexões significativas ajudam as pessoas a melhorar suas intenções de pesquisa ”, afirmou.

Mas, à medida que a IA continuou a se desenvolver, as demandas do Yelp continuaram a se desenvolver. Para identificar os pratos populares da IA, investimos na IA para reconhecer alimentos nas fotos enviadas pelo usuário e, em seguida, iniciamos um novo método de conexão com comerciantes e serviços e orientando a pesquisa dos usuários na plataforma.

O assistente do Yelp ajuda os usuários do Yelp a encontrar o “Pro” certo para trabalhar juntos. As pessoas podem explorar o ChatBox, usar o prompt ou inserir as tarefas necessárias. O assistente solicita uma pergunta a seguir para restringir o potencial provedor de serviços, fazendo uma pergunta a seguir.

Saldanha incentiva os usuários a responder, mas grandes marcas costumam admitir que existem call centers que lidam com mensagens criadas pelo assistente de IA do Yelp.

O Yelp também começou a revisar insights e destaques, além do assistente do Yelp. O LLMS analisa usuários e revisores que o Yelp coleta com as pontuações de emoção. O Yelp usa um prompt GPT-4O detalhado para criar um conjunto de dados para a lista de tópicos. Em seguida, é bom ajustado ao modelo GPT-4O-Mini.

A função de destaque da revisão cria um conjunto de dados usando o prompt LLM através da função de fornecer informações sobre a revisão. No entanto, é baseado no GPT-4 e tem um ajuste fino do turbo GPT-3.5. O Yelp disse que atualizará seus recursos com o GPT-4O e O1.

O Yelp adicionou uma melhor função de pesquisa com base na opinião do cliente e juntou -se a muitas outras empresas usando o LLM usando o LLMS. por exemplo, A Amazon lançou RufusAI Drive Assistant para ajudar as pessoas a encontrar itens recomendados.

Grandes modelos e demandas de desempenho

Para muitos novos recursos de IA, incluindo assistentes de IA, o Yelp mudou para o GPT-4O do OpenAI e outros modelos, mas Saldanha observou que os dados do Yelp são uma fonte secreta de Tidal. O Yelp não queria se consertar em um modelo e mantinha uma mente aberta sobre qual LLM forneceria o melhor serviço.

Saldanha disse: “Utilizamos o modelo de Openai, retidão e outros modelos no câncer baseado em AWS.

Saldanha criou um Loubrick para testar o desempenho do modelo na precisão, relevância, consciência, segurança do cliente do Yelp. “É realmente o melhor modelo”, disse ele. A empresa opera um pequeno piloto com cada modelo antes de considerar custos repetitivos e tempo de espera.

Usuário de ensino

O Yelp também começou os esforços conjuntos para educar confortavelmente novas funções de IA para usuários casuais e de energia. Saldanha, em particular, disse que uma das primeiras coisas que ele percebeu com o assistente de IA era que o tom parecia humano. Não pude responder muito rapidamente ou muito lento. Eu não poderia ser muito estúpido ou estúpido.

“Fizemos muito esforço para ajudar as pessoas a se sentirem confortáveis ​​com a primeira resposta. Demorou quase quatro meses para obter esse segundo trabalho corretamente. E assim que fizemos, ficou muito claro, e você pôde ver que o hóquei estava noivo ”, disse Saldanha.

Parte desse processo incluiu o uso do assistente do Yelp para usar certas palavras e ser positivamente. Após o ajuste fino, Saldanha finalmente disse que finalmente estava vendo um uso mais alto da função de IA do Yelp.