O California State Bar admite que eles o usam para melhorar as perguntas do exame

Aproximadamente dois meses após centenas de possíveis advogados da Califórnia Os exames de barras lidam com problemas técnicos e irregularidadesO órgão de licença legal do estado aceitou uma nova raiva ao admitir que algumas perguntas multinchoice foram desenvolvidas com a ajuda da inteligência artificial.

O bar estadual da Califórnia é um boletim informativo Na segunda -feira, o Supremo Tribunal da Califórnia solicitará à Suprema Corte que estabeleça os pontos de teste para aqueles que fizeram o exame de barra em fevereiro.

No entanto, ele se recusou a aceitar problemas importantes com questões de múltipla escolha-embora o subconjunto de um subconjunto de perguntas do primeiro ano do exame de estudante jurídico tenha sido reciclado, os outros foram desenvolvidos pela IA Ventures, a psicométrica independente da Ordem do Estado com a ajuda da IA.

“Fevereiro de 2025 O exame de barra é pior do que sonhamos com o colapso de fevereiro de 2025, Mary disse Mary Basick.“ Estou quase em silêncio. É incrível ter perguntas preparadas por advogados usando inteligência artificial. ”

Depois de concluir o exame, Basick disse que alguns participantes do teste sentiram que algumas perguntas foram escritas pela IA.

Estou defendendo o bar, disse Basick. “De jeito nenhum! Eles não fariam isso!”

Basick representou um “conflito de interesses óbvios, usando as perguntas desenvolvidas pela inteligência artificial representando um“ conflito de interesses óbvios, porque esses são os mesmos psicometristas que determinar que as perguntas eram válidas e confiáveis. “

“Esta é uma introdução incrível, San Ele admitiu que a Faculdade de Direito da Universidade de São Francisco, professora associada Katie Moran, especializada na preparação de um exame de barra.

“A Ordem do Estado confessou que eles empregam uma empresa para o uso de uma IA sem um não -aterro para preparar as perguntas dadas no exame de barra real”. “Mais tarde, eles pagaram a mesma empresa para avaliar as perguntas no exame e, consequentemente, aprovar as perguntas, incluindo as perguntas escritas pela empresa”.

O ramo administrativo do Supremo Tribunal da Califórnia, a Ordem da Ordem dos Estados da segunda -feira, disse que a maioria das perguntas de múltipla escolha foi desenvolvida pelos serviços de exame de Kaplan, onde ele fez um contrato para economizar dinheiro no ano passado.

Ultimamente apresentação 100 das perguntas multi -eletivas que receberam 171 pontos pela barra de estadual foram feitas por Kaplan e 48 deles foram retirados do exame de estudantes jurídicos do primeiro ano. Um subconjunto menor dos 23 problemas com a ACS Ventures, a psicometria da Ordem do Estado, foi feita e desenvolvida com inteligência artificial.

“Confiamos na validade da competência legal dos compradores de testes de maneira correta e justa (perguntas de múltipla escolha)”, disse Leah Wilson, gerente geral da Barra Estadual. Ele disse.

Na terça -feira, um porta -voz do State Bar Times disse que todas as perguntas, incluindo 29 perguntas desenvolvidas com a ajuda da IA ​​da psicometria independente da agência, foram revisadas por painéis de verificação de conteúdo e especialistas em assuntos antes do exame para fatores como precisão legal, competência mínima e preconceito potencial.

Quando medido para confiabilidade, a barra de estado, Times, disse que várias perguntas eleitorais de todas as fontes, incluindo a IA, fizeram “0,80 alvos psicométricos”.

A barra estadual também rejeitou a idéia de um conflito de interesses.

“O processo de verificação de perguntas para verificação e confiabilidade não é subjetivo, disse Mal State Bar,“ e os parâmetros estatísticos usados ​​pela psicométrica permanecem os mesmos independentes da fonte do problema. ”

Um advogado que atuou como presidente do Comitê de Associação de Advogados do Estado, Alex Chan, disse ao Times que apenas um pequeno subconjunto de perguntas usa a IA e não era necessariamente para criar perguntas.

“Os professores, ao contrário do uso de inteligência artificial para examinar a IA, sugerem que usamos a IA para preparar um grande número de perguntas eletivas”, disse Chan. “Este não é o meu entendimento.”

Supremo Tribunal da Califórnia de Chan chamando Em outubro, a Ordem do Estado poderá renovar e melhorar a disponibilidade de novas tecnologias, como a inteligência artificial, a confiabilidade de tais testes e a relação custo -benefício ”.

“O tribunal deu isso orientação Para pensar no uso da IA, é exatamente isso que vamos fazer, disse Chan Chan.

No entanto, o porta -voz da Califórnia disse na terça -feira, justiça que o Bar Bar usou a IA no desenvolvimento de perguntas dos exames nesta semana.

“Até o bar estadual de ontem Comunicado de imprensaO tribunal não sabia que a IA foi usada para preparar qualquer uma das perguntas de múltipla escolha. ”

No ano passado, desde que o fundo geral do Bar da Ordem do Estado enfrentou uma explicação de 22 milhões de dólares, os exames de barra, um sistema usado pela maioria dos estados, decidiram reduzir os custos abandonando o exame de barras multi -estágios e um novo híbrido enfrentou o modelo de teste de face -a -face e remoto. Corte Um acordo de 8,25 milhões de dólares com a empresa de preparação de testes Kaplan Exam Services Disposto aprendizado de aprendizado para criar perguntas de teste e aplicar o exame.

Houve muitos problemas com a apresentação de novos exames da Ordem dos Estados. Alguns participantes do teste relataram que iniciaram telas experientes em plataformas de teste on -line ou atrasadas e mostrando mensagens de erro. Outros reclamaram que as questões de teste de múltipla escolha consistem em erros de ortografia, perguntas ridículas e deixaram fatos importantes.

Os exames de Botlu incentivaram alguns estudantes a entrar com uma ação federal contra o Meazure Learning. Enquanto isso, o presidente do Senado da Califórnia, Thomas J. Umberg (D-Santa Ana) Chame o controle da barra de estado e a Suprema Corte da Califórnia dirigiu a agência De volta ao rosto tradicional -gerenciamento de face dos exames de barra de julho.

No entanto, embora alguns especialistas acadêmicos tenham marcado repetidamente os problemas relacionados à qualidade das perguntas do exame de fevereiro, a Ordem do Estado está suprimindo o novo sistema de perguntas de múltipla escolha.

Basick e Moran, em 16 de abril em um comentário público ao Comitê de Auditores de Bar, “muitas das perguntas do tigre preparam a velocidade da preparação e, finalmente, expressaram preocupações sobre a qualidade dessas perguntas”, disse ele. “As 50 perguntas do aplicativo, que foram organizadas e publicadas intensamente semanas antes do exame, ainda contêm um grande número de erros. Isso corroeu ainda mais nossa confiança na qualidade das perguntas”.

Historicamente, Moran levou anos para desenvolver as perguntas dos exames escritos pela Conferência da National Bar Association.

Basick, algumas perguntas do primeiro ano do exame de direito levantaram as bandeiras vermelhas. Para ver se uma pessoa aprende o suficiente no primeiro ano da faculdade de direito, um exame é diferente de um exame que determina se um receptor de teste é mínimo competente para aplicar a lei.

“Um padrão muito diferente”, disse ele. “Isso é apenas ‘Ei, você conhece esta regra?” – Você sabe como aplicá -lo em uma situação em que há uma incerteza e determinar a maneira certa de ação?

Além disso, o uso de perguntas de reciclagem da IA ​​e do primeiro exame de lei da classe representa uma grande mudança para a preparação do exame de barras. Ele alegou que essa mudança exigia uma notificação de dois anos na Califórnia. Código de empregos e profissões.

No entanto, o State Bar disse ao Times que as fontes de perguntas não desencadearam essa notificação de dois anos.

Bar Bar, “o fato de que mais de um recurso para o desenvolvimento de perguntas não afetou a preparação do exame”, afirmou.

Basick disse que estava preocupado no início de março, quando o bar estadual chutou ele e outros especialistas acadêmicos fazendo perguntas.

A associação de advogados estaduais disse que esses professores de direito trabalharam com perguntas preparadas pela Conferência da Associação Nacional de Advogados nos últimos seis meses, o que poderia trazer para a agenda de possíveis problemas de violações de direitos autorais.

“Ironicamente, o que eles fazem não tem perguntas sem advogado que usa inteligência artificial”, disse ele. “O local onde a inteligência artificial receberá informações deve ser uma pergunta da NCBE, porque não há nada disponível. O que mais a inteligência artificial usa?”

Desde o colapso do exame de fevereiro, a Ordem do Estado subestimou a idéia de que havia problemas importantes com questões de múltipla escolha. Em vez disso, ele se concentrou em problemas com o ensino superior.

“Estamos examinando o desempenho do contrato no cumprimento das obrigações contratadas do contrato”, afirmou a Ordem do Estado. documento Isso listou os problemas enfrentados e enfatizou as expectativas de desempenho relevantes especificadas no contrato.

No entanto, os críticos acusaram a Ordem do Estado e argumentaram que ele não podia aceitar a seriedade dos problemas com questões de múltipla escolha.

Moran pediu à Ordem do Estado que publicasse todos os 200 problemas no teste de transparência e permita que os participantes futuros dos testes se acostumem a perguntas diferentes. Ele também pediu para retornar ao exame de barras multi -estados para o exame de julho no State Bar.

“Eles apenas mostraram que não podiam fazer um teste justo”, disse ele.

Chan disse que o comitê de Broweiner se reuniria para discutir acordos e soluções que não escoram em 5 de maio. No entanto, ele duvidava que o Ofd Bar publicaria todos os 200 problemas ou retornaria à Conferência dos Exames da National Bar Association em julho.

A autoridade disse que a NCBE não permitirá que a segurança do teste realize testes remotos e que as últimas pesquisas da barra de estado mostraram que quase 50% dos candidatos a barras da Califórnia desejam proteger a opção distante.

“Não estamos voltando para a NCBE – pelo menos em um futuro próximo, C diz Chan.