Original: https://arxiv.org/pdf/2402.13550.pdf
A ideia central desse método é estimular o grande modelo a pensar, julgar a intenção com base no contexto e adicionar pontuação para permitir que o grande modelo autocalibre a precisão, de modo a tomar a decisão final.
Leitura recomendada:Apresentando as intenções - Apresentando as intenções (getzep.com)
Teoria da ToM
A metodologia é dividida em duas seções principais:
A (parte superior) descreve o processo de criação de prompts específicos da tarefa (Prompts) a partir do conjunto de dados de negociação e o uso desses prompts para avaliar vários LLMs. Uma descrição da tarefa, número de itens, valor, transcrições de diálogo e perguntas são incluídos ao criar os prompts.
B (parte inferior), por outro lado, mostra a classificação das tarefas de acordo com a objetividade, o estágio do progresso da negociação (início, em andamento, final) e o tipo de tarefa (compreensão, modelagem do parceiro, anotação, geração). As informações disponíveis variavam entre os estágios, por exemplo, apenas o contexto da negociação estava disponível no estágio inicial, enquanto o diálogo completo estava disponível no estágio final. Os tipos de tarefa incluem compreensão, modelagem de parceiro (por exemplo, inferir prioridades do parceiro), anotação (por exemplo, rotular atos de diálogo) e geração de resposta.
Para isso, os pesquisadores elaboraram várias tarefas que testaram o desempenho dos LLMs em diferentes competências de ToM durante o processo de negociação (no caso de uma promoção e aumento salarial), incluindo.
1. compreensão do ambiente de negociação inicial (Compreensão)
Essa competência exige que os LLMs acessem com precisão o estado inicial de si mesmos e de seus oponentes em uma negociação, como recursos disponíveis, prioridades, etc., a partir das informações de fundo fornecidas. No caso de negociações de aumento salarial, isso significa entender o nível salarial desejado e outras reivindicações do candidato a emprego.
2. anotação de atos de diálogo
As partes negociadoras usarão uma variedade de táticas durante o diálogo, como propor novas opções, expressar pontos de vista opostos etc. O LLM precisa ser capaz de identificar esses comportamentos de conversação para determinar a próxima etapa da resposta.
3. especular sobre as intenções do adversário (modelagem de parceiros)
Em sua essência, a ToM consiste em supor o estado interno e as necessidades de seu oponente. Em uma negociação de aumento salarial, isso pode incluir especulações sobre o orçamento salarial do recrutador com base no conteúdo do diálogo.
4. geração de respostas estratégicas
Por fim, os LLMs precisam sintetizar o entendimento e o raciocínio anteriores para gerar respostas estratégicas que busquem maximizar os benefícios para o candidato a emprego e, ao mesmo tempo, manter um bom relacionamento com o empregador.
Ao comparar o desempenho de vários LLMs nos aspectos acima, a estrutura de pesquisa avalia de forma abrangente suas capacidades e deficiências em cenários reais de negociação e fornece uma base teórica e um roteiro técnico para o desenvolvimento de sistemas práticos de assistente de negociação de IA.
Exemplo de ToM
1. tarefa de compreensão.
DESCRIÇÃO DA MISSÃO: Você está negociando com um parceiro uma série de livros, chapéus e bolas para determinar quem fica com quais itens. Diferentes tipos de itens valem diferentes números de pontos para cada um de vocês. Você receberá informações sobre a negociação. Em seguida, você precisará responder a uma pergunta.
Exemplo de pergunta: Liste o número de cada item e diga quantos pontos cada item vale para cada um de vocês.
Exemplo de contexto de diálogo: nenhuma palavra específica é fornecida, mas pode-se entender que as informações contextuais sobre a negociação precisam ser fornecidas, como o número e o valor dos pontos dos itens
Exemplo de resposta da solicitação: Responda a quantidade de cada item no formato JSON e informe o valor de cada item.
Exemplo de prompt (tarefa: sta_ask_point_values_ca).
Task Description: You are negotiating with your campsite neighbor over an extra supply of food, water, and firewood for your camping trip.
Diferentes tipos de pacotes valem diferentes quantidades de pontos para cada um de vocês. Você receberá informações sobre a negociação. Você receberá informações sobre a negociação.
Em seguida, você responderá a uma pergunta.
Here are the number of food, water, and firewood packages available in the negotiation, contained in <count>tags.
<count>Food Packages: 3 Water Packages: 3 Firewood Packages: 3 </count>
Here are the number of points you get for each type of package, contained in <value>tags.
<value>Each Food Package: 3 points Each Water Package: 5 points Each Firewood Package: 4 points </value>
Question: How many points is one package of each issue worth to you? Present your answer as a json within <answer></answer>tags with
keys as issues (food, water, and firewood) and values as the corresponding answers.
DESCRIÇÃO DA MISSÃO: Você está negociando com os vizinhos do acampamento um suprimento extra de comida, água e lenha para sua viagem de acampamento.
Tipos diferentes de pacotes valem valores diferentes para ambos. Você receberá informações sobre essa negociação.
Em seguida, você responderá a uma pergunta.
Abaixo está o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos na tag .
Pacotes de alimentos: 3 Pacotes de água: 3 Pacotes de lenha: 3
Aqui estão as pontuações que você obtém para cada tipo de pacote, contidas nas tags .
Cada pacote de alimentos: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
PERGUNTA: Para você, quantos pontos corresponde a um pacote de cada pergunta? Apresente sua resposta em json na tag , em que a chave é a pergunta (comida, água, lenha) e o valor correspondente à resposta.
2. tarefa de anotação de atos de diálogo.
DESCRIÇÃO DA TAREFA: Analisar os comportamentos de conversação em uma negociação para identificar ofertas, objeções ou outros comportamentos estratégicos.
Exemplo de pergunta: Em um determinado diálogo, identifique e rotule o tipo de comportamento de cada afirmação.
Exemplo de contexto de diálogo: Um discurso de negociação específico é fornecido, por exemplo, "Você: se quiser o livro, eu fico com o chapéu e a bola".
Exemplo de resposta de solicitação: anote cada ação no diálogo usando um conjunto predefinido de tags.
Exemplo de solicitação (tarefa: dur_full_proposal_dnd):.
Task Description: You are negotiating with a partner over some quantity of books, hats, and balls to determine who gets which items.
Diferentes tipos de itens valem diferentes quantidades de pontos para cada um de vocês. Você receberá informações sobre a negociação.
Em seguida, você responderá a uma pergunta.
Here are the number of books, hats, and balls available in the negotiation, contained in <count>tags.
<count>Books: 3 Hats: 1 Balls: 2 </count>
Here are the number of points you get for each type of item, contained in <value>tags.
<value>Each Book: 1 points Each Hat: 5 points Each Ball: 1 points </value>
Here is an utterance from the negotiation, contained in <utterance>tags.
Você: Eu levo o chapéu e as bolas se você quiser os livros .
Question: How many items does the speaker get for each issue in the proposal delimited by the <utterance>tags? Present your answer as a json
within <answer></answer>tags with keys as issues (books, hats, and balls) and values as the corresponding answers. If the answer is not clear
for an issue, output NA.
Descrição da tarefa: Você está negociando com um colega o número de alguns livros, chapéus e bolas para decidir quem fica com quais itens.
Cada item tem um valor de ponto diferente para cada um de vocês. Vocês receberão informações sobre as negociações.
Em seguida, você responderá a uma pergunta.
Esse é o número de livros, chapéus e bolas disponíveis na negociação, contidos na tag .
Livros: 3 Chapéus: 1 Bolas: 2
Essa é a quantidade de pontos que você pode obter para cada item, contida na tag .
Por livro: 1 ponto Por chapéu: 5 pontos Por bola: 1 ponto
Esta é uma citação da negociação, contida na tag .
Você: Se você quiser livros, eu fico com o chapéu e a bola </utterance
Pergunta: quantos itens o orador recebe por pergunta na oferta delineada pela tag ? Dê sua resposta em formato json na tag , em que as chaves são as perguntas (livros, chapéus e bolas) e os valores são as respostas correspondentes. Se a resposta a uma pergunta não estiver clara, dê como resultado NA.
3. tarefa de modelagem de parceiros.
Descrição da tarefa: Com base no diálogo da negociação, especule quais itens a outra parte valoriza mais.
Exemplo de pergunta: Com base no diálogo, determine a ordem de preferência de itens da outra pessoa.
Exemplo de contexto de diálogo: é fornecido um cenário no qual o locutor propõe uma transação e os parceiros indicam suas prioridades para o item.
Exemplo de resposta de solicitação: resposta no formato JSON, listando a ordem de preferência da outra parte.
Exemplo de solicitação (tarefa: end_deal_specifics_ca).
Task Description: You are negotiating with your campsite neighbor over extra supply of food, water, and firewood for your camping trip. Different types of packages
Você receberá informações sobre a negociação e, em seguida, responderá a uma pergunta. Você receberá informações sobre a negociação.
Here are the number of food, water, and firewood packages available in the negotiation, contained in <count>tags.
<count>Food Packages: 3 Water Packages: 3 Firewood Packages: 3 </count>
Here are the number of points you get for each type of package, contained in <value>tags.
<value>Each Food Package: 3 points Each Water Package: 5 points Each Firewood Package: 4 points </value>
Here is the complete dialogue, contained in <dialogue>tags.
Ele: Olá, gostaria de receber três pacotes de alimentos. Decidimos ficar mais uma noite, mas precisamos de mais alimentos para isso.
YOU: I would be open to that if you could give me three packages of water ,
ELES: Hmmm... Estou bastante enlameado por causa da falta de jeito, então talvez precise de mais um. Eu poderia lhe dar duas águas e toda a lenha. O que você acha?
YOU: So are you suggesting that I would get 2 waters, 3 firewood, and no food?
THEM: Right! Well, beyond the food you already have.
VOCÊ: Tenho uma pessoa extra acampando conosco que eu não esperava quando comprei a comida, então eu poderia usar uma se você estiver disposto, e não tenho certeza se você está disposto.
Eu não estava esperando ficar mais uma noite, mas o clima está perfeito demais para ir embora. Eu posso me virar com dois pacotes de comida, com certeza. Eu consigo me virar com dois pacotes de comida, com certeza.
YOU: Great! Thank you for being so understanding!
Então, estamos de acordo que eu recebo 2 alimentos, 1 água e você recebe o inverso? Eu provavelmente também poderia usar uma lenha, mas isso não é tão importante para mim. Eu provavelmente também poderia usar uma lenha, mas isso não é tão importante para mim.
VOCÊ: Eu posso lhe dar uma lenha, então vou receber 1 alimento, 2 água e 2 lenha?
Question: In the final deal, how many item of each issue did you get? Present your answer as a json within <answer></answer>tags with keys as issues (food, water,
and firewood) and values as the corresponding answers. If there was no agreement, answer NA for each issue.
Declaração de missão: Você está negociando com seus vizinhos de acampamento sobre suprimentos extras de comida, água e lenha para a viagem de acampamento. Tipos diferentes de pacotes têm valores diferentes para cada um de vocês. Você receberá informações sobre a negociação e, em seguida, terá de responder a uma pergunta.
Abaixo está o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos na tag .
Parcelas de alimentos: 3 Parcelas de água: 3 Parcelas de lenha: 3
Abaixo está o número de pontos que você recebe por cada parcela, contido na tag .
Cada pacote de alimentos: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
Esse é o diálogo completo, contido na tag .
Them: Oi, gostaria de um pacote com três tipos de comida. Decidimos ficar mais uma noite, mas precisamos de mais comida.
VOCÊ: Eu quero um pacote com três garrafas de água, se você me der.
Eles: Bem... como sou desajeitado, talvez eu precise de um pouco mais. Posso lhe dar duas águas e toda a lenha, o que acha?
VOCÊ: Então você está sugerindo que eu deveria pegar 2 de água, 3 de lenha e nenhum alimento?
Eles: Certo! Mais comida do que você já tem.
VOCÊ: Tenho uma pessoa extra acampando conosco e não espero por ela quando compro comida, então vou usar um desses, se você quiser
Eles: Eu entendo você! Eu não estava ansioso para ficar mais uma noite, mas o tempo estava perfeito demais para ir embora facilmente. Eu poderia ter usado dois pacotes de alimentos, com certeza
Você: ótimo! Obrigado por ser tão compreensivo!
Eles: Sem problemas! Então, concordamos que eu leve 2 alimentos e 1 água e você faça o contrário. Eu provavelmente poderia usar uma lenha também, mas isso não é muito importante para mim.
Você: posso lhe dar uma lenha para que eu receba 1 alimento, 2 água e 2 lenha? </diálogo
Pergunta: na transação final, quantos itens de cada pergunta você obteve? Forneça suas respostas no formato json em tags , com as perguntas (comida, água e lenha) como chaves e as respostas correspondentes como valores. Se não houver protocolo, responda NA para cada pergunta.
4. tarefa de geração de resposta estratégica.
DESCRIÇÃO DA TAREFA: Ao final de uma negociação, gere uma resposta estratégica ou proponha um acordo com base em todo o histórico do diálogo e nas preferências da outra parte.
Exemplo de pergunta: ao final de uma negociação, gere uma resposta que considere como maximizar sua pontuação, levando em conta as preferências de seu parceiro.
Exemplo de contexto de diálogo: fornece todo o diálogo de negociação, incluindo as propostas e preferências de ambos os lados.
Exemplo de resposta de solicitação: gera uma resposta no formato JSON contendo uma oferta estratégica ou uma aceitação ou rejeição da oferta atual.
Exemplo de solicitação (tarefa: end_deal_total_ca).
Task Description: You are negotiating with your campsite neighbor over extra supply of food, water, and firewood for your camping trip. Different types of packages
Você receberá informações sobre a negociação e, em seguida, responderá a uma pergunta. Você receberá informações sobre a negociação.
Here are the number of food, water, and firewood packages available in the negotiation, contained in <count> tags.
<count>
Food Packages: 3
Water Packages: 3
Firewood Packages: 3
</count>
Here are the number of points you get for each type of package, contained in <value> tags.
<value>
Each Food Package: 3 points
Each Water Package: 5 points
Each Firewood Package: 4 points
</value>
Here is the complete dialogue, contained in <dialogue> tags.
<dialogue>
ELES: Olá, gostaria de receber três pacotes de alimentos. Decidimos ficar mais uma noite, mas precisamos de mais alimentos para isso.
YOU: I would be open to that if you could give me three packages of water
ELES: Hmmm... Estou bem sujo de lama por causa da falta de jeito, então talvez eu precise de mais uma. Eu poderia lhe dar duas águas e toda a lenha. Eu poderia lhe dar duas águas e toda a lenha.
YOU: So are you suggesting that I would get 2 waters, 3 firewood, and no food?
THEM: Right! Well, beyond the food you already have.
VOCÊ: Tenho uma pessoa a mais acampando conosco que não esperava quando comprei a comida, portanto, posso usar uma se você estiver disposto
ELES: Entendo isso! Não estava esperando ficar mais uma noite, mas o clima está perfeito demais para ir embora. Posso me virar com dois pacotes de comida, com certeza.
YOU: Great! Thank you for being so understanding!
Então, estamos de acordo que eu recebo 2 alimentos, 1 água e você recebe o inverso? Eu provavelmente também poderia usar uma lenha, mas isso não é tão importante para mim. Eu provavelmente também poderia usar uma lenha, mas isso não é tão importante para mim.
Posso lhe dar uma lenha, então receberei 1 alimento, 2 água e 2 lenha?
</dialogue>
Question: How many points did you get at the end of the negotiation?
OBSERVAÇÃO: Vamos pensar passo a passo! Coloque seus pensamentos nas tags e coloque sua resposta como um único número nas tags . answer>.
DESCRIÇÃO DA MISSÃO: Você está negociando com os vizinhos do acampamento um suprimento excedente de comida, água e lenha. Diferentes tipos de pacotes têm diferentes pontos de valor. Você receberá informações sobre a negociação. Em seguida, você responderá a uma pergunta.
Esse é o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos na tag .
<count>
Pacotes de alimentos: 3
Parcelas de água: 3
Parcelas de lenha: 3
</count>
Essa é a pontuação que você obtém para cada tipo de pacote, contida na tag .
<value>
Por pacote de alimentos: 3 pontos
Por parcela de água: 5 pontos
Cada parcela de lenha: 4 pontos
</value>
Esse é o diálogo completo, contido na tag .
<dialogue>
Eles: Oi, eu gostaria de três pacotes de alimentos. Decidimos ficar mais uma noite, mas precisamos de mais comida.
VOCÊ: Se puder me dar três pacotes de água, eu os levarei.
Eles: Bem, ......, eu me sujei muito devido à minha falta de jeito, então talvez eu precise de mais um. Posso lhe dar dois pela água e toda a lenha. O que você acha?
VOCÊ: Então você está sugerindo que eu pegue 2 de água, 3 de lenha e nenhum alimento?
Eles: Certo! Ok, exceto pela comida que você já tem.
VOCÊ: Tenho uma pessoa a mais acampando conosco que não previ quando comprei a comida, posso usar uma se quiser.
Eu entendo! Eu não esperava ficar mais uma noite, mas o tempo estava bom demais para ir embora. Tenho certeza de que conseguirei lidar com dois pacotes de alimentos.
Você: Ótimo! Obrigado por ser tão compreensivo!
Eles: Sem problemas! Concordamos que eu fico com 2 alimentos e 1 água e você fica com o inverso? Talvez eu precise de lenha também, mas isso é menos importante para mim.
Você: Posso lhe dar uma lenha para que eu receba 1 alimento, 2 água e 2 lenha?
</dialogue>
Pergunta: No final das negociações, quantos pontos você recebeu?
Observação: Vamos pensar passo a passo! Coloque seu processo de pensamento na tag e sua resposta como um único número na tag .
Lógica de execução da ToM
1) A tarefa de compreender desde o início:
Descrição da missão: você está fazendo um acordo com outros campistas na vizinhança causadora sobre alimentos, água e lenha adicionais. Tipos diferentes de parcelas têm valores diferentes para cada um de vocês. Você receberá informações detalhadas sobre as negociações e depois precisará responder a uma pergunta.
A seguir, o número de pacotes de comida, água e lenha disponíveis na negociação, anotados na tag . Parcelas de alimentos: 3 Parcelas de água: 3 Parcelas de lenha: 3
Aqui estão os pontos que você pode ganhar com base em cada tipo de pacote, anotados na tag . Cada pacote de alimento: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
PERGUNTA: Quantos pontos vale um pacote por pergunta para você? Por favor, responda em formato json contendo tags , em que a chave representa a pergunta (comida, água, lenha) e o valor é a resposta correspondente.
2. tarefas de anotação em andamento:
DESCRIÇÃO DA MISSÃO: Você está negociando com seu parceiro mais livros, chapéus e bolas. Tipos diferentes de itens têm valores diferentes para você. Você receberá informações detalhadas sobre as negociações e, em seguida, terá de responder a uma pergunta.
Aqui está o número de livros, chapéus e bolas que você pode obter na negociação, anotado na tag . Livros: 3 Chapéus: 1 Bolas: 2.
Aqui estão os pontos que você pode ganhar com base em cada tipo de item, anotados na tag . Cada livro: 1 ponto Cada chapéu: 5 pontos Cada bola: 1 ponto
A seguir, uma citação do processo de negociação, registrada na tag . Você: Se você quiser o livro, eu vou buscar o chapéu e a bola.
Pergunta: quantos itens o locutor obtém em cada uma das sugestões divididas pela tag ? Resposta em formato json contendo tags , em que a chave representa a pergunta (livro, chapéu, bola) e o valor é a resposta correspondente. Se a resposta a uma pergunta não estiver clara, preencha com NA.
3. compreensão das tarefas no final da fase:
Descrição da missão: Você está chegando a um acordo com um campista vizinho sobre um suprimento adicional de comida, água e lenha. Tipos diferentes de pacotes têm valores diferentes para você, e você receberá informações detalhadas sobre as negociações e precisará responder a uma pergunta.
Esse é o número de pacotes de comida, água e lenha aos quais você tem acesso durante as negociações, registrado na tag . Parcelas de alimentos: 3 Parcelas de água: 3 Parcelas de lenha: 3
Esse é o número de pontos que você pode ganhar com base em cada tipo de pacote, anotado na tag . Cada pacote de alimento: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
Aqui está o diálogo completo, registrado na tag . ...
PERGUNTA: Na transação final, quanto de cada item você recebeu? Por favor, responda no formato json contendo tags , em que a chave representa a pergunta (comida, água, lenha) e o valor é a resposta correspondente. Se não houver acordo, para todas as perguntas, preencha a resposta com NA.
4. sugestões de pensamento em cadeia:
DESCRIÇÃO DA MISSÃO: Você está negociando com os campistas vizinhos os suprimentos de comida, água e lenha. Tipos diferentes de pacotes terão valores diferentes para cada um de vocês e você receberá informações detalhadas sobre a negociação e precisará responder a uma pergunta.
Esse é o número de pacotes de comida, água e lenha aos quais você tem acesso durante as negociações, registrado na tag . Parcelas de alimentos: 3 Parcelas de água: 3 Parcelas de lenha: 3
Esse é o número de pontos que você pode ganhar com base em cada tipo de pacote, anotado na tag . Cada pacote de alimento: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
Aqui está o diálogo completo, registrado na tag . ...
PERGUNTA: Ao final da negociação, quantos pontos vocês ganharam no total?
Observação: pense em um passo de cada vez! Registre seu processo de pensamento na tag e sua resposta com um número na tag .
