오늘날 가상 세계에서 인간과 인간, 컴퓨터와 인간의 상호작용을 좀 더 효율적으로 도와줄 수 있는 매개체로서 에이전트에 대한 관심이 증대되고 있다. 특히 에이전트의 정서표현도 인간의 정서 표현처럼 해석할 수 있고 그에 대해 인간의 정서표현에 반응하는 것과 마찬가지의 방식으로 반응한다는 연구들이 있어왔다. 그렇다면 에이전트의 정서표현이 표정과 목소리에서 서로 불일치한다면 어떤 쪽에 더 치중해서 에이전트의 정서를 해석할지 또는 어느 한 쪽에 치중하는 것이 아니라 두 정서 모두 조합해서 받아들일지 알아보고자 했다. 또한 만약 표정과 목소리의 두 가지 정서를 조합해서 인지한다면 표정이나 목소리에서는 표현되지 않은 제 3의 정서를 느끼지는 않는 것인지 알아보았다. 실험은 표정(4) × 목소리(4)로 이루어졌다. 실험 결과 사람들은 에이전트의 한 가지 채널에 지배받아서 정서를 인지하는 것이 아니라 표정(시각)과 목소리(청각) 두 채널 모두를 조합해서 정서를 인지하는 것으로 나타났다. 또한 두 채널의 정서가 불일치할 때에는 혼란에 빠져 무슨 정서인지 모르게 되는 것이 아니라 또 다른 실망, 지루함, 지친, 반가운 등의 제 3의 정서를 느끼는 것으로 나타났다.