"Я Вас услышал" - почему эта фраза раздражает?

Казалось бы, что здесь может быть плохого? Человек говорит: «Я Вас услышал». То есть - я Вас понял, я обратил внимание, Ваша позиция мне понятна, известна. Очень вежливая фраза. Но почему же иногда после неё хочется сказать: «Нет, Вы меня не услышали!»