Если вы сопровождаете речь собеседника репликами типа "да-да, конечно, понимаю" в большом количестве, попробуйте проанализировать, сколько из услышанного вы, действительно, запомнили и поняли.
Скорее всего, будет не очень много. Потому что фокус внимания направлен на то, чтобы понравиться или поддержать, не допустить конфликта или продемонстрировать интерес ("продемонстрировать" здесь ключевое). Это часто выглядит фальшиво, наигранно, выученно. И это напрягает и раздражает.
Активное поддакивание говорящим может восприниматься как постоянное внедрение в речь, перебивание, что мы очень не любим и опять же раздражаемся. Да это и просто невежливо. А мы с вами за уважение к собеседнику.