Странности языка: мужик и баба

Как-то разговорился с бывшей учительницей русского языка о его странностях. Привел такой пример: если меня, вдруг, назовут мужиком, или окликнут: "Эй, мужик", то я восприму это, как нормальное обращение. Но вот если я Вас назову бабой, или, ни дай бог, кто из толпы решит обратиться: "Эй, баба", то Вы наверняка на время забудете о приличиях, и примените пару секретных и убойных фраз к обидчику :)  

Хотя, казалось бы, "мужик" и "баба" — слова одного плана, и даже антонимы, а вот реакция на них — разная. Как так получилось?