Бывает и не отгадаешь. А зачем тебе надо знать половую принадлежность собеседника? Может тебе сразу справку из диспанцера показывать?
Просто мозг не найдя различия подаёт сигнал о ненормальности. Это не плохо и не хорошо, это норма ☺. Когда часто стал встречать негров, взгляд на них спотыкался, сейчас почти привык.