Умные люди и строят. Дерево самая лучшая теплоизоляция. А камень в жару нагреется моментально и остывать будет еще неделю. Не говоря уже о разнице во влажности между камнем и деревом. Если строить правильно, дом переживет все твое потомство вместе с тобой.
С чего вдруг дерево стало самой лучшей теплоизоляцией? Посмотри характеристики материалов и увидишь, насколько ошибаешься.