1931年曼纳海姆重新出山，担任芬兰防务委员会主席，掌握了军队指挥权。1939年11月，苏联与芬兰因领土问题爆发了历史上著名的“冬季战争”。作为芬军总司令，曼纳海姆多次亲临前线指挥作战，虽然芬兰最终战败并被迫出让10%的领土，但苏军也付出了惨重的代价。1941年6月德国入侵苏联后，芬兰为收复失地，又与苏联爆发了“持续战争”。在“持续战争”中，芬兰虽然从德国得到了大量军援，但曼纳海姆却极力主张与德国保持距离。他多次拒绝希特勒提出的让芬兰与德国结盟的要求，也不同意派兵参加包围列宁格勒的战役。1941年底，希特勒还提出让他来指挥芬兰境内的全部德军，但曼纳海姆知道如果接受了这个建议，日后肯定得对希特勒俯首帖耳，于是再次拒绝。
反感纳粹前来祝寿，故意吸烟熏走希特勒
1942年6月4日，曼纳海姆迎来了75岁生日。这一天他接到两份厚礼：一是芬兰政府授予他“芬兰元帅”的军衔，这在芬兰历史上是空前绝后的；二是希特勒本人亲自来给他拜寿。希特勒的突然造访让曼纳海姆十分反感，于是他故意选在一条偏僻的铁路线上与希特勒会面。
当希特勒看到曼纳海姆后，激动地向他跑了过来。曼纳海姆却对希特勒身边的军官说：“军官不应跑步，这有失身份，只有士兵才这样做！”在希特勒发表了热情洋溢的祝寿演说后，曼纳海姆请他吃了顿饭，不知是否是特意安排，这顿饭菜的质量相当糟糕。饭后，曼纳海姆又点燃一根奇大的雪茄，谁都知道希特勒最受不了香烟的味道。结果希特勒在芬兰只逗留了5个小时就匆匆回国了。他本打算要求芬兰加紧对苏联的军事行动，但这场不愉快的见面显然使他心灰意冷，什么要求也没提就悻悻地打道回府了。
1944年，芬兰总统里提因病辞职，77岁的曼纳海姆接任总统。就任后，他迅速与斯大林达成停战协议。芬兰与苏联签署和约后，德国军队还不愿意自行离开。于是曼纳海姆又指挥部队调转枪口，将盘踞在芬兰北部的德军驱赶了出去。1951年1月28日，一生充满传奇的曼纳海姆病逝于瑞士洛桑。曼纳海姆去世后，历史学家对他做出了极高的评价：每当芬兰处于重要的转折关头，他都能临危受命，引导国家走上和平独立之路。