蒋梦麟赴美国留学之前，即与原配妻子孙玉书结婚，并生育有一子蒋仁宇，另有一女夭折。1917年留学回国后，夫妻二人又先后生育次子蒋仁渊、女儿蒋燕华、幼子蒋仁浩。1933年，蒋梦麟与孙玉书协议离婚后，与陶曾穀结婚。正在读小学的蒋仁渊，见到《姚江日报》刊载蒋梦麟与陶曾穀结婚的新闻，匆匆回家告知母亲，母亲只是喃喃地说：“你爹变心了。”

孙玉书离婚不离家，依然留在浙江省余姚县回龙乡蒋村的蒋家孝养公爹、抚养儿女。三子一女的教育费由蒋梦麟继续承担。陶曾穀再婚前与高仁山生育有一子高陶、一女陶燕锦。蒋、陶再婚之后再没有生育。

陶曾穀是蒋梦麟莫逆之交兼同事高仁山的遗孀，高仁山于1928年被奉系军阀杀害。蒋梦麟在担任教育部长期间，朱经农介绍陶曾穀到教育部任蒋梦麟的秘书，二人朝夕相处，日久生情。

二人于1933年结婚。婚礼上，蒋梦麟答谢宾客时表示：“我一生最敬爱高仁山兄，所以我愿意继续他的志愿去从事教育。因为爱高兄，所以我更爱他爱过的人，且更加倍地爱她，这样才对得起亡友。”

胡适是蒋梦麟与陶曾穀的证婚人。婚礼前，胡夫人江冬秀因为蒋梦麟为娶陶曾穀遗弃原配，不赞成胡适为两人证婚，不准胡适前去。胡适只能跳窗“脱逃”，成其美事。

蒋、陶婚后的几十年中，感情甚笃。1958年，陶曾穀病逝。蒋梦麟异常悲痛。章元羲回忆，蒋因为陶安葬之事大发脾气：他认为陶曾穀的棺木太薄，外形像个木头匣子，不中不西；又因为墓地没有选好，觉得治丧委员会准备将陶的棺木暂厝在阳明山不安全，怕发生火灾，又怕被抢。章元羲劝他，先将棺木暂厝在台大医院太平间，一周内选好墓地后，由台大送到山上安葬，蒋梦麟这才平息了怒火。

陶逝世前曾经对她的一个表亲说：“孟邻（蒋梦麟）的身体很好，而且太重情感了，我死了以后，他一定会受不住的；而且，我不忍心他受长期的寂寞；所以，我希望你能够帮他找一个合适的对象，陪伴他……”

陶曾穀去世后，蒋梦麟非常落寞，由陶曾穀的那位表亲介绍，认识了徐贤乐。徐是江苏无锡人，曾祖父徐寿是晚清著名的科学家，父亲徐家保曾任上海格致书院董事。徐贤乐是徐家幺女，长相漂亮，在家中备受宠爱。徐于40年代初与国民党中将杨杰在重庆结婚，但结婚七个月后，就因银钱问题离婚。

徐贤乐认识蒋梦麟时，虽已年过半百，但风韵犹存。蒋梦麟对徐贤乐一见钟情，在写给徐的第一封情书里就说：“在我见过的一些女士中，你是最使我心动的人……”二人不久就论及婚嫁。

蒋梦麟的再婚遭到朋友们的强烈反对。因反对的人太多，蒋曾一度打消再婚的念头，但不久却又毅然决定与徐完婚。他在给陈诚的信中述及自己坚决再婚的原因道：“鳏居生活，了无生趣，公余返寓，形单影只，更当夜阑人静，孤枕梦回，常中夜起坐，绕室彷徨。……目前虽有小女侍右，究不能朝夕晤对，亦不能分忧分劳。”在给女儿的信中，蒋梦麟说：“我自婚事停顿之后，血压减低，体重亦减。夜不安睡，诸事亦乏兴趣，长此以往，前途不堪设想。所以我不能不图自救之道。……自妈妈逝世以来，于兹三载，精神上之苦痛，一言难尽。自认识徐女士以来，于精神上之补助颇多。故诸事之兴致日浓。……父女之爱，亦良足贵，但究不能代夫妇之爱。……故为图自救计，毅然决然与女士结婚。”

1961年7月18日，蒋梦麟与徐贤乐在台北市临沂街陈能家中举行了简单的婚礼。时年蒋七十五岁，徐五十四岁了。由于婚礼仓促，以致很多人都来不及准备礼物。

蒋、徐结婚之后没几天（7月26日），蒋梦麟就专程去看望胡适，胡适也向他道贺。蒋梦麟告诉胡适，他的新婚夫人很好，隔几天还要将她带来看望胡适。他还对胡适说：“人家说她看上我的钱，其实她的钱比我的多。”

次年12月，蒋梦麟不慎失足摔倒，腿骨骨折，住进医院。不久，蒋抱怨徐贤乐照顾不周，对自己不够关心；而徐则埋怨蒋花钱太多，让蒋转到小病房。接着，徐又背着蒋，一次性向石门水库借支一万元，并因小事与蒋燕华、樊际昌争吵，甚至对二人出言谩骂，同时又让蒋的同僚沈宗瀚一家搬离农复会宿舍。蒋得知后，十分震怒，与徐发生争执。徐一气之下将自己的户口迁出，并将行李搬离蒋家。蒋梦麟出院后，没有回家，拒绝与徐见面，并于1963年1月23日（农历腊月二十八）写下《分居理由书》，托律师交给徐。

1963年正月十五，蒋梦麟再次委托律师给徐贤乐去函，指责徐乘他在住院期间转移财产，取走蒋应得的利息、股息，甚至连女儿蒋燕华、陶燕锦的股票也过户到自己名下。徐拒绝离婚，蒋遂向法院提起诉讼，称徐“凌辱吾女，侵渎先室；需索敛聚，恶老嫌贫，经常詈骂”，他因“不堪徐娘虐待之苦”而要求离婚，并索回五十三万元存款。

面对蒋梦麟的诉状，徐贤乐气愤地表示，诉状内容都是扭曲的。调解过程中，徐贤乐一度直闯农复会办公室找蒋梦麟，吓得蒋连忙从后门楼梯避开。徐见状高呼，见丈夫是合法的权利，她已受到蒋的侮辱与痛苦，说蒋“仰仗官职、欺凌弱女”。蒋只能避居石门水库。徐贤乐还一度以送冬衣为由，要求碰面。

一年后，双方终于在1964年1月24日协议离婚，由陶希圣当见证人，蒋梦麟付给徐贤乐赡养费五十万元，徐贤乐须将农复会房舍、股票悉数交还，但徐已经提走的二十多万现金不再追索。蒋梦麟只求签字止讼，由友人代签支票偿还赡养费，前后总计花费七十七万元（1960年台湾平均每人所得仅新台币5666元，有存款百万即被喻为富翁），才结束两年六个月的夫妻关系。

蒋梦麟对记者说：“（从结婚）到现在一年多，我失望了，我受到人生所不能忍的痛苦；家是我痛苦的深渊，我深深地后悔没有接受故友胡适之先生（胡适已于1962年去世）的忠告，才犯下错误。我愧对故友，也应该有向故友认错的勇气，更要拿出勇气来纠正错误。”并将胡适1961年6月18日写给他的那封长信公开发表。