夫人：前妻是艾比盖尔·鲍尔斯；卡洛琳·卡迈克尔·麦金托什
子女：2个
浪漫的爱情
美国第十三任总统米勒德·菲尔莫尔的童年生活非常艰苦，他出生在一个贫穷的农民家庭，因此他根本就没有享受学校教育的机会。中学毕业后，他就开始在工厂当学徒。但是后来，他深深地意识到当学徒的生活并不是他的追求，并且，当学徒就意味着永远也改变不了自己的命运。所以，他必须改变自己目前的生活状态，于是他决定离开工厂，到学校学习。
这一生活方式的改变不仅改变了他以后的生活轨迹，对他来说，还有一件很重要的事，那就是他遇到了自己心爱的妻子。
菲尔莫尔离开工厂后，凭着自学的知识进了纽霍普一所新办的学校。后来，他又到附近的一所学校去进修，并在那里认识了年轻的女教师艾比盖尔· 鲍尔斯，开始了自己的浪漫史。
鲍尔斯虽然是菲尔莫尔的老师，但是他们的年龄其实相差不大。菲尔莫尔在校期间学习非常认真，所以进步特别明显，鲍尔斯也非常喜欢这位年长的学生。每当菲尔莫尔在学习上有疑难问题时，鲍尔斯就会耐心地向他讲解；每当菲尔莫尔经济拮据时，鲍尔斯就悄悄在经济上给予支援。久而久之，两人的师生关系发生了微妙的变化——他们恋爱了。他们其实是很般配的一对，一则他们年龄相差不大，再则他们都具有足以吸引对方的魅力，鲍尔斯既有知识又懂艺术，特别是在音乐方面有很高的造诣；而菲尔莫尔年轻潇洒，体格魁梧健壮，充满了青春的活力。不过，当时两人没有考虑结果，菲尔莫尔继续努力追求自己的事业，鲍尔斯则怀着一腔真情支持和鼓励他。