郁钧剑的祖父在新中国成立前做过福州中华职业学校校长,也在上海大学里教过书,对诗词书画非常精通。受家庭的影响,郁钧剑从小就酷爱读书。从十几岁参加工作起,他就开始“玩买书、读书、藏书”。在他的家中已有近40个书柜,藏书近万册。
郁钧剑的家庭很幸福,妻子是海军总医院的医生,平时非常低调。