FPの回答へコメント

愛知県で石井ファイナンシャルプランニングを営んでいます。石井です。よろしくnickさん。
今の段階では問題はないかもしれないですが、お子さんが大学に行く年頃と住宅ローンの金利が上がる時期が重なってしまいます。かと言って住宅ローンを減らしてからといっても納得しないでしょう。
一回家族会議をやって将来にやりたいこと、やらなければならないこと（ライフイベント)をマトメテおいたほうがよろしいかと考えます。
最近は家族間の会話が減ってる家庭も少なくないので良い機会と思って。
優先するライフイベントが判らないとどうにもならないためです。
家を買いかえるのはそれからでも遅くはないはずです。
それからFPに相談してみてください。

---