FPの回答へコメント

１．１７５％ですか？もっと安く借りられそうですけどね。
返済比率は年収の５倍以内ですし、何も問題ないと思います。

ぽぽろんさんの場合、ローンの借り方でお勧めするのは
①４７００万円借りて、建築（新築、改築）は手持ちの現金でする方法
②６８００万円のうち５０００万円くらい借りる方法
です。

①では土地をすぐに買えます。せっかく気に入った土地ですから、他の人に買われてはしょうがないですよね。土地を買ったあとで、ゆっくり建築プランを考えられます。
この場合、金利は１．０７５％になると思います。

②では低金利と住宅ローン控除の両方で得できます。
頭金を２割以上いれると、当社の紹介する都市銀行なら０．９７５％で借りられると思います。住宅ローン控除は残高の１％なので、実質金利はマイナスになります。
手持ち資金は住宅ローン控除が終わった１０年後に繰上返済するために残しておきましょう。

変動金利を嫌って長期固定金利を選ぶ方がいらっしゃいますが、例えば固定と変動を半分ずつにして、返せるときに金利の高い方から返すという手もあります。

ご質問の主旨と離れてしまいましたね。
買えるのですから、買ってください。仮に一生賃貸なら生涯支払う家賃はいくらか、
これを計算したら、腰が引けるどころか、腰を抜かしてしまいますよ。