そして、竣工から20年以上経った78年、第2期と呼ばれる大きな増改築が行われた。この増改築では、おもに南西の三角形部分と2階全体が増築された。第1期の58㎡（延床面積）が、第2期では238㎡になったのであるから、まさに大増築である。ここまで来ると、いっそ新築でつくったらどうだろうか、という考えも生まれてくる。林昌二は「家というものは、気軽に建て直すべきものではないのではないか。それは、もったいないことであるし、心の安まらないことでもある。なぜ安まらないかといえば、環境の変化そのものでもあるからです」と述べている。
　また、第2期では増築の方法も特徴的であった。ふつうに既存部（第1期部分）に2階をのせようとしたところ、建築基準法の改正によって、それは不可と判断されたという。そのため既存部に加重をかけないように木造でキャンティレバーの屋根を差しかけて、2階をつくっている（増改築時の原図）。林昌二自身は、この構造を「おかげで私の好みではない構造的アクロバットが必要となり、家の形もまことに珍妙なものとなりました」と述べている。
　しかし、林の大学の後輩であり、日建設計の部下であり、「私たちの家」の後継者になった安田幸一さんは、「林さんは制約のなかで新しい創造を見つけるのが好きな人でしたから、この構造の制約も、おそらく発想の源ととらえていたはずです。だからネガティブな要素のように言うこともあるのですが、本当はポジティブな要素だったのだと思います」と語る。第1期、第2期ともに制約が、林の真価を引き出したにちがいない。
　そして、「私たちの家」を継承した安田幸一さんは、いわば第3期へたすきをつないだ。