会社が雇用保険未加入だった場合について教えてください　

長文になりますがお許しください。
正社員として働いていましたが、職場環境が極端に悪く、満2ヶ月で退職してしまいました。
そのような環境のためか、入った時から他に女性社員はいませんでしたし私がいた間にも何人か入っては2・3日でいなくなってしまう状態だったので、私の退社は強く引きとめられたものを振り切った形で円満とは言えません。
ハローワークで、その会社での2ヶ月間、雇用保険に入っていなかったことが判明しました。
書面でその会社に遡って雇用保険に加入して、離職票も発行してくれるように頼んだのですが何の連絡もなく、今日なんとなく通帳を見てみたら、
2か月分引かれていた雇用保険料がその会社から振り込まれていました。

たぶんお金を返すので雇用保険の手続きはしないということだとおもうのですが、入ってくれないと失業給付にも関係してくるので本当に困っています。こういった場合どうすればいいか教えてください。