ビザ更新書類に問題があったけど、ビザがおりた場合

1月中旬に会社を退職されました。会社の経営が悪化したからです。
在留ビザの期限が3月末までしかなかったので、急いでビザ期限を更新する申請をし、順調に3年ビザがおりました。
しかし、問題はここからです。

会社側の離職票には1月中旬の退職だとはっきり書いてあります。
だが、私がこの会社の名義になっている在職証明書を発行してもらった日付は1月下旬、つまり在職証明書の日付が退職後の日付になっているのです。（在職証明書の発行は会社側に協力してもらいました）
今回は一応三年のビザをもらいましたが、これから先はどうすれば良いのか分かりません。

実は運良くすぐ新しい仕事が見つかり、すぐ再就職が決まりました。新しく転職した場合、転職した会社の資料などを入管に出さないといけないと思いますが、その時、前職の離職票も求められますよね？
で、ここで1月中旬の日付が書かれてある離職票を提出すると、以前出した在職証明書がおかしいことが発覚されるのは当たり前のことですね。
だといって、転職して入管に報告をせずに転職した会社でそのまま働くわけにもいかないし、、、

私の場合はどうすれば良いのでしょうか。
転職した場合前の会社の離職票を必ず出さないといけないでしょうか。会社側に頼んで、1月末の日付で解雇通知書を書いてもらってそれを入管に提出するのはだめでしょうか。

今まで日本の法律を守って、日本で生活してきました。
今回はあまりにも突然の解雇通知で、慌ててしまって、退職したにも関わらず、会社の名義で在職証明書を発行してもらいましたが、これからどうすれば良いのか分からなくて、非常に困っています。
そして、後悔しています。
先生、教えてください。
お願いします。