조언 부탁드립니다

회사 입사 당시 취직비자는 회사에서 행정소에 맡기니 10만 내라고 하였습니다. 회사가 레스토랑을 운영하는 회사이고 외국인취직비자로 조금 문제가 잇는 회사였습니다 . 저는 당시 레스토랑서비스가 아닌 사무직이라 회사에 자료만 달라 혼자 비자 신청하겠다고 하였습니다. 꼭 행정사에 맡겨야된다고 하면 입사 안하겠다고하니  회사에서 대신 취직대행비 10만 내주겠다고하였습니다. 그때 당시 저는 회사에서 그렇게 해준다고하니 알겟다고  일단 비자 내려올때까지 알바로 하고 잇는중이엿슴다. 그러다가 회사 여러가지  일 발생하여 계속하기싫어서 퇴사하겟다고하니 저보고 돈내라고 하고 있습니다. 행정소에  착수금 미리 5만엔 냇으니  그걸 저한테 지불해라고 합니다 . 저는 회사에서 당시 퇴사시  취직대행요금 배상 혹은 비자신청기간 퇴사시 착수금 지불한다 등  들은적없고 계약서에 싸인 한적도 없습니다 . 이럴시 어떻케 대처 해야 하는지 여쭤보고 싶습니다