内定蹴った行く気ない企業に「どうしても君が欲しいから役員と社長の3人でご飯行こう」と言われました。どうするべきでしょうか？

不動産のベンチャー企業で内定を蹴った後に役員からどうしても欲しいといわれて社長と役員と自分の三人でご飯に行こうという風に言われました。自分はその企業に行くつもりはないので断りたかったのですが、そうもいかず返信を渋っています。こんな経験したことある人いますか？言ったらその企業に入らないといけなくなりますかね？