面接での評価や感触は良くても考え方が合わないと感じた企業は辞退したほうがいいのでしょうか？

不動産の企業で、面接の感じはとてもよかったのですが、企業や面接官と考え方が合わないのではないかとも感じました。このまま進んで内定が出てもその印象や入ってからのギャップを感じながら仕事はしたくないので辞退しようかと考えています。そんな些細なことですが辞退したほうがいいと思いますか？