回答に行き詰ったときに「考えさせてください」と一呼吸置くのは印象悪いですか？

想定外の質問をされて、咄嗟に回答することができないとき、「考えさせてください」と一呼吸置くのは印象悪いのでしょうか。とりあえず話始めるほうが良いのでしょうか。