社員数が少ない企業は内定辞退するべきですか？

懸念点が人数なのであれば考え直した方がいいです。

入社後結局頑張らければいけないのは自分なので！！

何に迷ってるのかをもっと明確にしたほうが良いです。自分でいくつか項目を決めて、その上で判断したほうが良いと思います。

社員数だけで判断するのはもったいないです。将来性があるかないかは正直どの企業についても同じです。