バイトの面接であっても「お帰り下さい」って失礼では？？

デパート内の喫茶店アルバイトの面接に行って、
お店で説明を聞いて「自分には無理だなぁ…」と思って断ったんです。
「ちょっと自信がないので、やめておきます」みたいなことを言ったら、
そのお店の店長は微笑みながら「そうですか、ではお帰り下さい」と言いました。


「お帰り下さい」……？？


なんだか「じゃあさっさと帰れば」と言われているような気がしたんです。

この「お帰り下さい」という言葉、物凄く失礼じゃないですか？？
帰りがけに「気をつけてお帰り下さい」とかならわかるのですが…。

面接に来た人であっても、まだ雇ったわけではないのですから、お客様でもあると思うのです。
もし私が面接官なら、「申し訳ありません。またのお越しをお待ちしております。」と言うと思います。

私の態度が悪かったから邪険に言った、ということはないと思うんです。
（だからと言って社会人がそういう気持ちを態度に出して良いわけがないですが）
約束の時間にはちゃんと5～10分前に行きましたし、自分では丁寧な言葉と誠実な態度で面接に望んだつもりです。
面接が終わったのになかなか帰ろうとしなかった、ということもありません。
平日だったのでお店はガラガラで、急かして帰らせる程ほど急がしそうでもありませんでした。
面接が終わったら即刻、相手がそう言ってきたのです。

相手の店長は30～40代の男性でした。
自分より若いから、学生だから、見下されていたんでしょうか。
それとも、私の感覚がおかしいのでしょうか…。
長くなってしまいましたが、皆さんのご意見よろしくお願いします。