ショートメールでの迷惑メール（消費者金融と思われます）が多くなり、困っています。

こんにちわ。
以前に、携帯電話に消費者金融と思われる所からの、迷惑電話の対応方法にについてご質問させて頂きました。
携帯を変えて2年ぐらいになります。
かかって来ていた、以前の持ち主様宛と思われる消費者金融と思われる方からの「○○金融ですが、○○さんの携帯電話ですか」等の迷惑電話については指定着信拒否などで、だいぶ減りましたが、まだ多少はかかって来ています。
電話は多少は減ったのですが、今度はショートメールでの「お金を貸します」などのメールが頻繁に入って来ます。
非通知などで入ってくるメールもあり、不愉快です。
メール内容には社名、担当者などが書かれており、だいたい毎回違う社名で入って来ます。
ショートメールの差出人の方は、以前の持ち主様とは変わっている事をご存知ないのだと思われるので、違いますとご返信しようかともおもったのですが、相手方が消費者金融の方ですので、恐くてしておりません。
ショートメールを拒否するには着信拒否をしておけば良いのでしょうか。
やはり、番号を変更するしかないのでしょうか。