車に関する言い掛かりについて

　先日、友人とドライヴをしていて、後日警察署から、
「あなたの車がドリフトをしていて、小石が跳ね、すれ違いざまに、そこを通っていた被害者の車のフロント部分にあたった、と言う報告を受けたのですが、どうなんでしょう」
　と言う連絡を受けました。
　実際僕ら（僕と友人、つまり一応加害者）は、相手（一応被害者）の車ともすれ違った記憶もまったくないですし、（何しろ山道だったので）まして、ドリフトなんかもしていません。そして相手側（一応被害者）の主張する時間とも、微妙にずれています。
　しかも、その”一応被害者”は暴走族系の車で、僕らの車を、ずっと山道を追い掛け回してきました。

　こう言った場合、警察にも、これだけだと立件できないし当事者同士で話し合ってくれと言われました。
　しかし、僕らとしても、そんなおかしな人達と警察やら、仲介者を立てずに直接話し合いなんてしたくはありません。何をされるか、分かりませんから。
　こういった場合、どう言った手段をとるべきでしょうか？保険屋を使えば、と言うアドバイスも受けましたが、実際問題、突っぱねて無視する事は出来るのでしょうか？
　僕らとしては、あまり関わりたくないのですが、どうしたら良いでしょう？長くなってしまいましたが、非常に困っています。あなたの知恵と知識と経験を少しお貸し下さい.よろしくお願いいたします。