【加害者です】自転車と歩行者の衝突事故での金銭問題

【関係人物】
加害者：私　26歳　会社員
被害者：Ａ氏　67歳　タクシー運転手

【事故の状況】
11月5日　ＡＭ8時55分
Ａ氏が歩道を歩いている後方から自転車で通勤中の私が前方不注意（よそ見をしていました）のため衝突。Ａ氏は転倒。私は無傷。
警察に連絡済みです。
病院の診断ではＡ氏は２週間の加療を要する状況です。
Ａ氏は21日まで会社を休み、22日から働かれていますが、体が痛いとの事で通院中ではあります。

【質問】
Ａ氏はトイレから自分の車に戻る途中でしたのでの勤務中ということで労災の申請をされています。
先日、Ａ氏から休業損害を請求されました。労災申請されているため、休業損害の６割支給されるが残りの4割を支払って欲しいとのこと。
金額は日額7,740円×17日（11/5～11/21）＝131,580円です。
日額7,740円の根拠は不明ですが、そもそも労災で休業損害がもらえる上で、
私は４割を支払う必要があるんでしょうか？

謝罪の気持ちはもちろんありますので慰謝料は支払う必要ありですが、労災の出る医療費・休業損害の支払いは不要と考えております。

初めての事でわからないことが多いため、皆様の意見をお聞きしたく思います。どうぞよろしくお願いいたします。