離婚後の取り決めなどについて。

離婚後の取り決めなどについて。
特に養育費・面接交渉権の件で困っています。

３年半前に約半年間の別居を経て離婚をしました。入籍期間は３年、子供が２歳のときに離婚です。
離婚後、毎月養育費５万円を妻に支払っています
前妻曰く　養育費３万円（成人まで）慰謝料２万円（成人まで）
ただ私的には養育費を５万円支払っているつもりです。
（離婚の理由は主に自分の浮気ですが、それだけでは無いと思っていますし、別に契約や書面で上記に書いている分配の取り決めもありませんでした。）
上記以外にも、誕生日やクリスマス、お正月、こどもの日などには１万円ずつ余分に渡しています。しかしながら2年半前から妻の勝手な理由で子供とも一切会わせてもらえません。（子供が僕に対して父親と認識がない。たまにボクと会うと甘やかして帰ってきてからわがままになる。子供が父親に会いたいというまで会わさないなどの理由）
このような状態でありながら以前から養育費を上げろと催促されています。その理由としては
(1)前妻の年収が少ない（子供は自分がいないと情緒不安定になるので長時間働けない・ちなみに嫁の住まいは嫁の実家の裏で借家を借りているのに？・児童福祉手当ても当然もらっている）
(2)この４月から小学校に入る
(3)子供が習い事をしたいと言っている　
　　　　　　　　　　　　　　　　　　　　　などです。
正直に言うと僕の年収は業種が建築業の営業ってこともあり毎年大きく上下します。ココ２年は下がる一方で今年は300万円代半ばぐらいです。ちなみに保証されている年収は税込２１６万円、後は歩合です。それに加え僕の父親の商売が業績悪化の祖母の入院費などで毎月１０万円ほど実家に渡してあげないと生活できません、一応実家に住んでいますが僕自身も生活するには生活費が必要です。出来なければ車を売って工面しろとも言われています。
実際給料が少ないときは借金して養育費をはらったり、それが続いたので一度一月待ってと頼んだときには１日に１０回ほど仕事中に催促のメールをされたり・・・・・・。正直前妻は気持ち悪いぐらい金に執着しています。

でも今以上に払えない現状をわかってもらえるとも思いません。いっその事調停起こしてキッチリ金額を決めればとも思っています。しかし、本当にどのくらい支払うことになるのかと考えると怖いのも確かなのです。
実際どのくらいの養育費が妥当なのでしょうか？
また上記の理由であわせないことに対しては法的に認められますか？