[>答えはどこまで簡単にすればいいの？

本当はどちらでも良いのですが、その問題で求められている答えの形が違うからだと思います。

「等式 x+4y=6 を y について解け」という問題は、『1次関数のグラフを書けるようになる（形を思い描く事ができるようになる）ための問題』だと思って下さい。
「y=-1/4x+3/2」の形だと一目で「傾きが-1/4で切片が2/3」だと分かるのですぐグラフが書けます。
しかし「y=(-x+6)/4」だと・・・すぐにグラフの形がわからない。
だから基本、その形を答えとしているわけです。
正解は正解ですが、、、「正解！」とは言ってあげられない不十分解答です。

「(5a+2b)/4」は「5/4a+1/2b」でも全く問題ないと思います。
問題を解く流れとしては、分母を統一してから足し算引き算をするので、
「3a-b/2+(-a+4b)/4」⇒計算⇒「(5a+2b)/4」（正解）⇒「5/4a+1/2b 」（正解）
という計算の流れになると思います。
今回は項を分ける（約分する）意味はあまりないので、最初に正解にたどり着いた「(5a+2b)/4」を解答としているわけです。

ちなみに、個人的にはこういう問題ではいつも「5/4a+1/2b 」にしています。

というのか私の解釈ですがいかがでしょう？

問題文が、正確に「等式 x+4y=6 を y について解け」だとすれば、

y=(-1/4)x+(3/2) だけが正解で y=(-x+6)/4 は不十分 という採点には
ちょっと問題がありますね。

「簡単な式」に、統一されたルールはありません。
どちらがより簡単な式かは、使用目的によって異なります。
むしろ y=(-x+6)/4 を、より整理された式と見る文脈の方が多いはずです。

ただ、常識みたいなものはあって、
y=(-1/4)x+(6/4) と答えたら明らかにマズイ。約分してない点を咎められます。

その事と、
多分に恣意的な y=(-1/4)x+(3/2) と y=(-x+6)/4 の区別は、話が違うと思います。

学校の定期試験などでは、「授業でやった通りに」というローカルルールが
適用されることも多いので、注意が必要ですね。

6/4は普通3/2にします。

8/4を２とするのと同じ感覚です。

次に（5a+2b)/4ですが、これは5a/4+b/2としても×にはできない
と思いますよ

約分できるなら約分するというのは、
解答は採点者に勘違いされないように、見やすいように解答するためです。
一番上の例で、採点者が3/2じゃないから×にするということも考えられます。そんなので×にされるのはもったいないことです。入試だったらそれで落ちてしまうかもしれない。約分できるときは約分しましょう。

y=-1/4x+3/2=-x+24/4

y=-x+6/4
どう見ても別物なんですが・・・

等式 x+4y=6 を y について解け、というような問題では、通例、

y = Ａ x + Ｂ　

というように、x の項と、その他を分けて回答するようです。