私のこの本

this book of mine は *this book of my books 「私の本（複数）の一部であるこの本」のことで of は「部分」を表します（部分属格）。

*my book of this が「これ（この本）の一部である私の本」というのが成立しないのがこれでお分かりと思います。

a friend of mine も *a friend of my friends のことで同じです。

もっとも慣用的表現なのでいまさら別の形にするのが難しいというのもあるでしょう。

「この」の「の」は of では表せないとしか言いようがありません。

「この本」は this book のように，指示代名詞 this と名詞 book を並べることによって表します。

　この場合の this を指示形容詞ということもあれば，
あくまでも指示代名詞の形容詞用法ということもあります。

　this と book が同格の関係になっていると説明することも可能でしょう。

　of this にしてしまうと，
「このことについて（の）」とか，
「このことが持つ」という意味になっても，
「この～」という意味を表すことはできません。

そうですねぇ、「myなどの所有格代名詞と、a,an,theなどの冠詞、this,thatなどの指示形容詞、更にnoなどとは並列して名詞を修飾できない」というのはきっと誰しも一度は習ったというか、聞かされた覚えがあると思います。

そのため、a friend of mineのようにする、というのはベタな説明ですよね。

冠詞はof＋冠詞で止めてしまうことが不可だから後置しないのはよしとして、何故、thisなどの指示形容詞の方も後置しない、できないのかはあまり説明されていないような気がします。
of mineの部分を日本語にする時に「わたしの」と訳してしまいmyの訳としての「わたしの」との違いが意識できなくなっているのが迷う原因かと思います。
この時のmineというのは決して単純に並列前置することができないmyの代りだとか、単純にofという前置詞のあとでmyが使えないからというわけではなく、すぐ前に出て来た名詞を含んだ「my＋名詞」として名詞の重複を避ける意味合いから使われています。
だからこそ、of meとは言わないわけです。
つまり、a friend of mineというのはa friend of my friends[意味合いによっては単数のfriendもなくはないかも]であるし、this book of mineはthis book of my books[コレも意味合いによって単数のbookもなくはないかも]のことです。
ofのあとが単数形であれば、ofの前後は同じモノを指していることになりますので、"同格のof"という解釈も成り立ちますがやっぱりちと苦しい解釈かなぁ^_^;

ちと話がそれましたが、英語の発想では「わたしのこの○○」というのは集合論的に言うと、"わたしの○○"という集合の中の一要素であると捉えて表現しているようです。
所属や部分を表す前置詞ofを使って言うのもとても理にかなっていますし。
基本的に、目の前にあるモノを指してthisといえばそれ以外のモノは有り得ないわけですし、それだけ限定力・特定力が強いので先ず前置したくなるとも言えそうです。
に対して、わたしのというmyが指すものはもしかしたら目の前で指しているthisにあたるもの以外にも他に存在するかも知れません。
そういう点からも、まずthisとかaとかを言っておいてあとからof＋所有代名詞で表現するのではないでしょうか。

因みに、the my bookももちろん言えませんが、同じ冠詞だからといってaの時のように言えるかというとthe book of mineというのは普通言いませんね。