共通のカラムを持つテーブルの外部キーの設定

MySQLバージョン4.1.16を使用しています。

２つのテーブル「tbl1」と「tbl2」があり、
それぞれ共通のカラムを別のテーブル「common_tbl」に設定（正規化）し
そのcommon_idを「tbl1」と「tbl2」が参照します。
例えば、「tbl2」にデータをinsertする場合に、
まず「common_tbl」からinsertして、そのinsert_idを取得（利用）して
「tbl2」にデータを挿入します。
たぶんこの場合のinsertはこのようなやり方だと思います（あまり自信ないなぁ・・・）
「tbl2」の行を削除した場合に、「common_tbl」の行も自動で削除させたいと思うのですが、
どのように外部キーを設定するのか（どこに設定するのか）が分かりません。
「common_tbl」に「tbl1」のtbl1_idと「tbl2」のtbl2_idを
それぞれ持たせるのはたぶん違うと思いますし・・・
この場合の正しいテーブル構成を含めてアドバイスをお願いしたいです。

例：
「tbl2」のtbl2_idが2の行を削除したら、
「common_tbl」のcommon_idが3の行も削除したい（外部キーで自動的に）

テーブル「tbl1」
+------+---------+----------+
|　tbl1_id|　tbl1_col1　|common_id　|
+------+---------+----------+
|　　1　　|　　　値1　　|　　　1　　　　|
+------+---------+----------+


テーブル「tbl2」
+------+---------+----------+----------+
|　tbl2_id|　tbl2_col1　|　tbl2_col2　|common_id　|
+------+---------+----------+----------+
|　　1　　|　　　値1　　|　　　値1　　|　　　　2　　　|
+------+---------+----------+----------+
|　　2　　|　　　値2　　|　　　値2　　|　　　　3　　　|
+------+---------+----------+----------+

テーブル「common_tbl」
+----------+---------+----------+
|common_id　|　　　col1　　|　　　col2　　|
+----------+---------+----------+
|　　1　　　　　|　　　値1　　|　　　値1　　|
+----------+---------+----------+
|　　2　　　　　|　　　値2　　|　　　値2　　|
+----------+---------+----------+
|　　3　　　　　|　　　値3　　|　　　値3　　|
+----------+---------+----------+