多変量解析の主成分分析と因子分析の違いについて教えてください．

　ご質問にある通り、因子分析は「多変量解析」の一分野です。

因子分析の手法の一種に主成分分析(principal component analysis)があり、主因子法(principal factor method)とも呼びます。

　因子分析に共通しているのは、一つのサンプルから多数の変量を測定する、そういうデータをいっぱい集めて、相関係数という考え方を基本にして解析を行う。その際に、ある変量の変動が「他の変量の線形結合（一次式で表される関係）として表せるような系統的変動と、ランダムな変動とから成っている」という仮定を置く。そして共分散行列（もしくは相関行列）を作ってこれを線形変換する。
データの性格や分析の目的によって、手法を使い分けます。
主成分分析では、どの変量とも高い相関を持つ因子（変量の一次式で表される指標）を抽出するという考え方。
同じ因子分析でも、例えばバリマックス法(varimax method)は、変量のうちの幾つかと高い相関を持つ因子を探す。つまり変量を直接、幾つかのグループに分けるという考え方。従って、出てくる因子は主成分分析とは異なります。

　実際の所は、仰る通り、主成分分析だけでもほぼ事足りるでしょう。なぜなら実際のデータを使うと、意味のある直交成分（因子）が経験上高々４個程度得られ、従って３ないし４次元空間に変量を散布して表すことができる。ゆえにこれを図に描いて、変量の関係を見て取ったり、因子に名前を付ける（解釈を宛てる）ことは比較的容易だからです。
　何でせいぜい４個なのか。もともと「線形関係」という、大変荒っぽい仮定に基づいている。またデータの取り方も、直接物理的な量を測るというよりも、勝手に決めた基準で測った得点などを使う事が多い。例えば「テストの成績が何かの能力に正比例する」と仮定するのは乱暴な話。だからあまり精密な分析にはならないんでしょう。いっぱいあるデータにどういう関係が潜んでいるか見当を付ける道具、と捉えるのが宜しいかと思われます。（どんな基準を作ってどう分析するか、は「多次元尺度構成法」とか「数量化理論」などと呼ばれる分野ですね。）多変量の関係を理論的モデルで記述出来ていて、その予想に基づいてきちんと測れる量を相手にし、あるいは莫大なサンプル数で測定を行う場合には、理論に含まれるパラメータの最尤値を決めたり、理論的予想と実測との間の統計的検定を行うという事が問題であって、因子分析には出番がありません。
　だから極端な言い方をすれば、因子分析は「わけの分からん、或いは品質の悪いデータを相手にする道具。」

　因子分析ほどあらっぽくはなく、しかしモデルはいい加減、という中間的な手法もあります。たとえば線形因果ネットワーク(causal network)では、直感なり観察なり部分的なデータ分析なりに基づいて、複数の変量の間に線形関係を仮定してモデル化します。すると、「直接に線形関係で結ばれない変量同士の関係」は一般に整数次の多項式で表されるようになります。この文脈から言えば、階層型ニューラルネットワーク(neural network)も、主観的にモデルを与えずに、データから自発的にモデルを構成させようというもので、変量の線形結合にいい加減な非線形変換を施した物を出力とする、一つの多変量解析法とも見なせます。

話がだいぶ脱線したようです。

主成分分析は、対象となるデータをより良く表す成分を抽出します。

因子分析は、対象となるデータをより良く表す因子を求めます。
因子は、対象データの成分の式になります。

例えば、学校の成績のデータを元にして、議員に向いている人を表す指標が欲しい、とします。

その場合、主成分分析では、国語と社会の成績とか、データのどれが指標として良さそうだ、と
言う結果が出るのに対して、因子分析では、議員向きの指標＝国語の成績×2.5＋社会の成績×1.2－算数の成績、と
言うようにデータを元にした新しい指標が求まります。

どちらの手法も、少ないがデータをより良く表す指標を得るための手法です。

ダイレクトな回答ではありませんが、以下の参考URLサイトは参考になりますでしょうか？

「多変量解析」

ご参考まで。

参考URL：http://www.kaneko-lab.org/mva/