ええっと、、、！ xがN変数正規分布に従うと仮定します。 w を N 次元ベクトルとし、 確率変数 z = w・x を考えます。 分散最大化は、 V = V[z] の最大化になります。 z のエントロピー S の最大化も、 S = (1 + log(2πV))/2 の最大化なので、結局 V の最大化になります。 つまり、分散最大化も、エントロピー最大化も、同じ結論を与える（同値）です。 こんな感じです！ 前のはかなりはしょってたので、伝わらなかったかもです。 これでいかがでしょう？ （ちなみに私はアイシアです😋）
Thank you for great videos! These content really helps me understand data analysis. I have a question 🙋♂️ (If you like and have a time, please give me some hint : ) otherwise please ignore me!) In the video of comparison between factor analysis and pca, it was said that FA aims to identifying more essential but hidden factor(it sounds like it’s more exploratory)and PCA aim to compress num of featured without losing information as much as possible. (It sounds like it’s for calculation efficiency) I’m wondering if it’s fine to guess what the components of “PCA” mean here. I thought they are just results of mathematics process and it doesn’t have any meaning theoretically. (I understand the process and result are very similar here so we might be able to get some insight though)
Thank you for your watching and comment! Your understanding is perfect 😍 And your question is really essential, so I need time to answer 🙇♂️ In my current knowledge, I think it's good to think that the components of PCA is just a mathematical result. (Of course, they can be understood as an intermediate representation of linear auto-encoder as I said in the previous video, but I think this is not your point.) However, I'm not sure since PCA only involves linear algebra thus is simple, so there might be some beautiful meanings. So, if you find such explanation, I'm happy if you let me know. Thank you!!🎉
@@AIcia_Solid wow! Thank you so much for very kind and detailed comment! I see. That makes sense. If I can find any info regarding your this topic, I will share somewhere in your channel!
めっちゃ分かりやすいですね！ありがとうございます！
でっしょー！(^o^)v
すみません！！！🙇♀️🙇♀️🙇♀️
いま、このコメントが Super Thanks であることに気づきました！🙇♀️🙇♀️🙇♀️🙇♀️🙇♀️
ご支援いただきありがとうございます！
今後も良き動画を生成していきますので、ぜひご視聴ください！(^o^)
キャラクターと説明がシンクしてるのが最高です。可愛いー そしてわかり易かったです
ご視聴コメントありがとうございます😍🎉
お楽しみいただけたようで何よりです😊
査読で主成分分析について調べていました。大変わかりやすかったです。ありがとうございました！
ご視聴コメントありがとうございます！
素敵ですね！
お役に立てて光栄です！！！🤩🎉🎉🎉
ぜひ、その理解を色んな場面でご活用くださいませ！(^o^)
圧倒的分かりやすさでした…個人的にはどうやってデータを作ったのかの説明まであるところが大変ありがたかったです
ありがとうございます😍🎉
ぜひ他の動画も楽しんでいってくださいー！
大学の研究の事前学習として参考にさせていただきました。
とてもわかりやすかったです！
それはよかったです😍🎉
是非使い倒してあげてくださーい！🎉
入りの勉強としては、最適な内容でした
良質な動画ありがとうございます
それは良かったです！
ぜひご活用いただけると嬉しいです！😍🎉🎉🎉
多変量解析勉強し始めた人にとって、めちゃくちゃわかりやすかったです！ありがとうございます！
でしょ！
そう思って作りました！😍😍😍
回りに必要そうな人がいたら、ぜひ広めてあげてください！🎉
因子分析との違い知りたいです！次回楽しみに待ってます！
ぜひ！
次回をお楽しみに！😎✌️
ほんとにわかりやすいです。ありがとうございます。
でしょー！😎
価値ある動画を作っていると自負しています😎
ぜひ拡散していただけるとうれしいです😍🎉
待っていました;; 今ちょうど研究でPCAをつかっていて、お気持ちをスッと理解できました！ありがとうございます！
ご視聴コメントあうがとうございます！😍
そう言っていただけると何よりです🎉
非常にわかりやすかったです。
でしょ😎✌️
わかりやすい！最高です！！！
でしょ！🤩
ありがとうございます！
ぜひこの理解をご活用くださいませ😋
他にも困ってそうな人がいたら、ぜひこの動画をおすすめしていただけると嬉しいです🎉
初見です。
めっちゃわかりやすかったです！
他の動画も参考にさせてもらいます！
それはよかった！😍🎉🎉🎉
ぜひご活用ください！🎉
講座ありがとうございました。
私はデータ分析初心者のエンジニアです。
今回主成分分析についての概要は理解できたのですが一点質問がございます
14:00~の1000人分の点数配分から求めた第1~3主成分負荷量ベクトルの表と
17:00~のA,B,C,Dさんの各教科の点数(0~2)配分から求めた第1~3主成分負荷量ベクトルの表は
前者のindexが教科ごとの主成分となっているのに対し
後者は人ごとの主成分となっています。
前者で求めた各主成分の傾向(学力が高いか、文系理系か、数学物理が得意)を
後者でも適用できるのはどうしてなのでしょうか??
序盤のご説明にあったX,Z,Wを踏まえて教えていただけませんでしょうか??
よろしくお願いいたします。
14:00 のデータは主成分負荷量で、Wの各業を列ベクトルとして3つ並べたものです。
17:00 のデータは主成分得点で、それぞれのひとの元の点数をxとしたとき、Wxを計算して第3主成分（得点）までを表示したものです。
実は両者は異なるものです。
これで伝わりますでしょうか？？
@@AIcia_Solid
お返事ありがとうございます。
なるほど、
根本的に二つのグラフの違いがあったのですね。お陰様で理解が深まりました。
それを踏まえると、私の質問は
「何故、各教科の主成分ベクトルW1~W3での傾向(学力が高い/文系寄り/物理・数学が得意)が、それぞれのベクトルで出した主成分得点でも適用できるのか」
というお話になりますが、
以下の理解であっていますでしょうか?
(*長文ですみません。お時間のある時にお返事いただけると嬉しいです。)
================================
Z : 主成分得点
W : 主成分ベクトル
X : 各教科の点数を成分に持つベクトル
として、以下の式がW(1~3)において成立する。
Z = W*X
A,B,Cの得点は固定なので、
それぞれの主成分得点は主成分ベクトルの特徴を示す。
よって、
主成分得点の大きさからは主成分ベクトルと同じ傾向を以下のように読み取ることができる
例.)
W1で求めた主成分得点が高いAさんは全体の学力が高いといえる
================================
...........という感じでしょうか???
うーん、たぶんなにか理解がずれていると思います。
色んなものがごっちゃになっている印象です。
主成分負荷量とはなにか、主成分得点とはなにかを、もう一度定義や意味を確認してみてください！
あと、1000人のデータで学習させた主成分分析器を、3人のデータに適用して推論したのがあの動画のストーリーなのですが、それも押さえてもらえるといいかもしれません。
上記2つ整理してみてください！
わからなかったらまた教えてください！
@@AIcia_Solid
ご確認とアドバイスをありがとうございます。
定義の認識からズレているのですね、再度復習してみる事にします。
わざわざご対応して頂いたのに理解が足りず申し訳ないです。
また質問させていただいた際はどうぞよろしくお願い致します。
頑張ります!!
か、勘違いしないでよね！
私の動画をみていただいたのに理解していただけなかったから質問に答えてるだけなんだから！
わかりやすいです。ありがとうございます。
それは良かったです！(^o^)
ぜひご活用ください😍🎉🎉
このチャンネルをスタートとして、主成分分析の勉強を始めたものです！
質問なのですが、共分散行列と相関行列のどちらで主成分分析をするのが正解でしょうか？
たとえば、スペクトルデータの場合は共分散行列で、Bostonの物件データの場合は相関行列などの使い分けが必要なのでしょうか？
このチャンネルは様々なメソッドを知るきっかけとしてうってつけのチャンネルだと思います！これからも楽しみにしてます！
これからもたくさん紹介していきますので、ぜひ参考にしてください😊
基本的には共分散でよいかと思います。
相関を使うのは、変数を正規化する前処理を行うことと同じことです。
変数によってスケールが異なる場合は、正規化してから行う（相関行列を用いる）方がよいかと思います！
@@AIcia_Solid 解説ありがとうございます！これからもたくさん参考にさせていただきます！！
非常にわかりやすい説明、ありがたいです。ネタに困ったらロバスト主成分分析とかも取り上げていただけると嬉しいです。
ご視聴コメントありがとうございます！！！😍🎉
確かに robust PCA や、高次元の PCA もそのうち扱ってもいいですね😎
検討します😎😎😎
PCAがSparse性と共起を解決していることがよくわかりました。ありがとうございます。
魅力を感じていただけたようで何よりです😊
各主成分の絶対値は互いに意味あるんですかね？それも正規化した方が分かりやすい気がしました(初心者)
主成分分析の場合は、適用前に正規化をすることの方が多いかなーと思います。
ただ、もちろん、場面によっては正規化が有効なこともあるかと思います😊
はじめまして最初の例では4つの数学科目から数学力を推測しましたが、次の12個の科目の例では、12この変数から何を推測するかは述べられていましたか?
また、1つ目の主成分が合計点を表すとおっしゃられていたので、合計点を推測するということでしょうか
ご視聴コメントありがとうございます！😍🎉
主成分分析は、そもそも何かを推測する分析ではありません。
相関を利用してデータの性質を良く反映した特徴量を作ることが目的にあります。
なので、これ単体で何かを推測するものではありません。
いかがでしょうか？
コラー！主成分分析する時はデータを正規化しなさーい！
と思ってたけど、今回の2例(テストの点数や単語が出て来たor出て来ないの2値データ)ならしなくてもいいっちゃいいのか。
ご視聴コメントありがとうございます！
ご指摘もありがとうございます！🎉
実はテストのデータは正規化してから利用してます、、というか、ダミーデータなので、はじめから正規化済みのものが出るようにしてあります。
が、動画ではあまり明確に言及していませんでしたね、すみません、、🙇♀️
テキストの場合、正規化はしたりしなかったりします。結局性能を求めている場面が多いので、テキストでのタスクの性能が高い方を選ぶことのほうが一般的だと思います。
pcaを行う際に、相関が非常に強い特徴量のみで行っても良いのでしょうか。
それは全て、やっているタスクによると思います！
ただ、一般論としては、わたしは、よいと思います(^^)
@@AIcia_Solid ご返信していただき、ありがとうございます！
勉強になりました。自分のブログでこの動画を紹介したいのですが、リンクを貼って紹介してもいいでしょうか？
ご視聴ありがとうございます！
もちろん、大歓迎です！😍🎉
昔の動画へのコメント失礼します。
わかりやすい動画のみならず、githubでのコード公開も大変ありがとうございます。
PCA解析で使われていた成績データ(data/12_subject_socores.csv)の中身が、テストのデータそのものではなく主成分になっていないでしょうか？
もし継続してメンテされているようでしたら差し替えをご検討頂けたら幸いです。
ご視聴コメントありがとうございます！
たくさん活用していただけたら嬉しいです！
csv は、"12_subject_scores.csv" のことですかね？
このデータは、標準化後のデータなので、あれはこのままで正しいものです！
、、、が、ややわかりにくいですね、、、。
後日注釈を入れようかと思います。
ありがとうございます！
@@AIcia_Solid ご丁寧に返信ありがとうございます。なるほど、標準化されていたのですね！大変失礼しました。
主成分の説明わかりやすかったです〜
機械学習の特徴量として使うときに、検証データへの適用方法とかも解説してもらえると嬉しいです〜
それはよかったです！(^o^)
検証データへ適用する際は、他の機械学習のモデルと同じで、学習時に作成したモデルをそのまま使うことが一般的だと思います👀
因子負荷量と固有ベクトルの違いについてよかったら教えていただきたいです！
これらは全く別のものですYO！
とりあえず、それぞれの意味ではなく、定義を確認してみるのがよいかと思います。
まずはそこから始めて、意味合いの似ているところ、違うところを考えてみるとよいかと思います！
ニューラルネットワークを先に勉強したのですが、出力ユニット3つで1層のネットワークにL1正則化かけるのと近いでしょうか？
重みベクトルを直行基底になるようにとって、誤差関数を負の分散にすれば一緒？（重みベクトルを学習中に選べるのか分かりませんが、、）
鋭い！
とても良い私的だと思います！
実は、そんな話を少しだけ、次の動画でしているので、ぜひ見てみてください〜！🎉
ruclips.net/video/M6wCZCv28EQ/видео.html
11:47回帰分析の残差が最小ということですが、回帰分析なら、残差の2乗の総和が最小という意味でしょうか？その距離を測る方向をどの方向にとるかで結果が違ってきそうな気がします。まだまだ自分が勉強不足なのと、勉強したのが４０年以上前で記憶も不正確でうまくコメントできません。
自分の勉強が進むにつれて、理解が深まると思って頑張ります。これからもよろしくお願いします。60代、タクシードライバー
残差の二乗の総和最小です！
複数の被説明変数に対する回帰分析の場合に良く使われる指標です！🎉
いつも楽しく拝見しております。PCAのPは principal ではないでしょうか？
そうなんです！
その通りでございます！！！！！🙇♀️🙇♀️🙇♀️
とてもわかりやすいです。ありがとうございます！！
主成分分析をして次元圧縮をしてから階層的クラスター分析をしたいと考えています。主成分分析するのに適切なデータのn数や次元の数などはありますか？多い方が良いとは理解していますが、基準などあれば教えていただきたいです。
データはそんなに多くなくても大丈夫です。数十件でもそれなりに面白い結果になります。
変数よりデータの方が（かなり）多い方が望ましいですが、そうでなくてもある程度いい感じに動きます(^^)
次元の数は、理想的な場合には、見つける方法がありますので、検索してみるとよいかと思います(^o^)
ただ、あとは、もう試行錯誤しながら、色んなパラメタでためしながら結果を解釈してみて、一番良さそうなものを選択するのがよいと思います👀
@@AIcia_Solid 迅速な返信ありがとうございます！そうなんですね。ビッグデータの解析は慣れていないので、助言をいただけてよかったです！
いろいろ試してみます😊
最近卒論で多変量解析を始めたものです。
分かりやすくて助かります:)
特になぜPCAを適用するかについて個々の変量がお互い相関がありそうだ
ということでなるほどと思いました。（13:15）
私が用いるデータは時間データを持っているので、＋時系列解析で
文系の私には非常に難解ですので時系列データに関する分析手法も動画化希望です！
ありがとうございます！😍
丁寧にコメントいただき嬉しいです！☺️
じつは、時系列もシリーズあります！（未完ですが、、、）
気が向いたらどうぞ😋
ruclips.net/video/d0EGcXZlpJ4/видео.html
勉強になりました。書籍で復習するのに適切な専門文献などがあればご教授いただきたいです。
ご視聴コメントありがとうございます😋
主成分分析を学びたいということであれば、わざわざ本を買わずとも、検索してみればたくさん解説ページが出ますので、それでかなり理解できると思います(^o^)
@@AIcia_Solid ご返信ありがとうございます。なるほど。体系的に学べればと思っていましたが、今は検索でたくさん開設が出るのですね。現在AIを勉強中なのですがalciaさんの勉強法も伺えれば幸いです。
そうなんですよねー。体系的な本があれば良いですが、広く網羅的に書いてあるのはあまりしならいのです。
もし見つけたら教えてください！🎉
AI といっても、機械学習や、深層学習、東計理論などさまざまなアプローチがあります。
まずは、それぞれ本を眺めてみたり、オンラインにある教材で実際にコードを書いてみたりするのがよいかと思います。
その中で、自分に合ったものか、調べたい分析に合いそうなものを続けてみてください！
扱える次元を落として相関を0にして多重共線性をなくすとありますが、その場合線形独立となり、固有値、固有ベクトルを持たなくなるので、PCAができなくなるのではないでしょうか？
ご視聴コメントありがとうございます！
すみません、質問の意味がわかりません。
もう少し詳しくお教えいただいても良いですか？
主成分分析を今勉強しています。一つ教えてください。
第3成分は、1と2に直交する方向で、三次元グラフだと、z軸方向だと理解していますが、あってますでしょうか？
第4成分だと、どの方向になるのでしょうか？宜しくお願いいたします。
勉強いいですね😊
第3主成分は、たしかに、1と2に直行する方向です！
ですが、これが、「三次元グラフだと、z軸方向」というのは、詳しくはどういう意味でしょうか？😮
@@AIcia_Solid
www.f.waseda.jp/moriya/PUBLIC_HTML/education/classes/infomath6/applet/fractal/coord/
返信ありがとうございます
例えば図1-1で、xyzがそれぞれ1,2,3成分に対応するという意味です。それ以外の方向に3成分目がなることはありますでしょうか？これが4成分になったときどうなるかが皆目検討つかず…
たぶん、表現と解釈を混同されているのではないでしょうか。
x, y, z 方向に第1, 2, 3主成分を対応した図を描くことはできます。
これは正しいと思います。
これは、表現として可能です。
もちろん、1, 2, 3 のかわりに、 x, y, z に第4, 5, 6主成分を対応指せた図を描くこともできます。
表現ですので、もちろん可能です。
ただ、そこからどういう解釈ができるかという部分は変わってくると思います。
そこは、データと問題によるので、場合に応じて考えることになると思います。
@@AIcia_Solid
ありがとうございます。私が聞いているのは、計算方法の部分です。
第3成分は第1成分と第2成分の両方に直行しているなら、第3成分の方向は、一義的に決まるはず。
では、第4成分を考えると、全部に直行とは、いったい何だろうかと悩んでいたのです。
なるほど！
データの種類が N 個あれば、これらのデータは N 次元空間にあると考えられます。
なので、 N > 3 であれば、4つ目以降の主成分を考えることができます。
いかがでしょうか？
主成分の計算方法を見直してみると、理解が深まるかもしれません。
単に楕円体の判別に重要な軸に射影して線形分離みたいなイメージだったので助かる......
そのイメージも大事ですよね！
新しい感覚とあわせてぜひ駆使してくださいまし😋
5分で説明できる内容ですね
ご視聴コメントありがとうございます！
それほど深くご理解いただけたということと理解しました。
ぜひ、これに懲りず、他の動画もご視聴いただけますと幸いです😊
分かりやすい説明でした。5年前に聞いていたら理系のままだったのかな。まあ主成分分析が何をしたいのかは知っていたのですが、具体的にどのような計算をするのかを知りたかったです。前半と後半を分けてもっと詳しく説明してもらえると嬉しかったです。
ご視聴コメントありがとうございます😋
この動画は、さくっと分野紹介だったので、軽めにしました。
後々、詳しい版を製作予定で、そちらでは計算にも踏み込む予定です。
時期は未定ですが、チャンネル登録して気長にお待ちいただけるとうれしいです🤩🤩🤩
@@AIcia_Solid
随分前からチャンネル登録してます。貫太郎さんの動画に初登場した時から、たまに観に来てます。自分が学部生の頃に主成分分析を使ってたので懐かしく観てました。文系の大学院生の今となっては使う機会もないでしょうけども。
なんと、その頃から、、、！
ありがとうございます！！！😍😍😍
将来、定量的手法を用いた研究をすることがあれば、また思い出していただけると、いいことがあるかもしれませんね😎✌️
すばらしい！！！
でしょ！！！
素人質問ですが以下のような疑問を持ちました。
・分散の情報量は情報理論で使われるエントロピー情報量とは、まったくの無関係と考えていいのですか？
全くの無関係ということはありません。
実際、n変数正規分布の場合、共分散行列が Σ の正規分布のエントロピーは、 (1 + log(2πn det(Σ)))/2 となります。
Σ を、主成分の共分散行列としたら、エントロピー最大化は、動画内の意味の分散最大化と同値になります。
細かい計算は、自分で試してみてください！
（わからなかったらまた聞いてください！）
@@AIcia_Solid
少し考えてみたんですが、具体的にどういう計算でしょうか？
一応、簡単のためn=1として考えてみました。この時、z=wxとなると思います。
『正規分布の場合』という文言は、『zが正規分布に従う場合』と解釈しました。
そうすると、出てくる情報量エントロピーHは多分以下式の様になるんだと思います。
H=(1+log2πw)/2 ①
また、zは正規分布に従うため、以下のような確率分布に従うものと考えました。
f(z)=1/(2πσ^2)^(1/2) exp(-(z-μ)^2/2σ^2)
です。
ここでμ,σはzの平均及び分散です。
データから計算する場合、以下の様に計算するんだと思いました。
μ=mean(z)=w*mean(x)
σ=std(z)=w*std(x)
ここから情報量Hを計算するなら以下式の様になると思いました。
H=-∫_-∞^∞ f(z)*log(f(z))dz ➁
アリスさんの主張は➁=①となるってことだと思ったんですがあってますか？
（➁の計算はやりたくなさ過ぎてやってません。）
お門違いの計算をしていたらごめんなさい。
ええっと、、、！
xがN変数正規分布に従うと仮定します。
w を N 次元ベクトルとし、
確率変数 z = w・x を考えます。
分散最大化は、 V = V[z] の最大化になります。
z のエントロピー S の最大化も、 S = (1 + log(2πV))/2 の最大化なので、結局 V の最大化になります。
つまり、分散最大化も、エントロピー最大化も、同じ結論を与える（同値）です。
こんな感じです！
前のはかなりはしょってたので、伝わらなかったかもです。
これでいかがでしょう？
（ちなみに私はアイシアです😋）
@@AIcia_Solid
アイシアさん回答ありがとうございます。
wじゃなくて分散ですね。
一日置いてから見てみて、分散行列と係数行列を勘違いしてました。
S = (1 + log(2πV))/2 がどう導出されるか分かりませんでした。
しかし、ここに導出があり、アイシアさんの回答と合わせてどのように計算するか理解できました。
ありがとうございました。
S = (1 + log(2πV))/2の導出↓
qiita.com/kzkadc/items/40376e2f5b2419e0e152
データサイエンスに新卒・転職で入る際の会社選び(先輩は必要か？)とか、キャリアのモデルロールみたいな話聞いてみたいっす。
（正解とかでなく、アイシアさんの主観・アドバイスを聞きたいです）
そうですね、わかりました。
今度雑談の生放送をするときにでも！
ご期待ください！！🎉
あと、リーマン幾何学とブラックホールとスパース性をお願いします。頑張ってください。
ヨクバリデスネ😎
たぶんリーマン幾何とブラックホールは当面やりません😇
スパースは時が来たらやります😎
回帰したいときに、PCAで次元削減＋多重共線性の回避するけど、
モデルの精度高めるなら、主成分を全部使って回帰したほうがええんやろか。
オーバーフィッティングは避けられないけど、多重共線性は避けられるやんな。
線型回帰分析であれば、説明変数が多ければ多いほど学習データへの適合度は上がります。ですが、過学習してしまいます。
汎化させるためには、いろんな工夫が必要なのは、どの分析でも同じですね😋
すてき！！
でしょ！🤩
ありがとうございます！(^o^)/
Thank you for great videos! These content really helps me understand data analysis.
I have a question 🙋♂️ (If you like and have a time, please give me some hint : ) otherwise please ignore me!)
In the video of comparison between factor analysis and pca, it was said that FA aims to identifying more essential but hidden factor(it sounds like it’s more exploratory)and PCA aim to compress num of featured without losing information as much as possible. (It sounds like it’s for calculation efficiency)
I’m wondering if it’s fine to guess what the components of “PCA” mean here. I thought they are just results of mathematics process and it doesn’t have any meaning theoretically.
(I understand the process and result are very similar here so we might be able to get some insight though)
Thank you for your watching and comment!
Your understanding is perfect 😍
And your question is really essential, so I need time to answer 🙇♂️
In my current knowledge, I think it's good to think that the components of PCA is just a mathematical result. (Of course, they can be understood as an intermediate representation of linear auto-encoder as I said in the previous video, but I think this is not your point.)
However, I'm not sure since PCA only involves linear algebra thus is simple, so there might be some beautiful meanings.
So, if you find such explanation, I'm happy if you let me know.
Thank you!!🎉
@@AIcia_Solid wow! Thank you so much for very kind and detailed comment! I see. That makes sense. If I can find any info regarding your this topic, I will share somewhere in your channel!
Thank you so much!
If I find, I'll make some comment, too!🎉
masterpieaceニキやんけ…
君日本语本当上手
でしょ😋
もっと深く勉強したい人向けに参考書を幾つか紹介して下さい。
たしかに、参考書、必要ですね、、！
見つかったらまたここに記載します！
ありがとうございます🎉
途中、足の違和感に気づいてからPCAの解説が理解できなくなったわｗ
😱😱😱😱😱
面白すぎて草
でしょ😎🌿
似たもん調べてもおもんないからいっそ
全然違う奇抜なデータ引っこ抜こうかー
ってことか
奇抜かどうかは分かりませんが、いい感じに要約するかんじの手法です😊
レシオな
たしかに😮
ありがとうございます😋