メインカテゴリーを選択しなおす
MATLAB,Python,Scilab,Julia比較 第5章 その33【三角関数の直交性⑧】
三角関数の直交性をMATLABで確認してみた。 同一の関数及び角周波数の場合はπになり、それ以外は0になる。
三角関数の直交性のまとめ。 各種式を確認。 直交性具合をアニメーションで確認。 三角関数の畳み込みをプログラムでやっている予定。
cos関数同士の直交性を確認。 結果としてcos関数同士は直交していることになる。 m=nの時のcos関数の内積を求める。 分母が0になるため、極限値を利用する。 結果としてはπになる。 つまり、同じ角周波数のcos同士の内積は必ずπになる。
sin関数同士の直交性を確認。 結果としてsin関数同士は直交していることになる。 m=nの時のsin関数の内積を求める。 分母が0になるため、極限値を利用する。 結果としてはπになる。 つまり、同じ角周波数のsin同士の内積は必ずπになる。
直交性とは2つのベクトルが垂直に交わることを指す。 直交しているベクトルの内積は必ず0になる。 奇関数、偶関数の特性より、sin、cosの畳み込み積分は0となる。 畳み込み積分が0ということは内積も0になる。 内積が0ということは直交しているということになる。
重要な極限値について説明。 まずは円に接する三角形と扇形に着目する。 はさみうちの原理により1が求められる。 sinc関数について説明&MATLABでプロットしてみた。(Pythonコードも)
三角関数の加法定理の組み合わせで積和公式が導出できる。 sin,cos、cos,cos、sin,sinの積和公式を導出してみた。 積和公式をフーリエ係数に向けて変形。 α,βをαx,βxにするだけ。
前回までの数式パズルの力業的解法と関数の内積はほぼ同一の考え方。 関数を無限次元ベクトルを解釈すると、関数の内積は関数の積の定積分として表現される。
MATLAB,Python,Scilab,Julia比較 第5章 その32【三角関数の直交性⑦】
三角関数の直交性のまとめ。 各種式を確認。 直交性具合をアニメーションで確認。 三角関数の畳み込みをプログラムでやっている予定。
MATLAB,Python,Scilab,Julia比較 第5章 その31【三角関数の直交性⑥】
m=nの時のcos関数の内積を求める。 分母が0になるため、極限値を利用する。 結果としてはπになる。 つまり、同じ角周波数のcos同士の内積は必ずπになる。
単純パーセプトロンでは分類できないものがある。 決定境界直線を求めるというより決定領域を特定するというイメージになる。 非線形分類するにはパーセプトロンを複数使う。 単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
JDLA Generative AI Test 対策問題集(ひたすら過去問ふぅ問題集で鍛錬する所 一問一答 仮)
JDLA Generative AI Testの問題集を設置。 現状は40問ほど放り込んでいる。問題は随時追加予定。(問題を解いてこのページに飛んできた場合、解答はこのページの下部に表示されてます。) 動画とか そのうち作ります。 学習書籍
MATLAB,Python,Scilab,Julia比較 第4章 その74【誤差逆伝播法①】
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 多層に渡っているため、少しメンドウクサイ。 各層の連鎖律を求め、その後結合させたり、プログラミング向けに最適化したりしていく予定。
MATLAB,Python,Scilab,Julia比較 第4章 その75【誤差逆伝播法②】
誤差逆伝播法の全体像を確認。 更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。 出力層と隠れ層の合成関数を確認。
MATLAB,Python,Scilab,Julia比較 第4章 その76【誤差逆伝播法③】
出力層の合成関数を確認。 出力層の連鎖律と各偏導関数を導出。 多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。
MATLAB,Python,Scilab,Julia比較 第4章 その77【誤差逆伝播法④】
隠れ層から誤差関数までの合成関数を確認。 隠れ層から誤差関数までの連鎖律を導出。
MATLAB,Python,Scilab,Julia比較 第5章 その30【三角関数の直交性⑤】
cos関数同士の直交性を確認。 cos同士の積和公式の定積分を元に解いていく。 最終的にはsinが0になるので、内積の結果も0となる。 結果としてcos関数同士は直交していることになる。
MATLAB,Python,Scilab,Julia比較 第4章 その78【誤差逆伝播法⑤】
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分を特定。 共通部分を変数化。 変数化したもので連鎖律を表現し直し。
MATLAB,Python,Scilab,Julia比較 第4章 その79【誤差逆伝播法⑥】
連鎖律の共通部分の算出。 いままでの部品の組み合わせで導出できる。 共通変数で実際の処理に相当する数式を書き出し。 ついでに学習率を加味した各重み、各バイアスの更新式も記載。
GUGA 生成AIパスポート試験対策道場(ひたすら過去問ふぅ問題集で鍛錬する所 一問一答 仮)
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 誤差逆伝播法の全体像を確認。 出力層の連鎖律と各偏導関数を導出。 隠れ層から誤差関数までの連鎖律を導出。
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分の算出。 共通変数で実際の処理に相当する数式を書き出し。
MATLAB,Python,Scilab,Julia比較 第5章 その29【三角関数の直交性④】
m=nの時のsin関数の内積を求める。 分母が0になるため、極限値を利用する。 結果としてはπになる。 つまり、同じ角周波数のsin同士の内積は必ずπになる。
MATLAB,Python,Scilab,Julia比較 第4章 その80【誤差逆伝播法⑦】
多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第4章 その81【誤差逆伝播法⑧】
多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第4章 その82【誤差逆伝播法⑨】
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
MATLAB,Python,Scilab,Julia比較 第4章 その83【誤差逆伝播法⑩】
多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第5章 その28【三角関数の直交性③】
sin関数同士の直交性を確認。 sin同士の積和公式の定積分を元に解いていく。 最終的にはsinが0になるので、内積の結果も0となる。 結果としてsin関数同士は直交していることになる。
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
MATLAB,Python,Scilab,Julia比較 第4章 その84【非線形分類の問題点①】
非線形分類をしたが実は問題が発生している。 20%くらいの確率で分類ができない。 原因がわかるように誤差関数の推移や決定境界線の推移のアニメーションを見てみる予定。
MATLAB,Python,Scilab,Julia比較 第4章 その85【非線形分類の問題点②】
非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
非線形分類をしたが実は問題が発生している。 非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
MATLAB,Python,Scilab,Julia比較 第4章 その86【ユニット数増加①】
多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。
多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。
MATLAB,Python,Scilab,Julia比較 第5章 その27【三角関数の直交性②】
sinとcosの内積と畳み込み積分を考える。 奇関数、偶関数の特性より、sin、cosの畳み込み積分は0となる。 畳み込み積分が0ということは内積も0になる。 内積が0ということは直交しているということになる。
MATLAB,Python,Scilab,Julia比較 第4章 その87【ユニット数増加②】
多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターンがある やや複雑な分類パターンが4ユニットにすることで出てきたもの。
MATLAB,Python,Scilab,Julia比較 第4章 その88【ユニット数増加③】
多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
MATLAB,Python,Scilab,Julia比較 第4章 その89【ユニット数増加④】
多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
MATLAB,Python,Scilab,Julia比較 第4章 その90【ユニット数増加⑤】
多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターン やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。 大きく2パターンの分類パタ やや複雑な分類パターンが4ユニットにすることで出てきたもの。
MATLAB,Python,Scilab,Julia比較 第5章 その26【三角関数の直交性①】
直交性とは2つのベクトルが垂直に交わることを指す。 直交しているベクトルの内積は必ず0になる。 cos関数の影響。 成分表記の内積でも0になることを確認。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
MATLAB,Python,Scilab,Julia比較 第4章 その91【モーメンタム①】
最適化アルゴリズムを取り扱う。 今回のネットワークだとさほど恩恵はないが知っていて損はない。 まずはモーメンタムから解説&実験をしてい 最初は復習を兼ねて勾配降下法についても確認する。
MATLAB,Python,Scilab,Julia比較 第4章 その92【モーメンタム②】
今回改めてまじめに更新式を確認。 勾配降下法の更新式が一番シンプルなので今後の最適化アルゴリズムの更新式を見る際は比較対象になりやすい。