DeepLearningなるものを勉強し始めてみたけど面白いな

1 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 03:53:43 ID:bdMdoEna0.net

昨日作った奴
https://i.imgur.com/sST9eq2.gif

2 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 03:54:11 ID:MbMPddeT0.net

ケツマイモ

3 ：転がりマン ◆KCMJNs5qa6 ：2020/02/09(日) 03:54:37 ID:xjVrM6Wh0.net

これはどういうものなの？

4 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 03:57:10 ID:bdMdoEna0.net

>>3
28×28の画像を2次元に圧縮して圧縮先の2次元の空間上で値を移動させながらそれを再構成した画像たちをgif化した
連続的に推移させてるから見ての通り連続的に数字が変化する

5 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 03:58:02 ID:A/VqEeyt0.net

何で勉強したの？

6 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 03:58:59 ID:bdMdoEna0.net

>>5
暇だったから

7 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 03:59:02 ID:koI8KIIlr.net

あーなるほどね
ふむふむ

8 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 03:59:44 ID:A/VqEeyt0.net

>>6
すまん例えば何読んで勉強したかって聞きたかった

9 ：転がりマン ◆KCMJNs5qa6 ：2020/02/09(日) 04:00:38 ID:xjVrM6Wh0.net

>>4
難しくて分からん！
画像を二次元に圧縮ってなんだ・・・
値を移動ってその移動にはなんか規則とかあんの？

10 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:02:20 ID:bdMdoEna0.net

>>8
あーそっちか済まねえ
オライリーのゼロから作るDeepLearningって奴読んでそのあとPyTorchのチュートリアルやった

11 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:03:30 ID:A/VqEeyt0.net

>>10
ほほう
参考にするわあざす

12 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:08:05 ID:bdMdoEna0.net

>>9
例えば球って三次元空間上に埋め込まれてるけど局所的には2次元じゃん？
こういう高次元空間内の低次元な部分空間に分布しているものを多様体というらしいんだがそういう感じで高次元のデータ集合を上手く低次元に落とせるようにモデルを学習させるんだ
値の移動は例えばある画像の圧縮先が(2,2)で別の画像の圧縮先が(5,5)だったら
(2,2)(3,3)(4,4)(5,5)みたいな感じで等間隔に移動させてる

13 ：転がりマン ◆KCMJNs5qa6 ：2020/02/09(日) 04:13:43 ID:xjVrM6Wh0.net

>>12
んにゃぴ・・・分かったようなわからないような・・
ピンとこないんだけどこれ学習が不十分だとどんな動きになっちゃうの？

14 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:15:21 ID:bdMdoEna0.net

>>13
上手く再構成されないとか
あるいは過学習するとほぼ同じ画像しか再構成されないとかも起こりうる

15 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:37:21 ID:3EnSx7/Wa.net

多様体をR^2nに埋め込むのは虐待って学校で習わなかったのか！！！

16 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:40:35 ID:sZHhPfQa0.net

砂時計型か

17 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:41:11 ID:6Lj07srLa.net

ニューラルネットワークの設計までしてるの？

18 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:41:45 ID:bdMdoEna0.net

>>15
そうなのか…

>>16
アーキテクチャの形？
確かに砂時計だね

19 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:42:21 ID:bdMdoEna0.net

>>17
うん
フレームワーク使ってるけどね

20 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:44:58 ID:6Lj07srLa.net

>>19
へぇーそりゃすごい
ところで多様体って位相空間の多様体のこと？

21 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:46:16 ID:bdMdoEna0.net

>>20
そうだよ
座標変換が同相写像なあの多様体だよ

22 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:47:49 ID:6Lj07srLa.net

>>21
そうなんだ。趣味で数学少し勉強してるけどこういうところで使われてるんだな

23 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:50:07 ID:57KdsDqe0.net

7と9の画像を用意したらその途中の画像が自動生成されるってこと？

24 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:51:11 ID:bdMdoEna0.net

>>22
まあ多様体を学習するようになるってだけで理論の中で多様体が出てくるわけではないよ
これとは関係無いけど機械学習の最適化の理論ではモース理論とか出てくるらしいからその辺りでは多様体が活躍するんだろうね

25 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 04:51:56 ID:bdMdoEna0.net

>>23
用意したのは7と2だね
間に9が出てきてるね

26 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 05:02:16 ID:57KdsDqe0.net

>>25
9は偶然なの？

27 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 05:08:31 ID:bdMdoEna0.net

>>26
偶然ではない
下の画像を見てもらえば分かると思う
訓練画像の圧縮後の散布図を数字別に色分けしたものなんだけど
2のクラスタと7のクラスタの間に9のクラスタがあるから連続的に推移すると9が現れる
https://i.imgur.com/jZ4wa0x.png

28 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 05:10:08 ID:sZHhPfQa0.net

畳み込み層は使ってない？

29 ：以下、？ちゃんねるからVIPがお送りします：2020/02/09(日) 05:11:12 ID:bdMdoEna0.net

>>28
使ってないね