Excelで300万行を速く計算する方法

1 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:53:30.277 ID:Wy5eu6rW0.net

昨日は寝てた
すまん

2 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:53:46.569 ID:d6Csh/kFa.net

どういうこと？

3 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:54:25.971 ID:d6Csh/kFa.net

Excelっていうか、データが300万行あるってこと？
それをExcelで読ませて計算したい？

4 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:54:32.659 ID:qPBFCghA0.net

普通に計算すれば良いじゃん🤗

5 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:54:42.454 ID:Wy5eu6rW0.net

数十万行のExcelファイルが複数あって
それを速く集計する方法について

6 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:55:18.321 ID:pxS1Q5D5M.net

アルゴリズムを最適化するってこと？

7 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:55:24.833 ID:d6Csh/kFa.net

VBA使うならできるよ
1行ずつ読み込んで、配列に格納して計算すればいい

8 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:56:10.395 ID:qPBFCghA0.net

ハイスペパソコンオーバークロックして使おう

9 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:56:31.266 ID:Wy5eu6rW0.net

昨日はExcelの限界は1048576行列にだよってレスが多かったけど
複数ファイル合わせて300万行超えるよって話

10 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:56:36.101 ID:uqNLUd7+a.net

なんか使う関数次第で結構差が出るんだよな
lookup系のヤツ使うと特に重くなる印象

11 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:56:42.149 ID:+4GTemah0.net

上限65Kじゃないの？

12 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:56:52.056 ID:Ye9mfG3g0.net

300万行のセルに入力するのがだるい
そしてあっているかわかるの?

13 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:57:27.103 ID:S42MDiy50.net

Microsoftに課金する

14 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:57:41.510 ID:d6Csh/kFa.net

1 フォルダ配下のファイル名を取得する
2 ファイル名でループする
3 ファイルを1行ずつ読み込むループさせる
4 必要な値を配列に格納する or 計算結果を変数に格納

15 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:58:06.610 ID:+4GTemah0.net

足し算引き算なら余裕じゃないの？

16 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:58:14.281 ID:Wy5eu6rW0.net

元データ全部合わせると300万行超えるけど
集計したら数千行で収まります

17 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:58:22.851 ID:poydRE4o0.net

スパコン買ってくる

18 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:58:46.052 ID:d6Csh/kFa.net

>>12
だいたいこういうのビックデータ分析だからデータはあっているものとするんじゃない？
俺は1日3000万件収集されるビックデータを分析するために簡易的にVBA使ってた

19 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:59:02.283 ID:wrFuTcAj0.net

てか一回部位ルックして計算し終えたら
それをメモ帳に張り付けて関数消す
そのあとメモ帳コピってはりつけるだけで相当速くなる

20 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:59:33.149 ID:d6Csh/kFa.net

>>19
vlookupとかクソ遅すぎて使い物にならんよ

21 ：以下、？ちゃんねるからVIPがお送りします：2022/06/27(月) 23:59:49.341 ID:2Mb/qEyv0.net

CSVとして結合した単一ファイルを作りExcelの存在を無視して集計する

22 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:00:27.845 ID:/pn7F43j0.net

ADOでテーブルに入れてに計算すれば

23 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:00:47.556 ID:a0M/NbKk0.net

今やってる事

1つのフォルダに数十万行のExcelファイルが複数ある
それをQueryで一つに集計する
集計はQueryが行うけどSUMIFSと同じようなイメージ

24 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:01:32.434 ID:hQYtVbDF0.net

>>21
俺もこれかな
またはAccessで瞬殺かな

25 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:01:46.766 ID:DwyGFgbo0.net

>>19
範囲選択してコピーしてそのまま値だけ貼り付けでよくね

26 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:03:54.080 ID:a0M/NbKk0.net

VLOOKUPって言う人多いけど365だからもう使わないです
元データを1つのフォルダにぶっこんであとはQueryが勝手に計算する

27 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:04:58.814 ID:3uzmQQWw0.net

vbaって大量データの場合重いよね
c#でコード書いてる

28 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:05:26.367 ID:a0M/NbKk0.net

PowerQueryとPowerPivotの組み合わせ
いわゆるモダンExcelでもかなり遅い

29 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:05:47.671 ID:n5zw0qusM.net

mysqlに格納しろ

30 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:06:17.762 ID:a0M/NbKk0.net

>>27
昨日はC++が秒殺だよっていうレス見たけどどうなのかな

31 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:06:19.881 ID:ZAPiHnFn0.net

Queryってなんのこと言ってんの
DBのクエリ？LINQ？EXCELファイルをインポートしたDataTableで加工すんの？

32 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:07:18.043 ID:a0M/NbKk0.net

>>31
ExcelのPowerQuery

33 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:07:51.836 ID:sjech6tla.net

よく分からんけど何のデータ？

34 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:09:23.896 ID:hX4DG6It0.net

Webスクレイピングでサイトから撮ってきたデータを一行ずつ処理してるんだけどそれで1分くらいかかるわ
もう少し最適化したい

35 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:09:57.001 ID:a0M/NbKk0.net

>>33
コード　名前　数
の3列が1ファイルに数十万行ある
コードは全部で1万種類くらい

データが100万行あっても集計したら1万行になるはず

36 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:11:09.318 ID:TpwxWCgsM.net

てかさっさとかけよ
>>1の時点で書いとけ

37 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:11:21.623 ID:a0M/NbKk0.net

コード=名前という認識でOK

38 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:13:08.158 ID:a0M/NbKk0.net

モダンExcelだと遅い
速く計算したい
ワークシート関数だともっと遅い

39 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:13:43.305 ID:B6WU0DLi0.net

Rustで書けよ

40 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:14:06.473 ID:Djd8S1i30.net

そんなシンプルなデータをExcelにしてる時点で管理がウンコだな
明日からcsvにしろ

41 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:14:34.660 ID:ER9NoOwj0.net

>>11
昔は2^16だったけど今は増えた

42 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:14:35.944 ID:a0M/NbKk0.net

>>39
すまん
プログラミングはサッパリわからん

43 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:15:10.891 ID:B6WU0DLi0.net

プログラミングわからんなら300万行に手を出すなよ

44 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:15:15.095 ID:ER9NoOwj0.net

csvに書き出してpythonとかでやれば？

45 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:15:32.631 ID:a0M/NbKk0.net

>>40
csvなら速いか？
300万行でも楽々？

46 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:16:43.783 ID:B6WU0DLi0.net

計算できるかは知らんけどsakuraで正規表現で必要なデータだけトリムしてExcelに貼れば？

47 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:16:50.829 ID:a0M/NbKk0.net

>>43
すまーん

48 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:17:46.020 ID:a0M/NbKk0.net

>>46
やっぱExcelデータじゃ厳しい？

49 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:18:01.744 ID:a0M/NbKk0.net

>>44
Pythonわかんなーい

50 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:18:15.815 ID:lcpnpxg20.net

GPU支援を有効にする

51 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:18:28.044 ID:n5zw0qusM.net

表計算ソフトに万単位求めんな

52 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:19:20.332 ID:rwTtFmHa0.net

難しい事考えないでお勉強しなさい

53 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:20:23.484 ID:B6WU0DLi0.net

>>48
つーか情報小出しだし要件が全く不明
わざとじゃないなら300万行処理できる知性に達してない

54 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:21:41.953 ID:oDKwSPh4M.net

CSVにしてEmEditorでやれ
300万くらいなら十秒もかからんぞ

55 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:22:40.596 ID:/pn7F43j0.net

こんなところでウダウダ聞くより何でもいいからプログラム覚えた方が早いんじゃね

56 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:22:55.064 ID:a0M/NbKk0.net

>>54
お！調べてみる
ありがとう！

57 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:23:30.224 ID:a0M/NbKk0.net

>>53
PowerQueryはわかる？

58 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:23:34.083 ID:B6WU0DLi0.net

一回CSVにしてからテキストエディタに読み出して10万行刻みにExcelに貼り付けて集計していけばいいじゃん

59 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:28:00.097 ID:fv/g32ww0.net

Excelのクエリ知らないのが多いからここで聞いても無駄

60 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:30:49.271 ID:a0M/NbKk0.net

PowerQueryとPowerPivotならわる
スピルも使える

Queryとスピルの組み合わせが良いと思うんだけど

61 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:32:55.960 ID:fv/g32ww0.net

クエリのマージを多用すると重くなる
グループ化ならいいけどマージはワークシートでやるのがオススメ

62 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:34:47.577 ID:a0M/NbKk0.net

>>58
Query一発じゃだめなのか？

63 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:35:35.954 ID:a0M/NbKk0.net

>>61
マージは数カ所やってたわ
変えてみる

64 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 00:55:07.277 ID:CmTUGn5+0.net

筆算する

65 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 01:08:39.347 ID:KlQwxkE30.net

Python派だな
めちゃくちゃはえーぞ

66 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 01:36:47.802 ID:bqqq171md.net

一言で言うとsql使え

最低でもjqとか

演算速度がダンチすぎる

67 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 01:37:35.091 ID:bqqq171md.net

>>65
pandaいいよな

68 ：以下、？ちゃんねるからVIPがお送りします：2022/06/28(火) 01:51:35 ID:hFSLJnGh0.net

何でわざわざエクセルなんだよ
アクセスでもなんでもあるだろ