double | autoFX

double型には計算誤差が常につきまとう

NormalizeDouble関数を活用すべし double型の計算誤差のお話です。 2/3を計算すると0.666…となりますが、どこかで見切りをつけなければなりません。無限には持てませんから。その見切りが計算誤差となります。 double型の場合 […]