Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Javascript 浮点乘以 100 仍然有错误
我有一个货币字段的文本输入 我在字段中输入 33 91 并在尝试使用 乘以 100 技术时得到以下结果 var curWth parseInt trans withdraw index val 100 3390 var curWth par
javascript
floatingpoint
不同编程语言中的浮点数学
我知道浮点数学充其量可能是丑陋的 但我想知道是否有人可以解释以下怪癖 在大多数编程语言中 我测试了 0 4 到 0 2 的加法会产生轻微的错误 而 0 4 0 1 0 1 则不会产生错误 两者计算不平等的原因是什么 在各自的编程语言中可以采
python
r
Haskell
floatingpoint
Julia
使用浮点/双除法比较可约分数
假设我有两个分数 a b 和 c d 其中 a b c d 都是大于 0 的整数 使用以下函数检查它们的相等性是否安全 bool are equal fractions int a int b int c int d return stat
c
floatingpoint
Python 中的舍入浮点问题
我遇到了 np round np around 的问题 它没有正确舍入 我无法包含代码 因为当我手动设置值 而不是使用我的数据 时 返回有效 但这是输出 In 177 a Out 177 0 0099999998 In 178 np rou
python
NumPy
types
floatingpoint
rounding
如何进行带有偏差的浮点舍入(始终向上或向下舍入)?
我想以偏置舍入浮动 要么总是向下 要么总是向上 代码中有一个特定的点 我需要这个 程序的其余部分应该像往常一样四舍五入到最接近的值 例如 我想四舍五入到最接近的 1 10 倍数 最接近 7 10 的浮点数约为 0 69999998807 但
c
floatingpoint
rounding
TSQL - 生成文字浮点值
我理解比较浮点数时遇到的许多问题 并对它们在这种情况下的使用感到遗憾 但我不是表格作者 只有一个小障碍需要克服 有人决定使用浮点数 就像您期望使用 GUID 一样 我需要检索具有特定浮点值的所有记录 sp help MyTable Colu
sql
sqlserver
TSQL
floatingpoint
literals
AXI4 流接口:如何在 HLS 中管理浮点数组以生成硬件加速器并在 RTL 项目中安全地连接它们?
最后 我想做的是使用 Vivado Design Suite 中具有单精度浮点数组的流接口来构建硬件加速器 HLS 用户指南UG902 http www xilinx com support documentation sw manuals
c
interface
floatingpoint
Streaming
vivadohls
使用按位 OR 0 对数字进行取整
我的一位同事偶然发现了一种使用按位或来对浮点数进行底数的方法 var a 13 6 0 a 13 我们正在谈论它并想知道一些事情 它是如何工作的 我们的理论是 使用这样的运算符将数字转换为整数 从而删除小数部分 与这样做相比 它有什么优势吗
javascript
floatingpoint
BitManipulation
如何设置变量内的浮点精度
我目前正在编写一个程序 需要将浮点后的四舍五入值计算为仅 2 位数字 说吧 我已经声明了 float a If a 3 555然后它会存储a 3 56 围捕 For a 3 423 a的值是a 3 423 不用找了 我可以这样做来打印输出
c
floatingpoint
PostgreSQL round(v numeric, s int)
Which method http en wikipedia org wiki Rounding Tie breakingPostgres 吗round v numeric s int http www postgresql org doc
postgresql
floatingpoint
rounding
什么时候应该使用双精度而不是十进制?
我可以说出使用的三个优点double or float 代替decimal 使用更少的内存 速度更快 因为处理器本身支持浮点数学运算 可以表示更大范围的数字 但这些优点似乎只适用于计算密集型操作 例如建模软件中的操作 当然 当需要精度时 例
c
types
floatingpoint
double
Decimal
如何处理 PHP 中浮点数的奇怪舍入
众所周知 浮点运算并不总是完全准确 但是如何处理它的不一致之处呢 As an example in PHP 5 2 9 this doesn t happen in 5 3 echo round 14 99225 4 14 9923 ech
php
floatingpoint
rounding
从 std::round 转换为 int 是否安全?
我有一个问题标准 圆形 http www cplusplus com reference cmath round 带签名 double round double x 假设我有这个代码 int i std round 0 9 在这种情况下 s
c
floatingpoint
rounding
在 C# 中生成随机浮点数的最佳方法[关闭]
Closed 这个问题是基于意见的 help closed questions 目前不接受答案 在 C 中生成随机浮点数的最佳方法是什么 更新 我想要从 float Minvalue 到 float Maxvalue 的随机浮点数 我在一些
c
Random
floatingpoint
为什么 FLT_MIN 等于 0?
limits h指定非浮点数学类型的限制 例如INT MIN and INT MAX 这些值是可以使用 int 表示的最大负值和最大正值 In float h 有定义FLT MIN and FLT MAX 如果您执行以下操作 NSLog f
c
floatingpoint
numericlimits
将两个 Int 值相除以获得 Float 的正确方法是什么?
我想分两份IntHaskell 中的值并获得结果Float 我尝试这样做 foo Int gt Int gt Float foo a b fromRational a b 但 GHC 版本 6 12 1 告诉我 无法将预期类型 Intege
Haskell
types
floatingpoint
Integer
如何安全地将 CGFloat 降低或提高到 int?
我经常需要在地板或天花板上安装CGFloat to an int 用于计算数组索引 我永远看到的问题floorf theCGFloat or ceilf theCGFloat 是浮点不准确可能会带来麻烦 那如果我的CGFloat is 2
ios
Math
floatingpoint
floatingaccuracy
floatingpointprecision
在 Python 中比较浮点数是否几乎相等的最佳方法是什么?
众所周知 由于舍入和精度问题 比较浮点数是否相等有点繁琐 例如 比较浮点数 2012 年版 https randomascii wordpress com 2012 02 25 comparing floating point number
python
floatingpoint
使用C标准数学库精确计算标准正态分布的CDF
标准 C 数学库不提供计算标准正态分布 CDF 的函数 normcdf 然而 它确实提供了密切相关的函数 误差函数 erf 和互补误差函数 erfc 计算 CDF 的最快方法通常是通过误差函数 使用预定义常量 M SQRT1 2 来表示 d
c
Algorithm
Math
floatingpoint
将嵌套循环计算转换为 Numpy 以加速
我的Python程序的一部分包含以下代码段 其中一个新的网格 是根据旧网格中找到的数据计算的 网格是二维浮点数列表 该代码使用了三个 for 循环 for t in xrange 0 t step for h in xrange 1 hei
python
performance
NumPy
Optimization
floatingpoint
1
2
3
4
5
6
...44
»