一般数字示波器采用的都是8位adc，对任何一个波形值都是用256个0和1来重组。假设示波器垂直方向满量程为8格，对应量化级数256。在垂直档位为500mv/div的情况下，垂直精度为（500mv*8）/256=15.625 mv。测量同一个信号，在垂直档位为50mv/div的情况下，即（50mv*8）/256=1.5625 mv，垂直精度就达到了1.5625 mv。
图 测量精度
在实际测量中，由于测量波形的幅值不一样，故垂直档位设置也会不一样，但是为了尽量使测量准确，可进行以下操作：
使测试信号幅值尽量占到屏幕6div左右。例如一个峰峰值为7vpp的正弦波，垂直档位应设为1v/div，而不是2v/div或5v/div。实际上，这涉及到一个电压分辨率的问题， zds4054 plus示波器adc的量化分辨率25lsb/div。例如在1v/div电压下，电压分辨率为40mv，而当10v/div时，电压分辨率为400mv。可知在1v/div下，测量值有更高的分辨率，测量值更准确。