يُعتقد أن اسم "قلم رصاص" مشتق من مادة الرصاص المستخدمة في تصنيعه في البداية. في الحقيقة، لم يكن الرصاص المستخدم في أقلام الرصاص رصاصاً بالمعنى الكيميائي للكلمة، بل كان

غرافايت

، وهو معدن ناعم رمادي أسود. أطلق عليه الناس اسم "رصاص" بسبب تشابهه في اللون والملمس مع الرصاص الحقيقي، وتميزه بسهولة انزلاقه على الورق. وبمرور الوقت، أصبح الاسم "قلم رصاص" شائعًا، حتى مع استبدال الرصاص الحقيقي بالغرافايت.