اين كتابخانه در سال 1346 به همت عده اي از فرهنگ دوستان شهر قزوين تاسيس گرديد و زير نظر انجمن كتابخانه هاي آن دوره اداره مي شد تا بعدها وزارت فرهنگ و هنر سابق، عهده دار آن گرديد. پس از پيروزي انقلاب اسلامي ايران به علت قديمي بودن ساختمان  به محل فعلي نقل مكان كرد و ساختمان جديد و فعلي آن پس از تعميرات كلي در سال 1372 توسط وزير فرهنگ و ارشاد اسلامي وقت افتتاح گرديد.

كتابخانه علامه رفيعي قديمي ترين كتابخانه قزوين به شمار مي رود و در زميني به مساحت 720 مترمربع و زيربناي 1550 متر مربع در قزوين احداث گرديده است.

از ويژگيهاي بارز اين كتابخانه كه آن را متمايز و شاخص گردانده است، دارا بودن كتب چاپ سنگي و نسخ خطي است. كتابخانه علامه رفيعي 24  نسخه كتاب چاپ سنگي و 77 نسخه كتاب خطي دارد، كه مجموعه غني و بسيار ارزنده اي را در اختيار علاقه مندان قرار داده است.

سيستم اين كتابخانه از سال 1378 به صورت مكانيزه درآمده است و امكانات مختلفي از جمله مخزن كتاب با گنجايش 60000 جلد كتاب ، نرم افزار نمايه نشريات، خدمات اينترنت، نرم افزار دهخدا و نرم افزارهاي كتابخانه اي ايلا و كتابخانه ملي،را در اختيار مراجعه كنندگان قرار مي دهد.

اين كتابخانه با دارا بودن حدوداً 6000 عضو فعال داراي بخش هاي مختلفي چون مرجع، نشريات، كودكان و نوجوانان، كافي نت و ...... مي باشد و روزانه پذيراي علاقه مندان به كتاب و كتابخواني است.

از امكانات ديگر اين كتابخانه سالن اجتماعات با ظرفيت 100 نفر مي باشد كه جهت انجام فعاليتهاي فوق برنامه و برگزاري همايش ها و .... در نظر گرفته شده است.

لازم به ذكر است كه علاقه مندان  مي توانند با مراجعه به كتابخانه و ارائه مدارك لازم بدون محدوديت سني، به عضويت كتابخانه دربيايند و همه روزه از ساعت 7:30 الي 21 از خدمات كتابخانه استفاده كنند.