ห้องสมุดได้จัดตั้งขึ้นพร้อมกับการก่อตั้งมหาวิทยาลัยขอนแก่นในปี 2507 ในระยะแรกอาศัยสถานที่ของคณะวิทยาศาสตร์การแพทย์ ณ ตึกคณะเภสัชศาสตร์ มหาวิทยาลัยมหิดล เป็นที่ทำการชั่วคราว ได้รับความช่วยเหลือจากรัฐบาลคานาดา โดยมหาวิทยาลัยแมนีโตบาแห่งคานาดาได้ส่งบรรณารักษ์ชาวคานาเดียน คือ Mr. Devck R. Prancis เป็นที่ปรึกษาห้องสมุด โครงการความช่วยเหลือแผนการโคลัมโบ ระหว่างสิงหาคม 2508 ถึงธันวาคม 2509 มิถุนายน 2509 มหาวิทยาลัยขอนแก่น ได้ย้ายมาทำการที่จังหวัดขอนแก่น วันที่ 23 ตุลาคม 2509  ห้องสมุดก็ย้ายมาเปิดบริการอยู่ที่อาคารชั้น 2 ตึกคณะวิศวกรรมศาสตร์ การย้ายห้องสมุดครั้งนี้ Mr. Devck R. Prancis ได้ร่วมมือกับบรรณารักษ์ชาวไทยซึ่งจบการศึกษาวิชาบรรณารักษ์ศาสตร์มาจากมหาวิทยาลัยโคลัมเบีย คือ ม.ร.ว.จีรวัฒน์ จักรพันธ์ ได้สร้างหอสมุดกลางด้วยงบประมาณ 2.5 ล้านบาท เมื่อวันที่ 10  พฤษภาคม 2511 (อาคาร 2 สำนักงานอธิการบดี) ในระยะแรกที่อาคารสร้างเสร็จ คณะศึกษาศาสตร์มีความจำเป็นในการใช้สถานที่เรียนสำหรับนักเรียนโรงเรียนสาธิต จึงดัดแปลงอาคารห้องสมุดเป็นสถานที่เรียนชั่วคราว จากนั้นในเดือนเมษายน 2515 ห้องสมุดจึงได้ย้ายมาเปิดทำการที่อาคารดังกล่าวมีฐานะเป็น “กองห้องสมุด” สังกัดสำนักงานอธิการบดีมหาวิทยาลัยขอนแก่น