พ.ศ. 2476 จำพรรษาวัดป่าสาระวารี บ้านค้อ อำเภอผือ อุดรธานี

เป็นที่ซึ่งพระอาจารย์มั่นเคยจำพรรษา ได้ตั้งใจทำความเพียรสงบใจมาก แต่วิปัสสนายังไม่แกกล้า ได้แต่สมถะ ออกพรรษาแล้วจึงธุดงค์ไปจังหวัดเลย พักวิเวกอยู่ถ้ำผาปู่ และ ถ้ำผาบิ้ง ได้ความสงบสงัดมาก

พ.ศ. 2477 พรรษาสอง จำพรรษาวัดอรัญญวาสี อำเภอท่าบ่อ หนองคาย

มีพระอาจารย์กู่ ธมฺมทินฺโน เป็นหัวหน้า ตั้งใจไม่นอนกลางวัน ค่ำลงทำความเพียร เดินจงกรม นั่งสมาธิ ถึงตีสอง แล้วลุกขึ้นทำความเพียรจนสว่าง พอถึงเดือนหกเดินทางกลับมาจำพรรษาที่ วัดป่าบ้านค้อ ตามเดิม

พ.ศ. 2478 พรรษาสาม จำพรรษาที่วัดป่าสาระวารี

พ.ศ. 2479-2480 พรรษา4และพรรษาที่5 จำพรรษาที่วัดอรัญญบรรพต

"หลวงปู่เหรียญ วรลาโภ" ทำภาวนาจิตสงบแล้วพิจารณาขันธ์ห้าเป็นอารมณ์ เห็นเป็นอนิจจัง ทุกขัง อนัตตาตามสภาพความเป็นจริง แล้วปล่อยวาง จิตสงบพร้อมกับความรู้เป็นอย่างดี คล้ายหมดกิเเลส แต่ต่อมามีเรื่องต่างๆ มากระทบ ก็รู้สึกจิดผิดปกติ หวั่นไหวไป ตามอารมณ์นั้นๆ อยู่บ้าง แต่ไม่รุนแรง ก็แสดงว่ากิเลสยังไม่หมดสิ้น พยายามแก้ก็ไม่ตก นึกในใจว่าใครหนอจะช่วยแก้จิตให้ได้ จึงนึกไปถึงกิตติศัพท์ของพระอาจารย์มั่น ภูริทตฺโต จึงชวนภิกษุรูปหนึ่งลงเรือจากหลวงพระบางขึ้นไปทางอำเภอเชียงแสน จังหวัดเชียงราย เดินทางไปหาท่าน

พ.ศ. 2481 หลวงปู่เหรียญ วรลาโภได้พบท่านอาจารย์มั่น ภูริทตฺโต

ที่วัดเจดีย์หลวง จังหวัดเชียงใหม่ โดยความเมตตาของหลวงตาเกต ซึ่งเป็นสัทธิ วิหาริก ของท่าน ได้พาไปพบที่ป่าละเมาะใกล้ๆ โรงเรียนแม่โจ้ อำเภอสันทราย ได้เห็นด้วยความอัศจรรย์ใจเพราะตรงกับในนิมิตทุกประการ ท่านได้แนะนำว่านักภาวนา พากันติดสุขจากสมาธิจึงไม่พิจารณาค้นคว้าหาความจริงของชีวิตกัน

"หลวงปู่เหรียญ วรลาโภ" ท่านซักรูปเปรียญให้ฟังว่า ธรรมดาเขาทำนาทำสวน เขาไม่ได้ทำใส่บนอากาศแลย เขาทำใส่บนพี้นดินจึงได้ผล ฉันใด โยคาวจรผู้บำเพ็ญเพียรทั้งหลายควร พิจารณาร่างกายเป็นอารมณ์ จนเกิดนิพพิทาความเบื่อหน่ายในนามรูป ด้วยอำนาจแห่งปัญญานั้นแหละจึงจะเป็นทางหลุดพ้นได้ ไม่ควรติดอยู่ในความสงบโดยส่วนเดียว

เมื่อท่านให้โอวาทแล้วจึงพิจารณาดูตังเองว่าได้เจริญเพียงสมถะไม่ได้ เจริญ วิปัสสนาเพียงรู้แจ้งในธรรมที่ควรรู้ คือ อริยสัจสึ่ จึงเจริญวิปัสสนาเรื่อยมา ตั้งแต่พรรษาที่ 6 อยู่ในเขตภาคเหนือจนถึงพรรษาที่ 16 แล้วเดินทางกลับธุดงค์ ผ่านหลวงพระบาง ประเทศลาว เข้าเวียงจันทน์ มายังหนองคาย

พรรษาที่ 19 ถึง 26 หลวงปู่เหรียญ จำพรรษาเผยแพร่ธรรมะปฏิบัติอยู่ภาคใต้ แล้วจึงย้ายไปอยู่วัดอรัญญบรรพต ตั้งแต่ปี พ.ศ. 2502 เรื่อยมาจากนั้นออกธุดงค์ไปสถานที่ต่างๆ หลายจังหวัดภาคอีสาน ก่อนขึ้นไปทางเหนือและเข้าฝากตัวเป็นศิษย์หลวงปู่มั่น มุ่งบำเพ็ญเพียรและเข้าจำพรรษาในหลายที่

พรรษา 1-5 อยู่ใน จ.อุดรธานี และ จ.หนองคาย ช่วงพรรษาที่ 6-14 ขึ้นไปจำพรรษาอยู่ใน จ.เชียงใหม่ วัดสันต้นเปาและสำนักสงฆ์ใน อ.สันกำแพง พรรษาที่ 15-18 อยู่ที่ อ.เถิน จ.ลำปาง พรรษาที่ 19-22 ล่องลงใต้เข้าจำพรรษาที่สำนักสงฆ์ จ.พังงา ก่อนย้ายไปอยู่วัดอรัญบรรพต ตั้งแต่ปี พ.ศ.2502 จนถึงปัจจุบัน ทั้งนี้ ในบางโอกาสท่านจะมาพำนักอยู่ที่สำนักสงฆ์ในวังสวนจิตรลดา กรุงเทพฯ

กาลต่อมา หลวงปู่เหรียญได้เป็นเจ้าอาวาสวัดอรัญบรรพต ซึ่งในอดีตวัดแห่งนี้ยังขาดความพร้อมในหลายด้าน แต่บรรยากาศทั้งภายในและภายนอกวัดสงบเหมาะสมสำหรับการวิปัสสนากรรมฐาน โดยสมัยที่หลวงปู่มาอยู่ใหม่ๆ มีเพียงกุฏิเล็กมุงหญ้าคาพอหลบฝนได้เท่านั้น แต่กว่า 40 ปีที่หลวงปู่เหรียญได้ปกครองดูแลวัดอรัญบรรพต พยายามคงสภาพของความเป็นวัดป่าไว้มากที่สุด โดยสร้างเสริมสิ่งก่อสร้างเท่าที่จำเป็นแก่การประกอบศาสนกิจ

หลวงปู่เหรียญ วรลาโภ เป็นพระกัมมัฏฐาน ถือธุดงควัตร ฉันสำรวมในบาตรมื้อเดียว ปฏิบัติดีปฏิบัติชอบ เคร่งในพระธรรมวินัยยิ่ง รับกิจนิมนต์สอนปฏิบัติธรรมสมาธิและเทศนาธรรมแก่ศิษยานุศิษย์ทั่วประเทศ

แม้หลวงปู่จะมีฐานะทางการปกครองสงฆ์ระดับเจ้าคณะอำเภอศรีเชียงใหม่-สังคม ฝ่ายธรรมยุต และเป็นพระเถระอาวุโสแห่งเมืองหนองคาย แต่ท่านยังคงยึดแนวทางการครองตนตามแบบฉบับพระป่าในสายอีสานไว้อย่างเคร่งครัดด้วยการฝึกฝนอบรมจากหลวงปู่มั่น ปฏิปทาการปฏิบัติธรรมของหลวงปู่เหรียญจึงงดงาม อุทิศตนให้แก่พระพุทธศาสนา

ทุกวันที่ 8 มกราคม คณะศิษยานุศิษย์จะร่วมกันจัดงานบุญใหญ่ที่วัดอรัญบรรพต เพื่อสรงน้ำรับพร เป็นการแสดงกตัญญุตาคุณแด่หลวงปู่เหรียญเป็นประจำเสมอมา ซึ่งจัดให้มีงานทำบุญ 2-3 วัน ประมาณ 7-8-9 ม.ค.ทุกปี ใบหน้าหลวงปู่จะมีรอยยิ้มให้เห็นอยู่เสมอ ไม่เคยแสดงอากัปกิริยาเหน็ดเหนื่อยอ่อนล้าในการสนองศรัทธาญาติโยม

ประสบการณ์ ทางธรรมที่หลวงปู่สั่งสมมาล้วนถูกถ่ายทอดสู่บรรดาศิษย์ให้ประพฤติปฏิบัติตาม เพื่อหนทางแห่งมรรคผลนิพพาน ด้วยความรู้ความเข้าใจที่ถูกต้อง

วันที่ 5 มิถุนายน 2548 ถือเป็นวาระแห่งความสูญเสียของพุทธศาสนิกชนชาวหนองคายและชาวไทยทั่วประเทศ เมื่อ หลวงปู่เหรียญ วรลาโภ วัดอรัญญบรรพต ได้ละสังขารลงด้วยอาการสงบ สิริอายุ 93 ปี 73 พรรษา สร้างความอาลัยให้กับบรรดาลูกศิษย์ลูกหาเป็นอย่างยิ่ง