Sebagaimana ditunjukkan Dhofier3,hampir semua pesantren besar di Jawa didirikan oleh keturuna kiai. Dhofier menunjukkan bagaimana tiga puluh kiai terkenal hampir semuanya pendiri atau pemimpin pesantren besar di Jawa – mempunyai keturunan dari moyang yang sama, yaitu Kyai Shihah, pendiri pesantren Tambak Beras, Jawa Timur, tahun 18314. Hiroko ketika melakukan penelitian di Cipari Jawa Barat juga menemukan bahwa kiai dari beberapa pesantren di daerah ini adalah keturunan Zaenal Abidin,seorang ulama dan cikal bakal desa.
Seorang Antropolog lain, Baeley mencatat pola yang sama dari Nangoh, Jawa timur. Enam pesantren ini dibangun oleh kyai-kyai keturunan Kyai Haji Munasan, pendiri pesantren pertama.6
Pesantren Tegalrejo yang didirikan oleh Kyai Chudlori pada tahun 1944, merupakan pengecualian, karena pendirinya bukan berasal dari keluarga kyai, tapi dari priyayi. Ayah Kyai Chudlori, Ihsan seorang penghulu di Tegalrejo dibawah pemerintahan Belanda. Kakeknya, Abdul Halim, juga seorang penghulu yang menangani administrasi urusan agama di daerah pedalaman kabupaten Magelang yang meliputi kecamatan Candimulyo, Mertoyudan, Mungkid dan Tegalrejo.
Pada zaman Belanda, seorang penghulu dan keluarganya dihormati sebagai priyayi7.Chudlori dilahirkan di Tegalrejo, anak kedua dari sepuluh bersaudara.Ibunya,Mujirah adalah putri Karto Diwiryo yang menjadi Lurah di Kali Tengah, dekat kota kecamatan Muntilan. Meskipun seorang priyayi, ayah Chudlori menginginkan paling tidak satu dai anak-anaknya menjadi kyai.
Kenyataannya bahwa Tegalrejo bukan kota religius, semakin menyakinkan dirinya untuk berbuat sesuatu bagi para warganya. Abdullah (84), orang tua yang tinggal dekat pesantren, menceritakan kepada saya bahwa desa – desa sebelah timir Tegalrejo seperti Soroyudan, Tepus,mbalak, pernah menjadi sarang bandit-bandit yang terkenal jahat. Perampokan, pencurian, perjudian,dan sabung ayam tersebar luas,
Pada tahun 1923, setelah menyelesaikan studinya di HIS (Hollandsch Inlandcsh School)Chudlori dikirim ayahnya belajar di Pesantren Payaman, sebuah pesantren terkenal di kabupaten Magelang yang diasuh oleh Kyai Siroj. Disini, Chudlori menghabiskan waktu dua tahun dan menjadi apa yang digambarkan oleh Dhofier8 – santri kelana yang pindah dari satu pesantren ke pesantren lainnya, sesuatu yang lazim dalam tradisi pesantren. Ia berusaha menguasai berbagai cabang ilmu keislaman dimanapun ilmu itu diajarkan. Pengembaraan seperti ini penting sekali, karena seperti ditulis Bailey9 “beberapa pesantren mengkhususkan diri dalam ilmu ini dan beberapa pesantren lainnya mengkhususkan diri dalam ilmu itu.”Pesantren Koripan diasuh oleh Kyai Abdan ketika Chudlori belajar disana.Kemudian Chudlori pindah mengaji di Pesantren Kyai Rohmat di Gragab hingga tahun 1928.