بدأت علاقة عبد العزيز الرفاعي وعشقه للشعر منذ الصبا الباكر أي في حوالي العاشرة من عمره أي وهو في منتصف المرحلة الابتدائية وكان في تلك الفترة يعيش حالة من النصب والمشقة، يقتات وبقية أسرته من حاصل ما توفره له ولبقية الأسرة أمه وأخته من أمه مما تبيعانه من الألبسة الجاهزة، وقد تدخر من ذلك المحصول قرشاً له كل يوم تمنحه إياه عند توجهه إلى مدرسة الصفا ثم المدرسة العزيزية بعد ذلك. وقد ادخر من هذه القروش ما مكنه من شراء ملاحم الأدب الشعبي كعنترة، والزير سالم، والأميرة ذات الهمه ويتذوق الأشعار التي ترد بها، وكانت الأناشيد المدرسية والمختارات من الأشعار التي يكلف الطلاب بحفظها ذات أثر في افتتانه بها، وقد ساعده بعض أساتذته على ترديدها وتذوقها، وهذا العشق المبكر للشعر ولَّد في نفسه الرغبة لأن يحاول أن يطرق أبوابه، وكان إعجابه بشعر أبي النواس كبيراً في بداية مشواره في دروب الشعر، ولا سيما ذلك اللون المشتمل على الحكمة، وقد حاكاه في بعض قصائده لكنها محاكاة لا تشابه بينهما إلا في مساواة أحرف كل بيت من أبيات أبي نواس مع عدد أحرف كل بيت من أبيات الرفاعي، وتلك لعمري مساواة عرجاء لا تحمل من صفات الشعر شيئاً، ولقد أحس الرفاعي بذلك فأخفاه أو لنقل ترك للسنين حرية العبث به وضياعه وفقده، ولكنه أصر على مواصلة القراءة وأعني بذلك قراءة الشعر وقراءة كتب التراث الأدبي، وهذه الرغبة الجياشة لقراءة الشعر التي بلغت درجة الإدمان والشغف قادته إلى قراءة ديوان شوقي والشريف الرضي قبل تخرجه من المرحلة الابتدائية، وقد يعجب القارىء من طالب يجيد قراءة شعر شوقي وشعر الشريف الرضي وهو لم يتجاوز في دراسته المرحلة الإبتدائية، ولو علم الحقيقة لذهب العجب، وبقي العجاب، ذلك أن المرحلة الابتدائية في تلك الفترة تمتد الدراسة بها ثماني سنوات، وتمثل في مجموعها المرحلتين الابتدائية والمتوسطة، هذا من جهة، ومن جهة أخرى لم تكن هناك وسائل ترفيه وتسلية فكان الطالب يقضي وقت فراغه في المطالعة والقراءة أو يعاون ولي أمره في عمله إن كان تاجراً أو صاحب صنعة أو حرفة يدوية، أو يتجه إلى المسجد الحرام للمذاكرة مع أقرانه وزملائـه، أو يواظب على حضور بعض حلقات الدروس الدينية والعربية التي يتولى التدريس بها نخبة من العلماء الفضلاء الذين كان المسجد الحرام بمكة والمسجد النبوي بالمدينة المنورة محط آمالهم، وبغيتهم للتدريس بهما، وقد تكون هناك فئة من هؤلاء المشايخ يتولون التدريس بالمدارس الحكومية، فيواظب طلابهم على حضور حلقات دروسهم في المساء لترسيخ ما يتلقونه في الصباح، وكانت الرغبة للتعلم تشحذ قوى الطلاب، وتفتح باب المنافسة على مصراعيه بينهم، وهم مع ذلك يؤلفون مجموعات متعاونة يحرص الكثير منهم على الأخذ بيد الصغير، والغني يمد يده لنجدة الفقير. إذن فلا غرابة أن ينبغ من هؤلاء الفتيان شعراء وعلماء وأدباء طالما كانوا يستمدون علمهم وأدبهم وثقافتهم من مصادر تتدفق علماً وخلقاً وأدباً جُثيّاً على الركب، وانكبابا على الكتب، متزودين بسلاح الصبر والعزيمة لقهر ظلام الجهل، يسابقون الزمن في أن يصلوا إلى ما وصل إليه أبناء الدول المجاورة من العلم والمعرفة تمدُّهم الحكومة بكل الوسائل التي تمكنهم من مواصلة تعليمهم العالي خارج حدود المملكة.
كان عبد العزيز الرفاعي أحد أولئك الطلاب الذين صهروا ظلام الليل بنور العلم، يبيتون على كتبهم عاكفين، يقرؤون ويكتبون، ويحفظون ويعيدون، وكانت وسيلة الإضاءة عند الفقراء منهم فوانيس أو أسرجة زيتية، وعند الأغنياء قناديل تضيء بوساطة الكيروسين.
أنهى عبد العزيز الرفاعي المرحلة الابتدائية عند نشوب الحرب العالمية الثانية وهو على عتبة المعهد العلمي السعودي، فكان بين خيارين إما أن يواصل تعليمه بالمعهد العلمي أو أن يترك الدراسة نهائياً وينصرف إلى مزاولة مهنة من المهن أو الوظائف الكتابية تدر عليه دخلاً يلبي حاجات أسرته ومتطلباته، رفقاً بأمه وبراً بها فقد ألقى عليها المرض بكلكله، وأصبحت غير قادرة على الوفاء بتسديد ما تحتاجه تلك الأسرة من تكاليف المعيشة، لكن العزيزة الكريمة رفضت هذه الفكرة – أن يتخلى ابنها عن مواصلة تعليمه – وأصرت على العطاء بقدر طاقتها حتى يكتب الله ما يشاء، ولكن عبد العزيز حسم الموقف ترضية لها فقال لها: طاعة لك يا أمي، وامتثالاً لأمرك سأواصل دراستي بالمعهد نهاراً، واعمل في المساء فوجدت أمه في ذلك الحل ما يريح نفسها، ويحقق طموحها في أن يتبوأ ابنها مكاناً علياً، ومرت السنتان الأولى والثانية من سنوات الدراسة بالمعهد، وأخذ ضيق ذات اليد خلالهما ينكمش، وتنفرج أسارير راحة البال على جميع أفراد الأسرة، لكن الحرب اشتد أوارها، واشتعل وطيسها، وامتد لهيبها وزادت الحياة قسوة، وتعذر وصول المواد الغذائية، وصعب على الفقير أن يكسب ما يسد رمق عائلته، وكانت أسرة عبد العزيز من بين تلك الأسر التي وقعت تحت طائلة شظف العيش، لكن الله لطيف بعباده، ويرزق من يشاء بغير حساب، فهيأ لعبد العزيز عملاً شريفاً يصطاد به عصفورين في آن واحد، يراجع به مواد دراسته، ويكتسب منه مالاً يساعده على إدارة دفة المعيشة في أسرته إلى الوجهة التي يرغب أن يعيشها، وقد وجد من مدير المعهد السيد أحمد العربي ونائبه الأستاذ عبد الله عبد الجبار كل عون ومساعدة حيث سهلا له أن يقوم بتدريس أبناء إحدى الأسر ذات المال والجاه بالطائف، وأن يزوده زملاؤه بالمعهد بما يتلقونه من دروس أولاً بأول، وكانت تلك السنة هي السنة النهائية بالمعهد.
لعل عبد العزيز قد وجد في هذه السنة فرصتة الذهبية في القراءة، والكتابة شعراً، ونثراً كان ذلك عام 1361غير أنني لم أعثر على شيء من أشعاره أو كتاباته الأوليه، التي كتبها خلال تلك السنة، لكنني لا أستبعد أن تكشف الأيام في المستقبل عن شيء من هذا القبيل، على أن هناك قصيدة عنوانها "فراشة" ذكرت في ديوانه "ظلال ولا أغصان" بالصفحة "51" لم يذكر تاريخ كتابتها أو مصدر نشرها، وإنما أشار في الهامش إلى أنها نشرت في أوائل الستينات الهجرية، وأوائل الستينات هي، 61، 62، 63، وأواسطها 64، 65، 66، وأواخرها هي 67، 68، 69 وقد يكون من المحتمل أن تكون 1363 هي المعنية لأنها السنة التي باشر عبد العزيز عمله فيها بديوان مديرية المعارف، فقد تمكن خلال ساعات الفراغ من العمل الرسمي ما يساعده على ذلك لا سيما إذا علمنا أنه قد حاول في تلك السنة مراسلة مجلة الرسالة الزياتيَّة بل راسلها فعلاً، واعتبرت تلك الرسالة التي بعث بها الى مجلة الرسالة وسأل عما ورد في نقل الأستاذ النشاشيبي من أن الغناء زاد الركب فقد اعتبرت تلك الرسالة أولى محاولاته الكتابية ولإتمام الفائدة أنقل هنا مقطعاً من هذه القصيدة لنرى مقدار ما كان يتمتع به عبد العزيز من وهج شعري تحف به عاطفة فياضة، يضع القارىء يده فيها على كثير من المعاني العميقة وليست الغامضة التي يتحلى بها شعر الرفاعي منذ بواكيره الأولى والمقطع الذي أخترته هو: