呂良偉,1955年出生於越南的一個富裕家庭,後來因為種種原因,家道中落。為此,呂良偉一家投奔叔叔遷居去了香港定居,住在貧民窟里。
雖然生活落差很大,呂良偉很不習慣,但也不得不接受這殘酷的現實。中學時期,母親因為重病,這讓呂良偉不得不放棄學業,去賺錢養家。
雖然家境拮据,但呂良偉卻喜歡上了表演,但一直沒有什麼機會,這也使得他只能進工廠。知道呂良偉的想法,便鼓勵他去追求演藝夢想。1979年,在父親的支持下,呂良偉考入了無線藝員訓練班。
在這裡,他接受了專業系統的表演學習,更是參演了首部電視劇《網中人》。當時的他,是一個籍籍無名的小演員,加上家境不好,在演藝圈的處境並不好。