1943年9月、向山洋一は品川にて、向山源吉、まさの長男として生まれる。
1950年4月、品川区立旗台小学校に入学。知的好奇心が旺盛な子どもだった。
父源吉は、都内でいくつかの印刷工場を経営しており、源吉本人も腕のいい職人であった。カラー印刷による日本で初めての絵葉書は「日光」であったが、それを印刷したのは源吉である。向山のプロの仕事や技術に対するリスペクトは、父親の背中を見て育ったことに起因する。
その印刷工場に、東工大の学生が印刷を頼みに来ており、遊び半分で向山に数学の難問(一見解けそうだが、解けない知的な問題)を出題してくれていたという。このときの知的体験が、向山型算数における難問指導につながっている。
1956年4月、 品川区⽴荏原第五中学校に⼊学。敗戦から11年、日本は復興のまっただ中にあった。向山の述懐によると、自由で伸びやかな校風の中で、向山の知的好奇心を満足させる授業が行われたようである。向山は陸上競技部、生徒会活動のリーダーとしても活躍した。
父、源吉は、向山が中学1年生のとき他界。向山の3歳下に伸子、7歳下に行雄(のちに、全国連合小学校長会会長)がいる。向山は13歳にして、幼い弟や妹の父親代わりをしつつ、父親の残した借金等の交渉を経験することとなる。