舊制土浦中學畢業后，于土浦當地從事農業。因于某次案件中被誤認為嫌犯，在偵訊中遭到土浦警察署的毆打，而前往東京進入警視廳工作。1939年分發至鳥居坂警察署（現麻布警察署），起初擔任崗哨外勤的平冢八兵衛之后因檢舉率為該署最高，調任至搜查一課（刑事部）。之后由1943年至1975年退休為止一直在搜查一課服務。擁有肉屑的八兵衛、喧嘩八兵衛、鬼之八兵衛等眾多綽號的平冢八兵衛是著名的一流刑警，其任內單偵辦殺人案件便高達124件以上，站在許多戰后重要案件之搜查前線。其中最為有名的莫過于以其驚人的毅力與黏性得出吉展誘拐殺人事件中犯人小原保的口供，之后執行死刑前小原的自白：“請幫我轉告平冢先生，現在，我終于可以問心無愧以人的身分活著了。”也是相當著名。另外，對帝銀事件的嫌犯平澤貞通其刑求似的調查，這種采取強硬手段辦案的方式也招致不少批評。以三億円事件搜查主任的身分退休，并曾在電視上以此事件評論者的身分出現，退休四年后因胰臟癌逝世。平冢八兵衛由巡查升至巡查部長、警部補、警部、警視皆非經過考試，完全由功累進。其于帝銀事件后獲得警察功勞章，吉展誘拐殺人事件后獲得警察功績章，此項在職中獲得此兩項獎章的紀錄，也是僅有平冢一人達成。