M4 81mm自走迫撃砲は、M2ハーフトラックの車体をベースとする数少ない派生型である。
本車のベースとなったM2ハーフトラックは、M3ハーフトラックと共に1940年8月に制式化されたアメリカ陸軍初の本格的な半装軌式装甲車であり、M2ハーフトラックが火砲の牽引、M3ハーフトラックが兵員の輸送を主な任務としていた。

M2/M3ハーフトラックは多くのコンポーネントが共用化されていたが、M3ハーフトラックには対戦車自走砲、自走榴弾砲、対空自走砲など数多くの派生型が存在するのに対し、M2ハーフトラックの派生型で実用化されたのはこのM4自走迫撃砲のみである。
これは、M2ハーフトラックがM3ハーフトラックに比べて兵員室の容積が狭い上、内部に弾薬収納箱が張り出していたために使い勝手が悪かったことによる。

M4自走迫撃砲は、M2ハーフトラックの後部兵員室内に14.9口径81mm迫撃砲M1と迫撃砲弾を搭載したもので、元々設置されていた左右の弾薬収納箱に32発ずつ迫撃砲弾を収め、さらに弾薬収納箱の直後に迫撃砲弾16発分のラックを1個ずつ設置しており、合計で96発の迫撃砲弾を搭載していた。
81mm迫撃砲M1は、この2個の迫撃砲弾ラックの間に搭載された。

81mm迫撃砲M1は、フランスのブラン社製の81mm迫撃砲をアメリカでライセンス生産したもので、口径81.2mm、砲身長1,210mm、重量61.5kgである。
M4自走迫撃砲に搭載した状態で俯仰角は＋40〜＋85度（3段変更）、旋回角は左右各7度ずつ、M43A1榴弾（重量3.12kg）を用いた場合砲口初速227m/秒、最大射程3,010mとなっていた。
他にもM56重榴弾（重量4.82kg）、M57白燐弾（重量4.88kg）などを発射することができた。

発射速度は持続射撃で18発/分、緊急射撃なら30〜35発/分で撃つことができた。
81mm迫撃砲M1の射撃は通常は地面に降ろしてから行うこととされていたが、緊急時における車上からの射撃を可能とするために底盤の固定具が設けられていた。
81mm迫撃砲M1は通常は後ろ向きに搭載されたがこの方式は乗員に不評で、一部の車両では底盤の向きを変えて前方へ射撃できるように改造していた。

また副武装として、車内の壁面上部に取り付けられたスケートレールに、ユタ州オグデンのブラウニング火器製作所製の7.62mm機関銃M1919A4を1挺装備していた。
本車は1940年10月に「M4 81mm自走迫撃砲」（81mm Mortar Motor Carriage M4）として制式化され、1942年10月までにオハイオ州クリーヴランドのホワイト自動車で572両が生産された。

M4自走迫撃砲は、機甲歩兵および戦車大隊の本部中隊に4両が配備された。
しかし、機甲部隊はM4自走迫撃砲の車上射撃に制約があることに不満を持ち、これをあまり使おうとしなかった。
M4自走迫撃砲の生産が終了した1942年10月には、M3ハーフトラックの車体に81mm迫撃砲M1を搭載したT19自走迫撃砲の開発が始まっていたが、まだ量産段階には達していなかったため、それまでの繋ぎとしてM4自走迫撃砲の改良型が製作されることになった。

これがM4A1自走迫撃砲で、迫撃砲の発射衝撃による金属疲労に耐えられるようにシャシーが強化され、迫撃砲の旋回角を拡げるために底盤の固定方法が改良されていた。
M4A1自走迫撃砲は1942年12月に制式化され、1943年5〜10月にかけてホワイト自動車で600両が生産された。
M4/M4A1自走迫撃砲はアメリカ軍のみで用いられ、レンドリース供与には回されなかった。