第1次世界大戦後、各国とも軍事予算が大幅削減された上1929年からの大不況も加わって、新型車両の開発には特に経済性が重視されるようになった。
この経済性の面を徹底的に追求したのが、イギリスのジファード・L・Q・マーテルやジョン・V・カーデンが開発した2名乗り、全備重量2t程度の豆戦車である。
特にその最終版のカーデン・ロイド機関銃運搬車Mk.VIは、世界中で模倣された。

日本でもカーデン・ロイドMk.VIを輸入し、1931年3〜10月まで歩兵学校に交付してその実用性について研究を行った（一部は騎兵学校にも交付された）。
その結果に基づき、陸軍技術本部では装軌式牽引車の開発案をまとめた。
基本的にはカーデン・ロイドMk.VIと同様に被牽引車を持ち、前線への弾薬補充を行う車両とするが、車体全体に装甲を施し、自衛用の機関銃を旋回砲塔に装備する。

サスペンションは、新考案の横向きコイル・スプリング（螺旋ばね）によるものとすることが決定された。
これは第1次世界大戦型戦車の縦置きコイル・スプリングに比べ、有効伸縮長をはるかに長くできた。
1932年に技術本部で設計が開始され、東京瓦斯電気工業に試作車を発注した。
試作車は1933年に完成し「TK車」と呼ばれたが、これは「特殊牽引車」の略称である。
この試作車は後の生産型に比べて転輪が小型で、排気管の形状が違っていた。

実用試験の後、北満試験を経て1934年に制式化された。
なお、仮制式時には「九四式装甲牽引車」が正式な呼称であったが、制式時に「九四式軽装甲車」と変更されている。
一方、被牽引車（装軌式トレイラー）の方は1933年中頃に東京瓦斯電気工業に試作車が発注され、同年12月には完成し、翌34年に「九四式四分の三瓲積被牽引車」として制式化された。

九四式軽装甲車の生産は1935年から開始され、同年300両、翌36年246両、37年200両と大量に生産された。
1938年以降は生産が絞られ、1940年の2両で生産が終了した。
総生産数は840両余りであるが、この台数は牽引車のものである。
九四式軽装甲車は実戦では主に豆戦車として使われたため、被牽引車は少数が生産されたに留まった。

本車の生産は東京瓦斯電気工業を中心として行われ、1936年からは誘導輪を大型化し、位置を接地面まで下げて履帯の接地長を増加させ、機動性の向上を図った改良型に生産が移行した。
この改良型は「改修九四式軽装甲車」と呼ばれており、改良によって高速走行時の安定性が向上し、走行間射撃が容易になった。
また接地長が約78cm増加したことによって接地圧が低下し、不整地走行性能も向上した。

一部の車両では、武装を機関銃から九四式37mm戦車砲に換装したものもあった。
部隊配属は1935年から開始され、1937年頃には戦車中隊内の1個小隊は軽装甲車で編制され、さらに独立軽装甲車中隊も続々と編制されるようになった。
各歩兵師団内に軽装甲車訓練所が設けられたのも、この時期である。
1937年に日中戦争が勃発すると、合計7個の独立軽装甲車中隊が動員された。

同年10月に南京攻略作戦が開始され、この作戦には戦車第五大隊の他に独立軽装甲車中隊が2個参加した。
途中、牛首山で対戦車砲の待ち伏せ攻撃によって一度に4両を失うという事件もあったが、常に歩兵と共に進撃し南京陥落の立役者となった。
翌38年の広東攻略には3個の独立軽装甲車中隊が参加し、後の戦車連隊並みの機甲部隊として活躍した。

1937年12月には、軽装甲車中隊は13個にも達した。
しかし、1939年10月にはこれら独立軽装甲車中隊は戦車連隊に昇格し、九四式軽装甲車も徐々にリタイアした。
他方、騎兵の機械化に伴い師団騎兵が捜索隊（または捜索連隊）に切り替えられるようになると、その中に軽装甲車中隊（7〜16両編制）が設けられた。

各師団では唯一の師団固有の装甲車両として、捜索・連絡任務の他に軽戦用豆戦車として重宝された。
これら機甲捜索部隊は1937年から編制が始まり、1939年以降本格的になる。
しかしこの頃には、後継車両である九七式軽装甲車が配備され始めた。
九四式軽装甲車の車体後部には大型の四角形のハッチがあり、乗員はここから容易に乗降できた。

これは、牽引車として後方に被牽引車を連結するための配慮であり、運搬する弾薬の積み降ろしの便を考えたものであったが、まさにこの特徴が買われて珍しい改造型も作られた。
それは、皇居内で空襲下の皇族の移動に用いる豪華内装型や、東京から信州松代の地下大本営予定地まで皇族を安全に移動させる特注型で、いずれも1945年に準備されていた。
小型で敵機から身を隠し易いことも、選ばれた理由であった。

九四式軽装甲車の砲塔には旋回ハンドルが無く、車長が機関銃に肩を押し当てて旋回した。
九四式軽装甲車の初期型には、十一年式軽機関銃ベースの九一式車載軽機関銃（口径6.5mm）が搭載されたが、この機関銃は給弾機構が複雑で弾丸の突っ込みなどの故障も多く、敵前で故障を起こして逆に損害を被るようなことがあり、それに加えて口径が6.5mmでは威力が小さいことも指摘されていた。

このため、有名なチェコのブルノ造兵廠で作られていた7.92mm軽機関銃ZB26を参考に、その給弾、自動機構を利用した九七式車載重機関銃（口径7.7mm）に変更した。
この機関銃は1937年に制式採用となり、中国に送られたほとんどの九四式軽装甲車の武装として、また各軽、中戦車の補助武装としてその後広く装備された。

さらに、それまでの九一式車載軽機関銃には装甲ジャケットが無かったが、戦訓によって九七式車載重機関銃には、車外に出ている銃身部に保護装甲ジャケットが被せられ、また照準眼鏡には射手の眼を発射の反動から守るために、厚いゴム製のクッションが取り付けられている。
ちなみに九七式車載重機関銃は、脚を付ければ車外に出て通常の機関銃のように地上射撃も可能であり、九四式軽装甲車の携行弾数は1,980発であった。

これらの車載機関銃は本来が自衛用で持続発射能力が無いため、散開して逃げる中国兵を後ろから射撃してもほとんど効果が無かった。
九四式軽装甲車は軽量であるため、機関銃のプラットフォームとしては安定性が不足していた。
日本軍での機関銃の使い方は、アメリカ軍のような弾丸をばら撒く制圧射撃ではなく、精密な狙撃であったからこの欠点は大きな問題であった。

九四式軽装甲車の砲塔は、曲面の装甲板で構成されていた。
砲塔の内側には石綿が貼られていたが、これは防熱用であった。
九四式軽装甲車の設計に当たっては、全周に渡って7.7mm機関銃弾に抗堪するのを目標としていた。
実弾射撃の結果では後部ドアは、7.7mm機関銃の徹甲弾に射距離約300mで貫徹された。

12.7mm重機関銃なら約600mから、正面・側面・後面・砲塔を貫徹された。
しかし当時の陸軍の実験は、戦場の正しいシミュレーションにはなっていなかったようである。
実際には、中国兵の小銃弾はこの砲塔の側面に直角に当たれば貫徹し、乗員を負傷させたからである。

中国大陸で戦車隊が最も苦しんだのが悪路とクリークであるが、九四式軽装甲車は履帯幅の木材2本あれば簡単に渡河でき、戦車やトラックのように歩兵に遅れることは無かった。
軽快な空冷ガソリン・エンジンも、成功の大きな要因であった。
このエンジンは当初ドイツからの輸入であったが、後に国産化された。
隣に操縦手が座っているので、車外に出ないでも調整可能だった。

出力については「3名で押さえたら発進できない」といわれたくらいで、不足感は否めなかった。
過度の小型軽量化による問題もあった。
履帯の接地長が短く、しかも車体が軽いのでピッチングが激しく、超壕・超堤能力が劣った。
改修型も作られたが、この点は解決しなかった。

戦闘車両として安定した性能を発揮するには、ある程度の車体サイズが必要だったのである。
九四式軽装甲車のサスペンションは、転輪4個を2個一組にしてベルクランクに繋ぎ、それを圧縮スプリングで支える方式を採った。
この方式は、本車以降の全ての日本軍戦車に採用されることになる。

履帯は、外側ガイド方式であった。
これは本車のみの特徴で、他の日本軍戦車には見られない。
もっともそのためか、急旋回をすると履帯が外れることが多かったという。
作戦半径に関しては北支戦線では、トラックから降ろした所から400〜500kmは自走できたという証言がある。

なおトラックに積んだ時の安全速度は歩兵と同じ4km/hで、それでも転覆するので戦車第八連隊では1938年にトラック運搬を禁止したという。
また、エンジンをガソリンからディーゼルに換装した改造車も製作されており、結局生産には至らなかったものの、その後に開発された九七式軽装甲車にデータを提供している。