Die Idee, einen Computer zu bauen, der in der Lage ist Tic-Tac-Toe zu spielen, kam Donald Michie in den 1960er Jahren. Da ihm zu dieser Zeit kein Computer zur Verfügung stand, verwirklichte er seine Idee mit etwa 304 Streichholzschachteln und zahlreichen Perlen. Er nannte seine Maschine MENACE. Das Besondere an MENACE ist ihr Lernalgorithmus, mit dem sie in der Lage ist, Tic-Tac-Toe zu spielen. Die Funktionsweise von MENACE stellt eine frühe Form des Reinforcement Learning dar. Hierbei lernt MENACE durch Interaktion mit ihrer Umgebung (Tic-Tac-Toe). Zu Beginn sind alle möglichen Spielzüge von MENACE gleich wahrscheinlich. Aber je mehr Spiele sie spielt, desto wahrscheinlicher wählt sie die erfolgversprechenden Züge aus. Dies basiert auf einem Belohnungssystem.