Sie können auch verwenden Bereich (len (lst)) auf knapp über die Indizes der Liste iterieren:
q_values_table = {}
light = ['red', 'green']
v_actions = ['None','forward','left','right']
for i in range(len(v_actions)):
for j in range(len(light)):
for k in range(len(v_actions)):
for l in range(len(v_actions)):
for m in range(len(v_actions)):
q_values_table[v_actions[i],light[j],v_actions[k],v_actions[l],v_actions[m]] = None
print q_values_table
Dies ist etwas ausführlicher als die anderen vorgestellten Optionen, scheint aber das zu sein, was Sie vorhatten: iterieren Sie über die Indizes einer Liste.