Jak przekazać ciąg do podprocesu.Popen (używając argumentu stdin)?

Jeśli wykonam następujące czynności:

import subprocess
from cStringIO import StringIO
subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=StringIO('one\ntwo\nthree\nfour\nfive\nsix\n')).communicate()[0]

Dostaję:

Traceback (most recent call last):
  File "<stdin>", line 1, in ?
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 533, in __init__
    (p2cread, p2cwrite,
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 830, in _get_handles
    p2cread = stdin.fileno()
AttributeError: 'cStringIO.StringI' object has no attribute 'fileno'

Najwyraźniej obiekt cStringIO.StringIO nie kwakuje wystarczająco blisko kaczki pliku, aby pasował do podprocesu.Popen. Jak obejść ten problem?

Popen.communicate() dokumentacja:

Zauważ, że jeśli chcesz wysłać dane do wejścia standardowego procesu, musisz utworzyć obiekt Popen o parametrze stdin = PIPE. Podobnie, aby uzyskać wynik inny niż None w krotce wynikowej, musisz również podać stdout = PIPE i / lub stderr = PIPE.

Zastępowanie os.popen *

    pipe = os.popen(cmd, 'w', bufsize)
    # ==>
    pipe = Popen(cmd, shell=True, bufsize=bufsize, stdin=PIPE).stdin

Ostrzeżenie: Użyj komunikacji () zamiast stdin.write (), stdout.read () lub stderr.read (), aby uniknąć zakleszczeń spowodowanych zapełnianiem się i blokowaniem procesu potomnego przez inne bufory potoków systemu operacyjnego.

Twój przykład można zapisać następująco:

from subprocess import Popen, PIPE, STDOUT

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
grep_stdout = p.communicate(input=b'one\ntwo\nthree\nfour\nfive\nsix\n')[0]
print(grep_stdout.decode())
# -> four
# -> five
# ->

W bieżącej wersji Python 3 można użyć subprocess.run, aby przekazać dane wejściowe jako ciąg znaków do polecenia zewnętrznego i uzyskać jego status wyjścia, a dane wyjściowe jako ciąg znaków z powrotem w jednym wywołaniu:

#!/usr/bin/env python3
from subprocess import run, PIPE

p = run(['grep', 'f'], stdout=PIPE,
        input='one\ntwo\nthree\nfour\nfive\nsix\n', encoding='ascii')
print(p.returncode)
# -> 0
print(p.stdout)
# -> four
# -> five
# -> 

Zrozumiałem to obejście:

>>> p = subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=subprocess.PIPE)
>>> p.stdin.write(b'one\ntwo\nthree\nfour\nfive\nsix\n') #expects a bytes type object
>>> p.communicate()[0]
'four\nfive\n'
>>> p.stdin.close()

Czy jest lepszy?

Jestem trochę zaskoczony, że nikt nie zasugerował stworzenia fajki, co jest moim zdaniem najprostszym sposobem na przekazanie łańcucha do standardowego podprocesu:

read, write = os.pipe()
os.write(write, "stdin input here")
os.close(write)

subprocess.check_call(['your-command'], stdin=read)

Jest piękne rozwiązanie, jeśli używasz języka Python 3.4 lub nowszego. Użyj inputargumentu zamiast stdinargumentu, który akceptuje argument bajtów:

output = subprocess.check_output(
    ["sed", "s/foo/bar/"],
    input=b"foo",
)

Działa to dla check_outputa run, ale nie calllub check_callz jakiegoś powodu.

Korzystam z Python3 i odkryłem, że musisz zakodować swój ciąg, zanim będziesz mógł przekazać go do standardowego wejścia:

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=PIPE)
out, err = p.communicate(input='one\ntwo\nthree\nfour\nfive\nsix\n'.encode())
print(out)

Najwyraźniej obiekt cStringIO.StringIO nie kwakuje wystarczająco blisko kaczki pliku, aby dopasować się do podprocesu.

Obawiam się że nie. Potok jest koncepcją niskiego poziomu systemu operacyjnego, więc absolutnie wymaga obiektu pliku reprezentowanego przez deskryptor pliku na poziomie systemu operacyjnego. Twoje obejście jest właściwe.

from subprocess import Popen, PIPE
from tempfile import SpooledTemporaryFile as tempfile
f = tempfile()
f.write('one\ntwo\nthree\nfour\nfive\nsix\n')
f.seek(0)
print Popen(['/bin/grep','f'],stdout=PIPE,stdin=f).stdout.read()
f.close()

Uważaj, ponieważ Popen.communicate(input=s)może być kłopotliwy, jeśli sjest zbyt duży, ponieważ najwyraźniej proces nadrzędny buforuje go przed rozwidleniem podprocesu potomnego, co oznacza, że ​​potrzebuje „dwukrotnie więcej” zużytej pamięci w tym momencie (przynajmniej zgodnie z wyjaśnieniem „pod maską” i powiązaną dokumentację tutaj ). W moim szczególnym przypadku sbył to generator, który najpierw został w pełni rozwinięty, a dopiero potem napisany w nim, stdinaby proces nadrzędny był ogromny tuż przed spawnowaniem dziecka i nie pozostawiono pamięci, aby go rozwidlić:

File "/opt/local/stow/python-2.7.2/lib/python2.7/subprocess.py", line 1130, in _execute_child self.pid = os.fork() OSError: [Errno 12] Cannot allocate memory

"""
Ex: Dialog (2-way) with a Popen()
"""

p = subprocess.Popen('Your Command Here',
                 stdout=subprocess.PIPE,
                 stderr=subprocess.STDOUT,
                 stdin=PIPE,
                 shell=True,
                 bufsize=0)
p.stdin.write('START\n')
out = p.stdout.readline()
while out:
  line = out
  line = line.rstrip("\n")

  if "WHATEVER1" in line:
      pr = 1
      p.stdin.write('DO 1\n')
      out = p.stdout.readline()
      continue

  if "WHATEVER2" in line:
      pr = 2
      p.stdin.write('DO 2\n')
      out = p.stdout.readline()
      continue
"""
..........
"""

out = p.stdout.readline()

p.wait()

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
p.stdin.write('one\n')
time.sleep(0.5)
p.stdin.write('two\n')
time.sleep(0.5)
p.stdin.write('three\n')
time.sleep(0.5)
testresult = p.communicate()[0]
time.sleep(0.5)
print(testresult)

W Pythonie 3.7+ wykonaj następujące czynności:

my_data = "whatever you want\nshould match this f"
subprocess.run(["grep", "f"], text=True, input=my_data)

i prawdopodobnie będziesz chciał dodać, capture_output=Trueaby uzyskać wynik uruchomienia polecenia jako ciąg.

W starszych wersjach Pythona, wymienić text=Truez universal_newlines=True:

subprocess.run(["grep", "f"], universal_newlines=True, input=my_data)