Czy mogę przekierować standardowe wyjście w Pythonie do jakiegoś bufora ciągów?

Używam Pythona ftplibdo napisania małego klienta FTP, ale niektóre funkcje w pakiecie nie zwracają danych wyjściowych w postaci ciągu, ale drukują do stdout. Chcę przekierować stdoutdo obiektu, z którego będę mógł odczytać dane wyjściowe.

Wiem, że stdoutmożna przekierować do dowolnego zwykłego pliku za pomocą:

stdout = open("file", "a")

Ale wolę metodę, która nie wykorzystuje dysku lokalnego.

Szukam czegoś takiego BufferedReaderw Javie, które można wykorzystać do zawijania buforu w strumień.

from cStringIO import StringIO # Python3 use: from io import StringIO
import sys

old_stdout = sys.stdout
sys.stdout = mystdout = StringIO()

# blah blah lots of code ...

sys.stdout = old_stdout

# examine mystdout.getvalue()

W Pythonie 3.4 jest funkcja contextlib.redirect_stdout () :

import io
from contextlib import redirect_stdout

with io.StringIO() as buf, redirect_stdout(buf):
    print('redirected')
    output = buf.getvalue()

Oto przykład kodu, który pokazuje, jak zaimplementować go w starszych wersjach Pythona .

Aby dodać do powyższej odpowiedzi Neda: możesz użyć tego do przekierowania wyjścia do dowolnego obiektu, który implementuje metodę write (str) .

Można to wykorzystać z dobrym skutkiem do „przechwytywania” wyjścia standardowego w aplikacji GUI.

Oto głupi przykład w PyQt:

import sys
from PyQt4 import QtGui

class OutputWindow(QtGui.QPlainTextEdit):
    def write(self, txt):
        self.appendPlainText(str(txt))

app = QtGui.QApplication(sys.argv)
out = OutputWindow()
sys.stdout=out
out.show()
print "hello world !"

Począwszy od Pythona 2.6, jako zamiennik można użyć dowolnego elementu implementującego TextIOBaseAPI z modułu io. To rozwiązanie umożliwia również używanie sys.stdout.buffer.write()w Pythonie 3 do zapisywania (już) zakodowanych ciągów bajtów na standardowe wyjście (patrz stdout w Pythonie 3 ). Używanie StringIOnie zadziałałoby wtedy, ponieważ ani jedno, sys.stdout.encodingani drugie nie sys.stdout.bufferbyłoby dostępne.

Rozwiązanie wykorzystujące TextIOWrapper:

import sys
from io import TextIOWrapper, BytesIO

# setup the environment
old_stdout = sys.stdout
sys.stdout = TextIOWrapper(BytesIO(), sys.stdout.encoding)

# do something that writes to stdout or stdout.buffer

# get output
sys.stdout.seek(0)      # jump to the start
out = sys.stdout.read() # read output

# restore stdout
sys.stdout.close()
sys.stdout = old_stdout

To rozwiązanie działa dla Python 2> = 2.6 i Python 3.

Należy pamiętać, że nasz nowy sys.stdout.write()akceptuje tylko ciągi znaków Unicode i sys.stdout.buffer.write()tylko ciągi bajtów. Może tak nie być w przypadku starego kodu, ale często ma to miejsce w przypadku kodu, który jest tworzony w celu uruchomienia w Pythonie 2 i 3 bez zmian, z czego często korzysta sys.stdout.buffer.

Możesz zbudować niewielką odmianę, która akceptuje ciągi znaków Unicode i bajtów dla write():

class StdoutBuffer(TextIOWrapper):
    def write(self, string):
        try:
            return super(StdoutBuffer, self).write(string)
        except TypeError:
            # redirect encoded byte strings directly to buffer
            return super(StdoutBuffer, self).buffer.write(string)

Nie musisz ustawiać kodowania bufora sys.stdout.encoding, ale to pomaga, gdy używasz tej metody do testowania / porównywania danych wyjściowych skryptu.

Ta metoda przywraca plik sys.stdout, nawet jeśli istnieje wyjątek. Pobiera również dane wyjściowe przed wyjątkiem.

import io
import sys

real_stdout = sys.stdout
fake_stdout = io.BytesIO()   # or perhaps io.StringIO()
try:
    sys.stdout = fake_stdout
    # do what you have to do to create some output
finally:
    sys.stdout = real_stdout
    output_string = fake_stdout.getvalue()
    fake_stdout.close()
    # do what you want with the output_string

Przetestowano w Pythonie 2.7.10 przy użyciu io.BytesIO()

Przetestowano w Pythonie 3.6.4 przy użyciu io.StringIO()

Bob, dodany do sprawy, jeśli uważasz, że cokolwiek ze zmodyfikowanego / rozszerzonego eksperymentowania z kodem może stać się interesujące w jakimkolwiek sensie, w przeciwnym razie możesz to usunąć

^{Informacje o reklamie ... kilka uwag z rozszerzonych eksperymentów podczas znajdowania pewnych wykonalnych mechanizmów do "przechwytywania" wyników, skierowanych numexpr.print_versions()bezpośrednio do <stdout>(po potrzebie wyczyszczenia GUI i zebrania szczegółów w raporcie debugowania)}

# THIS WORKS AS HELL: as Bob Stein proposed years ago:
#  py2 SURPRISEDaBIT:
#
import io
import sys
#
real_stdout = sys.stdout                        #           PUSH <stdout> ( store to REAL_ )
fake_stdout = io.BytesIO()                      #           .DEF FAKE_
try:                                            # FUSED .TRY:
    sys.stdout.flush()                          #           .flush() before
    sys.stdout = fake_stdout                    #           .SET <stdout> to use FAKE_
    # ----------------------------------------- #           +    do what you gotta do to create some output
    print 123456789                             #           + 
    import  numexpr                             #           + 
    QuantFX.numexpr.__version__                 #           + [3] via fake_stdout re-assignment, as was bufferred + "late" deferred .get_value()-read into print, to finally reach -> real_stdout
    QuantFX.numexpr.print_versions()            #           + [4] via fake_stdout re-assignment, as was bufferred + "late" deferred .get_value()-read into print, to finally reach -> real_stdout
    _ = os.system( 'echo os.system() redir-ed' )#           + [1] via real_stdout                                 + "late" deferred .get_value()-read into print, to finally reach -> real_stdout, if not ( _ = )-caught from RET-d "byteswritten" / avoided from being injected int fake_stdout
    _ = os.write(  sys.stderr.fileno(),         #           + [2] via      stderr                                 + "late" deferred .get_value()-read into print, to finally reach -> real_stdout, if not ( _ = )-caught from RET-d "byteswritten" / avoided from being injected int fake_stdout
                       b'os.write()  redir-ed' )#  *OTHERWISE, if via fake_stdout, EXC <_io.BytesIO object at 0x02C0BB10> Traceback (most recent call last):
    # ----------------------------------------- #           ?                              io.UnsupportedOperation: fileno
    #'''                                                    ? YET:        <_io.BytesIO object at 0x02C0BB10> has a .fileno() method listed
    #>>> 'fileno' in dir( sys.stdout )       -> True        ? HAS IT ADVERTISED,
    #>>> pass;            sys.stdout.fileno  -> <built-in method fileno of _io.BytesIO object at 0x02C0BB10>
    #>>> pass;            sys.stdout.fileno()-> Traceback (most recent call last):
    #                                             File "<stdin>", line 1, in <module>
    #                                           io.UnsupportedOperation: fileno
    #                                                       ? BUT REFUSES TO USE IT
    #'''
finally:                                        # == FINALLY:
    sys.stdout.flush()                          #           .flush() before ret'd back REAL_
    sys.stdout = real_stdout                    #           .SET <stdout> to use POP'd REAL_
    sys.stdout.flush()                          #           .flush() after  ret'd back REAL_
    out_string = fake_stdout.getvalue()         #           .GET string           from FAKE_
    fake_stdout.close()                         #                <FD>.close()
    # +++++++++++++++++++++++++++++++++++++     # do what you want with the out_string
    #
    print "\n{0:}\n{1:}{0:}".format( 60 * "/\\",# "LATE" deferred print the out_string at the very end reached -> real_stdout
                                     out_string #                   
                                     )
'''
PASS'd:::::
...
os.system() redir-ed
os.write()  redir-ed
/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\
123456789
'2.5'
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Numexpr version:   2.5
NumPy version:     1.10.4
Python version:    2.7.13 |Anaconda 4.0.0 (32-bit)| (default, May 11 2017, 14:07:41) [MSC v.1500 32 bit (Intel)]
AMD/Intel CPU?     True
VML available?     True
VML/MKL version:   Intel(R) Math Kernel Library Version 11.3.1 Product Build 20151021 for 32-bit applications
Number of threads used by default: 4 (out of 4 detected cores)
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\
>>>

EXC'd :::::
...
os.system() redir-ed
/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\
123456789
'2.5'
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Numexpr version:   2.5
NumPy version:     1.10.4
Python version:    2.7.13 |Anaconda 4.0.0 (32-bit)| (default, May 11 2017, 14:07:41) [MSC v.1500 32 bit (Intel)]
AMD/Intel CPU?     True
VML available?     True
VML/MKL version:   Intel(R) Math Kernel Library Version 11.3.1 Product Build 20151021 for 32-bit applications
Number of threads used by default: 4 (out of 4 detected cores)
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\

Traceback (most recent call last):
  File "<stdin>", line 9, in <module>
io.UnsupportedOperation: fileno
'''

Menedżer kontekstu dla python3:

import sys
from io import StringIO


class RedirectedStdout:
    def __init__(self):
        self._stdout = None
        self._string_io = None

    def __enter__(self):
        self._stdout = sys.stdout
        sys.stdout = self._string_io = StringIO()
        return self

    def __exit__(self, type, value, traceback):
        sys.stdout = self._stdout

    def __str__(self):
        return self._string_io.getvalue()

użyj w ten sposób:

>>> with RedirectedStdout() as out:
>>>     print('asdf')
>>>     s = str(out)
>>>     print('bsdf')
>>> print(s, out)
'asdf\n' 'asdf\nbsdf\n'

W Pythonie 3.6 nie ma modułów StringIOi cStringIO, więc powinieneś użyć ich io.StringIOzamiast tego, więc powinieneś zrobić to tak, jak pierwsza odpowiedź:

import sys
from io import StringIO

old_stdout = sys.stdout
old_stderr = sys.stderr
my_stdout = sys.stdout = StringIO()
my_stderr = sys.stderr = StringIO()

# blah blah lots of code ...

sys.stdout = self.old_stdout
sys.stderr = self.old_stderr

// if you want to see the value of redirect output, be sure the std output is turn back
print(my_stdout.getvalue())
print(my_stderr.getvalue())

my_stdout.close()
my_stderr.close()

Posługiwać się pipe() i napisz do odpowiedniego deskryptora pliku.

https://docs.python.org/library/os.html#file-descriptor-operations

Oto inne podejście do tego. contextlib.redirect_stdoutz io.StringIO()jak udokumentowane jest super, ale to wciąż nieco rozwlekły do codziennego użytku. Oto, jak uczynić go jednowierszowym przez podklasę contextlib.redirect_stdout:

import sys
import io
from contextlib import redirect_stdout

class capture(redirect_stdout):

    def __init__(self):
        self.f = io.StringIO()
        self._new_target = self.f
        self._old_targets = []  # verbatim from parent class

    def __enter__(self):
        self._old_targets.append(getattr(sys, self._stream))  # verbatim from parent class
        setattr(sys, self._stream, self._new_target)  # verbatim from parent class
        return self  # instead of self._new_target in the parent class

    def __repr__(self):
        return self.f.getvalue()  

Ponieważ __enter__ zwraca self, masz obiekt menedżera kontekstu dostępny po zakończeniu with block exits. Ponadto, dzięki metodzie __repr__, reprezentacja ciągu obiektu menedżera kontekstu jest w rzeczywistości stdout. Więc teraz masz,

with capture() as message:
    print('Hello World!')
print(str(message)=='Hello World!\n')  # returns True