Jak przekonwertować tablice numpy na wektor <int> i (odniesienie) za pomocą SWIG

10

Mój cel:

Utwórz 3 tablice numpy w Pythonie (2 z nich zostaną zainicjowane konkretnymi wartościami), a następnie wyślij wszystkie trzy z nich poprzez swig do funkcji c ++ jako odwołania do wektorów (ma to na celu uniknięcie kopiowania danych i utraty wydajności). W funkcji c ++ dodaj 2 tablice i umieść ich sumę w 3. tablicy.

vec_ref.h

#include <vector>
#include <iostream>

void add_vec_ref(std::vector<int>& dst, std::vector<int>& src1, std::vector<int>& src2);

vec_ref.cpp

#include "vec_ref.h"
#include <cstring> // need for size_t
#include <cassert>

void add_vec_ref(std::vector<int>& dst, std::vector<int>& src1, std::vector<int>& src2) {
    std::cout << "inside add_vec_ref" << std::endl;
    assert(src1.size() == src2.size());
    dst.resize(src1.size());

    for (size_t i = 0; i < src1.size(); i++) {
        dst[i] = src1[i] + src2[i];
    }
}

vec_ref.i

%module vec_ref
%{
    #define SWIG_FILE_WITH_INIT
    #include "vec_ref.h"
%}

%include "numpy.i"
%init %{
import_array();
%}

%include "std_vector.i"
%template(vecInt) std::vector<int>;
// %template(vecIntRef) std::vector<int> &; 

// %apply (std::vector<int> * INPLACE_ARRAY1, int DIM1) {(std::vector<int> * dst, int a),(std::vector<int> * src1, int b),(std::vector<int> * src2, int c)};
// %apply (std::vector<int> * INPLACE_ARRAY1) {(std::vector<int> * dst),(std::vector<int> * src1),(std::vector<int> * src2)};
// %apply (std::vector<int> & INPLACE_ARRAY1) {(std::vector<int> & dst),(std::vector<int> & src1),(std::vector<int> & src2)};
// %apply (std::vector<int> & INPLACE_ARRAY1, int DIM1) {(std::vector<int> & dst, int a),(std::vector<int> & src1, int b),(std::vector<int> & src2, int c)};

%include "vec_ref.h"

Makefile

all:
    rm -f *.so *.o *_wrap.* *.pyc *.gch vec_ref.py
    swig -c++ -python vec_ref.i
    g++ -O0 -g3 -fpic -c vec_ref_wrap.cxx vec_ref.h vec_ref.cpp -I/home/lmckeereid/tools/anaconda3/pkgs/python-3.7.3-h0371630_0/include/python3.7m/
    g++ -O0 -g3 -shared vec_ref_wrap.o vec_ref.o -o _vec_ref.so

tester.py

import vec_ref as vec
import numpy as np

a = np.array([1,2,3], dtype=np.intc)
b = np.array([4,5,6], dtype=np.intc)
c = np.zeros(len(a), dtype=np.intc)

print('---Before---\na:', a)
print('b:', b)
print('c:', c)

vec.add_vec_ref(c,a,b)

print('---After---\na:', a)
print('b:', b)
print('c:', c)

Wynik:

---Before---
a: [1 2 3]
b: [4 5 6]
c: [0 0 0]
Traceback (most recent call last):
  File "tester.py", line 12, in <module>
    vec.add_vec_ref(c,a,b)
TypeError: in method 'add_vec_ref', argument 1 of type 'std::vector< int,std::allocator< int > > &'

Próbowałem wszystkich skomentowanych dyrektyw% Apply i% template znalezionych w vec_ref.i, ale one nie działały.

Czy są jakieś mapy typów, które powinienem zawierać, a których nie jestem?

Odmienność
źródło
3
To nie jest możliwe. W C ++ możesz tworzyć odniesienia tylko do obiektów, które faktycznie istnieją. Jednak tablice numpy nie zawierają std::vector.
pschill
Powiązane: stackoverflow.com/questions/51466189/…
Gabriel Devillers

Odpowiedzi:

3

Zgadzam się z @pschill: nie można uzyskać std :: vector bez kopiowania danych.

Jedną z możliwości jest użycie std::spanszablonu klasy (wprowadzonego w C ++ 20) lub podobnego spanszablonu klasy zdefiniowanego w bibliotece.

Tworzenie std::span<int>zapewni widok istniejących danych w numpytablicy, i zapewnia wiele użytecznych funkcji członków (np operator[], iteratory front(), back()itd) w C ++.

Utworzenie zakresu nigdy nie skopiowałoby danych z tablicy numpy.

NicholasM
źródło
Dzięki za dostarczenie czegoś, co uważam za najlepszą alternatywę (oprócz budowania własnej klasy).
Inność
Jeśli naprawdę chciałbym użyć (i zmodyfikować) std :: vector w mojej funkcji C ++ bez kopiowania, jakie miałbym alternatywy? Surowy wskaźnik do std :: vector? shared_ptr na std :: vector?
Gabriel Devillers
@GabrielDevillers, jeśli rozumiem twoje pytanie, jeśli wektor istnieje i chcesz go zmodyfikować w swojej funkcji, zaleciłbym użycie odwołania do wektora: std::vector<T>& v
NicholasM
@NicholasM Miałem na myśli interfejs API, który chcę owinąć za pomocą SWIG. Pytam, ponieważ rozumiem, że SWIG nie może zawrzeć non-const odniesienia do wektorów.
Gabriel Devillers,
Przepraszam. Sugeruję utworzenie nowego pytania, które koncentruje się na konkretnym przypadku.
NicholasM
0

Możesz odwołać się do biblioteki faiss na Facebooku, która osiąga to, co chcesz osiągnąć, w bardziej elegancki sposób:

Specyficzne dla Pythona: interfejs wskaźnika Cpy <-> C ++ (wektor)

Możesz zobaczyć kod na stronie Github .

王永欣
źródło