python調用cboost
⑴ 如何實現 C/C++ 與 python 的通信
屬於混合編程的問題。較全面的介紹一下，不僅限於題主提出的問題。
以下討論中，Python指它的標准實現，即CPython（雖然不是很嚴格）
本文分4個部分
C/C++ 調用 Python （基礎篇）— 僅討論Python官方提供的實現方式
Python 調用 C/C++ （基礎篇）— 僅討論Python官方提供的實現方式
C/C++ 調用 Python （高級篇）— 使用 Cython
Python 調用 C/C++ （高級篇）— 使用 SWIG
練習本文中的例子，需要搭建Python擴展開發環境。具體細節見搭建Python擴展開發環境 - 蛇之魅惑 - 知乎專欄
1 C/C++ 調用 Python（基礎篇）
Python 本身就是一個C庫。你所看到的可執行體python只不過是個stub。真正的python實體在動態鏈接庫里實現，在Windows平台上，這個文件位於 %SystemRoot%\System32\python27.dll。
你也可以在自己的程序中調用Python，看起來非常容易：
//my_python.c
#include <Python.h>
int main(int argc, char *argv[])
{
Py_SetProgramName(argv[0]);
Py_Initialize();
PyRun_SimpleString("print 'Hello Python!'\n");
Py_Finalize();
return 0;
}
在Windows平台下，打開Visual Studio命令提示符，編譯命令為
cl my_python.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為
gcc my_python.c -o my_python -I/usr/include/python2.7/ -lpython2.7
在Mac OS X 下的編譯命令同上
產生可執行文件後，直接運行，結果為輸出
Hello Python!
Python庫函數PyRun_SimpleString可以執行字元串形式的Python代碼。
雖然非常簡單，但這段代碼除了能用C語言動態生成一些Python代碼之外，並沒有什麼用處。我們需要的是C語言的數據結構能夠和Python交互。
下面舉個例子，比如說，有一天我們用Python寫了一個功能特別強大的函數：
def great_function(a):
return a + 1
接下來要把它包裝成C語言的函數。我們期待的C語言的對應函數應該是這樣的：
int great_function_from_python(int a) {
int res;
// some magic
return res;
}
首先，復用Python模塊得做『import』，這里也不例外。所以我們把great_function放到一個mole里，比如說，這個mole名字叫 great_mole.py
接下來就要用C來調用Python了，完整的代碼如下：
#include <Python.h>
int great_function_from_python(int a) {
int res;
PyObject *pMole,*pFunc;
PyObject *pArgs, *pValue;
/* import */
pMole = PyImport_Import(PyString_FromString("great_mole"));
/* great_mole.great_function */
pFunc = PyObject_GetAttrString(pMole, "great_function");
/* build args */
pArgs = PyTuple_New(1);
PyTuple_SetItem(pArgs,0, PyInt_FromLong(a));
/* call */
pValue = PyObject_CallObject(pFunc, pArgs);
res = PyInt_AsLong(pValue);
return res;
}
從上述代碼可以窺見Python內部運行的方式：
所有Python元素，mole、function、tuple、string等等，實際上都是PyObject。C語言里操縱它們，一律使用PyObject *。
Python的類型與C語言類型可以相互轉換。Python類型XXX轉換為C語言類型YYY要使用PyXXX_AsYYY函數；C類型YYY轉換為Python類型XXX要使用PyXXX_FromYYY函數。
也可以創建Python類型的變數，使用PyXXX_New可以創建類型為XXX的變數。
若a是Tuple，則a[i] = b對應於 PyTuple_SetItem(a,i,b)，有理由相信還有一個函數PyTuple_GetItem完成取得某一項的值。
不僅Python語言很優雅，Python的庫函數API也非常優雅。
現在我們得到了一個C語言的函數了，可以寫一個main測試它
#include <Python.h>
int great_function_from_python(int a);
int main(int argc, char *argv[]) {
Py_Initialize();
printf("%d",great_function_from_python(2));
Py_Finalize();
}
編譯的方式就用本節開頭使用的方法。
在Linux/Mac OSX運行此示例之前，可能先需要設置環境變數：
bash:
export PYTHONPATH=.:$PYTHONPATH
csh:
setenv PYTHONPATH .:$PYTHONPATH
2 Python 調用 C/C++（基礎篇）
這種做法稱為Python擴展。
比如說，我們有一個功能強大的C函數：
int great_function(int a) {
return a + 1;
}
期望在Python里這樣使用：
>>> from great_mole import great_function
>>> great_function(2)
3
考慮最簡單的情況。我們把功能強大的函數放入C文件 great_mole.c 中。
#include <Python.h>
int great_function(int a) {
return a + 1;
}
static PyObject * _great_function(PyObject *self, PyObject *args)
{
int _a;
int res;
if (!PyArg_ParseTuple(args, "i", &_a))
return NULL;
res = great_function(_a);
return PyLong_FromLong(res);
}
static PyMethodDef GreateMoleMethods[] = {
{
"great_function",
_great_function,
METH_VARARGS,
""
},
{NULL, NULL, 0, NULL}
};
PyMODINIT_FUNC initgreat_mole(void) {
(void) Py_InitMole("great_mole", GreateMoleMethods);
}
除了功能強大的函數great_function外，這個文件中還有以下部分：
包裹函數_great_function。它負責將Python的參數轉化為C的參數（PyArg_ParseTuple），調用實際的great_function，並處理great_function的返回值，最終返回給Python環境。
導
出表GreateMoleMethods。它負責告訴Python這個模塊里有哪些函數可以被Python調用。導出表的名字可以隨便起，每一項有4
個參數：第一個參數是提供給Python環境的函數名稱，第二個參數是_great_function，即包裹函數。第三個參數的含義是參數變長，第四個
參數是一個說明性的字元串。導出表總是以{NULL, NULL, 0, NULL}結束。
導出函數initgreat_mole。這個的名字不是任取的，是你的mole名稱添加前綴init。導出函數中將模塊名稱與導出表進行連接。
在Windows下面，在Visual Studio命令提示符下編譯這個文件的命令是
cl /LD great_mole.c /o great_mole.pyd -IC:\Python27\include C:\Python27\libs\python27.lib
/LD 即生成動態鏈接庫。編譯成功後在當前目錄可以得到 great_mole.pyd（實際上是dll）。這個pyd可以在Python環境下直接當作mole使用。
在Linux下面，則用gcc編譯：
gcc -fPIC -shared great_mole.c -o great_mole.so -I/usr/include/python2.7/ -lpython2.7
在當前目錄下得到great_mole.so，同理可以在Python中直接使用。
本部分參考資料
《Python源碼剖析-深度探索動態語言核心技術》是系統介紹CPython實現以及運行原理的優秀教程。
Python 官方文檔的這一章詳細介紹了C/C++與Python的雙向互動Extending and Embedding the Python Interpreter
關於編譯環境，本文所述方法僅為出示原理所用。規范的方式如下：3. Building C and C++ Extensions with distutils
作為字典使用的官方參考文檔 Python/C API Reference Manual
用以上的方法實現C/C++與Python的混合編程，需要對Python的內部實現有相當的了解。接下來介紹當前較為成熟的技術Cython和SWIG。
3 C/C++ 調用 Python（使用Cython）
在
前面的小節中談到，Python的數據類型和C的數據類型貌似是有某種「一一對應」的關系的，此外，由於Python（確切的說是CPython）本身是
由C語言實現的，故Python數據類型之間的函數運算也必然與C語言有對應關系。那麼，有沒有可能「自動」的做替換，把Python代碼直接變成C代碼
呢？答案是肯定的，這就是Cython主要解決的問題。
安裝Cython非常簡單。Python 2.7.9以上的版本已經自帶easy_install：
easy_install -U cython
在Windows環境下依然需要Visual
Studio，由於安裝的過程需要編譯Cython的源代碼，故上述命令需要在Visual
Studio命令提示符下完成。一會兒使用Cython的時候，也需要在Visual
Studio命令提示符下進行操作，這一點和第一部分的要求是一樣的。
繼續以例子說明：
#great_mole.pyx
cdef public great_function(a,index):
return a[index]
這其中有非Python關鍵字cdef和public。這些關鍵字屬於Cython。由於我們需要在C語言中使用
「編譯好的Python代碼」，所以得讓great_function從外面變得可見，方法就是以「public」修飾。而cdef類似於Python的
def，只有使用cdef才可以使用Cython的關鍵字public。
這個函數中其他的部分與正常的Python代碼是一樣的。
接下來編譯 great_mole.pyx
cython great_mole.pyx
得到great_mole.h和great_mole.c。打開great_mole.h可以找到這樣一句聲明：
__PYX_EXTERN_C DL_IMPORT(PyObject) *great_function(PyObject *, PyObject *)
寫一個main使用great_function。注意great_function並不規定a是何種類型，它的
功能只是提取a的第index的成員而已，故使用great_function的時候，a可以傳入Python
String，也可以傳入tuple之類的其他可迭代類型。仍然使用之前提到的類型轉換函數PyXXX_FromYYY和PyXXX_AsYYY。
//main.c
#include <Python.h>
#include "great_mole.h"
int main(int argc, char *argv[]) {
PyObject *tuple;
Py_Initialize();
initgreat_mole();
printf("%s\n",PyString_AsString(
great_function(
PyString_FromString("hello"),
PyInt_FromLong(1)
)
));
tuple = Py_BuildValue("(iis)", 1, 2, "three");
printf("%d\n",PyInt_AsLong(
great_function(
tuple,
PyInt_FromLong(1)
)
));
printf("%s\n",PyString_AsString(
great_function(
tuple,
PyInt_FromLong(2)
)
));
Py_Finalize();
}
編譯命令和第一部分相同：
在Windows下編譯命令為
cl main.c great_mole.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為
gcc main.c great_mole.c -o main -I/usr/include/python2.7/ -lpython2.7
這個例子中我們使用了Python的動態類型特性。如果你想指定類型，可以利用Cython的靜態類型關鍵字。例子如下：
#great_mole.pyx
cdef public char great_function(const char * a,int index):
return a[index]
cython編譯後得到的.h里，great_function的聲明是這樣的：
__PYX_EXTERN_C DL_IMPORT(char) great_function(char const *, int);
很開心對不對！
這樣的話，我們的main函數已經幾乎看不到Python的痕跡了：
//main.c
#include <Python.h>
#include "great_mole.h"
int main(int argc, char *argv[]) {
Py_Initialize();
initgreat_mole();
printf("%c",great_function("Hello",2));
Py_Finalize();
}
在這一部分的最後我們給一個看似實用的應用（僅限於Windows）：
還是利用剛才的great_mole.pyx，准備一個dllmain.c：
#include <Python.h>
#include <Windows.h>
#include "great_mole.h"
extern __declspec(dllexport) int __stdcall _great_function(const char * a, int b) {
return great_function(a,b);
}
BOOL WINAPI DllMain(HINSTANCE hinstDLL,DWORD fdwReason,LPVOID lpReserved) {
switch( fdwReason ) {
case DLL_PROCESS_ATTACH:
Py_Initialize();
initgreat_mole();
break;
case DLL_PROCESS_DETACH:
Py_Finalize();
break;
}
return TRUE;
}
在Visual Studio命令提示符下編譯：
cl /LD dllmain.c great_mole.c -IC:\Python27\include C:\Python27\libs\python27.lib
會得到一個dllmain.dll。我們在Excel裡面使用它，沒錯，傳說中的Excel與Python混合編程：
參考資料：Cython的官方文檔，質量非常高：
Welcome to Cython』s Documentation
出自：Jerry Jho
⑵ python調用c函數
Python是解釋性語言, 底層就是用c實現的, 所以用python調用C是很容易的, 下面就總結一下各種調用的方法, 給出例子, 所有例子都在ubuntu9.10, python2.6下試過
1. Python 調用 C (base)
想在python中調用c函數, 如這兒的fact
#include <Python.h>
int fact(int n)
{
if (n <= 1)
return 1;
else
return n * fact(n - 1);
}
PyObject* wrap_fact(PyObject* self, PyObject* args)
{
int n, result;
if (! PyArg_ParseTuple(args, "i:fact", &n))
return NULL;
result = fact(n);
return Py_BuildValue("i", result);
}
static PyMethodDef exampleMethods[] =
{
{"fact", wrap_fact, METH_VARARGS, "Caculate N!"},
{NULL, NULL}
};
void initexample()
{
PyObject* m;
m = Py_InitMole("example", exampleMethods);
}
把這段代碼存為wrapper.c, 編成so庫,
gcc -fPIC wrapper.c -o example.so -shared -I/usr/include/python2.6 -I/usr/lib/python2.6/config
然後在有此so庫的目錄, 進入python, 可以如下使用
import example
example.fact(4)
2. Python 調用 C++ (base)
在python中調用C++類成員函數, 如下調用TestFact類中的fact函數,
#include <Python.h>
class TestFact{
public:
TestFact(){};
~TestFact(){};
int fact(int n);
};
int TestFact::fact(int n)
{
if (n <= 1)
return 1;
else
return n * (n - 1);
}
int fact(int n)
{
TestFact t;
return t.fact(n);
}
PyObject* wrap_fact(PyObject* self, PyObject* args)
{
int n, result;
if (! PyArg_ParseTuple(args, "i:fact", &n))
return NULL;
result = fact(n);
return Py_BuildValue("i", result);
}
static PyMethodDef exampleMethods[] =
{
{"fact", wrap_fact, METH_VARARGS, "Caculate N!"},
{NULL, NULL}
};
extern "C" //不加會導致找不到initexample
void initexample()
{
PyObject* m;
m = Py_InitMole("example", exampleMethods);
}
把這段代碼存為wrapper.cpp, 編成so庫,
g++ -fPIC wrapper.cpp -o example.so -shared -I/usr/include/python2.6 -I/usr/lib/python2.6/config
然後在有此so庫的目錄, 進入python, 可以如下使用
import example
example.fact(4)
3. Python 調用 C++ (Boost.Python)
Boost庫是非常強大的庫, 其中的python庫可以用來封裝c++被python調用, 功能比較強大, 不但可以封裝函數還能封裝類, 類成員.
http://dev.gameres.com/Program/Abstract/Building%20Hybrid%20Systems%20with%20Boost_Python.CHN.by.JERRY.htm
首先在ubuntu下安裝boost.python, apt-get install libboost-python-dev
#include <boost/python.hpp>
char const* greet()
{
return "hello, world";
}
BOOST_PYTHON_MODULE(hello)
{
using namespace boost::python;
def("greet", greet);
}
把代碼存為hello.cpp, 編譯成so庫
g++ hello.cpp -o hello.so -shared -I/usr/include/python2.5 -I/usr/lib/python2.5/config -lboost_python-gcc42-mt-1_34_1
此處python路徑設為你的python路徑, 並且必須加-lboost_python-gcc42-mt-1_34_1, 這個庫名不一定是這個, 去/user/lib查
然後在有此so庫的目錄, 進入python, 可以如下使用
>>> import hello
>>> hello.greet()
'hello, world'
4. python 調用 c++ (ctypes)
ctypes is an advanced ffi (Foreign Function Interface) package for Python 2.3 and higher. In Python 2.5 it is already included.
ctypes allows to call functions in dlls/shared libraries and has extensive facilities to create, access and manipulate simple and complicated C data types in Python - in other words: wrap libraries in pure Python. It is even possible to implement C callback functions in pure Python.
http://python.net/crew/theller/ctypes/
#include <Python.h>
class TestFact{
public:
TestFact(){};
~TestFact(){};
int fact(int n);
};
int TestFact::fact(int n)
{
if (n <= 1)
return 1;
else
return n * (n - 1);
}
extern "C"
int fact(int n)
{
TestFact t;
return t.fact(n);
}
將代碼存為wrapper.cpp不用寫python介面封裝, 直接編譯成so庫,
g++ -fPIC wrapper.cpp -o example.so -shared -I/usr/include/python2.6 -I/usr/lib/python2.6/config
進入python, 可以如下使用
>>> import ctypes
>>> pdll = ctypes.CDLL('/home/ubuntu/tmp/example.so')
>>> pdll.fact(4)
12
⑶ 如何利用python語言實現機器學習演算法
基於以下三個原因，我們選擇Python作為實現機器學習演算法的編程語言：(一) Python的語法清晰；(二) 易於操作純文本文件；(三) 使用廣泛，存在大量的開發文檔。 可執行偽代碼 Python具有清晰的語法結構，大家也把它稱作可執行偽代碼（executable pseudo-code）。默認安裝的Python開發環境已經附帶了很多高級數據類型，如列表、元組、字典、集合、隊列等，無需進一步編程就可以使用這些數據類型的操作。使用這些數據類型使得實現抽象的數學概念非常簡單。此外，讀者還可以使用自己熟悉的編程風格，如面向對象編程、面向過程編程、或者函數式編程。不熟悉Python的讀者可以參閱附錄A，該附錄詳細介紹了Python語言、Python使用的數據類型以及安裝指南。 Python語言處理和操作文本文件非常簡單，非常易於處理非數值型數據。Python語言提供了豐富的正則表達式函數以及很多訪問Web頁面的函數庫，使得從HTML中提取數據變得非常簡單直觀。 Python比較流行 Python語言使用廣泛，代碼範例也很多，便於讀者快速學習和掌握。此外，在開發實際應用程序時，也可以利用豐富的模塊庫縮短開發周期。 在科學和金融領域，Python語言得到了廣泛應用。SciPy和NumPy等許多科學函數庫都實現了向量和矩陣操作，這些函數庫增加了代碼的可讀性，學過線性代數的人都可以看懂代碼的實際功能。另外，科學函數庫SciPy和NumPy使用底層語言（C和Fortran）編寫，提高了相關應用程序的計算性能。本書將大量使用Python的NumPy。 Python的科學工具可以與繪圖工具Matplotlib協同工作。Matplotlib可以繪制二D、三D圖形，也可以處理科學研究中經常使用到的圖形，所以本書也將大量使用Matplotlib。 Python開發環境還提供了互動式shell環境，允許用戶開發程序時查看和檢測程序內容。 Python開發環境將來還會集成Pylab模塊，它將NumPy、SciPy和Matplotlib合並為一個開發環境。在本書寫作時，Pylab還沒有並入Python環境，但是不遠的將來我們肯定可以在Python開發環境找到它。 Python語言的特色 諸如MATLAB和Mathematica等高級程序語言也允許用戶執行矩陣操作，MATLAB甚至還有許多內嵌的特徵可以輕松地構造機器學習應用，而且MATLAB的運算速度也很快。然而MATLAB的不足之處是軟體費用太高，單個軟體授權就要花費數千美元。雖然也有適合MATLAB的第三方插件，但是沒有一個有影響力的大型開源項目。 Java和C等強類型程序設計語言也有矩陣數學庫，然而對於這些程序設計語言來說，最大的問題是即使完成簡單的操作也要編寫大量的代碼。程序員首先需要定義變數的類型，對於Java來說，每次封裝屬性時還需要實現getter和setter方法。另外還要記著實現子類，即使並不想使用子類，也必須實現子類方法。為了完成一個簡單的工作，我們必須花費大量時間編寫了很多無用冗長的代碼。Python語言則與Java和C完全不同，它清晰簡練，而且易於理解，即使不是編程人員也能夠理解程序的含義，而Java和C對於非編程人員則像天書一樣難於理解。 所有人在小學二年級已經學會了寫作，然而大多數人必須從事其他更重要的工作。 ——鮑比·奈特 也許某一天，我們可以在這句話中將「寫作」替代為「編寫代碼」，雖然有些人對於編寫代碼很感興趣，但是對於大多數人來說，編程僅是完成其他任務的工具而已。Python語言是高級編程語言，我們可以花費更多的時間處理數據的內在含義，而無須花費太多精力解決計算機如何得到數據結果。Python語言使得我們很容易表達自己的目的。 Python語言的缺點 Python語言唯一的不足是性能問題。Python程序運行的效率不如Java或者C代碼高，但是我們可以使用Python調用C編譯的代碼。這樣，我們就可以同時利用C和Python的優點，逐步地開發機器學習應用程序。我們可以首先使用Python編寫實驗程序，如果進一步想要在產品中實現機器學習，轉換成C代碼也不困難。如果程序是按照模塊化原則組織的，我們可以先構造可運行的Python程序，然後再逐步使用C代碼替換核心代碼以改進程序的性能。C++ Boost庫就適合完成這個任務，其他類似於Cython和PyPy的工具也可以編寫強類型的Python代碼，改進一般Python程序的性能。 如果程序的演算法或者思想有缺陷，則無論程序的性能如何，都無法得到正確的結果。如果解決問題的思想存在問題，那麼單純通過提高程序的運行效率，擴展用戶規模都無法解決這個核心問題。從這個角度來看，Python快速實現系統的優勢就更加明顯了，我們可以快速地檢驗演算法或者思想是否正確，如果需要，再進一步優化代碼