やっぱり上手く行かない。そもそもコールバックでピクセルデータアクセス関数が呼ばれてる気配が無く、どこか謎のあらぬ場所を呼んでるような気がする。何故その時点で落ちないのかは謎。
多分これは、判ってる人が見れば1秒で解決する類の問題だと思うので誰か知ってたら教えてください。と、一応貼っておく。

使ってる所

hLib = LoadLibrary("aaa.dll");

pFilterProc = (BOOL (*)(HWND hWnd, LAYERINFO *li,SETLINEFUNC *sf, GETLINEFUNC *gf, LPSTR szDir,LPBYTE lpExt))GetProcAddress(hLib, _T("FilterProc"));
if (pFilterProc != NULL){
TRACE("pFilterProc取得成功");
HWND hWnd = NULL;
LAYERINFO li;
li.cx = g_img->height ; // サイズ
li.cy = g_img->width ;
li.bit=24; // 色数(bit数) 24固定
SETLINEFUNC sf; // データ書き込み用関数ポインタ
sf.SetLine = &pixia_SetLine;
sf.aSetLine= &pixia_aSetLine;
sf.SetPalette = &pixia_SetPalette;
GETLINEFUNC gf; // データ読み込み用関数ポインタ
gf.GetLine = &pixia_GetLine;
gf.aGetLine= &pixia_aGetLine;
gf.GetPalette = &pixia_GetPalette;
LPSTR szDir = ".\\";
LPBYTE lpExt = NULL;
BOOL ret = (*pFilterProc)(hWnd, &li,&sf, &gf, szDir,lpExt);
TRACE("処理成功=%s",infilename);
}else{
TRACE("pFilterProc取得失敗");
return false;
}
TRACE("exec done\n"); <---- これを出力した後、落ちる。
return true;

DLL側から呼ばれるコールバック関数(全部グローバル)

// PIXIA DLLから呼ばれるコールバック
// メインイメージの取得
BOOL pixia_GetLine( int y, int x0, int x1, LPBYTE buff, int n );
// アルファチャネルの取得 nレイヤのn2アルファチャネルへアクセスする
BOOL pixia_aGetLine( int y, int x0, int x1, LPBYTE buff, int n, int n2 );
// レイヤがフルカラーでない場合のパレット取得
BOOL pixia_GetPalette( BYTE *palette, int n );
// メインイメージへの書き込み
BOOL pixia_SetLine( int y, int x0, int x1, LPBYTE buff, int n );
// アルファチャネルへの書き込み nレイヤのn2アルファチャネルへアクセスする
BOOL pixia_aSetLine( int y, int x0, int x1, LPBYTE buff, int n, int n2 );
// レイヤがフルカラーでない場合のパレット設定
BOOL pixia_SetPalette( BYTE *palette, int n );