CPORTで移送ファイルを作成と圧縮

CPORTで移送ファイルを作成するときに圧縮できることを実験で確認した。移送ファイル形式は圧縮されてはいるが圧縮率は高くない。なので、FILENAMEステートメントでZIPの圧縮を試してみた。圧縮した移送ファイルからCIMPORTできて /tmp/new のディレクトリにもSASファイルがあることを確認できた。。

view plainprint?

1. filename myfile1 '/tmp/foo.xpt';  
2.   
3. proc cport lib=sashelp file=myfile1 memtype=data;  
4.    select air baseball class;  
5. run;  
6.   
7. filename myfile2 zip "/tmp/foo.xpt.zip";  
8.   
9. proc cport lib=sashelp file=myfile2 memtype=data;  
10.    select air baseball class;  
11. run;  
12.   
13. libname newlib '/tmp/new';  
14.   
15. proc cimport lib=newlib infile=myfile2;  
16. run;  

filename myfile1 '/tmp/foo.xpt';

proc cport lib=sashelp file=myfile1 memtype=data;
   select air baseball class;
run;

filename myfile2 zip "/tmp/foo.xpt.zip";

proc cport lib=sashelp file=myfile2 memtype=data;
   select air baseball class;
run;

libname newlib '/tmp/new';

proc cimport lib=newlib infile=myfile2;
run;

本番環境とテスト環境の差で問題が再現しないときの１つの手段

 リッチな本番環境だと問題が起きるが、開発環境だと問題が起きにくいというのはよくある。本番のデータは大きいが開発環境はダミーで小さなものしかない。そんなときは、メモリとかのパラメータをわざと低くしたりすると再現しやすくなる。メモリが不足していると辺りが付いていたら使える手です。

追記: タイムアウト系のエラーは、起動のスクリプトに sleep を入れることで再現させることができます。例えば、Workspace Serverの起動のタイムアウトは *_usermods.sh にシェルのコマンド sleep 120; とか入れると再現できます。

負荷が高いというのは Linuxであれば stress(1) とかで疑似的な負荷を掛ける手もあります。負荷掛けると狙っているのとは別なエラーも出るので見極め必要です。

PROC HTTPのクエリパラメータのエンコーディング

クエリパラーメータを渡すときにエンコーディングが面倒だと思っていたら、PROC HTTPのQUERYのオプションで自動的にエンコードしてくれることに気が付いた。REST APIで日本語の名前でフィルタするときに使える。

view plainprint?

1. %let name=%str(負荷テスト);  
2. proc http url="https://%sysget(SAS_JOB_FLOW_SCHEDULING_SERVICE_HOST):443/jobFlowScheduling/flows"   
3.     query=("filter"="eq(name,'&name')")  
4.     out=outjson oauth_bearer=sas_services;  
5.   headers 'Accept'='application/vnd.sas.collection+json';  
6. run;  

%let name=%str(負荷テスト);
proc http url="https://%sysget(SAS_JOB_FLOW_SCHEDULING_SERVICE_HOST):443/jobFlowScheduling/flows" 
    query=("filter"="eq(name,'&name')")
    out=outjson oauth_bearer=sas_services;
  headers 'Accept'='application/vnd.sas.collection+json';
run;