SAS Utility

TMS Software, TAdvListViewのインストールでエラー

2012-01-16T23:31:00.000+09:00

環境を刷新
Delphi 2009からXE2へ、Windows XPから7にバージョンアップしました。ツール群もリライトしてコンパイルしていきます。オフィス系ドキュメントの互換性から、バージョンアップを避けてきましたが、XPのサポート切れが近づいてきたので、重い腰を上げます。

さっそくトラブル
そんな作業のなかで、TMS SoftwareのTAdvListViewを購入しましたが、インストールがうまくいきません。手書きの下手なイベントハンドラを捨てて、使いやすいパッケージの導入を目論みました。が、インストールがうまくできません。

エラー：パッケージ …alvPkgDXE2.bpl はバージョンの異なる Delphi または CBuilderで作成されたためインストールできません。

サポートに問い合わせて返事待ちです。

La toriumi - イタリアンキッチン&ワインバー

2011-12-07T22:56:00.001+09:00

2011年12月7日に閉店した私にとって思い出深いイタリアンのお店です。美味しさに加え、住まいから近いこともあって、月に2、3回は通っていました。鳥海シェフの次のお店を知りたい方は、メールアドレスをコメント欄に書いてください。コメントは非常時で削除します。私からメールで連絡いたします。

次のツールを検討中, テストのエビデンスを残す

2011-08-08T19:16:00.000+09:00

仕事をしていて、こんなツールあったらいいなというアイディアが浮かびました。SASプログラムを実行するとログが出力されます。このときに、ERROR:　WARNING：をチェックして、他に怪しいメッセージがないか確認します。このエビデンスを残すツールが欲しい。

チェックしたログファイルをExcelシートに出力
チェックして引っ掛かった項目と件数がExcelシートを出力
誰がいつ、どのログファイルをチェックしたかわかる
設定ファイルを変えれば、チェックするキーワードを変更できる

ということで、コードネームEvianとして開発担当にお願いしときます。

PowerShellでSASからユーザ登録

2011-06-26T12:36:00.002+09:00

仕事のメモです。とある仕事で、リモートコンソールが使えなくなるということで、SASのリモート実行でユーザ登録、削除を行えるようにしようとしています。まずは、PS1のスクリプトが実行できるようにPowerShellから設定を変更します。

Set-ExecutionPolicy RemoteSigned

次に、RSUBMITするSASコード

%macro adduser(name, passwd, fullname, desc);

%let script=%bquote("C:\Documents and Settings\suzuki\desktop\foo1.ps1");
options noxwait xsync;
x "powershell.exe -file &script &name %quote(&passwd) %quote(&fullname) %quote(&desc)";
%if &sysrc=0 %then %do;
%put INFO: adduser success &name;
%end;
%else %do;
%put INFO: adduser error &name;
%end;
%mend;

options nomprint nosource;
%adduser(a, Sas4passworddayo!, %str(my name), %str(test desc));
%adduser(b, Sas4passworddayo!, %str(my name), %str(test desc));
%adduser(c, Sas4passworddayo!, %str(my name), %str(test desc));

最後に、ユーザ追加のPS1を示します。

#
# 変数宣言
#
$USER_NAME = $args[0]
$USER_PASSWORD = $args[1]
$USER_FULLNAME = $args[2]
$USER_DESCRIPTION = $args[3]

#
# ローカルユーザー作成
#
$computer = [ADSI]"WinNT://."
$user = $computer.Create("user", $USER_NAME)
$user.SetPassword($USER_PASSWORD)
$user.SetInfo()
$user.FullName = $USER_FULLNAME
$user.Description = $USER_DESCRIPTION
$user.UserFlags = 0x10000 #パスワードを無期限に設定
try {
$user.SetInfo()
}
catch {
exit 99
}
exit 0

SAS Option Report, 改良のアイディアメモ

2011-06-22T23:53:00.000+09:00

標記のツールを自分の仕事で使っていますが、まずまず使えます。改良のアイディアをメモしておきます。

Optionsの値をファイルに保存せずに、そのまま画面に貼り付けたい
2つのOptionsの値を比較して差異を特定できるようにしたい

SAS Log Utility, 1.4.1.1 リリース

2011-06-19T17:09:00.000+09:00

Vectorへの公開をストップしていますが、私家版として更新しています。今日は、一括で分析、Excelファイルにエクスポートする機能を追加しました。ログの量が少ないときには、それほど負担に感じませんが、最近は大きなログを掛けることが多いので、一括実行のボタンを追加しました。

Elapsed, DataSet, CRUDなどの分析を一括実行するボタンを追加
複数の分析結果を１つのExcelファイルに一括してエクスポートするボタンを追加
Windows版でFULLSTIMERのログをパースできるように修整
圧縮のメッセージを間違ってカウントするバグを修整

SRX, 有効期限の設定

2011-04-30T22:38:00.000+09:00

開発の覚書です。今日の作業をメモしておきます。バージョンアップには検証が付き物。検証といえばエビデンス。エビデンスといえば面倒。その面倒なエビデンス作りを楽にするために、機能を追加しました。

スプラッシュにバージョン番号を表示する処理を修整
スプラッシュに有効期限を表示するように修整
有効期限の制限を追加
ホスト名による制限を追加
終了時にテンポラリを削除しないオプションを追加
テンポラリフォルダをエクスプローラで開く機能を追加

それと、以下の項目は保留とします。ここまで作れば、実用十分と判断したからです。バックアップファイル作る機能は欲しいのですが、プロジェクトファイル内部のコードタスクと、貼り付けたSASコードの区別が付かないため、今のところ実装しません。

プロジェクトファイルのバックアップを作成するか検討
プログレスバーを表示できるか検討、スレッド化するか？

ぼちぼち、仕事で使える次のツールを検討します。

SRX, エビデンス保存

2011-04-25T22:35:00.000+09:00

全てのタブを１つのブックに保存する機能を追加

それと、明日以降の作業をメモしておきます。

プロジェクトファイルのバックアップを作成するか検討
プログレスバーを表示できるか検討、スレッド化するか？
仕事用に有効期限とホスト名しばりを追加したい
終了時にテンポラリを削除するか確認する機能を検討

SASソフトウェアインストールに必要な権限がありません

2011-04-22T12:33:00.001+09:00

SAS9.2(TS2M3)のインストール作業で、タイトルのエラーにぶつかりました。英語のメッセージは、「The user account (domain\user) does not have sufficient rights to install SAS software」です。なんとか解決しましたがが、他に苦しんでいる人もいるかもしれないのでメモしておきます。現象は、既にインストールされているSAS9.2をアンインストールして、再インストールするときに発生しました。

別な誰かがSAS9.2インストール
容量不足でインストール先を変更したいのでアンインストール
インストールフォルダを削除（これ大事）
管理者権限のユーザでインストール
Deplyment Wizardの途中で何故か必要な権限がないとエラー
sdw.log をテクサポに送って調査…

結論としては、Deplyment Wizardを実行するときに -skipadmincheck というオプションをつけて実行します。とある方から教えてもらった方法、経験則なので公式な方法ではないことを書き添えておきます。

setup.exe -skipadmincheck

今回のトラブルで不思議だったのは、アンインストールして前のインストールフォルダを削除しても、最初のインストールフォルダの情報がどこかに残っていることです。これは、インストール途中のワークファイルをチェックするとわかります。前のフォルダを参照してエラーとなっているのか？？レジストリに中を検索してもそれらしきものは見つからず、どこに隠されているのか謎です。

SRX, ファイル一覧をStringGrideに変更

2011-04-20T00:01:00.001+09:00

開発の覚書です。今日の作業をメモしておきます。検索の対象も、検索のパターンも、置換結果も1つのExcelファイルにまとめます。エビデンスとして提出するときに１つのブックだと、まとまりが良いので。

プロジェクトファイル一覧をTAdvStringGridに変更し、ExcelIOでインポートとエクスポートを作り直しました。

それと、明日以降の作業をメモしておきます。

ファイル一覧、検索ベンチ、置換結果をまとめてExcelに出力
プロジェクトファイルのバックアップを作成するか検討
プログレスバーを表示できるか検討、スレッド化するか？
仕事用に有効期限とホスト名しばりを追加したい

SRXの概要

2011-04-17T21:30:00.000+09:00

SRXの概要を説明します。SAS Enterprise Guideのプロジェクトファイルに含まれるコードタスクを検索、置換するためのツールです。多数のEGPを抱えているユーザに役立つツールです。

なぜSRXを作ったのか？
SAS Enterprise Guideは、ポイント&クリックで簡単にデータを加工、分析できる便利なツールです。しかし、コードタスクで記述したプログラムをまとめて検索、置換する機能がありません。また、一般的な検索と置換のツールは、修整範囲の調査とエビデンスを残すという機能が不足しています。EGプログラム資産を漏れなく調査し、修整を行ったエビデンスを残すために、SRXを開発しました。

SASバージョンアップにおいて面倒なのが、書き換える部分を探しながら置換のパターンを定義する作業です。私はこれまでUNIX上にコードを落として、grep(1)でパターンを洗い出しては、置換のパターンを作っています。SRXは、検索して置換のパターンを作る作業、エビデンスを残す作業を連続して行えるようにしています。

SRXの機能
SRXの機能を以下に列挙します。

EGPに含まれるコードタスクの文字列を検索、置換
複数の.EGP, .SASを指定
正規表現を使って、コードタスク中の文字列を検索、置換
検索した結果をExcelファイルに出力
置換した結果をExcelファイルに出力
コードタスクを確認しながら正規表現を定義
置換した結果をDF.EXEで事前に確認

操作手順
操作手順を図示して説明します。

プロジェクトファイル又は.SASのファイルをドロップで指定します。

コードを抽出し、置換したい部分を右クリックメニューで正規表現のタブにコピーします。

正規表現タブで、パターンを編集します。

マッチングタブで置換した部分を確認します。

DF.EXEでコード全体を比較します。

今の時点では、SRXをVectorに登録しません。広いニーズがあるツールではないので、自分の仕事にだけ使う予定です。

SRX, SASファイルも処理できるように修正

2011-04-17T20:21:00.001+09:00

開発の覚書です。今日の作業をメモしておきます。今日までの作業で安定したコードになってきました。後は、リクエストに応じて微調整を入れます。

EGPだけでなく、.SASのファイルも処理できるように機能追加
ステータスバーに操作の情報を表示
EGを起動するタイミングを変更
関数、プロシージャを整理

それと、明日以降の作業をメモしておきます。

プロジェクトファイルのバックアップを作成するか検討
プログレスバーを表示できるか検討、スレッド化するか？
仕事用に有効期限とホスト名しばりを追加したい

SRX, レジストリを参照してオブジェクト名を取得

2011-04-13T07:54:00.000+09:00

開発の覚書です。今日の作業をメモしておきます。

EGのOLEオブジェクトを定数から、GetRegStringValueで取得するように変更

それと、明日以降の作業をメモしておきます。

プロジェクトファイルのバックアップを作成するか検討
EGPだけでなく、.SASのファイルも処理できるように機能追加
ステータスバーに表示する情報をさらに検討
プログレスバーを表示できるか検討、スレッド化するか？

SAS Enterprise Guide 4.3, コードのフォーマットを試す。

2011-04-12T08:56:00.000+09:00

新しいEG4.3を入手できたので、コードの整形機能を試しました。目が痛くなるような過去のコードを投入して、どんなインデントになるか調べてみます。

Before

After

SRX, DF.EXEの起動

2011-04-10T23:19:00.000+09:00

開発の覚書です。今日の作業をメモしておきます。

コードをエクスポートして、置換前後のコードをDF.EXEで比較する機能を検討

それと、明日以降の作業をメモしておきます。

プロジェクトファイルのバックアップを作成するか検討
EGPだけでなく、.SASのファイルも処理できるように機能追加
ステータスバーに表示する情報をさらに検討
プログレスバーを表示できるか検討、スレッド化するか？

DF.EXEで置換した結果を比較できます。

SRX, 正規表現の整理

2011-04-08T23:32:00.000+09:00

開発の覚書です。今日の作業をメモしておきます。

Regular Exp.タブの入力項目を整理する機能(Refresh)を追加
検索ベンチ、正規表現、マッチングのStringGirdに検索フッタを追加
AdvExcelIOの属性を変更して、Cellの書式をインポートしないように変更

それと、明日以降の作業をメモしておきます。

コードをエクスポートして、置換前後のコードをDF.EXEで比較する機能を検討
プロジェクトファイルのバックアップを作成するか検討
EGPだけでなく、.SASのファイルも処理できるように機能追加
ステータスバーに表示する情報をさらに検討

SRX, 砂時計

2011-04-08T00:27:00.002+09:00

開発の覚書です。今日の作業をメモしておきます。

処理中のマウスポインタを砂時計に変更

それと、明日以降の作業をメモしておきます。

Regular Exp.タブの入力項目を整理する機能が欲しい
コードをエクスポートして、置換前後のコードをDF.EXEで比較する機能を検討
プロジェクトファイルのバックアップを作成するか検討
EGPだけでなく、.SASのファイルも処理できるように機能追加
ステータスバーに表示する情報をさらに検討

SRX, 検索パターンをコピー

2011-04-06T23:29:00.000+09:00

開発の覚書です。今日の作業をメモしておきます。

検索ベンチのText列を右クリックメニューで、正規表現のタブにコピーする機能を検討
検索ベンチをExcelにエクスポートする機能を追加
ステータスバーにプロジェクトファイルの件数表示を追加

それと、明日以降の作業をメモしておきます。

処理中のマウスポインタを砂時計に変更
Regular Exp.タブの入力項目を整理する機能が欲しい
コードをエクスポートして、置換前後のコードをDF.EXEで比較する機能を検討
プロジェクトファイルのバックアップを作成するか検討
EGPだけでなく、.SASのファイルも処理できるように機能追加
ステータスバーに表示する情報をさらに検討

Search Benchの右クリックメニューから、Regular Exp.へフィード

SRX, 検索ベンチの実装

2011-04-06T01:07:00.000+09:00

開発の覚書です。今日の作業をメモしておきます。

検索ベンチのコード抽出機能を実装
検索ベンチのタブ順番を変更
検索ベンチのText列をコードに合わせて幅調整
コードが改行で終わっていないときの処理を追加

それと、明日以降の作業をメモしておきます。

検索ベンチのText列を右クリックメニューで、正規表現のタブにコピーする機能を検討
検索ベンチをExcelにエクスポートする機能を追加
コードをエクスポートして、置換前後のコードをDF.EXEで比較する機能を検討
プロジェクトファイルのバックアップを作成するか検討
EGPだけでなく、.SASのファイルも処理できるように機能追加
ステータスバーに表示する情報を検討

SRX, 検索ベンチの検討

2011-04-04T00:03:00.000+09:00

パターンマッチングの正規表現を定義する前に、コードを確認したいと考えました。そこで、Search Benchというタブを設けて、この中でコードを検索できるように検討しています。

Search Footerでコードを検索

今日の作業をメモしておきます。

プロジェクトファイルを保存する処理を追加
検索ベンチのタブを実装着手

それと、明日以降の作業をメモしておきます。

検索ベンチのコード抽出機能を実装
コードをエクスポートして、置換前後のコードをDF.EXEで比較する機能を検討
プロジェクトファイルのバックアップを作成するか検討
EGPだけでなく、.SASのファイルも処理できるように機能追加
コードが改行で終わっていないときの処理を追加
ステータスバーに表示する情報を検討

SRX, スプラッシュ画面

2011-03-31T00:18:00.002+09:00

今夜の作業は、スプラッシュの画面を実装です。

起動時のスプラッシュ画面を表示
置換の機能を実装
検索と置換のコードを共通化して整理

それと、明日以降の作業をメモしておきます。

コードを表示し実験的な検索ができる機能を検討
コードをエクスポートして、置換前後のコードをDF.EXEで比較する機能を検討
プロジェクトファイルを保存する処理を追加（今は、Saveしていない）
プロジェクトファイルのバックアップを作成するか検討
EGPだけでなく、.SASのファイルも処理できるように機能追加
コードが改行で終わっていないときの処理を追加
ステータスバーに表示する情報を検討

スプラッシュ画面

SRX, 画面イメージ(2)

2011-03-29T21:41:00.000+09:00

今夜もSRXの開発で、コードを叩いています。TMS SoftwareのAdvStringGridを導入いたおかげで、開発のスピードが上がっています。個人的な記録のため、今夜、実装した機能をメモしておきます。

Matching Testの画面にPopupMenuを実装
Matching Testの結果をExcelに出力する機能を実装
Replaceのタブを追加し、AdvStringGridを配置
Replaceタブに、PopupMenuとボタンを配置
ReplaceタブのグリッドをExcelに出力する機能を実装
ReplaceタブのPopupMenuにクリアの機能を実装

それと、明日以降の作業をメモしておきます。

置換の機能を実装
EGPだけでなく、.SASのファイルも処理できるように機能追加
コードが改行で終わっていないときの処理を追加
検索と置換のコードを共通化して整理
起動時のスプラッシュ画面を表示
ステータスバーに表示する情報を検討

置換のタブにポップアップメニューを実装

SRX, 画面イメージ

2011-03-29T00:50:00.004+09:00

新しいツールSRXを開発中です。週末、作りかけの画面とコードを捨てて新しくコードを書き直しました。次にやることをメモしておきます。

Matching Testの画面にPopupMenuを実装
Matchingの結果をExcelに出力する機能を実装
置換を実行するタブを追加
置換の実行と結果を確認するビューを実装
置換の画面にPopupMenuを実装
置換の結果をExcelに出力する機能を実装
EGPだけでなく、.SASのファイルも処理できるように機能追加

SRX 開発中の画面イメージ

WARNING: 入力データセットによって、変数 VAR に複数の長さが指定されました。

2011-03-11T08:08:00.001+09:00

SAS8.2からSAS9.2（TS2M3)へのバージョンアップを行っていますが、タイトルの警告が出るようになりました。調べてみると、9.2からの新しい機能です。メッセージを抑制するには、以下のオプションを指定してください。

options varlenchk=nowarn;

警告を再現するには、以下のコードを実行してください。

data foo;
format name $7.;
set sashelp.class;
run;

SAS Notes:
http://support.sas.com/kb/37/102.html

SASコードをキックするLauncher

2011-03-06T23:00:00.000+09:00

とある仕事で開発したくなったものメモしておきます。

SASコードをバッチ実行するランチャー
実行後にログを検査して、ERROR、WARNINGをカウントしてくれる。
実行前にダイアログを表示して、入力パラメータを指定できる。
エラーが起きた場合はログを表示する。
入力パラメータで指定できるのはマクロ変数、FILENAMEステートメント
入力パラメータは可変、設定で変更できる

DMSの画面って、分析者はともかく、事務の人には使いにくいのです。

原文参照の機能を検討中

2011-03-06T18:47:00.001+09:00

前からSAS Log Utilityに原文参照の機能が欲しいと思っていました。試しに習作のコードを書いて、RichTextに表示させています。

原文参照のサンプル

アプリケーションのルートフォルダ指定には環境変数を使う

2011-03-01T00:34:00.000+09:00

SASを使ったとあるシステムの移行を準備していますが、ルートフォルダの指定には環境変数を使うと移行しやすいです。良くあるパターンが、マクロでアプリケーションやデータのルートを指定する方法。これが良くない。マクロを使ってルートフォルダを指定する方法は、シングルクォートでは展開されないという欠点があります。

options set=DATROOT 'G:\data';
libname mylib '!DATAROOT\mylib';

こんな具合に書く方が、分かりやすく、直しやすいです。5年前に書いたコードを別システムに移行していますが、あっさりと動いて満足です。

SAS 9.2 Hot Fix Analysis, Download and Deployment Tool

2011-02-27T23:15:00.001+09:00

SASのシステム管理者に役立つ情報です。HotFixを探して漏れなくパッチを適用するのは面倒な作業です。そんな、HotFixを探してダウンロードしてくれるツールが9.2からあります。

SAS92HFADD Ver 1.0

これ以前は、UNIX上でスクリプトを書いて片っ端からダウンロードしていましたが、次からはこれを使います。ただし、インストールする前には実行できないのが難点です。予行演習でインストールしたときに、ダウンロードできます。

追記 - 2011/02/27
実際に環境構築の準備作業で使ってみました。一言で云うと使えるツールです。Deploymentregistry.txtを作る部分が連携できていないのが惜しいですが、簡単に必要なHotFixをダウンロードできます。SAS9.2からHotFixの体系が変わったので、このツールがないと漏れなくHotFixを探すのが難しいとも言えます。

後、日本語に関する部分は手動でダウンロードする必要があります。それも、AnalysisReport\SAS_92_Hot_Fix_Report_Win_*.html を開けば、一覧に並んでいるので楽チンです。

SAS Enterprise Guide 4.3 の便利な新機能, インデント

2011-02-16T21:43:00.000+09:00

SASから送られてくるレターの中で、EG4.3の新機能の記事がありました。その中でも評価したいのが、コードを整形、インデントしてくれる機能です。これ、作りたいなと思っていたので、嬉しいような、先を越されて悔しいような気持ちです。マクロの部分がどのようになるのか評価したいです。

SAS Programmer's Paradise: New Goodies in SAS® Enterprise Guide 4.3

他にも、コーディング途中で入力の候補を出してくれる機能があります。ポイント&クリックが売りなのに、こういう部分を強化してくるということは、ハードコードする人のニーズがあるのでしょう。

LOGPARSEマクロ, Parse SAS Logs to Extract Performance and Timing Information

2011-02-13T19:27:00.000+09:00

私の備忘録もかねて、SAS Log Utilityに近いソフトウェアを、ひとつずつ紹介します。LOGPARSEマクロは、英語版のSASログを解析してFULLSTIMERで出力される情報を集計してくれるマクロです。マクロなので、引数にログファイル名、集計結果のデータセット名を渡すだけのシンプルな仕組みです。LOGPARSEの特徴を列挙します。

指定できるログファイルは１つだけ
日本語版のログは読み取れない
FULLSTIMERの出力を捕捉したデータセットが出来ます
数値項目の合計、平均、最大、最小を計算はSASの機能を使います
データセット名、マクロ名は捕捉できません

Savian SAS Log AnalyserもLOGPARSEも、日本語のログを扱えないのが痛いです。データセット名、マクロ名を捕捉できないと、ボトルネック解析のツールとしては弱いです。

サンプルのログを解析し、結果をデータセット化した例

Elvis SAS Log Analyserのレビュー

2011-02-12T19:58:00.000+09:00

私の備忘録もかねて、SAS Log Utilityに近いソフトウェアを、ひとつずつ紹介します。Elvis SAS Log Analyserは、英語版のSASログを解析するためのビュワーです。ログを集計する機能は無く、エラー、ワーニングの箇所を特定して素早くログを表示してくれます。

指定できるログファイルは１つだけ
NOTE：, WARNING:, ERROR:の行にジャンプできる
任意のタグ（SPECIAL:）を定義して、ジャンプできる
日本語版のログは文字化けする
Savian、SAS Log Utilityのような実行時間の集計はできません

10分だけ触った感想を書きます。まず、良いところは、エラー、ワーニングに素早く移動できることです。特定の文字列を指定しても、前に後ろに検索できます。私が試したのはトライアル版で、ライセンス登録しないと、起動/終了時にメッセージがでて、5秒ほど静止します。

物足りないのは、実行時間を集計する機能が無いので、ボトルネック解析ができないことです。なぜか、SAS日付を整数で表示してくれる機能があります。SAS日付を整数に変換するために、Elvisを起動しようとは思いません。

サンプルのログを開いた画面

SAS日付を整数に変換してくれる機能

Savian Log Analyser for SASのレビュー

2011-02-11T13:19:00.001+09:00

私の備忘録もかねて、SAS Log Utilityに近いソフトウェアを、ひとつずつ紹介します。Savian Log Analyser for SASは、英語版のSASログを解析してFULLSTIMERで出力される情報を集計してくれるツールです。Savian Log Analyser for SASの特徴を列挙します。

指定できるログファイルは１つだけ
日本語版のログは読み取れない
FULLSTIMERの出力を捕捉できる
集計項目を選択して、数値項目の合計、平均、最大、最小を計算できる
Excel、XML、HTMLへの出力機能がある
印刷機能有り
行番号から原文のSASログに移動する機能がある（原文参照）
処理時間をグラフ表示する機能がある

10分だけ触った感想を書きます。まず、良いところは、捕捉できる項目が多いのと、原文参照の機能がありがたいです。この原文参照はテキストマイニングでは割と良くある機能なので、SAS Log Utilityにも組み込みたいと思っているところです。

私が使いにくいと感じたところは、日本語のSASログを読めない、処理時間をグラフ化する機能は、フィルタの機能と連携していない、複数のログファイルを解析できない点です。ボトルネック解析をするためには、マクロ名やデータセット名まで含めて捕捉して欲しいです。

プロシージャの名前で分類して、数値項目を集計した画面

グラフ化の機能は集計と連動していないので、使い勝手はいまひとつ

Excelへのエクスポート機能は美しい!

SAS Log Utilityに近い機能を持った製品

2011-02-07T23:07:00.002+09:00

久しぶりにSASログを分析する他のツールを、探してみました。

%LOGPARSE
LOGPARSEは、SAS9.1.3以降のログを分析して、データセット化してくれるマクロです。でも、日本語のログはサポートしていません。それと、データセット名が取れません。行数とか、変数名の数はとれます。FULLSTIMERの情報も拾えます。

Elvis SAS Log Analyser
こちらは、ログをハイライトしたり、エラーの箇所にジャンプしてくれるビュワーです。DEMOをざっと見ただけで未評価です。

Savian Log Analyser for SAS
SAS Log Utilityに近いソフトウェア製品があります。グラフを描画する機能がありますが、数百ステップもあると、見づらいのが難点。これも日本語のログは不可。データセット名は拾えません。

SaviLog Real Timeのレポート

SAS Log Utlity 1.3.1.8 リリース

2011-01-23T18:19:00.000+09:00

すみません、先日リリースした1.3.1.7はビルドのミスがありました。ランタイム不足で動かないことがあります。今日、Vectorに新しくビルドしたバージョンを登録申請しました。

SAS Log Utlity 1.3.1.7 rtl120.bplが見つからなかった...

2011-01-22T00:31:00.000+09:00

SAS Log Utility 1.3.1.7でランタイムのエラーが残っていました。Vectorからダウンロードして使った方が、ブログにコメントしてくれて気がつきました。これまで、ブログのコメントは私だけだったので、気がつくのが遅れてしまいました。ごめんなさい。

で、開発と別なWindows XPマシンで実行したら、エラーを再現できました。原因は、ListViewにソート機能を加えたときにコンパイルのオプションを変えたことです。

もうひとつ、別なバグを見つけました。CRUD(MACRO)を出力したときに、RD, WDのセルに色がついていませんでした。1.3.1.8をビルドして、他のマシンでエラーが解消していることを確認してから、Vectorにアップロードします。

Write & Delete, Read & Deleteが配色されていない

万年筆とペンシース

2011-01-21T21:03:00.001+09:00

ペリカンの子供用万年筆を使ってみたら、意外と良かったのでＬＡＭＹの万年筆にステップアップしました。ペン先に気持ちを集中させないといけない書けないのが良いです。それにあわせて、万年筆のシースをネットを探し出して購入しました。シンプルだけどデザイン性があって非常に良いです。

ぴたっと収まりながらも、被せがないので取り出しやすいです。

シースの制作は、こちら「カンダミサコ」さんです。

To Do

2010-12-12T23:13:00.000+09:00

SAS Log - ログファイルを参照する機能（原文参照）
次のユーティリティ作り（SRX）
次のユーティリティ作り(DFD)
DFD - プロセスノードを集約する仕組みをテスト実装
DFD - プロセスノードを集約するときに、永久データセットだけは表示を残すか検討
DFD - Visio上のノードの配置を調整するコードを組込み
DFD - コネクタが2重に設定される問題を修正
SAS Log - CRUDマトリックスから、プロセスを集約する操作方法を検討
SAS Log - Visioへの描画データをCRUDマトリックスと一元化できないか検討
SAS Log - 年月別で多数のデータがあるときに、入力データセットをまとめて表示する機能が
SAS Log - CRUD表のセルを矢印で移動する機能

終了

2010/07/03 VectorにSAS Log Utility1.2.1.0のリリースを申請
2010/01/04 VectorにExcel Page Setup Utilityのリリースを申請
2009/12/28 仕事で使うExcelのヘッダ/フッタ設定のツールを作成
2009/10/25 VectorにSAS Log Utility 1.1のリリースを申請
2009/10/25 マクロでないDataステップにマクロ名がセットされる問題を修正
2009/10/25 ファイルI/Oのエラーハンドリングをリライト。
2009/10/25 Export中の砂時計
2009/09/23 CRUD(detail)の表示項目にマクロ名を追加
2009/09/23 1.0.5.0としてリリースを申請
2009/09/03 マクロ単位で処理時間を集計する機能を実装した。
2009/07/22 新しいバージョン 1.0.3.0 をリリース
2009/07/17 SAS Log UtilityのCRUD（summary）を実装した。
2009/07/?? 新しいバージョン1.0.2.0をリリースした。
2009/07/05 CRUD表で256列を超えるデータのバグ修正
2009/07/05 Excelへのエクスポート処理をリライト
2009/06/28 複数のログファイルに対応
2009/06/28 OBSが0のときにデータセット名が空白になるバグを修正
2009/06/28 データセット単位の集計でカウントが0になるバグを修正
2009/06/28 英語版のログを解析できるように修正してテスト
2009/06/27 CHANGEのログを拾えるように修正
2009/06/22 DELETEのログを拾えるように修正
2009/06/22 Excelが起動しないときのエラーハンドリングを追加
2009/06/19 Vectorにプログラム登録の申請
2009/06/02 SAS Log Utilityの処理時間集計にクスポート機能を実装
2009/06/02 SAS Log UtilityのDATAステップ処理時間集計にクスポート機能を実装
2009/06/02 Vectorにライブラリ作成者の登録を申請済み
2009/05/31 何故かアイコンが設定できない問題をクリアするためプロジェクトを再構築
2009/05/20 SAS Log UtilityのCRUD（ｄｅｔａｉｌ）にエクスポート機能を実装する。
2009/05/19 DelphiでStringGridからExcelへのエクスポート方法をテスト実装したが遅い。
2009/05/18 SAS Log Utilityの画面イメージを投稿
2009/05/17 バージョン情報のダイアログを追加
2009/05/17 2回目以降にログファイルを開いたときの動作を検証
2009/05/17 メモリリークを調査して修正
2009/05/10 ブログの立ち上げ
2009/05/11 動作環境津について記述
2009/05/12 SAS Log Utilityの概要と機能を書いた。

SAS Log Utlity 1.3.1.7 リリース

2010-11-24T00:21:00.000+09:00

すみません、先日リリースした1.3.1.6はビルドのミスがありました。ランタイム不足で動かないことがあります。今日、Vectorに新しくビルドしたバージョンを登録申請しました。

Write -> Readの流れが重要

2010-11-14T18:55:00.000+09:00

複数プログラム間の関係を追いかけるときに、出力したデータを読む流れ着目すること。プログラムを解く方法として使えるか？

SAS Log Utlity 1.3.1.6 リリース

2010-11-14T16:31:00.000+09:00

SAS Log UtilityのElapsed Time、Data Set、Macroのタブにソートの機能を追加しました。これまでは、Excelにエクスポートして、並べ替えてレポートを作成していましたが、ツール上でボトルネックの特定が容易になります。これからVectorに登録します。

ListViewのソートを実装する、今週

2010-10-20T23:21:00.000+09:00

SAS Log UtilityでListViewのソートが出来そうでしたが、着手していませんでした。
ちょっとテストコードを書いたら動く目鼻がついたので、今週末にコードを修正し、新しいバージョンを出します。と、書いて自分のやる気を高める。

SRX, ファイル名を表示

2010-07-30T08:29:00.001+09:00

自分用のメモです。ListViewを配置して、ドロップしたファイル名を表示するように実装。次は、Openのダイアログを作る。それとも検索の機能を先に作るか？
ステータスバーに情報を表示するためのルーチンは整理したい。

SRX, ドラッグ&ドロップのイベントハンドラ作成

2010-07-29T23:49:00.000+09:00

仕事で使いそうなので、また作業を再開します。フォームにドラッグ&ドロップのイベントハンドラを作成。次の作業は、ファイル名をリストビューに表示するロジックを実装すること。

SRX, プロジェクトを作成

2010-07-21T23:31:00.000+09:00

バージョンアップの要件定義書を書いたり、アプリケーション改修の要件定義書を書いたりして時間が無い、と言っていたら進まないので、ちょこちょこブログにメモを取りながら開発を始めます。今日の作業は、次のとおりです。

プロジェクトの作成
プロジェクトのオプション設定
メインフォームの配置
メインメニューの配置
ステータスバーの配置
アクションリストの作成
ページコントロールを配置してタブを3つ作成

次は、アプリケーション終了時の確認を実装します。

SAS Log Utility, やりたいことは何か？

2010-07-12T22:42:00.000+09:00

自問自答です。

CRUD表をマクロ単位で要約して何がしたいのか？

プログラムの構造をすっきりと理解すること。
理解するためには、長いログをうまく要約できる機能が必要です。

いまのCRUD表の問題、不便な点は何か？

SASログからI/Oを取り出して、分かりやすくしているが、それでも情報量が多い。
特に表が横に長くなりすぎて、１ステップの処理、１つのマクロで何がイン/アウトか把握しにくい。

改善するためには何が必要か？

横に長い表は駄目。
一覧性が良い（A3用紙程度に収まる）出力が欲しい。

SAS Log Utility, CRUD(Macro)

2010-07-10T21:48:00.000+09:00

マクロ単位でI/Oを集約する機能を作りました。しかし、マクロが入れ子になっているときには、集約されないのが痛い。MPRINTNESTで階層の情報を取るか、ログに含まれる情報をさらに詳しく解析できるか？マクロ内部の中間データセットを非表示にして、よりすっきりと構造を解き明かせないか？

SAS Log Utility, マクロ単位でステータスをまとめるにはどうしたら良いか？

2010-07-08T20:05:00.000+09:00

CRUD表の行をマクロ単位で集計するときに、結構悩ましい。マクロの中で出力、削除したものはWDと表すか？出力項目が多くなって見づらくならないか？唸りながら、セルの中の状態を考えています。

片仮名をローマ字に変換

2010-07-05T21:32:00.000+09:00

SAS9.2のNLS関数で、半角片仮名をローマ字に変換することができます。

data _null_;
str = KPROPCASE('ｷﾀｶﾞﾜｹｲｺ', 'KATAKANA, ROMAJI');
put _all_;
run;

SAS Log Utility 矢印キーでCRUDのセルを移動

2010-07-05T09:20:00.000+09:00

開発の覚書です。CRUD表のデータがどこで使われているか探すために、矢印キーでセルの移動ができると良いです。実装したい。ExcelのCtrl+矢印キーで移動する機能ですね。

SAS Log Utility 1.2.1.2, ログファイル名をソート

2010-07-04T10:39:00.000+09:00

私家版（1.2.1.2）のSAS Log Utilityにログファイルをソートする機能を付けました。ListViewにソートの機能を付けるのではなく、ファイルをドロップしたときにソートします。ファイル名は時系列に並ぶようにしていることが多いので、個人的にはこれで十分です。

次のリリースでは、もう少し改良します。

SAS Log Utlity 1.2.1.0 リリース

2010-07-03T13:33:00.002+09:00

バグ修正版（1.2.1.0）をVectrorに登録しました。修正したのは次の点です。

CRUD表のエクスポートで'd'の色がずれる問題を修正
CRUD表エクスポートの実装を、条件付書式からセル固定の書式に変更
より大きなログを分析できるように固定の作業領域を拡張
EXCELエンジンで読み込んだデータの判定を追加
デバッグ用の出力 c:\temp\csv.csv を削除
OLEのエラー(0x800ac472)を抑制するため、100ミリ秒のスリープを挟み込んだ

仕事で使い続けていますが、あらたなログのパターンにぶつかっては直しを繰り返しています。次はログファイル名のソート機能をつけようか思案しています。何本も串刺しでログ解析することが多いので。

SAS Log Utilityのバグ修正中, セルの色ずれ

2010-07-01T23:13:00.000+09:00

ExcelにCRUD表をエクスポートしたとき、色がずれ問題を解消するために、Excelの書式設定を変更します。これまではExcelの条件付書式でr, w, rwの色付けをしていました。条件付書式をやめて、Excelの置換の機能でr, w, rw, dの書式を設定します。dのセルは個別に書式設定していましたが、置換したほうが処理時間が短いはずです。

なぜか、Delphi+Excel置換の例が少なくトライ&エラーで正しい、というか動くコードを書きました。覚書として下にメモしておきます。

oExl.ReplaceFormat.Clear;
oExl.ReplaceFormat.Interior.ColorIndex := 41;
oSheet.Cells[1, 1].CurrentRegion.Replace(AnsiChar('w'), AnsiChar('w'), xlWhole, xlByRows, True, True, false, True);

SAS Log Utility 2つバグ見つけ

2010-06-25T00:20:00.000+09:00

開発の覚書です。

256列を超えるCRUD表をエクスポートしたときに、削除の"d"とセルの色がずれています。これも、次のバージョンで直します。

SAS Log Utility 1つバグ見つけ

2010-06-23T23:49:00.000+09:00

開発の覚書です。
使用者からの連絡で、DATAステップビューの情報も取り込んで欲しいと要望がありまし。やたらでかいSASログを放り込んだら、結構時間が掛かったのでこれも改善して欲しいとか。まずは時間を作らねば。

SAS Enterprise Guide Project Converter

2010-04-25T16:54:00.001+09:00

古いSAS Enterprise Guide 2.0のプロジェクトファイルを変換するスクリプトを、Delphiで作り直しました。仕事で過去のプロジェクトファイルがたまっているときに、わざわざ手作業で移行するのはしんどいです。しかも2.0のプロジェクトは、直接4.2には移行できません。一度、EG4.1で保存する必要があります。

実行するためには、EG4.1、EG4.2が必要です。EG2.0を4.1に変換するときにはEG4.1、EG4.1のファイルを4.2に変換するときにはEG4.2の環境で実行します。

それと、コードをエクスポートする機能を付けました。バージョンアップにまつわる同じような問題を探すときに、１つ１つのプロジェクトファイルを開いて検索することは困難だからです。
機能を下に列挙します。

EG2.0のプロジェクトを4.1で保存
EG4.1のプロジェクトを4.2に保存
コードタスク、クエリタスクのコードをエクスポート
元のファイルのタイムスタンプを引継ぎ

これもマイナーな要件だけに、Vectorには登録しません。

SAS Enterprise Guide 4.2 - CLASSが日本語

2010-04-25T16:45:00.001+09:00

Enterprise Guide 4.2に変えたら、SASHLEP.CLASSの中身が日本語になっていることが気がつきました。テストコード書くときに不便です。何故か反応ももっさりしていて不満です。

SAS Option Report

2010-04-11T15:34:00.001+09:00

PROC OPTIONS VALUE; の出力を表形式にまとめるツールを作成しました。仕事で、設定値を拾い集めるのが面倒なので、作りました。あまりパラメータを変えないのですが、仕事上は網羅性が大事ということで、全部のオプションを拾っています。Vectorにアップロードするかどうかは未定です。マイナーすぎて需要がなさそう。

SAS 9.2の新機能 SAS Download Managerとは？

2010-04-09T22:23:00.001+09:00

SAS 9.2から新しく追加された SAS Download Managerが何物なのか調べました。結論としては、日本では使えないツールです。SASテクニカルサポートにも確認しました。

そもそものきっかけは、次の仕事に備えて、SAS9.2のソフトウェアデポに含まれているライセンスを更新しようとしたところから始まります。デポの管理でライセンス情報を更新しようとしたら、？？あれSIDを入れ替えるボタンが無いことに気がつきました。

調べていくとSAS Download Managerでライセンス情報を更新するようになっていることが分かりました。使用法ガイドを読むと

>Javaで開発されたソフトウェアで、SAS社のリポジトリにアクセスして
>選択したソフトウェアオーダーをダウンロードするのに使います。

よくわからん説明です。この”オーダー”がライセンス情報で、既存又は新規のソフトウェアデポにオーダー情報を格納するのが、SAS Download Managerです。ここまでわかってほっとしたのですが、まだ落とし穴があります。

それは最初にSASから送られたOrder Noとインストールキーを入力しないと、SAS Download Managerからオーダー情報をダウンロードできないのです。次年度更新で送られるRenewalのオーダー情報は受け付けません。泣く泣く、メールボックスを探しますが見つかりません。

DVDのメディアに含まれていたOrder Noとインストールキーを入れたら「保留になりました」と、また分からないメッセージが出ます。使用説明にあるように契約部に電話したら、まったく話が通じなくてテクニカルサポートといったりきたりして困りました。分かったのは、SAS Download Managerは日本では使えない機能であること。配置イメージは無くなっていること。では、配置用イメージ相当の機能はあるかというと良く分からないような回答であきらめました。少し悲しいです。

Excel ファイルのヘッダとフッタの設定ユーティリティ

2010-01-08T00:28:00.000+09:00

Vectorに公開されました。
Excelファイルの体裁を整えるのにどうぞ。

download

フェリスフー幸せの風

2010-01-07T02:10:00.002+09:00

今はもう無いけれど、足繁く通ったお店です。
ときどき思い出しては、あの味をもう一度としみじみ思うのです。

細かすぎる処理は読めない

2010-01-05T23:53:00.000+09:00

次のユーティリティで煮詰めないといけないのは、下のようなグラフになってしまうから。
意味ある単位で、入出力を見せないといけない。SASはモジュール性が高いとはいえないが、マクロの書き方次第で、全体と部分を分けることができます。

次に作りたいもの

2010-01-04T22:45:00.000+09:00

次に作りたいユーティリティを思案しています。
年末年始の休みを使ってユーティリティの実装を検討しました。ぱっと見るSAS Log Utilityと似ていますが、まだ煮詰めて行きます。このままでは、本格的なプログラムに使えないのはわかっています。これを使えるようにするには、コーディング上の工夫、または丸（プロセス）を集約する機能が必要です。

Excel ファイルのヘッダとフッタの設定ユーティリティ

2009-12-28T21:50:00.002+09:00

しばらくぶりの更新です。仕事がらSAS以外で使うユーティリティを作りました。Excelファイルのヘッダ、フッタ、ブックのプロパティを一括で更新するユーティリティです。提出物、納品物の体裁を整えるときに面倒なのが、ヘッダ/フッタの設定です。

同じような機能をもったフリーウェアはありますが、ヘッダ/フッタの設定値を保存できない、複数ファイルを指定できないなどの制限があったので、自分が仕事で使う目的で作りました。

私は、ヘッダ中央にファイル名、フッタ左側にシート名、フッタ右側にページ番号をセットするようにしています。出力して紙で持ち歩くときに、ファイル名がわからず、フォルダの中を探し回ることが無いように、ヘッダにファイル名を入れています。

設定するExcelファイル、ファイル選択のダイアログ又はドラッグ&ドロップで選択できます。年末年始休暇の間に微調整して、Vectorに登録します。

バージョン情報の画面

ヘッダー/フッターの設定画面

ページの設定画面

プロパティの設定画面

欠損値が生成

2009-11-15T23:54:00.000+09:00

忘れそうなので覚書きです。
SAS Log Utility 1.2.0.0では欠損値の生成はチェックしません。これはいまの仕事の都合で、既存のコードがわんさかと欠損値を生成するからです。

NOTE: 欠損値を含んだ計算により、以下の箇所で欠損値が生成されました。
NOTE: Missing values were generated as a result of performing an operation on missing values.

直すべきか思案します。

次のリリース 1.2.0.0

2009-11-14T11:33:00.007+09:00

SAS Log Utilityに機能を追加しました。後一週間ほどでリリースします。

ログファイルをドロップで選択できるように改良
ログファイルからバグになりそうなメッセージを拾ってカウント

バグになりそうなメッセージとは以下の5つです（日本語版もOK）。これは、SASプログラムのテスト、受け入れをするときになんとなくチェックしていた項目です。他にチェックポイントが無いか思案しています。

NOTE: Variable x is uninitialized.
NOTE: Numeric values have been converted to character ...
NOTE: Character values have been converted to numeric ...
NOTE: MERGE statement has more than one data set with repeats ...
One or more lines were truncated.

画面イメージを下に貼り付けます。チェックに引っかかった行が色つきで表示されます。受け入れテスト、エビデンスのチェックに使う予定です。

よくある潜在的な問題をチェック

2009-11-14T00:56:00.004+09:00

ログに含まれるバグになりそうなメッセージを拾ってくれたら、ケアレスミスを防げるかも。ついでに、ファイルのドロップの仕組みも作っています。開発中の画面です。

変数が初期化されていません。

2009-11-11T23:52:00.004+09:00

忘れそうなので覚書きです。
変数名を間違えて初期化されない、マージでデータが重複する、切り捨てられた行があるなど、よくあるミスをチェックしてくれる機能がほしいです。自分で作るか？

NOTE: 変数 x は初期化されていません。
NOTE: 以下の箇所で数値を文字値に変換しました。
( 行 : カラム )
267:11
NOTE: 以下の箇所で文字値を数値に変換しました。
( 行 : カラム )
268:11
NOTE: MERGE ステートメントに BY 値を繰り返すデータセットが複数あります。

1.1.0.0 をリリース

2009-10-25T16:34:00.003+09:00

バグ修正、メッセージの修正を行ったバージョン 1.1.0.0 をまもなくリリースします。修正したのは次の点です。

マクロでないデータステップにマクロ名がつくバグを修正
CRUD(Detail）で右端のファイルが1件欠けるバグを修正
解析、エクスポート中にカーソルを砂時計に変更
ファイルがオープンできないときのメッセージを変更

このユーティリティの更新は一度停止し、仕事に役立つ他のツールを検討します。

1.0.5.0 がリリース

2009-09-28T22:16:00.003+09:00

Vectorに新しいバージョンがリリースされました。今回はマイナーな修正で、CRUD(detail)の表にマクロ名を加えています。

CRUD(detail)の表示項目にマクロ名を追加
CRUD（summary)の表示項目からDataStep/PROCを削除

CRUD表にマクロ名を表示してみる

2009-09-09T00:43:00.004+09:00

CRUD表にマクロ名を表示してみた。ちょっと考え込んだのは、マクロを呼び出すとき最後にセミコロンをつけるかどうかです。コメントアウトしやすいように %foo; とか書くと、マクロの範囲が判定しにくくなります。これは、何も行わない空文が展開されるからです。

素直にMPRINTだけ補足するだけでは足らず、マクロの終端を判定するロジックが必要になります。厳密な構文解析は行わず、空文が展開されたらマクロの名称をクリアするようにして解決しています。

エクスポートの機能をチェックしたら、マクロ単位で入出力を集約したCRUD表を作ります。

次の機能拡張を検討中(1.0.5.0)

2009-09-07T21:26:00.002+09:00

1.0.4.0のリリース依頼は申請しました。ほどなく、Vectorで公開されます。

マクロ単位の処理時間集計は、便利で私の仕事でも役立っています。というか、私の仕事で役立つツールを作っているのが実態です。

次の機能は、CRUD表にマクロの名前を入れたいと考えています。まずは、マクロの名前を縦軸に入れる。うまくいけば、マクロ単位で集約したCRUD表にしたいと考えています。で、その先は...ドキュメント化ですね。

SAS Log Utilityが役立つ場面

2009-09-07T21:15:00.002+09:00

SAS Log Utilityはどんな場面で使うのか説明します。

SASプログラムの処理時間を短縮したいとき
SASプログラムの入出力を解析したいとき

SASプログラムの処理時間を短縮したいとき

SAS Log Utilityを使ってSASログを解析するとボトルネックとなっている処理を特定できます。SASログを解析して、データステップ/プロシージャ単位、データセット単位、マクロ単位で処理時間を集計することができます。集計結果をExcelに出力して、処理時間順でソートすることで、ネックとなっている処理が浮かび上がってきます。

SASプログラムの入出力を解析したいとき

他の誰かが書いたSASプログラムをメンテナンスしなければならない。でも、入出力仕様書も設計書もないとしたら、SASプログラムと実際のデータを紐解くしかありません。コメントの無い長いプログラムを読み解くとしたら、大変時間の掛かる作業になります。

SAS Log Utilityは、SASログを解析して、入出力のデータセット、ファイルをCRUD表として出力します。CRUD表はデータの流れを可視化して、プログラムの理解を助けます。

マクロ単位で処理時間を集計

2009-09-03T19:00:00.001+09:00

マクロ単位で処理時間を集計する機能を実装しました。3週間以内に1.0.4.0としてリリースします。マクロ単位で処理時間を集計するためには、options mprint又はmprintnestを付けてＳＡＳを実行してください。mprintnestはSAS9の新しいオプションです。

データの量をどうやって示すか？

2009-09-01T22:42:00.004+09:00

ボトルネック解析で、OBS数、変数の数を追跡できるようにしようと考えています。実験的に、OBS数、変数の数をステータスバーの右下に表示してみました。数値で見ても、いまひとつピンときません。やはり、アナログでデータの量を示す工夫が必要です。StringGridの仕組みから離れて考えるべきか、良い方法を探しています。

ボトルネック解析データ量の可視化

2009-08-01T22:02:00.003+09:00

新しくボトルネック解析の手法をSAS Log Utilityに組み込むことを検討しています。
効率の悪いロジックは、大量のデータを転がして、雪だるまのように大きくします。結果に含めない無駄な変数、OBSは早い段階で削除しておく方が効率が良いです。

SASログには、OBS数、変数の数、データセットのページ数が含まれています。これを直感的に分かりやすく表示して、無駄にデータを読んでいるところを見つけられる仕掛けを考えています。処理の最後で、ガクッとデータ数、変数が減っているところに、性能改善の可能性があるはずです。

直感的にデータの量が分かる。例えば、色、線の太さ、図形の大きさとか。思案中です。

バグ修正入力ファイルがシングルクォーツで囲まれているとき

2009-08-01T21:58:00.003+09:00

SAS 8.2のログを検証していて、バグを見つけました。
入力ファイル名がシングルクォートで囲まれているときに、ファイル名が取れずに空白になっていました。

SAS8.2 -> NOTE: 100 レコードを入力ファイル 'c:\temp\foo.txt' から読み込みました。
SAS9.1.3 ->NOTE: 100 レコードを入力ファイル "c:\temp\foo.txt" から読み込みました。

次のリリースで直します。

SAS 8.2(日本語)のログを試験中

2009-07-27T22:34:00.003+09:00

あ、特に何もしなくてもSAS8.2のログが解析が通る。どこに差があるのか探していますが、8.2の環境がないので、過去のログを手繰って比較しています。

SAS8 -> NOTE: DATA ステートメント処理 (合計処理時間):
SAS9 -> NOTE: DATA ステートメント処理 :

完全一致しないところが歯痒いです。

ログファイルを参照する機能

2009-07-24T23:53:00.003+09:00

覚書きです。
次のリリースで実装したいのは、ログファイルを開いて参照できる機能です。

技術的にクリアすること。
ノートパッドで指定した行番号に移動できるか？
ノートパッド以外のエディタが使えるか？
参照用の小窓でも良い？？

マクロ単位で処理時間を集計する機能を誰が使うか？

2009-07-24T22:23:00.004+09:00

昨日、ふと思いついたアイディアですが、誰が使うのか考えています。というのも、マクロをあまり使わずにべた書きでデータステップとプロシージャで書いているコードを良く見るからです。

私は、ある程度の処理をマクロにまとめて、複数のマクロで１つのプログラムを構成するように書いています。しかし、客先で見かけるコードは、ベタで書いているケースが多いです。果たして一般的なニーズがあるのか思案しています。

書き方、コーディングスタイルとセットでないと使えない機能になかも。まぁ、自分が使えればそれで良いのか。

次に実装したい機能マクロ単位で処理時間集計

2009-07-22T23:42:00.002+09:00

ぽっと、思いつきですが忘れないうちにメモしておきます。
次のリリースで実装したい機能が湧いてきました。

MPRINTと処理時間の出力を拾って、マクロ単位で処理時間、CPU時間を集計する機能です。試験的にUNIX上でスクリプトを書いて集計してみると、ボトルネック解析に有効な切り口が見出せました。

Version 1.0.3.0 公開中

2009-07-22T21:49:00.001+09:00

Vectorで新しいバージョン 1.0.3.0 を公開しました。
右上にアクセスカウンタを設置しました。

http://www.vector.co.jp/soft/winnt/business/se476976.html

CRUD(Summary)の実装

2009-07-18T15:56:00.006+09:00

CRUD(Summary)

Version 1.0.3.0向けに、CRUD（Summary）の機能を追加しました。CRUD（Detail)がデータステップ又は、プロシージャ単位でデータのI/Oを表示するのに対し、CRUD(Summary)はログファイル単位で、データのI/Oを表示します。

SASプログラムが複数のファイルに分かれていて、プログラム間のデータを追跡するときに役立ちます。DetailだとExcelの表が大きくなりすぎて、大まかにI/Oを把握するのが難しいので。WORKに出力されるテンポラリのデータセットは表示対象には含みません。

バグ修正

「NOTE: データセット WORK.FOO の圧縮はできません。」というメッセージを拾って名前の無い入出力データができていました。メッセージの判定条件を直しました。

次の機能拡張を検討中

2009-07-14T08:38:00.001+09:00

割と安定したとは思っていますが、次の機能拡張を考えています。まずは、SAS8.2のログも読めるようにするべきは、UNIX版の検証もやるべきか？

VectorでSAS Log Utility 1.0.2.0公開

2009-07-10T08:56:00.002+09:00

新しいバージョン、リリースしました。

VectorのSAS Log Utility紹介ページ

Version 1.0.2.0で以下の機能、修正を追加しました。

英語版のSASログを解析
複数のログファイルを解析
エクスポートの処理時間を短縮
CRUD表のエクスポートでセルに色を付けて出力
DELETE、CHANGEのログを捕捉

Version 1.0.2.0 再リリース中

2009-07-07T23:54:00.005+09:00

Vectorに登録申請した後で、バグを１つ見つけて修正しました。256列を超えるCRUD表のエクスポートで、エラーが出ていました。

ついでに、CRUD表のエクスポートも、修正してさらに処理時間を短縮。これまで、OLEオートメーションで処理していた値のチェックを、StringGrideのチェックに置き換えました。これで、十数秒掛かっていた処理が、2秒程度で終わるようになりました。

Vectorのページに画面イメージを貼り付けました。1.0.2.0の公開時に見えるようになるはずです。

Version 1.0.2.0は、だいぶ使えるバージョンになったと思います。Vectorで公開されたら、お知らせします。

バグ修正と改良

2009-07-05T23:57:00.004+09:00

今週末の修正

週末は、バグ対応とエクスポートの機能を修正しました。
これで、バージョン番号を更新してリリースを行います。

CRUD表の出力カラム数が256を超えるときのバグを修正しました。256列以降のデータは、次のシートに書き込みます。

EXCELへのエクスポートが遅いので、CSVファイル経由で渡すように書き直しました。また、CRUD表の書き込み、読み込み、更新、削除を画面と同じように色をつけました。これで見やすくなります。

次のリリース予定

バージョンは1.0.2.0
英語版のログを読めるように修正
複数のログファイルを読めるように修正
Excelへのエクスポート時間を短縮
CRUD表のエクスポートで、R/W/D/RWに色をつけました。

バグ修正

2009-06-28T23:01:00.003+09:00

データセット単位の処理時間集計で、カウントが0回となるバグを修正しました。

OBS数が０のときに、プロシージャの入力データセット名が空白になる問題を修正しました。SASログのメッセージが、データがあるときと、無いときでは異なっていました。

複数のログファイルに対応

2009-06-28T22:56:00.006+09:00

複数のログファイルに対応するように修正しました。これまでは、1ファイルしか解析できませんでしたが、Log Fileのタブシートからファイルを選択して並び順を指定することができます。下は、新しく追加したログファイルの指定画面です。

CRUD表には、ファイル名の列を追加しました。

Elapsed Timeのタブにもログファイルの列を追加しました。データセット単位の処理時間集計については、ファイル名で分けずに集計しています。

英語版のログ対応

2009-06-28T12:24:00.007+09:00

SAS 9.1.3（英語版）のログを読み取れるように修正しました。英語版SASのログを取るために、一度SAS9.1.3を再インストールしましたが、IKERNEL.EXEが止まって難儀しました。

日本語版のログ

SAS Log Utilityで解析するとこんな表になります。

データセット名の変更に対応

2009-06-27T22:50:00.005+09:00

PROC DATASETSのCHANGEステートメントのログを拾えるように修正しました。CRUD表上では、名前を変更されたデータセットは削除して、新たに作成されるように見えます。下の図では、No2 Line 47の部分がデータセット名の変更にあたります。

英語版のメッセージ対応も進行中です。Windows 9.1.3のロケールを切り替える方法を探していますが、まだ見つかっていません。UNIX版でログを取ってテストすべきか思案中。

Vectorへの登録が完了

2009-06-25T23:12:00.003+09:00

思ったよりも素早くVectorに登録されました。次のリリースまでに何を改良するか検討します。

http://www.vector.co.jp/soft/winnt/business/se476976.html

入出力ファイル名のバグ修正

2009-06-21T09:54:00.005+09:00

入出力ファイル名が正しく拾えていない問題を修正しました。実装で悩んだのが、ファイル参照名を実ファイル名として表示するかどうかです。入力ファイルがワイルドカードで複数のファイルから構成されるときには、実体のファイル名が多くなって見づらいかもしれません。テキストファイルへの出力がそれほど多くないため、ファイル参照名で表示するように決定しました。

テストに使ったログを貼り付けておきます。

184 filename myfile 'c:\temp\name.txt';185186 data _null_;187
set sashelp.class;188 file myfile;189 put name;190 run;
NOTE: 出力ファイル MYFILE
: ファイル名=c:\temp\name.txt, レコードフォーマット=V,論理レコード長=256
NOTE: 19 レコードを出力ファイル
MYFILE に書き込みました。最小レコード長は 4 です。最大レコード長は 7 です。NOTE: データセット SASHELP.CLASS から 19
オブザベーションを読み込みました。NOTE: DATA ステートメント処理 (合計処理時間): 処理時間 0.03 秒 CPU 時間 0.00 秒
191192 data _null_;193 set sashelp.class;194 file "c:\temp\name2.txt";195
put name;196 run;
NOTE: 出力ファイル "c:\temp\name2.txt" :
ファイル名=c:\temp\name2.txt, レコードフォーマット=V,論理レコード長=256
NOTE: 19 レコードを出力ファイル
"c:\temp\name2.txt" に書き込みました。最小レコード長は 4 です。最大レコード長は 7 です。NOTE: データセット
SASHELP.CLASS から 19 オブザベーションを読み込みました。NOTE: DATA ステートメント処理 (合計処理時間): 処理時間 0.03 秒
CPU 時間 0.00 秒
197198 data x;199 infile myfile;200 input name $ ;201 run;
NOTE: 入力ファイル MYFILE : ファイル名=c:\temp\name.txt, レコードフォーマット=V,論理レコード長=256
NOTE: 19 レコードを入力ファイル MYFILE から読み込みました。最小レコード長は 4 です。最大レコード長は 7 です。NOTE:
データセット WORK.X は 19 オブザベーション、 1 変数です。NOTE: DATA ステートメント処理 (合計処理時間): 処理時間 0.01 秒
CPU 時間 0.00 秒
202203 data y;204 infile "c:\temp\name2.txt";205 input name
$;206 run;
NOTE: 入力ファイル "c:\temp\name2.txt" : ファイル名=c:\temp\name2.txt,
レコードフォーマット=V,論理レコード長=256
NOTE: 19 レコードを入力ファイル "c:\temp\name2.txt" から読み込みました。
最小レコード長は 4 です。最大レコード長は 7 です。NOTE: データセット WORK.Y は 19 オブザベーション、 1 変数です。NOTE:
DATA ステートメント処理 (合計処理時間): 処理時間 0.01 秒 CPU 時間 0.00 秒
207208 proc datasets
lib=work nolist;209 delete x y;210 quit;
NOTE: WORK.X (memtype=DATA)
を削除します。NOTE: WORK.Y (memtype=DATA) を削除します。NOTE: PROCEDURE DATASETS 処理 (合計処理時間):
処理時間 0.01 秒 CPU 時間 0.00 秒

データセットの削除をCRUD表に追加

2009-06-20T22:37:00.006+09:00

CRUD表と言いながらも、データセットの削除が捕捉できていませんでした。"NOTE: WORK.FOO (memtype=DATA) を削除します。"というメッセージを捉えて、CRUD表に"d"と表示するようにしました。

Vectorに登録を申請

2009-06-20T00:50:00.000+09:00

ようやく、最初のバージョンをVectorに登録申請しました。
Vectorの審査が済んで、公開されるまで2～3週間は掛かりそうです。

SAS Log Utilityの画面イメージ(2)

2009-05-19T09:32:00.006+09:00

データセット単位で、入出力回数、処理時間を集計する画面です。ボトルネックの解析に使います。

この画面は、データセット、ファイルの入出力を解析するものです。データセットの読み取り、書き込み、読み書き、削除を処理のステップ順に表します。ひとことで言うとCRUD表です。

SAS Log Utilityの画面イメージ

2009-05-17T23:06:00.005+09:00

SAS Log Utilityの画面イメージを貼り付けます。これは、SASログから処理時間の情報を抽出した画面です。

バージョン情報のダイアログを追加

2009-05-17T22:46:00.003+09:00

週末に以下の作業を行った。

バージョン情報のダイアログを追加
製品名、バージョン、著作権情報、このブログのURLを記載したダイアログを追加した。URLをクリックすると、ブログを表示するようにした。

メモリリークの対応
ReportMemoryLeaksOnShutdown := True の1行をdprファイル中に追加して、メモリリークの調査を行った。クラスの実装をやり直して、解放漏れを無くした。

ListViewのクリア
解析ボタンを2回押すと、前の結果がクリアされずに追加される問題を修正した。

多言語対応の機能をチェック
英語に対応させる機能をチェックしたが、コード中でハードコードした部分はどうやってマルチリンガルにするのか不明。要調査。

SAS Log Utilityの概要

2009-05-12T22:28:00.003+09:00

SAS Log Utilityの概要について説明します。

概要
SAS Log Utilityは、SASプログラムが出力するログファイルを分析して、パフォーマンス診断や入出力の解析に役立つ情報を作成します。SAS Log Utilityを使うと以下のことができます。

SASプログラムの処理時間をDATAステップで集計して、ボトルネックとなっている処理を見つけることができます。
SASプログラムがどのようなデータを読み書きしているか、DATAステップ又はプロシージャ単位で捉えて、データの流れを理解することができます。
MPRINTのログを捉えて、マクロ単位の処理時間を集計します。
複数のSASプログラムがどのようなデータを読み書きし、プログラム間でのデータの連携を可視化します。

機能

SASログからDATAステップ/プロシージャ単位の処理時間を抽出
SASログから処理時間を抽出し、データセット単位で処理に要した時間を集計
SASログからDATAステップ/プロシージャの入出力を抽出し、データの生成、読み取り、更新、削除の流れを表形式に出力
SASログからMPRINTのログを抽出し、マクロ単位の処理時間を集計
SASログの分析結果をExcelに出力

動作環境

2009-05-12T00:15:00.006+09:00

SAS Log Utilityの動作環境は次のとおりです。

動作環境

動作OS： Windows 2000/XP
動作機種：汎用　
ソフトの種類：フリーソフト又はシェアウエア
作者： mining

検証環境

SAS 8.2（日本語及び英語）
SAS 9.1.3 SP4(日本語及び英語)
Microsoft Office Excel 2003

制約

タグソートの入力データセットはSASログから補足できないため、分析の対象外となります。
データセットの削除については、PROC DATASETSで削除されたデータだけが分析の対象となります。
分析対象のデータセットは999件を上限とします。

SAS Utilityの開発

2009-05-10T23:04:00.006+09:00

はじめに
このブログは、SAS言語のユーティリティを開発するための日記です。

SAS言語のユーティリティとは？
これから開発しようとしているSAS言語のユーティリティとは、SASのプログラムやログを分析して、パフォーマンス解析やデータセットの入出力を可視化するプログラムです。

何故、ユーティリティを作ろうと思ったのか
私がBase SASを仕事で使い始めて、数年が過ぎました。最初は古いシンタックス、わからないマクロに手を焼きましたが、だいぶ身体が慣れてSASでできることが広がってきています。

それでも、質より量をこなさなければならない仕事もあり、仕事に使えるユーティリティを作る必要が出てきました。

ExcelとVBAの組み合わせで簡単なものを作ってみましたが、複数の機能を1つのExcelファイルに組み込み難いという問題がありました。

そこで新しくDelphiを学び、ネイティブのWindowsアプリケーションとしてユーティリティを開発することを決めました。

SAS Utility

TMS Software, TAdvListViewのインストールでエラー

La toriumi - イタリアンキッチン&ワインバー

次のツールを検討中, テストのエビデンスを残す

PowerShellでSASからユーザ登録

SAS Option Report, 改良のアイディアメモ

SAS Log Utility, 1.4.1.1 リリース

SRX, 有効期限の設定

SRX, エビデンス保存

SASソフトウェアインストールに必要な権限がありません

SRX, ファイル一覧をStringGrideに変更

SRXの概要

SRX, SASファイルも処理できるように修正

SRX, レジストリを参照してオブジェクト名を取得

SAS Enterprise Guide 4.3, コードのフォーマットを試す。

SRX, DF.EXEの起動

SRX, 正規表現の整理

SRX, 砂時計

SRX, 検索パターンをコピー

SRX, 検索ベンチの実装

SRX, 検索ベンチの検討

SRX, スプラッシュ画面

SRX, 画面イメージ(2)

SRX, 画面イメージ

WARNING: 入力データセットによって、変数 VAR に複数の長さが指定されました。

SASコードをキックするLauncher

原文参照の機能を検討中

アプリケーションのルートフォルダ指定には環境変数を使う

SAS 9.2 Hot Fix Analysis, Download and Deployment Tool

SAS Enterprise Guide 4.3 の便利な新機能, インデント

LOGPARSEマクロ, Parse SAS Logs to Extract Performance and Timing Information

Elvis SAS Log Analyserのレビュー

Savian Log Analyser for SASのレビュー

SAS Log Utilityに近い機能を持った製品

SAS Log Utlity 1.3.1.8 リリース

SAS Log Utlity 1.3.1.7 rtl120.bplが見つからなかった...

万年筆とペンシース

To Do

SAS Log Utlity 1.3.1.7 リリース

Write -> Readの流れが重要

SAS Log Utlity 1.3.1.6 リリース

ListViewのソートを実装する、今週

SRX, ファイル名を表示

SRX, ドラッグ&ドロップのイベントハンドラ作成

SRX, プロジェクトを作成

SAS Log Utility, やりたいことは何か？

SAS Log Utility, CRUD(Macro)

SAS Log Utility, マクロ単位でステータスをまとめるにはどうしたら良いか？

片仮名をローマ字に変換

SAS Log Utility 矢印キーでCRUDのセルを移動

SAS Log Utility 1.2.1.2, ログファイル名をソート

SAS Log Utlity 1.2.1.0 リリース

SAS Log Utilityのバグ修正中, セルの色ずれ

SAS Log Utility 2つバグ見つけ

SAS Log Utility 1つバグ見つけ

SAS Enterprise Guide Project Converter

SAS Enterprise Guide 4.2 - CLASSが日本語

SAS Option Report

SAS 9.2の新機能 SAS Download Managerとは？

Excel ファイルのヘッダとフッタの設定ユーティリティ

フェリスフー 幸せの風

細かすぎる処理は読めない

次に作りたいもの

Excel ファイルのヘッダとフッタの設定ユーティリティ

欠損値が生成

次のリリース 1.2.0.0

よくある潜在的な問題をチェック

変数が初期化されていません。

1.1.0.0 をリリース

1.0.5.0 がリリース

CRUD表にマクロ名を表示してみる

次の機能拡張を検討中(1.0.5.0)

SAS Log Utilityが役立つ場面

マクロ単位で処理時間を集計

データの量をどうやって示すか？

ボトルネック解析 データ量の可視化

バグ修正 入力ファイルがシングルクォーツで囲まれているとき

SAS 8.2(日本語)のログを試験中

ログファイルを参照する機能

マクロ単位で処理時間を集計する機能を誰が使うか？

フェリスフー幸せの風

ボトルネック解析データ量の可視化

バグ修正入力ファイルがシングルクォーツで囲まれているとき

次に実装したい機能マクロ単位で処理時間集計