From toreno4257 ＠ nifty.com Sun Dec 7 21:13:27 2008 From: toreno4257 ＠ nifty.com (Hideaki Kondo) Date: Sun, 7 Dec 2008 21:13:27 +0900 Subject: [Ultramonkey-l7-develop 218] Re: =?iso-2022-jp?b?VU0tTDcgGyRCJSIlLyU7JTklbSUwPVBOTz1oTX0bKEI=?= =?iso-2022-jp?b?GyRCREkyQyRLJEQkJCRGGyhC?= References: <20081119085922.ACEC.KONDO.HIDEAKI@oss.ntt.co.jp><20081119110822.5D5B.TANUMA.KOUHEI@nttcom.co.jp> <20081119124201.ACFA.KONDO.HIDEAKI@oss.ntt.co.jp> Message-ID: <002801c95865$363b31c0$0501a8c0@hp2210b2xp> UM-L7開発者各位 近藤です。 お疲れ様です。 標記の件につきまして、皆様のご意見も参考にしつつ 出力すべき内容を絞り、アクセスログ追加用パッチを 作成しましたので、送付させていただきます。 仕様としては以前メールした通り、特に変更はありません。 （INFOレベルに相応しくないとされていた例のログメッセージは、 DEBUGレベルに変更するよう試行パッチと同様に本パッチに 盛り込まれております。） 出力内容は、田沼さん等のご意見と現在開発が進行して おりますSSLProxyのアクセスログ情報と同様に、 「送信元IP：ポート番号、送信先IP：ポート番号」のみに絞りました。 コーディングについては、inet_ntoa仕様上の落とし穴？（ご存知 の方も多いと思いますが、manやググると情報があります）があり 少しスマートでない部分がありますが、仕方ないかなと思います。 しばらくコーディングから離れていたので、しばらく悩んでしまいました。 もう少しベターな方法があれば、ご指摘下さい。 （基本的に既存のコーディングスタイルを尊重し踏襲しました。） すでに周知しております通り、以下のようにl7vsd_networkカテゴリの ログレベルをINFOレベルに設定すれば、アクセスログが出力される ようになります。WARNレベル以上に設定すれば、出力されなくなります。 # l7vsadm -L -c l7vsd_network -l info もちろん、l7vs.cf設定ファイルでl7vsd_networkカテゴリのログレベルを 直接変更の上、l7vsdを再起動し反映しても構いません。 [アクセスログ出力例] 2008/12/07 20:08:31 [INFO] l7vsd_network VSD20010342 [[AccessLog] (SRC)192.168.1.101:37259 --> (DST)192.168.1.106:80 ] rhel5u2-03 0xb7f76700 conn.c:3190 2008/12/07 20:08:32 [INFO] l7vsd_network VSD20010342 [[AccessLog] (SRC)192.168.1.101:37260 --> (DST)192.168.1.105:80 ] rhel5u2-03 0xb7f76700 conn.c:3190 2008/12/07 20:08:33 [INFO] l7vsd_network VSD20010342 [[AccessLog] (SRC)192.168.1.101:37261 --> (DST)192.168.1.106:80 ] rhel5u2-03 0xb7f76700 conn.c:3190 2008/12/07 20:08:33 [INFO] l7vsd_network VSD20010342 [[AccessLog] (SRC)192.168.1.101:37262 --> (DST)192.168.1.105:80 ] rhel5u2-03 0xb7f76700 conn.c:3190 ＃添付のパッチは、竹林さんご指摘の通り作成しております。 以上、ご確認の程よろしくお願い致します。 ----- Original Message ----- From: "Hideaki Kondo" To: "Kouhei TANUMA" Cc: Sent: Wednesday, November 19, 2008 12:45 PM Subject: [Ultramonkey-l7-develop 217] Re: UM-L7 アクセスログ出力処理追加について > > 田沼さま > > 近藤です。 > お疲れ様です。 > > 早々にパッチ動作確認ありがとうございます。 > > また、アクセスログにおける出力内容・整形案 > についてのご意見・提案ありがとうございます。 > > 参考にさせていただきます。 > > 以上よろしくお願い致します。 > > > On Wed, 19 Nov 2008 11:39:16 +0900 > Kouhei TANUMA wrote: > >> 近藤さん >> >> 田沼です。 >> パッチ作成ありがとうございます。 >> >> 変更が正常に反映されていることを確認しました。 >> >> > ※本試行パッチのアクセスログについては、他のDEBUG文で >> > 　利用されているconn構造体の情報を表示しているだけです。 >> > 　アクセスログとして相応しい情報だけに絞り、保守者等にとって >> > 　見やすいログメッセージ案は別途検討して提示したいと思います。 >> >> そうですね。このパッチだと以下のような出力になります。 >> >> 2008/11/19 11:05:40 [INFO] l7vsd_network VSD20010342 pointer_assign: >> conn=l7vs_conn={lsock=0x145e59c0: srv=(nil): dest=dest = 0x145fb3b0: >> addr = sockaddr_in={sin_addr=接続先IP: sin_port=接続先ポート}: weight= >> 1: nactive= 10: ninact= 40: : caddr=sockaddr_in={sin_addr=クライアントIP: >> sin_port=クライアントポート}: raddr=sockaddr_in={sin_addr=0.0.0.0: >> sin_port=0}: ciom=l7vs_iomux={fd = 15: callback = 0x42e530: status = 96: >> data = 0x14635220}: riom=l7vs_iomux={fd = 21: callback = 0x42b320: >> status = 92: data = 0x14635220}: proto=6: cldata=?s: cldata_len=117: >> cldata_bufsize=20480: cmss=16384: recvtime=timeval={tv_sec=0: >> tv_usec=0}: recvsize=0: sorry_conn_flag=0: old_dest=(nil)} >> um01x.osspf.ctpm.nttcom.co.jp 0x2ad5d0a2f230 conn.c:3186 >> >> この中でアクセスログ関連で使えそうなものは >> >> ・時間 >> ・クライアントIP >> ・クライアントポート >> ・接続先IP >> ・接続先ポート >> ・リクエストデータ >> >> くらいでしょうか？ >> クライアントポートはあまりいらないかもしれないですね。 >> リクエストデータも HTTP 等の場合は平文で GET ... と出るので解析には >> いいのですが、他のプロトコルなど平文に出来ない場合も多いし、 >> HTTP でも複数行になる、最初の接続時のリクエストしか出ない、 >> 等を考慮すると無しですかね…。 >> >> そうするとシンプルに >> >> 時間 クライアントIP 接続先IP:接続先ポート >> >> とか。こんな感じ >> >> 2008/11/19 11:05:40 127.0.0.1 192.168.0.101:443 >> 2008/11/19 11:05:41 127.0.0.1 192.168.0.102:443 >> 2008/11/19 11:05:44 127.0.0.1 192.168.0.101:443 >> 2008/11/19 11:05:45 127.0.0.1 192.168.0.102:443 >> >> いれかえて Apache 風。 >> >> 127.0.0.1 [2008/11/19 11:05:40] 192.168.0.101:443 >> 127.0.0.1 [2008/11/19 11:05:41] 192.168.0.102:443 >> 127.0.0.1 [2008/11/19 11:05:44] 192.168.0.101:443 >> 127.0.0.1 [2008/11/19 11:05:45] 192.168.0.102:443 >> >> あとは IP アドレスを名前解決するオプションもあったら >> 一般的にいいかもしれないです。（私は使わないですが…） >> >> >> On Wed, 19 Nov 2008 09:40:41 +0900 >> Hideaki Kondo wrote: >> >> > >> > UM-L7開発者ML各位 >> > >> > 近藤です。 >> > お疲れ様です。 >> > >> > 先日標記についてコメントさせていただきました通り、 >> > フェーズ1として、アクセスログを出力すべきポイントと、 >> > 合わせてINFOレベルとして相応しくないカウントログ出力 >> > のログレベル修正を反映するための試行パッチを作成 >> > しましたので送付します。 >> > UM-L7 Ver.2.0.0-1のconn.cに対するパッチです。 >> > >> > ------------------------------------------------------------ >> > [アクセスログ出力ポイント(案)] >> > >> > ・ActiveConnのカウント処理(conn.c:3134 dest->nactive++) >> > 　の直後あたり。 >> > 　　　→まさに例のINFOレベルでnactiveカウントログ出力が >> > 　　　　行なわれていたあたり。 >> > 　　　　カテゴリは、ひとまずl7vs_networkにしています。 >> > >> > [カウントログ出力のログレベル変更(案)] >> > >> > ・INFOレベルからDEBUGレベルへの変更(2箇所) >> > 　　- conn.c:3174 (Connecting Count: nactive) >> > 　　- conn.c:3314 (Connected Count: ninact) >> > >> > ※本試行パッチのアクセスログについては、他のDEBUG文で >> > 　利用されているconn構造体の情報を表示しているだけです。 >> > 　アクセスログとして相応しい情報だけに絞り、保守者等にとって >> > 　見やすいログメッセージ案は別途検討して提示したいと思います。 >> > >> > [使い方] >> > >> > （デフォルトwarnログレベルとして） >> > 以下の通り、l7vs_networkカテゴリをINFOレベルに変更すれば、 >> > アクセスログが出力され始めます。 >> > （もちろん、例のカウントログは出力されなくなっています。） >> > >> > 　# l7vsadm -L -c l7vsd_network -l info >> > >> > アクセスログ出力しないように元に戻すには、以下のように >> > 元のログレベル(warn)を指定します。 >> > >> > 　# l7vsadm -L -c l7vsd_network -l warn >> > >> > ※上記のように動的変更ではないですが、l7vs.cfのl7vsd_network >> > 　カテゴリを始めからinfoに設定しl7vsdを起動してもらう方法でも >> > 　もちろんOkです。 >> > >> > ------------------------------------------------------------ >> > >> > 以上、上記案（特にアクセスログ出力ポイント）等について、 >> > ご意見や改善点等がございましたら、よろしくお願い致します。 >> > また、アクセスログとして出力すべき情報についても、 >> > ご意見・提案等がございましたら、よろしくお願い致します。 >> > >> > >> > > >> どのポイントで出力するかをまずは検討してみて， >> > > >> 実装を考えてはいかがでしょうか． >> > > > >> > > > ご提案についてはまったく同感で、（特に自分の場合は） >> > > > いきなりハードルを高くしないで対応した方が良いと思って >> > > > ますので、まずは第一の目的を満たすために出力するポイント >> > > > を検討し、アクセスログを出力するパッチを作成したいと >> > > > 思います。 >> > > > >> > > > （また、田沼さんご指摘のアクセスカウントのログレベルも >> > > > 合わせて考慮・調整できればと考えております。 >> > > > 個人的には、例のアクセスカウントのログレベルはDEBUGにして、 >> > > > 今回のアクセスログはINFOにし、デフォルトは既存性能測定結果等 >> > > > 混乱を招かないようにしばらくはWARNのままで良いかと思っております。 >> > > > ユーザ・運用側判断で性能よりもアクセスログ出力を優先すらならば、 >> > > > INFOレベルに変更して使ってもらうという整理で良いかと思っております。） >> > >> > >> > On Tue, 18 Nov 2008 16:09:27 +0900 >> > Hideaki Kondo wrote: >> > >> > > >> > > 中居さま、各位 >> > > >> > > 近藤です。 >> > > お疲れ様です。 >> > > >> > > アドバイス有難うございます。 >> > > >> > > ご指摘の件、森下さんからも同様なご意見を >> > > いただきましたので、参考にさせて頂きます。 >> > > >> > > いずれにしても具体的にソースコード上のどこで >> > > ログ出力すべきかのポイントについては見極めが >> > > 必要と考えておりますので、フェーズ1として検討 >> > > を進めておきたいと思います。 >> > > >> > > > #つまり、カテゴリを新規に作成してそのカテゴリとAppenderをひも付けし、 >> > > > #該当箇所にLog出力コードを記述 >> > > >> > > 上記につきましては、SSL Proxyにて適用した同様の >> > > アイデアということで理解しました。 >> > > 森下さんからお聞きした話ですと、l7vsdに適用する >> > > 場合、現状のままですと実装的にやや気になる部分が >> > > あるとのことで少し考慮が必要になりそうです。 >> > > >> > > アクセスログを別ファイルとする場合（これを仮に >> > > フェーズ2とします）、l7vs設定ファイルにも追加項目 >> > > として影響しますし、設計書やマニュアル等含めて >> > > 仕様追加レベルの話になり、12月末提供版にいきなり >> > > マージしていくにはやや影響が大きい（デグレが懸念 >> > > されます）と思っております。 >> > > >> > > フェーズ2については次期以降対応か、現在直接開発に >> > > 入られていて上記アイデアによる実装経験のある >> > > 森下さん等の協力が早めに得られるかどうかによるかなと >> > > 考えております。 >> > > >> > > >> > > 以上よろしくお願い致します。 >> > > >> > > >> > > > 中居です。 >> > > > お疲れ様です。 >> > > > >> > > > Infoで出力を制御するというのは今ひとつ…と、言うか >> > > > 作り的には >> > > > >> > > > 1)LoggerにFileAppenderを追加 >> > > > 2)connにて接続が完了した時点で上記Appenderに出力 >> > > > >> > > > がベターかと思います。 >> > > > #つまり、カテゴリを新規に作成してそのカテゴリとAppenderをひも付けし、 >> > > > #該当箇所にLog出力コードを記述 >> > > > >> > > > 1)はSSLProxyで行われている変更です。 >> > > > >> > > > どうぞよろしくお願いします。 >> > > > >> > > > >> > > > > >> > > > > UM-L7開発者MLの皆様 >> > > > > >> > > > > お世話になっております。 >> > > > > 近藤と申します。 >> > > > > >> > > > > 標記の件につきまして、以下の通り >> > > > > SourceForge上の課題項目に追加させて >> > > > > いただきましたので、お知らせ致します。 >> > > > > >> > > > > 12月リリース版に反映できるように >> > > > > パッチ作成を行ないたいと考えております。 >> > > > > >> > > > > https://sourceforge.jp/tracker/index.php?group_id=1951&atid=10239&func=browse >> > > > > >> > > > > [背景] >> > > > > クライアント側（ソースIPアドレス）から受信した >> > > > > パケットをどのリアルサーバ（振分け先IPアドレス）に >> > > > > 振分けしたかが分かるようにアクセスログとして出力 >> > > > > する処理追加が望まれます。 >> > > > > 現状の仕様では、クライアント側のソースIPアドレスが >> > > > > 記録されないため、保守運用面等で問題になりかねないです。 >> > > > > （現状、HTTPプロトコルの場合のみ、X-Forwarded-Forによる >> > > > > 方法にて対処可能。） >> > > > > >> > > > > [実装について] >> > > > > ログレベル(info予定)を変更し、本件アクセスログ出力 >> > > > > できるような実装追加を考えております。 >> > > > > すでにDEBUGレベルでconn構造体表示により一部対応できて >> > > > > いる箇所があるようですので、うまくコードを流用して >> > > > > 該当箇所にアクセスログ出力処理を埋め込む予定です。 >> > > > > >> > > > > ご意見や「すでにパッチ作成済みです！」等コメントなど >> > > > > ございましたら、よろしくお願い致します。 >> > > > > >> > > > > 以上よろしくお願い致します。 >> > > > > -- >> > > > > Hideaki Kondo >> > > > > >> > > > -- >> > > > 株式会社SDY >> > > > 中居憲久 >> > > > >> > > -- >> > > Hideaki Kondo（近藤　秀明） >> > >> > -- >> > Hideaki Kondo（近藤　秀明） >> > >> > >> >> -- >> 田沼 航平 >> NTTコムウェア株式会社 >> 基盤技術本部 OSS推進部 >> TEL:043-211-2266(#383-8017) > > -- > Hideaki Kondo -- Hideaki Kondo -------------- next part -------------- テキスト形式以外の添付ファイルを保管しました... ファイル名: um-l7_accesslog_addition.patch.gz 型: application/x-gzip サイズ: 738 バイト 説明: 無し URL: http://lists.sourceforge.jp/mailman/archives/ultramonkey-l7-develop/attachments/20081207/b315f970/attachment.bin From makoto ＠ kanon-net.jp Sun Dec 7 22:31:50 2008 From: makoto ＠ kanon-net.jp (makoto ＠ kanon-net.jp) Date: Sun, 07 Dec 2008 22:31:50 +0900 Subject: [Ultramonkey-l7-develop 219] Re: =?iso-2022-jp?b?VU0tTDcgGyRCJSIlLyU7JTklbSUwPVBOTz1oTX0bKEI=?= =?iso-2022-jp?b?GyRCREkyQyRLJEQkJCRGGyhC?= In-Reply-To: <002801c95865$363b31c0$0501a8c0@hp2210b2xp> References: <20081119085922.ACEC.KONDO.HIDEAKI@oss.ntt.co.jp><20081119110822.5D5B.TANUMA.KOUHEI@nttcom.co.jp> <20081119124201.ACFA.KONDO.HIDEAKI@oss.ntt.co.jp> <002801c95865$363b31c0$0501a8c0@hp2210b2xp> Message-ID: 近藤 さま 竹林です． お疲れ様です． 以下の点が気になります． ○ コーディング面 ・inet_ntoa が失敗した場合のエラー判定がない ○ パフォーマンス面 ・ログレベルの如何に関わらず memcpy している 以上の点を再考していただけますか． ---------------------------------------------------------------- Shinya TAKEBAYASHI E-mail(private)： makoto ＠ kanon-net.jp GPG ID : FFD20D1F GPG FP : 7B5B E0FC B785 7457 683C 47D6 5564 DDDD FFD2 0D1F ---------------------------------------------------------------- From makoto ＠ kanon-net.jp Sun Dec 7 22:36:27 2008 From: makoto ＠ kanon-net.jp (Shinya TAKEBAYASHI) Date: Sun, 07 Dec 2008 22:36:27 +0900 Subject: [Ultramonkey-l7-develop 220] =?iso-2022-jp?b?GyRCMl1CajRJTX0lNyU5JUYlYCROMFw5VDQwTjskSyREGyhC?= =?iso-2022-jp?b?GyRCJCQkRhsoQg==?= Message-ID: 各位 竹林です． おつかれさまです． 先日案内を差し上げたとおり，本日，tracker から ticket へ 課題管理システムを移行しました． 既にある課題などについては，クローズ済みと思われるものはクローズし， 継続しているものは適当な属性をつけて移行しています． 各位，担当しているものの属性変更をお願い致します． ---------------------------------------------------------------- Shinya TAKEBAYASHI E-mail(private)： makoto ＠ kanon-net.jp GPG ID : FFD20D1F GPG FP : 7B5B E0FC B785 7457 683C 47D6 5564 DDDD FFD2 0D1F ----------------------------------------------------------------