001/* 002 * Copyright (c) 2009 The openGion Project. 003 * 004 * Licensed under the Apache License, Version 2.0 (the "License"); 005 * you may not use this file except in compliance with the License. 006 * You may obtain a copy of the License at 007 * 008 * http://www.apache.org/licenses/LICENSE-2.0 009 * 010 * Unless required by applicable law or agreed to in writing, software 011 * distributed under the License is distributed on an "AS IS" BASIS, 012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, 013 * either express or implied. See the License for the specific language 014 * governing permissions and limitations under the License. 015 */ 016package org.opengion.fukurou.process; 017 018import org.opengion.fukurou.util.Argument; 019import org.opengion.fukurou.util.FTPConnect; 020import org.opengion.fukurou.util.LogWriter; 021 022import java.util.Map ; 023import java.util.LinkedHashMap ; 024 025import java.io.File; 026 027/** 028 * Process_FileFtp は、上流から受け取った FileLineModel を処理する、 029 * ChainProcess インターフェースの実装クラスです。 030 * 031 * 上流から受け取った FileLineModel の ファイルから、localPath のローカル共通パスを 032 * remotePath のFTP共通パスに、PFT伝送します。(-command=PUT 処理のみ) 033 * ファイルそのものの階層構造は、維持されるため、ローカルからFTPサーバー 034 * へのフォルダコピーに近いイメージになります。 035 * 036 * Process_FileCopy との違いは、ファイルのエンコード変換は行いません。ただし、 037 * FTP伝送での改行コードの変換は、-mode=ASCII で指定できます。 038 * もうひとつ、Process_FileCopy では、inPath と outPath でのCOPY処理でしたが、 039 * このクラスでは、localPath と、remotePath でそれぞれの共通パスを指定します。 040 * 041 * 上流プロセスでは、Name 属性として、『File』を持ち、値は、Fileオブジェクト 042 * である、Process_FileSearch を使用するのが、便利です。それ以外のクラスを 043 * 使用する場合でも、Name属性と、File オブジェクトを持つ LineModel を受け渡し 044 * できれば、使用可能です。 045 * 046 * 引数文字列中に空白を含む場合は、ダブルコーテーション("") で括って下さい。 047 * 引数文字列の 『=』の前後には、空白は挟めません。必ず、-key=value の様に 048 * 繋げてください。 049 * 050 * @og.formSample 051 * Process_FileFtp -host=FTPサーバー -user=ユーザー -pass=パスワード -localPath=ローカル共通パス -remotePath=FTP共通パス 052 * [-mode=[ASCII/BINARY] ] [-passive=[true/false] ] 053 * 054 * -host=FTPサーバー :FTPサーバー 055 * -user=ユーザー :ユーザー 056 * -pass=パスワード :パスワード 057 * -localPath=ローカル共通パス :上流で検索されたファイルパスのローカル側共通部分 058 * -remotePath=FTP共通パス :上流で検索されたファイルパスのFTP側共通部分 059 * [-mode=[ASCII/BINARY] ] :扱うファイルの種類を指定します(初期値:ASCII) 060 * [-passive=[true/false] ] :パッシブモード(ローカルからサーバーへ接続を張る)を利用するかどうか(初期値:true) 061 * (false:アクティブモード(通常のFTPの初期値)で通信します。) 062 * [-mkdirs=[true/false] ] :受け側ファイル(GET時:LOCAL、PUT時:FTPサーバー)にディレクトリを作成するかどうか(初期値:true) 063 * (false:ディレクトリが無ければ、エラーにします。) 064 * [-encode=エンコード名 ] :日本語ファイル名などのエンコード名を指定します(初期値:UTF-8) 065 * [-timeout=タイムアウト[秒] ] :Dataタイムアウト(初期値:600 [秒]) 066 * [-display=[false/true] ] :trueは、検索状況を表示します(初期値:false) 067 * [-debug=[false/true] ] :デバッグ情報を標準出力に表示する(true)かしない(false)か(初期値:false[表示しない]) 068 * 069 * @og.rev 5.1.5.0 (2010/04/01) 新規追加 070 * 071 * ※ 注意 072 * Windwosにおいて、大量ファイルのFTP伝送を行う場合は、注意が必要です。 073 * Windowsにおけるソケットの最大値は、5000がデフォルト値です。 074 * また、TIME_WAITのデフォルト値は、4分(=240秒)です。 075 * FTPの様にデータ伝送時に毎回、ソケットを作成すると、ポートが枯渇します。 076 * 077 * この値を変更するには、レジストリに以下のキーを設定する必要があります。 078 * 079 * ■ソケットの最大数(5,000~65,534の間で設定): 080 * HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters\MaxUserPort (DWORD) 081 * 082 * ■TIME_WAITの時間(30~300秒の間で設定): 083 * HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters\TcpTimedWaitDelay (DWORD) 084 * 085 * ※ 設定後は再起動しないと設定が反映されません。 086 * 087 * @version 4.0 088 * @author Kazuhiko Hasegawa 089 * @since JDK5.0, 090 */ 091public class Process_FileFtp extends AbstractProcess implements ChainProcess { 092 private static final int TIMEOUT = 600 ; // Dataタイムアウト(初期値:600 [秒]) 093 094 private FTPConnect ftp = null; 095 096 private String host = null; // FTPサーバー 097 private String user = null; // ユーザー 098 private String command = "PUT"; // FTPサーバー側での処理の方法(GET/PUT/DEL)を指定します。(PUTのみ固定) 099 private String localPath = null; // 上流で検索されたファイルパスのローカル側共通部分 100 private String remotePath = null; // 上流で検索されたファイルパスのFTP側共通部分 101 102 private boolean display = false; // trueは、検索状況を表示します(初期値:false) 103 private boolean debug = false; // デバッグ情報を標準出力に表示する(true)かしない(false)か 104 105 private int localPathLen = 0; 106 private int inCount = 0; 107 108 private static final Map<String,String> mustProparty ; // [プロパティ]必須チェック用 Map 109 private static final Map<String,String> usableProparty ; // [プロパティ]整合性チェック Map 110 111 private static final String[] MODE_LST = new String[] { "ASCII","BINARY" }; 112 113 static { 114 mustProparty = new LinkedHashMap<String,String>(); 115 mustProparty.put( "host", "接続先のFTPサーバーのアドレスまたは、サーバー名(必須)" ); 116 mustProparty.put( "user", "接続するユーザー名(必須)" ); 117 mustProparty.put( "pass", "接続するユーザーのパスワード(必須)" ); 118 mustProparty.put( "localPath", "上流で検索されたファイルパスのローカル側共通部分(必須)" ); 119 mustProparty.put( "remotePath", "上流で検索されたファイルパスのFTP側共通部分(必須)" ); 120 121 usableProparty = new LinkedHashMap<String,String>(); 122 usableProparty.put( "mode", "扱うファイルの種類(ASCII/BINARY)を指定します(初期値:ASCII)" ); 123 // usableProparty.put( "command", "FTPサーバー側での処理の方法(GET/PUT/DEL)を指定します(初期値:PUT)" ); 124 usableProparty.put( "passive", "パッシブモード(ローカルからサーバーへ接続を張る)を利用するかどうか(初期値:true)" ); 125 usableProparty.put( "mkdirs", "受け側ファイル(GET時:LOCAL、PUT時:FTPサーバー)にディレクトリを作成するかどうか(初期値:true)" ); 126 usableProparty.put( "encode", "日本語ファイル名などのエンコード名を指定します(初期値:UTF-8)" ); 127 usableProparty.put( "timeout", "Dataタイムアウト(初期値:600 [秒])" ); 128 usableProparty.put( "display", "[false/true]:trueは、検索状況を表示します(初期値:false)" ); 129 usableProparty.put( "debug", "デバッグ情報を標準出力に表示する(true)かしない(false)か" + 130 CR + "(初期値:false:表示しない)" ); 131 } 132 133 /** 134 * デフォルトコンストラクター。 135 * このクラスは、動的作成されます。デフォルトコンストラクターで、 136 * super クラスに対して、必要な初期化を行っておきます。 137 * 138 */ 139 public Process_FileFtp() { 140 super( "org.opengion.fukurou.process.Process_FileFtp",mustProparty,usableProparty ); 141 } 142 143 /** 144 * プロセスの初期化を行います。初めに一度だけ、呼び出されます。 145 * 初期処理(ファイルオープン、DBオープン等)に使用します。 146 * 147 * @param paramProcess データベースの接続先情報などを持っているオブジェクト 148 */ 149 public void init( final ParamProcess paramProcess ) { 150 Argument arg = getArgument(); 151 152 String pass = arg.getProparty( "pass" ); // パスワード 153 host = arg.getProparty( "host"); // FTPサーバー 154 user = arg.getProparty( "user" ); // ユーザー 155 156 ftp = new FTPConnect(); 157 158 ftp.setHostUserPass( host , user , pass ); 159 160 // localPath と、remotePath をセットします。 161 localPath = arg.getProparty("localPath" ); 162 remotePath = arg.getProparty("remotePath" ); 163 164 localPathLen = localPath.length(); 165 166 // FTP処理に必要な各種パラメータをセットします。 167 ftp.setMode( arg.getProparty( "mode" ,"ASCII",MODE_LST )); // 扱うファイルの種類を指定します。 168 ftp.setPassive( arg.getProparty( "passive" ,true )); // パッシブモードを利用するかどうか 169 ftp.setMkdirs( arg.getProparty( "mkdirs" ,true )); // 受け側ファイルにディレクトリを作成するかどうか 170 ftp.setEncode( arg.getProparty( "encode" ,"UTF-8" )); // 日本語ファイル名などのエンコード名を指定します(初期値:UTF-8) 171 ftp.setTimeout( arg.getProparty( "timeout" ,TIMEOUT )); // Dataタイムアウト(初期値:600 [秒]) 172 173 display = arg.getProparty("display",display); 174 debug = arg.getProparty("display",debug); 175 176 ftp.setDisplay( display ); // trueは、検索状況を表示します。(初期値:false) 177 ftp.setDebug( debug ); // デバッグ情報を標準出力に表示する(true)かしない(false)か 178 179 // FTPConnect を初期化します。 180 ftp.connect(); 181 } 182 183 /** 184 * プロセスの終了を行います。最後に一度だけ、呼び出されます。 185 * 終了処理(ファイルクローズ、DBクローズ等)に使用します。 186 * 187 * @param isOK トータルで、OKだったかどうか[true:成功/false:失敗] 188 */ 189 public void end( final boolean isOK ) { 190 if( ftp != null ) { 191 ftp.disconnect(); 192 } 193 } 194 195 /** 196 * 引数の LineModel を処理するメソッドです。 197 * 変換処理後の LineModel を返します。 198 * 後続処理を行わない場合(データのフィルタリングを行う場合)は、 199 * null データを返します。つまり、null データは、後続処理を行わない 200 * フラグの代わりにも使用しています。 201 * なお、変換処理後の LineModel と、オリジナルの LineModel が、 202 * 同一か、コピー(クローン)かは、各処理メソッド内で決めています。 203 * ドキュメントに明記されていない場合は、副作用が問題になる場合は、 204 * 各処理ごとに自分でコピー(クローン)して下さい。 205 * 206 * @param data オリジナルのLineModel 207 * 208 * @return 処理変換後のLineModel 209 */ 210 public LineModel action( final LineModel data ) { 211 inCount++ ; 212 final FileLineModel fileData ; 213 if( data instanceof FileLineModel ) { 214 fileData = (FileLineModel)data ; 215 } 216 else { 217 // LineModel が FileLineModel でない場合、オブジェクトを作成します。 218 fileData = new FileLineModel( data ); 219 } 220 221 File localFile = fileData.getFile() ; // LineModel から取得したファイル。 222 if( ! localFile.isFile() ) { 223 if( display ) { println( data.dataLine() ); } 224 return data; 225 } 226 227 String lclFileName = localFile.getAbsolutePath(); 228 229 // ファイル名は、引数ファイル名 から、 localPathを引き、remotePath を加えます。 230 String rmtFileName = remotePath + lclFileName.substring( localPathLen ); 231 232 ftp.action( command,lclFileName,rmtFileName ); 233 234 if( display ) { println( data.dataLine() ); } 235 return data ; 236 } 237 238 /** 239 * プロセスの処理結果のレポート表現を返します。 240 * 処理プログラム名、入力件数、出力件数などの情報です。 241 * この文字列をそのまま、標準出力に出すことで、結果レポートと出来るような 242 * 形式で出してください。 243 * 244 * @return 処理結果のレポート 245 */ 246 public String report() { 247 String report = "[" + getClass().getName() + "]" + CR 248 + TAB + "Copy Count : " + inCount + CR 249 + TAB + "host : " + host + CR 250 + TAB + "user : " + user + CR 251 + TAB + "localPath : " + localPath + CR 252 + TAB + "remotePath : " + remotePath ; 253 254 return report ; 255 } 256 257 /** 258 * このクラスの使用方法を返します。 259 * 260 * @return このクラスの使用方法 261 */ 262 public String usage() { 263 StringBuilder buf = new StringBuilder(); 264 265 buf.append( "Process_FileFtp は、上流から受け取った FileLineModel を処理する" ).append( CR ); 266 buf.append( "ChainProcess インターフェースの実装クラスです。" ).append( CR ); 267 buf.append( CR ); 268 buf.append( "上流から受け取った FileLineModel の ファイルから、localPath のローカル共通パスを" ).append( CR ); 269 buf.append( "remotePath のFTP共通パスに、PFT伝送します。(-command=PUT 処理のみ) " ).append( CR ); 270 buf.append( "ファイルそのものの階層構造は、維持されるため、ローカルからFTPサーバー" ).append( CR ); 271 buf.append( "へのフォルダコピーに近いイメージになります。" ).append( CR ); 272 buf.append( CR ); 273 buf.append( "Process_FileCopy との違いは、ファイルのエンコード変換は行いません。ただし、" ).append( CR ); 274 buf.append( "FTP伝送での改行コードの変換は、-mode=ASCII で指定できます。" ).append( CR ); 275 buf.append( "もうひとつ、Process_FileCopy では、inPath と outPath でのCOPY処理でしたが、" ).append( CR ); 276 buf.append( "このクラスでは、localPath と、remotePath でそれぞれの共通パスを指定します。" ).append( CR ); 277 buf.append( CR ); 278 buf.append( "上流プロセスでは、Name 属性として、『File』を持ち、値は、Fileオブジェクト" ).append( CR ); 279 buf.append( "である、Process_FileSearch を使用するのが、便利です。それ以外のクラスを" ).append( CR ); 280 buf.append( "使用する場合でも、Name属性と、File オブジェクトを持つ LineModel を受け渡し" ).append( CR ); 281 buf.append( "できれば、使用可能です。" ).append( CR ); 282 buf.append( CR ).append( CR ); 283 284 buf.append( getArgument().usage() ).append( CR ); 285 286 return buf.toString(); 287 } 288 289 /** 290 * このクラスは、main メソッドから実行できません。 291 * 292 * @param args コマンド引数配列 293 */ 294 public static void main( final String[] args ) { 295 LogWriter.log( new Process_FileFtp().usage() ); 296 } 297}