a ½ Àh ã@s\ddlmZddlZddlmZddlmZmZer@ddlm Z ddd œd d „Z d d „Z dS)é)Ú annotationsN)Ú TYPE_CHECKINGé)Úis_torch_availableÚ strtobool)Únnz nn.ModuleÚbool)ÚmoduleÚreturncCsDtƒs dSddl}|j ¡s dSddl}t||jjjƒpBt|ddƒS)NFrZ_is_fsdp_managed_module) rÚtorchÚ distributedÚ is_availableZtorch.distributed.fsdpÚ isinstanceZfsdpZFullyShardedDataParallelÚgetattr)r r ©rúZ/var/www/html/assistant/venv/lib/python3.9/site-packages/transformers/integrations/fsdp.pyÚis_fsdp_managed_modules ÿrcCsRtƒrNddl}|j ¡oL|j ¡oLttj dd¡ƒdkoLttj dd¡ƒdkSdS)NrZACCELERATE_USE_FSDPÚFalseéZFSDP_CPU_RAM_EFFICIENT_LOADINGF) rr r r Zis_initializedrÚosÚenvironÚget)r rrrÚis_fsdp_enabled*s ÿþür) Ú __future__rrÚtypingrÚutilsrrr rrrrrrrÚs