Sie bieten nicht genügend Informationen, um zu diagnostizieren, was mit Ihrer Projektdatei falsch ist, aber es 3.9.0 des NUnit Adapter funktioniert mit .NET Standard 2.0 und F #. Ich denke, dass Ihr Testprojekt auf .NET Standard abzielt. Es muss .NET Core oder .NET 4.6.1+ als Ziel haben. Testprojekte werden wie ausführbare Dateien behandelt, sie müssen auf ein bestimmtes Framework und nicht auf .NET Standard abzielen. Der Code, den Sie testen, kann jedoch .NET Standard sein.
Sie sollten der Dokumentation Unit testing F# libraries in .NET Core using dotnet test and NUnit folgen und die NUnit-Dokumentation, .NET Core and .NET Standard, lesen.
Ihre Projektdatei sollte in etwa so aussehen,
<Project Sdk="Microsoft.NET.Sdk">
<PropertyGroup>
<TargetFramework>netcoreapp2.0</TargetFramework>
<IsPackable>false</IsPackable>
</PropertyGroup>
<ItemGroup>
<Compile Include="Tests.fs" />
<Compile Include="Program.fs" />
</ItemGroup>
<ItemGroup>
<PackageReference Include="Microsoft.NET.Test.Sdk" Version="15.5.0" />
<PackageReference Include="NUnit" Version="3.9.0" />
<PackageReference Include="NUnit3TestAdapter" Version="3.9.0" />
</ItemGroup>
<ItemGroup>
<ProjectReference Include="..\MathService\MathService.fsproj" />
</ItemGroup>
</Project>